MobileNet 버전별 비교

timm (PyTorch Image Models) 라이브러리를 사용하면 최신 모델들을 쉽고 빠르게 가져올 수 있습니다. 특히 MobileNet 계열은 파라미터 수가 적고 연산량이 낮아 다양한 실험들을 빠르게 시도해 볼 수 있는 모델입니다.

1. MobileNet 버전별 비교 (timm 기준)

timm에서는 MobileNet V1부터 최신 V4까지 다양한 버전을 지원합니다. 아래 표는 대표적인 모델들의 파라미터 수와 ImageNet-1k 기준 Top-1 정확도입니다.

> 참고: 정확도는 timm 벤치마크 기준이며, 파라미터 수는 모델 구성(width multiplier 등)에 따라 달라질 수 있습니다. 아래는 가장 표준적인 설정(1.0x 또는 100) 기준입니다.

모델 버전	timm 모델명 (예시)	파라미터 수 (약)	Top-1 Acc (ImageNet)	특징
MobileNet V1	mobilenetv1_100	3.2M	~72.0%	Depthwise Separable Conv를 처음 도입. 구조가 단순하지만 최신 모델 대비 효율이 떨어짐.
MobileNet V2	mobilenetv2_100	3.5M	~72.8%	Inverted Residuals & Linear Bottlenecks 도입. 가장 널리 쓰이는 표준적인 경량 모델.
MobileNet V3 Large	mobilenetv3_large_100	5.4M	~75.2%	NAS(Neural Architecture Search)로 설계. h-swish 활성화 함수 사용. 성능과 속도 밸런스가 좋음.
MobileNet V3 Small	mobilenetv3_small_100	2.5M	~67.4%	극도로 적은 파라미터와 빠른 추론 속도가 필요할 때 사용. 정확도는 다소 낮음.
MobileNet V4 (최신)	mobilenetv4_conv_small	3.8M	~74.6%	최신 아키텍처. 모바일 기기에서의 하드웨어 효율성(지연 시간 최소화)에 집중하여 설계됨.
MobileNet V4 (최신)	mobilenetv4_conv_medium	9.7M	~79.9%	V4의 더 큰 버전. 파라미터 대비 매우 높은 정확도를 보여줌.

추천:

• 균형 잡힌 성능: mobilenetv3_large_100 또는 mobilenetv4_conv_small을 추천
• CIFAR-10 특성 고려: CIFAR-10은 이미지가 작고(32x32) 클래스가 10개뿐이므로, mobilenetv3_small_100으로도 꽤 준수한 성능(90% 이상)을 낼 수 있으며 학습 속도가 매우 빠를 것임

2. 모델 버전별 사전학습 데이터셋

timm 라이브러리에서 제공하는 pretrained=True 옵션의 가중치들은 거의 대부분 ImageNet-1k (ILSVRC-2012) 데이터셋으로 학습된 것입니다.

• 데이터셋: ImageNet-1k
• 내용: 1,000개의 클래스, 약 128만 장의 훈련 이미지.
• 해상도: 기본적으로 224x224 해상도로 학습되었습니다.

CIFAR-10 적용 시 유의사항 (중요):

CIFAR-10 데이터는 32x32 픽셀입니다. ImageNet으로 학습된 MobileNet은 224x224 입력을 기대하므로 두 가지 전략 중 하나를 선택해야 합니다.

1. Resize: CIFAR-10 이미지를 224x224로 업샘플링하여 입력 (정확도는 높으나 메모리와 연산 낭비가 심함).
2. Fine-tuning (권장): 입력 크기를 32x32 그대로 사용하되, 모델의 첫 번째 Stride를 줄이거나 Pooling 레이어를 조정하여 특성맵(Feature map)이 너무 작아지는 것을 방지해야 합니다. (다만 timm 모델을 그대로 로드해서 쓰면 초반 레이어에서 정보 손실이 있을 수 있어, 보통 32x32 입력 시에는 업샘플링을 하거나 처음부터(Scratch) 학습하는 경우도 많습니다.)

요약 및 제안

• 데이터셋: 사전학습은 ImageNet-1k 기반
• 모델 선택: MobileNet V3 Large가 가장 무난하며, 최신 트렌드를 반영하고 싶다면 MobileNet V4 시도