Lightweight Model Search Plan

작성일: 2026-05-13 · 목표: 최고 성능 경량 모델과 설정값 탐색

Goal

Sprint 1의 목표는 감으로 모델을 고르는 것이 아니라, 8 × Tesla P100 서버에서 재현 가능한 실험 계획을 실행해 정확도 우선의 경량 모델을 선택하는 것이다. 실제 best model은 서버 학습 결과의 metrics로 결정한다. 2026.05 기준 MobileCLIP2의 zero-shot 성능이 강하므로, MobileCLIP2와 MobileNetV4는 별도 head-to-head phase에서 직접 비교한다.

Candidate Order

우선순위 모델 역할
1 MobileCLIP2-S4/S3/B zero-shot과 embedding 품질이 강한 accuracy-first 후보. frozen retrieval, linear probe, partial fine-tune을 모두 비교.
2 MobileNetV4 Hybrid/Conv-AA Large supervised fine-tuning에서 강한 image-only 후보. MobileCLIP2와 같은 split/metric으로 직접 비교.
3 MobileNetV4 Conv/Hybrid Medium Large 후보가 무겁거나 불안정할 때의 mobile student 후보.
4 EfficientNet-B2/B3 검증된 CNN baseline. MobileNetV4/MobileCLIP2 결과 해석용 안전 기준선.
5 ConvNeXt-Tiny 정확도 후보. ONNX/mobile latency 검증 필요.
6 MobileNetV3-Large / EfficientNet-B0 빠른 시연과 fallback 후보.

Search Phases

  1. Phase 0 canary: MobileNetV3-Large, EfficientNet-B0으로 1 epoch smoke와 ONNX export 확인.
  2. Phase MobileCLIP2 reference: MobileCLIP2-S0/S2/B/S3/S4 frozen embedding retrieval을 비교.
  3. Phase MobileCLIP2 linear probe: MobileCLIP2 embedding이 우리 랜드마크 데이터에서 얼마나 분리되는지 head-only 학습으로 확인.
  4. Phase accuracy-first head-to-head: MobileCLIP2-B/S4 partial fine-tune과 MobileNetV4 Hybrid/Conv-AA Large supervised fine-tune을 같은 split과 metric으로 비교.
  5. Phase 1 student sweep: MobileNetV4 medium, MobileNetV3-Large, EfficientNet-B0/B2, ConvNeXt-Tiny를 CE-only로 비교.
  6. Phase 2 margin retrieval: MobileNetV4 medium, EfficientNet-B2/B3, ConvNeXt-Tiny에 ArcFace/cosine margin을 추가.
  7. Phase 3 finalists: 상위 2개 모델에 teacher distillation을 추가해 최종 비교.

Generated Files

search space는 experiments/model_search_space.json에 있고, scripts/generate_model_search_plan.py가 phase별 config를 생성한다. 학습 후 scripts/rank_model_runs.py가 metrics를 점수화해 best candidate를 정렬한다. MobileCLIP2와 MobileNetV4 비교는 val_top3_accuracy, val_top1_accuracy, out_of_scope_auroc, onnx_export_success를 같은 우선순위로 기록한다.

References