Experiment design · 2026-06-12

Sprint 2 논문식 실험 매트릭스

이 문서는 MobileCLIP2-S3와 MobileCLIP2-S4를 공정하게 비교하기 위한 main experiment 설계와 실행 범위를 보존한다. 이전 5-fold 결과는 후보 탐색(screening)으로 보관하고, 최신 수치 결과는 main matrix 결과 문서에서 관리한다.

왜 다시 설계하는가

기존 결과는 S3 server_full과 S4 partial ArcFace를 비교했다. 하지만 config를 확인한 결과, 기존 S3 server_full은 이름과 달리 image_unfreeze_ratio=0.20, text_unfreeze_ratio=0.10의 partial unfreeze run이었다. 따라서 그 결과만으로 “S3가 S4보다 좋다” 또는 “full이 partial보다 좋다”고 말할 수 없다.

새 실험에서는 backbone과 학습 방식을 분리한다. full이라는 이름은 image_unfreeze_ratio=1.0과 text_unfreeze_ratio=1.0인 경우에만 사용한다. 서버 GPU를 사용하므로 새 config와 run 이름에는 로컬 GPU 기준 표현을 쓰지 않는다.

문서 체계

문서	역할	현재 상태
Paper Experiment Hub	연구 질문, 재현성, run registry, 결과 반영 체크리스트를 묶는 상위 문서 허브.	새 source of truth. 이 matrix는 main experiment 상세 문서로 연결된다.
Model Experiment Protocol and Results	실험을 어떤 원칙으로 설계하고 기록할지 정하는 상위 프로토콜.	유지. 기존 프로토콜과 누적 결과 상세 기록으로 보존한다.
Sprint 2 Paper-grade Experiment Matrix	논문식 main comparison의 source of truth. 실행 대상, 변수 통제, 완료 조건을 기록한다.	현재 문서. 40-run matrix의 설계와 실행 범위를 보존한다.
Sprint 2 MobileCLIP 5-fold Results	기존 S3 partial pilot vs S4 partial ArcFace 5-fold 결과.	screening result로 보존. 최종 결론 문서로 사용하지 않는다.
Experiment Result Handoff	W&B export가 나왔을 때 전달해야 할 파일과 분석 절차.	유지. 새 결과를 받을 때 같은 절차로 export와 metrics를 검수한다.
Model Development Paper Guide	결과를 논문 본문 구조로 옮겨 쓰기 위한 작성 가이드.	유지. main matrix 결과를 바탕으로 Results/Discussion을 보강한다.

Main Experimental Matrix

새 main comparison은 2개 backbone과 4개 학습 방식을 교차한 8개 config다. 각 config는 fold0-4를 모두 실행하므로 총 40개 run이다.

Backbone	Method	Classification loss	Trainable policy	Config	Folds	Status
S3	full	CE	image/text unfreeze ratio 1.0 / 1.0	`mobileclip2_s3_server_full_ce_hardneg.yaml`	0-4	completed · results
S4	full	CE	image/text unfreeze ratio 1.0 / 1.0	`mobileclip2_s4_server_full_ce_hardneg.yaml`	0-4	completed · results
S3	partial	CE	image/text unfreeze ratio 0.25 / 0.15	`mobileclip2_s3_server_partial_ce_hardneg.yaml`	0-4	completed · results
S4	partial	CE	image/text unfreeze ratio 0.25 / 0.15	`mobileclip2_s4_server_partial_ce_hardneg.yaml`	0-4	completed · results
S3	partial	ArcFace	image/text unfreeze ratio 0.25 / 0.15	`mobileclip2_s3_server_partial_arcface_hardneg.yaml`	0-4	completed · results
S4	partial	ArcFace	image/text unfreeze ratio 0.25 / 0.15	`mobileclip2_s4_server_partial_arcface_hardneg.yaml`	0-4	completed · results
S3	LoRA	CE	rank 8, alpha 16, dropout 0.05	`mobileclip2_s3_server_lora_ce_hardneg.yaml`	0-4	completed · results
S4	LoRA	CE	rank 8, alpha 16, dropout 0.05	`mobileclip2_s4_server_lora_ce_hardneg.yaml`	0-4	completed · results

Controlled Variables

Dataset root: /workspace/landmark-assis/Dataset
Split: splits/kfold_seed20260513.json, seed 20260513, 5 folds, locked test ratio 0.15
Image size: 224
Epochs: 30
Loss components: classification + image-text contrastive + hard-negative margin
Class balance: sqrt_weighted
Server context: Tesla P100, 4-process DDP, W&B project landmark-assistant-sprint2

Execution Evidence

tmux session: landmark-paper-matrix
script: /tmp/run_paper_matrix.sh
repo: /workspace/landmark-assis/landmark-assistant-model-ver2
data: /workspace/landmark-assis/Dataset
first run: mobileclip2_s3_server_full_ce_hardneg fold0
first log: logs/paper-matrix-mobileclip2_s3_server_full_ce_hardneg-fold0-20260611_173153.log

How to Interpret the Results Later

결과 해석은 아래 순서로 수행한다. 최신 집계는 Sprint 2 Main Matrix Results에 남긴다.

Backbone under same method: S3 full vs S4 full, S3 partial CE vs S4 partial CE, S3 partial ArcFace vs S4 partial ArcFace, S3 LoRA vs S4 LoRA.
Training method inside same backbone: S3 내부에서 full/partial/ArcFace/LoRA 비교, S4 내부에서 같은 비교.
Final candidate: validation 기준으로 선택하고 locked test는 최종 보고에 사용한다.
Error analysis: low-margin, hard-case, confusion matrix, per-class F1을 함께 확인한다.
Runtime handoff: 선택된 final config로 retrain 후 ONNX parity와 앱 회귀를 진행한다.

Current Rule

기존 “S3 pilot이 최상위 후보처럼 보였던 결과”는 provisional screening result로만 취급한다. 논문식 결론은 40-run matrix의 validation 평균/표준편차와 deployment/runtime 검증을 분리해서 작성한다.