모델 실험 프로토콜과 결과 기록 방식

참고한 연구 출판 기준

아래 기준을 우리 프로젝트 규모에 맞게 축소 적용한다. 완전한 저널 투고 문서는 아니지만, 실험 재현성과 결과 신뢰도를 설명할 수 있는 수준을 목표로 한다.

처음 따라가는 방법

1. 실험 질문을 먼저 쓴다.

   예: “MobileCLIP2-S4에서 image-text contrastive loss를 추가하면 한국어 자연어 검색과 hard case 구분이 개선되는가?”

2. 데이터 snapshot을 고정한다.

   Dataset 폴더를 바꿨다면 split을 다시 만들고 dataset_fingerprint를 기록한다. 다른 fingerprint끼리는 같은 실험처럼 비교하지 않는다.

3. 비교할 모델과 변경점 하나를 정한다.

   예: baseline CE와 multi-task CE를 비교한다. 이때 모델, split, epoch, image size는 같게 둔다.

4. 학습 config와 commit hash를 기록한다.

   나중에 결과가 좋아도 어떤 코드와 config에서 나온 것인지 모르면 논문식 결과로 쓸 수 없다.

5. validation으로 선택하고 test는 마지막에만 본다.

   test 결과를 보면서 threshold나 loss weight를 고치면 test set에 맞춘 것이 되어 결과가 과대평가된다.

6. 성공 결과와 실패 결과를 모두 남긴다.

   AI Hub w8a16처럼 latency는 좋지만 embedding이 붕괴한 결과도 중요한 실험 근거다.

실험 전체 흐름

1. Research Question
   ↓
2. Dataset Snapshot + Split Manifest
   ↓
3. Baseline Run
   ↓
4. Controlled Comparison Runs
   ↓
5. Validation-based Model Selection
   ↓
6. Locked Test Evaluation
   ↓
7. Artifact Export and Runtime Check
   ↓
8. Error Analysis and Next Experiment

우리 프로젝트의 실험 순서

반드시 고정해야 하는 것

평가 지표

실험 실행 전 체크리스트

• 실험 질문이 한 문장으로 적혀 있는가?
• Dataset fingerprint와 split manifest가 기록되어 있는가?
• 비교할 baseline이 있는가?
• 이번 실험에서 바꾸는 변수가 하나 또는 아주 적은 수로 제한되어 있는가?
• config 파일이 Git에 포함되어 있는가?
• W&B run name, local run directory, Git commit hash가 연결되어 있는가?
• test set을 튜닝에 쓰지 않겠다는 기준이 지켜졌는가?
• 실패했을 때도 결과를 남길 위치가 정해져 있는가?

실험 노트 템플릿

Experiment ID:
Date:
Research question:
Hypothesis:

Dataset:
  data_root:
  dataset_fingerprint:
  split_manifest:
  class_count:
  train/val/test counts:

Code:
  repo:
  commit:
  entrypoint:
  config:

Training:
  model:
  pretrained:
  freeze/unfreeze:
  loss:
  optimizer:
  epoch:
  batch size:
  GPU / CUDA / torch:

Results:
  val_top1:
  val_top3:
  test_top1:
  test_top3:
  macro_f1:
  hard_case_top1:
  low_margin_count:
  text_retrieval:
  artifact_size:
  latency:

Interpretation:
  what improved:
  what got worse:
  likely cause:
  next experiment:
  do not claim:

결과 표 양식

아직 실행 전인 항목은 비워둔다. 값이 없는 칸을 추측으로 채우지 않는다.

2026-06-11 후속 5-fold 실험 기록

이 항목은 Sprint 2 multi-task 학습의 후속 실험 실행 기록이다. fold0 결과에서 후보로 남은 S3 pilot과 S4 ArcFace partial을 같은 데이터셋 fingerprint와 같은 split 정책으로 fold1-4까지 확장해, 단일 fold 우연성을 줄이는 것을 목표로 한다.

Research Question

MobileCLIP2-S3 pilot run이 S4 ArcFace 기반 partial unfreeze보다 23-class landmark recognition에서 더 안정적인 Top-1, macro-F1, hard-case 성능을 보이는가?

Controlled Setting

Completed Fold0 Baseline

아래 값은 C:\Users\hi\Downloads\종설_작업중\wandb_exports에 내려받은 W&B scalar export를 기준으로 확인했다. text query retrieval CSV는 헤더만 있고 값이 없어, 자연어 검색 성능은 이 결과표에서 검증하지 않는다.

Completed 5-fold Comparison

2026-06-12에 추가 export된 fold1-4 결과까지 포함해 S3 pilot과 S4 ArcFace partial을 5-fold로 재집계했다. 핵심 비교는 fold0-4 전체 평균과 표준편차를 사용한다. 단일 fold에서는 S4 ArcFace가 validation Top-1에서 근소하게 앞선 경우가 있었지만, 5-fold test 기준에서는 S3 pilot이 Top-1, Top-3, macro-F1, hard-case Top-1 모두 더 높았다. 이 결과는 후보 탐색(screening)으로 보존한다. config 점검 결과 기존 S3 run은 이름과 달리 true full unfreeze가 아니었으므로, 논문식 최종 비교는 Sprint 2 논문식 실험 매트릭스에서 새로 관리한다.

Fold-level Evidence

Run Set

전체 기록 대상은 12개 run이다. 5-fold 핵심 비교는 mobileclip2_s3_server_full_fold0-4와 mobileclip2_s4_multitask_partial_unfreeze_arcface_hardneg_fold0-4의 10개 run이다. mobileclip2_s4_multitask_partial_unfreeze_ce_hardneg_fold0과 mobileclip2_s4_multitask_lora_ce_hardneg_fold0은 fold0 ablation으로 유지한다.

Execution Command

tmux new-session -d -s landmark-sprint2-followup-folds 'bash /tmp/run_followup_folds.sh'
tmux attach -t landmark-sprint2-followup-folds
nvidia-smi

Current Limitation

이번 W&B export에서는 text_query_retrieval.query_count가 모든 핵심 run에서 0이었다. 따라서 이 5-fold 결과는 이미지 recognition 성능 비교로만 해석한다. 자연어 검색 성능은 별도 text retrieval eval을 실행해 같은 방식으로 기록해야 한다.

Decision

현재 증거 기준으로 이 결과는 최종 artifact/export 후보 결정이 아니라 screening evidence다. S3 pilot에서도 deoksugung_daehanmun, cheonggyecheon, gyeongbokgung_geunjeongjeon은 fold별 lower F1에 반복적으로 등장하므로 다음 실험에서는 해당 class의 데이터 품질, split별 support, confusion matrix를 먼저 확인한다.

관련 문서

• 모델 학습 설계 순서
• MobileCLIP2-S4 Multi-task 학습 구현
• Data and Text Labeling Guide
• Sprint 1 Mobile Artifact Benchmark
• Sprint 1 Demo Validation