Run registry · 2026-06-12

실험 실행 기록과 결과 반영 템플릿

모든 run을 같은 형식으로 남기기 위한 문서다. 좋은 결과만 남기지 않고, screening, main, failed, excluded run을 분리해 기록한다.

기록 원칙

결과가 좋았는지보다 먼저, 어떤 질문에 답하기 위한 run인지와 비교 가능한 조건인지 확인한다. 비교 조건이 맞지 않으면 결과가 좋아도 main conclusion으로 쓰지 않는다.

Run Category

Category 의미 논문에서 쓰는 방식
main 사전에 정의한 fair comparison matrix에 속하는 run. Results와 Ablation Study의 핵심 표로 사용한다.
screening 후보 탐색, 빠른 비교, 조건이 완전히 맞지 않는 초기 실험. 실험 설계 변경의 근거로만 사용한다.
failed 학습 실패, export 실패, accuracy collapse, 환경 문제. 실패 실험/한계/다음 개선 근거로 기록한다.
excluded run은 끝났지만 비교 조건이 맞지 않아 최종 표에서 제외한 결과. 왜 제외했는지 Method 또는 Appendix에서 설명한다.

Run Record Template

Run:
  category: main | screening | failed | excluded
  run_name:
  wandb_project:
  wandb_run_id:
  local_run_dir:
  status: queued | running | completed | failed | excluded

Question:
  research_question:
  hypothesis:
  changed_variable:
  controlled_variables:

Dataset:
  root:
  fingerprint:
  split_manifest:
  fold:
  class_count:
  confirmed_records:

Config:
  path:
  backbone:
  train_method:
  image_unfreeze_ratio:
  text_unfreeze_ratio:
  classification_loss:
  contrastive_loss:
  hard_negative_loss:
  epochs:
  image_size:
  batch_size:
  seed:

Result:
  val_top1:
  test_top1:
  test_top3:
  macro_f1:
  hard_case_top1:
  low_margin_count:
  text_retrieval_r1:

Artifacts:
  checkpoint:
  onnx:
  int8:
  checksum:

Interpretation:
  conclusion:
  comparison_scope:
  failure_or_exclusion_reason:
  next_step:

현재 Registry Snapshot

아래 표는 현재 문서 기준의 registry snapshot이다. live W&B 상태가 아니라 문서화된 상태이므로, 새 export를 받으면 갱신한다.

Run group Category 상태 해석 문서
S3 pilot 5-fold screening completed 이름은 server_full이었지만 실제 config는 partial unfreeze였으므로 최종 S3/S4 결론에는 사용하지 않는다. screening result
S4 partial ArcFace 5-fold screening completed S3 pilot과 조건이 달라 직접 우열 결론은 보류한다. screening result
S3/S4 2x4 paper matrix main running / queued 공정 비교의 source of truth. 완료 후 최종 backbone/train method 결론을 작성한다. paper matrix
Sprint 1 AI Hub w8a16 INT8 failed recorded NPU latency는 좋았지만 embedding collapse가 있어 배포 정확도 후보가 아니다. mobile artifact benchmark

결과 그래프 작성 규칙

Error Analysis Template

오류 유형 예시 확인할 로그 다음 조치
궁궐 문루/전각 혼동 광화문, 근정문, 근정전 confusion matrix, low-margin csv, top-3 prediction parent/sub landmark 정책, confusion_prior, hard negative 보강.
배경 landmark 혼동 광화문 이미지 후경의 청와대 top-3 score, background_landmark_ids, image crop 주 피사체 기준 라벨링, ambiguity policy, crop robustness 평가.
저품질 입력 흐림, 어두움, tiny upscaled, noise quality detector score, confidence status 앱단 image quality gate와 low_quality policy 개선.
자연어 검색 실패 한국어 묘사형 query text retrieval ranking, alias/keyword score, fusion score catalog query_examples, bilingual caption, text encoder fine-tuning 검토.

결과 반영 체크리스트