Sprint 1 모델 설계 Scorecard

상태: Active · 목표 점수: 95/100 이상 · 작성일: 2026-05-13

Goal 종료 조건

설계 문서 기준 점수가 95점 이상이면 Sprint 1 모델 설계 goal을 종료 가능 상태로 본다. 이 점수는 문서화된 설계 준비도에 대한 gate이며, 실제 모델 성능을 의미하지 않는다. 모델 성능 goal은 학습 로그가 생성된 뒤 Top-3 Accuracy, rejection/calibration, ONNX latency로 별도 판정한다.

점수표

영역	점수	판정 기준
Scope and goal	10	오늘 학습 착수 목표, fixed Jongno landmark scope, student 모델 목표가 명시되어야 한다.
Dataset contract	10	labels.json, source grouping, negative set, split 정책이 명시되어야 한다.
Architecture decision	10	retrieval-first, auxiliary classification, teacher/student, ONNX 경로가 ADR에 있어야 한다.
Teacher gate	10	DINOv3 visual teacher와 SigLIP2 image-text teacher의 역할과 비교 gate가 분리되어야 한다.
Metrics and rejection	10	Top-3 Accuracy뿐 아니라 reject AUROC, coverage@accuracy, Top1/Top2 margin이 있어야 한다.
Training runbook	10	canary gates, single-GPU smoke, DDP 전환 순서가 있어야 한다.
ONNX deployment	10	target device, execution provider, quantization, preprocessing parity가 있어야 한다.
Tracking and backup	10	W&B tracking, artifact logging, Google Drive automatic backup 경로가 있어야 한다.
Serving contract	10	ONNX artifact, Top-3 output, `out_of_scope` status, 앱 팀 연동 계약이 있어야 한다.
Reproducibility and hooks	10	experiment metadata, docs hook, verification script가 있어야 한다.

실행 방법

python scripts/score_sprint1_model_design.py --threshold 95

git repo로 초기화한 뒤 scripts/setup_hooks.ps1을 실행하면 pre-commit에서도 문서 검증과 goal score 검증을 함께 수행할 수 있다.