Model Serving Contract
App main 기준 최신 FP16 mixed image/text encoder bundle, manifest, tokenizer, prototype/index, 앱 I/O 계약.
계약 문서 열기Project docs hub · Sprint 2 transition
Landmark Assistant 문서 허브
팀원이 지금 필요한 실행 기준과 결정 근거를 빠르게 찾도록 정리한 문서 입구다.
현재는 Sprint 1 시연 산출물을 보존하면서, Sprint 2의 Flutter 온디바이스 앱과
MobileCLIP2-S3 FP16 mixed image/text encoder 기반 전달 기준을 먼저 보이게 정리한다.
App main 기준 검수는 lpcvc-2026-CNU/App@598da589를 기준으로 최신화했다.
S3
MobileCLIP2-S3 app candidate
FP16
mixed image/text encoder
23
지원 landmark class
4-way
confidence policy
현재 기준
Sprint 1 기준의 안정 실행 경로는 Landmark Assistant demo app과
dynamic INT8 ONNX artifact로 보존한다.
Sprint 2 앱 전달 기준은 MobileCLIP2-S3 FP16 mixed image/text encoder bundle과
Flutter 온디바이스 앱 구조다.
GitHub main에는 metadata/search/tokenizer/policy JSON만 추적하고, 실제 실행용 .onnx와
.onnx.data 대용량 파일은 공유 artifact에서 별도로 배치한다.
새 모델 학습 코드는 landmark-assistant-model-ver2에서 관리하고,
공유 문서는 이 landmark-assistant/docs 허브를 source of truth로 둔다.
CE/CosFace/ArcFace 선택형 classification loss, image-text contrastive loss,
confusing_with 기반 hard-negative margin loss를 config로 비교했고,
현재 앱 후보 artifact는 mobileclip2_s3_server_full_ce_hardneg_fold3_20260611_214421에서 생성한다.
먼저 읽을 문서
처음 들어온 팀원은 아래 문서만 읽어도 제품 목표, 현재 상태, 실행법을 파악할 수 있다.
Project Brief
제품 목표, Sprint 1 범위, 확정된 모델/데모 방향을 5분 안에 읽는 요약.
Project Brief 열기Product Requirements
프로젝트 개요, 해결 문제, 타겟 고객, 유저스토리, 핵심 기능, 기술 스택, 수용 기준.
요구사항 문서 열기Demo App Guide
Sprint 1 Streamlit demo app과 INT8 artifact를 재현하는 legacy 실행 절차.
실행 가이드 열기Flutter On-device App Architecture
Flutter 앱 내부 Gateway/Service/Repository, MySQL 운영 DB, 로컬 asset/SQLite 구조.
아키텍처 문서 열기Current Handoff
Sprint 1에서 Sprint 2로 넘어간 변경 이유를 보존한 legacy 인수인계 문서.
인수인계 열기결정 근거
모델 선택, 자연어 검색, 학습 config를 왜 그렇게 잡았는지 설명하는 문서다.
ADR-0003 Text Search
자연어 검색을 image recognizer와 분리해 text encoder/keyword engine으로 붙이는 이유.
문서 열기ADR-0004 Image Recognizer
Sprint 1에서 MobileCLIP2-S4를 recognizer로 고정했던 이전 결정과 fallback 판단.
문서 열기ADR-0005 Training Config v2
batch, augmentation, class balance, scheduler를 바꾼 이유.
문서 열기Dataset Contract
Dataset 폴더 구조, labels schema, split 정책, 확장 라벨 기준.
문서 열기라벨링
데이터 수집, 이미지 라벨, 한/영 caption, hard negative, 텍스트 카탈로그 관련 문서는 이 섹션에 모은다.
Data and Text Labeling Guide
Multi-task fine-tuning을 위한 이미지 라벨, caption set, hard negative, 한/영 텍스트 카탈로그 운영 기준.
라벨링 가이드 열기운영 문서
반복 실행과 배포, 추적에 필요한 문서만 남겼다.
Training Runbook
서버 학습과 artifact 생성 흐름.
문서 열기Flutter On-device App Architecture
앱 개발을 위한 계층 구조, MySQL ERD 초안, 앱 내부 asset/SQLite 설계.
문서 열기Tracking and Backup
W&B 추적과 Google Drive 백업 운영 기준.
문서 열기Vercel Docs Deploy
문서를 Vercel에 올리고 배포 상태를 확인하는 방법.
문서 열기Docs Maintenance Audit
문서 허브의 최신/legacy/archive 구분, 읽는 순서, 시각화 적용 기준, 남은 점검 항목.
감사 기록 열기Decision Trail
초기 goal, deep interview, model search plan 등 과거 판단 근거를 압축 보관.
Archive 열기이슈와 작업 추적
앱 연동 중 발견한 모델 관련 수정 사항과 우선순위를 추적한다.
App Model Integration Issue
MobileCLIP2-S3 FP16 image/text encoder 번들을 Flutter 앱에 넣기 위해 추적한 모델 로딩, catalog, score, confidence 수정 목록과 main 반영 상태.
GitHub Issue Markdown 열기Semantic Text Search Plan
text encoder, tokenizer, text index, 전체 query regression, 테스트 코드, PR 본문, 금지 범위를 고정한 구현 계획.
계획 문서 열기Semantic Text Search Design
MobileCLIP2-S3 text encoder, tokenizer bundle, text index, SQLite keyword score, fusion policy의 main 반영 구현 구조와 regression 수치.
구현 구조 열기배경지식
모델 점수와 embedding 검색을 이해하기 위한 학습 문서다. 구현 문서와 분리해, 개념 설명과 Q&A를 계속 쌓아간다.
MobileCLIP2 Embedding 흐름
이미지가 모델 입력 tensor, embedding, prototype 비교, cosine similarity, Top-3 점수로 이어지는 전체 흐름.
지식 문서 열기Embedding 기초 Q&A
L2 정규화, 방향, 길이, classifier 점수와 embedding 유사도 점수의 차이를 질문-답변 형태로 정리.
Q&A 열기랜드마크 모델 학습 방식 3가지
Image-label classification, image-text contrastive, multi-task 방식을 비교하고 Sprint 2 추천 방향을 정리.
지식 문서 열기Multi-task 학습과 라벨링
classification과 image-text contrastive를 동시에 학습할 때 좋은 점, 학습 흐름, 데이터셋 변경 기준.
지식 문서 열기모델 학습 설계 순서
문제 정의, 출력, 목표 지표, 데이터셋, 모델, Loss, 평가, 배포 검증을 어떤 순서로 정할지 정리.
지식 문서 열기MobileCLIP2 Multi-task 학습 구현
S3/S4 공통 구조의 partial unfreeze/LoRA, CE/CosFace/ArcFace, caption contrastive, hard negative 학습 구현 기록.
구현 문서 열기실험 기록과 논문화
여기서는 실험 기록의 큰 입구만 보여준다. 세부 문서와 오래된 screening 기록은 Paper Experiment Hub 안에서 순서대로 따라간다.
Paper Experiment Hub
연구 질문, 재현성 체크리스트, run registry, 결과 해석 규칙을 묶은 논문화 실험 기록 입구.
논문화 실험 허브 열기Experiment Result Handoff
실험 결과가 나왔을 때 무엇을 전달하고, 어떻게 분석·문서화·논문화할지 정리한 운영 절차.
결과 전달 가이드 열기Sprint 2 Paper-grade Experiment Matrix
S3/S4 backbone과 full/partial/ArcFace/LoRA 방식을 공정하게 교차 비교한 main experiment 설계.
논문식 실험 매트릭스 열기Sprint 2 Main Matrix Results
8개 config x 5 folds, 총 40개 main run의 평균/표준편차, fold별 raw table, screening 분리 결과.
최신 결과 열기문서 정리 원칙
현재 실행과 설계에 직접 필요한 내용은 위쪽에 둔다. Sprint 1 결과물은 삭제하지 않고 하단 Sprint 1 섹션으로 모은다. 변경 이유는 Current Handoff의 “무엇이 왜 바뀌었나” 표에 남긴다. 이전 기준 문서는 페이지를 지우지 않고 legacy / 이전 기준임을 표시해 보존한다. 최신 실행 기준과 충돌할 수 있는 문서는 상단에 “현재는 무엇으로 대체되었는지”를 명시한다.
Sprint 1
Sprint 1 시연 결과, 벤치마크, 검증 문서는 현재 기준을 이해한 뒤 참고하는 하단 기록으로 둔다.
Sprint 1 Summary
Sprint Goal 결과물, 계획 변경점, 추가 성과, 주요 이슈를 한 페이지에서 보는 공유 요약.
요약 문서 열기Demo App Test
1차 데모 테스트에서 성공/실패/애매 케이스가 어떻게 나왔는지.
결과 열기Mobile Artifact Benchmark
FP32 ONNX, dynamic INT8, AI Hub w8a16, NPU latency와 정확도 caveat.
벤치마크 열기Sprint 1 Demo Validation
새 best.pt 교체 후 PyTorch/ONNX/INT8, UI, 상세보기, 평가 기준을 최종 점검한 기록.
검증 기록 열기