데이터큐레이터 — 데이터셋 파이프라인

해결하는 문제

이 사이트의 모든 스타일 LoRA는 데이터셋 문제에서 출발했고, 데이터셋 품질은 스타일 학습에서 가장 레버리지가 큰 단일 변수입니다 — 58장으로 학습하는 rank 32 LoRA에게는 나쁜 데이터를 무시할 용량이 없습니다. 레퍼런스 수집, 중복 제거, 크롭, 주제 이탈 이미지 거르기, 캡셔닝, 트레이너 포맷 익스포트까지가 하나의 파이프라인 분량이라, 아예 파이프라인으로 만들었습니다.

파이프라인

크롤 → ML 보조 선별 → 사람 검수 → 캡션 → 익스포트.

1. 크롤. 키워드·갤러리 단위 레퍼런스 수집.
2. ML 보조 선별. 지각적 중복 제거, 미적/품질 스코어링, CLIP 임베딩 유사도 억제 — 킵된 세트가 작가의 가장 반복적인 구도 10개로 붕괴하지 않고 다양성을 유지하게 합니다. 규칙 기반 자동 거절(멀티패널 시트, 스크린샷, 단체샷)은 자연어 지시문을 비전-언어 모델(VLM)에 통과시키는 방식으로 돌아갑니다.
3. 사람 검수 큐. 기계가 킵한 것도 전부 keep/reject 패스를 거칩니다 — 플랫 캐주얼 세트의 경우 1,167장 검수 → 521장 킵 → 58장 최종 승격이었습니다.
4. 캡션 엔진. 교체 가능한 백엔드: 태그 기반 모델용 booru 스타일 태거, 자연어 모델용 VLM 프로즈 캡셔닝 — 그리고 수동 QA용 캡션 뷰어. 캡션 환각(있지도 않은 무기와 날개)은 스타일 학습을 오염시키기 때문입니다.
5. 익스포트. 원클릭으로 트레이너가 기대하는 폴더 구조(이미지, 캡션, repeat 구조)가 나옵니다.

썸네일 블러 처리: 소스 아트웍은 학습 데이터 큐레이션 과정의 분석에만 사용하며 재배포하지 않습니다.

존재 이유

“LoRA 학습”은 GPU 작업처럼 들리지만, 실제로는 80%가 데이터 규율입니다. 데이터 경로를 재현 가능한 파이프라인으로 만들어 두면 새 스타일이 아이디어에서 검증된 모델까지 하루 이틀에 가고, 그렇게 나온 모델이라야 프로덕션 파이프라인에 넣을 만큼 일관적입니다.