시트 & 턴어라운드 — 스타일 LoRA 스터디

개요

플랫 캐주얼 게임 아트 룩을 재현하는 스타일 LoRA. 데이터셋 큐레이션, 캡션 엔지니어링, 학습, 에폭 스윕 검증, 파이프라인 통합까지 처음부터 끝까지 직접 진행했습니다. 이 카드는 그 전체 과정의 기록이며, 이 사이트의 모든 스타일 모델이 같은 레시피로 만들어집니다.

왜 LoRA인가 — 짧은 원리

베이스 디퓨전 모델은 천 개의 화풍을 어렴풋이 알지만 어느 것도 정확히 알지 못합니다. LoRA(Low-Rank Adaptation)는 베이스 모델을 통째로 동결하고, 어텐션 가중치 옆에 주입되는 작은 저랭크 행렬만 학습합니다 — 여기서는 rank 32, 수 기가바이트 베이스 대비 수십 메가바이트입니다. 베이스가 동결되어 있으니 해부학·구도·프롬프트 이해력은 그대로 유지되고, LoRA에게는 “데이터셋이 일관되게 보여주는데 베이스가 모르는 것”만 배울 용량이 있습니다. 데이터셋의 유일한 일관 신호가 화풍이 되도록 큐레이션하면, 배우는 것도 화풍이 됩니다.

데이터셋 — 깔때기

자작 데이터셋 툴(데이터큐레이터 카드 참조)로 구축: 후보 1,167장 검수 → ML 보조 선별과 수동 검수로 521장 킵 → 최종 58장 학습 큐레이션. 마지막 컷이 가장 엄격합니다: 유사 중복, 화풍 이탈, 멀티패널 시트, 스크린샷은 전부 탈락 — 작은 데이터셋에서는 나쁜 이미지 한 장이 신호의 2%이기 때문입니다.

캡션은 트리거 워드 없는 순수 내용 서술 프로즈입니다. 논리는 이렇습니다: 캡션이 설명하는 것(피사체, 포즈, 팔레트)은 모델이 텍스트 탓으로 돌리고, 캡션이 일관되게 설명하지 않는 것 — 렌더링 스타일 그 자체 — 이 LoRA가 흡수하는 잔차가 됩니다. 트리거 워드가 없으면 화풍이 항상 켜져 있는데, 전용 스타일 모델에게는 그게 원하는 동작입니다.

학습

실제 런 로그에서 뽑은 loss 커브입니다 — 초반 하강 후 평평한-노이즈 형태는 소규모 데이터셋 스타일 학습에서 정상이며, 봐야 할 신호는 붕괴(암기)나 상승(발산) 없이 평평하게 유지되는가입니다:

검증 — 대부분이 건너뛰는 부분

loss 수치는 어느 체크포인트를 출고할지 알려주지 않습니다. 모든 체크포인트를 분포 외(OOD) 프로브로 스윕합니다: 고정 시드 + 학습 데이터에 없는 소재의 고정 프롬프트. 분포 내 프로브는 모델에게 아첨합니다 — 암기가 품질처럼 보이기 때문입니다. OOD 소재라야 실제로 산 것이 보입니다: 화풍이 일반화되는가, 그리고 몇 에폭부터 화풍 각인이 해부학과 의상 논리를 대가로 요구하는가.

고정 시드, 무LoRA 베이스라인부터 에폭 26까지. 에폭 10 부근에서 구조를 깨지 않으면서 화풍이 잠깁니다 — 이후 에폭은 그래픽한 룩을 더 밀어붙이지만 해부학이 휘기 시작하므로, 에폭 10을 표준 운용점으로 출고하고 후기 체크포인트는 의도적인 강한 다이얼로 보관합니다.

프로덕션에서

귀족 기사 스플래시 파이프라인과 플랫 트랙 컨셉 포스트에 사용했습니다. 검증에서 발견한 운용 노트: 이 화풍은 명료한 실루엣을 전제하며 절제된 프롬프트에서 가장 잘 읽힙니다 — 렌더링을 과잉 서술하면 LoRA를 돕는 게 아니라 싸우게 됩니다.