귀족 기사 — 스플래시 파이프라인

문제

예쁜 이미지를 생성하는 건 쉽습니다. 어려운 것은 디퓨전 모델에서 같은 캐릭터 — 같은 얼굴, 같은 의상, 같은 장식 언어 — 를 완전히 새로운 장면에 꺼내는 일이고, 실제 프로덕션이 필요로 하는 것도 바로 그것입니다.

근본 원인은 반복 실험으로 직접 지도를 그린 트레이드오프입니다: text-to-image는 포즈와 연출이 자유롭지만 굴릴 때마다 의상 디자인이 표류하고, 캐릭터 시트를 앵커로 한 image-to-image는 디자인을 거의 픽셀 단위로 보존하지만 포즈가 잠깁니다. 프로덕션 파이프라인은 이 두 극 사이를 운 좋은 시드에 기대지 않고 의도적으로 항해해야 합니다.

파이프라인

1. 캐릭터 시트 먼저. 전신 컨셉으로 디자인을 확정합니다: 실루엣, 재질, 팔레트, 얼굴. (자체 학습 스타일 LoRA로 직접 디렉팅한 생성 + 페인트오버.)
2. 아이덴티티 보존 스테이징. 스플래시는 시트로부터 만듭니다 — 시트를 VAE 인코딩해 라텐트 앵커로 넣고, 구도와 라이팅은 프롬프트로 다시 씁니다. 결정적인 다이얼은 디노이즈입니다: 0.5~0.65 부근에서 디테일한 캐릭터는 살아남고 빈 배경만 새 장면으로 재렌더됩니다. 그보다 낮으면 아무것도 안 변하고, 높으면 의상이 녹기 시작합니다.
3. 요소 이식. 새 장면 요소(소품, 이펙트, 군중)는 러프 프록시로 먼저 그려 넣고 그 자리에서 재렌더합니다 — 모델은 프록시를 구도 가이드로 삼아 학습된 룩으로 다시 그립니다.
4. 얼굴 & 마감. 저디노이즈(0.2~0.35 — 정체성은 유지한 채 얼굴만 정련) 페이스 디테일 패스로 표정을 제어하고, 최종 페인트오버와 타일 2× 업스케일로 납품합니다.

실제 그래프

실제로 돌아가는 그대로의 image-to-image 스테이징 그래프입니다 — 오픈 웨이트 베이스 위에 자체 학습 스타일 LoRA 스택, 캐릭터 시트를 로드해 VAE 인코딩한 라텐트 앵커, 포지티브 전용 프롬프트(CFG 1에서는 네거티브를 0으로), 그리고 샘플러의 아이덴티티 보존 디노이즈:

그래프를 왼쪽에서 오른쪽으로 읽으면: 모델+LoRA 스택, 프롬프트 블록, 라텐트로 들어오는 캐릭터 시트 — 모두 하나의 샘플러에서 만나고, 그 디노이즈 값이 시트가 얼마나 살아남을지를 결정합니다. 이 사이트의 모든 스플래시 포스트가 이 그래프의 변형을 거쳤습니다.

실전 예시

연못의 황후를 보세요 — 스탠딩 시트와 연못 스플래시는 의상 픽셀 단위까지 같은 캐릭터입니다. 같은 파이프라인이 황금 황제 키 비주얼과 다크 리전 액션 배리에이션을 만들었습니다.

검증이 가르쳐 준 것

• 프롬프트 구조가 길이보다 중요합니다. CFG 1에서는 모든 것이 포지티브 컨디셔닝입니다 — 금지할 요소는 부정하는 게 아니라 어휘에서 제거해야 합니다.
• 배경은 화풍 계약의 일부입니다. 스타일 LoRA들은 다크 시네마틱 배경으로 학습되었습니다 — 플랫 스튜디오 배경에 스테이징하면 학습된 룩이 억눌립니다.
• 정체성 먼저, 구도는 그다음. 디자인이 잠기기 전에 구도 변형을 굴리면 표류가 곱해집니다. 시트를 먼저 잠그면 스플래시 제작이 복권이 아니라 통제된, 반복 가능한 공정이 됩니다.

개요

플랫 캐주얼 게임 아트 룩을 재현하는 스타일 LoRA. 데이터셋 큐레이션, 캡션 엔지니어링, 학습, 에폭 스윕 검증, 파이프라인 통합까지 처음부터 끝까지 직접 진행했습니다. 이 카드는 그 전체 과정의 기록이며, 이 사이트의 모든 스타일 모델이 같은 레시피로 만들어집니다.

왜 LoRA인가 — 짧은 원리

베이스 디퓨전 모델은 천 개의 화풍을 어렴풋이 알지만 어느 것도 정확히 알지 못합니다. LoRA(Low-Rank Adaptation)는 베이스 모델을 통째로 동결하고, 어텐션 가중치 옆에 주입되는 작은 저랭크 행렬만 학습합니다 — 여기서는 rank 32, 수 기가바이트 베이스 대비 수십 메가바이트입니다. 베이스가 동결되어 있으니 해부학·구도·프롬프트 이해력은 그대로 유지되고, LoRA에게는 “데이터셋이 일관되게 보여주는데 베이스가 모르는 것”만 배울 용량이 있습니다. 데이터셋의 유일한 일관 신호가 화풍이 되도록 큐레이션하면, 배우는 것도 화풍이 됩니다.

데이터셋 — 깔때기

자작 데이터셋 툴(데이터큐레이터 카드 참조)로 구축: 후보 1,167장 검수 → ML 보조 선별과 수동 검수로 521장 킵 → 최종 58장 학습 큐레이션. 마지막 컷이 가장 엄격합니다: 유사 중복, 화풍 이탈, 멀티패널 시트, 스크린샷은 전부 탈락 — 작은 데이터셋에서는 나쁜 이미지 한 장이 신호의 2%이기 때문입니다.

캡션은 트리거 워드 없는 순수 내용 서술 프로즈입니다. 논리는 이렇습니다: 캡션이 설명하는 것(피사체, 포즈, 팔레트)은 모델이 텍스트 탓으로 돌리고, 캡션이 일관되게 설명하지 않는 것 — 렌더링 스타일 그 자체 — 이 LoRA가 흡수하는 잔차가 됩니다. 트리거 워드가 없으면 화풍이 항상 켜져 있는데, 전용 스타일 모델에게는 그게 원하는 동작입니다.

학습

실제 런 로그에서 뽑은 loss 커브입니다 — 초반 하강 후 평평한-노이즈 형태는 소규모 데이터셋 스타일 학습에서 정상이며, 봐야 할 신호는 붕괴(암기)나 상승(발산) 없이 평평하게 유지되는가입니다:

검증 — 대부분이 건너뛰는 부분

loss 수치는 어느 체크포인트를 출고할지 알려주지 않습니다. 모든 체크포인트를 분포 외(OOD) 프로브로 스윕합니다: 고정 시드 + 학습 데이터에 없는 소재의 고정 프롬프트. 분포 내 프로브는 모델에게 아첨합니다 — 암기가 품질처럼 보이기 때문입니다. OOD 소재라야 실제로 산 것이 보입니다: 화풍이 일반화되는가, 그리고 몇 에폭부터 화풍 각인이 해부학과 의상 논리를 대가로 요구하는가.

고정 시드, 무LoRA 베이스라인부터 에폭 26까지. 에폭 10 부근에서 구조를 깨지 않으면서 화풍이 잠깁니다 — 이후 에폭은 그래픽한 룩을 더 밀어붙이지만 해부학이 휘기 시작하므로, 에폭 10을 표준 운용점으로 출고하고 후기 체크포인트는 의도적인 강한 다이얼로 보관합니다.

프로덕션에서

귀족 기사 스플래시 파이프라인과 플랫 트랙 컨셉 포스트에 사용했습니다. 검증에서 발견한 운용 노트: 이 화풍은 명료한 실루엣을 전제하며 절제된 프롬프트에서 가장 잘 읽힙니다 — 렌더링을 과잉 서술하면 LoRA를 돕는 게 아니라 싸우게 됩니다.