[논문 리뷰] Enhancing Creative Generation on Stable Diffusion-based Models

https://openaccess.thecvf.com/content/CVPR2025/papers/Han_Enhancing_Creative_Generation_on_Stable_Diffusion-based_Models_CVPR_2025_paper.pdf

 

 

1. 💡 이 연구는 Stable Diffusion 기반 모델의 창의성 부족을 해결하기 위해, 추가 학습 없이 denoising 과정에서 특징 맵을 선택적으로 증폭하는 C3(Creative Concept Catalyst) 방법을 제안합니다.
2. 🛠️ C3는 U-Net의 얕은 블록에서 저주파 특징을 선택적으로 증폭하여 창의성을 높이며, 사용성(usability)과 참신성(novelty)을 유지하기 위해 증폭 계수를 자동으로 조정합니다.
3. 📈 정량적 및 사용자 연구를 통해 C3는 다양한 Stable Diffusion 모델에서 이미지의 창의성, 참신성, 다양성을 크게 향상시키며, 추가 비용 없이 창의적 AI 생성에 기여함을 입증합니다.

 

---

 

 

본 논문은 Stable Diffusion 기반 텍스트-이미지 생성 모델의 창의성 한계를 다루며, 프롬프트에 'creative'라는 단어를 포함해도 원하는 수준의 창의적인 결과를 얻기 어려운 문제를 지적합니다. 기존의 창의성 증진 방법들은 추가적인 최적화 단계나 레퍼런스 이미지를 요구하여 계산 비용이 높습니다. 이러한 문제점을 해결하기 위해, 본 논문은 C3(Creative Concept Catalyst)라는 훈련-무료(training-free) 접근 방식을 제안합니다. C3는 디노이징 과정에서 특정 피처를 선택적으로 증폭하여 더 창의적인 이미지를 생성하도록 유도하며, 추가적인 계산 비용 없이 다양한 Stable Diffusion 기반 모델에 적용 가능합니다.

2. 핵심 방법론: C3 (Creative Concept Catalyst)

C3의 핵심은 사전 학습된 확산 모델의 U-Net 아키텍처 내에서 피처 맵(feature maps)을 선택적으로 조작하는 것입니다.

2.1. 동기 (Motivation)

Stable Diffusion 모델은 U-Net 백본을 통해 잠재 노이즈를 생성하며, 이는 세 개의 다운 블록(down blocks), 하나의 미들 블록(middle block), 그리고 세 개의 업 블록(up blocks)으로 구성됩니다. 프롬프트에 'creative'를 추가해도 창의성 향상이 미미한 문제를 해결하고자, 본 연구는 피처 맵 조작에 주목합니다. 경험적 분석을 통해, 각 블록이 창의성에 다르게 기여함을 발견했습니다.

• 얕은 블록(shallow blocks) (Down 0, Down 1): 주로 색상 및 구조 변화를 유도하며, 시각적으로 새로운 요소를 생성하는 데 중요한 역할을 합니다.
• 중간 블록(Down 2, Middle): 텍스처와 형태 관련 속성에 영향을 미칩니다.
• 깊은 블록(deep blocks) (Up blocks): 주로 노이즈, 블러, 대비 등 이미지 품질 속성에 영향을 줍니다.
  이러한 통찰을 바탕으로, C3는 일관된 창의적 이미지 생성을 위해 다운 블록과 미들 블록의 피처 조작에 초점을 맞춥니다.

2.2. C3 알고리즘

C3는 U-Net의 세 개의 다운 블록과 하나의 미들 블록에서 내부 피처 맵을 증폭함으로써 작동합니다. 모든 피처 값을 일률적으로 증폭하면 이미지가 더 창의적으로 될 가능성이 있지만, 종종 노이즈나 모자이크 패턴과 같은 원치 않는 부작용이 발생합니다. 이는 주로 고주파(high-frequency) 디테일의 증폭 때문이라고 가정합니다. 이미지 처리에서 저주파(low-frequency) 구성 요소는 이미지의 주요 콘텐츠나 객체와 관련되고, 고주파 구성 요소는 미세한 디테일을 포착합니다. 이 통찰을 바탕으로, C3는 주파수 영역에서 저주파 구성 요소를 선택적으로 증폭합니다.

과정은 다음과 같습니다:

1. 피처 맵 변환: $l$-번째 블록의 출력 피처 맵을 $x_l$이라 할 때, 이를 퓨리에 변환(FFT)하여 주파수 영역의 피처 맵 $f(x_l) = \text{FFT}(x_l)$을 얻습니다.
2. 저주파 및 고주파 분리: 지정된 절단 임계값(cut-off threshold)을 가진 이진 저주파 마스크(binarized low-frequency mask) $M_L$을 적용하여 저주파 및 고주파 구성 요소를 분리합니다.
   • 저주파 구성 요소: $f_L(x_l) = f(x_l) \odot M_L$ (여기서 $\odot$는 요소별 곱셈을 의미합니다).
   • 고주파 구성 요소: $f_H(x_l) = f(x_l) \odot (1 - M_L)$
     절단 임계값은 저주파 구성 요소의 범위를 정의하며, 임계값이 높을수록 더 넓은 저주파 범위가 포함되어 이미지에 더 광범위한 수정이 가능합니다.
3. 저주파 증폭: 저주파 구성 요소 $f_L(x_l)$을 증폭 계수 $\omega^{\rightarrow}_l$로 증폭하고, 고주파 구성 요소는 보존합니다.
   • 변형된 주파수 피처: $f^{\rightarrow}(x_l) = \omega^{\rightarrow}_l \cdot f_L(x_l) + f_H(x_l)$
4. 역변환 및 다음 블록 입력: 변형된 주파수 피처 $f^{\rightarrow}(x_l)$를 역 퓨리에 변환(IFFT)하여 공간 영역의 피처 $x^{\rightarrow}_l = \text{IFFT}(f^{\rightarrow}(x_l))$을 얻습니다. 이 $x^{\rightarrow}_l$은 U-Net의 $(l+1)$-번째 블록의 입력으로 사용됩니다.

이 기술은 노이즈를 도입하지 않으면서 더 창의적으로 향상된 객체를 명확하게 생성합니다.

2.3. 매개변수 선택 (Parameter Selection)

적절한 증폭 계수 $\omega_l$를 찾는 것은 중요합니다. 너무 작으면 이미지가 변하지 않고, 너무 크면 알아볼 수 없는 노이즈로 발산합니다. 또한, $\omega_l$ 값은 각 블록마다 달라지며, 후반 블록은 변화에 덜 민감합니다. 본 논문은 창의성의 핵심 두 가지 측면(유용성(usability)과 참신성(novelty))을 기반으로 각 블록에 대한 적절한 증폭 계수를 자동으로 찾는 방법을 제안합니다.

• 유용성 (Usability): 창의적인 샘플은 참신할 뿐만 아니라 특정 품질 기준을 충족해야 합니다. 이미지 도메인에서 유용성은 콘텐츠가 대상 객체로 인식될 수 있는지 여부와 이미지 품질이 만족스러운지 여부를 고려합니다.
  • 유용성 점수: $\text{Use}(I) = \text{Aesthetic}(I) + \text{CLIP}(I, c)$
    • $\text{Aesthetic}(I)$: 생성된 이미지 $I$의 미학 점수. 미학적 시각 분석(AVA) 데이터베이스로 훈련된 공개 예측기를 사용합니다.
    • $\text{CLIP}(I, c)$: 생성된 이미지 $I$와 텍스트 프롬프트 $c$ (예: "a creative [obj]") 사이의 CLIP 점수. 이미지와 텍스트의 정렬(alignment) 정도를 평가합니다.
• 참신성 (Novelty): 참신성은 증폭 계수 $\omega_l$와 단조적으로 증가한다고 가정합니다. 따라서 유용성 제약 조건 하에서 참신성을 최대화하는 $\omega_l$을 탐색합니다.
  • 최적화 문제: $\omega^{\rightarrow}_l = \text{max } \omega^i_l \text{ for } \omega^i_l \in \Omega_l, \text{ s.t., Use}(I(\omega^i_l)) \ge \epsilon \cdot \text{Use}(I(\omega^0_l))$.
    • $I(\omega)$: 증폭 계수 $\omega$로 생성된 이미지.
    • $\Omega_l = {\omega^i_l | 1 = \omega^0_l < \omega^1_l < ... < \omega^n_l = K_l}$: 증폭 계수 후보군. $\omega^0_l$은 증폭 없음, $K_l$은 최대 증폭 계수.
    • $\epsilon$: 유용성 범퍼(usability bumper)로, $0 \le \epsilon \le 1$ 값을 가지며 유용성과 참신성 간의 균형을 조절합니다. $\epsilon$이 클수록 더 높은 충실도(fidelity)를 유지하지만 참신성은 희생될 수 있습니다.
    • $K_l$ 값은 블록별로 다르게 설정하여 계산 효율성을 높입니다 (예: $K_0=K_1=2$, $K_2=K_3=10$).

여러 블록을 동시에 증폭할 때는 이미지 품질 유지를 위해 증폭 계수에 추가적인 스케일링이 필요합니다. 경험적으로, Turbo 모델의 경우 스케일링 계수의 합을 1로, 다른 모델의 경우 0.6으로 유지하면 만족스러운 결과를 얻습니다.

3. 실험 결과

C3의 효과는 SDXL, Lightning (1-step 및 4-step), Turbo와 같은 다양한 Stable Diffusion 기반 모델 및 다양한 객체(의자, 건물, 의류, 자동차, 테디베어)에 대해 평가되었습니다. ConceptLab[19]과도 비교되었습니다.

3.1. 정량적 결과

• 참신성 (Novelty): FID(Frechet Inception Distance)와 Precision 지표를 통해 평가되었습니다. 본 연구에서는 일반적인 생성물과 차별화된 결과를 목표로 하므로, FID는 높을수록, Precision은 낮을수록 창의성이 높다고 해석합니다. C3는 원본 모델 대비 FID와 Precision 모두 개선되었습니다. ConceptLab의 FID는 C3보다 높지만, 레퍼런스 객체의 FID를 초과하여 다른 객체로 인식될 가능성이 있습니다.
• 다양성 (Diversity): Recall, LPIPS(Learned Perceptual Image Patch Similarity), Vendi Score를 통해 측정되었습니다. C3는 전반적으로 다양성 지표에서 개선을 보였습니다. 특히 Turbo 및 Lightning 모델은 모드 붕괴(mode collapse) 문제가 있었음에도 Recall 점수가 크게 향상되었습니다.
• 유용성 (Usability): 생성된 이미지와 프롬프트 간의 CLIP 점수 및 BLIP VQA 모델을 사용하여 평가되었습니다. C3는 참신성과 다양성 향상에 비해 유용성 지표의 손실은 미미한 수준이며, ConceptLab에 비해서는 유용성 손실이 훨씬 적습니다.

3.2. 정성적 결과

C3는 'a creative obj'와 같은 프롬프트로도 창의적인 이미지를 생성하기 어려웠던 원본 모델들의 한계를 극복했습니다. C3를 적용한 이미지는 원본 객체의 핵심 의미를 유지하면서도 더 풍부하고 독창적인 요소를 추가했습니다. ConceptLab은 독특한 변형을 생성하지만, 종종 원본 객체의 의미론적 무결성을 희생하는 경향이 있습니다.

3.3. 사용자 연구

사용자 연구를 통해 C3의 창의성을 인간 지각 측면에서 평가했습니다. 유용성과 참신성 두 가지 질문에 대해 5점 리커트 척도로 응답했습니다. C3는 원본 모델 대비 참신성 점수가 크게 향상되었으며, ConceptLab보다도 높은 참신성 점수를 기록했습니다. 유용성 점수는 소폭 감소했으나, 참신성 증가폭에 비해 작으며, ConceptLab보다는 유용성 점수가 훨씬 높았습니다.

4. 논의 (Discussions)

• 'Creative' 프롬프트의 역할: C3는 프롬프트에 명시적으로 'creative'가 포함될 때 창의성을 증폭합니다. 이는 'creative'가 라텐트(latent)를 확장하여 관련 크로스-어텐션(cross-attention) 값을 증폭시키기 때문입니다. 'creative'를 제거하면 일반적인 이미지가 생성되며, FID 점수도 감소하여 C3가 의도하지 않은 이미지를 생성하지 않음을 보여줍니다.
• 창의성의 유형: 다중 모달 LLM(GPT-4o)을 사용하여 C3가 강화하는 창의성의 측면을 분석했습니다. C3로 생성된 이미지는 전반적인 창의성이 증가했으며, 객체 유형에 따라 강조되는 창의성의 측면이 달랐습니다 (예: 의자는 형태, 의류는 텍스처, 테디베어는 색상).
• 활용 사례:
  • ControlNet 통합: ControlNet과 결합하여 입력 제약을 따르면서도 창의적인 샘플을 쉽게 생성할 수 있음을 보여줍니다.
  • SDXL 하이퍼파라미터와의 통합: CFG(Classifier-Free Guidance) 스케일이나 네거티브 프롬프트와 같은 SDXL의 기본 하이퍼파라미터는 창의성 향상에 제한적인 반면, C3는 기본 설정에서도 창의성을 향상시킵니다. 또한, C3는 CFG 및 네거티브 프롬프트와 함께 사용될 때 모든 설정에서 더 창의적인 샘플을 생성할 수 있습니다.
  • 대체 프롬프트 확장: 'creative' 외에 'rare', 'innovative', 'ingenious'와 같은 대체 형용사를 사용해도 C3는 일관되게 창의성을 향상시킬 수 있음을 보여주었습니다.
• 비-Stable Diffusion 모델로의 확장: C3를 Kandinsky 3.0 및 HunYuan-DiT와 같은 다른 아키텍처(U-Net 기반 및 트랜스포머 기반)에도 적용 가능성을 확인했습니다.

5. 결론 및 한계

본 논문은 사전 훈련된 Stable Diffusion 기반 모델의 창의적 결과물을 향상시키기 위한 간단하고 효과적인 훈련-무료 방법인 C3를 제안합니다. C3는 자동 선택된 증폭 계수를 사용하여 내부 피처를 증폭하고, 광범위한 미세 조정이나 추가 최적화 없이도 품질을 유지합니다. 그러나 본 방법에는 한계도 존재합니다. C3는 사전 훈련된 모델의 생성 능력에 크게 의존하며, 모델 자체가 대상 객체에 대한 창의성 개념이 제한적일 경우 창의적인 샘플을 생성하지 못할 수 있습니다. 또한, C3의 효과를 다른 모델 아키텍처 및 구성 요소에 걸쳐 종합적으로 분석하는 것은 향후 연구 과제로 남겨져 있습니다. 이러한 한계에도 불구하고, C3는 창의적 생성을 위한 최초의 훈련-무료 방법으로서, 창의적인 AI 연구 커뮤니티에 중요한 기여를 하고 제품 디자이너와 같은 사용자에게 향상된 결과물을 제공함으로써 영감을 줄 수 있습니다.