이 논문은 확산 모델(diffusion model) 기반 시각 예술 창작 분야에 대한 포괄적인 조사를 제공합니다. 인공지능 생성 콘텐츠(AIGC)의 부상과 시각 예술의 고유한 가치를 연결하며, 기술적 발전과 예술적 요구사항 간의 상호작용을 탐구하는 것을 목표로 합니다.연구 목표 및 질문:이 연구는 확산 모델이 시각 예술 창작을 어떻게 혁신했는지 분석하고, 이 분야의 미래 연구를 위한 프레임워크와 통찰력을 제공하는 것을 두 가지 주요 목표로 삼습니다. 이를 위해 다음과 같은 네 가지 연구 질문을 다룹니다:Q1: 확산 모델 기반 시각 예술 창작에서 가장 주목받는 주제는 무엇인가?Q2: 확산 모델 기반 시각 예술 창작의 현재 연구 문제/요구사항은 무엇인가?Q3: 확산 모델 기반 시각 예술 창작에 적용되는 방법..
Roble
1. 선행 지식Autoencoder(AE)**와 VAE(Variational Autoencoder) 지식이 필수적인 이유는, LDM의 핵심이 고해상도 이미지 데이터를 직접 다루는 대신, AE/VAE가 만들어낸 저차원 잠재 공간(Latent Space)에서 확산(Diffusion) 과정을 수행하기 때문이다.Stable Diffusion 이해를 위한 선행 개념: Auto Encoder 및 VAEVAE : 이미지와 같은 고차원 데이터를 encoding을 통해서 저차원 공간으로 맵핑을 시킨 다음에 그것을 decoder를 이용해서 생성을 시켜내는 구조.Encoder를 이용해서 input을 Latent Space로 맵핑시키는 과정은 PCA 등 성분 분해 개념과 유사Latent Space는 의미 있는 정보를 담는 차..
https://openaccess.thecvf.com/content/CVPR2025/papers/Han_Enhancing_Creative_Generation_on_Stable_Diffusion-based_Models_CVPR_2025_paper.pdf 💡 이 연구는 Stable Diffusion 기반 모델의 창의성 부족을 해결하기 위해, 추가 학습 없이 denoising 과정에서 특징 맵을 선택적으로 증폭하는 C3(Creative Concept Catalyst) 방법을 제안합니다.🛠️ C3는 U-Net의 얕은 블록에서 저주파 특징을 선택적으로 증폭하여 창의성을 높이며, 사용성(usability)과 참신성(novelty)을 유지하기 위해 증폭 계수를 자동으로 조정합니다.📈 정량적 및 사용자 연구를 ..
3줄요약:💡 Depth Anything 3 (DA3)는 임의의 시각적 입력으로부터 공간적으로 일관된 기하학적 정보를 복구하는 모델로, 단일의 plain transformer와 단일 depth-ray 예측 대상을 활용하여 minimal modeling을 추구합니다.훈련은 강력한 teacher model을 활용한 teacher-student 패러다임을 따르며, 입력에 적응하는 cross-view self-attention 메커니즘과 dual DPT head를 통해 깊이와 ray 예측을 통합합니다.🚀 새로운 시각 기하학 벤치마크에서 DA3는 카메라 포즈 정확도 및 기하학적 정확도에서 VGGT를 크게 능가하며, monocular depth estimation에서는 DA2보다 뛰어난 최첨단 성능을 달성했습니다..
게임 그래픽스 최적화: CPU와 GPU 병목 구조게임의 프레임 속도는 CPU와 GPU가 한 프레임을 함께 처리하며 결정된다. 두 장치 중 더 느린 쪽이 전체 속도를 제한하므로, 성능 문제를 해결하기 위해서는 병목 구간이 CPU인지 GPU인지 정확히 파악하는 것이 중요하다.다음 내용은 CPU와 GPU에서 자주 발생하는 성능 저하 원인과 관리 방법을 정리한 것이다. 쉐이더 최적화 이전 단계에서 다뤄야 할 기본적인 요소들이다.1. CPU 병목CPU는 주로 애니메이션, 물리 계산, UI 갱신, 파티클 시스템 등 엔진 기능 처리에 부하를 받는다. 이 영역은 코드를 잘 짜는 것보다 데이터와 기능 사용이 효율적으로 구성되어 있는지가 더 중요하다.1.1 애니메이션 데이터애니메이션은 매 프레임마다 본(Bone) 단위로 ..
색을 생성해보자GPUGrassCommon.hlsl 파일을 새로 만들어서 공통 요소들을 묶고 색 함수를 추가했다. GPUGrass.cspublic struct Constants { p/////// public float4 RootColor; public float4 TopColor; } public struct Grass { /////// public uint2 ColorParams; } [SerializeField] private Color rootColor; [SerializeField] private Color topColor; _cons..
저번 시간에 풀 하나 그리기를 성공 했으니, 여러개의 풀을 한꺼번에 그려보도록 해보자. GPUGrass.compute#pragma kernel Init#pragma kernel Tick//추가#include "Packages/com.unity.render-pipelines.universal/ShaderLibrary/Core.hlsl"#define VERTEX_PER_BLADE 15cbuffer Constants{ uint Capacity;}RWByteAddressBuffer GrassBuffer;RWByteAddressBuffer CommandBuffer;[numthreads(1, 1, 1)]void Init(){ CommandBuffer.Store4(0, uint4(VERTEX_PER_BL..
GPU 인스턴싱과 잔디 기하학(Geometry) 생성 로직을 완성했습니다. 이로써 CPU는 렌더링 명령을 단 한 번만 내리고, 모든 잔디의 위치 계산과 렌더링은 GPU가 전담하는 진정한 GPU-Driven 파이프라인이 구축되었습니다. 잔디 메쉬를 GPU에서 직접 생성(Geometry)하고, GrassBuffer에서 위치 데이터를 읽어와 그리는 구조를 확립했습니다. 코드 업데이트 핵심 요약 GPUGrass.csC# 스크립트는 이제 GPU 리소스를 관리하고, 매 프레임 Compute Shader와 렌더링 셰이더를 순서대로 실행하는 파이프라인 관리자 역할을 수행합니다. private void OnValidate(){ // capacity를 0과 MaxCapacity(10000) 사이로 안전하게 ..
