대칭적 어텐션 분해를 통한 확산 모델의 충실도와 다양성 균형: 홉필드 관점
Balancing Fidelity and Diversity in Diffusion Models via Symmetric Attention Decomposition: Hopfield Perspective
TL;DR AI
1분핵심 요약
연구진은 프리소프트맥스 attention 행렬을 대칭 성분과 반대칭 성분으로 분해해 diffusion 생성의 제어 가능성을 분석했다.
대칭 성분은 에너지 지형의 안정성, 반대칭 성분은 associative memory의 순환 동역학으로 해석했다.
이 안정성 지표들은 fidelity-diversity 트레이드오프와 상관관계를 보여, 생성 품질을 조절할 수 있는 근거를 제시한다.
논문은 해당 트레이드오프를 조정하는 knob를 제안하고 GitHub 저장소도 함께 공개했다.