좌표별 곡률 차이를 통해 확산 모델의 암기된 영역 국소화하기

연구진은 확산 모델 생성 이미지에서 기억화된 영역을 찾아내는 기하학적 방법을 제안했다.

이 방법은 과소적합 기준 모델과의 좌표별 곡률 차이를 비교해 이미지 내 기억화가 나타나는 위치를 식별한다.

Stable Diffusion 실험에서 정답 마스크를 사용한 기존 어텐션 기반 위치추정보다 더 좋은 성능을 보였다.

이 접근은 생성 모델의 프라이버시, 저작권, 학습 데이터 과적합 감사를 개선할 수 있다.