OmniPhys: 텍스트-이미지 생성에서 물리적 상식을 위한 지식 그래프 기반 벤치마킹 및 집단 최적화
OmniPhys: Knowledge-Graph-Driven Benchmarking and Collective Optimization for Physical Commonsense in Text-to-Image Generation
TL;DR AI
1분핵심 요약
연구진은 텍스트-투-이미지 생성의 물리적 상식을 점검하기 위한 1,551개 샘플 벤치마크 OmniPhys를 공개했다.
OmniPhys는 Physical Knowledge Graph와 PhET 커리큘럼에 맞춰 설계돼, 생성 이미지의 구체적인 물리 추론 실패를 진단한다.
또한 여러 샘플과 배치 피드백을 모아 잡음을 줄이는 반복형 프롬프트 최적화 기법 OmniPrompt도 제안했다.
12개 텍스트-투-이미지 모델을 테스트한 결과 물리적 추론의 취약성이 널리 드러났고, OmniPrompt는 일관성과 물리적 정합성을 개선했다.