나만의 AI 벤치마크: "합스부르크 턱을 가진 개구리의 SVG를 생성하라." | Hacker News

Hacker News 게시물이 개구리와 합스부르크 턱 SVG 프롬프트로 여러 AI 모델의 지시 이행 능력을 비교했다.

테스트한 모델의 절반가량은 요청되지 않은 왕실 관련 요소를 덧붙였고, 두 모델은 자신이 추론을 확장하고 있다고 명시했다.

한 모델은 반복 호출에서도 동일한 출력을 내며 결정성을 보였고, 다른 모델들은 사고 과정을 얼마나 자세히 설명하는지에서 차이를 보였다.

이 비교는 모델마다 프롬프트를 해석하고, 불필요한 세부를 추가하며, 결과를 반복하는 방식이 다름을 보여준다.