압축된 단문 생성에서 품질이 무너지는 지점: 단계적 병목 위치 파악

TinyStories 연구는 압축 단문 생성의 핵심 품질 병목이 잠재 생성기가 아니라 코덱에 있음을 보여줬습니다.

연구진은 단계적 진단을 통해 64-to-16 파이프라인에서 코덱 복원 품질과 잠재 생성 품질을 분리해 평가했습니다.

코덱 복원이 외부 GPT-2 기반 텍스트 품질 저하를 가장 크게 만들었고, 코드 공간 확산이 토큰 공간 확산보다 더 나았습니다.

기하학 중심 정규화는 잠재 변수 지표는 개선했지만, 최종 디코딩 텍스트 품질은 개선하지 못했습니다.