동굴인처럼 말하라 | Hacker News
Talk like caveman | Hacker News
TL;DR AI
1분핵심 요약
댓글자들은 토큰 절감이 LLM 성능을 떨어뜨리는지 토론했다.
간결함 강제가 내부 연산을 제한해 오류를 늘린다는 주장과 과잉사고가 답을 해칠 수 있다는 반박이 있었다.
사고 흐름 분리, 고차원 내부 표현, 약 75% 토큰 절감 주장도 언급됐다.
응답 길이가 늘면 낮은 확률 토큰 연속과 환각 가능성이 커진다고 논의했다.
같은 주제
