암호화된 추론 블롭을 가지고 장난치기 | Hacker News

Hacker News에서는 AI 서버를 완전히 무상태로 유지하기 위해 암호화된 상태나 추론 블롭을 클라이언트로 되돌려 보내는 아이디어가 논의됐다.

이 접근은 기존 소프트웨어 패턴과 비교됐고, 긴 컨텍스트에서 LLM의 KV 캐시 비용이 큰 메모리 부담으로 지적됐다.

재사용 가능한 추론 흔적이 신뢰성을 높일 수 있다는 의견도 있었지만, 프롬프트 리플레이·jailbreak·사용자 간 재사용 위험에 대한 우려도 컸다.

이번 논의는 확장 가능한 무상태 AI 인프라와, 추론 상태를 저장·공유할 때의 보안 리스크 사이의 균형을 보여준다.