Clark Hash: 신경망 임베딩을 위한 무상태 희소 Johnson-Lindenstrauss 양자화
Clark Hash: Stateless Sparse Johnson-Lindenstrauss Quantization for Neural Embeddings
TL;DR AI
1분핵심 요약
연구진이 신경망 임베딩을 위한 상태 비저장 코덱 Clark Hash를 제안했으며, 384차원 벡터를 1,536바이트에서 48바이트로 압축한다.
이 방식은 희소 부호 Johnson-Lindenstrauss 투영과 스칼라 양자화를 사용하며, 학습·코드북·회전·코퍼스 통계가 전혀 필요 없다.
다국어 문장 유사도 벤치마크에서 압축 벡터는 dense cosine 점수와 높은 상관을 유지했다.
이 기술은 유사도 검색 시스템의 메모리 사용을 크게 줄이고 배포를 단순화할 수 있다.