구글 AI 압축 기술, 데이터센터 에너지 절감

TurboQuant 구글이 TurboQuant 알고리즘을 공개했다 구글이 이번 주 연구 논문에서 TurboQuant를 공개했다.

해당 알고리즘은 LLM의 메모리 사용량을 6배 작게 만든다, turboQuant는 LLM의 메모리 사용량을 6배 작게 만들 수 있다고 보도되었다.

키-값 쌍 크기를 줄이고 데이터 벡터를 무작위로 회전시킨다 방법은 키-값 쌍의 크기를 줄이고 데이터 벡터를 무작위 회전시키는 것을 포함한다.

LLM 메모리 사용 감소는 AI의 에너지·RAM 요구를 줄인다 메모리 사용량 축소는 에너지 및 RAM 요구량을 낮출 수 있다.

TurboQuant 이 압축으로 스마트폰에서 강력한 LLM 실행이 가능해질 수 있다 기사에서는 이 기술로 강력한 LLM을 스마트폰에서 실행할 수 있게 될 가능성을 언급했다.