LiteRT와 NPU로 실제 환경에서 동작하는 온디바이스 AI 구축하기

구글은 모바일, 데스크톱, IoT 전반에서 CPU·GPU·NPU 가속을 지원하는 프로덕션용 온디바이스 AI 프레임워크 LiteRT를 강조했다.

Google Meet, Epic Games, Argmax의 실제 적용 사례에서 NPU 오프로딩은 속도 향상, 지연 감소, 배터리와 발열 여유 확보에 도움이 됐다.

구글은 Google AI Edge Gallery App에 일부 Gemma 모델용 NPU 지원과 벤치마킹 도구도 추가했다.

이번 업데이트는 NPU 가속이 배터리 소모와 발열을 키우지 않으면서 더 풍부한 모바일 AI를 가능하게 한다는 점을 보여준다.