맞춤형 Amazon Nova 모델용 Amazon SageMaker Inference 발표 | Amazon Web Services

Amazon SageMaker Inference 맞춤형 Amazon Nova 모델에 대한 일반 가용 지원을 추가한다, amazon SageMaker Inference가 맞춤형 Amazon Nova 모델을 일반 가용으로 지원한다.

인스턴스 유형 Nova Micro용 g5.12xlarge, g5.24xlarge, g5.48xlarge, g6.12xlarge, g6.24xlarge, g6.48xlarge, p5.48xlarge; Nova Lite용 g5.48xlarge, g6.48xlarge, p5.48xlarge; Nova 2 Lite용 p5.48xlarge를 포함한다, gA 시점에 Nova Micro, Nova Lite, Nova 2 Lite용으로 허용되는 인스턴스 유형이 명시되어 있다.

배포 워크플로우 학습된 Nova 모델 아티팩트를 SageMaker Studio 또는 SageMaker AI SDK를 통해 배포하도록 허용한다 학습된 Nova 모델 아티팩트가 있으면 SageMaker Studio 또는 SageMaker AI SDK로 배포할 수 있다.

비용 최적화 P5 인스턴스와 비교하여 추론 비용 절감을 위해 Amazon EC2 G5 및 G6 인스턴스의 최적화된 GPU 활용을 지원한다, amazon EC2 G5 및 G6 인스턴스를 사용하면 P5보다 추론 비용을 낮출 수 있다고 명시했다.

엔드포인트 생성 엔드포인트가 InService 상태가 되기 전에 인프라 프로비저닝, 모델 아티팩트 다운로드 및 추론 컨테이너 초기화가 필요하다 엔드포인트 생성은 인프라 프로비저닝, 모델 다운로드, 컨테이너 초기화를 필요로 한다.