Config의 Amazon EKS Spot 기반 대규모 RFM 데이터 파이프라인 구축 | Amazon Web Services

Config는 대규모 로봇 데이터 전처리 파이프라인을 Amazon EKS 기반으로 재구성해, SQS와 Lambda를 RabbitMQ, KEDA, Karpenter, EC2 Spot Instances로 대체했다.

새 아키텍처는 작업별 큐, 오토스케일링, CPU/GPU Spot 워커 풀 분리를 통해 액션 데이터를 더 효율적으로 처리한다.

이전의 단일 큐 병목, Lambda 실행 한계, 낮은 가시성, 높은 온디맨드 비용 문제를 해소하는 데 초점을 맞췄다.

보도에 따르면 처리 비용은 70~90% 줄었고, 전체 처리 시간은 며칠에서 몇 시간으로 단축됐다.