데이터 파이프라인 구축: 핵심 데이터 엔지니어링 개념 설명

이 글은 데이터 엔지니어링의 핵심 개념과, 데이터가 소스 시스템에서 분석 플랫폼으로 이동하는 방식을 소개합니다.

배치 수집은 정해진 주기로 데이터를 묶어 적재하고, 스트리밍 수집은 데이터를 지속적으로 전송해 거의 실시간 활용을 가능하게 합니다.

또한 변경 데이터 캡처(CDC)는 데이터베이스의 변경분만 복사해 비용과 지연을 줄이고 불필요한 전송을 최소화하는 방식입니다.

예시 도구로는 AWS Glue, Apache Airflow, Airbyte, Apache Kafka, Google Cloud Pub/Sub, Debezium, AWS DMS, Oracle GoldenGate 등이 언급됩니다.