데이터 엔지니어링의 기초 개념

초보자를 위한 기사로, 대규모 데이터의 이동·저장·분석에 필요한 핵심 데이터 엔지니어링 개념을 정리한다.

배치/스트림 수집, CDC, 멱등성, 그리고 Kafka·Spark Streaming·Airflow 같은 도구를 비교해 설명한다.

또한 OLTP와 OLAP의 차이와 Snowflake·BigQuery·Redshift 같은 데이터 웨어하우스의 역할을 다룬다.

마지막으로 행 저장과 컬럼형 저장, 파티셔닝, Parquet·ORC 같은 저장 포맷의 선택 기준을 소개한다.