초당 100만 건, LINE 앱에 Apache Kafka 종단 간 암호화 적용기

LY Corporation은 LINE의 고트래픽 Kafka 토픽에서 프로듀서가 레코드를 암호화하고 승인된 컨슈머만 복호화하는 종단간 암호화를 적용했다.

이 설계는 레코드 단위 암호화와 DEK-KEK 구조를 사용해, Kafka 브로커의 저장 동작을 바꾸지 않고도 생산자 암호화와 소비자 복호화를 가능하게 했다.

페이로드는 AES-GCM으로 보호하고, KMS 기반 키 관리와 secp521r1의 ECIES로 DEK 래핑과 키 회전을 안전하게 처리했다.

이 방식은 Kafka 호환성과 높은 처리량을 유지하면서, TLS, SASL, ACL, Letter Sealing에 더해 민감한 메시지 데이터에 방어층을 추가한다.