새벽 2시에 Prometheus가 Cilium 메트릭을 볼 수 없었던 이유
Why Prometheus couldn’t see Cilium metrics at 2 a.m.
TL;DR AI
1분핵심 요약
프로덕션 Kubernetes 팀은 Prometheus가 Cilium agent와 operator pod를 스크래핑하지 못해 Grafana 패널이 비어 있는 문제를 발견했다.
문제의 원인은 소프트웨어 고장이 아니라, 정상 동작하는 CNCF 프로젝트들 사이의 ServiceMonitor 연동 누락이었다.
이 사례는 클라우드 네이티브 환경에서 장애와 관측 사각지대가 구성 요소 오류보다 플랫폼 연결 실패에서 더 자주 생긴다는 점을 보여준다.
또한 Prometheus, Cilium, Grafana, Hubble 같은 도구를 엮는 day-2 통합 작업의 운영 부담을 강조한다.