언어 바꾸기English
이전 목록

프로덕션에서 발생한 0.8초 P99 지연 시간 급락은 원래 일어나서는 안 됐다

That 0.8 second P99 Latency Cliff in Production Wasnt Supposed to Happen

TL;DR AI

핵심 요약

1분
  1. Redis 기반 설정 레이어 때문에 고처리량 매치메이킹 서비스의 P99 지연이 700ms까지 치솟았다.

  2. 모든 요청이 Redis를 동기적으로 조회했고, 캐시 플러시와 gRPC fetch가 겹치며 스탬피드와 지연 급증이 발생했다.

  3. Redis 확장, flush 비활성화, 복제본·클러스터 모드 적용도 일관성과 성능 문제를 해결하지 못했다.

  4. 팀은 핫패스 의존성을 없애기 위해 Git 기반 컨트롤 플레인과 노드 로컬 파일 읽기를 쓰는 ConfigEdge로 구조를 바꿨다.

원문 보기