
Kubernetes 환경에서 Segmentation Fault 트러블슈팅하기 (Feat. Fluent Bit Contribution)
두줄요약
Kubernetes에서 Fluent Bit의 SIGSEGV를 core 파일과 gdb로 추적해 원인을 분석했습니다. msgpack 객체를 잘못 해석한 문제를 찾아 PR로 반영했습니다.
문제 상황
- Kubernetes 환경의 Fluent Bit Kafka output plugin에서 SIGSEGV로 재시작되는 현상 발생
- core 파일이 남지 않아 원인 파악이 어려운 상태
해결 방법
- Pod에 PersistentVolume을 붙이고 node의 core_pattern을 변경해 core 파일 확보
- 동일한 arm64 컨테이너와 debug 이미지에서 gdb로 core를 분석
- produce_message()에서 msgpack_object를 map으로 잘못 해석한 정황 확인
원인 분석
- flb_time_pop_from_msgpack으로 얻은 obj가 float64 타입인데 map으로 전달되는 흐름
- msg->via.map 접근 시 잘못된 union 필드 참조로 세그멘테이션 폴트 발생
적용해볼 점
- Kubernetes에서 코어 덤프 수집을 위해 PV와 core_pattern 설정 활용
- core 분석 시 동일 아키텍처와 바이너리, 소스 코드 정합성 확보






