데브옵스
Firehose부터 OpenSearch까지: AWS 서비스를 활용한 로그 분리 전략
두줄요약
AWS OpenSearch에서 로그 보관 기간 문제를 해결하기 위해 여러 로그 분리 방식을 비교했습니다. Firehose와 Lambda, Fluent Bit 조합으로 특정 로그를 별도 인덱스로 분리하는 방법을 정리했습니다.
핵심 내용
- AWS OpenSearch 로그 보관 기간 제한 속에서 특정 로그만 별도 인덱스로 분리하는 전략 정리
- 애플리케이션 로그 라우팅, OpenSearch Transform Jobs, Fluent Bit, Firehose + Lambda 등 여러 접근 방식 비교
- 운영 요구에 맞는 로그 분리와 장기 보관 방법 검토
구조와 흐름
- MDC 또는 별도 Logger로 애플리케이션 단계에서 분리 신호 부여
- Fluent Bit에서 태그와 필터로 로그를 분기한 뒤 Firehose 스트림으로 전송
- Firehose Processing Lambda에서 isSeparation 여부를 확인해 Main/Sub 스트림으로 재전송
선택 이유
- Transform Jobs는 집계 중심이라 로그 마이그레이션 용도에 한계
- Fluent Bit와 Firehose + Lambda 조합으로 라우팅과 저장 분리 구현 가능
- Terraform과 S3 설정 활용으로 배포 없이 설정 변경 가능성 확보