데브옵스
AWS OpenSearch를 사용한 EFK Stack 구축하기
두줄요약
AWS OpenSearch와 EFK로 재고 변경 이력 관리용 로그 시스템을 구축한 사례를 소개했습니다. Fluent Bit 라우팅, OpenSearch 권한·인덱스 설정, 앱 로그 포맷 변경 흐름을 정리했습니다.
핵심 내용
- AWS OpenSearch와 EFK Stack으로 재고 변경 이력 관리용 로그 시스템을 구축한 사례
- Datadog를 사용 중이지만, 대량의 재고 이벤트와 정합성 추적, 확장성 요구로 별도 로그 파이프라인 필요
- OpenSearch 도메인, 인덱스 템플릿, ISM, 권한 설정과 Fluent Bit 라우팅 구성을 함께 설명
- 앱 컨테이너 로그를 JSON·snake_case 형태로 출력하고 Fluent Bit이 해당 로그만 파싱해 OpenSearch로 전송하는 흐름 정리
적용해볼 점
- 대량 이벤트 이력 관리가 필요한 도메인에서 검색·추적용 저장소 분리 검토
- Fluent Bit의 rewrite_tag, parser, record_modifier, nest 필터 조합으로 로그 라우팅과 정제 구성
- OpenSearch 권한은 bulk write 중심의 최소 권한 계정으로 분리