백엔드
HBase Meetup - 비트윈에서 HBase를 사용하는 방법
두줄요약
비트윈은 채팅의 높은 쓰기 성능과 대량 로그 분석을 위해 HBase를 활용했습니다.\nMapReduce·MySQL 분석 흐름과 HBase 다중 행 트랜잭션 라이브러리 Haeinsa를 소개했습니다.
구조와 흐름
- 채팅 메시지 저장을 위한 HBase 기반 단순 스키마와 높은 쓰기 처리 구조
- 일 3억 건 이상 사용자 로그의 HBase 저장, Hadoop MapReduce 정제, MySQL 분석 결과 적재 흐름
- 쿼리와 시각화 도구 기반 커스텀 대시보드 운영
선택 이유
- 복잡한 데이터 구조·연산 요구가 낮은 채팅 기능 특성
- 메시징 중심 서비스에 필요한 쓰기 성능과 확장성
- MapReduce와의 높은 호환성에 따른 로그 분석 저장소 활용
성능/운영 포인트
- Region Split과 Major Compaction 수동 수행을 포함한 HBase 최적화 경험
- Haeinsa의 기존 HBase 클러스터 무변경 적용 방식
- 비트윈 환경에서 일 3억 건 이상 트랜잭션 처리
적용해볼 점
- 다중 행 트랜잭션이 필요한 HBase 환경에서 Haeinsa 검토
- 대량 로그 분석 결과를 별도 MySQL 저장소와 대시보드로 제공하는 방식
