백엔드
ClickHouse: 컬럼 지향 저장소와 AI 시대의 데이터 처리
두줄요약
대량의 고객 여정 데이터를 빠르게 조회하기 위해 ClickHouse를 도입한 사례를 소개했습니다. 컬럼 지향 저장과 압축 덕분에 분석·AI 처리에 강하지만, 업데이트와 복잡한 트랜잭션에는 한계가 있습니다.
핵심 내용
- SK텔레콤 데이터팀이 대량의 고객 여정 데이터를 빠르게 조회하기 위해 여러 DB를 검토한 뒤 ClickHouse를 핵심 DB로 도입한 사례
- ClickHouse는 컬럼 지향 저장 방식과 압축·인덱싱 덕분에 필요한 컬럼만 읽어 대규모 집계 쿼리를 몇 초 단위로 단축
- AI 학습 데이터 추출, 실시간 피처 스토어, 모델 성능 모니터링 같은 대규모 분석·AI 처리에 적합
- 실시간 업데이트, 복잡한 트랜잭션, 다중 JOIN에는 한계가 있어 PostgreSQL 같은 보완 DB 병행을 고려
적용해볼 점
- 대용량 분석 쿼리 중심이라면 행 지향 DB와 함께 컬럼 지향 DB 도입 검토
- OLAP 중심 워크로드와 OLTP 워크로드를 분리해 저장소 선택
- AI 서비스의 피처 추출·집계·대시보드에 ClickHouse 활용 가능성을 점검