백엔드
데이터 엔지니어: 오토피디아 5개월 인턴 후기
두줄요약
인턴으로 데이터 대시보드, ELT 파이프라인, 검색 엔진, 업무 자동화를 구축한 경험을 공유했습니다. 데이터 품질 관리와 지속적인 파이프라인 유지보수의 중요성을 설명합니다.
구조와 흐름
- BigQuery 중심의 데이터 수집·적재·정제와 데이터 마트 구축
- Fivetran 기반 추출·적재, 미지원 소스의 Python 직접 연동, dbt 기반 SQL 변환
- Airflow on Kubernetes 환경을 활용한 주기 작업 자동화
문제 상황
- 데이터 문서화·테이블 생성 규칙 부재와 불안정한 원천 데이터
- MySQL LIKE 검색의 낮은 검색 정확도와 검색 기능 한계
해결 방법
- Superset과 BigQuery 연동을 통한 팀별 분석 대시보드 및 마케팅 지표 제공
- AWS OpenSearch Service 기반 Elasticsearch 검색 엔진과 5분 주기 ELT 파이프라인 구축
- 형태소 분석·n-gram 인덱싱·검색 기록 기반 자동완성 적용
적용해볼 점
- 일회성 분석은 BigQuery 콘솔·GA4로 빠르게 처리하고 재사용 요청은 데이터 마트·대시보드로 전환
- 데이터 엔지니어링 흐름 이해 후 조직별 채용 기술 스택에 맞춘 학습 방향 설정