목록 보기
제조업 데이터를 활용한 BI 대시보드 통합 및 자동화 후기
백엔드

제조업 데이터를 활용한 BI 대시보드 통합 및 자동화 후기

데보션
데보션
2025년 7월 7일

두줄요약

Airflow와 PySpark로 제조업 기준 정보와 생산 데이터를 통합해 Spotfire 대시보드를 자동화했습니다. 대용량 처리와 정기 갱신으로 현장 의사결정 속도와 데이터 신뢰성을 높였습니다.

문제 상황

  • 생산, 품질, 설비, 물류 등 각 팀의 기준 정보가 서로 다른 형태로 관리되는 상황
  • 시스템에 없는 기준 정보는 현장 인터뷰와 수작업 조사에 의존해야 하는 제약
  • 대용량 제조 데이터를 정기 수집·가공해 Spotfire 대시보드로 실시간 시각화해야 하는 요구

해결 방법

  • Apache Airflow DAG로 수집, 전처리, 적재, 대시보드 갱신 흐름 자동화
  • PySpark로 워크시트 기준 정보 정규화, 수작업 조사 데이터 병합, 제조 데이터 조인 처리
  • Parquet 포맷 저장과 Spotfire Schedule Updates 연동으로 최신 데이터 재조회 구성

성능/운영 포인트

  • Airflow와 Spark 로그, 태스크 상태 모니터링으로 장애 대응 속도 향상
  • PySpark 분산 처리로 수십 GB 규모 데이터 처리 시간 단축
  • 표준 코드, 컬럼명, 데이터 타입 사전 정의와 검증 로직으로 정합성 강화

적용해볼 점

  • 팀별 이질적 기준 정보는 초기에 표준 키와 포맷을 먼저 정의
  • 외부 워크시트와 수작업 조사 데이터를 하나의 기준 테이블로 통합
  • BI 대시보드는 자동 갱신과 컬럼 기반 파일 포맷을 함께 고려

다음 읽기

#Airflow 주제를 다룬 다른 회사 글

Oozie/Sqoop에서 Airflow/Spark로: 데이터 파이프라인 전환기

Oozie/Sqoop 기반 데이터 파이프라인을 Airflow/Spark로 전환한 사례를 정리했습니다. YAML 템플릿, 동적 파티셔닝, Parquet 최적화로 운영성과 조회 성능을 함께 개선했습니다.

SK플래닛
SK플래닛
백엔드
전체 보기

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...