토스증권의 수천 개 실시간 데이터 파이프라인 운영방법 #1: Visualize Lineage
토스증권은 수천 개 실시간 데이터 파이프라인을 DAG 리니지 시각화로 관리했습니다.\nMongoDB Graph Search 기반 탐색과 상세 정보 제공으로 운영 효율과 커뮤니케이션 비용을 줄였습니다.
#MongoDB#Kafka
187005분
새로운 기술 블로그가 추가되었어요
필터 1
데이터 문해력이 필요해(Data Literacy)
데이터 문해력이 왜 필요한지, 심슨의 역설과 기저 효과를 통해 데이터 해석의 함정을 설명했습니다.\n관찰값만으로 단정하지 말고 맥락과 비교군, 인과 구조를 함께 봐야 한다고 정리했습니다.
#데이터 문해력#심슨의 역설
103005분
Airflow Task failed Alert Mail 폭탄 회피하기
Airflow에서 동일 원인으로 반복 발송되는 Task 실패 알림을 하나로 통합하는 방법을 다루었습니다. DAG run의 Task Instance와 로그를 활용해 중복 메일 노이즈를 줄이는 구현을 소개했습니다.
#Airflow#ETL
30005분