모든 태그
태그

Airflow 기술 블로그 글

Airflow 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

최근 30일 1개 · 많이 쓴 회사 데보션·당근마켓·마켓컬리

전체 98개최신 20개 표시
홈에서 필터

Airflow 글을 많이 쓴 회사

최신 게시글

20개 표시

AI

손가락 튕기기로 LLM 비용 줄이기

SNAP은 LLM 로그를 작업별로 분류하고 소형 모델 학습 후보를 자동 발굴했습니다. 신뢰도 기반 폴백으로 품질을 유지하며 검증된 요청부터 LLM 비용을 줄였습니다.

#LLM#fine-tuning#Airflow
7500

아키텍처

실행은 도메인별로, 문맥은 한 레포에

중앙 DW Airflow를 멈추지 않고 도메인별 클러스터와 dbt 선언형 파이프라인으로 단계적으로 이전했습니다. 단일 레포에 의존성·지표 문맥을 모아 운영 복잡도와 에이전트 탐색 비용을 낮췄습니다.

#Airflow#dbt#migration
6900

백엔드

Python의 GC가 멀티프로세싱과 만나면 생기는 일 - Python과 Airflow, 그리고 관련된 문제 해결기 2편

Airflow의 fork 기반 프로세스에서 Python 순환 GC가 COW와 MySQL 커넥션 종료를 유발한 원인을 분석했습니다. Memray로 별도 누수를 수정하고, 지연 import로 fork 승계 객체를 줄이는 접근을 다뤘습니다.

#Python#Airflow#MySQL
1800

데브옵스

Apache Airflow 3.x 무엇이 달라졌고, 어디로 가고 있는가?

Airflow 3.x는 실행과 오케스트레이션을 분리하고, 시간 중심 스케줄링을 Asset·이벤트 중심으로 확장했습니다. DAG 버저닝과 `airflow.sdk`로 안정성과 추적성을 높이며 범용 워크플로우 플랫폼으로 이동했습니다.

#Airflow#Airflow 3.x#워크플로우 오케스트레이션
6400

백엔드

Oozie/Sqoop에서 Airflow/Spark로: 데이터 파이프라인 전환기

Oozie/Sqoop 기반 데이터 파이프라인을 Airflow/Spark로 전환한 사례를 정리했습니다. YAML 템플릿, 동적 파티셔닝, Parquet 최적화로 운영성과 조회 성능을 함께 개선했습니다.

#Airflow#Spark#Parquet
1700

백엔드

Python의 멀티프로세싱과 Airflow, 그리고 관련된 문제 해결기 1편

Airflow task 실행에서 필요한 병렬성과 격리성을 설명하고, fork와 spawn의 차이를 비교했습니다. Airflow 3가 성능상 fork를 채택한 이유와 프로세스 구조도 정리했습니다.

#Python#Airflow#멀티프로세싱
5100

데브옵스

Airflow 3의 새벽 배치를 멈춘 건 JWT가 아니라 OOM이었다

Airflow 3 전환 후 새벽 배치 장애를 겪었지만, 원인은 JWT 만료가 아니라 OOM이었습니다. 로그 해석과 함께 메모리 사용량까지 확인해야 한다는 점을 정리했습니다.

#Airflow#JWT#OOM
3000

백엔드

[구축사례] 흩어진 운영 데이터를 하나로, kt cloud 운영 데이터 통합 플랫폼 Deck 구축기

흩어진 클라우드 운영 데이터를 하나의 기준으로 모으기 위해 레이크하우스 기반 통합 플랫폼 Deck 구축 과정을 소개했습니다. Object Storage를 SSOT로 두고 레이어를 분리해 과금과 분석의 신뢰성을 높였습니다.

#Airflow#Kafka#Spark
2900

백엔드

Iceberg는 정말 싸고 빠를까? – 운영 데이터 5가지 벤치마크 솔직한 결과

실제 운영 데이터로 Iceberg와 Hive를 비교해 비용과 속도 차이를 검증했습니다. 큰 테이블부터 옮기고 SQL 패턴을 바꿔야 효과가 커졌습니다.

#Apache Iceberg#Athena#PySpark
5900

백엔드

Apache Iceberg 테이블 운영 실전기: 스냅샷 관리부터 Compaction까지

Iceberg 운영에서 스냅샷 폭증과 Small File 문제를 어떻게 다뤘는지 정리했습니다. 작업 이력 관리와 메인터넌스 정책으로 비용과 성능을 개선한 사례입니다.

#Apache Iceberg#Airflow#Spark
1900

백엔드

당근 200+개 DB 를 옮기는 ELT 플랫폼, DT Platform 을 만든 이야기

200개 이상 DB를 BigQuery로 옮기던 ELT 운영 문제를 DT Platform으로 분리·표준화했습니다. UI와 DSL, 자동 마이그레이션으로 리드타임과 리뷰 병목을 줄였습니다.

#ELT#ETL#Airflow
19300

데브옵스

Apache Airflow 3.x Dag Parsing 최적화 체크리스트

Airflow DAG 파싱 최적화는 메트릭 기반 측정과 설정 튜닝, 코드 위생 점검이 핵심입니다. 특히 Airflow 3.x의 설정 이동과 ignore 문법 변경을 함께 확인해야 했습니다.

#Airflow#dag-processor#.airflowignore
5220

AI

현관문에도 얼굴이 있다: 배송 완료 사진 기반 On-device 오배송 탐지 시스템

배송 완료 사진 임베딩의 거리 비교로 오배송을 탐지하는 장소 재인식 시스템을 구축했습니다. ONNX 기반 온디바이스 추론과 배치 임베딩 적재로 실시간성과 운영 효율을 확보했습니다.

#computer vision#ONNX#Airflow
300

데브옵스

Apache Flink + RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 일주일까지 확장하기

Apache Flink와 RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 7일 구간까지 확장한 사례를 다루었습니다. 세 개의 Flink 앱으로 분리해 병목을 각각 해결하고 Redis 단일 조회 구조로 단순화했습니다.

#Apache Flink#RocksDB#Kafka
11300

AI

Astronomer Agents, Airflow를 쓰는 방식을 바꿔버릴 도구

Astronomer Agents는 Airflow API와 로그를 활용해 Dag 개발, 테스트, 디버깅을 돕는 AI 도구입니다. 또한 마이그레이션과 데이터 분석까지 지원해 운영 효율을 높였습니다.

#Airflow#LLM#BigQuery
8900

AI

처음부터 ‘딸깍’은 아니다: AI와 함께한 데이터 환경 구축기

운영 DB 중심 분석의 한계를 넘기 위해 S3, Athena, Airflow, dbt 기반 데이터 환경을 구축했습니다. AI skill로 소스 연결, 모델링, 문서화를 자동화하며 실무 생산성을 높였습니다.

#Athena#Airflow#dbt
4700

AI

Astronomer Agents, Airflow를 쓰는 방식을 바꿔버릴 도구

Astronomer Agents로 Airflow 작업의 작성, 테스트, 디버깅 방식이 달라질 수 있음을 소개했습니다. 또한 마이그레이션과 데이터 웨어하우스 분석까지 지원하는 핵심 기능을 설명했습니다.

#Airflow#Claude#Cursor
13000

백엔드

신뢰할 수 있는 메트릭과 실험 플랫폼

Event·Metric Config와 증분 집계로 실험 메트릭 계산을 표준화했습니다. Z-test·Delta Method와 통합 UI로 결과 해석 불일치를 줄였습니다.

#A/B 테스트#Spark#Airflow
100

아키텍처

Standardizing User Activation: How We Built a Shared Data Layer at Karrot

카라트는 사용자 활성화 분석을 공통 Activation Layer로 표준화했습니다. 팀별 ad hoc 쿼리 대신 DBT 기반 모델로 신뢰성과 운영 안정성을 높였습니다.

#DBT#Airflow#ETL
8300

백엔드

당근은 왜 User Activation을 전사 공통 데이터 레이어로 만들었을까?

당근이 User Activation을 전사 공통 데이터 레이어로 만든 배경과 구조를 설명했습니다. 상태와 전이 분석을 위해 신뢰성, 비용, 생산성을 함께 고려한 설계였습니다.

#DBT#Airflow#SQL
13600