로봇을 위한 MLOps #1: Edge device와 K3s, Airflow
로봇용 머신러닝 개발에서 재현성과 온프레미스 자원 관리가 왜 중요한지 설명했습니다. K3s와 Airflow로 이를 해결하는 MLOps 구성 방법을 소개했습니다.
#MLOps#K3s
3600
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
서버리스에서 쿠버네티스로 - Airflow 운영 경험기
관리형 Airflow를 Kubernetes로 이관하며 CPU 급등, OOM, 로그 누락 문제를 분석·개선했습니다. 리소스 격리와 Worker 확장으로 안정성을 높이고 비용을 약 50% 절감했습니다.
#Airflow#Kubernetes
100
서버리스에서 쿠버네티스로 - Airflow 운영 경험기
관리형 서비스의 Airflow를 Kubernetes로 전환하며 스케줄러 CPU 과부하, 워커 OOM, 로그 누락 문제를 해결한 운영 경험을 공유했습니다. 자원 제한과 노드 분리를 통해 안정성을 높이고 비용도 줄인 사례입니다.
#Kubernetes#Airflow
4100
데이터 엔지니어의 Airflow 데이터 파이프라인 CI 테스트 개선기
Airflow 데이터 파이프라인 CI의 이미지 캐시, 의존성, 초기화·병렬 실행을 개선했습니다. 최대 7분 걸리던 테스트를 안정적인 3분 중반대로 약 50% 단축했습니다.
#Airflow#CI/CD
000
데이터 엔지니어의 Airflow 데이터 파이프라인 CI 테스트 개선기
데이터 파이프라인 CI 테스트 시간을 7분대에서 3분대로 줄인 개선 사례를 다뤘습니다. YAML 작성부터 PR, 배포까지의 흐름 속 병목을 줄이는 방법을 소개했습니다.
#Airflow#CI/CD
2500
Data Product (2) AI(데이터)로 실제 운영 효율화가 가능할까?
AI 모델과 고객 피드백·운영 데이터를 결합해 차량 세차 요청 로직을 재설계했습니다. 요청량과 비용을 줄이면서도 수행 효율과 고객 만족도 개선을 추구했습니다.
#ML#BigQuery
000
Data Product (2) AI(데이터)로 실제 운영 효율화가 가능할까?
AI 모델만으로 세차 필요 여부를 단정할 수 없어, 판단 기준과 차량 상태 정의를 다시 설계했습니다. 그 결과 세차 요청 로직을 구조화해 운영 효율과 고객 만족도를 함께 높였습니다.
#LLM#ML
1500
DBT와 Airflow 도입하며 마주한 7가지 문제들
DBT와 Airflow를 도입하며 겪은 7가지 문제와 해결 방안을 정리했습니다. 데이터 구조화, 연동, 테스트, 백필까지 운영 관점의 설계 경험을 공유했습니다.
#DBT#Airflow
6800
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
Airflow Task failed Alert Mail 폭탄 회피하기
Airflow에서 동일 원인으로 반복 발송되는 Task 실패 알림을 하나로 통합하는 방법을 다루었습니다. DAG run의 Task Instance와 로그를 활용해 중복 메일 노이즈를 줄이는 구현을 소개했습니다.
#Airflow#ETL
3400
Airflow 환경 Docker compose로 containerization하기
Airflow 개발 환경을 Docker compose로 컨테이너화해 배포와 유사한 상태에서 실행·디버깅할 수 있게 구성했습니다. PyCharm 연동, Executor 분리, 설정 통합으로 개발 생산성과 관리 편의도 높였습니다.
#Airflow#Docker
3100
원티드랩 데이터 마트 — 설립기
원티드랩의 데이터 마트 설계 과정을 ERD 작성부터 운영 규칙 정립까지 정리했습니다. BigQuery와 Airflow를 활용해 확장성과 품질을 높인 운영 방식도 소개했습니다.
#BigQuery#SQL
2400
업데이트 압축률 67%, 플레이스 리뷰 tagging 시스템 개선경험
태깅 파이프라인을 원본 저장, 로직 분리, write buffer로 재설계해 업데이트 부하를 줄였습니다. 운영툴 통합과 수동 태그 보존으로 관리성과 안정성도 함께 높였습니다.
#Kafka#DB
3600
로컬 Airflow on K8S 구축에 Vault 곁들이기 - Airflow 개발 환경 고도화
로컬 K8S에서 Airflow 개발 환경을 구축하고 Vault로 보안을 강화하는 내용을 다루었습니다. 개발 환경 고도화를 위해 두 기술을 함께 활용하는 흐름을 소개했습니다.
#Airflow#Kubernetes
2200
분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까?
분석 데이터를 프로덕션에서 쉽게 쓰기 위한 데이터서빙 서비스 구축 과정을 소개합니다. 분석 테이블을 API로 제공하기 위해 S3, Airflow, Spark 등을 활용했습니다.
#S3#Airflow
2300