국내 IT 기업 기술 블로그 최신 글

필터 1
Apache Airflow Task SDK에 대해 알아보기
데보션
백엔드

Apache Airflow Task SDK에 대해 알아보기

Airflow Task SDK는 Dag와 내부 시스템을 분리해 업그레이드 호환성과 안정성을 높이는 방향을 소개했습니다. 또한 Supervisor와 Task Runner 구조로 보안과 확장성까지 강화하는 변화를 설명했습니다.

#Airflow#Python
8800
Amazon MWAA의 최소 권한 구성을 위한 모범 사례
AWS
데브옵스

Amazon MWAA의 최소 권한 구성을 위한 모범 사례

Amazon MWAA 환경에서 최소 권한 원칙을 적용하는 보안 구성을 정리했습니다. 보안 그룹, NACL, VPC 엔드포인트, IAM 정책을 세분화해 네트워크와 서비스 접근을 제한했습니다.

#AWS#Amazon MWAA
4700
Airflow 와 Databricks 로 완성한 디자인허브 정산 시스템 리팩토링 여정
미리디
데브옵스

Airflow 와 Databricks 로 완성한 디자인허브 정산 시스템 리팩토링 여정

Airflow와 Databricks로 디자인허브 정산 파이프라인을 리팩토링한 과정을 정리했습니다. 운영 DB 부하를 줄이고 멱등성, 가시성, 협업 체계를 함께 개선했습니다.

#Airflow#Databricks
3500
Amazon Bedrock을 활용한 LG전자 소셜미디어 제품 트렌드 모니터링 시스템 구축 사례
AWS
AI

Amazon Bedrock을 활용한 LG전자 소셜미디어 제품 트렌드 모니터링 시스템 구축 사례

LG전자가 Amazon Bedrock으로 소셜미디어 제품 트렌드 모니터링 시스템을 구축한 사례를 다뤘습니다. DeepEval 기반 평가와 모델 비교를 통해 정확도, 속도, 비용을 함께 검증했습니다.

#Amazon Bedrock#Claude
8500
EMNLP24 늦은 후기 2탄: CC 데이터로 LLM 사전학습 데이터셋을 만들어본 경험 및 NVIDIA 논문 리뷰
데보션
AI

EMNLP24 늦은 후기 2탄: CC 데이터로 LLM 사전학습 데이터셋을 만들어본 경험 및 NVIDIA 논문 리뷰

웹 크롤링 데이터로 LLM 사전학습 데이터셋을 만든 경험과 어려움을 정리했습니다. NVIDIA EMNLP 2024 논문을 통해 품질 필터링과 중복 제거 전략을 체계적으로 살펴봤습니다.

#LLM#PySpark
5700
Apache Airflow에 한국어로 기여해보자!
데보션
기타

Apache Airflow에 한국어로 기여해보자!

Apache Airflow 3.0의 i18n 기능과 한국어 번역 기여 방법을 소개했습니다. Breeze로 로컬 테스트하고 PR 승인 절차를 따라 번역 품질을 유지하는 흐름을 정리했습니다.

#Airflow#React
12000
당근 데이터 디스커버리 구축기: DataHub와 DataWiki로 여는 데이터 탐색의 첫걸음
당근마켓
백엔드

당근 데이터 디스커버리 구축기: DataHub와 DataWiki로 여는 데이터 탐색의 첫걸음

DataHub로 메타데이터의 수집과 신선도 관리를 먼저 정비했습니다. 이후 DataWiki와 SSOT를 더해 도메인 맥락까지 담는 데이터 탐색 환경을 구축했습니다.

#DataHub#Airflow
26100
쿠팡 파트너스

광고

개발자를 위한 서적을 확인해 보세요

이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

#개발서적#프로그래밍
DBT를 활용해 준실시간으로 클라이언트 Journey 파악하기
밸런스히어로
백엔드

DBT를 활용해 준실시간으로 클라이언트 Journey 파악하기

DBT와 CDC, Airflow로 클라이언트 여정을 추적하는 `data_logs` 테이블 구축 사례를 소개했습니다.복잡한 조인과 스캔 비용을 줄이기 위해 증분 모델링과 파티션 최적화를 적용했습니다.

#DBT#Airflow
1100
제조업 데이터를 활용한 BI 대시보드 통합 및 자동화 후기
데보션
백엔드

제조업 데이터를 활용한 BI 대시보드 통합 및 자동화 후기

Airflow와 PySpark로 제조업 기준 정보와 생산 데이터를 통합해 Spotfire 대시보드를 자동화했습니다. 대용량 처리와 정기 갱신으로 현장 의사결정 속도와 데이터 신뢰성을 높였습니다.

#Airflow#PySpark
8100
밑바닥부터 시작하는 추천시스템 with Kubeflow
크림
AI

밑바닥부터 시작하는 추천시스템 with Kubeflow

Kubeflow로 추천 시스템의 데이터 수집, 학습, 서빙, 튜닝까지 전체 흐름을 구성한 사례를 소개했습니다. 오프라인 추론 전환과 파이프라인 자동화로 응답 속도와 운영 효율을 개선했습니다.

#Kubeflow#Kafka
7600
일일 Tech News & Blog (25.05.22)
데보션
기타

일일 Tech News & Blog (25.05.22)

오픈AI의 AI 기기 개발, SKT 해킹 대응 검토, 통신사 이용자 보호 점검 등 산업·보안 이슈를 묶어 소개했습니다. 또한 LLM 게이트웨이, Airflow 버전관리, Codex 리뷰 같은 기술 기사도 함께 정리했습니다.

#LLM#Airflow
3800
Apache Airflow DAG Versioning 기능 알아보기
데보션
백엔드

Apache Airflow DAG Versioning 기능 알아보기

Airflow 3.0의 DAG Versioning 기능과 DAG Bundle 구조를 소개했습니다. GitDagBundle을 통해 과거 버전의 DAG를 안정적으로 실행하는 방법을 설명했습니다.

#Airflow
9400
AWS DataZone에서 OpenLineage 기반의 Airflow 데이터 계보 그리기
AWS
데브옵스

AWS DataZone에서 OpenLineage 기반의 Airflow 데이터 계보 그리기

AWS DataZone에서 MWAA와 OpenLineage를 연결해 Airflow 데이터 계보를 작성하는 방법을 설명했습니다. CloudWatch 로그, SQL 파싱, DataZone API를 조합해 입력·출력 테이블 계보를 업데이트했습니다.

#AWS#Airflow
6400
검색 Indexing 파이프라인 개선기
당근마켓
백엔드

검색 Indexing 파이프라인 개선기

검색 색인 파이프라인의 생산성과 안정성을 높이기 위해 설정 기반 자동화, Offline Storage 활용, 배치 처리 구조를 도입했습니다. 이를 통해 대용량 이벤트와 풀색인 비용 문제를 줄이고 운영 효율을 개선했습니다.

#검색#pipeline
14700