Velopers
모든 태그
태그

pipeline 기술 블로그 글

pipeline 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 21개최신 20개 표시
홈에서 필터

관련 태그

#Airflow91#MLOps55#ML382#자동화367#CDC45#CI/CD272#Elasticsearch91#배포54#GitLab52#ETL42#AutoML4#LLM1,153

최신 게시글

20개 표시

AI

Slack 대화 한 번으로 끝나는 CDC 파이프라인 온보딩

Slack 대화만으로 CDC 파이프라인 온보딩을 처리하는 AI Agent 사례를 소개했습니다. LangChain/LangGraph와 MCP를 연결해 반복 절차를 자동화한 구성입니다.

#LangChain#LangGraph#MCP
5400

AI

[23. 5. 23] 의료인공지능 모델 개발 파이프라인 툴 소개: Clairvoyance

의료 전자기록 데이터는 전처리와 평가 기준이 복잡해 모델 재현성이 낮았습니다. Clairvoyance는 이를 표준화하는 파이프라인 툴로 개발·평가·최적화를 돕습니다.

#ML#pipeline#AutoML
2100

아키텍처

복잡한 비즈니스 로직, 파이프라인으로 다듬기

대출 심사 로직의 복잡도를 줄이기 위해 Pipeline, Job, Store 구조를 적용한 사례를 소개했습니다. 정책 변경과 테스트를 더 쉽게 만들기 위한 설계 고민을 정리했습니다.

#GitLab#CI/CD#pipeline
9900

백엔드

PostgreSQL to ES: (2) Kafka Connect 트러블슈팅

PostgreSQL에서 ES로의 CDC 파이프라인을 Kafka Connect로 구성한 뒤의 트러블슈팅 글입니다. 제공된 본문만으로는 구체적 문제와 해결 내용은 확인되지 않습니다.

#PostgreSQL#Elasticsearch#Kafka Connect
4900

백엔드

CDC 파이프라인 정합성 검사 Spark 잡 개발 - Part 2. Spark 최적화편

CDC 파이프라인 정합성 검사 Spark 잡의 최적화 방법을 다룬 후속 글입니다. 앞선 코드 설계편에 이어 Spark 잡 성능 개선과 운영 관점을 소개했습니다.

#Spark#pipeline#성능
4800

AI

MLOps를 통한 AI 모델 개발 및 배포 효율화 : 데이터 시계열 분석 사례

시계열 분석용 AI 모델 개발에서 전처리와 훈련 자동화를 위한 MLOps 파이프라인 구축 경험을 소개했습니다. 상세 본문은 확인되지 않아 핵심 주제만 파악할 수 있었습니다.

#MLOps#pipeline#자동화
900

백엔드

검색 Indexing 파이프라인 개선기

검색 색인 파이프라인의 생산성과 안정성을 높이기 위해 설정 기반 자동화, Offline Storage 활용, 배치 처리 구조를 도입했습니다. 이를 통해 대용량 이벤트와 풀색인 비용 문제를 줄이고 운영 효율을 개선했습니다.

#검색#pipeline#Kafka
14600

데브옵스

API 키·토큰 유출 방지! GitLab Secret Detection 활용법

GitLab Secret Detection으로 리포지터리의 시크릿 유출을 자동 탐지하는 방법을 소개했습니다.\nPipeline 설정, 전체 히스토리 스캔, 취약점 리포트 활용까지 실무 적용 흐름을 정리했습니다.

#GitLab#CI/CD#보안
7600

AI

허깅 페이스 Trainer API 이용하기

허깅페이스 Trainer API로 KLUE/ynat 텍스트 분류 모델을 학습하고 평가하는 과정을 정리했습니다. 또한 학습한 모델을 허브에 업로드하고 pipeline으로 추론하는 방법도 함께 소개했습니다.

#Hugging Face#Trainer API#transformers
2200

백엔드

FAST: 데이터 파이프라인 이제는 웹에서

웹 기반 배치 생성 툴 FAST로 데이터 파이프라인 작성 과정을 단순화했습니다. 비개발자도 입력값만 채워 Airflow 배치를 만들고, 운영 공수도 줄였습니다.

#Airflow#pipeline#웹
3900

백엔드

Oracle에서 MongoDB로의 CDC Pipeline 구축

Oracle에서 MongoDB로 초기 데이터 이관과 CDC 파이프라인 구축 경험을 공유했습니다. 관계형 DB에서 문서형 DB로의 변경 데이터 연동 흐름을 다뤘습니다.

#Oracle#MongoDB#CDC
2800

AI

버즈빌의 ML 플랫폼 Buzzflow (1) - 모델을 개발하고 관리하기

버즈빌의 머신러닝 플랫폼 Buzzflow를 소개하며, 모델 개발과 관리를 위한 파이프라인과 저장소 구성을 설명했습니다. 모델 배포 방식은 다음 글에서 이어서 다룰 예정입니다.

#ML#MLOps#pipeline
2500

백엔드

다나와의 상품 색인 파이프라인

다나와 상품 색인 파이프라인을 logstash로 이관해 유지보수성을 높이고 MQ 의존성을 줄였습니다. 1G 로그 처리 테스트에서는 기존 대비 처리 시간이 크게 줄어 성능 개선도 확인했습니다.

#Elasticsearch#Logstash#RabbitMQ
2300

백엔드

Self Serving Data Platform 구축하기 (feat. Airflow)

셀프 서빙 데이터 플랫폼을 구축한 사례를 소개했습니다. Airflow를 활용해 데이터 파이프라인 운영 부담을 줄이는 방향을 다뤘습니다.

#Airflow#ETL#pipeline
2800

AI

[if kakao 2022] ML 모델 학습 파이프라인 설계 (feat. MLOps 플랫폼)

카카오페이 MLOps 플랫폼에서 ML 모델 학습 파이프라인 설계 사례를 공유했습니다. 플랫폼 관점에서 모델 학습 흐름을 정리한 내용입니다.

#ML#MLOps#pipeline
1900

AI

TFX 머신러닝 파이프라인 사용하기

TFX 커스텀 컴포넌트로 신규 데이터부터 학습·모델 등록까지의 파이프라인을 구성했습니다. Apache Beam과 사내 레지스트리를 연동하는 구현·운영 주의점을 설명합니다.

#TFX#TensorFlow#Apache Beam
000

AI

[Medical AI] #2 의료인공지능 모델 개발 파이프라인 툴 소개: Clairvoyance

의료 데이터의 복잡성 때문에 AI 모델 개발과 재현성이 어려운 문제를 짚었습니다. Clairvoyance를 표준화된 파이프라인 도구로 소개하며 개발·평가·최적화의 체계화를 제안했습니다.

#LLM#pipeline#AutoML
2600

데브옵스

배포를 빠르게 - DIY(Deploy It Yourself)

사용자가 배포 세부 구현 대신 서비스 전달에 집중하도록 DIY 배포 방식을 소개했습니다. 누구나 쉽게 파이프라인을 구성할 템플릿 기반 환경을 다룹니다.

#배포#pipeline#자동화
2100

AI

Open Problems in Data&Analytics

검색 품질 개선을 위한 실험 효율화, 모델 기반 지표, KPI 보정 과제를 소개했습니다.\n신뢰·공정성 평가와 분석 파이프라인 운영 개선 방향도 함께 다뤘습니다.

#A/B 테스트#CUPED#KPI
2800

데브옵스

Airflow를 활용하여 아름다운 데이터 파이프라인 구성하기 / if(kakao)2019

Airflow의 주요 개념과 아키텍처, 데이터 파이프라인 구성 방법을 소개했습니다. 유사 워크플로 관리 도구와 비교해 카카오페이지의 선택 및 운영 방식을 설명했습니다.

#Airflow#ETL#pipeline
000