Velopers
모든 태그
태그

pipeline 기술 블로그 글

pipeline 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 16개최신 16개 표시
홈에서 필터

관련 태그

#Airflow67#MLOps42#자동화304#ML283#CI/CD202#Elasticsearch74#GitLab43#CDC39#LLM995#검색285#모니터링256#Kafka228

최신 게시글

16개 표시

아키텍처

복잡한 비즈니스 로직, 파이프라인으로 다듬기

대출 심사 로직의 복잡도를 줄이기 위해 Pipeline, Job, Store 구조를 적용한 사례를 소개했습니다. 정책 변경과 테스트를 더 쉽게 만들기 위한 설계 고민을 정리했습니다.

#GitLab#CI/CD#pipeline
8300

백엔드

PostgreSQL to ES: (2) Kafka Connect 트러블슈팅

PostgreSQL에서 ES로의 CDC 파이프라인을 Kafka Connect로 구성한 뒤의 트러블슈팅 글입니다. 제공된 본문만으로는 구체적 문제와 해결 내용은 확인되지 않습니다.

#PostgreSQL#Elasticsearch#Kafka Connect
3600

백엔드

CDC 파이프라인 정합성 검사 Spark 잡 개발 - Part 2. Spark 최적화편

CDC 파이프라인 정합성 검사 Spark 잡의 최적화 방법을 다룬 후속 글입니다. 앞선 코드 설계편에 이어 Spark 잡 성능 개선과 운영 관점을 소개했습니다.

#Spark#pipeline#성능
3800

AI

MLOps를 통한 AI 모델 개발 및 배포 효율화 : 데이터 시계열 분석 사례

시계열 분석용 AI 모델 개발에서 전처리와 훈련 자동화를 위한 MLOps 파이프라인 구축 경험을 소개했습니다. 상세 본문은 확인되지 않아 핵심 주제만 파악할 수 있었습니다.

#MLOps#pipeline#자동화
000

백엔드

검색 Indexing 파이프라인 개선기

검색 색인 파이프라인의 생산성과 안정성을 높이기 위해 설정 기반 자동화, Offline Storage 활용, 배치 처리 구조를 도입했습니다. 이를 통해 대용량 이벤트와 풀색인 비용 문제를 줄이고 운영 효율을 개선했습니다.

#검색#pipeline#Kafka
13900

데브옵스

API 키·토큰 유출 방지! GitLab Secret Detection 활용법

GitLab Secret Detection으로 리포지터리의 시크릿 유출을 자동 탐지하는 방법을 소개했습니다.\nPipeline 설정, 전체 히스토리 스캔, 취약점 리포트 활용까지 실무 적용 흐름을 정리했습니다.

#GitLab#CI/CD#보안
6800

AI

허깅 페이스 Trainer API 이용하기

허깅페이스 Trainer API로 KLUE/ynat 텍스트 분류 모델을 학습하고 평가하는 과정을 정리했습니다. 또한 학습한 모델을 허브에 업로드하고 pipeline으로 추론하는 방법도 함께 소개했습니다.

#Hugging Face#Trainer API#transformers
1900

백엔드

FAST: 데이터 파이프라인 이제는 웹에서

웹 기반 배치 생성 툴 FAST로 데이터 파이프라인 작성 과정을 단순화했습니다. 비개발자도 입력값만 채워 Airflow 배치를 만들고, 운영 공수도 줄였습니다.

#Airflow#pipeline#웹
2900

백엔드

Oracle에서 MongoDB로의 CDC Pipeline 구축

Oracle에서 MongoDB로 초기 데이터 이관과 CDC 파이프라인 구축 경험을 공유했습니다. 관계형 DB에서 문서형 DB로의 변경 데이터 연동 흐름을 다뤘습니다.

#Oracle#MongoDB#CDC
2400

AI

버즈빌의 ML 플랫폼 Buzzflow (1) - 모델을 개발하고 관리하기

버즈빌의 머신러닝 플랫폼 Buzzflow를 소개하며, 모델 개발과 관리를 위한 파이프라인과 저장소 구성을 설명했습니다. 모델 배포 방식은 다음 글에서 이어서 다룰 예정입니다.

#ML#MLOps#pipeline
2100

백엔드

다나와의 상품 색인 파이프라인

다나와 상품 색인 파이프라인을 logstash로 이관해 유지보수성을 높이고 MQ 의존성을 줄였습니다. 1G 로그 처리 테스트에서는 기존 대비 처리 시간이 크게 줄어 성능 개선도 확인했습니다.

#Elasticsearch#Logstash#RabbitMQ
1700

기타

Among-Device AI를 위한 NNStreamer Pipeline 프레임워크의 확장

X

#pipeline#streaming#NNStreamer
100

기타

데이터 분석가가 직접 정의, 배포, 관리하는 뱅크샐러드 데이터 파이프라인

X

#data#pipeline
1800

백엔드

Self Serving Data Platform 구축하기 (feat. Airflow)

셀프 서빙 데이터 플랫폼을 구축한 사례를 소개했습니다. Airflow를 활용해 데이터 파이프라인 운영 부담을 줄이는 방향을 다뤘습니다.

#Airflow#ETL#pipeline
2300

AI

[if kakao 2022] ML 모델 학습 파이프라인 설계 (feat. MLOps 플랫폼)

카카오페이 MLOps 플랫폼에서 ML 모델 학습 파이프라인 설계 사례를 공유했습니다. 플랫폼 관점에서 모델 학습 흐름을 정리한 내용입니다.

#ML#MLOps#pipeline
1500

AI

[Medical AI] #2 의료인공지능 모델 개발 파이프라인 툴 소개: Clairvoyance

의료 데이터의 복잡성 때문에 AI 모델 개발과 재현성이 어려운 문제를 짚었습니다. Clairvoyance를 표준화된 파이프라인 도구로 소개하며 개발·평가·최적화의 체계화를 제안했습니다.

#LLM#pipeline#AutoML
1300