서버리스 ML 훈련 인프라 구축하기: Vertex AI Pipelines & TFX
당근이 Vertex AI Pipelines와 TFX로 서버리스 ML 훈련 인프라를 구축한 사례를 공유했습니다. 공통 컴포넌트, 모니터링, 알림, EoS 관리로 운영 효율을 높였습니다.
#Vertex AI Pipelines#TFX#GCP
4100

TFX 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
3개 표시
당근이 Vertex AI Pipelines와 TFX로 서버리스 ML 훈련 인프라를 구축한 사례를 공유했습니다. 공통 컴포넌트, 모니터링, 알림, EoS 관리로 운영 효율을 높였습니다.

TFX 커스텀 컴포넌트로 신규 데이터부터 학습·모델 등록까지의 파이프라인을 구성했습니다. Apache Beam과 사내 레지스트리를 연동하는 구현·운영 주의점을 설명합니다.
Apache Beam 파이프라인을 Composite PTransform으로 모듈화하고 병렬 처리 병목을 최적화했습니다.\nShared Object, 배치, Side Input으로 ML 추론과 Faiss 벡터 검색의 메모리·처리 문제를 다뤘습니다.