팀 내 전처리 프레임워크 dagster 도입기
팀 내 전처리 프레임워크 dagster 도입기
문서 전처리 파이프라인의 리소스 경합과 디버깅 어려움을 해결하기 위해 dagster를 도입했습니다. K8sRunLauncher와 코드 로케이션 분리로 안정성과 운영 효율을 높인 사례를 공유했습니다.
#Dagster#RAG
0005분
문서 전처리 파이프라인의 리소스 경합과 디버깅 어려움을 해결하기 위해 dagster를 도입했습니다. K8sRunLauncher와 코드 로케이션 분리로 안정성과 운영 효율을 높인 사례를 공유했습니다.
문서 전처리 파이프라인의 리소스 경합과 디버깅 어려움을 해결하기 위해 dagster를 도입했습니다. 파드 격리와 대시보드 관측성으로 안정성과 운영 효율을 높였습니다.