[DAN 24] 검색과 피드의 만남: LLM으로 완성하는 초개인화 서비스 ② 사용자 검색 의도 세분화
검색어와 문서를 함께 고려해 사용자 의도를 세분화하는 LLM 기반 모델을 설계했습니다. 이를 통해 추천의 맥락 정확도를 높이고 CTR도 개선했습니다.
#LLM#검색
3500
필터 1
FDS에 지속 성장하는 ML 모델 적용 이야기
카카오페이 FDS에 지속 성장하는 ML을 적용해 급변하는 사고 패턴에 대응한 사례를 소개했습니다. 지속적 학습과 자가 적응 피처로 신규 유형 사고 탐지 성능을 높였습니다.
#ML#MLOps
4400
당근페이 재무 결산 사례로 보는 백엔드와 데이터의 만남
매월 반복되던 재무 결산을 Spring Batch와 코드 중심 구조에서 Airflow와 dbt 기반 데이터 파이프라인으로 전환했습니다. SQL 수정만으로 결산 대응이 가능해져 유연성과 가시성을 높였습니다.
#Airflow#dbt
4200
Airflow로 펀드 배치 시스템 완벽 구축하기
카카오뱅크가 퍼블릭 클라우드에 펀드 시스템을 구축한 사례를 소개했습니다. Airflow로 금융 규제를 충족하며 배치 작업을 효율화한 과정을 다뤘습니다.
#Airflow#batch
3000
입수는 Datalake로! (feat. Iceberg)
Iceberg를 DataLake에 도입해 Kafka·CDC 입수와 테이블 운영을 더 효율적으로 개선했습니다. 또한 자동화된 모니터링과 유지보수로 실시간 조회와 성능 최적화를 함께 달성했습니다.
#Iceberg#Spark
4100
Spark Streaming을 활용한 파생 데이터 생성 시간 감축 사례
Hive 배치 기반 파생 데이터 생성 지연 문제를 Spark Streaming으로 실시간 처리하도록 전환한 사례를 소개했습니다. Kafka 오프셋과 처리량, LAG 모니터링으로 안정적인 운영 방법도 함께 설명했습니다.
#Spark Streaming#Kafka
3900
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
FAST: 데이터 파이프라인 이제는 웹에서
웹 기반 배치 생성 툴 FAST로 데이터 파이프라인 작성 과정을 단순화했습니다. 비개발자도 입력값만 채워 Airflow 배치를 만들고, 운영 공수도 줄였습니다.
#Airflow#pipeline
3300
Kubeflow Pipeline 소개 및 사용기
Kubeflow Pipelines의 구조와 주요 기능, 운영 개념을 소개한 글입니다. 다만 반복 실행 실패 대응과 파라미터 전달은 아쉬웠다고 정리했습니다.
#Kubeflow#Kubernetes
2100
혼자서도 잘해요, 검색 시스템 구축과 운영
외부 검색 솔루션의 한계를 해결하기 위해 AWS 기반 검색 파이프라인을 내부 구축했습니다. 30분이던 증분색인 주기를 1분 이내로 줄이고 운영 부담도 낮췄습니다.
#검색#AWS
2300
로봇을 위한 MLOps #2: 엣지 파이프라인의 구성
로봇 엣지 디바이스에서 동작하는 MLOps 파이프라인과 TensorRT 기반 추론 도구를 소개했습니다. Trtexec, TREx, Nsight Systems로 변환·시각화·성능 분석을 수행하는 흐름을 정리했습니다.
#MLOps#Airflow
2500
로봇을 위한 MLOps #1: Edge device와 K3s, Airflow
로봇용 머신러닝 개발에서 재현성과 온프레미스 자원 관리가 왜 중요한지 설명했습니다. K3s와 Airflow로 이를 해결하는 MLOps 구성 방법을 소개했습니다.
#MLOps#K3s
2800
서버리스에서 쿠버네티스로 - Airflow 운영 경험기
관리형 서비스의 Airflow를 Kubernetes로 전환하며 스케줄러 CPU 과부하, 워커 OOM, 로그 누락 문제를 해결한 운영 경험을 공유했습니다. 자원 제한과 노드 분리를 통해 안정성을 높이고 비용도 줄인 사례입니다.
#Kubernetes#Airflow
3300
데이터 엔지니어의 Airflow 데이터 파이프라인 CI 테스트 개선기
데이터 파이프라인 CI 테스트 시간을 7분대에서 3분대로 줄인 개선 사례를 다뤘습니다. YAML 작성부터 PR, 배포까지의 흐름 속 병목을 줄이는 방법을 소개했습니다.
#Airflow#CI/CD
2300
Data Product (2) AI(데이터)로 실제 운영 효율화가 가능할까?
AI 모델만으로 세차 필요 여부를 단정할 수 없어, 판단 기준과 차량 상태 정의를 다시 설계했습니다. 그 결과 세차 요청 로직을 구조화해 운영 효율과 고객 만족도를 함께 높였습니다.
#LLM#ML
1200