![[Databricks Data + AI Summit 2026] Oracle에서 Databricks Lakehouse로의 마이그레이션 전략](https://tech.cloud.nongshim.co.kr/wp-content/uploads/2606_databricks.png)
[Databricks Data + AI Summit 2026] Oracle에서 Databricks Lakehouse로의 마이그레이션 전략
Oracle 마이그레이션을 데이터 이전이 아닌 Use Case 이전으로 접근하는 전략을 소개했습니다. Lakehouse Federation, Lakebridge, GenAI Migration으로 단계적 자동화를 제안했습니다.
#Databricks#Oracle
12005분
필터 1
당근 200+개 DB 를 옮기는 ELT 플랫폼, DT Platform 을 만든 이야기
당근 200+개 DB 를 옮기는 ELT 플랫폼, DT Platform 을 만든 이야기
200개 이상 DB를 BigQuery로 옮기던 ELT 운영 문제를 DT Platform으로 분리·표준화했습니다. UI와 DSL, 자동 마이그레이션으로 리드타임과 리뷰 병목을 줄였습니다.
#ELT#ETL
131005분
GloZ의 Amazon OpenSearch Service를 기반으로 한 자연어 이력서 검색 시스템 구축 사례 — Part 1: 데이터 파이프라인과 인덱싱
Amazon OpenSearch Service로 다국어 이력서 검색 파이프라인과 인덱싱 구조를 재설계했습니다. 전처리, 정규화, 임베딩 입력 전략이 검색 정확도를 크게 좌우했습니다.
#Amazon OpenSearch Service#검색
29005분
Hive에서 Iceberg로: 데이터 반영 속도 12배 향상의 비밀
Hive 기반 전체 재작성 ETL의 한계를 Iceberg와 Flink로 개선한 사례를 소개했습니다. 체크포인트, 2PC, 파티셔닝 최적화로 데이터 반영 속도를 12배 높였습니다.
#Apache Iceberg#Apache Flink
64005분
기획서 없이 내재화하기: 검증 로직으로 동일함을 증명하다
기획서가 없는 블랙박스 시스템을 내재화하며, 입력·출력 정의와 병렬 검증으로 동일성을 증명했습니다. Kafka와 CDC, OpenSearch를 활용해 조회·업데이트·E2E 전환을 안전하게 검증했습니다.
#Kafka#CDC
121005분
메시지 전송 트래픽 100배에도 끄떡 없는 User 테이블로 뜯어고치기 (2)
메시지 전송 트래픽 100배에도 끄떡 없는 User 테이블로 뜯어고치기 (2)
DynamoDB Export/Glue/Import로 UserBadge를 분리해 16억 건 규모 마이그레이션을 수행했습니다. 비용은 36% 줄고 시간은 7일에서 약 6시간으로 단축했습니다.
#DynamoDB#AWS Glue
0005분
메시지 전송 트래픽 100배에도 끄떡 없는 User 테이블로 뜯어고치기 (2)
User 테이블의 Badge 트래픽 병목을 분리해 온라인 마이그레이션으로 이전했습니다. AWS 관리형 서비스를 활용해 비용과 시간을 크게 줄이고 안정성도 높였습니다.
#DynamoDB#AWS Glue
15005분
메시지 트래픽 100배에도 끄떡 없게 고객 테이블 뜯어고치기 (1)
메시지 트래픽 100배에도 끄떡 없게 고객 테이블 뜯어고치기 (1)
16억 건 규모의 User 테이블에서 Badge 업데이트가 쓰로틀링을 유발한 원인을 분석했습니다. Badge를 별도 테이블로 분리하고, Export/Import와 Glue로 안전한 마이그레이션 전략을 설계했습니다.
#DynamoDB#AWS Glue
0005분
메시지 트래픽 100배에도 끄떡 없게 고객 테이블 뜯어고치기 (1)
Badge 업데이트가 User 테이블 전체를 느리게 만든 원인을 분석하고, 별도 테이블 분리 전략을 설명했습니다. 16억 건 규모를 안전하게 옮기기 위해 Export/Import와 Glue 기반 마이그레이션을 설계했습니다.
#DynamoDB#AWS Glue
11005분
“정산파일 자동화”를 하려다, 규칙과 검증을 다시 설계하다
“정산파일 자동화”를 하려다, 규칙과 검증을 다시 설계하다
정산파일 자동화 과정에서 파일 기반 예외 업무를 내부 DB 구조로 옮기고, 규칙과 검증 로직을 재설계했습니다. 파트너별 기준은 YAML 설정으로 분리해 유지보수성과 추적 가능성을 높였습니다.
#Google Apps Script#YAML
84005분
Amazon RDS 및 Amazon Aurora와 Amazon OpenSearch Ingestion 통합하기
Amazon RDS와 Aurora를 OpenSearch Ingestion과 연동해 준실시간 검색 동기화를 구현하는 방법을 소개했습니다. 초기 스냅샷과 CDC를 활용해 검색 인덱스를 자동으로 최신 상태로 유지하는 흐름을 설명했습니다.
#AWS#Amazon RDS
51005분
Standardizing User Activation: How We Built a Shared Data Layer at Karrot
Standardizing User Activation: How We Built a Shared Data Layer at Karrot
카라트는 사용자 활성화 분석을 공통 Activation Layer로 표준화했습니다. 팀별 ad hoc 쿼리 대신 DBT 기반 모델로 신뢰성과 운영 안정성을 높였습니다.
#DBT#Airflow
70005분