Oozie/Sqoop에서 Airflow/Spark로: 데이터 파이프라인 전환기
Oozie/Sqoop 기반 데이터 파이프라인을 Airflow/Spark로 전환한 사례를 정리했습니다. YAML 템플릿, 동적 파티셔닝, Parquet 최적화로 운영성과 조회 성능을 함께 개선했습니다.
#Airflow#Spark#Parquet
1700
Oozie/Sqoop에서 Airflow/Spark로: 데이터 파이프라인 전환기
모든 블로그
대표 인기 포스트2025 하반기 NEW! 기술 세미나 & 컨퍼런스 일정 정리! (ver.250713)495 조회495 조회 백엔드 백엔드 백엔드 백엔드
SK플래닛
주요 카테고리 AI · 프론트엔드
활동 요약
- 최근 30일
- 0개
- 평균 조회
- 65
- 누적 조회
- 4,647
- 전체 글
- 71개
- 마지막 발행
- 2026. 10. 14.
SK플래닛 기술 블로그 글 (4)
Spark Streaming을 활용한 파생 데이터 생성 시간 감축 사례
Hive 배치 기반 파생 데이터 생성 지연 문제를 Spark Streaming으로 실시간 처리하도록 전환한 사례를 소개했습니다. Kafka 오프셋과 처리량, LAG 모니터링으로 안정적인 운영 방법도 함께 설명했습니다.
#Spark#Kafka#Hive
4800
Spark Streaming을 활용한 파생 데이터 생성 시간 감축 사례
Open Policy Agent(OPA)로 JIRA 권한 구현하기
OPA로 JIRA 권한을 Rego 정책과 JSON 데이터로 구현하고, Spring Security와 연동해 백엔드 권한 체크를 구성했습니다. 쿠버네티스에서는 OPA를 사이드카로 배포해 지연을 줄였지만, 데이터 동기화 방안이 추가로 필요했습니다.
#OPA#JIRA#Rego
3300
Open Policy Agent(OPA)로 JIRA 권한 구현하기
OPA(Open Policy Agent)를 이용하여 JIRA의 권한 구현하기
OPA와 Rego로 JIRA 권한을 구현하고, Spring Security와 연동해 백엔드에서 권한 체크를 구성했습니다. 쿠버네티스 사이드카 배포로 지연을 줄였지만, 정책과 데이터 동기화는 추가 과제로 남았습니다.
#OPA#JIRA#Spring Security
3800
OPA(Open Policy Agent)를 이용하여 JIRA의 권한 구현하기