Apache Spark에서 컬럼 기반 저장 포맷 Parquet(파케이) 제대로 활용하기
Spark 로그 저장 포맷을 JSON에서 Parquet로 전환하고 인코딩 옵션을 조정했습니다. 저장 용량을 74% 줄이고 쿼리 성능을 10~30배 높였습니다.
#Apache Spark#Parquet#ETL
2600
모든 블로그
대표 인기 포스트모듈화를 통한 SwiftUI Preview 효율화70 조회70 조회 백엔드 백엔드
백엔드
백엔드
백엔드
백엔드
백엔드
타다
⚠️ 타다 테크블로그는 리뉴얼 이후 RSS를 제공하지 않아 새로운 게시글을 표시하지 못하고 있습니다. ⚠️
주요 카테고리 아키텍처 · DevOps · 백엔드
활동 요약
- 최근 30일
- 0개
- 평균 조회
- 29
- 누적 조회
- 849
- 전체 글
- 29개
- 마지막 발행
- 2024. 10. 8.
타다 기술 블로그 글 (7)
VCNC가 Hadoop대신 Spark를 선택한 이유
MapReduce 중심 분석 시스템을 Spark·Zeppelin·AWS 기반으로 점진 전환했습니다. 분석 시간을 약 8시간에서 1시간으로 줄이고 관리 부담과 대시보드 운영 복잡도를 낮췄습니다.
#Hadoop#Spark#Zeppelin
2700
비트윈의 HBase 스키마 해부
비트윈의 HBase 저장 구조와 Datastore 기반 접근 방식을 설명했습니다. 트랜잭션·인덱스·키 설계로 성능과 무결성을 확보했습니다.
#HBase#Thrift#NoSQL
2500
HBase Meetup - 비트윈에서 HBase를 사용하는 방법
비트윈은 채팅의 높은 쓰기 성능과 대량 로그 분석을 위해 HBase를 활용했습니다. MapReduce·MySQL 분석 흐름과 HBase 다중 행 트랜잭션 라이브러리 Haeinsa를 소개했습니다.
#HBase#Hadoop MapReduce#MySQL
2200
HBase상 트랜잭션 라이브러리 Haeinsa를 소개합니다
HBase의 다중 행·테이블 트랜잭션 부재를 해결하기 위해 Haeinsa를 소개했습니다. ACID와 직렬화 격리를 제공하며, 연산 패턴별 성능 특성을 설명합니다.
#HBase#Haeinsa#NoSQL
2100
비트윈이 사용자를 분석하는 방법
비트윈은 Access Log를 기반으로 사용자 행동을 집계하고 분석 플랫폼을 단계적으로 확장했습니다. 익명화와 시각화를 바탕으로 개인정보를 보호하며 의사결정과 실행으로 연결했습니다.
#Hive#HBase#Scala
1400
HBase 설정 최적화하기
HBase·HDFS 설정을 읽기 중심 서비스와 OLAP 환경에 맞춰 최적화한 사례를 정리했습니다. 캐시·메모리·네트워크·컴팩션 설정의 효과와 운영상 주의점을 설명합니다.
#HBase#HDFS#NoSQL
2700