태그

PySpark 기술 블로그 글

PySpark 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 6개최신 6개 표시

Iceberg는 정말 싸고 빠를까? – 운영 데이터 5가지 벤치마크 솔직한 결과

실제 운영 데이터로 Iceberg와 Hive를 비교해 비용과 속도 차이를 검증했습니다. 큰 테이블부터 옮기고 SQL 패턴을 바꿔야 효과가 커졌습니다.

2025년 12월 19일

SparkListener와 Spark History MCP, n8n AI Agent를 연결해 Spark 장애 분석을 자동화했습니다.\n실시간 에러 감지와 히스토리 조회로 원인과 해결책을 Slack으로 전달했습니다.

2025년 8월 7일

웹 크롤링 데이터로 LLM 사전학습 데이터셋을 만든 경험과 어려움을 정리했습니다. NVIDIA EMNLP 2024 논문을 통해 품질 필터링과 중복 제거 전략을 체계적으로 살펴봤습니다.

2025년 7월 7일

Airflow와 PySpark로 제조업 기준 정보와 생산 데이터를 통합해 Spotfire 대시보드를 자동화했습니다.\n대용량 처리와 정기 갱신으로 현장 의사결정 속도와 데이터 신뢰성을 높였습니다.

2020년 12월 4일

MinIO와 pytest fixture로 S3 의존성 없는 PySpark 통합 테스트 환경을 구축했습니다.\npytest doctest와 Sphinx를 결합해 실행 가능한 API 문서를 유지했습니다.

2020년 11월 27일

PySpark 분석의 경로·설정 관리와 Notebook·batch 환경 차이를 DevPlay Analytics로 추상화했습니다. SQL 인터페이스와 문서화·테스트를 제공해 일일 200종 이상 테이블 적재에 활용했습니다.