글 템플릿1
AWS Athena로 ELB/ALB 액세스 로그를 분석하는 테이블 생성 방법을 정리했습니다. 로그 활성화와 S3 설정, 파티션 프로젝션 예시까지 함께 소개했습니다.

AWS Athena로 ELB/ALB 액세스 로그를 분석하는 테이블 생성 방법을 정리했습니다. 로그 활성화와 S3 설정, 파티션 프로젝션 예시까지 함께 소개했습니다.
XSS 공격의 개념과 유형을 정리하고, 필터를 활용한 방어 방법을 소개했습니다. Servlet Filter 예시 코드를 통해 요청 래핑 방식도 함께 보여주었습니다.

MWAA에서 Oracle 쿼리 수행 시 발생한 `DPY-3015` 오류의 원인과 해결 방법을 정리했습니다. thin 모드 제약을 피하려면 thick 모드 전환과 Oracle Client 설치가 필요했습니다.

GitLab의 push option을 이용해 CLI에서 Merge Request를 생성하는 방법을 소개했습니다. 브랜치 생성, 커밋, `git push -o` 설정으로 MR 자동화 과정을 정리했습니다.
![[GitLab] git cli로 Merge Request 생성](https://i0.wp.com/bespin-wordpress-bucket.s3.ap-northeast-2.amazonaws.com/wp-content/uploads/2025/03/image-212.png?fit=716%2C434&ssl=1)
Spring Boot 시작 시 AWS Secrets Manager에서 DB 정보를 조회해 DataSource를 생성하는 방법을 소개했습니다. 자동 설정을 제외하고 Secret JSON을 파싱해 PostgreSQL 연결 정보를 주입하는 예시를 다뤘습니다.

SSL 트러블슈팅에 자주 쓰는 openssl 명령어들을 한눈에 정리했습니다. 인증서 확인, 키 검증, 포맷 변환, 추출과 암복호화 예시까지 담았습니다.

OpenAPI 3.0 스펙을 설계 우선 관점에서 작성하는 원칙과 주의점을 정리했습니다. 보안, 스키마 재사용, 예제, 코드 생성을 통해 API 계약 품질을 높이는 방법을 소개했습니다.

Spark JDBC 병렬처리의 기본 사용법과 파티션 분할 방식의 주의점을 설명했습니다. 소수점 버림으로 인한 skew를 줄이기 위해 upperBound 설정과 컬럼 분포 점검이 필요했습니다.

Spark에서 Rest API 데이터를 수집하는 두 가지 방법을 비교했습니다. 단순 requests 방식과 Spark UDF 방식의 장단점 및 대량 데이터 처리 시 고려점을 설명했습니다.

Spark 3.0의 AQE와 coalescePartitions로 셔플 파티션을 동적으로 최적화하는 내용을 소개했습니다. 셔플 파티션 크기에 따른 성능 저하 문제와 파티션 병합 방식도 설명했습니다.

YARN 라벨링으로 Spark의 AM과 Executor를 서로 다른 노드에 배치하는 방법을 소개했습니다. EMR에서 Spot Instance 사용 시 발생하는 장애와 비용 문제를 완화하는 구성도 설명했습니다.

Spark의 원격 연동 한계를 보완하는 Spark Connect의 등장 배경과 동작 방식을 소개했습니다. 서버·클라이언트 환경을 구성해 Jupyter Notebook에서 실제 연결과 실행을 확인했습니다.

Spark의 Broadcast 기능으로 셔플을 줄이고 join 성능을 높이는 방법을 소개했습니다. 작은 데이터셋에는 자동 broadcast 감지와 설정 조건도 함께 설명했습니다.

Spark에서 파티션이 병렬성, 메모리, 파일 수에 미치는 영향을 설명했습니다. 입력·출력·셔플 파티션 설정을 조정해 성능을 최적화하는 방법을 소개했습니다.

Spark의 Cache와 Persist 개념과 사용 시 주의점을 설명했습니다. 메모리 부족으로 인한 spill over를 줄이는 대응 방법도 소개했습니다.

Spark의 동작 방식과 Catalyst, Tungsten 최적화 역할을 소개했습니다. 논리 계획과 물리 계획, Predicate Pushdown 같은 핵심 개념을 설명했습니다.

Spark의 개요와 주요 구성요소, 장점을 정리한 글입니다. 대용량 데이터 처리에서 Pandas보다 Spark가 더 적합한 성능 사례도 비교했습니다.
![[BigData] Spark 개요 정리](https://bespin-wordpress-bucket.s3.ap-northeast-2.amazonaws.com/wp-content/uploads/2025/03/image-10.png)