백엔드 아티클

새로운 기술 블로그가 추가되었어요

아임웹

필터 0

선택된 필터 없음

2025년 3월 28일

백엔드

Robot Framework와 QA팀 동행기: 웹 테스트 자동화 (2)

Robot Framework로 웹 테스트 자동화를 도입한 과정과 운영 방식을 소개했습니다. 반복 검증을 키워드화·모듈화하고 Jenkins, Docker, Slack으로 모니터링까지 확장했습니다.

#Robot Framework#test automation

75005분

Elasticsearch 성능 비교: Box vs Polygon, 어떤 방식이 더 빠를까?

2025년 3월 28일

백엔드

Elasticsearch 성능 비교: Box vs Polygon, 어떤 방식이 더 빠를까?

Elasticsearch 사각형 공간 검색에서 Box와 Polygon의 성능을 비교했습니다. 두 방식은 큰 차이 없이 유사했으며, 단순 검색에는 Box를 우선 고려할 수 있었습니다.

Apache Flink 어플리케이션의 End-to-End Latency 병목 찾아내기

Flink 어플리케이션의 end-to-end latency 병목을 찾기 위해 operator 지표와 flame graph를 활용하는 방법을 소개했습니다. 처리 시간과 처리 외 시간을 분리해 관측하고, 병목 유형별로 다른 개선 방향을 제시했습니다.

Spark 6편: Yarn Resource Manager 라벨링

YARN 라벨링으로 Spark의 AM과 Executor를 서로 다른 노드에 배치하는 방법을 소개했습니다. EMR에서 Spot Instance 사용 시 발생하는 장애와 비용 문제를 완화하는 구성도 설명했습니다.

Spark 5편 – Spark Connect

Spark의 원격 연동 한계를 보완하는 Spark Connect의 등장 배경과 동작 방식을 소개했습니다. 서버·클라이언트 환경을 구성해 Jupyter Notebook에서 실제 연결과 실행을 확인했습니다.

Spark 4편 – Broadcast

Spark의 Broadcast 기능으로 셔플을 줄이고 join 성능을 높이는 방법을 소개했습니다. 작은 데이터셋에는 자동 broadcast 감지와 설정 조건도 함께 설명했습니다.

Spark 3편 – Optimize Partition

Spark에서 파티션이 병렬성, 메모리, 파일 수에 미치는 영향을 설명했습니다.\n입력·출력·셔플 파티션 설정을 조정해 성능을 최적화하는 방법을 소개했습니다.

Spark 2편 – Caching 및 Persist

Spark의 Cache와 Persist 개념과 사용 시 주의점을 설명했습니다. 메모리 부족으로 인한 spill over를 줄이는 대응 방법도 소개했습니다.

Spark 1편 – Backend Service – Optimizer

Spark의 동작 방식과 Catalyst, Tungsten 최적화 역할을 소개했습니다. 논리 계획과 물리 계획, Predicate Pushdown 같은 핵심 개념을 설명했습니다.

[BigData] Spark 개요 정리

Spark의 개요와 주요 구성요소, 장점을 정리한 글입니다. 대용량 데이터 처리에서 Pandas보다 Spark가 더 적합한 성능 사례도 비교했습니다.

Amazon DocumentDB에서 압축 기능을 활용한 비용 절감

Amazon DocumentDB의 문서 압축 기능으로 저장 공간과 I/O 비용을 줄이는 방법을 소개했습니다. 샘플 데이터셋 기준 최대 34% 절감 사례와 적용 시 유의점을 함께 설명했습니다.

#Amazon DocumentDB#압축

34005분

2025년 3월 24일

백엔드

에러를 리턴하는 goroutine 테스트 코드 쉽게 제어하기

goroutine 내부 에러를 테스트할 때의 비결정성을 줄이는 방법을 다뤘습니다. sync.WaitGroup과 채널 기반 Waiter로 종료 대기와 에러 전파를 제어하는 구조를 소개했습니다.

#Go#goroutine

86005분