500만 데이터 엑셀 출력을 4GB 메모리에서 하는방법
정산시스템의 대용량 엑셀 출력에서 OOM과 재시도 폭주를 해결한 사례를 다뤘습니다. 날짜 단위 병렬 처리와 DB Cursor, S3 업로드로 메모리 부담 없이 비동기 다운로드 구조를 만들었습니다.
#Spring Batch#JPA#MySQL
18100

CSV 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
3개 표시
정산시스템의 대용량 엑셀 출력에서 OOM과 재시도 폭주를 해결한 사례를 다뤘습니다. 날짜 단위 병렬 처리와 DB Cursor, S3 업로드로 메모리 부담 없이 비동기 다운로드 구조를 만들었습니다.

Python으로 MySQL에 접속해 CSV 데이터를 삽입·수정하고 조회 결과를 파일로 저장하는 방법을 학습했습니다. 실제 회사 DB에서 필요한 데이터를 쿼리로 추출하며 학습 내용을 적용했습니다.
CSV 데이터를 기본 Python과 pandas로 선택·저장·결합하는 방법을 학습했습니다. 데이터 탐색, 조작, groupby·merge 활용을 실습했습니다.