MyDumper와 MyLoader를 사용하여 대용량 데이터베이스를 Amazon Aurora MySQL로 마이그레이션하기
대용량 MySQL DB를 Aurora MySQL로 옮길 때 MyDumper와 MyLoader를 활용한 멀티스레드 논리 마이그레이션 방법을 소개했습니다. 백업·복원 속도 개선 옵션과 벤치마크 결과, AWS DMS 대안까지 함께 설명했습니다.
#MySQL#Amazon Aurora
2900
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
Trino로 타임아웃 개선하기
로그 누적으로 발생한 대시보드 타임아웃과 slow query 문제를 Trino 도입으로 개선한 사례를 다뤘습니다. OBS와 Parquet, MySQL tier down 구조를 통해 집계 성능과 저장 효율을 함께 고려했습니다.
#Trino#MySQL
4000
Kafka Connect로 DB 데이터 쉽게 연동하기
Kafka Connect와 JDBC Source Connector로 DB 데이터를 Kafka에 연동하는 구조와 증분 쿼리 모드를 설명했습니다.\n쿼리 기반 CDC의 누락 사례와 지연 옵션을 통한 완화 방법을 정리했습니다.
#Kafka#Kafka Connect
000
Kafka Connect로 DB 데이터 쉽게 연동하기
Kafka Connect와 JDBC 소스 커넥터로 DB 데이터를 Kafka에 연동하는 방법을 설명했습니다. 쿼리 기반 CDC의 한계와 데이터 누락을 줄이는 설정도 함께 정리했습니다.
#Kafka Connect#JDBC
9200
LLM을 활용한 스마트폰 시세조회 서비스 구축
LLM으로 중고 스마트폰 게시글에서 시세 산정용 정보를 추출하고 후처리하는 서비스를 구축했습니다. BigQuery, MySQL, 벡터 DB를 조합해 시세 조회와 유사 게시글 추천을 구현했습니다.
#LLM#BigQuery
6000
Exposed에서 도망 간 Escape를 찾습니다 (feat. MySQL)
Exposed에서 도망 간 Escape를 찾습니다 (feat. MySQL)
Exposed와 MySQL 조합에서 발생한 SQLSyntaxErrorException의 원인을 단계적으로 추적했습니다. 임시 해결책보다 근본 원인을 찾는 디버깅 접근을 다뤘습니다.
#Exposed#MySQL
4500
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
데이터카탈로그에서 DataHub를 이용하는 방법
DataHub를 그대로 노출하지 않고 OpenSearch와 DB를 직접 활용해 데이터카탈로그에 맞는 검색·리니지·BI 통합 기능을 구현했습니다. 또한 버전업과 수집 성능 문제를 개선해 운영 적합성을 높였습니다.
#DataHub#EKS
12700
RDS MySQL에서 RDS Aurora로 DB이전 다운타임 최소화 하기
RDS MySQL에서 Aurora로 이전할 때 다운타임을 줄이는 절차를 정리했습니다. 스냅샷 마이그레이션과 복제 동기화, binlog 관리가 핵심이었습니다.
#AWS#MySQL
3700
Aurora Serverless 알아보기
Aurora Serverless v2의 동작 방식과 Aurora MySQL 대비 특징, 성능 및 비용 차이를 정리했습니다.\n트래픽 변동성이 큰 서비스에 적합하지만, 고정 부하에서는 비용 효율을 다시 검토해야 했습니다.
#AWS#Aurora
3500
99%가 모른다는 DB Connection 누수 문제
짧은 HikariCP max-lifetime과 mysql-connector-j 정리 스레드 병목으로 발생한 Connection 누수를 분석했습니다.\n드라이버 업그레이드와 정리 스레드 비활성화로 OOM 문제를 해결했습니다.
#Java#MySQL
000
99%가 모른다는 DB Connection 누수 문제
JDBC Driver 변경 이후 발생한 OOM 원인을 DB Connection 누수로 추적하고 Heap Dump로 확인했습니다. mysql-connector-j 업그레이드와 cleanup thread 비활성화로 문제를 해결했습니다.
#DB#Java
13430
자동화를 생활화 합시다. — Online DDL 테스트 자동화 이야기
온라인 DDL 테스트를 자동화해 알고리즘 선정과 사전 검증 과정을 표준화했습니다. 클론 생성, 비동기 실행, 히스토리 저장, Slack 알림으로 운영 효율과 안정성을 높였습니다.
#Python#Flask
4200
MySqlPagingQueryProvider 살펴보기
MySqlPagingQueryProvider의 sort key 기반 페이지 처리 방식으로 발생한 데이터 누락과 SQL 오류를 분석했습니다. 고유 sort key 사용과 group by 시 별칭 제거로 문제를 해결했습니다.
#Spring Batch#MySQL
000
MySqlPagingQueryProvider 살펴보기
JdbcPagingItemReader와 MySqlPagingQueryProvider의 페이지네이션 동작과 주의사항을 정리했습니다.\nsort key와 group clause 설정에 따라 데이터 누락과 SQL 오류가 발생할 수 있어 조심해야 했습니다.
#Spring Batch#Spring Boot
3400