

제조업 데이터를 활용한 BI 대시보드 통합 및 자동화 후기
Airflow와 PySpark로 제조업 기준 정보와 생산 데이터를 통합해 Spotfire 대시보드를 자동화했습니다.\n대용량 처리와 정기 갱신으로 현장 의사결정 속도와 데이터 신뢰성을 높였습니다.
새로운 기술 블로그가 추가되었어요


Airflow와 PySpark로 제조업 기준 정보와 생산 데이터를 통합해 Spotfire 대시보드를 자동화했습니다.\n대용량 처리와 정기 갱신으로 현장 의사결정 속도와 데이터 신뢰성을 높였습니다.

pgstattuple 확장으로 PostgreSQL 테이블과 인덱스의 팽창, 단편화, 여유 공간을 진단하는 방법을 소개했습니다. VACUUM, pg_repack, REINDEX와 자동화 전략으로 성능을 유지하는 실무 팁을 정리했습니다.


SSH 기반 작업 지시 구조의 병목을 Redis Pub/Sub로 완화하는 방법을 다뤘습니다. 비동기 통신과 가변적인 worker 구성에 맞는 설계 방향을 제시했습니다.

동기식 발주 처리의 지연과 안정성 문제를 해결하기 위해 Kafka 기반 비동기 요청-응답 아키텍처를 도입했습니다. API와 Kafka를 결합해 결과 전달과 중복 처리 방지를 함께 해결했습니다.

C++ 멀티 스레드에서 데이터 레이스와 스레드 안전성의 핵심 개념을 정리했습니다. 기본 스레드 안전성, 동기화 관계, shared_ptr 관련 주의점을 함께 살펴봤습니다.

C++에서 안정적인 멀티 스레드 코드를 위한 스레드 안전성 개념을 정리한 발표입니다. data race와 happens-before, std::mutex·std::atomic 활용을 설명했습니다.


Go의 표준 테스트 도구부터 Mocking, Integration Test, CI 자동화까지 한 흐름으로 정리했습니다. 테스트를 빠르고 자주 돌릴 수 있게 구조화해 코드 안정성을 높이는 방법을 설명했습니다.


레거시 WebFlux 신용점수 조회 서비스를 WebMVC로 전환하며, Nginx 트래픽 미러링으로 실서비스 검증을 수행했습니다. 응답 자동 비교와 짧은 타임아웃으로 사용자 영향 없이 안정적으로 마이그레이션했습니다.

Kafka Client가 클러스터 상태를 파악하는 metadata 동작 방식을 설명했습니다. 서비스 개발 시 관련 옵션을 어떻게 설정하면 좋은지도 다뤘습니다.

Kafka 프로듀서 최적화와 압축 기능 활용법을 정리한 발표 내용입니다. 자료 구조, 메시지 전송 흐름, 주요 설정값을 통해 성능 개선 포인트를 소개했습니다.


AWS Glue로 SAP OData 데이터를 S3 Tables의 Iceberg 테이블에 적재하고 SageMaker Unified Studio와 연계하는 방법을 소개했습니다. 대용량 SAP 데이터를 빠르게 분석하고 통합 활용하는 흐름을 정리했습니다.

Yappi로 FastAPI 서버의 병목을 찾아 성능을 개선한 사례를 다뤘습니다. JSON 직렬화와 변환 경로를 줄여 CPU 사용률과 응답 시간을 크게 낮췄습니다.