Spark 7편: Optimising Shuffle Partitions(coalescePartitions)
Spark 3.0의 AQE와 coalescePartitions로 셔플 파티션을 동적으로 최적화하는 내용을 소개했습니다. 셔플 파티션 크기에 따른 성능 저하 문제와 파티션 병합 방식도 설명했습니다.
#Spark#AQE
44005분
필터 0
Claude Desktop으로 MCP를 연결해보자
Claude Desktop에 MCP를 연결하는 방법과 기본 설정 과정을 설명했습니다. 파일시스템부터 다양한 외부 서비스까지 LLM 연동 범위를 넓히는 활용 예시를 정리했습니다.
#MCP#Claude Desktop
23005분
AWS HealthOmics 소개
AWS HealthOmics의 핵심 구성요소와 워크플로우, 비용 체계를 소개했습니다. 연구자가 바이오데이터 분석을 더 쉽게 시작할 수 있는 관리형 서비스로 설명했습니다.
#AWS#Bioinformatics
39005분
AWS Management Console에서 Multi Session (다중 로그인) 기능 소개
AWS Management Console의 Multi-Session 기능으로 하나의 브라우저에서 최대 5개 AWS 환경을 동시에 사용할 수 있음을 소개했습니다. 역할 전환, 세션 종료, 비활성화 방법까지 함께 설명했습니다.
#AWS#AWS Console
80005분
Robot Framework와 QA팀 동행기: 웹 테스트 자동화 (2)
Robot Framework로 웹 테스트 자동화를 도입한 과정과 운영 방식을 소개했습니다. 반복 검증을 키워드화·모듈화하고 Jenkins, Docker, Slack으로 모니터링까지 확장했습니다.
#Robot Framework#test automation
76005분
Elasticsearch 성능 비교: Box vs Polygon, 어떤 방식이 더 빠를까?
Elasticsearch 사각형 공간 검색에서 Box와 Polygon의 성능을 비교했습니다. 두 방식은 큰 차이 없이 유사했으며, 단순 검색에는 Box를 우선 고려할 수 있었습니다.
#Elasticsearch#검색
94005분
Apache Flink 어플리케이션의 End-to-End Latency 병목 찾아내기
Flink 어플리케이션의 end-to-end latency 병목을 찾기 위해 operator 지표와 flame graph를 활용하는 방법을 소개했습니다. 처리 시간과 처리 외 시간을 분리해 관측하고, 병목 유형별로 다른 개선 방향을 제시했습니다.
#Flink#성능
47005분
애니메이션에서 찾아보는 디지털 트윈 기술 - 뼈대구성에서 모방학습까지
애니메이션 제작 흐름을 통해 디지털 트윈을 사람에게 적용하는 관점을 소개했습니다. CAD, Mesh, GLTF, USD 개념을 함께 살펴보는 기술 개념 글입니다.
#디지털 트윈#언리얼엔진
7005분
토스 피플: 이것도 ‘나니까’ 할 수 있다고 생각하기
토스에서 여러 역할을 거치며 성장한 제품 디자이너의 도전 경험을 인터뷰로 소개했습니다. 두려움이 있어도 먼저 맡고, 과거의 성과로 자신을 다독이는 태도를 전했습니다.
#UI/UX#Product Designer
155005분
Karpenter 트러블슈팅 — 비용과 안정성 두마리 토끼 잡기
Karpenter 도입 과정에서 마주한 스케줄링 정합성, AMI 운영, Node Churn 문제를 정리했습니다. 적절한 budget과 리소스 보정으로 비용을 줄이고 안정성을 개선했습니다.
#Kubernetes#Karpenter
140005분
Spark 6편: Yarn Resource Manager 라벨링
YARN 라벨링으로 Spark의 AM과 Executor를 서로 다른 노드에 배치하는 방법을 소개했습니다. EMR에서 Spot Instance 사용 시 발생하는 장애와 비용 문제를 완화하는 구성도 설명했습니다.
#Spark#Yarn
35005분
난생처음 AI 경험기 - OpenAI API 를 사용한 Hello World 를 작성해 보기
AI 시대 흐름에 맞춰 LLM과 LangChain의 개념, 한계를 처음 정리한 글입니다. OpenAI API와 Colab으로 gpt-3.5-turbo를 호출하는 간단한 실습도 소개했습니다.
#LLM#LangChain
185005분