AI 학습을 위한 LLM 스터디 - 배치 전략 및 어텐션 개선 방안
LLM 추론 효율을 높이기 위한 배치 전략과 어텐션 개선 방법을 정리한 글입니다. FlashAttention, 페이지 어텐션, 추측 디코딩의 개념과 장점을 설명했습니다.


LLM 추론 효율을 높이기 위한 배치 전략과 어텐션 개선 방법을 정리한 글입니다. FlashAttention, 페이지 어텐션, 추측 디코딩의 개념과 장점을 설명했습니다.

FastAPI와 SQLite로 사용자 관리 API를 빠르게 만들고, 모듈화된 구조로 기능을 분리하는 방법을 소개했습니다. 의존성 주입과 예외 처리, 자동 문서화를 활용해 유지 보수성과 프로토타이핑 속도를 높였습니다.

Kubernetes에서 NFS를 활용해 여러 파드가 동시에 읽고 쓸 수 있는 RWX 스토리지를 구성하는 방법을 정리했습니다. Ganesha 프로비저너 기반 동적 프로비저닝과 주의사항, 활용 사례를 함께 소개했습니다.

LLM 파인튜닝에서 배치 크기, 시퀀스 길이, 메모리 최적화 기법의 영향을 실험 기반으로 정리했습니다. GPU 제약과 데이터 특성에 맞춰 직접 실험하며 최적값을 찾는 접근을 강조했습니다.

Vite는 React뿐 아니라 여러 프레임워크를 지원하며 빠른 프로젝트 생성과 실행을 강점으로 소개했습니다. CRA보다 가볍고 구조가 익숙해 프런트엔드 개발에 효율적으로 활용할 수 있다고 설명했습니다.

여러 LLM의 응답을 계층적으로 결합해 최종 답변 품질을 높이는 MoA 기법을 소개했습니다. 기존 모델을 바꾸지 않고도 성능과 비용 효율성을 동시에 개선할 수 있음을 설명했습니다.

Unity에서 Hugging Face Inference API를 호출해 이미지 생성 기능을 붙이는 방법을 소개했습니다. 3D 공간의 스크린에 생성 이미지를 표시해 AI 갤러리를 만드는 예제를 보여줬습니다.

CXL의 개념과 PCIe 기반 동작, 메모리 풀링·캐시 일관성 같은 특징을 정리했습니다. AI 연산 시스템과 데이터센터에서 메모리 확장성과 효율을 높이는 활용 가능성도 소개했습니다.

NeMo Guardrails는 LLM 응답을 YAML 또는 Python 규칙으로 제어하는 오픈 소스 툴킷입니다. 안전한 응답 필터링과 비즈니스 규칙 적용 예시를 함께 소개했습니다.

브라우저를 IPFS 노드처럼 활용하는 동향을 Helia와 PubSub 중심으로 정리했습니다. 비용 없이 브라우저 간 IPFS 통신을 구성하는 방향을 소개했습니다.

FastAPI 프로젝트에서 service와 router를 분리해 결합도를 낮추는 구조를 소개했습니다. 모듈 독립성과 테스트 용이성을 높여 유지보수성과 확장성을 개선하는 방법을 정리했습니다.

텍스트를 숫자와 벡터로 표현하는 여러 방법과 문장 임베딩 기반 의미 검색을 정리했습니다. 또한 BERT, FAISS, 하이브리드 검색의 구조와 활용 방향을 소개했습니다.

Keycloak과 ArgoCD를 OIDC로 연동해 SSO와 Single Sign Out을 테스트하는 과정을 정리했습니다. 로그인, 로그아웃, RBAC, 401 오류 대응까지 함께 다뤘습니다.

퍼블리셔와 개발자 협업에서 스토리북이 깨지는 원인을 분석하고 CIC 패턴으로 역할을 분리했습니다. 스토리북용 props와 실행 환경 분기를 정리해 무결성을 유지했습니다.

시각장애인의 웹 탐색 방식에 맞춰 모달 접근성을 개선하는 방법을 소개했습니다. aria 속성, ESC 닫기, 포커스 트랩으로 키보드 탐색 경험을 보완했습니다.

Redis와 로컬 캐시를 결합해 조회 성능을 개선한 사례를 공유했습니다. 1만 건 요청 기준 2배 이상 성능 향상을 확인했으며 캐시 동기화 구조와 개선 포인트도 정리했습니다.

Vue.js SPA에서 가입 중 입력 정보 유실 문제를 막기 위해 이탈 방지 팝업을 구현했습니다. beforeunload와 onBeforeRouteLeave를 조합해 라우터 이동과 외부 이동을 함께 대응했습니다.

폐쇄망 환경에서 Gradle 프로젝트를 인터넷 없이 빌드하는 방법을 정리했습니다. 의존성과 wrapper를 로컬 경로로 모으고 Docker에서 `--offline` 빌드를 검증했습니다.
