

Long context LLM : 2부 RoPE Extension Method
RoPE 기반 LLM의 context length를 늘리는 Position Interpolation 방법을 소개했습니다. 제한 범위를 넘어갈 때의 attention score 폭발을 줄이고, 적은 finetuning으로 성능을 유지한 결과를 다뤘습니다.


RoPE 기반 LLM의 context length를 늘리는 Position Interpolation 방법을 소개했습니다. 제한 범위를 넘어갈 때의 attention score 폭발을 줄이고, 적은 finetuning으로 성능을 유지한 결과를 다뤘습니다.


LLM 기반 대화형 애플리케이션을 위한 자체 프레임워크 Aide 개발 과정을 소개했습니다. 멀티턴 대화와 Workflow 추상화로 복잡성을 줄이고 확장성을 높인 점을 정리했습니다.


Responsible AI의 개념과 핵심 원칙을 정리하고, ISO 42001과 주요 테크 기업의 적용 사례를 소개했습니다. AI의 윤리성과 투명성을 높이기 위한 관리 체계의 중요성을 설명했습니다.


LLM 발전으로 검색 서비스가 어떻게 바뀌고 있는지 주요 서비스 사례를 중심으로 정리했습니다. 에이닷 멀티 LLM 에이전트에서 Perplexity와 다른 모델을 함께 쓰는 방식도 소개했습니다.

카카오뱅크는 안정·혁신·확장 트랙으로 구성한 Kode Runner 2024를 개최했습니다. 기술 세션과 체험 부스, 교류 프로그램으로 사내 기술 공유 문화를 강화했습니다.

삼성 리서치와 Team Atlanta가 DARPA AIxCC에 참가해 생성형 AI 기반 사이버 추론 시스템을 다뤘습니다. 본문은 오류 화면 때문에 상세 내용 확인이 어려웠습니다.


생성형 AI를 다루기 위한 LLM 원리와 프롬프트 엔지니어링의 핵심을 정리했습니다. 랭체인, RAG, ReAct 같은 확장 방법으로 더 지능적인 애플리케이션을 만드는 방향도 소개했습니다.


에이닷 홈 에이전트에 function call을 도입해 음식점·카페 추천 기능을 강화한 사례를 다뤘습니다. 사용자 발화와 실시간 API를 연결해 맥락 기반 추천을 제공하기 위해 프롬프팅과 fine-tuning을 반복했습니다.
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.


안드로이드에서 Gemma 1과 Gemma 2를 On-Device로 실행하는 방법을 정리했습니다. MediaPipe와 MLC LLM의 설정 절차, 모델 실행 방식, 장점도 함께 소개했습니다.


Amazon Bedrock Agent와 RAG로 EKS 클러스터를 조회하고 Trivy CIS 보고서를 요약하는 실습을 다뤘습니다. 지식 기반, Action Group, Lambda, OpenSearch Serverless를 연결해 한국어 자연어로 운영 자동화를 구현했습니다.


베스트 리뷰 요약의 범용성·시의성 한계를 해결하기 위해 LLM 리뷰 선별을 실험했습니다. CoT와 판단 근거 응답을 적용해 검수 정확성과 결론의 투명성을 높였습니다.


컬리의 리뷰 요약 서비스 PoC에서 베스트 리뷰의 한계를 보완하기 위해 LLM 기반 리뷰 선별 실험을 진행했습니다. Reasoning과 CoT를 적용해 검수 정확도와 투명성을 높이는 방법을 확인했습니다.

대규모 검색 재순위화를 위해 LLM 서빙 프레임워크와 최적화 방법을 비교하고, TRT-LLM과 Triton 조합을 채택했습니다. 양자화, 배치 조절, OpenTelemetry와 대시보드로 성능과 운영 가시성을 함께 확보했습니다.

네이버 통합검색의 LLM 기반 실시간 재순위화 서빙 아키텍처와 고부하 대응 방법을 정리했습니다. 원격 캐시, 비동기 호출, 스로틀링으로 검색 서버 보호와 응답 시간 최적화를 다뤘습니다.