국내 IT 기업 기술 블로그 최신 글

필터 1
Long context LLM : 2부 RoPE Extension Method
데보션
AI

Long context LLM : 2부 RoPE Extension Method

RoPE 기반 LLM의 context length를 늘리는 Position Interpolation 방법을 소개했습니다. 제한 범위를 넘어갈 때의 attention score 폭발을 줄이고, 적은 finetuning으로 성능을 유지한 결과를 다뤘습니다.

#LLM#Transformer
2400
LLM 기반 Chat application framework 'Aide' 개발기
데보션
AI

LLM 기반 Chat application framework 'Aide' 개발기

LLM 기반 대화형 애플리케이션을 위한 자체 프레임워크 Aide 개발 과정을 소개했습니다. 멀티턴 대화와 Workflow 추상화로 복잡성을 줄이고 확장성을 높인 점을 정리했습니다.

#LLM#OpenAI API
2200
Responsible AI
데보션
AI

Responsible AI

Responsible AI의 개념과 핵심 원칙을 정리하고, ISO 42001과 주요 테크 기업의 적용 사례를 소개했습니다. AI의 윤리성과 투명성을 높이기 위한 관리 체계의 중요성을 설명했습니다.

#LLM#ISO 42001
2600
아직도 포탈에서 검색?(LLM 검색 서비스를 알려드립니다. feat. 에이닷)
데보션
AI

아직도 포탈에서 검색?(LLM 검색 서비스를 알려드립니다. feat. 에이닷)

LLM 발전으로 검색 서비스가 어떻게 바뀌고 있는지 주요 서비스 사례를 중심으로 정리했습니다. 에이닷 멀티 LLM 에이전트에서 Perplexity와 다른 모델을 함께 쓰는 방식도 소개했습니다.

#LLM#검색
4200
카카오뱅크 사내 기술 컨퍼런스 Kode Runner 2024 뜯어보기
카카오뱅크
기타

카카오뱅크 사내 기술 컨퍼런스 Kode Runner 2024 뜯어보기

카카오뱅크는 안정·혁신·확장 트랙으로 구성한 Kode Runner 2024를 개최했습니다. 기술 세션과 체험 부스, 교류 프로그램으로 사내 기술 공유 문화를 강화했습니다.

#Kode Runner#컨퍼런스
2300
삼성 리서치와 Team Atlanta, 사이버 추론 시스템으로 DARPA AIxCC에서 호평
삼성
AI

삼성 리서치와 Team Atlanta, 사이버 추론 시스템으로 DARPA AIxCC에서 호평

삼성 리서치와 Team Atlanta가 DARPA AIxCC에 참가해 생성형 AI 기반 사이버 추론 시스템을 다뤘습니다. 본문은 오류 화면 때문에 상세 내용 확인이 어려웠습니다.

#LLM#보안
700
생성형 AI를 다루는 기술에 대하여
데보션
AI

생성형 AI를 다루는 기술에 대하여

생성형 AI를 다루기 위한 LLM 원리와 프롬프트 엔지니어링의 핵심을 정리했습니다. 랭체인, RAG, ReAct 같은 확장 방법으로 더 지능적인 애플리케이션을 만드는 방향도 소개했습니다.

#LLM#prompt engineering
4800
에이닷, 주변 맛집 추천해줘!
데보션
AI

에이닷, 주변 맛집 추천해줘!

에이닷 홈 에이전트에 function call을 도입해 음식점·카페 추천 기능을 강화한 사례를 다뤘습니다. 사용자 발화와 실시간 API를 연결해 맥락 기반 추천을 제공하기 위해 프롬프팅과 fine-tuning을 반복했습니다.

#LLM#function call
2200
쿠팡 파트너스

광고

개발자를 위한 서적을 확인해 보세요

이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

#개발서적#프로그래밍
안드로이드에서 On-Device로 Gemma 1 & 2 실행하기
데보션
AI

안드로이드에서 On-Device로 Gemma 1 & 2 실행하기

안드로이드에서 Gemma 1과 Gemma 2를 On-Device로 실행하는 방법을 정리했습니다. MediaPipe와 MLC LLM의 설정 절차, 모델 실행 방식, 장점도 함께 소개했습니다.

#Android#LLM
4700
이제는 AI Agent 시대! RAG와 함께 Bedrock Agent를 활용해보자 - 2 (실습)
데보션
AI

이제는 AI Agent 시대! RAG와 함께 Bedrock Agent를 활용해보자 - 2 (실습)

Amazon Bedrock Agent와 RAG로 EKS 클러스터를 조회하고 Trivy CIS 보고서를 요약하는 실습을 다뤘습니다. 지식 기반, Action Group, Lambda, OpenSearch Serverless를 연결해 한국어 자연어로 운영 자동화를 구현했습니다.

#LLM#RAG
4000
LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부
마켓컬리
AI

LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부

베스트 리뷰 요약의 범용성·시의성 한계를 해결하기 위해 LLM 리뷰 선별을 실험했습니다. CoT와 판단 근거 응답을 적용해 검수 정확성과 결론의 투명성을 높였습니다.

#LLM#prompt
100
LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부
마켓컬리
AI

LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부

컬리의 리뷰 요약 서비스 PoC에서 베스트 리뷰의 한계를 보완하기 위해 LLM 기반 리뷰 선별 실험을 진행했습니다. Reasoning과 CoT를 적용해 검수 정확도와 투명성을 높이는 방법을 확인했습니다.

#LLM#Prompt Engineering
5900
생성형 AI 기반 실시간 검색 결과 재순위화 2편 - LLM 서빙
네이버 D2
AI

생성형 AI 기반 실시간 검색 결과 재순위화 2편 - LLM 서빙

대규모 검색 재순위화를 위해 LLM 서빙 프레임워크와 최적화 방법을 비교하고, TRT-LLM과 Triton 조합을 채택했습니다. 양자화, 배치 조절, OpenTelemetry와 대시보드로 성능과 운영 가시성을 함께 확보했습니다.

#LLM#gRPC
2900
생성형 AI 기반 실시간 검색 결과 재순위화 1편 - 서빙 시스템 아키텍처
네이버 D2
AI

생성형 AI 기반 실시간 검색 결과 재순위화 1편 - 서빙 시스템 아키텍처

네이버 통합검색의 LLM 기반 실시간 재순위화 서빙 아키텍처와 고부하 대응 방법을 정리했습니다. 원격 캐시, 비동기 호출, 스로틀링으로 검색 서버 보호와 응답 시간 최적화를 다뤘습니다.

#LLM#검색
3700