이제는 AI Agent 시대! RAG와 함께 Bedrock Agent를 활용해보자 - 2 (실습)
Amazon Bedrock Agent와 RAG로 EKS 클러스터를 조회하고 Trivy CIS 보고서를 요약하는 실습을 다뤘습니다.\n지식 기반, Action Group, Lambda, OpenSearch Serverless를 연결해 한국어 자연어로 운영 자동화를 구현했습니다.
#LLM#RAG
2100
국내 IT 기업 기술 블로그 최신 글
필터 1
LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부
컬리의 리뷰 요약 서비스 PoC에서 베스트 리뷰의 한계를 보완하기 위해 LLM 기반 리뷰 선별 실험을 진행했습니다. Reasoning과 CoT를 적용해 검수 정확도와 투명성을 높이는 방법을 확인했습니다.
#LLM#Prompt Engineering
4600
생성형 AI 기반 실시간 검색 결과 재순위화 2편 - LLM 서빙
대규모 검색 재순위화를 위해 LLM 서빙 프레임워크와 최적화 방법을 비교하고, TRT-LLM과 Triton 조합을 채택했습니다. 양자화, 배치 조절, OpenTelemetry와 대시보드로 성능과 운영 가시성을 함께 확보했습니다.
#LLM#gRPC
2400
생성형 AI 기반 실시간 검색 결과 재순위화 1편 - 서빙 시스템 아키텍처
네이버 통합검색의 LLM 기반 실시간 재순위화 서빙 아키텍처와 고부하 대응 방법을 정리했습니다. 원격 캐시, 비동기 호출, 스로틀링으로 검색 서버 보호와 응답 시간 최적화를 다뤘습니다.
#LLM#검색
2700
GitHub Copilot 업무 활용기(AI-assisted Coding과 개발 생산성 향상 #2)
GitHub Copilot의 업무 활용 사례와 생산성 향상 효과를 SK플래닛 실험 결과와 함께 정리했습니다. 보안, 환각, 개발 역량 측면의 유의 사항과 함께 실무 적용 가능성도 살펴보았습니다.
#GitHub Copilot#LLM
2800
사실 GPT는 글을 잘 읽지 못합니다.
GPT는 이미지를 보고 글자를 정확히 읽는 데 한계가 있다는 점을 사례로 설명했습니다. OCR 같은 보완 방법을 시도했지만 완전한 해결책은 찾지 못했다고 정리했습니다.
#LLM#OCR
3200
에이닷은 어떻게 먼저 말을 걸어 오는 걸까?
에이닷의 선톡 기능을 Context 수집·가공·활용과 평가 시스템으로 구현한 방식을 소개했습니다. 사용자 반응과 피로도를 함께 고려해 먼저 말을 거는 개인화를 고도화했습니다.
#LLM#prompt
1500
〈Gen.View | FE - #0〉 비개발 직군의 Frontend 업무 적용 스토리
비개발 직군이 업무 필요성에 따라 프론트엔드와 앱 개발을 학습한 경험을 공유했습니다. 직접 만든 웹·앱 결과물이 프로젝트 제안과 운영에 어떻게 활용됐는지 설명했습니다.
#Svelte#Flutter
2100
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
Amazon SageMaker로 LLM 응답 Streaming 서빙하기
Amazon SageMaker 기반 LLM을 토큰 단위로 스트리밍 서빙하는 구성을 소개했습니다. Lambda Function URL과 CloudFront를 조합해 응답 스트리밍을 구현하는 방법을 설명했습니다.
#Amazon SageMaker#LLM
2900
LLM 모델이 LLM 성능을 평가한다. LLM-as-a-judge 알아보기
LLM이 다른 LLM의 응답 품질을 평가하는 LLM-as-a-Judge 방법을 소개했습니다. 프롬프트를 단순화하고 평가 이유를 요구하면 인간 평가와의 일치도가 크게 높아졌습니다.
#LLM#prompt
2300
LLM, 더 저렴하게, 더 빠르게, 더 똑똑하게
X
#LLM
1200
개인화 보이스 생성 기술 소개
SKT의 개인화 보이스 생성 기술을 Instant, Custom, Professional 세 가지 방식으로 소개했습니다. 소량의 음성만으로도 맞춤형 음성을 만들 수 있으며, 목적에 따라 속도와 품질을 선택할 수 있습니다.
#LLM#음성 합성
2400
AI와 함께 생일 축하 카드를 만들어보자(feat.Claude, Adobe Firefly)
고객 생일에 맞춘 감성 MMS를 Claude와 Adobe Firefly로 제작한 사례를 소개했습니다. 83% 만족 결과와 함께 데이터 분석, 프롬프트 설계, 검수 과정을 함께 다뤘습니다.
#Claude#Adobe Firefly
3300
효과적인 LLM 품질 평가 : 도구, 기준, 그리고 적용기 톺아보기(SPeCTRA)
에이닷의 LLM 품질 평가 자동화와 SPeCTRA 기준 도입 사례를 소개했습니다. 사람 평가와 자동 평가를 병행해 QA 효율과 모델 개선 주기를 높였습니다.
#LLM#ChatGPT
4300