
엔터프라이즈 LLM 서비스 구축기 1: 컨텍스트 엔지니어링
대규모 LLM 서비스에서 프롬프트보다 컨텍스트 설계가 더 중요하다는 점을 설명했습니다.\n필요한 도구와 정보만 단계적으로 주입해 성능 저하와 환각을 줄인 방법을 공유했습니다.
#LLM#RAG
110005분

대규모 LLM 서비스에서 프롬프트보다 컨텍스트 설계가 더 중요하다는 점을 설명했습니다.\n필요한 도구와 정보만 단계적으로 주입해 성능 저하와 환각을 줄인 방법을 공유했습니다.


엔카믿고 챗봇에 대화 맥락 기반 추천질문을 붙이며 SSE, 보증 분기, Structured Output 문제를 해결했습니다. 동적 프롬프팅과 명확한 JSON 지침으로 안정성을 높이고 답변량도 19% 증가했습니다.

MySQL의 JSON 데이터 타입 저장 구조와 성능 차이를 비교하는 글입니다. 5.7.8부터 지원된 JSON 타입의 특징과 일반 문자열 저장 방식의 차이를 다룹니다.
오래된 문서와 반복 문의로 생기는 정책 파악 문제를 코드 기반 추출로 줄인 실험을 소개했습니다.\nCursor, MCP, 벡터 DB를 활용해 최신 정책을 실시간으로 검증하고 응답하는 체계를 구축했습니다.


에이닷 뮤직 에이전트에 Multi Prompt Fine-tuning을 적용하며 겪은 시행착오와 개선 과정을 공유했습니다. gpt-4o-mini 전환으로 한글 깨짐과 품질 문제가 크게 완화된 사례였습니다.