강력한 AI 안전성 평가 구축하기
Building strong safety evaluations
Anthropic이 AI 안전성 평가의 설계·운영 원칙을 제시했습니다. 적절한 응답률과 다중 턴 평가의 중요성을 강조합니다.
#AI 안전성#평가#multi-turn
300

평가 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
최근 30일 1개 · 많이 쓴 회사 데보션·AWS·네이버 DnA
6개 표시
Building strong safety evaluations
Anthropic이 AI 안전성 평가의 설계·운영 원칙을 제시했습니다. 적절한 응답률과 다중 턴 평가의 중요성을 강조합니다.

Amazon Bedrock AgentCore로 에이전트 운영의 관측성, 평가, 최적화를 하나의 AgentOps 사이클로 정리했습니다. 트레이스와 메트릭, 로그를 바탕으로 품질과 안전성을 지속 개선하는 흐름을 설명했습니다.
OpenAI Eval for Agents와 Google Stax의 차이를 QA 관점에서 비교했습니다. 에이전트 전체 흐름 진단은 Eval for Agents, 텍스트 응답 평가와 시각화는 Stax가 강점입니다.

LLM을 문학 번역 평가자로 쓰는 연구를 소개하며, 기존 지표보다 인간 판단에 가까운 성과를 보였다고 분석했습니다. 다만 문화적 맥락과 미묘한 뉘앙스까지 완전히 대체하지는 못해 인간 평가의 보완이 필요하다고 정리했습니다.

LLM이 다른 LLM의 응답 품질을 평가하는 LLM-as-a-Judge 방법을 소개했습니다. 프롬프트를 단순화하고 평가 이유를 요구하면 인간 평가와의 일치도가 크게 높아졌습니다.

ChatGPT가 바꾸는 검색의 방향과 한계를 정리한 글입니다. 대화형 검색의 장점과 평가 방식, 하이브리드 모델의 필요성을 함께 살펴봅니다.
