AI
오픈소스 정렬 도구 Petri 3.0 업데이트와 Meridian Labs 기부
Donating our open-source alignment tool
두줄요약
Anthropic이 정렬 테스트 도구 Petri를 3.0으로 업데이트해 Meridian Labs에 이관했습니다.\nDish와 Bloom 통합으로 현실성과 심층 평가 역량을 강화했습니다.
핵심 발표
- 오픈소스 정렬 테스트 도구 Petri 3.0 공개 및 개발 주체를 AI 평가 비영리단체 Meridian Labs로 이관
- AI 연구소로부터의 독립성을 통한 평가 결과의 중립성·신뢰성 강화 목적
주요 변화
- 감사자 모델과 대상 모델을 분리해 각각 조정 가능한 아키텍처로 개편
- 실제 시스템 프롬프트와 배포용 scaffold를 사용하는 현실성 강화 애드온 Dish 추가
- 특정 행동의 심층 평가 도구 Bloom과 통합
개발자 영향
- 기만, 아첨, 유해 요청 협조 등 우려 행동의 신속한 LLM 테스트 지원
- Inspect, Scout와 함께 연구소·독립 연구자·정부에 개방된 AI 평가 기술 스택 구성
사용 방법·가용성
- Petri 웹사이트에서 설치 및 사용 안내 제공
- Petri 3.0 세부 내용은 Meridian Labs 블로그에서 제공
