AI
저자원 프로그래밍 언어에서의 코딩 역량 향상
Advancing coding in low‑resource programming languages
두줄요약
OpenAI가 저자원 언어의 구축·마이그레이션 성능을 측정하는 평가와 결과를 공개했습니다. 최신 모델은 정확도와 API 비용 측면에서 개선을 보였습니다.
핵심 발표
- COBOL, Fortran, Visual Basic 등 저자원 프로그래밍 언어의 소프트웨어 구축·마이그레이션 역량 개선
- 신규 소프트웨어 구축과 기존 동작 보존을 각각 측정하는 MultiLangBench 및 COBOL 마이그레이션 평가 개발
연구 방법·결과
- MultiLangBench: 20개 언어에서 SQLite 호환 데이터베이스 엔진을 구축하고 테스트 통과율 및 API 비용 측정
- GPT‑6 Astra: 20개 언어 평균 통과율 87.4%, GPT‑5.6 Sol의 26.8% 대비 향상
- COBOL 마이그레이션 평가: GPT‑6.1 Sol 저추론 정확도 86.6%, 고추론 정확도 97.9%
개발자 영향
- COBOL의 고정소수점 연산, 반올림, 누락 레코드 처리처럼 비즈니스 규칙에 영향을 주는 언어별 동작 보존 필요
- 프로덕션 적용 전 전문가 검토 및 시스템 비즈니스 규칙·의존성 기반 테스트 필요
사용 방법·가용성
- MultiLangBench 평가 환경과 테스트 스위트 GitHub 공개
- 최신 모델의 API를 통한 팀 사용 언어 기반 코딩 작업 지원