prompt injection 기술 블로그 글

안전성 개요: GPT-6 Astra

Safety overview: GPT-6 Astra

OpenAI가 사이버 보안 역량 Critical 등급의 GPT‑6 Astra를 출시했습니다. 탈옥·오정렬 대응은 강화됐지만 적대적 조건의 CoT 모니터 회피 위험도 확인했습니다.

Amazon Bedrock 기반 PolicyGuard: 코딩 어시스턴트를 위한 Pre-Model Semantic DLP 프레임워크

AI 코딩 어시스턴트의 프롬프트 유출 문제를 막기 위한 Pre-Model DLP 프레임워크 PolicyGuard를 소개했습니다. 자연어 정책 파일과 Hook 기반 차단으로 Bedrock 환경에서 민감 정보 보호를 강화하는 방법을 다뤘습니다.

언어 모델의 글로벌 워크스페이스

A global workspace in language models

Anthropic이 Claude의 내부 사고를 읽는 J-space와 Jacobian lens 연구를 공개했습니다. J-space는 자기 보고와 다단계 추론에 관여하지만, 의식의 증거는 아닙니다.

ChatGPT에 workspace agents 도입

Introducing workspace agents in ChatGPT

OpenAI가 Codex 기반 workspace agents를 ChatGPT에 도입했습니다. 팀은 ChatGPT와 Slack에서 공유 에이전트로 반복 업무를 자동화할 수 있습니다.

코딩 에이전트를 활용한 취약점 수집·생성 자동화로 가드레일 모델 고도화

LLM 가드레일의 오탐 문제를 줄이기 위해 코딩 에이전트 기반 자동화 테스트 파이프라인을 구축했습니다. 카테고리별 입력 생성과 평가를 분리해 취약점 탐색과 모델 고도화를 반복 가능하게 만들었습니다.

완벽한 AI 가드레일을 향한 여정: NeurIPS 2025 최신 안전성 기술 분석

NeurIPS 2025에서 다뤄진 AI 가드레일 연구 흐름을 정책 코드화, 멀티모달 안전성, 프롬프트 인젝션 방어 관점에서 정리했습니다. 실서비스에서 안전성과 사용성을 함께 만족시키는 방향으로 가드레일이 진화하고 있음을 설명했습니다.

LLM Guardrails 2.0: 필터링을 넘어 추론 기반 보안 체계로 진화하는 AI 안전성 아키텍처

LLM 가드레일이 단순 필터를 넘어 추론 기반 보안 체계로 진화한 흐름을 정리했습니다. 기업 적용 시 다층 방어, 정책 엔진, 도구 호출 보안이 핵심이라고 설명했습니다.