□ 금융보안원(원장 박상원)은 금융권의 AI 에이전트* 도입이 확대됨에 따라, AI의 자율적 판단·실행에서 파생되는 새로운 보안위협을 점검하는 「금융분야 AI 에이전트 보안 평가 기준」 을 개발

    * 주어진 목표를 달성하기 위해 스스로 계획하고, 도구와 외부 시스템을 활용하여 실제 작업을 수행하는 인공지능 시스템으로, 기존 대형 언어 모델(LLM)이 답변 텍스트만을 생성함에 반해, 에이전트는 ‘실행’을 할 수 있는 능력과 권한을 가진다는 것이 특징

 ※ (첨부) 국내외 주요 기관들의 AI 에이전트 정의 참고

□ 할루시네이션 등으로 인한 답변의 오류가 기존 생성형 AI의 주요 보안 위협이었다면, AI 에이전트가 가진 자율성, 능동성, 실행력, 전략성, 연속성의 특징은 기존 위협을 `실제 행위'로 전이·확대

 ㅇ 특히, 인간의 개입 없이 문제 정의, 계획 수립, 실행까지 자율적으로 처리하므로, 보안 위협 발생 시 실제 업무에도 악영향

    * (예시) “시스템 성능 최적화”라는 목표를 부여받은 에이전트가 가용성 확보를 위해 백신을 스스로 중단하거나, 이메일 자동 답장 기능을 가진 에이전트가 비밀번호 재설정 안내 메일을 보고 임의로 비밀번호를 변경하는 경우 등

□ 금융보안원은 국내•외 주요 AI 에이전트 보안위협 및 대응방안을 분석하여 17개 점검항목을 도출하고, AI 레드티밍 기준에 반영

    * OWASP Top 10 for Agentic Applications(`25.12월), Agentic AI Red Teaming Guide(CSA, `25.5월), 국가·공공기관 AI 보안 가이드북(국가정보원, `25.12월)

[AI 모델 위협 점검 기준 및 AI 에이전트 보안 평가기준(안)] 

 ※ ★: 기존 항목의 확장이 아닌, AI Agent 도입으로 신규 발생하는 위협에 대한 점검항목

□ 금융회사 대상 AI 레드티밍 시 AI 에이전트가 실제로 무엇을 어떻게 실행하며, 그 과정이 어떻게 통제되는지를 확인하기 위해

 ㅇ 탈옥(Jailbreak), 시스템 프롬프트 유출 등 모델 계층 점검 중심에서 실행 계층까지 점검을 확대하고,

 ㅇ ▲실행 권한 및 격리 관리 여부 ▲도구 실행 및 승인 통제 여부 ▲작업 범위 및 결과 확인 여부 ▲자율 실행 제한 및 중단 여부 등을 중점 점검할 예정

□ 올해 말까지 시범 검증을 통해 항목별 실효성 검증 및 개선*을 수행하고 `27년부터 정식 점검기준으로 확대 적용할 계획이며,

    * 시범 적용 과정에서 확인된 점검 가능 여부, 금융회사별 구현 방식 차이 등을 반영하여 점검 항목과 점검 방법을 구체화·보완할 예정

 ㅇ 레드티밍 시 확인된 AI 에이전트 보안 위협, 실제 공격 기법, 최종 평가기준 등을 `26년 「AI REDTEAM REPORT」에 공개 예정

□ 금융보안원 박상원 원장은 "AI 에이전트는 판단에 그치지 않고 직접 행동한다는 점에서 기존 AI와는 또 다른 보안 리스크를 수반한다ˮ며,

 ㅇ "이번 평가기준 마련을 계기로 금융권 AI 에이전트의 위험을 실질적으로 검증하고, 금융회사의 안전하고 신뢰할 수 있는 AI 기술 활용을 적극 지원해 나가겠다ˮ고 밝힘. 끝.