제목 : 금융보안원,「금융 AI 안전성·신뢰성 평가 프레임워크」개발
- 국내 최초 금융 특화 AI 안전성ㆍ신뢰성 평가 체계 개발
- 올해 금융회사 대상 수요조사 및 시범검증 후 2027년 본격 평가 실시
□ 금융보안원(원장 박상원)은 망분리 완화 등 금융당국 규제 혁신으로 금융권 인공지능 전환(AX)이 가속화됨에 따라 AI 활용 확대에 수반되는 위험을 체계적으로 관리하고 AI 안전성과 신뢰성을 객관적·종합적으로 평가할 수 있는 프레임워크를 개발
ㅇ 금융회사의 AI 활용이 핵심 업무까지 확대되면서 AI 시스템에서 발생할 수 있는 새로운 리스크(AI 환각, 오작동, 보안사고 등)에 대응하고 금융산업에 특화된 평가 기준을 마련할 필요
□ 국내ㆍ외 주요 AI 평가 체계*를 조사ㆍ분석하여 AI 관련 규제 체계에 부합하는 세부 기술 평가 항목과 기준을 마련
* (국내) 금융분야 인공지능 가이드라인(금융위), 금융분야 인공지능 보안 안내서(금보원), 금융분야 AI RMF(금감원), AI기본법(과기정통부) 등
(국외) ISO/IEC 42001, ISO/IEC TR 24028, AI Testing Guide(OWASP), Inspect(AISI) 등
ㅇ 엄격한 규제 준수와 고도의 안전성 및 신뢰성이 요구되는 금융회사의 특성을 고려하였으며, 금융위원회가 발표한 「금융분야 인공지능 가이드라인」 내 신뢰성·보안성 원칙에 대한 기술적 검증이 가능하도록 구성
[금융 AI 안전성·신뢰성 평가 기준 요약]
|
Ⅰ. 금융 AI 신뢰성 |
|
|
1. 모델 성능 관리 |
AI 모델의 성능지표와 허용기준을 설정하고, 환각 등 오류와 성능 저하를 점검하여 성능을 유지·개선하는지 평가 |
|
2. 데이터 품질 |
AI 활용 데이터의 정확성·완전성·정합성을 확보하고, 이상치와 오류를 적절히 처리하는지 평가 |
|
3. 공정성ㆍ편향성 |
데이터 수집부터 모델 운영까지 편향을 식별·관리하고, 공정성과 편향 수준을 정기적으로 점검하는지 평가 |
|
4. 설명가능성 |
AI 활용 사실과 의사결정 과정을 설명하고, 영향 안내와 이의제기·구제 및 규제 대응 절차를 마련했는지 평가 |
|
Ⅱ. 금융 AI 안전성 |
|
|
5. AI 특화 보안위협 |
AI 특화 보안위협을 식별·분류하고, 위험 수준과 우선순위에 따라 전 과정의 보안성을 확보하는지 평가 |
|
6. AI 특화공격 탐지대응 |
입력값을 검토·필터링하고, 모니터링과 방어체계를 통해 적대적 공격을 탐지·대응하는지 평가 |
|
7. AI 자산 보호관리 |
AI 모델과 관련 자산을 식별·관리하고, 내부정보 유출, 오픈소스 보안위험 등을 관리하는지 평가 |
|
8. 외부 모델ㆍ 데이터 검증 |
외부 모델과 데이터의 신뢰성·안전성을 검증하고, 공급망에서 발생하는 보안위험을 관리하는지 평가 |
|
9. 기존 보안관리 확장 적용 |
기존 보안관리 체계를 AI 환경에 맞게 확장하여 AI 특화 통제조치, 데이터 국외 이전 제한, 보안교육 등을 적용하는지 평가 |
|
10. 보안 검증 및 운영관리 |
운영 이관 전 보안 요구사항 충족 여부를 검증하고, 안전한 운영을 위한 관리체계와 절차를 마련했는지 평가 |
□ 금융보안원은 금융회사를 대상으로 온라인 설명회(8.14. 예정) 및 수요 조사(9월 중)를 실시하고 하반기 중 「금융 AI 안전성·신뢰성 평가」 시범 검증을 수행할 예정
ㅇ 시범 검증을 통해 평가 프레임워크의 실효성을 검증·보완하여 완성도를 제고하고 `27년부터 평가 업무 개시* 예정
* 금융보안원 대의원사 대상 우선 실시 및 업무 안정화 이후 전체 확대 검토
ㅇ 아울러, 이번 평가 프레임워크가 「AI 기본법*」에 따른 AI 안전성ㆍ신뢰성 검증ㆍ인증 체계로 활용될 수 있도록 추진할 계획
* 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」 제30조 및 동법 시행령 제22조
□ 금융보안원 박상원 원장은 “이번 프레임워크는 금융산업의 특수성을 반영한 국내 최초의 AI 안전성․신뢰성 평가 체계라는 점에서 의미가 크다”며,
ㅇ “AI 서비스의 잠재적 위험을 실질적으로 평가할 수 있도록 기술 평가 항목을 강화하였으며, 향후 금융권의 표준 프레임워크로 발전시켜 안전하고 신뢰할 수 있는 금융권의 AI 활용을 지원할 계획이다”고 밝힘. 끝.