"AI가 해커 지시로 대출 승인·자금 이체까지 할 수도"...금융보안원, AI 에이전트 위험 경고

[녹색경제신문 = 나아영 기자] 금융보안원이 인공지능(AI) 에이전트를 겨냥한 신종 사이버 공격 기법인 '에이전트 하이재킹'과 '도구 오염' 위험을 경고하고 나섰다. 기존 대화형 AI와 달리 외부 시스템에 직접 접근해 업무를 처리하는 AI 에이전트 특성상 공격 성공 시 비정상적인 대출 승인, 공격자 계좌로의 자금 이체 등 직접적인 피해가 발생할 우려가 있다는 분석이다.

AI 에이전트는 사용자 의도에 따라 목표를 설정한 뒤 환경을 분석하고 필요한 도구를 활용해 인간의 개입 없이 자율적으로 목표를 수행하는 AI 시스템이다. 기존 LLM(대형언어모델) 기반 AI가 정보를 제공해 사람의 판단과 결정을 지원했다면, AI 에이전트는 여러 가지 외부 도구를 통해 필요한 조치를 스스로 실행할 수 있다는 점에서 근본적인 차이를 보인다.

10일 금융보안원에 따르면 AI 에이전트 대상 주요 보안 위협은 에이전트의 독립적 의사결정에 수반되는 위협과 공격 표면 증가에 따른 위협으로 분류된다. 특히 AI 에이전트가 독립적으로 의사결정을 내리는 과정에서 조작되거나 거짓된 정보를 참조해 의도치 않은 행위를 수행하도록 유도하는 AI 에이전트 하이재킹 공격의 우려가 증가한다고 분석했다.

실제 하이재킹 공격 원리를 살펴보면 AI 에이전트가 사용자의 정당한 지시와 외부 데이터에 숨겨진 공격자의 악의적인 지시를 구분하지 못할 경우 문제가 발생한다. 사용자 지시를 처리하기 위해 외부 데이터를 참조하는 과정에서 악의적인 지시를 사용자의 요청으로 착각해 수행할 가능성이 존재한다는 것이다.

한편, 금융보안원은 AI 에이전트에 연동되는 도구의 수와 종류가 증가함에 따라 공격 표면이 확장되고 공격 발생의 가능성도 높아졌다고 설명했다. 예를 들어 에이전트가 참조하는 도구 설명에 조작된 내용을 끼워 넣어 악성 행위를 수행하도록 유도할 수 있다. 일반적으로 사용자는 에이전트가 사용하는 도구 설명 전체를 확인하기 어려워 숨겨진 악성 행위를 식별하기 어렵다는 점도 취약점으로 작용한다.

이 같은 위협이 현실화될 경우 금융권에 미칠 파급효과는 심각할 것으로 예상된다. 금융보안원은 향후 AI 에이전트 도입이 본격화되어 보안 위협에 노출되면 비정상적인 대출 승인, 공격자 계좌로의 자금 이체 등 직접적인 피해가 발생할 우려가 있다고 경고했다. 더욱이 현재 법체계는 AI가 독립적으로 행동한 문제를 명확히 다루지 못해 AI 에이전트 행동에 대한 책임 소재도 불분명한 상황이라는 지적이다.

이에 따라 금융보안원은 기존 보안 체계만으로는 한계가 있다고 판단하고 새로운 대응 방안을 제시했다. AI 에이전트의 독립적 의사결정, 공격 표면 증가 등으로 인해 충분한 검증·제어가 어려운 만큼 위협 평가를 바탕으로 적절한 보안 체계를 마련할 필요가 있다고 강조했다. 

이를 위해 금융보안원은 OWASP(Open Web Application Security Project)의 AI 에이전트 보안 위협 식별·평가 프레임워크를 제시했다. 이 프레임워크는 AI 에이전트 시스템의 작동 방식과 아키텍처 특성에 기반해 위협을 체계적으로 평가하는 방식으로, △자율적 의사결정 수준 △메모리 활용 여부 △외부 도구 및 시스템 활용 여부 △인증 수준 △인간 개입 여부 △다중 에이전트 활용 여부 등 6단계로 구성됐다.

구체적인 대응 방안으로는 AI 에이전트의 의사결정 과정을 기록·추적하는 체계 구축, 사람의 검토·승인 절차 도입, 최소 권한 부여 및 관리, 요청 작업에 대한 실시간 모니터링 및 검증 등을 제시했다. 아울러 MCP(Model Context Protocol)를 활용한 에이전트 구현이 활발해지면서 다양한 도구가 자유롭게 개발·공유되고 있는 만큼 신뢰할 수 있는 도구만 사용하는 등 각별한 주의가 요구된다고 당부했다.

박상원 금융보안원장은 "금융회사가 AI 에이전트의 자동화 편의성을 적극 활용하는 동시에 잠재적 보안 위협을 충분히 인지하고 종합적인 AI 보안 체계를 구축할 수 있도록 지속적으로 지원하겠다"고 말했다.