AI가 약관 잘못 읽으면 누가 책임지나…금융권 AX 앞두고 검증론 확산

[녹색경제신문 = 한순구 기자]

은행·보험·카드사 등 금융권이 인공지능 전환, 이른바 AX에 속도를 내고 있다. 상담 챗봇과 AI 콜센터를 넘어 약관·내규 검색, 상품설명서 요약, 투자정보 제공, 대출·보험 심사 보조, 생성형 AI 기반 금융상담까지 활용 범위가 넓어지는 분위기다.

금융당국도 금융권의 AI 활용을 제도적으로 지원하고 있다. 금융위원회는 지난달 금융분야 인공지능 가이드라인 개정안을 발표하고, AI 활용의 7대 원칙으로 거버넌스, 합법성, 보조수단성, 신뢰성, 금융안정성, 신의성실, 보안성을 제시했다. 특히 현 단계에서 AI는 업무의 보조수단이며, 최종 의사결정과 그에 따른 책임은 임직원이 수행해야 한다고 명시했다. 핀테크 등 비금융회사도 AI 활용 결과가 금융거래 제공에 영향을 줄 경우 가이드라인 적용 대상이 될 수 있다.

다만 금융권 안팎에서는 외부 AI 솔루션 도입이 빨라질수록 금융회사와 감독당국이 보안성, 내부통제, 소비자보호 체계를 더 면밀히 들여다봐야 한다는 지적이 나온다. 금융업은 고객의 신용정보, 거래내역, 투자성향, 보험금 지급 기준, 대출 조건 등 민감한 정보를 다루는 산업이다. AI가 단순 안내를 넘어 금융상품 설명이나 내부 업무 판단을 보조할 경우, 오류가 곧바로 소비자 피해나 불완전판매 논란으로 이어질 수 있다.

은행 IT 임원 “외부 솔루션, 편의성 외 특장점 따져봐야”

금융권 내부에서도 외부 AI 솔루션 도입의 실익을 따져봐야 한다는 목소리가 나온다. 대규모 콜센터를 운영하는 금융사는 상담량 감축과 24시간 응대 체계 구축을 위해 비용을 들여 외부 솔루션을 도입할 수 있지만, 이미 자체 개발 인력과 챗봇 운영 경험을 가진 회사라면 단순히 ‘편하다’는 이유만으로 도입을 결정하기 어렵다는 지적이다.

한 은행 IT 개발부문 임원은 “대규모 콜 응대를 하는 금융사는 가격이 어느 정도인지에 따라 다르겠지만 비용을 들여 외부 AI 솔루션을 도입할 가능성이 있다”면서도 “이미 자체 인력으로 챗봇을 개발해 사용하고 있는 회사라면 굳이 외부 솔루션을 도입할 필요가 있는지는 따져봐야 한다”고 말했다.

그는 “LLM을 활용해 자체 구축하는 것과 외부 솔루션을 도입하는 것 사이에 편의성 외에 어떤 특장점이 있는지 명확하지 않은 경우도 있다”며 “챗봇은 결국 개인정보를 취급할 수밖에 없기 때문에 암호화는 어떻게 하는지, 권한관리는 어떻게 하는지, 접속기록과 감사로그는 어떻게 남기는지부터 확인해야 한다”고 지적했다.

문서 AI, 표·주석·예외조항 놓치면 소비자 피해로 번질 수도

최근 금융권이 검토하는 AI 서비스는 단순 챗봇을 넘어 문서 AI와 결합하는 경우가 많다. PDF, HWP, 엑셀, PPT 등 내부 문서를 AI가 읽을 수 있도록 변환하고, 약관·내규·상품설명서·상담 매뉴얼을 검색해 답변하는 방식이다.

문제는 문서 변환 단계에서 표, 주석, 각주, 예외 조항, 개정 이력 등이 잘못 인식되면 AI 답변 자체가 틀릴 수 있다는 점이다. 금융 약관은 단서와 예외가 많다. 같은 상품이라도 가입 시점, 고객 유형, 판매 채널, 특약 여부에 따라 적용 기준이 달라질 수 있다. AI가 일부 문단만 근거로 답변할 경우 소비자에게 잘못된 안내가 제공될 수 있다.

한 AI 거버넌스 전문가는 “문서를 AI가 읽었다는 것과 금융업무에 쓸 수 있을 정도로 정확히 해석했다는 것은 다른 문제”라며 “약관, 상품설명서, 내부 규정은 표와 주석, 예외 조항까지 함께 읽어야 하므로 단순 검색 성능보다 원문 검증 체계가 중요하다”고 말했다.

개인정보 암호화·권한관리·감사로그가 핵심 쟁점

개인정보 보호도 핵심 쟁점이다. 생성형 AI 챗봇과 상담 시스템은 고객 이름, 연락처, 계좌 관련 정보, 상담 이력, 민원 내용 등 개인정보와 금융거래 정보를 접할 수 있다. 내부 문서 검색형 AI도 임직원 권한에 따라 접근 가능한 문서 범위가 달라져야 한다. 모든 사용자가 같은 답변을 받을 수 있다면 내부통제상 문제가 생길 수 있다.

개인정보보호위원회는 생성형 AI 서비스를 개발·활용하는 기업·기관을 위한 개인정보 처리 안내서를 공개하며, 생성형 AI 개발과 활용 전 과정에서 개인정보 보호법 적용의 불확실성을 해소하고 자율적 법준수 역량을 높이는 기준이 필요하다고 밝혔다. 개인정보위는 의료·공공·금융 분야 데이터가 생성형 AI 발전의 핵심 재료가 될 수 있지만, 동시에 프라이버시 침해 위험을 동반할 수 있다고 설명했다.

한 금융보안 전문가는 “AI 솔루션이 금융회사 내부망, 문서 저장소, 고객 상담 데이터에 접근하는 구조라면 단순 외주 개발과 다르게 봐야 한다”며 “계약 전 데이터 접근권한, 암호화 방식, 반출 차단, 감사로그, 장애 대응, 모델 변경 이력, 재학습 데이터 관리 기준을 확인해야 한다”고 말했다.

금감원도 AI 위험관리 프레임워크 도입…“전 주기 관리 필요”

금융감독원도 AI 리스크를 내부통제 이슈로 보고 있다. 금감원은 올해 1월 금융분야 AI 위험관리 프레임워크를 도입하며 금융회사의 AI 관련 거버넌스, 위험평가, 위험통제 등 핵심 프로세스를 제시했다. 해당 프레임워크는 AI 시스템의 도입·활용 전 주기에 걸쳐 발생할 수 있는 위험을 금융회사가 스스로 관리하도록 유도하는 데 초점이 맞춰졌다.

금감원은 지난달 은행권 내부통제 워크숍에서도 AI 시대의 내부통제 이슈를 논의했다. 워크숍에는 은행지주와 은행의 내부통제 담당자 등 170여명이 참석했으며, 금감원은 AI 기술 도입에 따른 리스크에 대응하기 위한 내부통제와 거버넌스 구축, 금융사고 예방, 취약계층 보호 등을 은행권의 중점 추진 방향으로 제시했다.

금융권에서는 감독당국 차원의 점검 범위도 넓어져야 한다는 의견이 나온다. 기존 금융감독이 금융상품 판매, 내부통제, 전산장애, 개인정보보호를 중심으로 이뤄졌다면, 앞으로는 AI 솔루션의 도입 단계부터 데이터 접근권한, 모델 검증, 오답 관리, 외부 업체 의존도, 장애 대응 체계까지 함께 살펴볼 필요가 있다는 것이다.

한 금융 IT 컨설턴트는 “AI 솔루션 도입은 단순 전산 시스템 구매가 아니라 금융회사 업무 판단 체계 일부를 외부 기술에 맡기는 문제”라며 “금감원도 금융회사의 AI 도입 현황을 형식적으로 파악하는 수준을 넘어, 실제 어떤 데이터가 오가고 누가 접근권한을 갖는지, 오류 발생 시 책임 구조가 어떻게 되는지 점검할 필요가 있다”고 말했다.

금융보안원도 AI 모델 보안성 검증…프롬프트 공격·정보유출 우려

금융보안원도 금융권 AI 활용 확대에 맞춰 보안성 평가를 강화하고 있다. 금융보안원은 지난해부터 혁신금융서비스 지정을 받은 금융회사의 보안대책을 평가하고, 모의 공격 기반의 AI 모델 보안성 검증을 수행하겠다고 밝혔다. 특히 조작된 질의로 AI를 속여 잘못된 답변이나 행동을 유도하는 공격 등을 통해 취약점을 찾는 방식의 검증을 추진하고 있다.

금융보안원은 생성형 AI 활용 증가로 혁신적 변화가 기대되는 반면, 보안 취약점으로 인한 정보유출과 오남용, AI의 편향된 학습에 따른 결과 등에 대한 우려도 함께 제기되고 있다고 봤다. 이는 외부 AI 솔루션을 도입하는 금융회사들이 단순 기능 검증을 넘어 실제 공격 상황을 가정한 보안 테스트까지 수행해야 한다는 의미로 해석된다.

금융위도 2023년 금융분야 AI 보안 가이드라인을 마련하며 AI 모델 개발 단계별 보안 고려사항과 AI 챗봇 서비스 보안성 체크리스트를 제시한 바 있다. 당시 가이드라인은 학습 데이터 오염, 개인정보 유출, AI 모델 공격 등 구체적 보안위협에 대응할 수 있도록 데이터 관리·처리 방법, 모델 설계 기법, 보안성 검증 방법 등을 제시했다.

AI 상담 만족도 21.6%…효율화가 소비자 불만 키울 수도

AI 상담 서비스에 대한 소비자 불만도 이미 나타나고 있다. KB금융지주 경영연구소 자료에 따르면 금융회사 콜센터 AI 상담 서비스 만족도 조사에서 만족은 21.6%에 그쳤고, 불만족은 39.4%로 나타났다. AI 상담원이 요구사항을 이해하지 못해 불편을 느낀 응답자는 73.6%, 인간 상담원 연결 과정에서 불편을 느낀 응답자는 56.9%였다.

이는 금융 AI가 단순히 상담 인력을 대체하는 방식으로 도입될 경우 오히려 소비자 접점을 악화시킬 수 있음을 보여준다. 단순 문의는 AI가 처리할 수 있지만, 민원성 문의나 상품 설명, 대출·보험·투자 관련 상담은 예외 상황이 많다. AI가 고객 의도를 제대로 파악하지 못하거나 인간 상담원 연결을 지연시키면 효율화 효과보다 소비자 불만이 더 커질 수 있다.

금융소비자보호 분야 변호사는 “AI 상담이 영업시간 안내나 지점 위치 안내에 그치면 위험이 제한적이지만, 대출 조건·보험금 지급 기준·투자상품 위험 설명으로 넘어가면 상황이 달라진다”며 “소비자는 AI 답변도 금융회사의 공식 안내로 받아들일 가능성이 큰 만큼, 오답 발생 시 설명의무 위반이나 불완전판매 쟁점으로 번질 수 있다”고 말했다.

AI는 소비자보호 수단도…문제는 적용 범위와 통제장치

물론 AI가 금융권에 위험만 주는 것은 아니다. AI는 불완전판매 탐지, 이상거래 탐지, 내부통제 강화 등 소비자보호 수단으로도 활용될 수 있다. IBK기업은행은 지난달 투자상품 판매 데이터와 고객의 투자 경험, 거래 이상 패턴 등을 통합 분석해 불완전판매 위험 요소를 자동 식별하는 AI 불완전판매 탐지 시스템을 도입했다. 기존에 직원이 직접 확인하던 점검 방식을 AI 기반 자동화 체계로 바꾼 사례다.

다만 전문가들은 내부 점검용 AI와 고객 응대용 AI, 문서 검색용 AI와 실제 업무 처리용 AI는 요구되는 정확도와 책임 수준이 다르다고 설명한다. 특히 고객 접점에 적용되는 AI는 오답 발생 시 피해가 외부로 드러나는 만큼, 내부 업무 자동화보다 더 엄격한 검증이 필요하다는 지적이다.

한 시중은행 관계자는 “AI 도입 자체가 문제가 아니라 어떤 업무에 어떤 권한으로 적용하느냐가 중요하다”며 “내부 참고용 AI와 고객에게 직접 답변하는 AI는 위험도가 전혀 다르기 때문에 같은 기준으로 평가하면 안 된다”고 말했다.

PoC와 상용 운영은 다르다

전문가들은 금융사가 AI 도입 과정에서 PoC와 상용 운영을 구분해야 한다고 조언한다. PoC나 시범사업은 가능성을 확인하는 단계일 뿐, 실제 금융소비자를 대상으로 한 서비스 운영 능력을 보장하지는 않는다. 실제 계약 범위, 구축 인력, 장애 대응 조직, 보안 인증, 유지보수 체계, SLA, 개인정보 처리 방식, 모델 검증 절차 등을 분리해 살펴야 한다는 설명이다.

특히 외부 AI 솔루션 업체가 금융권 레퍼런스를 영업 과정에서 강조하는 경우, 금융사는 단순히 대형 금융회사와 접촉했는지보다 실제 상용 운영 경험이 있는지, 장애 발생 시 복구 체계가 있는지, 오답 발생 시 원인 추적과 사후 수정이 가능한지를 확인해야 한다.

한 금융권 보안 관계자는 “금융사는 AI 솔루션 업체의 시연 화면보다 보안 설계와 운영 책임을 먼저 봐야 한다”며 “개인정보 암호화, 권한관리, 감사로그, 데이터 반출 통제, 모델 업데이트 이력, 장애 대응 체계가 계약서와 운영 문서에 명확히 들어가야 한다”고 말했다.

금융권 AI 도입은 거스를 수 없는 흐름이다. AI는 상담 효율화, 이상거래 탐지, 내부통제 강화, 불완전판매 점검 등에서 분명한 장점을 갖고 있다. 그러나 금융업은 오답 하나가 소비자 피해와 법적 책임으로 이어질 수 있는 산업이다. 금융회사와 감독당국이 외부 AI 솔루션 도입 과정에서 기술 편의성보다 보안성, 책임 구조, 소비자보호 체계를 먼저 살펴봐야 한다는 지적이 나오는 이유다.

전문가들은 금융 AI의 성패가 화려한 기능보다 “틀렸을 때 멈출 수 있고, 추적할 수 있으며, 책임질 수 있는 구조”에 달려 있다고 지적한다.