다만 해외에서 의료사고·허위 진단 정보 생성 등 사례 발생
연구에서도 AI 의료사고 가능성 높다는 결과 나와
국내 의료업계 "보조적으로만 사용 중“
[녹색경제신문 = 유자인 기자] 의료 업무에 AI를 활용하고 있는 비율이 절반에 달한다는 연구결과가 발표됐다. 다만 현재 AI가 의료사고를 낸 사례가 존재하고, 허위 정보를 넣거나 환각이 발생하는 경우도 있다는 예시 및 연구가 발표됐다. 의료업계에서는 현 상황에서 AI를 보조적으로 사용해야지, 이에 전적으로 의존하는 것은 매우 위험하다는 것이 대체적인 의견이다
최근 한국보건산업진흥원의 '의료분야 인공지능(AI) 도입의 영향 및 대응에 관한 연구' 결과에 따르면 연구진이 지난해 10월 국내 의사 2125명을 상대로 설문 조사한 결과, 실제 의료 업무에 AI를 활용하고 있는 비율이 47.7%였다.
이중 의사들은 AI를 주로 질환 진단(68%·복수응답 가능)과 선별(51.2%·환자 중증도 구분 등) 과정에서 썼다. 치료(33.4%)나 환자 추적 관찰(24.1%)·행정업무 간소화(23.5%)·예후 예측(20%) 등에 활용했다고 답하기도 했다.
문제는 이미 AI가 의료사고를 낸 사례가 존재한다는 점이다. 미국의 헬스케어 제품 제조 대기업인 존슨앤드존슨은 2021년 자회사 애클래런트가 개발한 부비동 수술용 내비게이션 ‘트루디’에 AI 기능을 추가했다. 이후 오작동 신고가 무려 100건 이상 접수됐다.
미국식품의약국(FDA)에 제출된 보고서에 따르면 AI가 수술 도구의 위치를 잘못 안내하는 바람에 환자의 두개골 기저부가 뚫리거나 뇌척수액이 유출되고 동맥이 손상돼 뇌졸중이 발생하는 등 심각한 의료사고가 보고됐다.
FDA는 트루디 외에도 심장 박동 이상을 감지하지 못한 것으로 알려진 심장 모니터와 태아 신체 부위를 잘못 식별한 것으로 의심되는 초음파 기기를 포함하여 수십 개의 AI 기반 기기와 관련된 보고를 받았다.
존스홉킨스, 조지타운, 예일 대학교 연구진은 지난 8월 FDA 승인을 받은 AI 기반 의료기기 60개가 182건의 제품 리콜과 연관돼 있었음을 밝혔고, 리콜의 43%가 기기 승인 후 1년도 채 되지 않아 발생했다. 이는 유사한 FDA 규정에 따라 승인된 모든 기기의 리콜률보다 약 두 배 높은 수치였다.
영국에서는 의료용 AI 플랫폼 기업인 애니마 헬스가 개발한 AI 문서 자동화 도구 애니가 영국 NHS 환자 기록에 허위 진단 정보를 생성한 적도 있었다.
지난해 7월 런던의 한 환자가 NHS 시스템을 통해 진료 요약을 확인하는 과정에서, 애니가 생성한 문제에 존재하지 않는 병원 정보와 함께 잘못된 당뇨병 및 심장질환 진단이 포함된 것을 발견했다. 해당 정보는 실제 NHS 행정 시스템에 반영돼 환자에게 당뇨병 선별검사 초청장이 발송됐다.
실제 연구에서도 생성형 AI가 의료사고를 낼 가능성이 크다는 것이 발견됐다. 지난 9일 국제 학술지 '랜싯 디지털헬스'에 발표된 미국 마운트 시나이 아이칸 의대 연구팀에 따르면 오픈AI의 GPT, 구글의 젬마 등 거대언어모델(LLM) 20개에 프롬프트 340만건을 시험한 결과, AI가 의료 오정보에 취약하다는 점이 밝혀졌다.
연구팀은 크게 세 가지 형태의 허위 정보를 넣고 AI의 반응을 분석했다. 첫째는 실제 병원 퇴원 기록에 거짓 의료 권고를 하나 넣은 것, 둘째는 소셜미디어(SNS) 레딧에서 수집한 건강 관련 속설, 셋째는 의사가 만든 임상 시나리오다. 연구팀은 AI에 ‘치료 계획을 평가해달라’ 등 질문을 해서 AI가 허위 정보를 사실로 전제하는지 평가했다. 그 결과 AI가 의료 허위 정보를 사실로 받아들인 비율은 31.7%였다.
AI는 병원 퇴원 기록처럼 공신력 있어 보이는 형태의 거짓 정보에 더 잘 속았다. SNS상 건강 관련 속설은 8.9%만 사실로 믿은 데 반해, 병원 기록의 형태를 띤 정보를 믿은 비율은 46.1%에 달했다.
지난달 스탠포드와 하버드대의 공동 연구에 따르면 최고 성능의 AI 모델조차도 100건의 임상 사례당 12~15건의 심각한 오류를 범하는 반면, 최악의 시스템은 동일한 환자 진료 건수에서 40건 이상의 심각한 오류를 범한다는 연구 결과를 발표했다.
해당 연구는 10개 의료 전문 분야에 걸쳐 실제 100건의 일차 진료 상담 사례를 바탕으로 31개의 대규모 언어 모델을 평가했는데, 29명의 전문의가 4249건의 잠재적 임상 조치가 환자에게 이익이 될지 해가 될지에 대한 12,747건의 전문가 의견을 제공했다.
연구 결과, 최고 성능의 AI 모델조차도 100건당 11.8~14.6건에서 심각하게 해로운 권고를 내놓았으며, 최악의 모델은 40건 이상의 심각한 오류를 범했고, 해로운 오류의 76.6%는 부적절한 권고보다는 정보 누락에서 비롯된 것으로 나타났다.
관련해서 한 의료계 관계자는 "실제로 쓰는 경우가 많다"면서도 "하지만 아직까지 한계가 존재하기에 어디까지나 보조적으로 사용중이지 AI에게 모든 것을 맡기는 경우는 드물다. AI가 오류를 내는 경우도 있어 AI의 결론을 다시 검토하기도 한다"고 설명했다
유자인 기자 pol@greened.kr

