카이스트, 뇌-인공지능 사이 추론 방식 차이점 규명... 새로운 강화학습 모델 제시

[녹색경제신문 = 이지웅 기자] 이상완 카이스트 뇌인지과학과 교수와 정민환 교수(IBS 시냅스 뇌질환 연구단 부연구단장) 연구팀이 동물이 가설을 세워 일관된 행동 전략을 유지함과 동시에, 본인의 가설을 스스로 의심하고 검증하면서 상황에 빠르게 적응하는 새로운 강화학습 이론을 제시함으로써 뇌과학적 원리를 규명했다.

현재 상황에 맞게 행동의 일관성과 유동성 사이의 적절한 균형점을 찾아가는 문제를 ‘안정성-유동성의 딜레마(Stability-flexibility dilemma)’라 한다. 이를 위해서는 현재 본인의 판단이 맞는지를 계속 검증하고 수정할 수 있어야 한다. 이를 규명하기 위해 뇌과학 및 인공지능 분야에서 다양한 연구가 이뤄졌지만, 아직까지 이에 대한 완벽한 해법이 알려진 바가 없다.

이러한 상황에서, 연구팀은 스스로 세운 가설을 바탕으로 다음 상황을 예측하고 확인하는 행동 패턴을 동역학적으로 프로파일링 할 수 있는 새로운 방식을 고안했다. 이를 바탕으로 전통적인 강화학습 이론과 최신 인공지능 알고리즘 모두 동물의 관련 행동을 제대로 설명하지 못한다는 사실을 발견했다. 

연구팀은 동물의 현재 상황에 대한 가설을 세우고, 가설의 예측 오류를 바탕으로 행동 전략을 비대칭적으로 업데이트하는 새로운 적응형 강화학습 이론과 모델을 제안했다.

제안 모델은 예상치 못한 사건에 대한 동물의 행동을 최신 인공지능 모델 대비 최대 31%, 평균 15% 더 잘 예측했다. 

이와 같은 결과는 기존 연구에서 발표된 네 가지 서로 다른 동물 실험 데이터(two-step task, two-armed bandit task, T-maze task, two-armed bandit task with MSN inactivation) 분석을 통해 일관성 있게 재현되었다.

더 나아가 연구팀은 중뇌 기저핵 선조체 속 중간크기 가시뉴런이 가설 기반 적응형 강화학습 과정에 관여함을 밝혔다. 직접 경로 가시뉴런들은 예상한 사건을 마주한 경험을, 간접 경로 가시뉴런들은 예상하지 못한 사건을 마주한 경험을 부호화해 행동 전략을 조절했다.

이는 뇌의 맥락 추론 방식이 대규모 인공지능 모델과 근본적으로 다르다는 것을 보여준다. 

인공지능 모델은 사용자 입력으로부터 맥락 정보를 추정하고 이를 바탕으로 필요한 전문가 시스템에 매칭하며 (딥시크 모델은 강화학습을 사용하여 매칭), 새로운 정보가 들어올 때까지는 입력 정보가 맞다고 가정한다.

반면 뇌는 스스로 추정한 맥락(가설)을 의심하고, 의심이 확인되는 즉시 새로운 맥락을 적극 받아들인다. 이는 과도한 자신감을 보이는 인공지능의 할루시네이션(Hallucination) 현상을 완화하거나 인간과 유사한 추론엔진을 구성할 수 있는 새로운 방향성을 제시한다.

본 연구는 뇌과학-인공지능 융합연구로서, 실제 분야에 널리 활용될 수 있다. 

인간의 동역학적 행동 프로파일링 기술을 이용하면 개개인의 가설 수립, 검증 학습 능력 분석이 가능하다. 이를 맞춤형 교육 커리큘럼 디자인, 인사 및 인력관리 시스템, 인간-컴퓨터 상호작용 분야에 바로 적용할 수 있다.

또한 제안된 적응형 강화학습 모델은 ‘뇌처럼 생각하는 인공지능’기술로서 인간-인공지능 가치 정렬 (Value alignment) 문제 해결에 활용될 수 있다. 더불어 해당 과정에 관여하는 것으로 알려진 기저핵 내 보상학습 회로와 관련된 중독 및 강박증 등 정신질환의 뇌과학적 원인 규명에 활용될 수 있다.

연구 책임자인 이상완 교수는 "이번 연구는 인공지능의 강화학습 이론만으로 설명할 수 없는 뇌의 가설 기반 적응학습 원리를 밝혀낸 흥미로운 사례ˮ라면서 "스스로 의심하고 검증하는 뇌과학 이론을 대규모 인공지능 시스템 설계와 학습 과정에 반영하면 신뢰성을 높일 수 있을 것ˮ이라고 말했다.