일반화 학습, 뇌가 해결하는 방식

다양한 반복적 상황에서 뇌 활동이 행동을 어떻게 유도하는지 설명하기 위해, 수십 년간 신경과학자들은 수학적 모델을 개발해 왔다. 이 알고리즘은 뇌세포의 활동을 매우 정밀하게 설명했을 뿐 아니라, 아타리(Atari)나 바둑과 같은 특정 과제에서 초인적 성과를 내는 인공지능 개발에도 기여했다.

그러나 이 모델은 인간과 동물의 진정한 지능, 즉 일반화와 추론, 적응 능력을 포착하지 못했다. 2023년 말 학술지 네이처(Nature)에 게재된 한 연구는 생쥐의 뇌세포가 이처럼 복잡하고 지적인 행동을 어떻게 가능하게 하는지를 밝혔다.

인간과 동물은 기계와 달리 새로운 상황에 유연하게 대응할 수 있다. 일상적으로 우리는 과거 경험이나 지식을 일반화해 문제를 해결한다. 이는 새 요리를 하거나, 낯선 사람을 만나거나, 처음 가보는 길을 선택할 때도 마찬가지다. 미래의 결과까지 상상할 수 있는 능력 또한 포함된다.

1940년대 심리학자 에드워드 톨먼(Edward Tolman)은 이러한 능력을 인지 지도(cognitive map)라고 설명했다. 인지 지도는 세상을 내부적으로 구성한 정신적 지도이며, 경험을 조직하고 다음에 어떤 일이 일어날지를 예측하는 데 활용된다.

1970년대부터 연구자들은 설치류의 해마(hippocampus)와 내후각 피질(entorhinal cortex)에서 환경의 물리적 지도를 형성하는 특수한 신경세포들을 발견했다. 장소 세포(place cells)는 특정 장소에서 활성화되고, 격자 세포(grid cells)는 공간 구조를 형성한다. 이들은 거리, 목표, 위치를 정밀하게 부호화하며 물리적 세계에 대한 정신 지도를 만든다.

이제 연구자들은 공간 내비게이션을 넘어 일반화, 추론, 상상, 사회적 인지, 기억 등 더 복잡한 인지 기능에 주목하고 있다. 이 기능들 역시 해마와 내후각 피질 같은 영역에서 이뤄진다.

연구진은 외부 세계가 아니라 행동 자체의 지식을 조직하는 세포가 존재하는지, 있다면 어떤 알고리즘이 작동하는지 탐구했다. 예컨대, 새로운 파스타 요리를 어떻게 떠올릴 수 있는지에 관한 질문이다.

연구팀은 생쥐에게 반복적 구조의 행동 시퀀스를 훈련시켰다. 생쥐는 물 보상이 주어지는 네 개의 목표 지점(A, B, C, D)을 순환하며 탐색했다. 목표 지점의 위치가 바뀌었을 때도, 생쥐는 이전에 본 적 없는 시나리오에서 다음 행동을 정확히 예측해냈다. 목표 D에 처음 도달했을 때도, 곧바로 A로 돌아갔다. 이는 기억이 아닌, 과제의 구조를 이해하고 그 안에서 자신의 위치를 추적하고 있음을 보여준다.

생쥐의 뇌에 삽입한 전극으로 활동을 측정한 결과, 대뇌 피질의 특정 세포들이 목표 도달 진행률을 표현하는 것으로 나타났다. 예컨대 어떤 세포는 목표까지의 진행률이 70%일 때 항상 활성화됐다. 이는 목표의 실제 위치나 거리와 무관했다.

일부 세포는 당장의 하위 목표에 대한 진행 상황을, 다른 세포는 전체 과제의 목표에 대한 진행 상황을 나타냈다. 마치 요리 과정에서 채소를 다지는 중간 단계와 전체 요리 완성이라는 두 목표를 각각 추적하는 것과 유사하다.

이러한 ‘목표 진행률 세포’들은 물리적 공간이 아니라 행동적 공간에서의 위치를 표현하는 체계를 형성했다. 이 시스템은 유연하게 작동하며 과제가 바뀌어도 업데이트된다. 이는 단순한 연상 기억에 의존하지 않고도 다음 행동을 예측하게 한다.

생쥐 실험을 통해 뇌가 목표 진행 상황을 추적하며 일반화와 예측 같은 고차원 행동을 가능하게 하는 신경세포의 존재가 밝혀졌다. 언스플래쉬

뇌가 왜 각 과제를 따로 학습하지 않고 일반 구조를 익히는지에 대해, 연구진은 과제들이 반복적이고 구조화돼 있기 때문이라고 설명했다. 일반화를 통해 우리는 개별 상황을 넘어 지식을 확장할 수 있다. 삶은 유사한 과제의 연속이며, 우리는 매일 이전 경험을 바탕으로 새로운 문제를 해결한다.

예컨대 볼로네제(Bolognese)를 만들었던 경험은 라구(Ragu)를 만들 때에도 유용하다. 양파 볶기, 허브 넣기 같은 공통된 절차 때문이다. 연구팀은 대뇌 피질의 목표 진행률 세포가 사건, 행동, 결과 사이의 추상적 관계를 조직하는 내부 구조물 역할을 한다고 보았다. 이는 인간에게도 적용될 수 있는 가능성이 크다.

이와 같은 세포 네트워크와 알고리즘을 규명함으로써 인간과 동물의 신경과학 간, 생물학과 인공지능 간의 다리를 잇는 연구가 이어지고 있다.