생성AI 학습 원리, ‘W’를 찾아서
근래에 유튜브에서 시골의사 박경철의 'W'를 찾아서'라는 영상을 본 적이 있다. 그 영상은 인터넷 초창기, 지인의 추천으로 월드와이드웹의 'W'가 이 세계를 크게 변화시킨다는 강의를 듣는 것으로 시작한다. 인터넷이라는 거대한 변화의 틀을 미리 알았던 이들에게 커다란 기회가 되었던 것처럼, 언제나 거대한 시대의 변화를 찾아야 한다는 자기 계발에 관한 내용이었다.
최근 인공지능에 관한 강의 자료를 정리하면서, 결국 인공지능은 학습(Machine Learning)과 추론(Inference)으로 요약될 수 있겠다는 생각을 했다. 학습은 초기 모델(Foundation)을 만드는 머신러닝이고, 추론은 만들어진 모델에 입력(프롬프트)을 통한 답변을 생성하는 과정이다. 그런데 그 핵심적인 머신러닝이라는 게 결국 매개변수(파라미터) 값을 설정하는 과정이다. 학습 과정에서 입력 값과 정답(출력) 값은 상수로 정해져 있고, 그 둘 사이의 연관성 즉 패턴(규칙)을 찾는 것이니 유일한 변수는 연결 강도인 매개변수 'W'만 남는 것이다.
일반적으로 인공지능의 모델 크기를 나타낼 때 파라미터의 개수를 보여준다. 2022년 11월 공개된 챗GPT-3의 파라미터는 1,750억 개다. 이전 GPT-1과 비교하면 크기가 약 천 배 커진 것이고, 가장 최근 GPT-4는 10만 배 커졌다. 파라미터, 즉 매개변수 'W'가 많아진다는 것은 더 많은 경우의 수를 학습했다는 뜻이다. 입력 값과 출력 값의 연관성을 더 많은 측면까지 반영했으니 모델의 지능이나 정확도가 높아진다. 프랑스 파리를 100번 가본 사람이 10번 가본 사람보다 파리를 더 잘 아는 것과 같은 이치다.
얼마 전 한인 인지신경과학자 세바스찬 승(승현준)이 삼성전자를 떠나 프린스턴대학으로 돌아갔다는 기사를 접했다. 그는 커넥텀(Connectome)이라는 뉴런 지도, 즉 신경세포 연결망에 관한 세계적인 과학자다. 그는 한 강연에서 유전자는 인간의 모양을 결정지을 뿐이지만, 기억과 고차원의 사고는 신경세포의 연결망 커넥텀에 있다고 강조한다. 커넥텀에서 가장 중요한 부분은 연결 구조가 아니라 신경세포들 간의 연결 강도다. 도파민과 세로토닌, 아드레날린 같은 신경전달물질이 시냅스에서 연결 신호를 강화하거나 억제하는 과정이 인간의 학습이고 기억과 사고의 과정이다. 그런데 인공지능의 파라미터(W)가 바로 이 시냅스를 모방한 값이라는 것이다.
1986년에는 몸길이 약 1밀리미터인 꼬마 선충의 신경 지도가 12년의 노력 끝에 완성되어 논문으로 출간되었다. 302개의 신경세포와 약 8,000개의 연결(시냅스)로 이루어진 이 구조를 완벽하게 재현한 것이다. 흥미로운 것은 이 논문의 제목이 '벌레의 마음'이라는 점이다. 신경세포의 연결 구조가 곧 '마음', 즉 '의식'이라는 생각이 담겨 있다. 2015년 한 과학자는 이 신경망 구조를 바탕으로 인공지능 모델을 만들어 스스로 학습(W를 찾는 과정)하게 했고, 이를 바퀴 두 개 달린 로봇에 연결하자 놀랍게도 선충의 움직임과 유사한 동작을 보여주었다고 한다.
요약하자면, 신경망의 구조와 함께 연결 강도인 시냅스(W)의 상태를 보존한다면 훗날 의식을 복원할 수 있다는 발상이 가능해진다. 그런 의미에서 시냅스의 'W'는 인간의 사고와 의식의 요체일 수도 있겠다는 생각을 해본다. 우연 치고는 공교롭지만, 30년 전 인터넷 초창기와 지금 인공지능 시대의 시작 시기에는 공통적으로 'W'가 있다. 시골의사 박경철의 영상에서는, 커다란 변화의 시기마다 극소수의 사람들이 'W'의 변화를 만들어내고 그보다 조금 더 많은 사람들만이 이를 알아보고 기회를 잡는다고 한다.
인공지능 원리의 ‘W’를 이해하는 사람은 그 이해를 잘 사용할 것이고, 그래서 결국 누군가의 자리를 대신하게 될 것이다.