복잡한 건 이렇게 알아가는 건가? - 뇌과학과 인공지능이 서로를 알아가는 도구로
2023/03/07
연구동향을 살피기 위해 주로 소셜 미디어를 이용하는데, 트윗이나 페이스북의 연구자나 커뮤니티를 팔로잉 하는 식이다. 주로 네트워크 분야의 연구자들을 팔로잉하는데, 굳이 네트워크 과학 분야와 큰 관련이 없더라도 가끔 화제가 되는 소식들은 여러 경로를 통해 피드에 중복해 올라온다.
최근 피드에 인공지능 관련 논문 몇 개가 중복해서 올라온다. 아마, 인공지능 분야에서 화제가 되고 있는 논문인 것 같다. 가볍게 논문들을 훑어봤는데 꽤 흥미롭다. 전공자는 아니기에 전문성 있는 리뷰는 힘들지만, 관련해서 드는 생각들을 두서 없이 적어본다.
--------------------
1. Evidence of a predictive coding hierarchy in the human brain listening to speech
예측 코딩(predictive coding)이라는 이론이 있다고 한다. 사람의 뇌는 감각을 그냥 받아들이는 게 아니라 맥락을 예측해서 받아들이는데, 이를 통해 세상에 대한 모델을 지속적으로 형성한다는 이론이다.
그런데, 인제 사람을 흉내낸 인공지능의 언어모델이 하는 걸 보니, 예측을 하긴 하는데 바로 다음 단어만 예측하는 식으로 훈련/동작 하더라는 것이다. 하지만 예측 코딩이론에 따르면 이는 매우 제한적인 모델링이다. 다음 단어를 예측하는 것도 분명 지속적이긴 한데 조금 더 먼 미래까지 예측하는 메커니즘이 필요하다는 것이다. 이게 없으니까 언어모델이 좀 생뚱맞다거나 의미론적으로 틀어지는 맥락을 만드는 게 아닐까 하고 말이다.
그래서, 사람들에게 어떤 이야기를 들려주면서 뇌 활동 신호를 fMRI라는 기계로 측정하고, 이 뇌 활동이 얼마나 먼 미래 까지를 예측하는지 살펴보자는 것이 논문의 취지다.
흥미로운 건 뇌의 예측 코딩 활동을 살펴보기 위해 언어모델인 GPT-2를 활용한다는 것이다. 네트워크 층(layer)을 여러 겹으로 쌓아 올린 GPT-2의 심부 layer의 활성화 정도가 같은 문장을 입력 받고 있을 때의 인간의 뇌 부위들과 잘 mapping...
최근 피드에 인공지능 관련 논문 몇 개가 중복해서 올라온다. 아마, 인공지능 분야에서 화제가 되고 있는 논문인 것 같다. 가볍게 논문들을 훑어봤는데 꽤 흥미롭다. 전공자는 아니기에 전문성 있는 리뷰는 힘들지만, 관련해서 드는 생각들을 두서 없이 적어본다.
--------------------
1. Evidence of a predictive coding hierarchy in the human brain listening to speech
예측 코딩(predictive coding)이라는 이론이 있다고 한다. 사람의 뇌는 감각을 그냥 받아들이는 게 아니라 맥락을 예측해서 받아들이는데, 이를 통해 세상에 대한 모델을 지속적으로 형성한다는 이론이다.
그런데, 인제 사람을 흉내낸 인공지능의 언어모델이 하는 걸 보니, 예측을 하긴 하는데 바로 다음 단어만 예측하는 식으로 훈련/동작 하더라는 것이다. 하지만 예측 코딩이론에 따르면 이는 매우 제한적인 모델링이다. 다음 단어를 예측하는 것도 분명 지속적이긴 한데 조금 더 먼 미래까지 예측하는 메커니즘이 필요하다는 것이다. 이게 없으니까 언어모델이 좀 생뚱맞다거나 의미론적으로 틀어지는 맥락을 만드는 게 아닐까 하고 말이다.
그래서, 사람들에게 어떤 이야기를 들려주면서 뇌 활동 신호를 fMRI라는 기계로 측정하고, 이 뇌 활동이 얼마나 먼 미래 까지를 예측하는지 살펴보자는 것이 논문의 취지다.
흥미로운 건 뇌의 예측 코딩 활동을 살펴보기 위해 언어모델인 GPT-2를 활용한다는 것이다. 네트워크 층(layer)을 여러 겹으로 쌓아 올린 GPT-2의 심부 layer의 활성화 정도가 같은 문장을 입력 받고 있을 때의 인간의 뇌 부위들과 잘 mapping...
.jpg)
+)
최근에 마찬가지로 fMRI를 이용한 연구 중에는 음성 및 무성 비디오의 의미를 단어 시퀀스로 어느정도 재구성할 수 있다는 것을 보였다고함.
https://www.nature.com/articles/s41593-023-01304-9
@청자몽님, 말씀하신 부분이 상위 계층의 뇌 활동에 관한 것 같군요! 문해력도 발달도 되고 후퇴도 된다니 신기한 것 같습니다. 그래서 읽다보면 잘 읽히고, 안읽다보면 안읽히고 그런걸까요. 이건 개인차인가..ㅎㅎ
아 그리고 뇌를 10%만 쓴다는 건, 잘못된 사실이라고 하더라구요! 어떤 연구결과가 아니라 누가 쓴 표현이 와전되고 와전되어 어느새 모두가 10%를 말하고 있더라는..ㅎㅎ
늘 읽어주시고 피드백 남겨주셔서 감사해요!!
뇌가 아주 흥미롭다고 들었어요. 평생 다 써도 10%도 못 사용하는? 바다 같은 기관. 뇌와 언어. 아.. 그러고보니, 전두엽, 후두엽 발달과 언어 발달간의 관계에 대해 책에서 얼핏 읽은 기억이 나네요.
아이한테 도움이 될까 하고, 문해력 관련 책을 몇권 읽는 중인데.. 뜬금 뇌 구조가 나와서, @@ 뇌발달과 언어간의 상관관계를 복잡하지만 이해해보려고 했는데.. 몇달 지났다고 벌써 까먹었어요.
[ 언어가 그냥 말과 소리가 따로따로 끊어져 존재하는게 아니라, 다 관련이 있고 이미지화 되어서 이해가 되어야 된다. ] 는 부분은 가물거리는 기억 속에 있어요. 지금도 도서관에서 3회차 연장해가며 빌려온 '문해력' 관련책을 어렵사리 졸면서 보고 있어요 ㅜ. 이거 다 읽고, '어른의 문해력' 관련책도 볼려는데.. 책장이 잘 안 넘어가요 zzz.
문해력도 발달도 되고, 후퇴도 된대요. 나이랑 상관없이. 그리고 자기가 아는 분야는 당연히 엄청 발달이 되어있구요. 낯선 분야쪽은;; 모르는게 당연하다고 너무 실망하지 말고, 흥미를 잃지말고 꾸준히 나아가라는 희망적인 메시지를 읽었어요. 그래서 졸든, 자든.. 몇장이라도 볼려고 노력;; 해요 ㅜ. 글도 노력해서 읽어볼려고 하구요 ㅜ. 나는 자라고 있다. 내 뇌도 계속 성장 중이야 하구요.
그런 의미에서, 뇌과학과 인공지능 관련글이라니!
흥미롭게 잘 봤습니다. 평안한 밤 되세요.
@이민수님, 이미 주목받는 분야니 제 생각이야 별로 큰 인사이트가 있는 건 아닌...ㅎㅎ 댓글 감사해요.
@Fred Kim님, 그럴수도 있겠습니다ㅎㅎ 그런데 왜를 도저히 궁금해 못참는 게 또 사람인지라.. 왜를 알고 나면 행동이나 생각이 바뀌기도 하구요ㅎㅎ
반대로 '현상을 설명'한다는 표현의 개념이 바뀔 수도 있겠죠.
미래에 인공지능 해석학같은 학문이 대세가 될 것이다.
- 몬스, 2023.03.07
뇌가 아주 흥미롭다고 들었어요. 평생 다 써도 10%도 못 사용하는? 바다 같은 기관. 뇌와 언어. 아.. 그러고보니, 전두엽, 후두엽 발달과 언어 발달간의 관계에 대해 책에서 얼핏 읽은 기억이 나네요.
아이한테 도움이 될까 하고, 문해력 관련 책을 몇권 읽는 중인데.. 뜬금 뇌 구조가 나와서, @@ 뇌발달과 언어간의 상관관계를 복잡하지만 이해해보려고 했는데.. 몇달 지났다고 벌써 까먹었어요.
[ 언어가 그냥 말과 소리가 따로따로 끊어져 존재하는게 아니라, 다 관련이 있고 이미지화 되어서 이해가 되어야 된다. ] 는 부분은 가물거리는 기억 속에 있어요. 지금도 도서관에서 3회차 연장해가며 빌려온 '문해력' 관련책을 어렵사리 졸면서 보고 있어요 ㅜ. 이거 다 읽고, '어른의 문해력' 관련책도 볼려는데.. 책장이 잘 안 넘어가요 zzz.
문해력도 발달도 되고, 후퇴도 된대요. 나이랑 상관없이. 그리고 자기가 아는 분야는 당연히 엄청 발달이 되어있구요. 낯선 분야쪽은;; 모르는게 당연하다고 너무 실망하지 말고, 흥미를 잃지말고 꾸준히 나아가라는 희망적인 메시지를 읽었어요. 그래서 졸든, 자든.. 몇장이라도 볼려고 노력;; 해요 ㅜ. 글도 노력해서 읽어볼려고 하구요 ㅜ. 나는 자라고 있다. 내 뇌도 계속 성장 중이야 하구요.
그런 의미에서, 뇌과학과 인공지능 관련글이라니!
흥미롭게 잘 봤습니다. 평안한 밤 되세요.
반대로 '현상을 설명'한다는 표현의 개념이 바뀔 수도 있겠죠.
미래에 인공지능 해석학같은 학문이 대세가 될 것이다.
- 몬스, 2023.03.07
@청자몽님, 말씀하신 부분이 상위 계층의 뇌 활동에 관한 것 같군요! 문해력도 발달도 되고 후퇴도 된다니 신기한 것 같습니다. 그래서 읽다보면 잘 읽히고, 안읽다보면 안읽히고 그런걸까요. 이건 개인차인가..ㅎㅎ
아 그리고 뇌를 10%만 쓴다는 건, 잘못된 사실이라고 하더라구요! 어떤 연구결과가 아니라 누가 쓴 표현이 와전되고 와전되어 어느새 모두가 10%를 말하고 있더라는..ㅎㅎ
늘 읽어주시고 피드백 남겨주셔서 감사해요!!