지난번 글에서는 ChatGPT의 기술적인 원리를 나름대로 짚어보았다. 이를 요약하자면, ChatGPT는 다음 토큰 예측을 통해서 담화 형태를 가진 텍스트를 완성시켜 준다. 또한 맥락-내 학습을 통해 추가적인 학습 없이도 사용자의 적절한 프롬프팅(텍스트 입력)만으로 새로운 과제에 대한 수행능력을 구성해 낼 수 있다.
이번에는 사용자의 입장에서 경험적으로 파악한 특징들을 나열하고, 그것들이 앞서 이야기한 기술적 원리들과 어떻게 연관되는지에 대해서도 느낌을 가져보기로 한다. 그 다음으로는 주요 한계점에 대해서 논의한다.
먼저 아래의 서술들은 질문-답변 형태의 거대언어모델들이 앞으로 갖게 될 일반적인 특징들이라고 보기는 조심스러우며, 일단은 현재 단계의 ChatGPT가 가지는 특징들이라고 보는 것이 옳겠다.
다만 ChatGPT는 언어 생성 자체의 성능은 매우 높으면서도, 사실관계 답변이나 수량적 지식 처리 등의 특정한 목적에 맞추기보다는 격식있는 언어 일반을 재현하는 듯하다. 또한 사용자와 잘 align되는 특성, 조금 더 좁게 말하면 편향되거나 노골적으로 유해한 대화를 피하는 것에는 신경을 많이 썼다. 이러한 safety에는 물론 많은 노력과 커스텀이 들어간 것이지만, 어떻게 보면 신뢰할 수 있는 작동을 위한 최소 요건이라고도 할 수 있다. 이를 감안하면 ChatGPT는 거대언어모델의 기본원리를 비교적 충실하게 reflect하는 것으로 보이며, 그러므로 비슷한 원리로 작동하는 언어모델들의 '바닐라' 상태에 가깝다고 보인다.
('바닐라'란 기본을 만족하되 추가적인 커스텀을 가하지 않은 상태를 일컫는 용어로, 바닐라 아이스크림이 '기본 맛'으로 여겨지는 데서 유래했다고 한다. 링크: https://en.wikipedia.org/wiki/Vanilla_software)
먼저 ChatGPT의 가장 중심적인 특징 두 가지는 형식 면에서의 조리있음, 그리고 내용 면에서의 논리적 상상력이라고 할 수 있을 듯하다. 내 생각에 이 두 가지가 ChatGPT가 가장 자연스럽게 잘 하는 종...
이번에는 사용자의 입장에서 경험적으로 파악한 특징들을 나열하고, 그것들이 앞서 이야기한 기술적 원리들과 어떻게 연관되는지에 대해서도 느낌을 가져보기로 한다. 그 다음으로는 주요 한계점에 대해서 논의한다.
먼저 아래의 서술들은 질문-답변 형태의 거대언어모델들이 앞으로 갖게 될 일반적인 특징들이라고 보기는 조심스러우며, 일단은 현재 단계의 ChatGPT가 가지는 특징들이라고 보는 것이 옳겠다.
다만 ChatGPT는 언어 생성 자체의 성능은 매우 높으면서도, 사실관계 답변이나 수량적 지식 처리 등의 특정한 목적에 맞추기보다는 격식있는 언어 일반을 재현하는 듯하다. 또한 사용자와 잘 align되는 특성, 조금 더 좁게 말하면 편향되거나 노골적으로 유해한 대화를 피하는 것에는 신경을 많이 썼다. 이러한 safety에는 물론 많은 노력과 커스텀이 들어간 것이지만, 어떻게 보면 신뢰할 수 있는 작동을 위한 최소 요건이라고도 할 수 있다. 이를 감안하면 ChatGPT는 거대언어모델의 기본원리를 비교적 충실하게 reflect하는 것으로 보이며, 그러므로 비슷한 원리로 작동하는 언어모델들의 '바닐라' 상태에 가깝다고 보인다.
('바닐라'란 기본을 만족하되 추가적인 커스텀을 가하지 않은 상태를 일컫는 용어로, 바닐라 아이스크림이 '기본 맛'으로 여겨지는 데서 유래했다고 한다. 링크: https://en.wikipedia.org/wiki/Vanilla_software)
먼저 ChatGPT의 가장 중심적인 특징 두 가지는 형식 면에서의 조리있음, 그리고 내용 면에서의 논리적 상상력이라고 할 수 있을 듯하다. 내 생각에 이 두 가지가 ChatGPT가 가장 자연스럽게 잘 하는 종...
.jpg)
@노다해 기계를 대하는 사람의 마음에 대한 심리학뿐 아니라 '기계의 심리학'의 가능성도 무척 재미있네요. 거대언어모델 같은 것에 정보가 어떻게 임베딩되어 있고 어떻게 조합되어서 인출되는지에 대한 거시적(?) 수준의 모형이 아직 정립이 안 되어 있는것 같은데, 기계학습 이론의 부분적인 성과들이 잘 쌓인다면 그런게 만들어질수 있지 않을까 싶습니다
@오용재 마치 사람이 사람을 대할 때의 문제를 다루면서 심리학이 발달했듯이 사람이 기계를 대할 때의 문제에서도 심리학이 발달할 수 있을 듯 해요. 아니면 기계의 마음을 알기 위한 기계심리학이 먼저 발달하려나요? ㅎㅎ
@노다해 답글 달아두신것 뒤늦게 보았네요. 저도 그렇고 꽤 많은 사람들이 기계에게서 인간과 닮은 점을 찾아내서 의인화하려는 경향이 있는것 같다는 생각도 들었습니다. 그 덕분에 불완전하고 결함이 있음에도 동료로 받아들여서 좋은 효과를 낼수도, 한편으로는 과신해서 문제를 일으킬수도 있을 것 같아요
얼마전에 영화 Her를 다시 봤는데, 이 글에서 소개된 ChatGPT의 특성들이 떠올랐어요. 인간과의 상호작용은 가장 대체되기 어려우리라고 생각했는데, 영화 Her를 보면 그렇지 않을 수도 있겠다는 생각과 더불어 (믈론 영화에서 그 한계를 보여주기도 하지만) 생각보다 가까워 보여도 멀리있지 않나 싶은 생각도 들어요. 음성의 자연스러움은 아직은 어려워도 데이터를 많이 학습시키면 해결될 문제 같지만, 인간의 ‘물성’도 빼놓을 수 없는 부분이니까요.
@오용재 마치 사람이 사람을 대할 때의 문제를 다루면서 심리학이 발달했듯이 사람이 기계를 대할 때의 문제에서도 심리학이 발달할 수 있을 듯 해요. 아니면 기계의 마음을 알기 위한 기계심리학이 먼저 발달하려나요? ㅎㅎ
@노다해 답글 달아두신것 뒤늦게 보았네요. 저도 그렇고 꽤 많은 사람들이 기계에게서 인간과 닮은 점을 찾아내서 의인화하려는 경향이 있는것 같다는 생각도 들었습니다. 그 덕분에 불완전하고 결함이 있음에도 동료로 받아들여서 좋은 효과를 낼수도, 한편으로는 과신해서 문제를 일으킬수도 있을 것 같아요
얼마전에 영화 Her를 다시 봤는데, 이 글에서 소개된 ChatGPT의 특성들이 떠올랐어요. 인간과의 상호작용은 가장 대체되기 어려우리라고 생각했는데, 영화 Her를 보면 그렇지 않을 수도 있겠다는 생각과 더불어 (믈론 영화에서 그 한계를 보여주기도 하지만) 생각보다 가까워 보여도 멀리있지 않나 싶은 생각도 들어요. 음성의 자연스러움은 아직은 어려워도 데이터를 많이 학습시키면 해결될 문제 같지만, 인간의 ‘물성’도 빼놓을 수 없는 부분이니까요.