지난번 글에서는 ChatGPT의 기술적인 원리를 나름대로 짚어보았다. 이를 요약하자면, ChatGPT는 다음 토큰 예측을 통해서 담화 형태를 가진 텍스트를 완성시켜 준다. 또한 맥락-내 학습을 통해 추가적인 학습 없이도 사용자의 적절한 프롬프팅(텍스트 입력)만으로 새로운 과제에 대한 수행능력을 구성해 낼 수 있다. 이번에는 사용자의 입장에서 경험적으로 파악한 특징들을 나열하고, 그것들이 앞서 이야기한 기술적 원리들과 어떻게 연관되는지에 대해서도 느낌을 가져보기로 한다. 그 다음으로는 주요 한계점에 대해서 논의한다. 먼저 아래의 서술들은 질문-답변 형태의 거대언어모델들이 앞으로 갖게 될 일반적인 특징들이라고 보기는 조심스러우며, 일단은 현재 단계의 ChatGPT가 가지는 특징들이라고 보는 것이 옳겠다. 다만 ChatGPT는 언어 생성 자체의 성능은 매우 높으면서도, 사실관계 답변이나 수량적 지식 처리 등의 특정한 목적에 맞추기보다는 격식있는 언어 일반을 재현하는 듯하다. 또...