GPT3라는 이름은 사전 학습을 거친 생성적 전환기(Generative Pre-trained Transformer )3번째 버전을 의미한다. GPT-3는 딥러닝을 이용하여 사람이 쓴 것 같은 문장을 만들어 내는 자연어 생성에 적합하다. 언어  문제풀이, 글짓기, 사칙연산, 번역, 주어진 문장을 분석하여  코딩까지 가능하다.  1,750억개의 패러미터로 대량의 텍스트 데이터를 학습하여  다음 단어를 예측하는 모델이다. 물론 GPT-3는 완벽하지 않았다. 공학 및 자연과학 분야에 약하다.

그런데 2년 후에는 ChatGPT가 등장했다. 오픈AI에 따르면 "대화에 최적화된 언어 모델"로서 대화 방식으로 상호 작용한다. ChatGPT는 대화 형식을 통해서 후속 질문에 답하고, 실수를 인정하는 기능도 있고, 잘못된 전제에 이의를 제기하고, 사용자의 부적절한 요청은 거부한다.

사람과의 채팅을 자연스럽게 척척 해내면서 텍스트 답변과 코팅까지 순식간에 생성하는 ChatGPT가 발표된 때는 2022년 11월 30일이다. 그 성능에 전 세계가 놀란 것이 불과 7주 전이다.  2020년에는 GPT-3가 엄청난 주목을 끌었지만 ChatGPT는 그 인기를 단숨에 뛰어 넘는 느낌이다.  샌프란시스코에 위치한 오픈AI라는 작은 연구소가 어떻게 DALLE-2, ChatGPT-3 같은 혁신적 모델들을 만들어 낼 수 있던 것일까? 

기술적으로 보면 ChatGPT는 사실 GPT-3를 살짝 변형한 모델이다. GPT-3의 성능이 아직 불완전하듯이 ChatGPT도 부정확한 답변과 실수를 연발하고 있다. 무엇보다도 사실과 허구를 구분하는데 서투르다.  머신러닝에 사용되는 확산모델(diffusion model)에 대해 말해달라면 ChatGPT는 화학물질의 확산(diffusion) 과정을 설명하...