2023/02/02
좋은 글 감사합니다.
ChatGPT와 지난 2020년 화제가 되었던 GPT-3와 무엇이 달라졌는지 찾아본 적이 있습니다. 핵심은 GPT-3가 사람이 선호하는 응답을 내도록 트레이닝하고 인터페이스를 조정한 것에 있더군요.
GPT-3은 Common crawl이라고 하여, 인터넷 상의 온갖 문장을 긁어모은 데이터셋으로 부터 학습되었다고 합니다. 그러다 보니, 윤리적으로든 적절성으로든 사람이 선호하는 대답을 보장하지 않는다는 결점이 있었다고 해요.
그래서 사람이 선호하는 문장을 내도록 학습하는 과정을 추가했다고 합니다. 그 과정에 InstructGPT가 있었고, 이를 Chat에 특화시킨 ChatGPT가 탄생했다고 하네요.
먼저, 사람이 선호하는 대답을 교...
ChatGPT와 지난 2020년 화제가 되었던 GPT-3와 무엇이 달라졌는지 찾아본 적이 있습니다. 핵심은 GPT-3가 사람이 선호하는 응답을 내도록 트레이닝하고 인터페이스를 조정한 것에 있더군요.
GPT-3은 Common crawl이라고 하여, 인터넷 상의 온갖 문장을 긁어모은 데이터셋으로 부터 학습되었다고 합니다. 그러다 보니, 윤리적으로든 적절성으로든 사람이 선호하는 대답을 보장하지 않는다는 결점이 있었다고 해요.
그래서 사람이 선호하는 문장을 내도록 학습하는 과정을 추가했다고 합니다. 그 과정에 InstructGPT가 있었고, 이를 Chat에 특화시킨 ChatGPT가 탄생했다고 하네요.
먼저, 사람이 선호하는 대답을 교...
데이터가 비지니스로 사용한다면 사용자 '선호'가 언제나 중요해지는 것 같습니다. 그 안에 선의도 있고 이기심도 있고 윤리도 있고 공정도 있고...ㅎㅎ
늘 살아 있는 경험으로 나눠주시는 이야기 감사합니다!
예전에 다음의 한글 자연어 검색을 만든 "다음 소프트"의 김경서 의장과 교우한적이 있었는데요. 그때 빅데이터의 산출물이 꼭 고객의 입맛에 맞는 것이 아니라는 비즈니스 이슈가 도출되었습니다. 이미 그때부터 사용자 "선호"를 고려한 데이터 분석이 시작된 것이 아닐까 싶습니다.
이미 사용자 경험을 데이터셋 구성으로 바로 직결하는 애자일 구조가 마련된 것 같더군요. 그래서 더더욱 "선호"라는 "의도"에 대한 검증, 관찰, 그리고 조정관리가 투명하게 공개되어야 한다는 생각이 있습니다. 기업은 늘 "선의"라는 포장지 속에 "이기심"이라는 발톱을 숨기고 있으니까요.
의견 잘 읽었습니다. 감사합니다.
앗, 아직 안 읽으신 줄 알고 뒤에 한 문장을 추가하고 왔는데 읽으셨군요! ㅠ
데이터가 비지니스로 사용한다면 사용자 '선호'가 언제나 중요해지는 것 같습니다. 그 안에 선의도 있고 이기심도 있고 윤리도 있고 공정도 있고...ㅎㅎ
늘 살아 있는 경험으로 나눠주시는 이야기 감사합니다!
예전에 다음의 한글 자연어 검색을 만든 "다음 소프트"의 김경서 의장과 교우한적이 있었는데요. 그때 빅데이터의 산출물이 꼭 고객의 입맛에 맞는 것이 아니라는 비즈니스 이슈가 도출되었습니다. 이미 그때부터 사용자 "선호"를 고려한 데이터 분석이 시작된 것이 아닐까 싶습니다.
이미 사용자 경험을 데이터셋 구성으로 바로 직결하는 애자일 구조가 마련된 것 같더군요. 그래서 더더욱 "선호"라는 "의도"에 대한 검증, 관찰, 그리고 조정관리가 투명하게 공개되어야 한다는 생각이 있습니다. 기업은 늘 "선의"라는 포장지 속에 "이기심"이라는 발톱을 숨기고 있으니까요.
의견 잘 읽었습니다. 감사합니다.
앗, 아직 안 읽으신 줄 알고 뒤에 한 문장을 추가하고 왔는데 읽으셨군요! ㅠ