여섯 번째 주제는 ‘피드백 패턴’입니다. 생성형 AI의 성능을 유지하고 개선하기 위해서는 사용자가 제공하는 다양한 형태의 의견과 반응, 행동을 활용하거나 AI 전문가의 판단이 필요합니다. 이를 통해 AI의 강점과 약점을 파악하여 지속적으로 발전시킬 수 있습니다. 이번 글에서는 생성형 AI 중에서도 인간 언어 작업을 위해 특별히 설계된 LLM의 피드백 시스템에 대한 연구 사례를 살펴보고, AI의 성능을 어떻게 개선할 수 있는지 이야기해보고자 합니다.

인공지능은 대규모 데이터셋으로 사전 학습(Pre-Training)을 합니다. 이 과정은 AI가 일반적인 지식을 배우는 것으로, 마치 우리가 학교에서 교과서를 통해 국어, 영어, 수학을 배우는 것과 비슷합니다. 초등학교, 중학교, 고등학교를 거치며 기초 지식을 쌓아가는 것처럼, AI도 대규모 데이터셋을 통해 기본적인 지식을 쌓습니다.

그러나 교과서의 기초 지식만으로 응용문제를 풀거나 다양한 실제 상황에 대응하기에 충분하지 않을 수 있습니다. 기초 지식을 쌓은 AI가 목적에 맞게 잘 작동하려면 피드백이 필요합니다. 제공받은 피드백으로 AI는 더 안전하고 유용한 답변을 제공할 수 있게 되며, 성능을 향상할 수 있습니다.

사용자가 AI에게 줄 수 있는 피드백은 크게 두 가지로 나뉩니다. 직접적인 피드백과 간접적인 피드백, 이 두 가지 피드백은 AI의 학습과 성능 향상에 중요한 역할을 합니다.

직접적인 피드백은 사용자에게 의도적으로 피드백을 제공받는 것을 의미합니다. 예를 들어, AI의 답변에 만족하지 않을 때 "좋아요" 또는 "싫어요" 버튼을 누르거나 버그 리포트를 작성하는 방법입니다. 이러한 피드백은 명확하고 직접적이지만, 사용자가 자발적인 행동을 해야 하기 때문에 참여율이 낮습니다. 직접적인 피드백 수집 방법은 기존의 웹이나 앱 서비스의 피드백 메커니즘과 매우 유사합니다.