구글 검색 팀에서는 생성 AI 콘텐츠를 고려한 Robots.txt 표준 업데이트를 리딩하면서 관련 업계의 참여를 기대하고 있어요. 최근 LLM 등 생성 AI 모델은 주로 인터넷의 공개된 콘텐츠를 크롤링하여 만들어집니다. 이런 AI가 생성한 새로운 콘텐츠들은 원본 콘텐츠 생산자의 명시적 동의 없이 크롤링 되는 경우가 많습니다. AI에서 사용되는 콘텐츠 범위는 계속 넓어지고 있고 콘텐츠 생산자는 본인 소유 콘텐츠가 어떤 경우에만 허락할지 결정하고 싶지만, 현재의 웹 크롤러는 이러한 AI 목적에 세분화된 목적과 권리 표현이 어렵습니다. 게다가 RAG (Retrieval-Augmented Generation) 와 같은 AI 확장 기술들은 모델이 아닌 서비스로서 인터넷에 공개된 콘텐츠를 가져와 활용하는데요. 이러한 방식으로 콘텐츠가 이용되는 것에 대해 “콘텐츠 생산자가 동의를 했는가?” 등 관련 논의 역시 아직 충분히 이뤄졌다고 볼 수 없습니다. 현재 기존 Robots.txt ...