@청자몽 감사합니다! 늘 꾸준히 읽어주셔서 힘이납니다.
ChatGPT가 단기적으로는 대화 내용을 기억하고 맥락을 유지하지만, 이 내용들이 언어모델의 학습으로 이어지는건 아니라고 해요. 거대 언어모델은 이미 학습을 완료한 정적인 네트워크라서 새로 업데이트 되지는 않는다고 하네요!

우와! 이 글 메인에 올라왔어요! 축하축하.

ChatGPT가 신기한건 사실인데, 뭔가 살짝 섬뜩함이 느껴더라구요. 얘가 지금 나한테 뭘 배우는건가? 내 생각을 캐는걸까? 뭐지? 그런 생각들이..
들어서 몇개 물어보다가 말았어요.

@김재경 전기와 같다는 말이 인상적이군요.. ChatGPT는 윤리적인 학습 과정을 추가로 거쳤고 실제로 효과적이라고 보았기에, 그동안 윤리 문제보다는 거짓말 문제가 상대적으로 주목받아왔던 것 같아요.

탈옥 방법도 하도 다양해가지고.. 모든 게 가상이라던가 할머니 말투로 말해달라던가.. 참 우회할 방법이 많죠. 기존 인터넷상의 인간의 데이터를 학습해왔다는 측면에서, 기존 인간 사회를 시험받는 상황인지도 모르겠습니다. 편향적이지 않은 학습을 해 달라고 요청하면 실제로 편향적이었던 글들에 대해 대항한 데이터셋을 참고한다고도 하니까요.

AI = 전기 와 같다는 모 국내 대기업 관계자분의 말도 인상깊었구요. 사실 범용기술이라면 부정적으로 쓰일 수 있다는 상황 '자체'는 전혀 이상한 것은 아니겠어요. 어떻게 그걸 막아나가느냐의 문제인

생각보다 쉬운 데 엄청 어렵겠죠. 그냥 룰을 벗어나 보고 싶은 충동과 시스템을 비틀어버렸을 때의 결과를 궁금해하며 ‘해보는
사람들’이 없으면 아무 문제가 안 되는데 그 호기심을 참지 못하고 해버려서, 그리고 했을 때 내가 창조자(개발자)나 신처럼 다른 무언가를 이끌어냈다는 쾌감, 자극 때문에 자랑해서(공유, 썰 풀기) 문제가 된 게 맞겠죠. 

악용할 의도는 없지만 정말 그런지 확인하기 위해 해보는 사람들의 증가도 악용할 수 있는 가능성을 높여주는 데 일조한다고 생각하고요. 널리 알려졌으니 블록할 수 있는 기술이 만들어 지겠지만 어떤 기술이나 허점은 있기 마련이잖아요. 불완전한 인간이 만들었으니. 

그러나 그 허점을 파고 들어 악용할 소지를 던져주는 사람들이 많은 문화지체냐, 아니면 허점이 보이고 예상도 되지만 외면할 수 있는 용기를 가진 사람들이 많은 문화지체냐의 차이가 아닐까 싶네요. 

할 수 있음에도 하지 않는 것. 
결국 인간성에 관한 이야기지 싶어요.

재밌어요. 
올리버 색스는 인간성을 위해 다정한 호기심과 예리한 통찰을 발휘했는데 또 다른 영특한 누군가는 인간성 말살을 위해 호기심을 발휘하는 이 아사리판은 신의 실험실인걸까요 ㅎ 

@홈은  인간 사회의 파이는 비타자화의 범주와도 관련되어 보입니다. 확장된 범주의 문명 영역에서 올바른 윤리가 동작하는 방법에 대한 고민이 필요한 것 같습니다..

@연하일휘 저도 처음에 접했을 때 이스터에그처럼 숨겨진 기능이었나 싶었는데, 이런 저런 프롬프트들을 보니, 말로 구슬리는 형식이더군요. 그 방법이 사람을 구슬리는 모양처럼 느껴져 더 섬뜩했던 것 같습니다.

@큐리스 커뮤니티에서도 비슷한 반응을 보았습니다. 생각보다 악당은 아니라고..ㅎ 아쉬운 성능이라는 말도 나오더군요. DAN이 선택할 법한 말을 골라 하는 언어모델의 한계인 것 같습니다.
다만, ChatGPT가 그저 단일 LLM으로써가 아닌 api로 풀려 다양한 앱의 엔진이 되는 지금, 윤리적 제한이 해제된 ChatGPT는 분명 위협일 수 있다는 생각이 듭니다.
더 주목해야 되는 건, 언어모델의 윤리적 학습 상태를 걷어낸 대답을 유도할 수 있는 방법이 있고, 앞으로도 있을 거라는 문제인 것 같습니다..

@최서우 말씀하신 것처럼 인격을 부여한다는 건 아직 GPT만으로는 쉽지 않을 것 같습니다. GPT는 오히려 특정 인격의 입장에서 대답해줘라는 질문에 잘 대답할 만큼 가변성을 가지고 있는 편이라.. 그래서 오히려 고정된 인격이 필요한 것 같습니다. 누군가인 것처럼 대답해줘라는 건, 그 어떤 종류의 대답을 듣기에도 좋은 방법이니 말이죠. DAN처럼요.

제생각엔 지피티가 인격을 가지기엔 쉽지않을것같습니다. 혹은 그 인격 이라는게 인간도 쓰레기가 있듯이 키피티도 그럴려나 하는 상상은 하게되네요!