AI 개발 조직의 다양성문제도 중요하지만, AI 학습 데이터의 문제가 더 중요합니다. 딥러닝 AI의 편향은 주로 학습데이터를 어떻게 다듬어 사용하느냐에서 비롯되는 경우가 많아요. 사실 이루다가 보여준 차별이나 편향은 이미 우리 사회에 만연한 편향의 투영이었을 겁니다. 조직의 다양성은 편향문제가 아니더라도 추구해야할 방향이겠지만, 편향문제를 제대로 해결하려면 데이터의 편향성을 없애는 작업을 하거나 (물론 이런 작업을 할때 작업하는 사람들의 다양성도 중요하겠습니다만) 학습된 AI에 편향성 테스트를 해서 통과해야만 서비스할 수 있도록 하는 AI편향성 제거 사회적 기준을 만들어 제공하거나 해야하지 않나 싶습니다. 이루다같은 범용 챗봇도 문제였지만 사실 우리가 알게 모르게 AI면접이나 AI신용스코어링등에서 행해지고 있는 차별이나 편향은 심각한 수준이라서요. 

저는 AI의 목적이 무엇냐에 따라 조금 다를 것 같아요.

어떤 AI는 1) 사람이 하던 것을 그대로 잘 하거나 편하게 하는 목적을 가진 것인 반면 어떤 AI는 2) 사람이 하던 실수를 최소화 시켜주어서 보다 더 잘하게 하는 것이 목적을 가진 것이 있는 것 같아요.

예를 들면 1)의 경우 가정에서 사용하는 로봇 청소기를 들 수 있을 것 같아요. 특별히 사람보다 더 청소를 잘하길 바라기보단 편리하게 해주는 용도. 꼭 사람보다 잘할 필요는 없죠. 이럴경우에는 사람의 편향이 그대로 나타날수 있어요. 사람이 구석의 먼지를 못치우듯이 기계도 못치울수 있겠죠.

2)의 경우 만약 암 진단의 경우 편향이 문제가 될수 있겠죠. 의사가 혹시 범할수있는 false negative을 줄이기위한 AI의 경우가 예가 될 수 있을 것 같아요. 만약 백인 위주의 사회에서 생긴 데이터를 바탕으로 모델링을 한다면 (그리고 인종에 따라 암이 생기는 외향적 향상이 다르다면) 백인의 암을 찾는데는 도움이 되겠지만 기존 데이터의 편향으로 의도적이지 않은 차별(?)이 생기게 되겠죠.

채팅 혹은 편리를 위한 AI보다 조금이라도 사람을 살리면 이득이라는 의학쪽 AI에서는 편향을 조금 눈감아주는 듯합니다만, 오히려 이케이스를 들여다 봐야지 더 또렷하게 편향이 어떤 문제가 되는지 알수있는 것 같습니다.

안녕하세요, 우선 그간 알지 못했던 것들이 많은데 알려주셔서 감사합니다!

3-1과 관련해,

<이건 업계에 있는 사람들(개발자)가 아니라, 제품의 실 사용자들이 이 편향이 어떻게 생기고 어떻게 위험이 될 수 있는지에 대한 최소한의 지식을 가지고 있는 게 문제 해결과 논의에 필수적이라고도 생각합니다.> 이 말씀에는 200% 공감하는 바입니다. 사실 모든 IT 서비스들에서 나타나고 있는 문제인데요. 이용자들이 가입 당시 잘 읽지 않는 약관에 독소조항을 품고 있는 경우가 대표적이겠죠. 디지털 리터러시에 대한 교육이 시급하다고 봅니다.

3-2와 관련해서는,

사실 저는 반반이라고 생각합니다. 물론 조직의 다양성을 만드는 일은 매우 중요합니다. 이루다 사태를 막기 위해서는 AI 산업 인력의 성별 편향성을 해소해야 한다는 연구 결과도 있으니까요.

다만, PM을 비롯한 이루다 기획팀이 2030 여성들이라는 것은 의외로 잘 알려지지 않은 사실인데요. 그럼에도 불구하고 왜 이런 인공지능이 나왔는지 상당히 의문입니다. 단순히 정량적인 측면에서 성별 다양성을 확보하는 것뿐만이 아니라, 정성적인 측면에서 조직이 얼마나 편향성을 해소하려는 노력을 하고 있는지에 대한 지표도 개발돼야 한다고 봅니다. 그것이 무엇인지 관련 연구가 진행중에 있으면 좋겠네요.

안녕하세요, 우선 그간 알지 못했던 것들이 많은데 알려주셔서 감사합니다!

3-1과 관련해,

<이건 업계에 있는 사람들(개발자)가 아니라, 제품의 실 사용자들이 이 편향이 어떻게 생기고 어떻게 위험이 될 수 있는지에 대한 최소한의 지식을 가지고 있는 게 문제 해결과 논의에 필수적이라고도 생각합니다.> 이 말씀에는 200% 공감하는 바입니다. 사실 모든 IT 서비스들에서 나타나고 있는 문제인데요. 이용자들이 가입 당시 잘 읽지 않는 약관에 독소조항을 품고 있는 경우가 대표적이겠죠. 디지털 리터러시에 대한 교육이 시급하다고 봅니다.

3-2와 관련해서는,

사실 저는 반반이라고 생각합니다. 물론 조직의 다양성을 만드는 일은 매우 중요합니다. 이루다 사태를 막기 위해서는 AI 산업 인력의 성별 편향성을 해소해야 한다는 연구 결과도 있으니까요.

다만, PM을 비롯한 이루다 기획팀이 2030 여성들이라는 것은 의외로 잘 알려지지 않은 사실인데요. 그럼에도 불구하고 왜 이런 인공지능이 나왔는지 상당히 의문입니다. 단순히 정량적인 측면에서 성별 다양성을 확보하는 것뿐만이 아니라, 정성적인 측면에서 조직이 얼마나 편향성을 해소하려는 노력을 하고 있는지에 대한 지표도 개발돼야 한다고 봅니다. 그것이 무엇인지 관련 연구가 진행중에 있으면 좋겠네요.

AI 개발 조직의 다양성문제도 중요하지만, AI 학습 데이터의 문제가 더 중요합니다. 딥러닝 AI의 편향은 주로 학습데이터를 어떻게 다듬어 사용하느냐에서 비롯되는 경우가 많아요. 사실 이루다가 보여준 차별이나 편향은 이미 우리 사회에 만연한 편향의 투영이었을 겁니다. 조직의 다양성은 편향문제가 아니더라도 추구해야할 방향이겠지만, 편향문제를 제대로 해결하려면 데이터의 편향성을 없애는 작업을 하거나 (물론 이런 작업을 할때 작업하는 사람들의 다양성도 중요하겠습니다만) 학습된 AI에 편향성 테스트를 해서 통과해야만 서비스할 수 있도록 하는 AI편향성 제거 사회적 기준을 만들어 제공하거나 해야하지 않나 싶습니다. 이루다같은 범용 챗봇도 문제였지만 사실 우리가 알게 모르게 AI면접이나 AI신용스코어링등에서 행해지고 있는 차별이나 편향은 심각한 수준이라서요. 

저는 AI의 목적이 무엇냐에 따라 조금 다를 것 같아요.

어떤 AI는 1) 사람이 하던 것을 그대로 잘 하거나 편하게 하는 목적을 가진 것인 반면 어떤 AI는 2) 사람이 하던 실수를 최소화 시켜주어서 보다 더 잘하게 하는 것이 목적을 가진 것이 있는 것 같아요.

예를 들면 1)의 경우 가정에서 사용하는 로봇 청소기를 들 수 있을 것 같아요. 특별히 사람보다 더 청소를 잘하길 바라기보단 편리하게 해주는 용도. 꼭 사람보다 잘할 필요는 없죠. 이럴경우에는 사람의 편향이 그대로 나타날수 있어요. 사람이 구석의 먼지를 못치우듯이 기계도 못치울수 있겠죠.

2)의 경우 만약 암 진단의 경우 편향이 문제가 될수 있겠죠. 의사가 혹시 범할수있는 false negative을 줄이기위한 AI의 경우가 예가 될 수 있을 것 같아요. 만약 백인 위주의 사회에서 생긴 데이터를 바탕으로 모델링을 한다면 (그리고 인종에 따라 암이 생기는 외향적 향상이 다르다면) 백인의 암을 찾는데는 도움이 되겠지만 기존 데이터의 편향으로 의도적이지 않은 차별(?)이 생기게 되겠죠.

채팅 혹은 편리를 위한 AI보다 조금이라도 사람을 살리면 이득이라는 의학쪽 AI에서는 편향을 조금 눈감아주는 듯합니다만, 오히려 이케이스를 들여다 봐야지 더 또렷하게 편향이 어떤 문제가 되는지 알수있는 것 같습니다.