집단지성이 발휘되기 위한 조건: 몸무게, 남산의 높이 그리고 앙상블 모델
2023/03/19
1.
학부 시절 한 교양수업의 조교를 맡은 적이 있다. 복잡한 사회 시스템을 물리학의 관점에서 다루는 수업이었는데, 이 수업의 첫 시간은 재밌는 실험으로 시작되었다. 조교의 몸무게 맞추기, 그리고 남산의 높이 맞추기 설문이다. 학생들은 앞에 서있는 조교의 몸무게를 각자 어림해 쪽지에 적는다. 그리고 다음 칸에는 남산의 높이를 추측해 제출한다. 조교는 학생들의 쪽지를 취합해 평균을 내고 실제 정답과 비교한다. 어떤 결과가 나왔을까? 조교의 몸무게 맞추는 문제는 매우 정확한 결과가, 남산의 높이를 맞추는 문제는 실제 높이와 동떨어진 결과가 나왔다. 이 수업의 교수님은 강연이나 수업에서 이 실험을 하실 때마다 비슷한 결과가 나온다고 하셨다. (방송에서 시연하신 적도 있다. 대중이 추측한 몸무게의 오차는 3%지만 남산의 오차는 약 3배다.)
사람의 몸무게와 산의 높이 문제의 가장 큰 차이점은 전문성이다. 우리는 인간의 몸무게에 대한 전문가들이다. 생활의 여러 경험들을 통해 어떤 키와 체형이 얼마의 몸무게를 지니게 되는지 짐작할 수 있다. 반면 산행을 즐기지 않는 사람들은 산의 높이를 잘 모른다. 50kg 무게의 사람을 보며 80kg이라고 추측하는 사람은 없다. 반면 남산의 높이를 어림한 학생들의 답은 100m, 300m, 500m, 심지어 2000m까지 다양하다. 개별 참여자들의 결과보다 그 결과를 갈무리(평균)한 결과가 더 좋다는 것은 집단지성의 가장 유명한 예시다. 축산물 경매장에서 소 무게 맞추기, 침몰한 미국의 잠수함 스콜피온호의 위치 찾기 등의 사례도 있다.
몸무게와 남산 맞추기 실험의 ...
학부 시절 한 교양수업의 조교를 맡은 적이 있다. 복잡한 사회 시스템을 물리학의 관점에서 다루는 수업이었는데, 이 수업의 첫 시간은 재밌는 실험으로 시작되었다. 조교의 몸무게 맞추기, 그리고 남산의 높이 맞추기 설문이다. 학생들은 앞에 서있는 조교의 몸무게를 각자 어림해 쪽지에 적는다. 그리고 다음 칸에는 남산의 높이를 추측해 제출한다. 조교는 학생들의 쪽지를 취합해 평균을 내고 실제 정답과 비교한다. 어떤 결과가 나왔을까?
사람의 몸무게와 산의 높이 문제의 가장 큰 차이점은 전문성이다. 우리는 인간의 몸무게에 대한 전문가들이다. 생활의 여러 경험들을 통해 어떤 키와 체형이 얼마의 몸무게를 지니게 되는지 짐작할 수 있다. 반면 산행을 즐기지 않는 사람들은 산의 높이를 잘 모른다. 50kg 무게의 사람을 보며 80kg이라고 추측하는 사람은 없다. 반면 남산의 높이를 어림한 학생들의 답은 100m, 300m, 500m, 심지어 2000m까지 다양하다.
몸무게와 남산 맞추기 실험의 ...
Once, I was a data cowboy. Now, I'm an idle gentleman in the middle of the day.
Chatgpt에게 이 글의 단점을 서술하라고 해봤습니다. 재밌는 결과가 나와 공유드립니다.
While the article presents a clear and compelling argument, there are a few potential weaknesses that could be addressed:Limited scope:
1. The article focuses primarily on the concept of collective intelligence and its application to machine learning. While this is a valuable discussion, it would be helpful to consider other contexts in which collective intelligence is important, such as group decision-making in organizations or social movements.
2. Overemphasizing diversity: While the article rightly emphasizes the importance of diversity in achieving better results, it may overstate the case at times. For example, it suggests that "if the errors of individual models are diverse, then the ensemble model is more accurate," but this may not always be the case. Additionally, the article does not address potential challenges in achieving diversity or how to overcome biases in decision-making processes.
Overall, while the article provides valuable insights into the concept of collective intelligence and its application to machine learning, it could benefit from additional sources, a broader scope, and a more nuanced discussion of the role of diversity.
@오용재 댓글 감사합니다. 즐거운 조교 활동이었네요.
말씀하신 부분까지 제 생각을 확장하고 싶었지만 능력부족으로 그렇지 못했습니다 ㅠㅠ 어떤 형태의 의견 교류가 최적의 의사결정을 만드는지에 대해 논의하려면 생각의 재료가 좀 더 필요할 것 같아요. opinion dynamics에 관심이 많은데, 제 글에서 주로 다룬 '정답이 있는 문제'에 대한 연구가 있는지 찾아봐야할 것 같습니다.
@윤신영 '캠퍼스 지도 어림잡아 그려보기'라는 과제를 상상해보면, 각 구획(건물이나 길)을 그릴 때마다 오차가 선형적으로 누적될 것 같습니다. 그래서 실험설계를 잘 하지 못하면 대중의 지혜를 빌리더라도 터무니없는 결과가 나올 것 같네요.
산업 프로세스 최적화 모델링과 유사해서 흥미로웠습니다. 최적화 알고리즘을 설계하기 위해 가장 중요한 점이 '검증된' 그리고 '다양한 소스'인데, 이는 전문성과 다양성과 매핑이 되는 듯 하네요. 단지 과학적 접근 뿐 아니라 언론, 미디어의 제안과 대안제시도 두가지가 고려되어야 '집단 지성'이 가능하지 않나 싶네요.
잘 읽었습니다.
매우 흥미롭게 읽었습니다 ㅎㅎㅎ 김범준 교수님 수업조교를 하셨었다니 재미있으셨을 것 같아요! 두가지 문제를 비교하는 것뿐만 아니라, 한 가지의 문제를 놓고 토론을 했을 때와 그렇지 않을 때의 차이를 보기도 했다니 굉장히 잘 디자인된 일련의 실험인 것 같습니다.
어떤 종류의 문제, 혹은 어떤 종류의 네트워크여야 활발한 의견 교환이 정답 도출로 이어지는지에 대해 이렇게 정리된 여러가지 statement를 얻어 둔다면, 문제의 종류별로 보다 나은 의사결정의 방식을 생각해 보는 데에도 많은 도움이 될 것 같아요. 네트워크 하시는 쌤들은 여러 복잡한 현상들을 모형화를 통해 훨씬 정확하고 깔끔한 시야로 이해하시는것 같아 늘 부러운 마음입니다.
재미있게 읽었습니다. 남산 높이 추측 실험 들으니 떠오르는 실험이 있네요. 신입생이 도시계획학 수업 처음 들어갔을 때 하던 과제가 있는데, 캠퍼스 지도를 어림잡아 그려 보는 거예요. 결과 보면 특히 스케일이 엉망진창입니다. 익숙하거나 좀 다니던 곳이 과대평가되기도 하고.. 무척 주관적이지요. 전문성이 없어서기도 하지만, 주관적 인식이 정확한 판단을 망친다고도 볼 수 있는데, 다양성이 모이면 이런 각자의 주관성도 상쇄될지 궁금해지네요. ㅎㅎ 덕분에 재미있는 상상을 해봤습니다.
@JACK alooker 만약 실험을 했다면 조를 짠 경우에 더 오차가 적었겠죠?
사회에서 다양성을 더 포용해야할 이유가 더 생겼네요 ㅎㅎ
와 정말 재미있을 것 같은 수업입니다..ㅎㅎ
좋은 글 잘 읽고 갑니다!
혹시 집단에서 예측한 남산의 높이와 5인의 조를 짠 남산의 높이 예측치는 어떤 차이가 있었을 지 궁금하네요.😁
재미있게 읽었습니다. 남산 높이 추측 실험 들으니 떠오르는 실험이 있네요. 신입생이 도시계획학 수업 처음 들어갔을 때 하던 과제가 있는데, 캠퍼스 지도를 어림잡아 그려 보는 거예요. 결과 보면 특히 스케일이 엉망진창입니다. 익숙하거나 좀 다니던 곳이 과대평가되기도 하고.. 무척 주관적이지요. 전문성이 없어서기도 하지만, 주관적 인식이 정확한 판단을 망친다고도 볼 수 있는데, 다양성이 모이면 이런 각자의 주관성도 상쇄될지 궁금해지네요. ㅎㅎ 덕분에 재미있는 상상을 해봤습니다.
Chatgpt에게 이 글의 단점을 서술하라고 해봤습니다. 재밌는 결과가 나와 공유드립니다.
While the article presents a clear and compelling argument, there are a few potential weaknesses that could be addressed:Limited scope:
1. The article focuses primarily on the concept of collective intelligence and its application to machine learning. While this is a valuable discussion, it would be helpful to consider other contexts in which collective intelligence is important, such as group decision-making in organizations or social movements.
2. Overemphasizing diversity: While the article rightly emphasizes the importance of diversity in achieving better results, it may overstate the case at times. For example, it suggests that "if the errors of individual models are diverse, then the ensemble model is more accurate," but this may not always be the case. Additionally, the article does not address potential challenges in achieving diversity or how to overcome biases in decision-making processes.
Overall, while the article provides valuable insights into the concept of collective intelligence and its application to machine learning, it could benefit from additional sources, a broader scope, and a more nuanced discussion of the role of diversity.
@오용재 댓글 감사합니다. 즐거운 조교 활동이었네요.
말씀하신 부분까지 제 생각을 확장하고 싶었지만 능력부족으로 그렇지 못했습니다 ㅠㅠ 어떤 형태의 의견 교류가 최적의 의사결정을 만드는지에 대해 논의하려면 생각의 재료가 좀 더 필요할 것 같아요. opinion dynamics에 관심이 많은데, 제 글에서 주로 다룬 '정답이 있는 문제'에 대한 연구가 있는지 찾아봐야할 것 같습니다.
@윤신영 '캠퍼스 지도 어림잡아 그려보기'라는 과제를 상상해보면, 각 구획(건물이나 길)을 그릴 때마다 오차가 선형적으로 누적될 것 같습니다. 그래서 실험설계를 잘 하지 못하면 대중의 지혜를 빌리더라도 터무니없는 결과가 나올 것 같네요.
매우 흥미롭게 읽었습니다 ㅎㅎㅎ 김범준 교수님 수업조교를 하셨었다니 재미있으셨을 것 같아요! 두가지 문제를 비교하는 것뿐만 아니라, 한 가지의 문제를 놓고 토론을 했을 때와 그렇지 않을 때의 차이를 보기도 했다니 굉장히 잘 디자인된 일련의 실험인 것 같습니다.
어떤 종류의 문제, 혹은 어떤 종류의 네트워크여야 활발한 의견 교환이 정답 도출로 이어지는지에 대해 이렇게 정리된 여러가지 statement를 얻어 둔다면, 문제의 종류별로 보다 나은 의사결정의 방식을 생각해 보는 데에도 많은 도움이 될 것 같아요. 네트워크 하시는 쌤들은 여러 복잡한 현상들을 모형화를 통해 훨씬 정확하고 깔끔한 시야로 이해하시는것 같아 늘 부러운 마음입니다.
@JACK alooker 만약 실험을 했다면 조를 짠 경우에 더 오차가 적었겠죠?
사회에서 다양성을 더 포용해야할 이유가 더 생겼네요 ㅎㅎ
와 정말 재미있을 것 같은 수업입니다..ㅎㅎ
좋은 글 잘 읽고 갑니다!
혹시 집단에서 예측한 남산의 높이와 5인의 조를 짠 남산의 높이 예측치는 어떤 차이가 있었을 지 궁금하네요.😁