혼자 vs. 같이: 최적화에서는 어떤 것이 더 효과적일까?
2023/06/02
늦가을에서 겨울철로 넘어가면서, 철새들은 삶의 보금자리를 옮긴다. 철새들 수백, 수천마리가 보금자리를 옮기는 와중에 보여주는 집단의 움직임은 마치 잘 정돈된 군무처럼 보이기도 한다. 철새 한 마리 한 마리의 지능은 그렇게 높지 않을텐데, 이들은 어떻게 3차원 공간 상에서 빠른 속도로 움직이면서도 집단으로서의 움직임을 유지할 수 있는 것일까?
사실 철새의 움직임은 잘 알려져 있다시피 군집 내의 개체들 각각의 에너지의 소모를 최소화하면서도, 안정적으로 집단을 이루어 이동한다는 목표에 최적화된 방식이다. 그렇지만 이를 위해 모든 철새들이 똑똑해야 하거나, 엄청 스마트한 집단의 우두머리가 필요한 것은 아니다. 오히려 철새 개체 한 마리 한 마리는 아주 훌륭한 분산 컴퓨팅 자원이 될 수 있다. 예를 들어 철새가 먹잇감을 찾는 과정을 생각해 보자. 철새가 단독으로 비행을 할 때 자기 주변에 어느 지점에 먹이가 많을 것인지 알기 위해서는 3차원 공간을 모두 일일이 탐색해 봐야 한다. 당연히 시간도 많이 걸리고 새가 가진 에너지에는 한계가 있으므로 대부분 먹이 잡이는 실패로 돌아가, 그 새는 그 날 끼니를 굶어야 하는 일이 다반사다. 그렇지만 두 마리가 짝을 이룬다면 어떨까? 당연히 시간은 1/2로 줄어들고, 먹이를 찾을 확률은 2배로 늘어날 것이다. N마리라면 어떨까? 시간은 1/N로 줄어들고 확률은 N배로 늘어날까? 물론 N이 작은 수라면 그렇겠지만, 새떼가 충분히 많아지면 (즉, N이 충분히 커지면), 조금 더 효과적인 방법이 생길 수 있다. 예를 들어 N마리의 새 중, 어떤 새가 먹잇감이 많이 몰려 있는 것처럼 보이는 곳을 '우연히' 발견했다면 다른 새보다 더 빠르게 그곳으로 날아갈 것이다. 그러면 천천히 여기저기 랜덤하게 날고 있던 새들은 '그 새가 뭔가 발견했나보다!' 라고 생각하면서 (실제로 생각하는지는 모르겠음) 그 새를 따라갈 것이고, 결국 그 새떼에는 하나의 큰 흐름이 순식간에 생기게 된다. 큰 흐름이 생기기 시작하면 나머지 새들도 '뭔가 있나보다!'...
사실 철새의 움직임은 잘 알려져 있다시피 군집 내의 개체들 각각의 에너지의 소모를 최소화하면서도, 안정적으로 집단을 이루어 이동한다는 목표에 최적화된 방식이다. 그렇지만 이를 위해 모든 철새들이 똑똑해야 하거나, 엄청 스마트한 집단의 우두머리가 필요한 것은 아니다. 오히려 철새 개체 한 마리 한 마리는 아주 훌륭한 분산 컴퓨팅 자원이 될 수 있다. 예를 들어 철새가 먹잇감을 찾는 과정을 생각해 보자. 철새가 단독으로 비행을 할 때 자기 주변에 어느 지점에 먹이가 많을 것인지 알기 위해서는 3차원 공간을 모두 일일이 탐색해 봐야 한다. 당연히 시간도 많이 걸리고 새가 가진 에너지에는 한계가 있으므로 대부분 먹이 잡이는 실패로 돌아가, 그 새는 그 날 끼니를 굶어야 하는 일이 다반사다. 그렇지만 두 마리가 짝을 이룬다면 어떨까? 당연히 시간은 1/2로 줄어들고, 먹이를 찾을 확률은 2배로 늘어날 것이다. N마리라면 어떨까? 시간은 1/N로 줄어들고 확률은 N배로 늘어날까? 물론 N이 작은 수라면 그렇겠지만, 새떼가 충분히 많아지면 (즉, N이 충분히 커지면), 조금 더 효과적인 방법이 생길 수 있다. 예를 들어 N마리의 새 중, 어떤 새가 먹잇감이 많이 몰려 있는 것처럼 보이는 곳을 '우연히' 발견했다면 다른 새보다 더 빠르게 그곳으로 날아갈 것이다. 그러면 천천히 여기저기 랜덤하게 날고 있던 새들은 '그 새가 뭔가 발견했나보다!' 라고 생각하면서 (실제로 생각하는지는 모르겠음) 그 새를 따라갈 것이고, 결국 그 새떼에는 하나의 큰 흐름이 순식간에 생기게 된다. 큰 흐름이 생기기 시작하면 나머지 새들도 '뭔가 있나보다!'...
과학적 사고 방법을 토대로 자연과 사회를 해석합니다. 반도체, 첨단기술, 수학 알고리듬, 컴퓨터 시뮬레이션, 공학의 교육, 사회 현상에 대한 수학적 모델 등에 관심이 있습니다. 지은 책으로는 '반도체 삼국지 (2022)', '호기심과 인내 (2022, 전자책)'가 있습니다.
.jpg)
@남도윤 잘 읽어주셔서 감사합니다.
@Fred Kim 잘 보셨습니다. 연구개발에 있어서도 국가안보와 직결되거나 회사 존망이 걸린 개발이라면 감춰야겠지만, 그렇지 않은 일반적인 연구라면 다다익선이고, 개개익선입니다.
@자키바(문정엽) 잘 읽어주셔서 감사합니다. 협업은 장기적으로는 공동체의 존속에 반드시 필요한 요소가 아닐까 생각했습니다.
@반복 잘 읽어주셔서 감사합니다.:)
'그 새가 뭔가 발견했나보다!' 라고 생각하면서 (실제로 생각하는지는 모르겠음)
이 부분이 정말 재미난 표현으로 와 닿았네요..실제로 생각할까요? 아마 안하겠죠?ㅎㅎ
과학을 좀 알게 되면 현실 세계에도 그 논리를 적응시킬 수 있다는 생각을 하니까
부럽기도 하고 나 자신이 너무 무지하다는 생각도 드네요.ㅎ
하지만 나는 내가 잘하는 분야가 있으니까 모든 분야를 골고루 다 잘 할 수도 없고
잘 할 필요도 없겠죠? 각자 자기만의 타고난 재능을 키우고 갈고 닦으면 조직 또는
우리 사회에도 우리 국가에도 조금씩 알게 모르게 기여하는것 아닐까요?
앞으로도 좋은글 많이 많이 방출해 주시와요~
감사합니다.
유익한 글에 감사드립니다. 경영자로 일해 오면서 협력은 늘 관심가는 주제입니다. 조직을 만든 이유도 개인을 넘어서는 성과를 창출하는 것인데요, 효과적인 협력은 필수불가결한 요소라고 생각합니다. 개인으로서 자율적으로 움직이면서, 집단의 행동을 피드백 받아서 다시 조율하는 원리에 대해 생각할 수 있었습니다.
연구의 산출물 중에 좋은 결과는 최대한 드러내고 (내 주장을 방해하는) 나쁜 결과는 최대한 감추는 현상이 계속되는 것도 연구자 개인이라는 agent의 비용 함수 때문이겠죠.
산업계의 반도체 연구에서는 정보 비공계 상태에서 바퀴가 끊임없이 재발명되는 것 같습니다. 요즘 머신러닝학계도 이와 비슷한 경향을 띄려고 하는 것 같아 아쉽네요.
좋은 이야기를 나눠주셔서 감사합니다. 저도 제 개인적인 문제가 있을 때 같이 해결하려 하기 보다는 혼자 해결하려고 하는데, 막힐 때에는 비슷한 문제를 해결할 법한 다른 사람들과 같이 하는 것이 더 좋겠다는 생각이 들었습니다.
철새들이 무리지어 다니며 먹이를 찾는 것이 훨씬 더 효과적일 것이라는 자세한 묘사가 특히 인상적이었습니다.
감사합니다.
@자키바(문정엽) 잘 읽어주셔서 감사합니다. 협업은 장기적으로는 공동체의 존속에 반드시 필요한 요소가 아닐까 생각했습니다.
@남도윤 잘 읽어주셔서 감사합니다.
@Fred Kim 잘 보셨습니다. 연구개발에 있어서도 국가안보와 직결되거나 회사 존망이 걸린 개발이라면 감춰야겠지만, 그렇지 않은 일반적인 연구라면 다다익선이고, 개개익선입니다.
@반복 잘 읽어주셔서 감사합니다.:)
'그 새가 뭔가 발견했나보다!' 라고 생각하면서 (실제로 생각하는지는 모르겠음)
이 부분이 정말 재미난 표현으로 와 닿았네요..실제로 생각할까요? 아마 안하겠죠?ㅎㅎ
과학을 좀 알게 되면 현실 세계에도 그 논리를 적응시킬 수 있다는 생각을 하니까
부럽기도 하고 나 자신이 너무 무지하다는 생각도 드네요.ㅎ
하지만 나는 내가 잘하는 분야가 있으니까 모든 분야를 골고루 다 잘 할 수도 없고
잘 할 필요도 없겠죠? 각자 자기만의 타고난 재능을 키우고 갈고 닦으면 조직 또는
우리 사회에도 우리 국가에도 조금씩 알게 모르게 기여하는것 아닐까요?
앞으로도 좋은글 많이 많이 방출해 주시와요~
감사합니다.
유익한 글에 감사드립니다. 경영자로 일해 오면서 협력은 늘 관심가는 주제입니다. 조직을 만든 이유도 개인을 넘어서는 성과를 창출하는 것인데요, 효과적인 협력은 필수불가결한 요소라고 생각합니다. 개인으로서 자율적으로 움직이면서, 집단의 행동을 피드백 받아서 다시 조율하는 원리에 대해 생각할 수 있었습니다.
연구의 산출물 중에 좋은 결과는 최대한 드러내고 (내 주장을 방해하는) 나쁜 결과는 최대한 감추는 현상이 계속되는 것도 연구자 개인이라는 agent의 비용 함수 때문이겠죠.
산업계의 반도체 연구에서는 정보 비공계 상태에서 바퀴가 끊임없이 재발명되는 것 같습니다. 요즘 머신러닝학계도 이와 비슷한 경향을 띄려고 하는 것 같아 아쉽네요.
좋은 이야기를 나눠주셔서 감사합니다. 저도 제 개인적인 문제가 있을 때 같이 해결하려 하기 보다는 혼자 해결하려고 하는데, 막힐 때에는 비슷한 문제를 해결할 법한 다른 사람들과 같이 하는 것이 더 좋겠다는 생각이 들었습니다.
철새들이 무리지어 다니며 먹이를 찾는 것이 훨씬 더 효과적일 것이라는 자세한 묘사가 특히 인상적이었습니다.
감사합니다.