보이지 않는 데이터가 가장 중요하다
2023/12/15
문제 해결을 위해서는 보이지 않는 데이터가 가장 중요하다
에이브러햄 월드(Abraham Wald)는 20세기 초중반 유럽과 미국에서 통계학자로 활동한 헝가리 출신의 유대인이다. 그는 50세도 되지 않은 비교적 젊은 나이에 비행기 사고로 세상을 떠났지만, 통계 이론을 실제 현장의 문제에 적용시키는 데 있어서 많은 업적을 남겼다. 월드는 데이터 과학자(data scientist)라는 말이 존재하기도 전에, 데이터 과학자로 일했던 데이터 과학의 선구자 중에 한 명이다.
월드는 평생을 차별과 싸웠다. 유대인이었기 때문이다. 헝가리에서 태어난 월드는 1931년 오스트리아의 빈 대학교에서 수학 박사 학위를 받았다. 빈 대학은 독일어권의 최상위 명문 대학이다. 그러나 당대 오스트리아 정부가 유대인을 차별했기 때문에 대학에서 안정된 고용 기회를 얻는 데 어려움을 겪었다. 나아가, 1938년 나치가 오스트리아를 무력으로 병합했다. 그 탓에 오스트리아는 월드가 유대인으로서 살기에 더욱 어려운 곳이 됐다. 결국, 월드는 자신의 재능을 꽃피울 기회를 찾아 대서양을 건너 미국으로 이민한다.
2차대전 중 월드는 연합군을 도와 나치에 싸울 기회를 얻는다. 그는 미국 뉴욕 위치에 대한 컬럼비아대의 통계 연구 그룹(Statistical Research Group)의 일원으로 연합군을 지원했다. 구체적으로, 미국 정부의 의뢰를 받아 미국 정부가 당면한 문제를 데이터로 풀었다. 그가 풀었던 문제 중에는 미국 해군이 의뢰한 전투기, 폭격기의 개선 방안에 대한 연구도 있었다. 전투기, 폭격기를 제조하는 데는 돈이 많이 든다. 그게 전부도 아니다. 조종사와 같은 관련 인력을 육성하고, 훈련하는 데는 많은 돈뿐 아니라 오랜 시간이 든다. 이런 맥락에서, 미 해군의 목표는 전투기, 폭격기의 생존율을 높이는 것이었다. 100대의 비행기가 전장에 나갔는데, 1대의 비행기가 돌아왔다면, 이들의 생존율은 1%다.
월드에게 주어진 데이터는 아래의 그림과 같이 생겼다. 전장에 나갔다가 돌아온 비행기들이 있다...
에이브러햄 월드(Abraham Wald)는 20세기 초중반 유럽과 미국에서 통계학자로 활동한 헝가리 출신의 유대인이다. 그는 50세도 되지 않은 비교적 젊은 나이에 비행기 사고로 세상을 떠났지만, 통계 이론을 실제 현장의 문제에 적용시키는 데 있어서 많은 업적을 남겼다. 월드는 데이터 과학자(data scientist)라는 말이 존재하기도 전에, 데이터 과학자로 일했던 데이터 과학의 선구자 중에 한 명이다.
월드는 평생을 차별과 싸웠다. 유대인이었기 때문이다. 헝가리에서 태어난 월드는 1931년 오스트리아의 빈 대학교에서 수학 박사 학위를 받았다. 빈 대학은 독일어권의 최상위 명문 대학이다. 그러나 당대 오스트리아 정부가 유대인을 차별했기 때문에 대학에서 안정된 고용 기회를 얻는 데 어려움을 겪었다. 나아가, 1938년 나치가 오스트리아를 무력으로 병합했다. 그 탓에 오스트리아는 월드가 유대인으로서 살기에 더욱 어려운 곳이 됐다. 결국, 월드는 자신의 재능을 꽃피울 기회를 찾아 대서양을 건너 미국으로 이민한다.
2차대전 중 월드는 연합군을 도와 나치에 싸울 기회를 얻는다. 그는 미국 뉴욕 위치에 대한 컬럼비아대의 통계 연구 그룹(Statistical Research Group)의 일원으로 연합군을 지원했다. 구체적으로, 미국 정부의 의뢰를 받아 미국 정부가 당면한 문제를 데이터로 풀었다. 그가 풀었던 문제 중에는 미국 해군이 의뢰한 전투기, 폭격기의 개선 방안에 대한 연구도 있었다. 전투기, 폭격기를 제조하는 데는 돈이 많이 든다. 그게 전부도 아니다. 조종사와 같은 관련 인력을 육성하고, 훈련하는 데는 많은 돈뿐 아니라 오랜 시간이 든다. 이런 맥락에서, 미 해군의 목표는 전투기, 폭격기의 생존율을 높이는 것이었다. 100대의 비행기가 전장에 나갔는데, 1대의 비행기가 돌아왔다면, 이들의 생존율은 1%다.
월드에게 주어진 데이터는 아래의 그림과 같이 생겼다. 전장에 나갔다가 돌아온 비행기들이 있다...
존스홉킨스 SNF 아고라 연구소 연구과학자. 미국의 대표적 시빅 테크 단체인 코드 포 아메리카(Code for America)에서 데이터 과학자로 일했다. <우리에게는 다른 데이터가 필요하다 (세종서적 2023)>의 저자.
@Fred Kim 찾아보니 SRG의 멤버 중에 월드 외에도 두 분이 노벨(경제)학상을 수상했고, 두 분이 하버드와 스탠포드의 통계학과를 공동 설립했고, 한 분은 로체스터대 총장을 지냈더라고요. 월드는 컬럼비아 통계학과의 공동 설립자 중 한 명입니다: https://stat.columbia.edu/department-history/
@Fred Kim 핵무기 개발, 암호 해석과 함께 통계 기법을 활용한 자원 배분 최적화(데이터 과학)도 전쟁으로 인한 과학의 프론티어였죠.
생존편향에서 가장 유명한 그림으로 많이 봐왔는데, 덕분에 자세한 맥락을 알 수 있었네요.
결국 @김재연 님께서 말씀하신 것처럼 제대로 안다는 것은 보이지 않는 데이타라기 보다는 정밀한 데이터 수집과 함께 데이타의 해석을 현명하게 잘해야 한다는 것으로 보입니다.
@Fred Kim 찾아보니 SRG의 멤버 중에 월드 외에도 두 분이 노벨(경제)학상을 수상했고, 두 분이 하버드와 스탠포드의 통계학과를 공동 설립했고, 한 분은 로체스터대 총장을 지냈더라고요. 월드는 컬럼비아 통계학과의 공동 설립자 중 한 명입니다: https://stat.columbia.edu/department-history/
@Fred Kim 핵무기 개발, 암호 해석과 함께 통계 기법을 활용한 자원 배분 최적화(데이터 과학)도 전쟁으로 인한 과학의 프론티어였죠.
생존편향에서 가장 유명한 그림으로 많이 봐왔는데, 덕분에 자세한 맥락을 알 수 있었네요.
결국 @김재연 님께서 말씀하신 것처럼 제대로 안다는 것은 보이지 않는 데이타라기 보다는 정밀한 데이터 수집과 함께 데이타의 해석을 현명하게 잘해야 한다는 것으로 보입니다.