최근 몇 년 동안 딥러닝의 이름 아래에서 수많은 기술적 진보가 있었다. 그 중 몇은 학술적, 산업적 의미를 넘어, 현대 인류문명이 새로운 phase로 진입했음을 보여주는 신호탄의 역할을 하였고, 더 나아가 인간의 존재와 역할에 대한 철학적 사유마저 불러 일으키고 있다.

그런데 딥러닝이란 무엇인가? 사전적 의미는, "은닉층을 포함한 인공신경망과 관측된 데이터를 이용하여 분류, 생성 등을 수행하는 통계적 모형을 완성시키는 과정" 정도로 말해볼 수 있을 것이다. 그런데 딥러닝을 접하기 전에 대학교에서 통계학을 진지하게 공부해본 사람이라면 다음과 같은 의문을 떠올릴 수도 있을 것이다. "딥러닝이라는 거창한 이름이 붙었을 지언정, 결국 그 내용을 보면, 통계적 추론(statistical inference)을 한다는 것인데, 기존에 통계학이 해오던 일과 무엇이 다른가?"

실제로 수리통계학 교과서들 중에서는, 이 글의 첫 문단에서 언급된 일련의 진보과는 무관하게, 이미 딥러닝에 대해 다루고 있었던 책들이 다수이다. 딥러닝도 결국, 통계학에서 다루는, 수많은 통계적 모형 중 하나에 불과하다. 그러면 통계학 교과서를 다시 펴보자. 교과서 중반부~후반부에 모수추정/비모수추정에 대해 논하는 챕터가 있을 것이다. 모수추정은 확률분포의 종류를 우리가 미리 확정해두고, 수집된 데이터를 가장 잘 설명하는 parameter를 찾아가는 과정이다. 일반적으로 parameter의 개수는 비교적 적으며, 그 수는 고정되어 있다. 비모수추정은 확률분포의 모양을 우리가 정해두지 않는다. 일반적으로 parameter의 수는 비교적 많고 그 수는 고정되어 있지 않다.

딥러닝은 어떨까? 모수모형과 비모수모형의 중간 정도의 포지션으로 볼 수 있다. 분포의 모양을 가정하지 않고 parameter의 수는 매우 많지만 그 수는 고정되어 있다. 정리해보면, 통계학이라는 학문의 위계로 판단컨데, 딥러닝은 통계학 교과서의 중반부에 등장하는 통계적 추론 챕터의 서브챕터에 해당하는 내용에...