앨런 튜링 (Alan Turing)에 의해 현대의 컴퓨터 개념이 처음 제시된 이후, 폰 노이만 (John von Neumann)은 그것을 시스템 레벨에서 어떻게 구현할 수 있을지에 대한 기본적인 아이디어를 제시했습니다. 그러나 튜링과 노이만을 잇는 동시대, 컴퓨터가 정보를 처리하고 의미 있는 결과를 만들 수 있는 아이디어를 제시한 사람을 잊으면 안 됩니다. 그 사람은 정보이론의 아버지라 불리는 클로드 샤논 (Claude Shannon)입니다. 샤논은 2진법을 이용한 정보의 표현, 정보의 '량', 정보 엔트로피 (Shannon entropy)와 그리고 정보의 복잡도 같은 개념을 수학적으로 그리고 물리적으로 정의했습니다. 이를 통해 전기 신호로 표현될 수 있는 정보가 어떻게 전자 장치에서 처리될 수 있을지의 개념이 구체화되기 시작했습니다.

20세기 중반, 트랜지스터의 등장과 더불어, 정보 이론과 컴퓨터 기술의 조합은 컴퓨터 발전의 초석이 되었습니다. 그렇지만 정보를 처리한다는 것은 단순히 빠르게 처리하는 것만은 능사가 아닙니다. 그림 1에 보인 것 같이, 빠르게 계산한 결과가 의미 있으려면 당연히 그 결과의 정확도가 보장되어야 하기 때문입니다. 그런데 의외로 계산 결과가 당연히 정확할 것 같은 컴퓨터도 여러 노이즈로 인해 오류가 생기곤 합니다. 물론 그 빈도가 매우 작기 때문에 일상 생활에서는 잘 느끼지 못 할 뿐입니다. 예를 들어 현재 쓰이는 컴퓨터는 대략 초당 1-10억 번 정도의 '계산'을 합니다 (최신 CPU 코어의 클럭 수는 GHz 단위입니다). 이 계산은 CPU 코어에서의 클럭에 따라 0과 1이 배분되면서 처리되는 과정을 거칩니다. 이 때 매 계산 단계에서 0과 1이 뒤바뀐다면 계산 결과에는 오류가 생기기 시작할 것입니다. 매 단계에서 오류가 나올 확률이 0.001%라고 해도, 1억 단계의 계산을 하게 된다면 오류가 발생할 확률은 사실상 100%에 도달하게 됩니다. ...