'겹치는 신뢰구간'이라는 통밥에 대한 커멘트 by 박준석

'겹치는 신뢰구간'이라는 통밥에 대한 커멘트

박준석 · 데이터 사이언티스트입니다.

2023/01/12

예전부터 한 번 페이지에서나 다른 지면에서나 이야기하고 싶었던 주제였는데, 마침 관련 글이 하나 올라왔길래 한 번 다루어 봅니다. 겹치는 신뢰구간에 대한 이야기입니다.

결론부터 말하면, 어떤 두 통계량 (이를테면 지지율 같은 것) 의 신뢰구간이 겹치는지 아닌지는 그 차이가 통계적으로 유의한지 아닌지를 판단하는 데 유용한 휴리스틱 (어림법) 일 수 있습니다. 그러니까 두 통계량의 신뢰구간이 겹치면 차이가 통계적으로 유의하지 않다, 겹치지 않으면 차이가 유의하다는 식으로 판단하는 것 말입니다. 만약 신뢰구간 간의 거리가 아주 멀거나, 아주 가까우면 큰 문제가 없습니다. 그런데 애매하게 겹칠 때는 회색지대가 있을 수 있습니다. 얼마나 애매하게? 그건 상황에 따라 다릅니다. 그런데 그런 상황에서는 “겹치는지 보는” 어림법이 틀릴 수 있다는 말입니다. 대신 정확히 계산해야 합니다.

간단한 예를 하나 들어 보겠습니다. 서로 독립적으로 추출된 표본에서 계산된 두 개의 통계량 X, Y가 있는데, 각각의 95% 신뢰구간이 다음과 같이 주어졌다고 가정하겠습니다. 여기서 신뢰구간은 관측된 값을 중심으로 대칭인데, 대략 플러스 마이너스 2표준오차 (standard error) 라고 해 보죠. 그리고 표준편차와 표준오차는 원래는 다른 개념이지만 이 글...