불멸의 이론: 휴우…
평소와 달리, 이 책을 읽고 나서는 인터넷 서평을 먼저 검색했다. 다른 이들은 어떻게 읽었는지 너무나 궁금했기 때문이다. 원문과 대조하며 번역 오류를 지적한 글이 눈에 띄긴 했지만, 마지막장을 덮은 후 내 머릿속에 둥둥 떠다니는 느낌을 풀어주는 글은 찾지 못했다. 영어로 눈을 돌리니 한 아마존 서평이 딱 집어서 얘기해놓았다.
Mcgrayne turns the history of Bayes rule into a pitched battle between intransigent opponents, but we never find out what the real issue are.
『불멸의 이론』(원제: The theory that would not die)이라는 매력적인 제목을 달고 나온 이 책의 주제는 베이즈이론이다. 그 이론의 시초라고 하기에는 이론의 성립에 실제 공헌한 바가 적은 토마스 베이즈로부터 시작해서, 라플라스, 앨런 튜링, 존 튜키 -여기까지는 알던 이름-, 아서 베일리, 제롬 콘필드, 데니스 린들리 등 -여기는 모르던 이름-이 줄줄이 등장한다. 이 책의 분류에 의하면 이들은 베이즈이론을 수용했거나 적어도 우호적인 사람이고, 그 반대파인 빈도주의자로는 유명한 통계학자 로널드 피셔 등이 소개된다. 이 학자들이 오늘날 베이지안 통계학, 베이지안 추론이라고 불리는 것에 어떤 기여를 했고, 거기에 깔린 역사적인 정황과 맥락이 어떠했는지를 설명한다. 장장 600페이지, 레퍼런스만 60페이지에 걸쳐서.
학문의 역사라는 장르에다가 주제까지 흥미로우니 내가 딱 좋아할 만한 책이다. 그럼에도 내가 독서를 그다지 즐기지 못한 데에는 두 가지 이유가 있다. (단언컨대, 책의 두께 때문은 아니다.)
금기?
이 책의 관점은 기본적으로 통계학 내에서 빈도주의자와 베이지안 간의 싸움이다. 원래 통계학의 주류는 빈도주의자들이었고, 베이즈이론에 기반한 학파는 무시를 당해왔다. 하지만 세상이 복잡해지면서 빈도주의 방법론의 한계가 드러났고, 반면에 베이지안에 기초한 방법은 컴퓨터의 도움을 받아 실질적인 성과를 거두며 점차 힘을 얻었다. 이제는 전세가 역전되어 스팸 필터, 기계번역 및 다양한 분야에서 베이지안 통계학은 없어서는 안 될 이론이 되었다는 것인데..
베아지안과 빈도주의자 사이의 논쟁은 알고 있다. 그런데 본문을 읽다보면 정말 이 정도였을까 싶을 때가 많다. 학문의 세계에서도 여러 종류의 다툼이 있을 수 있고, 또 대세의 흐름에 따라 어떤 개념이 인기를 얻었다가 잃었다가 할 수도 있는 것 같은데, 이 책은 “통계학자들이 금기시한 단 하나의 이론!”이라는 스토리텔링을 위해서 의도적으로 그런 과정을 확대 과정한다는 인상을 받았다. 나같은 독자를 예상했는지 저자는 중간중간 관련 인물의 실제 발언을 -특히 베이즈라는 단어가 분명히 들어간- 인용하면서 정말로 그런 비판과 핍박(!)이 있었다고 근거를 제시한다.
개념?
그렇다면 책에서 말하는 베이즈이론이란 무엇인가? 내가 생각하는 이 책의 단점은 저자의 베이즈이론, 베이지안, 베이즈주의자의 의미가 모호하다는 점이다. 어떤 때는 통계학 추론의 방법으로서 베이지안을 말하다가 또 어떤 때는 접근 방법론으로서의 베이지안 사고를 얘기한다. 심지어는 철학인가 싶을 때도 있다. 보통 베이즈규칙(Bayes’ Rule)이라고 하면 이런 얘기다.
\[P(H|D) = \frac{P(D|H) \times P(H)}{P(D)}\]- P(H|D): 어떤 데이터 D가 관찰되었을 때, 가설 H가 참일 확률, Posterior라고 한다. 우리가 알고 싶은 값
- P(D|H): 가설 H가 참일 때, 데이터 D가 관찰될 확률, Likelihood(우도)라고 한다.
- P(H): 가설 H의 사전(선험) 확률, Prior라고 한다.
- P(D): 데이터 D가 관찰될 확률, 이미 D가 관찰되었으므로 보통 무시된다.
어떤 현상이 관찰되었을 때, 그 관찰값의 배후에 깔린 무언가를 예측할 때 많이 사용한다. 예를 들면, 어떤 이메일을 받았을 때(관찰) 이것이 스팸메일(가설)일 확률. 그렇기 때문에 이 도구는 여러 가설 중에서 하나를 선택해야 할 때 유용하다. 특정 메일이 스펨일 확률과 스팸이 아닐 확률을 계산해서 확률이 더 큰 가설을 취하면 된다. 바로 이 확률을 Posterior라고 하고 Likelihood와 Prior의 곱에 비례한다.
과거 데이터를 기준으로 스팸메일에서 특정 단어가 나올 확률, 정상메일에서 그 단어가 나올 확률을 계산할 수 있다. 이게 Likelihood.
문제는 선험 확률 혹은 사전 확률이라고 하는 Prior Probability이다. 다른 아무런 정보가 없을 때, 메일이 스팸일 확률은 얼마인가? 50%? 상식적으로 스팸보다는 정상메일이 훨씬 많으니까 50%는 너무 크고, 한 5% 정도면 적당할까? 여기에 주관이 개입할 여지가 생긴다. (물론 데이터에 기반해서 추정할 수도 있다.)
이 책에 따르면, 선험 확률의 주관성(+ 확률의 개념)을 놓고 베이지안과 빈도주의자가 맞붙었는데, 그 전투 묘사에 너무 몰두한 나머지 독자를 그저 방관자로 내버려둔다. 종군기자까지는 못 되더라도 그 치열한 전장에 들어가서 전투의 포인트가 무엇인지 이해하고 싶은데 말이다. 그러다보니 저자가 자랑스럽게 베이지안의 성공담을 내놓고 승리의 깃발을 꽂을 때에도 함께 즐거워할 수가 없다. 여기에는 저자가 베이지안 방법론이 기여한 내용을 피상적으로만 설명한 탓도 있다.
그럼 장점은?
위의 아쉬움을 빼면, 그래도 이 책에서 얻을 것은 많다. 다양한 분야에서 통계학에 기여한 인물들의 활약상, 특히 정말 의외의 인물인 앨런 튜링이 등장해서 2차세계대전 때 독일군 암호 푼 얘기, 통계학의 피카소라는 존 튜키(John Tukey) 일화, 연방주의자 논고 문제, 바닷속에 실종된 잠수함 찾기 등이 흥미로웠다. (물론 구체적인 방법이나 이론 설명을 기대하면 안 된다.)
PS. 이 책의 베이즈주의 편향을 해소하기 위해 다음엔 통계학을 전공한 동료가 추천한 『통계학의 피카소는 누구일까』를 읽어보려고 한다. 원제는 The Lady Tasting Tea이며, 이전에 『천재들의 주사위』로 번역되었으나 절판되었고, 번역자가 바뀌어서 새로 출판됐다.
노란 형광펜
- 이미 알려진 사건의 가장 그럴 법한 원인으로 돌아가서 수학적으로 움직이는 일반적인 이론의 길을 느낌으로만 더듬어서 나아가는 것처럼 보였다., 53p
- 라플라스는 이런 격변기 동안 줄곧 혁명의 가장 중요한 과학 프로젝트 가운데 하나이던 도량형 기준의 표준화 작업의 중심적인 인물로 활동했다. 미터, 센티미터 그리고 밀리미터라는 이름을 만들어 붙인 것도 바로 그였다., 72 ~ 73p
- 제2차 세계 대전 때부터 암호 해독과 관련된 기술적인 모든 것은 기밀사항이었다. 굿은 이러한 상황을 순순히 받아들이면서도 다른 한편으로는 어떻게 하면 이 족쇄를 풀고 자기가 했던 일들을 사람들에게 알릴 수 있을까 고민하며 여러 가지 방안을 모색했다., 223p
- 하나의 운동으로서 베이지안은, 판구조론과 같이 참이 아니면 거짓인 어떤 과학적인 법칙이라기보다는 오히려 철학과 비슷했다., 234p
- 의사와 전염병 전무가들은 통계학에 대해서 공포를 가지고 있었다. 이 공포를 지우기 위해서 콘필드는 이들에게 쉽게 다가갈 수 있는 접근법을 개발했다. 어렵고 딱딱한 표현을 버리고 자주 또 많이 웃으면서 그들과의 개인적인 친밀감을 강화했다., 254p
- 바로크식의 관현악을 들으면서 연필로 원고 교정 작업을 했으며, 원고 맨 앞에는 언제나 ‘저자, ____와 존 W. 터키’라고 썼다. 이렇게 완성한 원고는 오랜 기간 비서로 일했던 두 사람 가운데 한 사람에게 넘겨줬으며, 그 다음에는 그 원고를 최종적으로 완성해 줄 공동 저자를 찾아나섰다., 368 ~ 369p