위의 링크는 Music Plus One이라는 프로젝트의 데모 영상이다. 이 연구의 목적은 동영상에서처럼 솔로로 연주하는 사람에 맞추어 오케스트라 파트를 스스로 연주하는 시스템을 구현하는 것이다. 그 결과가 2010년 ICML(International Conference on Machine Learning)에 Music Plue One and Machine Learning이라는 제목으로 발표되었고, CACM 3월호 Research Highlights 섹션에도 소개되었다.

협주를 하려면 당연하게도 먼저 상대방의 소리를 듣는 법부터 배워야 한다. 간단해 보이지만 기계 입장에서는 악보를 아는 상태에서 연주 소리를 따라가는 것부터도 쉽지 않다. 우선 물리적으로 소리를 감지한 순간부터 처리하는 동안 발생하는 딜레이가 있으며, 빨리 따라가려고 서두른 나머지 나지도 않은 소리를 들어서도 곤란하다. 또, 협연이라는 특성상 오케스트라 스스로 내는 소리와 솔로 연주를 구분하는 것도 필요하다. 이런 다양한 상황에 유연하게 대처하기 위해 연구자들이 사용한 방식은 HMM(Hidden Markov Model)이다.

HHM에서는 시간에 따라 상태가 변하며, 각 상태마다 특정한 현상을 만들어낼 확률을 가지고 있다. 이 경우에는 오른쪽 그림처럼 악보의 모든 음표에 대해 어택-sust 상태 그래프가 있고, 매 프레임(30fps할 때 그 프레임)에서 감지된 오디오 신호로부터 현재 상태를 추정한다.

듣기의 다음 단계는 솔로 연주에 맞추어 오케스트라를 진짜로 연주하는 일이다. 리허설을 통해 독주자와 맞춰가는 과정이 필요한 것은 기계 오케스트라나 진짜 오케스트라나 별반 다르지 않다. 연습을 통해 솔로 연주에 적응(adapt)하는 것이다. 게데가, 연주자에 따른 차이 뿐만 아니라 연주 중간에 시시각각 달라지는 템포 등 다양한 상황에도 순간적으로 맞출 수 있는 모델이 필요하다. 그래서 이 연구에서는 독주자와 오케스트라의 소리가 합쳐진 리듬 모형을 만들어두고 (왼쪽 그림), 리허설을 통해 혹은 실제 연주 중에 들린 소리에 따라 자기가 소리를 낼 타이밍을 예측하고 조정하는 방식을 사용했다고 한다.

내용이 어려워지려고 하니까 급히 마무리하는 감이 있지만(…) 결국 컴퓨터가 협주하는 오케스트라란 수학 모형을 이용해서 솔로 연주 소리를 인식하고, 스스로 연주할 타이밍을 계산해서 미리 녹음된 음을 적당한 템포로 재생하는 것이다. 이렇게 글로 쓰면 밋밋하기 그지없지만, 정말로 이런 시스템이 주변에 있어서 보통 사람들도 쉽게 자기만의 오케스트라와 콘체르토를 연주할 수 있다면 무척 멋지지 않을까?

Related posts:

1. 노다메 칸타빌레: 피아노가 치고 싶어지는 드라마
2. Learning More about Active Learning
3. Automatically Profiling the Author of an Anonymous Text

지난 몇 달 동안은 CACM에 관심이 가는 기사가 거의 없었는데, 이번 8월호는 볼거리가 아주 풍성하다. 물론 기준은 내 마음대로.

Mechanism Design Meets Computer Science – Gary Anthes

풍선찾기 대회가 있다. 다양한 지역에 커다랗게 떠 있는 10개의 풍선을 가장 먼저 찾으면 400만 원의 상금을 받는다. 여러분이라면 어떻게 하겠는가?

미국 DARPA가 실제로 개최한 대회이며 우승팀은 MIT의 한 그룹이었다. 그들이 사용한 원리는 간단했다. 소셜 네트워크를 활용해서 발견한 사람에게 상금을 나누어주는 방식으로 자발적인 참여를 이끌어냈다. 재미있는 것은 일차적으로 모은 사람만이 아니라, 그들이 계속해서 다른 사람들의 참여를 이끌어내도록 인센티브를 설계한 것이다. 내가 참여시킨 사람이 풍선을 발견하면 그 사람과 내가 모두 상금을 할당받는 식이다. 덕분에 단순히 일차적인 모집에 그친 다른 팀보다 더 많은 참여자를 단시간에 모아서 1등을 차지했다. (2등은 조지아텍 팀인데, 그들은 조금 다른 접근방식을 취했다.)

이런 식으로 참여자 각각과 전체의 이익을 고려해서 최고의 효과를 내도록 게임의 규칙을 설계하는 것을 Mechanism Design이라고 한다. 기사에서는 경제학과 게임이론의 영역인 Mechanism Design이 컴퓨터과학과 어떻게 결합하고 있는지를 보여준다. 세상이 복잡한 만큼 게임 규칙을 설계하는 것도 사람이 손수 하기에는 너무 복잡해졌으며 여기에 컴퓨터의 힘이 사용된다. 구체적으로는 공급망 최적화나 경매 시스템 설계에 응용되고 있다. 반대로, IT 분야의 문제를 푸는 데에 Mechanism Design을 적용하는 것도 가능하다. 예를 들어, 효율적인 프로토콜 설계하는 것은 제한된 대역폭을 얼마나 효율적으로 분배해서 쓸 것이냐는 문제이고 이게 바로 저쪽에서 자신있어하는 문제 유형 아닌가.

기사 마지막에서 이런 활용의 위험(pitfall)을 언급하기는 하지만 이론 자체의 복잡성이나 한계에 대한 지적으로 그칠 뿐, 중요한 한 가지를 빠뜨리고 있다. 바로 ‘올바름’에 대한 것이다. 1등을 차지한 MIT 그룹의 아이디어에서 우리는 어떤 위험한 사업 모델을 떠올리게 된다. 바로 피라미드다. 게임이론 자체나 그 결과는 무척 매력적이지만 누가 사용하느냐에 따라서 생길 수 있는 부작용도 간과해서 안 된다. 그 한 사례가 <위험한 경영학>에 짧지만 인상적으로 그려져 있다.

Making Sense of Real-Time Behavior – Sarah Underwood

예전에 한 번 소개한 적이 있는 MIT 미디어랩의 Reality Mining 그룹에 대한 기사가 실렸다. 이 팀을 이끄는 Alex Pentland 교수의 인터뷰를 인용하며, 센서를 써서 사람들의 상태-위치에서부터 생체징후(vital sign)까지-를 “실시간”으로 감지하고 분석하는 연구의 잠재성을 설명한다. 예전에는 입는 컴퓨터(wearable computer)나 센서 네트워크 같은 ‘미래지향적인 가정’이 필요했지만 스마트폰이 유행하는 요즘 같아서는 그렇게 ‘먼’ 미래로 보이지 않는다. 또, Digital Plaster라고 해서 몸에 직접 부착해서 생체신호를 뽑아내는 칩(?)을 연구 중인 회사의 소개도 나온다. (이건 스포츠신문에 돈 주면 해준다는 광고랑 비슷한 것 같기도 하고..;;)

이런 연구에 대한 프라이버시 침해 우려는 참신하지는 않지만 그렇다고 중요하지 않은 건 아니다. 걱정에 대한 대응 논리를 연구자들은 건강(health-care)에서 찾은 듯하다. 병원 진찰자의 피로와 스트레스를 실시간으로 파악해서 진단의 오류가능성을 줄이거나, 목소리 신호를 분석해서 우울증 진단 서비스(depression-monitoring service)를 제공할 수 있다고 주장한다. 사람들의 행동 패턴을 분석해서 오늘 밤 인기 있는 클럽을 찾거나 사무실의 구조 비효율을 개선하는 것보다는 확실히 와 닿는 응용이기는 하지만, 이렇게 나의 행동이 실시간으로 분석되기 시작하면 삶이 참 팍팍해질 것 같다는 느낌은 지울 수 없다.

Related posts:

1. 프리딕셔니어 미래를 계산하다: 게임이론으로 바라본 세상
2. 프로그래밍 유니버스: 흥미로운 아이디어, 쉽잖은 디테일
3. 현실 마이닝(Reality Mining) – MIT Medialab

CACM 2월호에 Informatics Creativity: A Role for Abductive Reasoning?라는 글이 실렸습니다. 귀추법을 써서 창의력을 어떻게 향상시킬 수 있을지를 알려줄 것만 같은 제목입니다 :) 5장짜리 글인데, 앞부분에서는 귀추법이 무엇인지 간단히 설명하면서 현재 활용되고 있는 분야를 소개합니다. 왼쪽 그림만 봐도 귀추법이 어떤 건지 대략 감이 잡히지 않나요? (글에 삽입된 그림 가져온 거에요.)

컴퓨터 과학에서 귀추법이 명시적으로 활용되는 분야로는 인공지능, 추론, 멀티-에이전트 시스템 등이 있습니다. 명시적이라는 단서를 단 이유는 사실상 귀추법이 전혀 쓰이지 않는 분야는 없거든요. 그걸 인지하고 있든 아니든 상관없이 말이죠. 아무튼 이 중에서 특히 제 눈에 들어온 것은 비단조추론(Non-monotonic Reasoning)이었습니다. 비단조추론이 뭐냐 하면, 추론 결과로 이미 알려진 사실이 있더라도 나중에 새로운 정보가 추가됨에 따라 이 결론이 뒤집힐 수 있는 추론 방법을 말합니다. 예를 들어, “매주 일요일마다 야구를 한다”, “오늘은 일요일이다”는 정보가 있을 때, “오늘 야구를 할 것이다”를 추론할 수 있겠죠? 그런데 갑자기 “오늘 폭우가 쏟아진다”는 정보가 추가되면 앞서 얻은 결론을 철회해야 합니다. 바로 이런 경우를 처리할 수가 있어야겠죠? 사람처럼 생각하려면요. 비단조추론의 구체적인 방법으로 Abductive Reasoning이나 Default Reasoning 등이 있는데 자세한 설명은 생략한다 나중에 기회가 되면 따로 글을 써볼게요.

지금까지 성공을 거둔 분야를 소개했으니 이제는 정보학(Informatics)에서 귀추법이 어떻게 쓰일 수 있을지를 얘기할 차례입니다. 정보학을 기존의 다른 학문과 어떻게 구분해야 할지는 저도 아직 잘 모르겠지만, 이 글에서는 데이터마이닝과 비슷한 맥락으로 이해했습니다. 넘쳐나는 데이터 속에서 어떻게 의미있는 발견을 이룩할 수 있을까, 즉 어떻게 유용한 가설을 만들어낼 수 있을까 하는 문제를 언급하거든요.

별 상관이 없어 보이는 데이터 사이에서 관련성을 찾아내는 건 무척 중요하고 또 통찰을 이끌어 내는 유용한 수단입니다. 그렇지만 저자가 드는 예를 보고는 고개를 갸우뚱하지 않을 수 없네요.

• 웹 검색 결과 간의 관계를 시각적으로 표현한다?
• 검색 쿼리에 임의의 키워드를 추가해서 결과에 랜덤한 요소를 부여한다?
• 아마존 사이트에 적용되어 있는 “이 책을 구입한 사람들이 산 다른 책” 기능?

앞에서 잔뜩 기대하도록 분위기 띄워 놓고서 마지막에 와서 하는 말 치고는 너무 약하지 않나요? (ㅠ,ㅠ) 이런 글을 읽을 때마다 생각하는 건데, 참신하면서도 진한 감동을 주는 활용 사례가 하나라도 있으면 글에 대한 전반적인 호감도와 신뢰도가 상승합니다. 하지만, 서두에서 부풀려 놓은 기대감을 결론이 만족시켜주지 못하면 그만큼 아쉬움도 많이 남더군요. 이 글도 마찬가지였습니다. 글의 제목이 물음표로 끝나는 데에는 다 이유가 있었어요. 그냥 “귀추법과 창의성”에 대한 관심을 환기했다는 것만으로 만족해야 하나 봅니다.

Related posts:

1. Commonsense-based Interfaces – Marvin Minsky
2. Programs with Common Sense – John McCarthy
3. 컴퓨터 오케스트라와 콘체르토를

하지만, 전문가 시스템이나 몇몇 제한된 인공지능 분야에서의 성공에도 불구하고 왜 아직까지 스스로 생각하고 학습하는 기계는 없는가, 사람과 세상을 이해하는 기계를 만들려면 어떻게 해야 하는가에 대한 민스키 교수의 생각을 살펴볼 수 있습니다.

이 문제는 크게 두 가지로 살펴볼 수 있는데, 우선 기계가 무언가를 이해하도록 하려면 먼저 그것과 관련된 또는 이해하기 위해 필요한 지식을 가르쳐야 할 겁니다. “이해”라는 걸 한마디로 정의하기는 어렵지만, 최소한 어느 날 갑자기 하늘에서 떨어진 선물은 아니잖아요? 체스 규칙을 알아야 체스 잘하는 법을 배울 수 있는 것처럼 뭔가 기본이 있어야 그를 바탕으로 다른 걸 이해할 수가 있습니다. 상식 데이터베이스(commonsense knowledgebase)의 필요성이 바로 여기에 있는 거겠죠.

그다음으로는 이런 지식을 표현하고 처리하는 방법이 필요한데, 로직 추론(logic reasoning)이나 의미 네트워크(semantic network)같은 것들이 잘 알려진 예입니다. 여기에 대한 민스키 교수의 생각은 아주 단호하더군요. 만병통치약은 없다는 겁니다. 이미 발명된(혹은 발견된) 수많은 방법 중에 어느 게 최고냐를 따질 것이 아니라 이 모든 방법으로 지식을 다루되, 상황과 목적에 따라 적절한 방식을 골라 써야 한다고 주장합니다.

그러자면 어떤 문제일 때 어떤 방식을 쓰느냐에 대한 기준도 필요할 것이고, 여러 표현 방식들 사이의 관계에 대해서도 잘 이해해야 합니다. 세세하게 들어가면, 한 방식으로 시도하다가 잘 안 풀리는 것 같으면 다른 방식으로 다시 시도해야 할 텐데, 그 시점을 어떻게 잡느냐 하는 것도 쉽지 않은 문제겠네요.

결국, 이 글의 요지는 실제 세계의 문제를 표현하는 방식은 여러 가지가 있고, 각 방식에는 나름의 장단점과 한계가 있으므로 필요에 따라 잘 골라 쓰는 접근 방식을 취하자는 것입니다. 그러면서도 마지막에는 우리의 컴퓨터를 개인화하고 더 쓰기 쉽게 만들려면 컴퓨터가 우리의 요구, 즉 사람과 세상에 대한 상식을 더 잘 이해하도록 해야 한다는 말로 글의 내용을 제목 “Commonsense-based INTERFACES”와 맞춰주네요. :-)

9년이나 전에 나온 글이지만 여지껏 튜링 테스트를 통과하는 기계를 만들지 못한 우리에게는 아직 유효한 내용이 많습니다. 관심 있는 분들은 한 번 읽어보세요.

Related posts:

1. Programs with Common Sense – John McCarthy
2. Time-Based Language Models – CIKM 2003
3. Informatics Creativity: A Role for Abductive Reasoning?

내가 봤을 때 전처리가 잘 되어 있고 충분히 믿음직한 좋은 품질의 데이터를 구하는 것이 가장 중요하고 또 어려운 것 같다. 여러 알고리즘 중의 가장 적절한 것을 찾는 것은 그 다음의 일이다.

좋은 데이터를 구하는 게 중요한 일이지만 그렇다고 뾰족한 해결책이 있는 것은 아니다. 그냥 ‘알아서 잘 만들어라.’ 외에는. 그런 이유로 교과서에서는 여기에 대해 길게 설명하지 않는다. 하지만, 실제로 맞닥뜨리면 상당히 많은 시간과 노력을 필요로 하는 작업이라는 걸 알게 된다. 왜냐하면 기본적으로 사람이 데이터를 하나하나 보면서 직접 판단을 해야 하기 때문이다. 인물 사진 10000개를 보면서 그게 누구 얼굴인지 태그다는 일을 생각해보라.

그렇다면… 요즘 ‘자동화!, 자동화!’ 하는데, 컴퓨터를 써서 이 데이터를 만드는 수고도 좀 덜 수는 없을까?

있다. 예로부터 연구자들은 그런 학습 방식을 Active Learning이라고 부르며, 연구된 지도 꽤 되었다.(참고로, 앞에서 얘기한 방식, 즉 모든 데이터를 (사람이) 일일이 평가한 뒤 기계에 학습시키는 방식을 passive learning이라고 부른다.) Active Learning이란 -그 이름이 암시하는 것처럼- 기계가 조금 더 능동적으로 무언가를 배우는 방식이다. 이를테면, 레이블이 달려 있지 않은 데이터가 주어졌을 때 기계가 데이터를 죽 살펴보고는 애매한 것, 경계지점에 놓인 것(informative sample)을 콕 집어서 사람에게 “이건 뭐냐?” 라고 물어보는 식이다. 개념적으로 생각했을 때, 애매하고 경계에 놓인 것을 사람이 판단해줬으니까 기계는 이제 나머지에 대해서 알아서 판단하고 학습할 수 있을 것이고, 따라서 Passive Learning과는 비교도 할 수 없는 적은 노력으로 원하는 것을 얻을 수 있는 것이다. 이론적으로는 말이다.

CACM 2009년 4월호에 Active Learning을 소개하는 글이 실렸다. 페이지 한장짜리 기사인데, 최근(?)의 이론적 성취와 연구 이슈를 간단하게 소개하고 있다. 기계가 물어봤을 때 사람이 잘못 대답해주면 어떻게 될까? 아니면 기계가 물어볼 데이터를 잘못 샘플링하면 어떻게 될까? 뭐 이런 문제들에 대한 이론적인 해답을 조금씩 찾아가는 모양이다.

또, 이론적으로는 완벽하지 않다고 해서 (사람은 어디 완벽히 합리적이고 일관적이던가?) 실제 문제에 적용했을 때 꼭 실패하는 것은 아니다. 성공적인 사례가 보고되면 다시 이론가들은 “어? 이게 어째서 잘 되지?”를 묻기 시작하고, 어떤 사람들은 특정한 사례에 성공했으니까 더 일반화 시키려는 시도를 하기도 하고, 그게 잘 안 될 것 같으면 아예 다른 방향으로 해결책을 고민하는 사람들도 나온다. 예를 들면, 기계가 “이거 애매한데 정답이 뭐에요?”라고 사람에게 물어보는 것처럼, 사람은 기계에게 “이거 틀렸으니까 조금 더 잘 해봐!” 라고 인터랙션을 주는 방식이 있겠다. (Balcan)

아무튼 최근의 기계학습 관련 학회에 실린 논문집을 훑다 보면 Active Learning이라는 단어를 심심찮게 발견할 수 있는데, 최근의 이슈이자 흥미로운 주제인 것만큼은 분명해 보인다.

Related posts:

1. Learning to Rank: 개념만 간단히
2. SIGIR 2010에서 관심이 가는 논문들 – 첫 번째
3. 컴퓨터 오케스트라와 콘체르토를

이 글에서는 Sentimental Analysis라는 용어로, 여태껏 Opinion Mining, Business Intelligence 따위의 단어로 불리던 기술응용분야를 묶었다. Sentimental Analysis를 간단히 설명하자면, 사람들이 적은 글에서 특정 대상(또는 주제)에 대한 저자의 주관적인 의견을 뽑아내는 것이다. 예를 들어 영화 리뷰나 제품 사용기가 있을 때, ‘글을 쓴 사람이 대상을 좋아했는가? 만약 그렇다면 얼마나 좋아했는가?’를 알아내는 것부터 ‘그 영화 줄거리는 좋은데 배우가 연기를 못 해’ 같은 의견을 추출하는 것까지를 모두 포함한다.

이런 작업을 제대로 하려면, 한 문장의 긍정/부정을 판정하는 것을 시작으로 호불호의 정도를 파악하고 저자의 의도까지 파악해야 하는데, 생각처럼 그리 녹록한 작업은 아니다. (“그 영화에서 마음에 들지 않았던 것은 배경음악뿐이다.” 이런 문장을 생각해보자.) 게다가 글의 문맥이나 쓰인 단어의 뉘앙스까지 고려해야 하니까… 기술적 난이도는 짐작하는 것 이상일 것이다.

따라서 글에서 소개된 기업들이 심오한 기술적 성취를 이뤘을 거라고는 사실 별로 생각하지 않는다. 사례로 들고 있는 것들을 보면,
1) 웹에서 특정 주제가 얼마나 많이 언급되고 그에 대한 긍정/부정은 어떤지 보여준다거나
2) 리뷰에서 추출한 구절(phrase)을 검색 결과에 반영한다거나
3) 분석한 결과를 기업 마케팅이나 내부 프로세스에 적용한다는 얘기가 많다.

결국, 그동안 이론적으로 연구된 내용이 제품으로 개발되어 실제 비지니스에 응용되기 시작할 것이라는 데에 의미가 있는 것 같다. 확실히 이 Sentimental Analysis가 정확하게 제대로 잘 된다고 했을 때 그 응용분야를 상상하는 것은 무척 흥미진진한 일이다. 그때쯤이면 지금 인터넷 쇼핑 사이트에서 “추천 시스템”이나 “관련 상품 보여주기” 기능이 일반화(?)된 것처럼, 리뷰 분석 결과를 마케팅에 활용하는 것이 당연시될 것이고.. (또 그밖의 다른 응용은 미래의 즐거움으로 남겨두기로 하자.)

하지만 아무리 기술이 성숙해지더라도 그것이 어떻게 쓰이는지는 결국 기술의 사용자에게 달렸다. 뉴스와 댓글분석이 가능해졌을 때, 사용자에게 특정 사안에 대한 다양한 관점을 보여주는 용도로 쓰일 수도 있겠지만 또 한편으로는 여론몰이에 활용될 수도 있지 않을까? 기업이 자기네 제품에 대한 안 좋은 리뷰를 발견했을 때, 쓰게 받아들여서 추후 개선 노력을 할 수도 있겠지만 그냥 간단하게 ‘허위사실유포’라는 사유로 검색포털에다가 삭제 요청을 해버릴 수도 있지 않은가?

이제 막 피어나기 시작하는 기술을 바라보며 잠시 핑크빛 꿈에 부풀었다가 결국은 괜히 생각만 많아졌다.

Related posts:

1. 문서의 품질을 자동으로 측정할 수 있을까?
2. Learning More about Active Learning
3. Automatically Profiling the Author of an Anonymous Text

Advising students for success

기고자인 Jeffrey D. Ullman은 스탠포드 대학교의 컴퓨터공학과 교수이며 지금까지 53명의 박사과정 학생을 지도해왔다. 그가 학위논문(thesis) 주제의 선정이나 연구 방식에 대한 자신의 생각을 들려주는데, 그 중에서 가장 인상적인 것은 주제 선정에 대한 확고한 소신이었다. ‘연구를 위한 연구, 논문을 위한 논문’을 지양하고, 학생 스스로 정말로 의미있고 풀 가치가 있는 문제를 찾아야 한다는 것이다. 왜냐하면 대학원의 목표는 -학위 그 자체가 아니라- 스스로 문제를 만들고 독립적으로 연구할 수 있는 인력을 양성하는 것이기 때문이다.

(쓰고 보면 너무 당연한 얘기같지만, 이런 글이 실린다는 것은 현실에서는 꼭 그렇지 않다는 고백 아닌가)

그러면서 저자는 오래전 벨 연구소에서 인턴하던 시절의 경험담을 들려준다. Multics라고 해서, 당시로서는 최첨단 하드웨어였던 GE635 컴퓨터의 운영체제를 개발하는 프로젝트가 있었는데, 여기에 여러 개의 레지스터를 활용해서 컴파일하는 기법이 필요했다고 한다. 그리고 Ravi라는 학생이 이러한 업계의 요구로부터 문제를 발견하여 해결 알고리즘을 고안해내고 학위논문까지 완성했다는 이야기다. 즉, 다른 사람의 논문을 보고 ‘남겨진 문제’(open problem) 중에서 하나를 골라 약간 개선하는 것이 아니라, 연구자 스스로 고객(넓은 의미에서)의 요구를 파악하고 스스로 문제를 만들어 내는 것이 중요하며 또한 그렇게 할 때 보다 가치있는 성과를 이뤄낼 수 있다고 강조한다.

물론 이러자면 연구 최전선에서 그 분야의 트렌드를 접할 수 있는 환경이 중요하므로 -학생의 특권이라고 할 수 있는- 인턴쉽 기회를 활용하면 좋을 것이다. 하지만 꼭 그런 기회가 아니더라도 다양한 방식, 이를테면 벤처 창업 같은 것도 말리지 않는다고 한다. 적어도 Ullman 교수는 말이다.

읽다 보니 도대체 연구 주제를 어떻게 선정해야 하는가, 과연 이것이 논문 거리가 되느냐를 두고 사람들과 열띤 대화를 나누던 기억이 떠올랐다. 그때에는 자신의 연구 스타일을 강하게 드라이브 하시던 분께는 막 반항(?)하고 그랬더랬다. 암튼 해외 유명 학교의 교수 중에는 이렇게 지도하는 사람도 있구나 싶어서 간단히 소개해 본다.

Related posts:

1. About
2. 자주 방문하는 사이트를 알파벳 문자별로 알아봅시다

이런 게 왜 필요할까? 가령 어느 익명 게시판에 갔더니 특정 상품에 대해 부정적인 리뷰가 넘쳐난다고 생각해보자. 회사 관계자라면 그 상품을 나쁘게 평가한 소비자들이 주로 남자인지 여자인지, 청소년인지 장년층인지 궁금하지 않을까? 그밖에도 여러 재미난 응용을 찾아낼 수 있을 것 같다 :)

CACM(Communications of the ACM) 2009년 2월호에 <Automatically Profiling the Author of an Anonymous Text>라는 제목으로, 이 Authorship Profiling을 구현해서 성능을 실험한 연구 결과가 실렸다.

저자들은 사람들이 쓴 글의 스타일과 내용 상의 특징을 보고 그 저자의 실제 성별과 나이, 모국어 등을 추측하려고 했다. 영어 텍스트에서 스타일(기능어(function word)와 각 품사(part-of-speech)의 사용 빈도) 그리고 내용(많이 쓰인 단어) 특징을 뽑아낸 뒤 여기에 기계학습(machine learning) 기법을 적용해서 분류모델을 만든다. 이렇게 모델을 만드는 단계를 훈련(training) 과정이라고 하는데, 훈련이 끝나면 다음 차례는 모델이 얼마나 똑똑한지를 평가하는 것이다. 어떻게? 훈련에 쓰이지 않은 새로운 텍스트를 입력해서 모델이 스스로 저자의 특성을 예측하도록 한 뒤에 실제 저자정보와 비교하면 된다.

실험에 쓰인 텍스트 종류는 다양한데, 우선 약 2만 명의 블로그 글을 가지고 성별과 나이를 추측하는 실험을 했다고 한다. 성별은 맞고 틀림이 명확하지만 나이를 정확히 맞추는 건 너무 어렵다. 그래서 10대(13 ~ 17, 42.7%), 20대(23 ~ 27, 41.9%), 장년층(33 ~ 47, 15.5%) 이렇게 세 집단으로 나누었다. 과연 결과는? 얼마나 정확했을까?

성별은 그냥 눈 감고 찍으면 50%의 확률. 또, 나이는 10대가 42.7%로 가장 많으므로 아무생각없이 무조건 10대라고 찍으면 42.7%의 정확도는 보장할 수 있다. 결과를 보기 전에 먼저 한 번 생각해보자. 어느 정도면 ‘그래 그 정도면 훌륭해’ 라고 인정할 수 있을런지…

…

실험에서 성별 정확도는 대략 75%가 나왔다. 또 나이대 예측은 67% ~ 77%의 정확도를 보였다. 범위로 표현한 이유는, 예측할 때 스타일만 보느냐, 내용만 보느냐, 둘 다 보느냐에 따라서 성능이 달라지기 때문이다.

이 정도면 잘 한 건가, 아니면 기대 이하인가?

그밖에도 영어학습사이트에 각 나라 사람들이 올린 글의 스타일이나 오류를 보고 저자의 모국어를 추측하는 실험도 있고, 대학생들에게 “의식의 흐름”에 따라 에세이를 쓰도록 한 뒤 이를 보고 신경과민 여부를 맞추려는 재미난 실험도 있었다. 자세한 설명과 결과는 논문에서 찾아보도록 하자.

여러가지로 흥미로운 내용이지만, -저자들도 여러 번 강조했듯이- 실험 세팅(블로그 글은 주제나 스타일에 있어 나름의 특성이 있다)에 따라 정확도나 저자들의 발견 내용이 달라질 수 있음을 염두에 두고 논문 결과를 바라볼 필요도 있어 보인다.

Related posts:

1. 포터 알고리즘(Porter’s Stemming Algorithm)
2. Learning More about Active Learning
3. 컴퓨터 오케스트라와 콘체르토를

많이 알려진 것은 CACM(Communications of the ACM)으로, 컴퓨터와 관련된 내용을 폭넓게 다룬다. 최근의 특집만 봐도, 비즈니스 네트워크, 스팸 전쟁, 소프트웨어 개발, 정보 시스템 등으로 다양하다.

그밖에 HCI 분야에 종사하는 사람이 관심이 있을 만한 것으로는 interactions가 있다. 이름이 암시하는 것처럼 사용자 인터페이스 쪽에 특화된 내용을 다루며, 매달 발행되는 CACM과 달리 두 달에 한 번만 나온다. 꼬박꼬박 찾아보지는 못하고, 가끔 목차에서 흥미를 끄는 제목이 있을 때만 읽고 있다. 참고로, 이전에 소개한 The Next UI Breakthrough도 바로 여기에 실린 글이었다.

일반적으로 논문이 하나의 문제를 깊이 있게 다루는 데 비해 이런 잡지의 글은 전문가들이 어떤 분야의 최근 연구 추세나 향후 해결해야 할 과제 등을 설명하는 경우가 많다. 그래서 전반적인 흐름을 파악하거나 시야를 넓히는 데 많은 도움이 된다.

Related posts:

1. About
2. 자주 방문하는 사이트를 알파벳 문자별로 알아봅시다
3. CACM 8월호: 흥미로운 기사들