그동안 읽은 책들 간의 관계를 시각적으로 표현한 것이다. 파란색은 책의 제목, 빨간색은 내가 책에 붙인 태그 단어다. 원래는 (책 – 저자)로 할랬는데, 한 저자의 책을 여러 권 읽지 않는 내 취향 때문에 저자 대신 태그를 썼다. 책이 아니라 논문이라면 (논문 – 저자) 쌍도 괜찮을 것이다.

지상 최고(…)의 프로그램 엑셀에다가 제목과 태그만 입력하면 나머지는 NodeXL이 알아서 그래프로 그려준다. 아, 노드 색깔과 점 크기(다른 것보다 큰 빨간 동그라미)도 손으로 입력해야 한다.

아직 투박한 모양새지만, 내가 관심있어 하는 주제나 책들의 관계가 어느 정도 잘 표현된 듯하다. 제목이 서로 가리지 않도록 하고, 제목 글자 대신 책 표지가 나오도록 하고, 노드의 중요도가 더 잘 드러나도록 하고, 시간 요소를 가미해서 관심사가 어떻게 변해왔는지까지 표현하면 좋겠지만, 내가 그렇게까지 할 리 없지(…)

요즘 인터넷 서비스의 트렌드 중 하나는 사용자가 스스로를 표현하고 소통할 공간을 만들어주는 것 같다. Daum 책이나 유저스토리북, 알라딘처럼 책을 매개로 서비스하는 곳에서 사용자가 자기만의 도서 네트워크를 멋지게 꾸밀 수 있는 공간을 제공하면 어떨까? 책을 하나씩 추가하는 뿌듯함, 정성들여 태그를 입력하는 수고로부터 어떤 비즈니스 가치를 뽑아낼 수 있을 것도 같지 않은가?

Related posts:

1. 자주 방문하는 사이트를 알파벳 문자별로 알아봅시다
2. 반디앤루니스의 추천inside 서비스
3. About

Context-Aware Ranking in Web Search

검색에서의 컨텍스트라고 했을 때 내가 떠올린 것은 사용자가 로컬 컴퓨터 상에서 하던 작업(task)이나 현재 장소 같은 것이었다. 이 논문에서 말하는 컨텍스트는 그것과는 달리, 말 그대로 문맥이었다. 한 세션 내에서 사용자가 날린 쿼리들을 시간 순서대로 분석해서 4가지 종류로 분류하고 그에 맞게 랭킹을 변경하는 방식을 제안한다.
1. Reformulation (“homes for rent in Atlanta” -> “houses for rent in Atlanta”)
2. Specialization (“time life music” -> “time life Christian CDs”)
3. Generalization (“free online Tetris game” -> “Tetris game”)
4. Association (“Xbox 360″ -> “FIFA 2010″)
위의 경우를 보면 두 번째 쿼리가 들어왔을 때, 이전 쿼리와의 관계에 따라 사용자 의도를 알아채서 조금 더 똑똑한 랭킹을 할 수 있을 것도 같다. 하지만, 또 한편으로 이런 생각도 든다. 1) 이렇게 의미를 직관적으로 해석할 수 있는 경우가 얼마나 될까? 2) 구체적인 메커니즘을 모르는 사용자에게는 똑같은 쿼리인데도 검색결과가 자꾸 바뀌거나 하면 오히려 혼란스럽지 않을까?

The Demographics of Web Search

“wagner”라는 단어를 검색했을 때 여자들은 주로 클래식 음악 작곡가를, 남자들은 분무기 솔(spray brush) 제조사를 클릭한다는 사례로 시작하는 도입부가 흥미로웠다. 다의어의 예로 만날 “jaguar”나 “java”만 보다가 새로운 예를 만나니 신선하기도 했고. Demography는 인구통계학을 의미한다. 이 논문은 Yahoo!에서 로그인한 사용자의 검색 로그를 분석해서, 나이, 성별, 인증, 학력 등에 따른 검색 사용 행태 차이를 연구한 내용을 담고 있다.
쉽게 상상할 수 있듯이, 위에서 언급한 특성으로 분류된 그룹마다 자주 검색하는 단어가 다르다. 또, 학력에 따라 쿼리 길이가 다르다거나, 특정 나이대의 사용자들이 특정한 종류의 쿼리에 대해서 클릭 엔트로피(Click Entropy)가 튄다는 등의 결과도 들려준다.
사용자 한 명 한 명에 맞추는 것이 아니라 특성에 따라 그룹을 짓는 점이 다르다면서 개인화(personalization)와 구분하지만, 넓게 보면 비슷하지 않나 싶다. 문서 내용을 통해 저자의 특성을 추출하려는 Author Profiling도 떠올랐다.

Query Similarity by Projecting the Query-Flow Graph

클릭 그래프(Click Graph)는 쿼리와 클릭한 문서의 관계를 표현하는 그래프다. 이 논문에서 사용하는 쿼리플로우 그래프(Query-flow Graph)는 어떤 특정한 목적을 달성하기 위해서 입력한 쿼리들이 서로 연결되는 그래프이다. 가령, 영화 인셉션에 대한 반응이 궁금해서 “인셉션 별점”, “인셉션 평가”라고 검색했다면 이 쿼리들이 서로 두텁게 연결된 그래프가 만들어진다.
이 논문의 핵심은 이 그래프에 Graph-projection method를 적용해서 쿼리들을 클러스터링하고, 쿼리 간 유사도를 계산했다는 것이다. 이게 잘 되면 검색어 자동완성이나 관련검색어를 만드는 데 적용할 수 있다. 특히, 여기서는 주어진 쿼리에 대해서 다양한 관련 검색어를 추천하는 데 활용하는 얘기를 해서 관심이 갔다. 검색의 중요성이 커지는 만큼 다양성을 보장하는 데 대한 이야기도 처음 지적된 이후 꾸준하게 나오는 것 같다.

마지막으로, 이번 프로시딩을 훑으면서 새삼 깨달은 사실. 검색 연구에서 Yahoo!와 Microsoft가 차지하는 비중이 장난 아니구나.

Related posts:

1. SIGIR 2010에서 관심이 가는 논문들 – 첫 번째
2. Random Walks on the Click Graph – SIGIR 2007
3. Behavioral Classification on the Click Graph – WWW 2008

텍스트를 주제에 따라 분류하는 기술도 아직 완벽하지 않습니다. 그러니 사진 같은 멀티미디어 데이터를 분류하는 일은 오죽하겠습니까. 성인 이미지 필터링 같은 문제를 생각해보면 됩니다.

문서에 들어있는 키워드만 고려하여 주제를 분류하면 이를 내용에 기반(content-based)했다고 합니다. 문서의 외부적인 조건 -웹페이지를 예로 들면, 누가 링크/추천했는지 같은 게 있겠네요- 은 무시하고 내용 그 자체에만 충실한 방식이죠.

반대로, 사람들이 그 문서를 어떻게 사용하는지에 따라서, 즉 그 문서를 둘러싼 외부 행위에 기반(bahavior-based)해서 분류를 하는 방법도 생각할 수 있습니다. 이 논문 Behavioral Classification on the Click Graph에서는 클릭 그래프(Click Graph, “검색 쿼리” – “클릭한 문서”의 관계를 그래프로 표현한 것)를 활용해서 성인 이미지 필터링을 했다고 합니다.

구체적인 알고리즘에 대한 설명은 아무도 원하지 않으므로 패스(-_-)하는데, 한 가지 눈길을 끄는 점은 웹페이지를 무작위로 뽑아서 성인용인지를 판단한 게 아니라, 텍스트 내용만 보고 분류했을 때 애매한 페이지만 따로 뽑아서 행위 기반으로 분류했다는 겁니다.(웹페이지 안에는 이미지만 있는 게 아니라 텍스트도 있잖아요.)

이제부터는 추측입니다. 눈을 감고 조용히 상상해봅시다.

마이크로소프트 연구소(Microsft Research)에서 열심히 일하던 저자들에게 어느 날 새로운 업무가 떨어집니다.

“웹페이지 중에서 성인 이미지가 들어 있는 것들만 골라내라.”

그들은 어떻게 할까 고민하다가 일단 텍스트 기반으로 필터링 필터링하기로 합니다. 이런.. 정확도가 별로 만족스럽지 않군요.

‘이제 어쩐다…? 옳지! 잘 분류되지 않은 놈들만 따로 모아서 클릭 그래프 방식으로 분류해 보자.’

346,000개의 쿼리와 2,500,000개의 URL로 이루어진 클릭 그래프를 처리하는 초조한 시간이 지나가고 드디어 결과가 나왔습니다.

‘오! 이 정도면 만족할 만한걸. 어서 논문 쓰자 +_+’

상상 끝났습니다. 이제 눈 떠도 됩니다. 실제 이야기를 알 도리는 없지만, 혹시 이런 과정을 거쳐 이 논문이 세상에 나온 건 아닐까요? :) 결과로 나온 논문을 보면서 그들이 어떻게 이런 걸 하게 됐는지 상상의 나래를 펼쳐보는 것도 꽤 재미있더라고요.

아무튼 클릭 그래프에서 랜덤 워크 모델을 쓰니까 -텍스트 기반 필터에서는 잘 분류되지 않던 페이지에 대해서- 정확도가 80%까지 나왔다는 소식을 전하며 장황했던 글을 마칩니다. 관심 있는 분들은 이 논문과 프롤로그에서 링크한 논문을 같이 한 번 읽어보세요.

Related posts:

1. Random Walks on the Click Graph – SIGIR 2007
2. SIGIR 2010에서 관심이 가는 논문들 – 첫 번째
3. SIGIR 2010에서 관심이 가는 논문들 – 두 번째

두 번째는 사람들의 관심과 클릭이 검색 결과 상단에 집중되기 때문에 나타나는 문제인데, 대부분의 문서에는 클릭이 아예 발생하지 않습니다. 아무리 좋은 문서라도요. 상위에 노출되기 때문에 많이 클릭되고, 또 많이 클릭되기 때문에 계속 상위에 노출되는 악순환이 생기는 거지요.

클릭 데이터를 쓰면 좋아지는 건 확실한데, 이런 부작용이 있다? 사람들이 이를 가만히 놓아둘 리 없죠. 수많은 연구자가 이를 해결할 수 있는, 아니 개선할 수 있는 저마다의 아이디어를 제안했습니다. 이번에 소개하는 Random Walks on the Click Graph도 그 중 하나입니다. 웹페이지의 하이퍼링크를 이용해서 좋은 문서를 골라내는 구글의 페이지랭크처럼, 검색 클릭 패턴으로부터 좋은 문서를 찾아내자는 것입니다.

클릭 그래프(Click Graph)라고 해서, 사용자가 입력한 쿼리(query)와 문서를 그래프의 점(vertex, node)으로, 클릭수를 edge로 나타냅니다. 쿼리-문서 쌍이 많이 클릭될수록 edge는 강해집니다. 아래 그림을 보면 사용자가 어떤 쿼리를 입력하고, 결과 중에 어떤 문서를 클릭했는지 나와 있습니다.(논문에서는 이 검색모델을 이미지 검색에 적용했기 때문에 이 글에서는 문서와 이미지라는 말을 같은 의미로 봐도 무방합니다.)

이 그래프 상에서 특정 노드(즉, 쿼리)에서 출발해서 edge를 따라 임의로 돌아다닙니다. 임의(random)라고 했습니다만, 정확히 말하면 edge가 강할수록 그 길(edge)을 따라갈 확률이 높습니다. 이렇게 돌아다니는 것을 랜덤 워크(Random Walk)라고 하는데, 정해진 횟수만큼 이동한 뒤 특정 문서에 도착할 확률이 얼마인지를 계산하는 거지요.

간단하게 수식으로 써볼게요. J 노드에서 출발해서 얼마 후에 K 노드에 도착할 확률을 P(K|J)라고 합시다. J가 쿼리이고 K가 문서라면, P(K|J)가 높을수록 문서가 쿼리에 잘 부합한다는 뜻이니까 K의 랭크를 높여서 검색결과 상위에 보여주면 되겠죠?

클릭 그래프에 적용해서 설명하자면, 쿼리 노드에서 시작해서 많이 클릭된 문서 노드로 이동하고, 그 문서를 많이 클릭한 다른 쿼리(B)를 찾아서 또 이동하고, B에 대해서 많이 클릭한 문서로 이동하기를 반복. 그러다 보면 정말 좋은 문서에 도착하는 거지요.(그 문서와 애초의 쿼리 사이에 클릭 관계가 없더라도요.) 괜찮은 아이디어 같죠?

그런데… 이 순서를 뒤집어도 말이 됩니다. 무슨 말이냐고요? 이렇게 생각해 봅시다. 사용자는 찾으려고 하는 영상을 먼저 마음속에 그립니다. 그리고 나서 그런 이미지를 찾을 수 있는 쿼리를 입력하는 거지요. 즉, 앞에서 얘기한 P(K|J)에서 앞뒤가 바뀐 겁니다. 이를 P’(K|J)라고 할까요? 사용자가 쿼리 J를 입력하게 됐을 때, 애초에 염두에 뒀던 이미지가 K였을 확률을 구하자는 얘깁니다

클릭 그래프로 설명하자면, 이번에는 이미지 노드에서 출발해서 쿼리 노드로, 다시 이미지를 거쳐 쿼리 노드에 도착합니다. 도착하고 나서, 어디서 출발했을 확률이 가장 높은지를 따져보는 거지요. 이 방식은 뒤(쿼리)에서부터 거꾸로 원인(즉, 처음에 생각한 영상)을 찾아 들어가기 때문에 Backward Walk라고 부릅니다. 쿼리에서부터 시작하는 첫 번째 방식은 Forward Walk구요.

이런 아이디어를 수식으로 표현하고 계산하려고 Transition Matrix, Bayes Rule 등을 쓰는데, 자세한 설명은 논문을 참조하시면 되겠습니다.

다른 건 그냥 접어놓고, Forward Walk 방식과 Backward Walk 방식 중에 어떤 게 더 좋은 결과를 낼 것 같나요?

이것도 역시 논문에 다 나와 있으니까 궁금하신 분은 한 번 읽어보세요 :)

Related posts:

1. Behavioral Classification on the Click Graph – WWW 2008
2. SIGIR 2010에서 관심이 가는 논문들 – 첫 번째
3. SIGIR 2010에서 관심이 가는 논문들 – 두 번째