Net Journalist 佐?木씨가 차세대 Social Media의 형태를 심층분석한 연재 “Social Media Second Stage”. 제 3회에서는 Contents Filtering, Collaborative Filtering에서는 얻을 수 없는 “고객속성”에 근접한 “Behavieral Marketing”에 대해서 이야기 합니다.

(2007년 9월 25일 자료)

“고객의 속성”을 읽어내는 방법

연재의 지난회에서 Collaborative Filtering에서는 고객 간의 행동의 유의성을 보고 있는 것일 뿐, “고객의 속성을 보고 있지 않다”라는 문제가 있다고 했었다. 예로, 부인에게 선물을 하기위해 남편이 여성용 화장품을 구입하면, 그 후 얼마동안은 여성용 화장품에 관한 추천들이 끊이질 않는 현상이 일어나 버리는 것과 같은 것이었다. 그리고, 이런 고객의 속성을 보고 있지 않다라는 문제는 Contents Filtering에서도 Collaborative Filtering에서도 Cover 할 수 없는 것이라고도 적었었다.

「물건을 산다」라는 행동을 분석해 보자. 나눠서 분석하면, 다음과 같은 3가지로 나눌 수 있다.

• 상품의 속성 (그 상품이 어떤 분야의 상품으로, 어떤 이름을 가지고, 어떤 특성이 있는것인가?)
• 고객의 속성 (고객의 성별, 주거지, 나이, 좋아하는 것등)
• 상품과 고객의 연결 이력들 (어떤 고객이 어떤 상품을 과거에 구입했었나라는 이력)

이 중 최초의 「상품의 속성」을 잘 활용 할 수 있는 기술은 Contents Base의 Filtering (Contents Filtering). 마지막의 「상품과 고객의 연결 이력」을 분석가능한 것은 Collaborative Filtering이다. 그리고, 두번째의 「고객의 속성」에 대해서는 어떤 기술이 사용되고 있냐하면, Recommendation 분야에서는 앞서서 해석하는 것은 아직 그다지 나타나고 있지 않다. 그러나, Recommendation 이외의 분야로 눈을 돌리면, Behavieral Targeting라는 것이 있다.

※ Behavieral Targeting이란?

Internet User (엄밀하게는 Browser Cookie)의 여러가지 행동을 해석, 분석해서, Targeting할 대상 User를 선별하는 것이다. Internet User의 여러 행동에는 소비행동을 도달점으로하여, 그곳에 다다르기까지 여러가지의 단계가 있다. 단계에 따라서, User의 심리상태나 행동 Pattern은 다르고, 또 User 개개인을 비교해 보면, 더욱더 상세하게 다른 걸 알 수 있다.

User의 다양화가 가속화 하는 상황에서 Marketing의 효율화를 요구하는 Internet Marketing활동에 있어서 User 개개인의 행동 Pattern을 해석, 분석한 후에 적절한 Approach를 하는 Behavieral Targeting, 혹은 Behavieral Targeting Service는 빼놓을 수 없는 존재가 되고 있다.

 

Behavieral Targeting광고는 2006년 쯤부터 일본의 Internet광고 업계에서도 급격히 증가하고 있다. 고객이 어떤 Web Site를 보거나, 어떤 Keyword로 검색을 했는가라는 이력을 전부 축적하여, 그 내용에 맞춰 고객의 흥미나 관심이 있을 만한 광고를 보여주는 것이다.

예를들면, Swimming가 취미로, 그래도 평일은 Business Person으로서 바쁘게 일하고 있는 여성, A를 생각해 보자. Amazon은 Recommendation에 Behavieral Targeting은 채용하고 있즈 않기 때문에, A가 과거에 Business 책을 계속 구입하고 있었다라고 하면, 당연하게 다른 Business 책을 추천한다. 상품과 고객의 연결 이력을 보는 Collaborative Filtering나, 상품과 상품의 유의성에 주목하는 Contents Filtering에서는 A에게 Swimming 관련의 책이나 Swim Suit를 추천할 이유는 어디에도 없다. 처음부터 Amazon.co.jp상의 이력에는 Swimming 관계의 구매이력은 아무것도 기록되어 있지 않기 때문이다.

그래도, 어쩌면 A는 이 날은 휴일로, 언제나 처럼 Office가 아닌, 집에서 Amazon.co.jp에 Access했을 지도 모른다. 그런 것들은 Site에서 인식하는 것은 거의 무리에 가깝지만(IP Address로부터 추척하여… 같은 Privacy에 저촉되는 일을 하지 않는 한), 그러나 오늘이 특별한 날이라는 것을 인식하는 방법이 한개 있다. Behavieral Targeting이다.

Behavieral Targeting의 구조와 Adware의 실패

예로, A는 Amazon Site를 방문하기 전에, 다른 Site에서 Swim Suit를 구입하고, 더불어 그 전에는 Search Engine에서 「세계수영」을 검색하고, 멜버른에서 봄에 열렸던 세계 수영 선수권의 정보를 읽었다고 한다. 만약 이 행동이력을 Amazon이 알고 있다면, 「항상 A는 Business 책을 사지만, 오늘은 왠지 다르네. 수영 Site를 읽고, 그 후 수영 Goods를 구입한 후 Amazon.co.jp에 방문했어. 그럼, 수영 관련 서적이나 Swimming Goods를 Recommendation해보자」라고 판단하고, 수영 관련 상품을 추천하는게 가능할 것이다.

이 Behavieral Targeting은 고객이 어떤 행동을 해 왔는가라는 이력을 기반으로, 고객의 속성을 취득하는 셈이다. 그렇지만, 고객의 속성이라는 것은 고객의 과거의 이력 뿐만이 아니라, 고객이 지금 어떤 취미를 가지고 있고, 년수입은 얼마이고, 무엇을 사려고 하고 있는 지등의 Direct한 정보도 필요할 것이 틀림없다. 그러나, 이런 Direct한 정보는 Privacy 준수의 요구가 상당히 높은 지금, 손에 넣기 상당히 힘들게 되어 있다. 「개인정보를 더욱더 입력해 주세요! 그것에 맞춰 상품을 추천하겠습니다!」라는 Site가 따뜻하게 불러 모아도, 소비자 입장에서는 「무슨 바보같은 소리. 내가 속을까봐」라고 역으로 받아들여 버린다.

그래서 Behavieral Targeting와 같은 비교적 이런 걸 피해가는 방법이 이용되어지게 되었다. 그렇지만, 역시 Privacy 관점으로부터 Behavieral Targeting가 많은 비판을 받았던 적이 있다. 더욱 유명한 것은 1990년대 말의 「Adware」비판이다. Adware라고 불리던 Program은 Web Browser를 통하여 몰래 이용자의 PC에 Install된다. 그리고, 이용자의 행동을 감시, 맘대로 광고를 이용자의 PC에 표시하거나, 이용자의 개인정보를 일어내는 등의 일을 했다. 예로, 당시 Adware 최대 업체였던 미국의 Cydoor사는 Web Browser 「Opera」나 번역 Soft 「Babylon」등의 많은 인기 Soft에 동봉되어 이들 Soft를 Install하면 동시에 Adware도 Install되도록 하는 구조를 만들어 내었다. 그리고, 일단 Install되면 대량의 광고를 PC의 화면에 표시하게 하는 행위를 했다.

그러나, 이런 Adware의 상당수는 그 후 이용자에게 미움을 받는 결과가 되어, Computer Virus와 같은 취급을 받게 되어 없어졌다. 이러한 광고수법도 사라졌다. 그 후 2000년에는 Net 광고 핵심 기업인 미국의 DoubleClick가 Behavieral Targeting을 실시하려고, 미연방공정거래위원회(FTC)로부터 조사를 받는 사건도 있었다. DoubleClick은 Database의 핵심 기업을 매수하고, 이 회사가 가지고 있던 고객의 Database와 자가가 가지고 있던 Net 이용자의 행동이력을 연계시켜, 적절한 광고를 보내려고 생각했던 것이다. 그러나, 이 계획에는 Privacy 보호의 소비자단체인 EPIC(Electronic Privacy Information Center)가 「알지도 못하는 사이에 맘대로 Data를 수집한 점이 근본적으로 이상하고, 정보수집이 발생하기 전에 이용자의 허가를 얻지 않았다.」라고 지적하여, FTC에 조사를 요청하여 회사문제가 되었던 것이다.

고객에게 미움받지않고 고객속성을 취득

이 같은 과거의 아픈 경험이 있었기 때문에, 고객의 속성을 취득하고자 하는 Business는 정체되었다. Recommendation 분야에서도 이 부분이 그다지 발전되지 못했던 것은 아마도 이런 과거의 경위가 꼬리를 잡고 있었던 것은 아닌가 생각되어 진다. 지금에 와서, 고객의 속성을 일어내는 Recommendation으로서 Service화 되어 있는 것은 지난 회에서의 6개의 Recommendation 분류로 말하면, 1)의 「Rule에 기반한 Recommendation」뿐이다. 이것은 「Printer를 샀던 사람에게, Ink Toner를 추천한다」「멜로영화를 좋하하는 사람에게 신작의 멜로영화를 추천한다」등, 어떤 제품을 샀던 사람이나 처음에 자신이 좋아하는 것을 등록하고 있는 사람에 대해서, 특정의 상품이나 Service를 추천한다라고 하는 Rule을 정해두는 방법이다. 그렇지만, 이 방법으로는 고객이 자신의 속성 (예로, 「Techno POP이 좋다」「소설이라면 村上春樹(무라카미 하루키)가 좋다」「피부는 이야기하자면 건성 피부」「년수입은 6,000만원」등의 정보)를 등록해 두지 않으면 안되기 때문에 고객에게 미움을 받는다.

이렇게 되면 기업 측은 역시「고객이 스스로 자각없이, 자신의 정보를 제공해 준다. 그 속성정보를 기반으로, 무언가 추천하고 싶다.」라는 방법을 요구하게 된다. 그러나, 이것은 좀 전에도 Adware를 예로 썼던 것과 같이, Privacy 침해가 되어버릴 가능성이 크다. Privacy와 고객속성이라는 것은 Trade Off가 되기 싶기 때문이다.

여기에 Behavieral Targeting의 등장이다. 2002년 이후에 처음은 미국에서 점점 확대된 새로운 Behavieral Targeting광고는 개인정보에는 일절 손을 대지않는다라는 것을 명확하게 하고 있기 때문에 Cookie만을 사용한 수법이 확립되어 있다. Cookie라면, 이용자의 PC에 「이 이용자가 언제 우리 Site를 방문했는가」「몇번 방문했는가」「어느 페이지를 읽었는가」라는 정보를 보존할 수 있다. 이용자가 자사 Site에서 어떤 행동을 하고 있는지는 포착할 수 있지만, 그러나 이용자의 개인정보를 훔치는 것은 하지 않는다. 단지 Web Site측이 정보를 이용자 PC에 보존하는 것 뿐으로 이용자의 PC로부터 타 정보를 읽어내는 것은 아니기 때문이다. Cookie만으로 개인을 특정하는 것은 기본적으로 불가능하다.

이런 Cookie의 특성은 Privacy 관점으로부터 보았을 때 Behavieral Targeting의 Data로서 바람직하다고 생각되어 지게 되었다.

규모를 활용시키는 Yahoo가 Leader로

일본에서는 Behavieral Targeting의 도입은 더욱이 늦어져 2006년 쯤 시작되었다. 역시 배경에는 2003년 개인정보보호법시행이었다. 이 법률에 불안을 느낀 많은 기업이 Privacy 침해에 저촉될 수 밖에 없는 Behavieral Targeting광고를 도입하는 것을 피했기때문이 아닌가라고 생각되어진다. 하지만, 고객정보누수사건이 그다지 이야기거리가 되지 않게 되고, Privacy에 관한 사회적 관심도가 안정되자, Behavieral Targeting은 한꺼번에 Net 광고업계에 유입되기 시작했다. 그 앞단에 선 것이 Yahoo이다. Yahoo는 2006년 1월부터 시험적으로 실시를 개시하여, 같은 해 7월부터 본격도입을 개시, 이 분야에 있어 Leader 기업이 되었다.

그렇지만, 이 Behavieral Targeting Model이 Recommendation의 일반적인 수법으로서 더욱 보급될지 어떨지를 말하자면, 그렇지도 않다. 왜냐면, Behavieral Targeting에서는 현재의 Site를 방문하기 전에 고객이 어떤 Site를 방문했었는가라는 Data를 취득 할 수 없기 때문이다. Yahoo와 같은 100이상의 Contents를 가진 거대 Potal Site라면, 자사 Potal 내부만으로 고객의 행동이력을 파악하는 것이 가능하게 되어, 효과적으로 Behavieral Targeting을 행할 수 있다. 그래서, Yahoo가 Behavieral Targeting광고를 향해 갔던 것은 말하자면 「규모의 필연」과 같은 것이었다.

이것이 Potal이 아닌, 하나의 Site가 되면 다른 Site와 Behavieral Targeting으로 연계가 필요하게 된다. 예로, NEC Biglobe와 Niffty, Atnethome은 2007년 5월, Behavieral Targeting광고를 공동으로 전개하기로 합의했다고 발표했다. 3사의 공동 전개의 형태로 역시 규모의 Merit를 노린 것이었기때문이다. 하나의 회사만으로는 Net 이용자의 수가 적고, Behavieral Targeting의 효과를 충분히 낼 수 없지만, 3개의 회사가 합쳐지면 월간 이용자수는 2700만명에 다다르게 되고, Site내에서의 이동도 포함하여 규모의 Merit를 충분하게 살릴 수 있는 셈이다.

이 Behavieral Targeting Model은 이후, Recommendation 세계를 크게 변화시킬 수 있는 가능성을 품고 있다. 그렇지만, 여기까지 써왔던 것과 같이 Behavieral Targeting와 같은 고객속성을 취득하는 Model로는 Privacy 문제등 여러가지 장벽이 막고 있는 것이 현실이고, 그렇게 간단하게 앞으로 나아가지 못한다.

그래서, 최근 주목되기 시작한 것은, 통계학적인 Approach이다. 다음회에 이것에 대해서 생각 해 보자.

※ 위 글은 아래의 링크를 번역한 글입니다. 다소 오역이 있을 수 있습니다.

http://www.itmedia.co.jp/anchordesk/articles/0709/25/news077_2.html

Net Journalist 佐々木씨가 차세대 Social Media의 형태를 파해치는 신연재 “Social Media Second Stage”. 제 2회는 Recommendation 방법으로서 잘 알려져 있는 “Contents Filtering”과 “Collaborative Filtering”에 대해서 파해칩니다.

(2007년 9월 18일)

Recommendation의 대표적 방법
Recommendation에는 몇가지 Approach가 있다. 우선 그 Approach를 나열해 보면, 대충 아래와 같이 6가지로 분류 가능하다.

1) Rule에 기반하는 Recommendation
2) Contents Base의 Filtering
3) Collaborative Filtering
4) 통계학적인 Approach
5) Behavieral Targeting
6) Social Networking

하나씩 설명 해 보자.

1)의 Rule에 기반하는 Recommendation이라는 것은 “Business Rule 방식”, “International(의도적인) Recommendation”등으로 불린다. 예로, “미용실에서 머리를 자르러 온 사람에게, Hair Care상품을 권한다” “Printer를 사러 온 사람에게 Ink Toner를 권한다”등, 최초에 “어떤 제품을 산 사람, 어떤 행동을 한 사람에게는 이 제품이나 Service를 권한다”라는 Rule을 정해두는 방법이다. 이 Recommendation은 알기 쉽지만, 사전에 모든 Rule을 반드시 결정해 두지 않으면 안되기 때문에, 운영측에 손이 많이 간다.

“음악 Genome Project”가 받쳐주는 Contents Filtering
2)의 Contents Base의 Filtering는 Contents의 속성과 User의 기호를 Matching 시켜서, 추천하는 Approach이다. 더욱 단적인 예로서 음악 Recommendation Service의 Pandora가 있다. 현재, 일본에서는 저작권 문제로 Registration 불가능하게 되어 버린 것이 상당히 아쉽지만, 악곡의 내용을 철저하게 분석하고, 이용자의 기호에 맞춰 음악을 배신해 주는 Service이다. Site에 Sign-in하여 “Create a New Station”이라는 Button을 누르면, 좋아하는 Artist와 곡의 입력을 요구한다. 예로, Paul McCartney의 “Dance Tonight”를 입력하면 “Dance Tonight Radio”라는 가상적인 Radio국이 작성되고, “Dance Tonight”와 닯은 곡이 차례차례 재생된다.

이 Service를 받쳐주고 있는 것은 “음악 Genome Project”라는 기술이다. 각각의 악곡은 Melody와 Rithm, 경향등 여러가지 요소에 따라 구성되어 있다라고 보고, 그들의 요소를 “Genome(유전자)”라고 부르고 있다. 그리고, 하나하나의 악곡에 대해, 전문가가 수작업으로 약 400 Genome에 기반하여 점수화하여, 최초에 User가 선택한 악곡과 닮은 Genome 구조의 곡을 선택, 재생 해 가는 구조로 되어 있
다. 게다가 이 Genome의 유의성에 의해 재생 된 곡에 대해서, User측은 “I like it”과 “I don’t like it”이라는 Button으로 자신의 기호를 덧붙이는 것도 가능하다. 이로 인해 악곡 Contents와 User의 Match 정확도를 더욱 높이고 있다.

Amazon이 채용하는 Collaborative Filtering
3) Collaborative Filtering은 Amazon.com의 Recommendation에 의해 유명해 졌다. Amazon의 Top page에는 “XX씨, 추천 상품이 있습니다”라고 추천된, 책을 사면 “이 책을 산 사람은 이런 책을 사고 있습니다”라고 같은 종류의 책이 추천된다. 이것이 Collaborative Filtering이다.

Collaborative Filtering를 정말 간단하게 설명하면, 예로 A란 사람이 (A) (B) (C) (D)라는 4개의 상품을 구입했다라고 하자. 이에 반해 B라는 사람은 (A) (B) (C) (E)라는 4개의 상품을 구입하였다. A와 B는 (A) (B) (C)의 3개의 상품을 구입한 공통 내역이 있고, 취미지향이 닮았다고 예측 가능하다. 거기에서 A에게는 “(E)를 구입해 보면 어떤가요?”, B에게는 “(D)는 어떻습니까?”라고 추천하는 것이 된다. 실제로는 더욱 복잡한 일들이 행해지고 있지만, 간략화해 버리면, 위와 같은 생각 방법이 Collaborative Filtering의 기본이다.

이 Collaborative Filtering과 앞에서의 2)의 Contents Filtering은 어떤 종류의 보완 관계에 있다라고 말해도 좋을 지 모른다. 서로 결점을 보완하는 것이 가능하기 때문이다. 우선 Contents Filtering에는 다음과 같은 결점이 있다.

1) User의 기호와 Contents의 속성을 Matching시키기 위해, User의 가시화된 기호로부터 탈출 된 Contents는 추천하기 어렵다. 바꿔 말하면, User가 “내 마음에 들지 않아”라는 기호에 대해서는, Contents Filtering에서는 추천되어지지 않는다.
2)Contents의 속성을 최초에 분석하고, 분류해 두지 않으면 안된다. 위의 Pandora의 예를 들면, 우선 막대한 수의 악곡을 Genome에 기반하여 점수화한다라는 전문가의 작업이 필요하게 되어 버린다. 이것은 Cost를 증가시키는 것이 된다.

Collaborative Filtering의 이점과 “Serendipity”
Collaborative Filtering은 이들 결점을 보완가능하다. 우선 제 1)에서 Collaborative Filtering은 다른 User와의 기호의 유의성을 Base로하고 있기 때문에, Contents의 내용은 일절 고려하지 않는다. 이로 인해, 전혀 User의 기호와 맞지 않는 예상 외의 추천을 행하는 일이 있다. 이 예상 외의 추천에 의해 User는 “어, 이런 좋은 것도 있었네”라고 놀라거나, “나에게도 이런 기호가 있었네”라고 새로운 느낌을 받을 수 있다.

결국은 Serendipity이다. 이미 상당히 Popular가 된 이 말은 우연을 붙잡아 행운으로 바꾸어 버리는 능력을 가리킨다. 원래는 “Serendipity 이야기 행복을 부리는 세명의 왕자” (Elizabeth Jamison Hodges저)라는 옛날 이야기가 어원이다. 고대의 Sri lanka에 있었던 Serendip 왕국을 무대로 한 이 이야기에서 3명의 왕자는 용을 말을 수 있는 천(巻物)를 찾아서, India에서 Persia로 여행했다. 그러나 최후까지 그 천(巻物)를 발견되지 않았다. 그러나 이 과정에서 와자들은 여러가지 행운과 접하게 되고, 여러가지 것들을 발견하게 되었다. 그 “우연의 행운”의 재미를 주목한 18세기의 Italy의 문필가, Horace Walpole이 우연이라도 행운을 불러 들일 수 있는 능력을 Serendipity라고 부르자라고 아는 사람에게 편지를 썼고, 그렇게 해서 이 말이 영국권에 점점 퍼지게 되었다. 잘 알려진 사례로서는 Novel 화학상을 수상했던 白川英樹씨의 이야기가 있다. 白川씨가 polyacetylene의 합성실험을 행하고 있을 때, 촉매의 양을 100배로 해 버렸고, 이 결과 예상치 못한 “전기가 통하는 Plastic”이 생겨나 버렸다라는 허황된 이야기이다. 즉, 요구하고 있던 것과 전혀 다른 발견, 발명이 우연하게 이루어 졌고, 그런 상황을 Serendipity라고 부르게 된 셈이다.

이 Serendipity라는 말이 생긴 것은 18세기이고, 그 후 오랜동안, Serendipity는 명시적으로 얻을 수 있는 것이 아닌, 어떤 종류의 제 6 감각과 같은 것, 혹은 초능력의 한 종류라고 생각되어져 왔다. 노력하고 있다라고 해서 얻을 수 있는 것이 아닌, “그저 우연하게 행운이 찾아오면 그것은 굉장하지만, 어떻게 하면 그런 것이 가능 하지?”라는 반신반의 정도로 인식되졌던 것이다.

그런데, Internet 시대에 들어서서, 검색 Engine나 Social Bookmark등의 Web2.0적 Architecture에 따라 User 측이 예기치않던 새로운 Data와 만나는 것이 가능하게 되고, 이것이 Serendipity라는 말을 일약 주목하게한 결과가 되었다. 앞서 말한 Collaborative Filtering도 같은 맥략으로 User 측이 상상하고 있지도 않았던 우연의 만남을 연출하는 것이 가능하게 되었기 때문이다.

이점과 정반대의 Collaborative Filtering의 결점
이것은 Contents Filtering에는 불가능한 능력으로 Collaborative Filtering의 강점이 되어 있다. 그러나 이 강점은 – 뒤에서 서술하지만, Collaborative Filtering의 결점이기도하다.

또 Contents Filtering의 결점의 2)에 대해서도, Collaborative Filtering이라면, Contents의 속성을 최초에 분석해 둘 필요가 없다. 왜나면, Collaborative Filtering은 앞에 쓴 것 관 같이, Contents의 내용을 일절 보지 않기 때문이다. 그러나, 이것에 대해서도 되 돌아보면 Collaborative Filtering의 결점과 연결된다. 즉 Collaborative Filtering은 Content의 내용을 볼 필요가 없는 대신에, 처음부터 막대한 수의 고객 Data를 필요로 한다. 고객 Data가 모이지 않으면, 만족 할만한 해석결과를 얻는 것이 불가능하기 때문이다.

Collaborative Filtering의 결점을 정리해 보자. 아래와 같은 것이 된다.

1) Collaborative Filtering은 그 상품의 내용 그 차체에 대해서도 관련하지 않는다. 예로 영화의 Recommendation을 생각해 보자. Collaborative Filtering에서는 자신이 구입한 상품 Data에 기반하여, 다른 고객의 Data와 관련시켜 “당신에게 이런 추천 영화가 있습니다”라고 추천한다. 하지만, 이 경우에는 자신이 어떤 감독이나 배우, Jenre의 영화가 좋을까라는 속성은 전혀 고려되고 있지 않다. 그래서, 예를들면, 이과의 사람이 잘 살 만한 기술서를 빈번하게 구입하고 있다라면, 그 같은 층의 사람들이 비교적 좋아하는 Anime를 추천해 버린다라는 일들이 일어날 수 있다. 기술자는 책을 읽지만, Anime는 좋아하지 않는 사람에 있어서는 이 Recommendation은 유효하지 않다.
2) Collaborative Filtering은 고개의 Data가 많은 수 모이지 않으면 적절하게 Recommendation 할 수 없다.
3) Collaborative Filtering은 고객 서로의 행동의 유의성을 보고 있을 뿐, 고객의 속성을 보고 있지 않다. 예로, 부인에게 선물을 하기 위해 남편이 여성용 화장품을 구입한다면, 그 후 오랫동안 여성용 화장품을 중심으로 추천해 버리는 현상이 일어나 버릴 것이다.

앞에서도 쓴 것과 같이 Contents Filtering이라면, 1)과 2)의 문제는 Clear가능하다. 2)의 예로 들었던 영화에 대해서 말하자면:

자신이 어떤 영화를 좋아하는지를 사전에 등록해 두고, 그 기호에 맞춰 추천 받는 Contents Filtering적인 수법을 사용하면, 예로 좋아하는 영화감독, 좋아하는 배우, 좋아하는 음악가등을 등록해 두는 것만으로, 감독이나 배우, 음악가가 기용되어진 영화를 추천 받을 수 있다. 그리고, 이 방법으로는 2)의 결점 – 고객의 수가 적어도, Recommendation을 적절하게 행할 수 있다. Service 개시 직전에 손님이 아직 적은 “Cold Start”라고 불리는 단계에서는 Contents Filtering 쪽이 유효한 것이다. 하지만 3)의 고객 속성 문제애 관해서는 Contents Filtering에서도 Collaborative Filtering에서도 Cover 불가능하다. 다음회는 그 부분에 대해서 검토해보자.

※ 위 글은 아래의 링크를 번역한 글입니다. 다소 오역이 있을 수 있습니다.

http://www.itmedia.co.jp/anchordesk/articles/0709/18/news038.html

일본의 Web2.0 Business를 다룬 호평연재”Net Venture 3.0″으로부터 9개월, Net Journalist 佐々木씨가 지금까지 Social Media의 나아갈 방향을 심층 조사합니다. 제 1회에는, 여러가지 형태로 접하게 되는 Recommendation에 대해서 그 한계를 분석합니다.

(2007년 9월 11일 자료)

Net 정보 증대와 인지한계

Internet의 정보는 지금은 홍수와 같다. 이 홍수 안에서 어떻게 유용하게 Contents와 Data를 건져내는냐?는 Internet에 있어서 상당히 중요한 Theme다. 이 문제를 해결하는 Architecture로서 검색 Engine이 오랬동안 일컬어져왔지만, 정보의 Overload(과부하)가 일어나고 있는 지금엔, 검색 Engine만으로 대응하기 벅차다.

즉 Net의 정보의 총체가 인간의 인지능력을 훨씬 넘어버렸다라는 것이다. 그것을 “인지한계”라고 한다. 인지한계라는 것은 원래 1978년에 Novel 경제학상을 수상했던 미국의 경영학자 Halbert Alexander Saimon이 기업등의 조직을 설명하기위한 사용한 말이다. 밖의 세계가 점점 복잡하게 되어가면, 인간은 그 복잡함을 처리할 수 없게 되어 버린다. 그래서 인간은 조직을 만들었다. 조직에 참가하는 것으로 외부로부터 들어오는 여러가지 정보를 처리하고, 적절하게 처리 대응하게 되었다 – 라는 것이 Simon의 이론이다.

그러나, Internet 시대가 되어, 이 인지한계의 생각방법은 조직론 만이 아닌, 외부로부터 들어온 막대한 정보의 처리라는 문제 전체로 넓게 생각하게 되었다. 정보의 양이 천문학적이 되고, 조직론 만으로 정보처리라는 Theme로 대응할 수 없게 되었기 때문일지 모른다. 조직에 있어서만이 아니라, Algorism에 있어 정보의 수를 줄이고, 세계를 단순화시키려는 생각방법이 생겨나게 되었다. 즉 인지한계를 해소하기 위해, 이용자에게 보이는 세계를 더 단순화하고, Simple 간결하게 보다 적절하게 제시해 두는 것이다.

이 “세계를 간결하게 보다 적절하게”라는 해소방법은 지금은 하나의 언어로 표현되어지기 시작하고 있다 – “Recommendation”이다. 일본어로 직역하면 “추천”으로 상품의 소개와 같은 의미가 되지만, 지금 Net의 세계에서 사용되고 있는 Recommendation이라는 말은, 앞에 적힌 것과 같이 조금 넓은 의미를 포함하고 있다.

그러나, 이 인지한계는 사람에 따라 그 Level이 다르다. 인지한계가 높은 사람은 가능한 한 세계의 있는 모든 것들을 생생하게 전달하고, 거기에서 어느정도 자기자신의 능력에 의해, Data의 분별선택을 하는 것이 가능하다. 예로 Internet의 Literacy가 높은 사람이 검색 Engine을 잘 사용하고, 깊고 넓게 정보를 적절하게 수집가능한 능력을 가지고 있는 것에 대해, Literacy가 낮은 사람은 검색 Engine을 사용하면 검색결과 Top Page만 참조하고, 정보의 “タコツボ化(우물안 개구리)”가 되어버리는 것이 그 한가지 예이다.

PC의 Recommendation과 휴대의 Recommendation

인지한계가 비교적 낮은 사람, 혹은 인지한계가 낮을 수 밖에 없는 Architecture를 이용하는 사람에게는 보다 단순화된 세계가 제공되지 않으면 안된다. 단적인 예는 휴대전화이다. 휴대전화는 화면에 표지가능한 Data량과 User Interface의 제한되어 있기 때문에 PC와 비교해 인지한계가 낮은 Device이다. 그로 인해, 휴대전화에 요구되고 있는 Recommendation은 PC의 Internet와는 상당히 상이하게 되어 있다. 예로, 휴대전화를 위한 Mobile 검색 Potal Site를 제공하고 있는 “froute.jp (エフルート)”의 佐藤崇 사장은 취재에서 이렇게 이야기 하고 있다.

“PC Internet과 비교하면 휴대전화 Internet에서는 Direct로 알기쉬운 Recommendation이 요구된다. 많은 수의 추천을 표시하여 ‘이 중에서 선택해 주세요’라는 형태보다는, 적은 수의 추천을 단적인 형태로 표시하고 ‘그것이 좋습니다’라고 Recommendation하는 방법이 잘 통하는 경향이 있다. 이 차이는 즉 휴대전화와 PC User Interface의 차이로부터 온 것은 아닐까 라고 생각합니다”

PC Internet의 Recommendation에서는 “이것을 사라”라는 단적인 추천보다는 Amazon의 “이 책을 산 사람은 이런 책도 사고 있습니다”라는 표현으로 상징되는 것 같이 한발 물러선 추천이 도움이 된다. 그러나, 휴대전화는 그렇지 않다. 보다 Direct로 단적인 추천이 요구되는 것이다. 화면이 작고, 화면 Scroll을 행하는 것이 귀찮은 경우도 많고, 많은 추천 List를 나열해도 이용자는 회람에 한계라는 문제도 있다. “froute.jp (エフルート)”에 대해서는 이 연재 후 자세하게 소개하지만, Directory와 Robot 검색을 조합한 휴대전화의 User Interface에 특화된 검색 결과 표시를 Design하게 된 것으로 이용자의 인기를 모으고 있다.

그럼, 이 같은 의미들로서 생각해보면, 검색 Engine도 원래는 Recommendation적인 Architecture로 출발하고 있다. 적어도 지금껏 Yahoo!가 제공했던 것과 같은 Directory형 검색 Engine은 전형적인 Recommendation이었다. 인간의 능력으로는 파악 불가능한 Web의 세계를 간결하게 genre별로 정리하고, 체계화하여 이용자에게 보여주는 것이다.

검색 Engine의 한계

하지만, Web Site가 Impression을 일으키고, Site수가 막대한 수가 되면, 인간의 손으로 Web을 분류하고 표시하는 Directory는 일단 그 작업완료를 마칠 수 없는 상태가 된다. Directory의 중심과 실체로서의 Web Site의 총체 사이에 Miss Match가 일어나 버리는 것이다.

이 Miss Match를 구제한 것이 실로 Google였다. 지금 설명할 것도 없는 Page Rank등의 Technology를 투입, 막대한 수의 Web Site로부터 필요로 하는 정보를 적절하게 유출하고, 이용자에게 검색결과로서 간결하게 보다 적절하게 표시해 주는 것이다. 하지만 더욱 시대가 지나, Site수가 더욱 더 증가해, 이용자의 시야도 넓어지고, 이용자 개인개인에 있어 필요로하는 정보가 다르게 되면, 검색 Engine적인 “최대공약수 Recommendation”으로는 점점 불만이 나오게 된다.

어떻게 불만인가?라고 말하자면, “Google은 나 한사람을 위해서는 최적화되어 있지 않지 않은가”라는 불만이다. 얼마전 신문기자와 이런 대화를 교환한 적이 있다. 그는 중남미의 취재경력이 긴 원 특파원으로 기자로서는 상당히 우수하지만, Computer의 Literacy는 낮다. 검색 Engine도 그다지 익숙하지 않다라고 한다.

신문기자 : 요 전에 Google에서 “Mexico”라고 검색하자, Tour나 값싼 항공권의 정보들만 검색결과로표시되었네요. 그런건 사용할 수 없죠.
필자 : Google에 무엇을 기대하죠?
신문기자 : 내가 알고싶은 것은 Mexico 정계의 정보죠. Tour정보 따위 지금 알 필요도 없고.
필자 : 글쎄 그런걸 알고 싶은 건 소수죠.
신문기자 : 그럼, 나를 위해 내가 원하는 정보를 표시 해 주면 좋을텐데.
필자 : 대개, Mexico 정계의 정보를 알고 싶다면, “Mexico 정치”나 “Mexico 정계”라고 검색하면 좋았
을텐데. Skill이 너무 낮지 않어?

확실히, 그의 검색 Skill은 그다지 높지 않다고 말할 수 있다. 그러나, 한편으로 Internet 이용자의 시야가 넓어지고 있는 와중에도 이용자측에 Skill을 요구하는 것만으로는 문제는 해결 되지 않는 것이 사실이다. 그런 상황을 주목한게 Amazon의 Recommendation System과 Social Bookmark등, 검색 Engine이외에도 Remmendation으로 이용가능한 여러가지 Architecture가 개발되고, 검색 Engine을 보완하는 형태로 정보의 Overload를 해소하는 Service가 다수 생겨나고 있다. 그런 Architecture를 잘 사용하고, 어떻게 하면 정보를 간결하고 Simple하게 획득, 자기의 것으로 체계화 가능한가가라는 것이 지금 Internet의 정보공간에 있어서 최대의 Theme라고 해도 좋을 것이다.

Recommendation을 둘러싼 현재 상태

그럼, 이같은 배경을 전제로한 Recommendation을 생각 해 보자. 넓은 의미의 Recommendation을 “어디에서부터 영향을 받안 추천하는 가”라는 것으로 분류를 하면 아래와 같이 된다.

1) 최대 공약수의 여러사람들으로부터의 영향 : Search Engine, Potal Site
2) 당신의 과거의 이력으로부터의 영향 : Collaborative Filtering, Contents Filtering,Behavieral Targeting, Personalized Search
3) 주위의 여러사람들로부터의 영향 : Social Bookmark, Blog Search, SNS의 Comment

지금에 들어 구체적인 Recommendation Service로서 실현되고 있는 것은 이 정도다. 그러나, 이외에도 가능성은 있다. 예로, 당신이 어느날 아침 “バス”라는 Keyword로 검색했을 때의 행동요인을 생각해 보자. 1)의 최대공약수적 Recommendation이라면, 많은 사람들이 “バス”라는 단어를 요구하고 있는 최대공약수적 결과를 표시한다. Google이나 Yahoo!의 검색 Engine이라면, 탈 것의 Bus의 URL이 최우선이다.

※ 일본어서의 バス는 Bus, Bass, Bath 모두 같은 발음, 같은 단어가 된다.

그러나, 당신이 탈 것의 Bus는 그다지 흥미가 없고, 처음부터 주택주변에는 Bus노선도 존재하지 않고, Bus에 대해서 과거에 조사했던 적이 한번도 없다고 하자. 역으로 취미가 Bass Fishing로 쉴 때마다 Black Bass를 낚으로 가, Net에서도 성행하는 낚시정보를 조사, Fishing Goods를 대량으로 구입하고 있었다라고 하면, 2)와 같은 Recommendation Engine에서는 당연히 물고기인 Bass관련 정보가 우선적으로 표시되게 된다.

그러나, 이것도, 처음부터 과거의 이력 그 자체이다. 확실히 당신은 낚시가 취미로, Bus에는 타지 않을지 모르지만, 오늘 아침 “バス”라는 단어로 검색했던 이유는 다른게 있을 지도 모른다. 예로, 당신의 부인이 “당신, 어제 목욕용품을 Net에서 사 두라고 부탁을 했잖아요. 샀어요?”라고 할 지도 모른다. 그래서 당신은 투덜투덜 PC에 앉아 Bath용품에 대해서 조사하기 시작할 지도 모른다. 소위 누군가가 Blog나 아는 사람의 Mixy(일본 최대의 Blog Site) 일기를 읽고 있고, 멋진 목용용품을 소개하고 있는 것을 보고, 갑자기 가지고 싶어질 지도 모른다. 이것은 3)의 주위의 사람들 – 즉 Social에 의한 영향이다. 만약 당신이 이 Social의 영향으로 목욕용품을 샀다고 하면, 그것은 완벽하게 Viral Marketing이 성립된 것이 된다. 물론 그것도 Recommendation의 하나이다.

※ Viral Marketing이란?

기업의 상품과 Service가 소비자에게 구두로서 전달되어, 이용자를 넓히는 Marketing 전략. “Viral”은 “감염적인”이란 의미로, Marketing의 구조를 Virus의 감염, 증식을 예로하고 있다. 일반적으로 Marketing전략에서는 기업은 광고 Media를 이용하여 직접 소비자에게 자사의 Service를 선전한다. 그에 반해, Viral Marketing에서는 기존의 User에 자사의 Service를 아는 사람에게 소개하도록 동기를 부여하여, 기존의 User를 통해 간접적으로 자사의 Service를 선전한다.

Viral Marketing에서는 Service나 상품자체가 그것을 알고 있는 사람을 불러 모으기 쉬운 구조인 “1차적 Viral Marketing”, Service자체로는 알고 있는 사람을 불러모을 필요가 없는, Incentive등으로 소개행동을 유발하는 “2차적 Viral Marketing”가 있다.

더불어 말하자면, 이것 뿐만이 아니다.

4) MassMedia로부터의 영향
5) 심리적인 충동

예로, 어느날 아침, TV의 Wide Show를 보고 있더니, “Bus로가는 초가을의 섬 나들이”라는 특집을 하고 있고, 갑자기 Bus여행이 가고 싶어졌다. 그래서 “バス”를 조사했을 지도 모른다. 소위 아침에 눈 뜨자마자, 갑자기 일도 아무것도 싫어져, 그래서 갑자기 Bus여행이 가고 싶어 졌을지도 모른다.

인간의 행동에는 여러가지 요인이 있다. 그 요인을 전부 고려하여, 개인의 속성이나 심리, 행동이력, 외부로부터의 영향 전부를 Mining하고 가장 적절한 추천을 제시하는 것이 Recommendation의 최종형태이다. 라고 해도, 여기에 도달하기까지에는 Privacy의 문제나 기술적인 제약, Business적인 한계등 여러가지 문제도 있어, 그렇게 간단하게 실현되는 것은 아니다.

※ 위 내용은 아래 기사를 번역한 내용입니다. 다소 오역이 있을 수도 있습니다.

http://www.itmedia.co.jp/anchordesk/articles/0709/11/news039.html