2015. 08. 27. 목요일

trexx

1. 닷컴 기업

알파벳은 문자다. 인간의 문자를 지배하는 것이 구글의 궁극의 목표다. (8월11일)

1994년 위대한 팀 버너스리는 사용자가 인터넷에 접근하는데 필요한 간편하고 획기적인 방식을 표준화한다. 바로 인터넷 웹주소라 통칭하는 URL(Uniform Resource Locator)이다. 웹 브라우저에서 URL의 도움으로 숫자로 된 주소뿐 아니라 알파벳으로 된 주소로도 접근할 수 있게 되었는데 이것이 바로 Domain name이다.(ex> www.ddanzi.com) URL 규약 덕분에 도메인 네임으로 사용자의 인터넷 접근이 컴퓨터가 이해하는 숫자(IP 주소)가 아닌 인간의 문자로 가능하게 된 것이다. 인터넷이 인간이 이해할 수 있는 언어를 받아들이자 더이상 공학자들의 전유물이 아니게 되었다. Domain Name이 없었다면 야후(Yahoo!)는 인류가 지식의 생성과 공유를 위해 발명한 카테고리 방식을 이용하여 웹사이트를 절대 만들 수 없었을 것이다.

도메인 네임은 .com, .gov 등 웹페이지의 정체성을 알려주는 ‘최상위 도메인’을 포함하고 있다. 기업의 경우 company를 뜻하는 .com을 사용했는데 여기에서 비롯한 ‘닷컴 기업’은 좁은 의미로 90년대 중반 이후에 탄생한 네스케이프, 야후, 아마존, 이베이 같은 인터넷 기반 스타트업 기업들을 가리킨다.

닷컴 기업의 면면을 보면 인터넷 서비스를 기반으로 하여 사용자를 끌어들인다. 인터넷 서비스 사용자는 고객이 아니다. 보통 상품을 사용자가 구매하여 고객이 되는데, 인터넷에서는 서비스를 이용하는 사람이 서비스라는 상품을 유상으로 구매하지 않게 되어있다. 닷컴기업이 서비스로 살아남기 위해서는 이용자를 선점함으로써 다른 유사 서비스가 진입 못하도록 해야 한다. 문제는 서비스가 유료일 경우 독점적인 사용자 기반을 만들어 내기가 쉽지 않다는데 있다. 이 지점이 이 새로운 닷컴 기업들에게 최대 난제가 된다. 무료 사용자는 끌어 모으면서 돈은 벌어야 한다.

인터넷 닷컴기업의 사용자 선점은 성공이란 착시효과를 만들어 내는데 이것이 바로 닷컴 버블이다. 닷컴 버블의 일례로 1999년 1월 온라인 웹 검색 서비스 회사 익사이트(Excite)가 초고속 인터넷 서비스 공급기업인 @Home을 67억달러라는 어마어마한 금액으로 인수한 경우를 들 수 있다. 익사이트가 @home 인수를 통하여 기존의 TV 케이블 인프라를 이용해 웹 사용자 기반을 구축하는 것이었지만 결과적으로 최악의 인수로 기록되고 만다. 익사이트는 @Home 사업 실패로 2년 만에 인수한 금액의 5%도 안되는 3천5백만 달러에 팔아버린다. @Home을 인수한 같은 해인 1999년 당시 검색 기능은 뛰었났지만 수익모델을 갖추지 못해 배고팠던 신생기업 구글(Google)이 1백만 달러도 안되는 가격으로 시장이 나왔지만 @Home을 막 인수하여 자금이 딸린 익사이트는 저렴한 구글 인수를 포기하고 만다. 닷컴 버블 효과는 기존의 비즈니스 모델과는 전혀 다른 예측할 수 없는 방향으로 진행되고 있었다.

2000년 3월~10월 사이 주가는 폭락한다.

2. 닷컴 버블의 붕괴

1995년 네스케이프의 기업공개로 인터넷이 모든 것이 될 것으로 인식되었는데 마이크로소프트(MS)는 네스케이프의 ‘유료 소프트웨어’라는 맹점을 정확히 간파하여 인터넷 익스플로러를 ‘무료’라 선전하여 배포하였다. 사용자 기반을 잃은 내비게이터는 몇 년을 못 버티고 좌초하고 만다. 네스케이프는 비지니스 모델 부재로 실패했고, 야후는 사용자 기반 확보를 통해 수익기반을 개척하려 했다. 야후는 사용자에게 유료 서비스를 하지 말아야 한다는 것을 용케 깨달았고 서비스를 이용하는 사용자에게서 수익을 얻는 대신, 야후 홈페이지에 광고하고 싶은 기업들에게서 광고 수익을 거둬들이려 했다. 홈페이지에 신문, 잡지 혹은 TV에 광고를 하는 것처럼 사용자의 시선을 끌 ‘배너’ 광고를 전면 내세웠다. 하지만 이 방법은 맥락없이 항상 떠있는 배너들로 화면을 거추장스럽게 하였고 사용자들을 짜증나게 만들었다 .

21세기가 도래하자 월가의 투자기업들은 닷컴 기업들을 회의적으로 보기 시작했다. 웹 서비스 기업들, 닷컴 기업들은 5년이 넘었지만 명확한 수익 모델을 증명하지 못하고 있었기 때문이다. 오프라인 서점을 대체할 것 처럼 보였던 아마존, 인터넷 경매로 돌풍을 일으킨 이베이 등의 사이트들이 사용자 기반을 늘렸지만 수익면에서 월가의 기대에 못미쳤다. 결국 2000년 3~10월사이 주가는 폭락하게 된다.

야후 주식은 119달러에서 4달러로 그야말로 ‘추락’하게 된다. 야후 뿐 아니라 다른 닷컴 기업들도 마찬가지로 78% 이상 추락하게 된다. 닷컴 버블이 붕괴된 것이다.

구글은 야후가 인터넷을 접수하고 있었던 98년도에 스탠포드 대학생이었던 래리 페이지와 러시아 출신인 세르게이 브린에 의해 시작되었다. 불과 2년 남짓 후에 닷컴 회사들은 붕괴하기 시작하였고 대표주자인 야후는 속절없이 무너지기 시작했는데 어찌하여 구글은 살아남았을까? 당시 구글이 무너지지 않았던 건 비공개 기업이라는 이유도 있었는데, 과연 그것 때문에 구글이 무너지지 않은 걸까?

3. 지식의 보고, 도서관

1876년 듀이의 십진분류법-현재도 이 분류체계를 도서관에서 사용한다

웹은 라디오, TV 그리고 영화로 인해 문자 보다는 소리, 그림와 영상에 관심을 빼았긴 사용자들에게 다시 ‘문자’로 되돌아오게 했다. 특히 마크 앤드리슨의 공로로 모자이크 브라우저에서 문자와 그림을 동시에 표현할 수 있게 됨으로써 기존의 종이 매체인 ‘도서’와 가장 유사하고 익숙한 매체가 되었다.

웹이 대중화 되기 전 인류는 오랫동안 ‘도서’로 대부분의 지식을 생성, 공유해왔다. 지식이 방대해 질수록 많은 도서(책)들이 등장하게 되었고, 방대한 도서들에 보다 쉽게 접근하기 위해 ‘분류’(카테고리)를 필요로 하기 시작했다. 도서관을 가던지 대형 서점을 가던지 원하는 책을 쉽게 찾기 위해서 책장마다 써있는 도서 분류를 찾아 다니게 된다. 흩어져있는 지식들을 구분하여 분류하는 이 작업으로 인류는 지식을 체계화 시켜 발전하게 하였다.

"혼돈 속에 놓여 있는 사물들은 분리되고 구별되어야 한다."

 

<토마스 홉스 - 리바이어던 (EBS 다큐프라임 동과서) 중에서>

야후는 흩어져 있는 웹페이지를 전통적인 ‘도서’ 분류 방식을 활용하여 ‘맥락’에 따라 웹페이지를 카테고리화 했다. 사용자들은 카테고리화 된, 계층화 된 정보를 보고 원하는 지식을 찾아내어 습득하고 공유할 수 있게 되었다.

그뿐 아니라 선형에 머물렀던 ‘도서’개념을 웹의 ‘하이퍼 텍스트(링크)’를 적극 활용하여 지식을 분류하고 ‘맥락’에 맞게 연결하게 되었다. 이제 지식은 자유롭게 ‘연결’ 되었다. 야후는 의도했 건 안했 건 간에 야후에 도입된 ‘링크’개념으로 기존의 지식 체계인 도서관 개념에서 한 발 진보할 수 있었다.

컴퓨터 활용으로 도서검색이 보편화 되었다.

하지만 지금의 사용자들은 도서관에서 책장 혹은 천장에 표시된 분류명을 보고 도서를 찾지 않는다. 도서관에서 원하는 책을 빨리 찾기 위해서 도서 검색을 위해 마련한 컴퓨터로 먼저 발걸음을 옮긴다. 컴퓨터 화면에 떠있는 데이터베이스 프로그램에 접속하여 저자명, 도서명, 출판사명 등을 키보드로 입력하고 검색한 다음 실제의 책이 위치한 책장으로 검색된 책을 찾으러 간다. 이 때 책 장에 써있는 ‘분류명’은 책을 찾기 위한 위치정보로만 활용된다. 도서관과 대형서점에 DB를 검색할 수 있는 컴퓨터의 등장으로 찾고자 하는 도서를 보다 빨리 검색하여 찾을 수 있게 되었다.

도서관의 컴퓨터 DB를 통한 도서검색 예로 거칠게 표현했지만 그것이 바로 야후와 구글의 근본적인 지향점이 아닐까 싶다. 야후는 각각의 웹페이지를 방문한 후 맥락에 따라 카테고리화(계층화) 하였고 구글은 각각의 웹페이지를 데이터화 하여 검색할 수 있는 data(DB화)*로 만들었다. 물론 야후가 웹페이지 검색기능을 구현 안 한 것은 아니었지만 검색기능을 전면에 내세운 건 구글이었다.

구글은 웹페이지를 인간의 지성을 활용한 맥락으로 분류 하지 않고 웹페이지마다 담겨있는 ‘데이터’를 프로그램을 이용하여 자동 수집하여 검색하는 구조를 만들었다.

* 구글은 도서를 어떻게 접근하고 있을까? 구글(래리 페이지)은 도서 그 자체도 검색이 가능한 웹페이지로 생각했다. 구글의 원대한 목표는 전세계 도서를 스캔하여 문자형으로 변환하여 웹페이지처럼 검색할 수 있게 만드는 것이다. 구글은 도서 스캔을 위해 특수 제작한 3차원 적외선 스캐너(미국특허 7508978번)를 구비한 다음 ‘구글 북스’ 프로젝트를 2002년에 시작한다. 래리 페이지는 자신의 모교 미시간 대학에서 700만권 장서를 시작으로 스탠퍼드, 옥스포드와 작업했다. 그리고 그 결과물은 (https://books.google.co.kr)에서 확인할 수 있다. 야후는 웹을 도서로 생각했다면 구글은 도서를 웹으로 인식했다. 이 상반된 접근이 이후 웹 패러다임의 중요한 변곡점이 된다. (검색엔진 이외의 구글에 대하여는 계속 다룰 예정이다.)

4. 메타데이터와 데이터

프레이밍은 사실이 왜곡 될 수도 있다.

맥락(Context)은 인간의 이해의 범주에 있다. 음악에서 메탈과 그런지의 구분 처럼 맥락의 이해는 사람마다 차이가 난다. 웹을 카테고리로 하여 분류했던 야후는 기존의 음악, 도서, 영화 등 미디어를 다루듯 고전적인 도서 분류 체계를 인용하여 웹 페이지를 분류하였다. 하지만 웹페이지는 그야말로 기하급수적으로 늘어나 현재 홈페이지 수는 몇 십조에 다다르게 되었다. 기존의 분류 방식으로는 분류하는 것 자체가 불가능하게 된 것이다. 웹은 불과 10년 만에 수 백년 역사를 가지고 있는 종이매체(일간지, 도서 등)의 확장성을 넘어섰다.

야후는 웹이 가지고 있는 확장성의 크기를 짐작하지 못했다. 아마 크기를 알았다 하여도 야후는 웹페이지 전체를 대상으로 하지 않았을 것이다. 야후는 소위 질이 좋은 홈페이지를 우선 대상으로 카테고리안에 넣고 사용자들이 접근하게 하려 했다. 이는 기존의 TV와 같은 방송 미디어 기업에서 사용하는 프레이밍(framing)과 비슷하다. 야후가 웹페이지 검색보다 ‘포털’에 집중한 이유이기도 하다. 포털이 된 야후는 선택한 페이지에 사용자들이 우선 접근하게 유도하였는데, 이는 미디어 기업이 관객에게 특정 관점(frame)을 보여주는 것과 유사하다. 야후에게는 모든 데이터, 즉 빅데이터라는 개념이 부재했다. 야후의 초기 검색기능은 자신이 수집하여 카테고리화 한 페이지에 한정했다.

야후는 웹을 도서의 연장선상에서 보았다. 그리고 기존의 미디어 시스템을 그대로 도입하였다. 하지만 웹과 도서는 근본적으로 달랐는데 웹과 달리 도서의 검색은 철저하게 메타데이터*에 의존한다는 것이다. 종이로 된 책의 내용을 일일히 검색하는 것은 불가능하다. 그래서 특정 주제의 내용을 찾기 위해서 책 제목, 저자명, 차례, 색인 등으로 내용을 암시하는 데이터, 바로 메타데이터에 의존하여 원하는 자료를 찾는다. 하지만 웹은 그 자체가 데이터이다. 아무리 내용이 방대하다 하여도 문자로 구성된 텍스트로 구성되어있다. DB로 구축 된다면 모든 데이터를 검색할 수 있다.

* 메타데이터는 데이터의 데이터 혹은 데이터의 문자형을 뜻한다. (말장난 같지만) 데이터 그 자체가 아니다. 사진 파일을 예를 들면 사진 파일 자체가 데이터라면 사진 파일 안에 들어 있는 GPS, 인물정보, 생성시간, 파일명 등은 메타데이터이다. 다시 말해 사진파일 안 GPS (데이터) 정보는 데이터인 사진파일이 아니지만 사진 파일과 결합하여 의미있는 데이터가 된다. 메타데이터는 검색을 위해 주로 문자형으로 저장된다. 메타데이터는 반드시 컴퓨터에 해당된 용어는 아니다. 사람에 대한 대표적인 메타데이터는 ‘명함’이고 상품에 대한 메타데이터는 ‘Price Tag’다. 그렇다. 컴퓨터에서도 ‘tag’를 메타데이터로 활용한다.

5. 구글의 선언

1998년 구글은 검색창을 중앙에 배치한다.

구글은 야후의 카테고리 분류가 웹에 적합하지 않다고 판단했다. 사람이 맥락에 따라 구분하는 것은 시장에 나와있는 판매되도록 선택받은 미디어들, 도서, 음반, 영화에는 적합할지 모르지만 실시간으로 생성되는 홈페이지에는 불가능했다. 물론, 이런 발상을 통해 개발된 검색엔진을 구글이 처음으로 만든 것은 아니다.

웹 검색엔진은 웹페이지들을 크롤링(수집)하여 데이터베이스화(색인)한 것을 사용자가 ‘검색’하는 것이다. 문서 전체를 수집하는 최초의 검색엔진은 1994년 ‘웹크롤러’이다. 웹크롤러 이전에 나왔던 검색엔진은 서버 성능 한계로 웹문서의 제목과 목차 등 일부 메타데이터만 색인하여 검색할 수 있었다. 웹크롤러 등장과 더불어 문서 전체를 크롤링하는 라이코스의 검색엔진 성공 이후 검색엔진들이 우후죽순 나왔다. 마젤란, (위에서 언급한) 익사이트, 인포시크, 잉크토미, 노던 라이트, 알타비스타 등 구글 이전에 수많은 검색엔진이 존재하고 있었다.

구글이 기존의 검색엔진 서비스와 달리 혁신을 이룬 건 구글 홈페이지의 첫 페이지이다. 이는 바로 검색을 전면에 내세운 것이다. 1990년대 말 당시 갈수록 복잡해져가는 포털 홈페이지와 반대로 간 황당한 행보였다. 첫 화면 어디에도 카테고리는 없었다. 오직 검색만을 위한 홈페이지였다. 별것 없는 이 첫 화면이 바로 구글이 여타 다른 포털 및 검색 홈페이지와 완전히 차별되는 시작이 아닐까 싶다.

이 논리는 첫 화면이 중요했던 다른 포털과는 반대되는 개념이었다. 포털이 된 야후는 첫 화면을 오래 머물도록 유도 했다. 배너와 복잡한 레이아웃으로 첫 화면을 더욱 현란하게 만들었다. 사용자들은 자신이 필요한 자료를 찾기 위해 첫 화면에서 더 많은 시간을 사용하게 했다. 하지만 구글에게 첫 화면은 전혀 중요하지 않았다. 사용자는 구글 첫 화면에 접속하자마자 검색창에 키워드를 넣고 다음 화면 검색 결과 페이지를 원했기 때문이다. 중요한 건 검색된 다음 결과 페이지였던 것이다.

만들어진 첫 페이지가 아닌 사용자가 검색으로 만든 결과 페이지로 유혹하는 것이 구글의 차별화된 힘이 된다. 구글은 검색결과에 집중하게 되었고 결국 수익모델 또한 검색결과 페이지에서 얻게 된다.

6. 웹 검색: 크롤링, 인덱싱 그리고 페이지 랭크

Google Works

구글은 검색결과에 자신의 모든 역량을 집중했다. 구글의 검색대상은 ‘전세계 모든 페이지’다. 사용자들에게 빠르게 웹페이지를 검색하여 결과로 보여줘야한다. 구글은 웹페이지를 검색하여 가져오는 프로그램을 일명 구글봇이라 칭한다.(물론 이미 기존에 있던 개념이다.) 구글봇은 네트워크를 돌아다니면서 새로운 페이지 및 업데이트된 페이지를 찾아 수집하고 Google 색인에 추가한다. 웹페이지에 접근하여 수집하는 작업을 크롤링(Crawling)이라고 한다. 크롤링은 웹페이지를 모으고 웹페이지와 연결된 또 다른 웹페이지를 크롤링하여 모은다. 즉, 웹페이지와 하이퍼 링크로 연결된 웹페이지를 구조화하여 크롤링한다. 이는 전적으로 컴퓨터 알고리즘에 의해 자동으로 크롤링한다. 크롤링 과정에서 데이터 낭비를 줄이기 위한 중복된 페이지 배제 등 수많은 자동화 기술을 적용한다. 크롤링한(수집한) 페이지 정보는 색인(indexing)을 거쳐 데이터베이스로 만들어지게 된다. 여기까지는 기존의 검색엔진과 다를 게 없다.

page rank는 관련이 많을수록 순위가 올라간다.

사용자는 구글봇이 색인으로 취합한 정보를 검색하하는데 이때 가장 관련성이 높은 결과를 표시한다. 관련성이 높은 결과 표시를 순위결정(Page Rank)라 하며, 200가지 이상의 요인에 의해 결정된다. 순위결정 알고리즘의 일례로 특정 사이트가 여러 사이트에서 많이 링크되어 관계형성 되었다면 더 좋은 사이트로 인식하는 것을 들 수 있다. 이런 요인들을 고려한 페이지들이 결과 페이지의 최상단에 위치하게 된다. 구글은 페이지 랭크를 혁신함으로써 다른 검색엔진과 차별화된 지점을 만들었다. 결국 구글의 결과를 신뢰하게 되어 가장 위에 위치한 페이지를 클릭하는 사용자는 급증했고, 이를 통해 구글은 검색엔진의 왕좌에 오르게 된다.

7. 새로운 비즈니스 모델, 검색결과에 따른 광고

(좌) 구글홈페이지 결과 애드워즈, (우) 딴지에 광고된 애드센스

구글은 첫 페이지와 페이지 랭크의 혁신으로 검색엔진의 최종 승자가 되었다. 하지만 독점적 사용자 기반만으로는 수익을 만들어 낼 수 없었다. 구글의 혁신은 검색결과에 있었다. 페이지 랭크를 통하여 사용자들은 구글의 검색결과를 인정하였다. 하지만 구글은 2000년까지 수익이 나오지 않고 있었다. 구글은 ‘수익’을 위해 사용자 기반을 수익으로 변환하는 기술을 받아 들이게 된다.

구글의 한 때 표어가 “Don’t be evil”였다. ‘나쁜 짓 하지 않고도 돈을 벌 수 있다는 것을 보여주자’라는 뜻을 담고 있다고 한다. 하지만 구글이 최초 수익 모델을 만들어내는 과정을 들여다보면 거대한 변명처럼 공허하게 들리기도 한다.

야후는 어찌 되었든 광고를 통해 수익을 얻고 있었다. 구글은 goto.com(이후 오버추어로 사명변경)에서 아이디어를 얻는다. (사실은 훔쳐왔다.) goto.com은 빌 그로스가 1998년 개설한 홈페이지로 검색엔진에서 검색된 결과에 상응한 광고를 동일한 페이지에 구현하고 해당 광고를 클릭시 광고비를 광고주에게 받는 방식의 홈페이지였다. 빌 그로스는 자신의 홈페이지 아이디어를 판매하려고 구글에 들려 수익모델을 설득했으나 두 창업자(레리 페이지, 세르게이 브린)는 이를 거절한다. 그러나 얼마 지나지 않은 2000년 오버추어의 아이디어를 약간 변경하여 애드워즈 광고 모델을 내놓는다. 빌 그로스는 2002년 자신의 특허를 침해한 구글을 상대로 고소하였고 2003년 야후에 16억 3천만 달러에 매각 후 야후가 구글주식 270만 주를 받는 것으로 합의하였다. 구글이 빌 그로스 아이디어를 훔친 것을 인정한 것이었다.

구글은 검색 결과에 광고를 게재하는 애드워즈와 애드센스 도입으로 새로운 비즈니스 모델을 완성하게 된다. 구글은 지금껏 첫 화면에 광고가 없다. 검색결과에 따라 애드워즈는 구글 검색결과 페이지에 상응하는 광고를 내보내고 있고 애드센스는 딴지와 같은 개별 홈페이지에 자동화하여 광고를 개재하고 있다. 그리고 그 구글은 대부분의 수익을 애드워즈와 애드센스로 거두어들이고 있다.

구글의 수익은 사용자 기반을 돈으로 변환한 것에 있다.

하지만 그뿐일까? 구글은 페이지 랭크 기술 등을 이용하여 사용자 맞춤으로 검색결과를 보여주었다. 하지만 구글은 이를 적극 활용하여 사용자 정보로 광고주를 유혹하고 있다. 문제는 구글의 ‘맞춤형 광고’는 오직 웹문서와 사용자 빅데이터를 가장 많이 보유한 구글만이 가능할 뿐이라는 데 있다. 구글은 현재 빅데이터의 챔피온이다. 전세계 웹 페이지와 사용자 기반이 광고와 연동되자 구글은 더이상 90년대 버블로 불안했던 닷컴 회사가 아니었다. 오히려 제조회사와 사용자 정보를 활용하여 통제할 수 있는 기반을 만들었다. 이제 구글은 빅데이터와 광고 수익으로 인터넷의 절대 맹주가 되었다.

이번 편에서 구글의 서비스 중 google.com에 대하여만 언급했다. 다음 편에서는 야후와 달리 닷컴 버블의 환란을 이겨내고 살아남은 아마존과 이베이에 대해서 이야기하겠다.

  이 시리즈는 계속됩니다.

 trexx

트위터 : @trexxcom

편집 : 딴지일보 너클볼러