데이터마이너를 꿈꾸며

카이스트 명강 시리즈 중 하나. 카이스트 정하웅 교수님의 책. 예전에 한 번 읽긴 하였는데 최근 데이터 분석 공부를 하면서 신경망 그리고 텍스트마이닝의 네트워크 분석의 매력에 크게 빠져 있는 상태라 그런지 이 책을 다시 읽어보니 너무 재미있었다. 

우연히 티비를 틀었을 때 EBS의 <과학다큐 비욘드>에서 네트워크 과학을 소개하는 프로를 본적이 있었다. 물리학자 윤혜진 교수님이 진행이었는데, 이 책에는 카이스트 박사과정 윤혜진 학생으로 소개되어 다소 색다르기도 하였다. EBS 과학다큐 비욘드 내용을 잠시 소개하자면 아래와 같다.

“우리를 바라보는 새로운 시선, 네트워크 사이언스”

세상 만물을 물리로 풀어내는 과학자들이 나타났다. 도시가 어떤 모습으로 성장을 하는지, 부자들의 특징이 무엇인지를 과학으로 풀어내는 물리학자들. 이들은 어떤 시선으로 세상에 관심을 가지고 질문을 던지는 걸까? 이들이 바라보는 세상은 어떤 구조로 되어 있을까?

물리학자 윤혜진은 1870년대 이후 새로운 아이디어로 나온 특허는 드물다는 사실을 알아냈다. 기존의 아이디어가 조합되어 나온 ‘조합특허’가 대부분이라는 것이다. 세상을 바꾸는 혁신은 완전히 새로운 아이디어로 만들어지는 게 아니라는 거다.

세계 최대 복잡계 연구소인 산타페 연구소의 제프리 웨스트 교수는 도시가 ‘15%의 법칙’으로 움직인다는 것을 밝혀냈다. 도시가 두 배 성장할 때 어떤 것은 15% 더 성장하고, 어떤 것은 15% 덜 성장한다는 것이다. 세계의 어떤 도시라도 예외는 없다.

하버드대 ‘인터넷과 사회를 위한 버크만 클라인 센터’ 요하이 벵클러 교수는 지난해 미국 대선 보도를 받아들이는 이용자들의 이용패턴을 네트워크 지도로 그렸다. 미국 대선을 강타했던 ‘가짜뉴스’ 논란이 가짜뉴스 그 자체가 아니라 이용자들에게 달린 문제라는 것을 분석해냈다.

이들의 공통점은 모두 네트워크를 통해 세상을 바라본다는 것. 갈수록 복잡해지는 세상에서 네트워크 사이언스는 나무가 아닌 숲을 볼 수 있게 하는 길잡이가 되어 준다. 초연결사회, 연결을 거부할 수 없다면 내가 어디에, 어떻게 연결되어 있는지를 아는 것만으로도 나의 역할이 무엇인지, 내가 누구인지를 알 수 있다.

이외에도 네트워크를 통해 알아보는 부자의 특성, 가짜뉴스의 특징과 판별법 등 일상에 영향을 끼치는 과학에 대한 새로운 정보와 지식은 앞으로 살아갈 세상에서 우리가 나아가야할 방향을 제시해줄 것이다.

지금은 유튜브에서 너무 손쉽게 찾을 수 있어, 유튜브 링크도 찾아보았다.

복잡계 네트워크를 가장 쉽게 표현하는 것은 바로 고속도로와 항공망. 고속도로의 경우 한 도시마다 일반적으로 3-4개의 도로가 연결된 반면, 항공 네트워크의 경우 뉴욕, 시카고, LA의 경우 무수히 많은 항공망이 연결되어 있다. 

이를 다시 그래프로 표현하면 멱함수 분포 곡선으로 표현할 수 있는데, x축의 우측으로 가면 갈 수록 연결 횟수가 많은 소수의 점을 나타낸다. 이를 이용한 수많은 자연/사회 현상을 재미있게 소개한다. 

 - 국회의원 네트워크: 구글 검색을 통해 얻은 검색 결과를 바탕으로 허브 조사

의 그래프는 시각화도 잘 되어 있어 한참을 쳐다 보았다.

문득 드는 아이디어로는 화장품도 요즘은 멀티 브랜드, 멀티 채널인데 소비자가 2개 이상의 브랜드를 함께 쓴다고 가정하였을 때, 허브 브랜드가 존재할 것 같았다. 더 나아가 허브 제품도 있을 것이고. 허브 제품 구매자와 비구매자 간 비교 분석을 하거나, 허브 제품 비구매자에게 허브 제품 구매 유도하는 CRM을 하였을 때 어떤 반응을 보인지 분석하는 것도 의미 있어 보인다. 

이 책덕분에 복잡계 네트워크에 크게 관심을 가지게 되었다. 내가 만약 대학원을 가 석사 공부를 하게 된다면 이것을 전공으로 하고 싶을 정도로 말이다.

 - 책 링크: 구글 신은 모든 것을 알고 있다

 - 정하웅 교수님 홈페이지 링크 : http://stat.kaist.ac.kr/

 - 윤혜진 교수님(노스웨스턴대 경영학교 교수님) 홈페이지: http://hyoun.me/

참고문헌

- 알버트 라즐로 바라바시, "링크", 2002년

- 마크 뷰캐넌, "넥서스" , 2003년

- 던컨 와츠, "스몰월드", 2004년

- 마크 뷰캐넌, "세상은 생각보다 단순하다", 2004년

- 강병남, "복잡계 네트워크 과학: 21세기의 정보과학", 2010년

- 알버트 라즐로 바라바시, "버스트: 인간의 행동 속에 숨겨진 법칙", 2010년

일반독자의 경우 링크나 넥서스, 과학 분야는 링크, 인문 사회 과학분야는 스몰월드, 대학 수준의 교재는 복잡계 네트워크 과학

<몇가지 용어들 정리>

1. 복잡계 네트워크: 점(vertex, node)과 연결선(edge, link)들로 이루어진 집합을 의미한다. 특히 연결선들이 들어오고 나오는 방향이 있는 경우 방향성 네트워크라고 하고, 각 연결선들에 가중치가 부여된 경우 가중치 네트워크라고 한다. '네트워크 이론'은 응용수학과 물리학 분야에서 다루는 이론으로, 수학의 그래프 이론에서 비롯하였다. 현재 전산학, 생물학, 경제학, 사회학 분야에 널리 적용된다 (출처: 위키피디아)

2. CSSPL : Complex Systems and Statistical Physics Lab 복잡계와 통계 물리학 연구실