「예측 분석」 - 에릭 시겔의 데이터 예측 세계로의 여행

 

 

에릭 시겔의 「예측 분석」(원제: Predictive Analytics: The Power to Predict Who Will Click, Buy, Lie, or Die)은 빅데이터와 인공지능이 보편화된 현대 사회에서 데이터를 통해 미래를 예측하는 과학에 관한 통찰력 있는 안내서입니다. 이 책은 복잡한 기술적 개념을 쉽게 이해할 수 있도록 실제 사례와 재미있는 이야기로 풀어내고 있습니다.

---

커피숍에서 시작된 예측 분석의 여정

상상해 보세요. 당신이 어느 화창한 오후, 최신 스마트폰을 들여다보며 커피숍에 앉아 있습니다. 갑자기 당신의 앱에서 알림이 뜹니다. "오늘 같은 날에는 바닐라 라테 한 잔 어떠세요? 20% 할인 쿠폰을 드립니다." 신기하게도 당신은 방금 전까지 바닐라 라테가 먹고 싶다고 생각하고 있었습니다. 이것은 마법일까요? 아니면 당신의 마음을 읽는 기술일까요?

"이건 마법도 아니고, 마음을 읽는 기술도 아닙니다. 바로 '예측 분석'이죠," 에릭 시겔이 말합니다. "당신이 과거에 무엇을 했는지가 당신이 미래에 무엇을 할지를 예측하게 해 준답니다."

예측 분석은 과거 데이터에서 패턴을 찾아 미래의 행동이나 결과를 예측하는 기술입니다. 구글, 아마존, 페이스북과 같은 기업들이 이미 이 기술에 수십억 달러를 투자하고 있으며, 좋든 싫든 우리는 모두 '예측 사회'에 살고 있습니다.

---

시겔 교수와 만난 마케팅 담당자의 대화

시겔: "마케팅 부서에서 일하신다고요? 그렇다면 아마도 많은 돈을 광고에 쓰시겠네요."

마케팅 담당자: "네, 맞아요. 하지만 솔직히 그 돈이 정확히 어떤 효과를 내는지 알기 어려워요."

시겔: "바로 그 문제를 예측 분석이 해결할 수 있습니다. 당신의 마케팅 캠페인이 성공할지, 어떤 고객이 실제로 구매할지, 심지어 어떤 고객이 이탈할지까지 예측할 수 있거든요."

마케팅 담당자: "그게 정말 가능한가요? 어떻게요?"

시겔: "사실상 한 사람이 과거에 무엇을 했는지가 그 사람이 미래에 무엇을 할지를 예측하게 해 줍니다. 과거에는 지역이나 성별과 같은 인구학적 특징들을 많이 사용했지만, 예측 분석은 최근성, 빈도, 구매 패턴, 웹서핑 습관과 같은 '행위 예측 변수'를 포함하는 데이터를 활용합니다. 상당수의 경우 이러한 행위들은 가장 가치 있는 데이터죠."

---

예측 모델: 데이터로부터 배우는 기계

예측 분석의 핵심은 '예측 모델'입니다. 시겔은 이를 "클릭, 구매, 거짓말, 사망과 같은 한 개인의 행위를 예측하는 메커니즘"으로 정의합니다. "그것은 개인의 특성을 입력받아서 '예측 점수'를 출력하는데, 이 점수가 높을수록 그 개인은 예측된 행위를 할 가능성이 높습니다."

이것은 마치 아이가 뜨거운 난로를 만진 후 그것이 위험하다는 것을 배우는 것과 비슷합니다. 기계도 데이터를 통해 '경험'하고 '학습'합니다. 알버트 아인슈타인이 말했듯이, "지식의 유일한 원천은 경험입니다."

예측 모델을 만드는 방법 중 하나는 '의사결정 나무'입니다. 이는 마치 스무고개 게임처럼 일련의 질문을 통해 결론에 도달하는 방식입니다.

"이 방법론을 통해 은행 거래 고객들에 대한 이탈 예측을 하고, 또 이탈률에 따른 타깃 마케팅을 하여 은행의 마케팅 비용 대비 수익성을 크게 끌어올립니다. 전체 나무가 커질수록 성능이 좋아질 가능성이 있지만 과잉학습은 오히려 역효과가 날 수 있습니다."

---

앙상블 효과: 집단 지성의 마법

시겔이 들려주는 가장 흥미로운 이야기 중 하나는 넷플릭스 콘테스트에 관한 것입니다. 넷플릭스는 고객의 영화 선호도를 예측하는 알고리즘을 개발하는 경연대회를 열었고, 기존 시스템보다 10% 성능을 향상하는 팀에게 100만 달러의 상금을 내걸었습니다.

"이 예를 통해 예측 분석의 적중도를 높이는 '앙상블 효과'를 보여주고 있습니다. 과학에 대한 열정은 치열한 경쟁 상태에서도 오히려 협력을 낳고, 그 협력과 공유를 통해 연합된 솔루션은 더욱 강력한 힘을 발휘한다는 교훈을 얻게 됩니다."

앙상블 효과는 여러 예측 모델을 결합하면 각 모델의 약점을 상호 보완하여 전체적으로 더 정확한 예측이 가능해진다는 개념입니다. 이는 마치 여러 전문가의 의견을 종합하면 한 명의 전문가보다 더 나은 판단을 내릴 수 있는 것과 같습니다.

---

예측의 한계와 윤리적 고려사항

한 기자와의 인터뷰에서 시겔은 미소를 지으며 말합니다. "예측 분석이 100% 정확한가요? 절대 그렇지 않습니다. 예측은 확률적 가능성일 뿐입니다. 데이터 양과 종류가 많아지고 예측 방법이 발달함에 따라 예측의 정확도는 높일 수 있으나 100% 확실성을 담보할 수도, 담보할 필요도 없습니다. 세상이 돌아가는 원리는 불확실성 속에서 선택과 집중, 다양성이 균형을 이루며 여러 가능성이 나타나는 것입니다."

시겔은 또한 예측 분석의 윤리적 측면도 다룹니다. "타깃의 예측과 예측의 타깃... 그는 데이터에 기반한 마케팅을 고객들에 대한 '염탐'이라고 표현했습니다. 프라이버시에 대한 우려를 어떻게 명확하게 정의할 것인가?"

특히 "긍정 오류(false positive)"에 대한 문제를 제기합니다. "긍정 오류는 '거짓 경보'라고도 알려져 있는데, 실제 정답은 '아니오'인데 예측 모델이 '예'라고 잘못 예측한 경우입니다." 이러한 오류는 심각한 윤리적 문제를 야기할 수 있습니다.

---

왓슨과 인공지능의 미래

시겔은 IBM의 인공지능 시스템인 왓슨이 어떻게 제퍼디 퀴즈쇼에서 인간 챔피언을 이겼는지 설명합니다. "왓슨은 미래를 예측하지 않습니다. 그 대신 왓슨의 모델들은 대답의 정확성을 '예측'합니다."

"인공지능이란 용어에서 '인공'이라는 부분은 별문제가 안 됩니다. 문제는 '지능'입니다. 지능이란 완전히 주관적인 개념이기에 인공지능은 잘 정의된 분야라고 말할 수 없습니다." 그럼에도 불구하고, 왓슨은 여러 방법론을 결합한 앙상블 모델을 사용하여 놀라운 성과를 이루어냈습니다.

---

통계와 거짓말

영국의 총리 벤자민 디즈랠리는 "세상에는 세 종류의 거짓말이 있다. 거짓말, 새빨간 거짓말, 그리고 통계이다"라고 말했습니다(이 말은 나중에 마크 트웨인이 인용하여 유명해졌습니다).

시겔은 이 격언을 염두에 두고, 데이터를 통한 예측이 강력하지만 남용될 수도 있다고 경고합니다. "예측을 위한 모델링을 하려는 모든 시도들은 일반적 원칙을 수립해야 하고 확보한 데이터에서 잡음을 걸러내야 하는 핵심적 도전과제에 직면합니다."

그는 이어서 "이 수수께끼를 풀기 위해서는 과학보다 예술이 필요하지만 이 두 가지 모두 빠질 수 없는 구성요소입니다. 예술은 그것을 작동하게 만들고, 과학은 그것이 작동하는 것을 증명해 줍니다."라고 말합니다.

---

빅데이터와 예측 분석의 관계

많은 사람들이 빅데이터에 대해 들어봤지만, 빅데이터 자체는 가치가 없다는 것이 시겔의 주장입니다.

"빅데이터란 말을 들어 본 적이 있는가? 모두가 그렇다고 할 것 같다. 그렇다면 예측 분석(Predictive Analytics)이라고 들어 본 적이 있는가? 아마도 데이터 분석의 언저리에 있었다면, 심지어 마케팅 산업에서도 데이터 분석에 관심이 조금이라도 있었다면 한 번쯤은 들어 봤을지 모른다."

"빅데이터는 사실 그 자체로는 활용이 되지 않는 한 아무짝에도 소용이 없습니다. 빅데이터에서 의미를 분석하고 이것은 곧 시그널을 보여 줄 때 가치가 있습니다. 분석은 곧 미래의 예측을 위해서 존재했습니다."

시겔은 오히려 데이터의 양보다는 그 성장 속도가 중요하다고 강조합니다:

"'큰 데이터'는 문법적으로 잘못되었습니다. 그것은 마치 '큰 물'이라고 말하는 것과 같습니다. 차라리 '많은 데이터' 또는 '풍부한 데이터'라고 해야 합니다. 크기는 중요하지 않습니다. 확장 속도가 중요합니다."

---

보편성에서 다양성으로

시겔은 말콤 글래드웰의 말을 인용하며 과학의 패러다임 전환을 설명합니다:

"사람들은 만병통치약을 찾습니다. 사람들은 모두를 치료할 수 있는 딱 하나의 비방을 찾습니다. 19세기부터 20세기 대부분에 이르기까지 모든 과학은 보편적인 것에 집착했습니다. 심리학자, 의학자, 경제학자들은 우리 모두의 행동을 결정하는 규칙을 찾아내는 데 관심이 있었습니다. 그런데 이제 상황이 바뀌었습니다. 지난 10년 내지는 15년 동안 과학 분야에서 일어난 위대한 혁명은 무엇인가? 그것은 보편성의 추구로부터 다양성의 이해로 옮겨간 것입니다."

예측 분석은 바로 이 다양성을 이해하고 개인화된 예측을 가능하게 하는 도구입니다.

---

예측 분석의 실제 응용

시겔은 다양한 산업에서 예측 분석이 어떻게 활용되고 있는지 보여줍니다. "쇼핑몰의 고객 예측, 웹사이트 광고 클릭, 주식 투자, 통신사 고객 이탈, 은행의 대출 리스크, 경찰의 범죄 예방, 구급차 운용, 의료보험사기 방지, 대통령 선거에 이르기까지 규모나 업종, 분야에 무관하게, 중소기업이나 대기업, 정부기관이나 데이터 과학과 예측을 활용해서 수익을 내고, 안전을 보장하고, 미래에 대비하고 있습니다."

특히 마케팅 분야에서는 "이메일 마케팅부터, CRM, e-커머스 그리고 소셜 마케팅 등 마케팅 활동이 고객과의 접점에서 데이터가 많이 발생하므로, 예측 분석이 중요해졌습니다. 고객들이 남기는 수많은 데이터가 계속 신호를 보내기 때문에 예측 분석은 의사 결정의 초관심사가 되었습니다. 누구나 고객의 행동을 예측하고 싶기 때문입니다."

---

결론: 미래는 예측하는 자의 것

시겔은 "과거와 현대의 경계를 가르는 혁명적 사고는 바로 리스크를 다룰 줄 알게 되었다는 것입니다. 거기엔 미래란 단순히 신들의 변덕이 아니며, 사람들이 자연에 순응만 하는 것은 아니라는 뜻이 담겨 있습니다. 인간이 이러한 경계선을 넘어설 방법을 발견하기 전까지는 미래란 단지 과거의 거울이었거나 예언자나 점쟁이의 음산한 영역에 불과했습니다."라는 피터 번스타인의 말을 인용합니다.

이제 예측 분석은 선택이 아닌 필수가 되었습니다. 에릭 시겔의 말처럼 "예측 분석은 과학의 한 분야를 넘어서서 현실 속에서 강력한 영향력을 행사하는 하나의 흐름이 되고 있습니다."

그의 책 『예측 분석』은 이 새로운 흐름을 이해하고 활용하기 위한 가장 접근하기 쉬운 안내서 중 하나로, 복잡한 기술적 개념을 쉽고 재미있게 설명하며 예측 분석의 세계로 우리를 안내합니다. 미래는 예측하는 자의 것이 될 것입니다.

---