[1-3장]빅데이터를 통한 예측마케팅 전략 - 외머아튼/도미니크 레빈 지음

목차

1장. 이제는 모든 마케터가 빅데이터 및 예측 분석에 쉽게 접근할 수 있다.

2장. 마케터를 위한 알기 쉬운 예측 분석 입문

3장. 먼저 고객을 파악하라  : 완전한 고객 프로파일의 구축

4장. 기업 가치를 높이기 위해 고객을 투자 포트폴리오처럼 관리하라

5장. 실행전략 1 - 고객 데이터를 이용하여 마케팅 지출을 최적화하라

6장. 실행전략 2 - 고객의 페르소나를 예측하고 마케팅을 다시 고객과 관련성 있게 만들어라

7장. 실행전략 3 - 생애주기 마케팅을 위해 고객 여정을 예측하라

8장. 실행전략4 - 고객가치를 예측하라 - 가치 기반 마케팅

9장. 실행전략5 - 고객 등급화를 위해 고객의 구매 또는 참여 가능성을 예측하라

10장. 실행전략6 - 각 고객마다 적절한 개인별 추천사항을 예측하라

11장. 실행전략7 - 더 많은 고객 전환을 위해 예측 프로그램을 실행하라

12장. 실행전략8 - 고객가치 증대를 위해 예측 프로그램을 실행하라

13장. 실행전략9 - 더 많은 고객 유지를 위해 예측 프로그램을 실행하라

14장. 예측 마케팅 역량에 대한 간편한 체크리스트

15장. 예측 (및 관련) 마케팅 테크놀로지에대한 개괄

16장. 야심찬 예측 마케터들의 경력 개발을 위한 조언

17장. 프라이버시, 그리고 유쾌함과 불쾌함의 차이

18장. 예측마케팅의 미래

 

 

1장. 이제는 모든 마케터가 빅데이터 및 예측 분석에 쉽게 접근할 수 있다.

 

• 여기서 '예측 분석'은 '머신러닝'과 같은 의미로 칭한다.
• 디지털 기술의 매력은 경험과 직관으로 수집했던 고객정보를 객관적인 데이터로 무한정 수집하고, 과학적으로 분석할 수 있는 점이다.
• Design thinking : 싸고 빠르게 여러번 실패해라.
• Single view : 동일한 데이터를 놓고, 전사적 관점에서 볼 수 있는 '싱글 뷰'가 중요하다. 데이터의 의미를 제대로 추출하려면 종합적인 관점에서 해석해야한다. 서로 다른 silo(저장소)에 저장된 데이터를 연결하고, 중복을 제거하는 과정이 필요하다.
• 마케터가 알아야할 예측 분석 모델 3가지
  • 자율 학습 (군집화 모델) : 취향이 유사한 고객을 군집화
  • 감독 학습 (경향성 모델 / 예측)
  • 강화 학습 (추천 기능)
• 고객 행위의 80%는 고객 데이터를 수집하고, 정리하는 일이다.
• fuzzy matching : 예측 기술이다. 오류, 중복으로 가득찬 데이터를 정리하고, 온.오프라인 데이터를 결합하여, 모든 고객 데이터를 한 곳에 모은다.
• 고객을 투자 포트폴리오처럼 관리해야한다. 신규, 단골 고객에게 각기 다른 행동을 취하고, 예산도 다르게 
• 고객의 획득 보다는 고객 유지와 재활성화가 더 중요하다.
• 예측 마케팅 전략 3가지
  • 페르소나를 이용한 더 나은 획득 캠페인의 설계
  • 리마케팅을 통한 고객 전환율의 향상
  • 유사 고객 타겟팅
• 비즈니스에 데이터과학 및 머신러닝 접근법을 적용한다. / 테크놀로지 학습과 인간 창의성의 결합이다.
• 올바른 답을 가지고있지만, 결과 보고서로 끝나고 실제로 가치창출이 되기가 힘들다. 이를 '최종 구간 문제'라 한다. 
  • ex. 영업팀의 구매, 가격 책정, 고객 획득 패턴에서 해당 분야의 이동 평균보다 지표가 하락할 경우, 시그널을 보내는 실시간 시스템을 개발하여 세일즈 담당 임원이 즉각적인 조치를 취할 수 있도록 해야한다.
• 사례) Fundly 펀들리 : 비영리 단체들이 sns를 이용해서 돈을 모을 수 있도록 도와주는 테크놀로지 회사이다. 회원 가입 셀프 서비스에서 모금성공에 이르기까지의 프로세스를 데이터를 사용하여 자동화 하였다.
• 사례) Totango 토탕고 : 문제에 봉착한 고객과 유망한 고객을 식별하기 위해서, 고객 행동을 모니터링하는 예측 마케팅 솔루션을 제공하였다.
• 데이터와 인간적 경험은 함께 가야한다.
• 사례) Mavi 마비 : 고급 의류 제작 업체로, 예측 마케팅 솔루션을 도입하여 1일 단위로 고객 데이터를 통합, 정리하고 중복된 항목을 제거하였다.  1년에 80가지가 넘는 예측 마케팅 프로그램을 운영하였고, 전체 매출의 7%를 증가시켰다.
• 매스 마케팅에서 고도의 개인화된 마케팅으로 넘어갈 수 있게 해주는 수단이 예측분석(머신러닝)이다.
• 변화 : 제품 지향적 → 고객 지향적 / 제품을 원하는 고객 찾기 → 고객이 원하는 제품을 개발 / 제품 중심 조직 구성 → 고객 세그먼트 중심 조직 구성
• 예측 마케팅을 통해 쉽고, 자동적인 방식으로 고객 평생가치, 고객 자산을 개별적으로 관리할 수 있다.
• 데이터에서 페르소나 찾기 → 그 특성을 가진 고객 군집 예측 -> 그 군집을 더 많이 끌어들일 수 있는 콘텐츠, 제품, 서비스 개발
• agileone(애질원) 은 마케터들이 직접 예측분석, 고객데이터를 사용할 수 있도록 하기위해서 설립 되었다.
• 예측 마케팅 수행을 위한 3가지 역량
  • 예측분석, 개발 도구를 사용하여 예측모델을 직접 구축
  • 고객데이터 분석 및 예측 마케팅 캠페인을 마케팅서비스 제공업체에게 아웃소싱
  • 예측마케팅 클라우드 또는 멀티 채널 캠페인 관리 도구와 같은 예측 마케팅 솔루션을 평가한 후 구매

 

2장. 마케터를 위한 알기 쉬운 예측 분석 입문

 

• ex. 무료 회원가입 프로모션을 통하지 않고 최초 구매를 한 고객이 무료 회원가입 제안을 통해 구매한 고객보다 76.5% 많은 돈을 지출한다.
• ex.자동 배송 주문을 한 고객은 평생동안 3배 더 많은 돈을 지출한다. 이 사실에 기반하여, 고객이 가입할 때 가능한 한 자동배송 서비스를 신청하도록 권장.
• 자율 학습 (군집화 모델)
  • 상품1을 구입한 고객이 상품2를 구입하는 경향이 있으면 군집화할 수 있다.
• 감독학습 ( = 경향성 모델 = 반응 모델 = 가이드 학습 모델 )
  • 신경망, 로지스틱 회귀, 랜덤포레스트, 회귀트리와 같은 알고리즘을 사용한다.
  • 과거 행위를 통해 고객의 미래 행위를 예측한다. 
  • 다이렉트 메일에 많이 사용된다. 
  • 예측한 내용에 대해서 실제 결과(구매여부)를 관측하여, 모델은 알고리즘을 조정하는 과정을 거친다. 따라서, 과거의 test data를 현재의 train data로 사용했으니, 정확도도 올라가고, 훈련 기간도 줄어든다.
  • 경향성 모델에서 가장 핵심적인 단어는 '십분위(decile)'이다. 개별 고객점수가 아니라, 고객을 10분위로 나누어서, 평생 가치 예측 모델을 구축하고, 십분위 접근방식을 사용한다. 예를 들면, 동일한 크기의 묶음 10개로 나누어 순위를 매겨서, 1) 기업이 기대하는 행위에 대한 평균값을 제공하고, 2) 값비싼 카탈로그를 누구에게 보낼지 결정할 때,a/b 향상도 테스트를 설계할 때 유용하게 쓸 수 있다. a가 1-2개 십분위 고객들에게만 제공, b가 10개 십분위 모든 고객들에게 제공 이라면, 향상도가 각기 얼마나 될지 a/b 테스트를 하여 그 유효성과 효과를 판단할 수 있다. 그리고 최종적으로 카탈로그 발송 대상을 어느 십분위까지 늘렸을 때 '수익 증가분 대비 비용 증가분'이 정당화되는지 확인한다.
  • 경향성 모델 vs RFM(Recency, Frequency, Monetary value)의 비교
    • RFM의 문제점은 오로지 과거에 대해서만 되돌아본다는 점이다. 높은 가치의 고객이 실제로 구매를 해야지만 인식하기 때문에, 구매 이전의 고객 행위 예측에는 쓸모가 없다.
• 강화 학습 ( 추천 기능 ) 
  • 활용되는 기계 학습 이론에는 베이지안 네트워크, 빈발 항목 집합등이 있다.
  • 최근 행동이 이전 행동보다 더 큰 가중치를 가지므로, '시간 가중치'기능이 사용된다.
  • 고객의 선호에 조응하도록 모델은 '교육'하기위해 적용된다.

• 추천 알고리즘과 관련된 중요 사항
  • 고객과의 관련성을 유지하기 위해서 이상적으로는 추천이 실시간으로 갱신되어야 한다.
  • 고객의 최근 행위 뿐만 아니라, 그와 유사한 사람들의 행위 변화를 고려하여 매일 갱신해야 한다.
  • 재고가 없거나, 반품 비율이 높거나 후기가 안좋은 제품은 추천하지않되, 유통업체가 마진율이 높은 품목을 예외로 하길 원할경우 알고리즘을 미세 조정하는 머천다이징 규칙을 마케터가 수동으로 입력할 수 있도록 해야한다.
• 추천모델 종류 3가지
  • 상향 판매 추천 upsell
  • 후속 판매 추천 next sell
  • 교차 판매 추천 cross sell
• 일반적으로 함께 구입 하는 제품에 대한 추천 / 과거 행동을 기반으로 적합한 것을 추천
  • 일반적으로 함께 구입하는 제품들
    • 고객별로 특화된 추천이 아님. '제품 대 제품' 추천이라고 부르기도 한다.
    • 방문자 정보에 대한 정보가 많지 않을 때 사용하면 적합하다.
  • 과거 행동을 기반으로 적합한 것 추천 (사용자에 특화된 추천)
    • '제품 대 사용자' 추천이라고 부르기도 한다.
    • 사례 ) Shazam 샤잠 은 사용자의 음악적 취향을 기록한다. 그 취향에 근거에서 사용자가 관심 있어 할 만한 콘서트들을 추천하는데, 그 콘서트가 사용자 위치 근처일 때에만 추천한다. 즉, 고객의 취향 뿐만 아니라 지리적 위치까지도 알아야한다.
• 예측 분석 프로세스에 대한 이해
  • 대부분 소프트웨어 안쪽에서 말생하기에 마케터의 영역은 아니다.
  • 예측 마케팅에 대한 DIY 방식을 택할 시 데이터 사이언티스트가 필요하다.
  • Preparation (데이터의 수집, 클렌징, 정비)
    • 고객이 표기한 형식을 컴퓨터가 알 수 있도록 수정
    • 고객 데이터를 수집하고 연결하여 개별 고객 프로파일을 작성하는 프로세스에 대한 이해가 필요
  • 이상치 검출
    • 예측 모델의 정확성에 큰 영향
    • ex. 대량 구매를 하는 사람들은 VIP가 아니라, 외국에 재판매하는 중개업자일 수 있다. 일반 소비자 고객이 아니라, 비공식 유통채널 (gray  market) 의 재판매업자이기에, 이 상황을 인지하여 교정해야한다. 그렇지 않으면 진정한 VIP 고객을 놓치게되고, 재판매업자들을 대상으로 수익성 높은 방식의 마케팅할 기회를 잃게 됨
    • 이상치를 제거하거나 정규분포의 상단에 위치한 숫자 중 하나로 대체함으로써 처리
    • 이러한 대체는 모델링 목적으로만 수행되어야하지, 원 데이터를 수정해서는 안된다. 
    • 또는 이러한 이상치인 고객들을 별도의 그룹으로 취급하고, 그 세그먼트만 대상으로하는 특별 프로그램을 만들 수도 있다.
    • 만약 데이터가 일반적으로 정규분포곡선 bell curve 를 따른다면 무작위로 숫자롤 하나 생성하여 결측치를 그 값으로 처리할 수도 있다.
  • 특징의 생성 및 추출
    • 1. 데이터가 그대로 사용하기에 너무 크거나 2. 현재 방식으로 표현된 데이터가 모델에 적합하지 않은 경우  데이터를 모델이 사용할 수 있는 형태로 변환하고, 불필요하거나 중복된 데이터를 제거하는 과정.
    • 목적에 관계없이 알고리즘을 이용하여 데이터에서 최대한의 정보를 추출할 수 있도록 하여, 포함된 잡음을 감소시켜 예측 분석의 정확성을 높인다.
    • 단순 변환으로 데이터를 더 편하게 사용할 수 있게 해주는 요령이 있다. 예를들면 한 고객의 주문수를 분석할 때, 절대값을 그대로 사용하는 것 보다는, 숫자의 로그를 취하여 새로운 변수를 만들어 1개 주문 대 10개 주문 차이와 10대 주문 대 100개 주문 차이를 같게 만들 수 있다. 또는 특정 변수들의 비율을 취할 수도 있다. 고객 1인당 반품 금액 및 출하 매출액 대신에, 반품을 정산한 이후의 매출 비율 또는 퍼센트를 계산할 수 있다.
  • 분류 변수 classifier 및 시스템 설계
    • 올바른 알고리즘을 선택하고, 설계하고, 미세조정하는 단계이다.
    • 기계 학습에서 이해해야할 중요한 개념은 '공짜는 없다'는 법칙과 '편향-분산 딜레마'이다. 특정 문제 해결을 위한 알고리즘을 개발하는데 너무 깊이 천착할수록 이러한 문제에만 편향된 시스템은 다른 문제 해결에 쓰일경우 성능이 더 떨어지게 된다. 즉, 절대적으로 다른 알고리즘보다 우수한 알고리즘은 존재하지 않는다.
    • 예측 분석의 경우 알고리즘 사용 전에 실제로 제대로 작동하는지 백-테스트를 해야한다. 예측 알고리즘 개발시 필요한 시간은 80% 훈련, 10% 테스트, 10% 유효성 검사로 나눌 수 있다. 
  • 예측 분석의 최종 구간 문제
    • 대부분의 데이터 사이언티스트들은 그들의 예측을 마케터들이 어떻게 사용할지에 관심이 없다.
    • 그리고 예측 모델의 결과를 마케터들도 이해하거나 사용하기 어려워하는 경우가 많다. 고객 예측이 수익이 발생하려면 예측 결과를 기업 내 모든 고객 접촉 담당자들이 알아야한다.

 

3장. 먼저 고객을 파악하라: 완전한 고객 프로파일의 구축

 

• 마케터들은 데이터를 사용할 때, 무엇을 위해 사용하는지, 그리고 데이터의 우수한 상태를 보장하기 위해서 어떻게 유지 관리할 것인지에 대해서 명확히 이해를 하고, 데이터의 수집 및 통합 자체만을 위한 프로젝트를 수행해서는 안된다.
• 데이터 수집을 위한 설계 원칙
  • 빈도, 파생데이터(원 데이터에서 의미를 추출하여 만든 데이터 요소)
  • 세분 가능성(granularity), 유추하고자 하는 인사이트(이게 데이터 수집 대상을 결정함)
  • 실행 가능성, 정확성(결측값 대체), 신상정보 충실도
  • 저장(웹 브라우징 데이터는 몇 주가 지나면 관련성이 없어지지만, 구매 데이터는 수년간 유지됨)
  • 접근성(고객 데이터가 사일로 안에 갇혀서 마케터가 액세스 할 수 없는 경우가 많이 발생함)
• 그냥 무작정 많은 데이터를 수집하는 것이 아니라, 새로운 성장 기회를 찾고 성과를 내는 마케팅 프로그램을 시작하기에 족한 데이터를 수집하는 것
• 사례) Walmart 워마트의 Savings Catcher 세이빙 캐처 : 이 앱을 다운로드 한 고객은 월마트에서 구매한 가격이 다른 가게보다 더 비쌀경우, 차액을 고객에게 환불해줄 것이라고 약속하였다. 이러한 인센티브 제공으로 월마트는 많은 이메일 주소를 수집할 수 있었고, 고객이 어떤 제품을 구매하고 언제 쇼핑을 하는지와 같은 정보를 분석할 수 있게 되었다.
• 음성학 알고리즘 : 비슷한 발음을 갖는 단어들을 수정한다. 자동으로 이름을 표준화하고 동일한 고객의 여러 기록을 하나로 일치하게 하여 단일 고객 ID에 링크되도록 하는 소프트웨어를 만듦