데이터 분석을 위한 SQL 레시피 15강보충 - 성과 측정을 위한 지표 정의

15강 일부

15-3. 성과로 이어지는 페이지 파악하기

SIGN 함수, SUM 윈도 함수, CVR

분석이 완료 화면(/complete)에 도달하는 것을 성과(컨버전)로 정의하고, 완료 화면에 도달할 때까지 사용자가 방문한 경로 계산하기
- 컨버전 페이지보다 이전 접근에 플래그 추가하기
- 윈도 함수로 stamp desc로 정렬, /complete 페이지에 접근할 때까지의 접근 로그에 플래그 추가

---

 1. 목적이 무엇인가?

→  웹사이트 전체의 CVR을 향상시키기

2. 어떤 행동을 성과로 정의해야 하는가?

→   페이지 별로 성과와 직결되는지 그 여부 (= 완료 화면에 도달하는 것)

3. 해당하는 행동을 집계하는 방법은 무엇인가?

→ 완료 화면에 도달할 때까지 사용자가 방문한 경로 계산

4. 어떻게 집계하는가?

→ 컨버전 페이지보다 이전 접근에 플래그를 설정하고, 세션의 sum이 1을 넘는지 합산해본 후 sign함수로 성과 달성(전환) 여부를 판단

5. 집계하기 위해 필요한 데이터는 무엇인가?
... 
책에서는 이미 다 정의되어 있지만, 실무에서 적용하려면 어떤 값을 집계할지 목적~지표 설정까지의  전반적인 과정이 선행되어야 함
위와 같은 것들을 고민하는 "성과 측정을 위한 지표 정의" 와 관련된 내용

---

 
1. 선행지표와 후행지표

출처: https://kingged-uni.tistory.com/30

 

EX.
매출 증대, 비용 효율화와 같은 목표 달성을 목표로 함

(매출, 비용 = 후행 지표)

▼
매출, 비용에 영향을 미치는 actionable한 하위 지표인 객단가(ASP, Average Selling Price)를 트래킹

(객단가 = 선행 지표)
▼

하지만 객단가가 선행지표라고해서 무조건 객단가를 목표로 해서는 안된다.

선행지표와 후행지표의 관계 (출처: https://publy.co/content/7051)

 

그 이유는 
1. 선행지표는 여러 가지 요소로 구성된 복합적인 함수이기 때문

EX.

총 매출액을 높이기 위해 전반적인 가격대 즉, 평균 판매 단가(ASP, Average Selling Price)를 높이는 것이 목표일 때

후행 지표: 총 매출액
선행 지표: 평균 판매 단가
 

단가는 다음과 같은 요소로 구성되어 있다.

- 고객이 어떤 가격대의 상품을 많이 구매하는가?
- 어떤 가격대의 제품이 많이 노출되는가? 
- 어떤 가격대의 제품이 많이 등록되어있는가?
- 영업팀에서 어떤 가격대의 제품을 많이 영업할 것인가?
→ 이러한 구성 요소를 모두 고려해야 함
 

2. 또한, 선행지표와 후행지표의 관계는 절대적인 것이 아니라, "지표 스펙트럼 상 위치 값" (1:1 관계도 아님)

EX.
후행 지표: 구매 빈도
선행 지표: 상품 수 (셀렉션 수)
- 여기에서 후행지표인 구매빈도에 영향을 미치는 선행지표도 상품 수 1개가 아니고, 
- 선행지표인 상품 수가 영향을 주는 후행지표도 구매빈도 1개가 아니다. 
- 신규 셀렉션 수를 열심히 늘렸지만, 정작 구매 빈도는 늘지 않을 수 있다.

• 기존 상품들이 상위 랭크에 올라와있어, 늘린 신규 컬렉션이 유저들에게 노출이 안 되었을 수도 있다.
• 이런 경우에 구매 빈도를 늘리기 위해서는 셀렉션 수보다는 '신규 셀렉션 수의 노출 빈도'가 적합한 선행지표일 수 있음

→ 위와 같이 기업이 속한 산업, 서비스, 고객에 따라 선행 지표가 후행 지표에 영향을 미치는 정도가 다다르기에, 서비스와 고객에 대한 이해를 바탕으로 자신만의 선행 지표를 찾아야하며, 가설을 기반으로 선행 지표의 유의미성을 검증해야 한다.

 

---

2. 지표 정의 프로세스 

출처

https://zzsza.github.io/data-for-pm/metric/definition-process.html#%E1%84%89%E1%85%A5%E1%86%BC%E1%84%80%E1%85%AA-%E1%84%8C%E1%85%B5%E1%84%91%E1%85%AD-%E1%84%89%E1%85%A5%E1%86%AF%E1%84%8C%E1%85%A5%E1%86%BC

지표 정의 시 고려해야 할 다섯 가지 구성 요소
https://zzsza.github.io/data-for-pm/metric/examples.html#kpi-key-performance-indicator

대표적으로 많이 사용하는 지표 | Data for PM - PM을 위한 데이터 분석, 데이터 리터러시(프로덕트

 

---

3. 북극성 지표(North Star Metric)

: 조직 전체가 바라볼 수 있는 목표 설정하기

* 제품 성공의 핵심 척도
* 고객이 우리 서비스를 통해 얻게되는 핵심가치를 정확하게 대변하는 지표
* 그로스 해킹 관련 개념
* 북극성 지표의 조건
  1. 제품의 가치를 표현하는 지표
  2. 성공의 선행 지표
  3. 실행 가능한 지표
  4. 측정 가능한 지표
  5. 모두가 이해가능한 지표
* 북극성 지표 예시
- Facebook : 10일 안에 7명과 친구를 맺는 사용자 수
- Airbnb : 1분기 안에 예약한 숙박의 개수
- Spotify : 유료 사용자가 한 달 동안 음악을 듣는 총 시간
- Netflix : 유료 사용자가 한 달 동안 콘텐츠를 스트리밍하는 총 시간
* 북극성 지표는 끊임없이 개선되어야 한다. (지속적으로 측정하고 관리)

출처:  https://www.openads.co.kr/content/contentDetail?contsId=11846

facebook 북극성 지표 설정 시 장점 예시

---

우아한 민족 기술 블로그
* 린 스타트업 프로세스
* 신뢰도와 타당도를 고려한 지표 설계
* 표준화된 수식/개념 정의하기
* 목표에 따라 대시보드를 KPI / Metric으로 구분하기

 

데이터분석가로서 업무 과정과 경험, 배움을 공유합니다 | 우아한형제들 기술블로그

Lean Startup Process에서 Measure

2. AI 추천배차 성과 측정 및 현황 분석
:Lean Startup Process(=서비스 구축/개선을 위해 3단계를 반복하는 프로세스)
에서 'Measure'에 해당하는 부분에서 의사판단을 위한 통계적 기준을 마련하기 위해 지표를 정의하는 부분 참고

---

당근마켓 기술블로그
* 지표의 정의와 로직을 한 곳에서 정의하기
* 지표의 오너와 도메인 지정하기 (meta data)
* 지표 로직 변화에 따른 지표 버저닝(변경사항 기록하기)
* 신뢰할 수 있는 지표 계산하기 (통일된 기준, 올바른 시점) - KarrotMetrics
https://medium.com/daangn/%EC%8B%A0%EB%A2%B0%ED%95%A0-%EC%88%98-%EC%9E%88%EB%8A%94-%EC%A7%80%ED%91%9C-%EB%A7%8C%EB%93%A4%EA%B8%B0-bbf39dc4a6b3

신뢰할 수 있는 지표 만들기

 

---

딜라이트룸 섭스쿼드의 지표 미팅 (데이터리안)
* 구독 지표에 문제가 없는지 살피고, 개선의 시드를 발굴하는 지표 미팅 진행
* 가드레일 지표 (서비스에 악영향을 주었는지 파악하는, 떨어지면 안되는 지표)
https://datarian.io/blog/monitor-subscription-metrics-based-on-growth-hacking-methodology

그로스 팀의 지표 미팅 (1) 구독 지표 모니터링

---