[Data for PM] 04. 성과 측정을 위한 지표(Metric) 정의 - #4

 

이번 파트에서 다룰 내용

• 지표의 개념
• 지표를 정의하는 방법
• 지표 구성 요소
• 많이 활용되는 대표적인 지표
• DAU, WAU, MAU, PV, UV, CVR, CTR, Session 등 - 지표 정의 Process

 

---

4-4. 많이 활용되는 지표 : Duration Time (체류 시간), Session, User Engagement

1. Duration Time

의미: 특정 부분(페이지)에 얼마나 머물렀는가?

이벤트 행동	계속 특정 페이지에서 머물렀는가 (특정 페이지에서 머무른 시간을 카운트)
시간축	일자별, 주차별, 월별, 시간대별, 세션별
차원	특정 User 그룹(Segment), 페이지별, 퍼널별 등
집계 값	머물렀는지 계속 파악해야 하기 때문에 세션의 정의가 중요함  (하나의 세션에 마지막으로 접속한 시간 - 처음 접속한 시간)
조건

 

2. Session

지표의 의미

• 정의된 기간 동안 유저가 웹/앱에서 활동하는 묶음
• GA는 30분 동안 아무 활동이 없으면 세션을 종료하는 것으로 간주
• 정의된 기간(GA는 30분) 이내에 계속 이벤트를 발생하면 같은 세션으로 간주

세션별로 집계하느냐, 혹은 일자별로 집계하느냐에 따라 결과값이 다르게 측정될 수 있다

 

Session 지표를 사용하는 이유

• 제품(웹, 앱)에 하루에 1번만 접속하는 것이 아닌, 여러번 접속할 수 있음 → 이런 경우 세션 단위로 묶음
• 앱의 경우 활동하다가 백그라운드(홈)으로 이동하고 다시 앱으로 활성화하는 경우도 존재

 

3. User Engagement

지표의 의미

• 유저가 우리의 서비스에 관심을 가지는 순간을 Engagement로 정의
• 회사마다 정의가 모두 다름

→ GA는 앱이나 웹이 켜진 순간에 주기적으로 user_engagement라는 이벤트를 발생시킴

 

---

 

4-4. 많이 활용되는 대표 지표 : 퍼널(Funnel), AARRR, RARRA

1. Funnel

• 깔대기를 의미
• 제품에서 설계한 의도대로 유저들이 퍼널을 지나는지 확인하는 분석
• 제품에서 특정 결과에 도달하는데 필요한 단계를 정의하고 활용
• 퍼널은 앞부분에서 뒷부분으로 넘어가는 구간을 개선시키는 것보다 뒷부분을 개선하는 것이 좋음
  Why? 앞부분을 공들여 개선하더라도, 앞부분의 개선 결과가 뒷부분까지 영향을 끼치지 못할 수 있음

 

2. AARRR

• Acqusition: 얼마나 제품에 접근하는가?
• Activation: 고객이 최고의 좋은 경험을 하는가? 
• Retention: 다시 제품을 사용하는가?
• Revenue: 얼마나 돈을 버는가?
• Referral: 다른 사람에게 공유하는가?

 

3. RARRA

• Retention: 다시 제품을 사용하는가?
• Activation: 고객이 최고의 좋은 경험을 하는가?
• Referral: 다른 사람에게 공유하는가?
• Revenue: 얼마나 돈을 버는가?
• Acqusition: 얼마나 제품에 접근하는가?

→ Key Question: 가장 많이 떨어지는 시점을 다시 올리기 위해 무엇을 해야할까? / 제품을 다시 사용하게 하려면 어떤 기능이 필요할까?

 

4. 정리

어떤 지표를 사용할 것인지는 상황에 따라 다르며, 필요할 때 적절히 취하는 것이 핵심 (비즈니스 모델, 경쟁사의 존재)

제품 초기	처음엔 알리는 과정 필요. 알려지지 않으면 재사용도 없음.
어느정도 성장한 후	사용자들이 계속 재사용하도록 유도
회사에 예산이 적거나 투자가 안 되는 경우	수익성에 집중

 

---

 

4-4. 많이 활용되는 대표 지표 : Retention, Cohort

1. Retention

서비스를 사용한 사람이 다시 사용하는 비율을 의미

이벤트 행동	사용자 정의 필요 - 단순히 웹/앱 방문으로 정의할 것이냐? - 구매한 사람이 다시 구매하는 비율로 할 것이냐? 용도에 따라 정의하고 이름 붙임
시간축	일자별, 주차별, 월별
차원	특정 User 그룹(Segment) - 신규 유저, 잔존 유저, 휴면 유저, 복귀 유저
집계 값	특정 기간에 가입한 유저가 이후 기간에 얼마나 계속 사용하는지 집계
조건

 

핵심은 평평한 리텐션을 끌어올리는 것!

 

2. Cohort Retention

• (통계적으로 동일한 특색이나 행동 양식을 공유하는) 집단
• 보통 가입일자 기준으로 파악
• 가입한지 몇 주가 될 때까지 남아있는가?
• Retention은 단순히 그래프를 그려보는 것이 끝이 아니라, Retention이 높은 Segment가 있는지 확인해보는 작업이 필요함
• Retention은 Output Metric, 즉 사후 분석에 좋은 분석 방법
• 단, 서비스의 사용 주기에 따라 리텐션 그래프를 길게(장기적으로) 봐야할 필요가 있음 
  • 이런 경우에는 리텐션 그래프보다 더 빨리 사용자의 행동을 인지할 수 있는 것을 토대로 데이터를 바라보는 것이 좋음 
  • 예: 부동산 서비스는 이사가는 주기가 보통 2년이라 2년에 1번씩 활용함 → 이걸 어떻게 해야 방문주기를 2년보다 짧게 할 수 있을까?

 

---

 

4-5. 지표 정의 Process

1. 문제정의

해결하고자 하는 문제가 무엇인가?

 

2. 성과 지표 설정

해당 프로젝트의 목적은? 목적에 부합하는 지표를 설정해야 함

  1) 기획 확인하기 - 문제 정의 및 목적 확인
  2) 성과를 측정할 수 있는가?
  3) 성과 지표 고민

 

3. 데이터 비교 방법

  1) 전후 비교

• 단, 전후비교는 새로운 기능이 기존 기능 대비 얼마나 좋은지는 알 수 없음
  (과거대비로 볼 수는 있으나, 외부 요인이 개입될 수 있기 때문에 정확하지 않음)

  2) A/B Test

 

4. 성과 지표 설정 - 대표적인 지표

• 데이터 지표는 문제 정의에 따라 다르게 정의하는 것이 당연
• 해당 기능을 기획한 사람이 지표를 설정하는 것이 의도에 부합한 지표를 설정할 수 있음
• 대표적인 지표
  • 클릭률
  • 리텐션 : 단, 빠르게 보기 어려울 수 있음
  • 해당 기능을 통해 얻은 수익 (예약건수, 매출, 손익 등)
  • 기능의 배포 성공 여부
  • 퍼널 전환율
  • 구매 전환율

 

5. 지표 정의 Process

 

6. Mental Simulation

여러 관점으로 지표가 어떻게 될지 미리 생각해보는 프로세스

정의하는 과정에서 이런 시뮬레이션을 해보는 것이 매우 도움이 됨

• 지표가 올라간다면 왜 그럴까? → 더 빠르게 올라갈 수 있지 않을까?
• 지표가 내려간다면 왜 그럴까? → 내려가지 않도록 무엇을 해야할까?

미리 예상할 수 있는 결과를 생각한 후, 미리 대비해 불확실성을 감소시킬 수 있음

 

7. 지표 활용 가이드

1) 현황 파악 : 우리 서비스는 어떤 상황인가?

•  DAU, WAU, MAU
• Retention, 재사용 주기

 

2) 지표의 정의 확립하기 & 지표 저장소(Metric Store) 만들기

• 같은 지표는 재활용되면서 가치가 생김
• 같은 이름이지만 다른 의미인 경우가 많음
• 자주 사용하는 지표의 정의는 모아두면 유용 (사람마다 다른 정의를 사용하지 않도록)

 

3) 중요한 지표 파악하기

• Output 지표가 아닌 Input 지표 발굴하기
• 조직 전체의 목표와 속한 조직의 목표 맞추기

 

4) 지표 기반 Action하기

• 지표 회의 진행하기
• 지표 기반으로 Action하고 실험하기

 

8. 지표 관련 정리

1) 지표는 여러 개를 보는 것이 좋을까?

• OMTM, 북극성 지표 등 하나의 지표를 활용하는 경우 전사의 목표를 집중시킬 수 있음
• 단, 현상을 바라볼 때 하나의 관점이 아닌 여러 관점으로 보는 것이 필요
• 하나의 관점으로 바라보면 편향이 생기기 쉬움

 

2) 지표를 바라보는 관점 : 수치가 높은 쪽에 집중할 것인가? 낮은 쪽에 집중할 것인가?

• (예시)
  • Push 메시지 허용 비율이 30% (70%는 수신 거부)
  • Push 메시지 클릭율이 60% (40%는 반응하지 않음)
  • 위와 같은 케이스에서, 클릭율을 높일 것인가? Push 메시지 수신 거부를 줄일 것인가?
  • 퍼널 관점에서 생각하거나, 결제 전환율처럼 뒤에서 앞으로 오는 방법도 고려할 수 있음. 어떤 문제이냐에 따라 다르게 접근하는 것이 필요!

결국, MECE하게 무엇이 선행되어야 뒷부분의 문제에 접근할 수 있는지 고민 필요

 

 

3) 지표는 한 번 고정하고 계속 사용할까?

• 제품의 핵심 지표는 계속 활용되겠지만, 때론 지표를 변경해야 하는 경우도 존재
• 지표를 변경해야 하는가? 지표를 점검하고 지표에 대해 이야기하는 시간이 필요함 - 비즈니스 방향, 환경이 바뀌는 것에 빠르게 적응해야 함(대표적인 예 : 코로나)
• 상황이 변하면 우리도 그에 맞게 변해야 함. 과거엔 매출 극대화가 핵심이였다면 최 근엔 순이익 극대화가 중요함. 즉, 매출도 증가하고 비용을 줄여야 함
• 지표를 리뷰하고, 점검하는 지표 회의체를 만들고 운영하는 것도 좋음