보관물

Posts Tagged ‘A/BTest’

Push Messaging A/B Test 결과

2014년 4월 16일 댓글 남기기

Image

Localytics에서 위의 그림과 같이 Push  Messaging A/B Test를 진행하였다. 어느 쪽의 반응율이 더 높았을 것 같은가?

A는 20%의 사용자가 앱을 기동했으며 B는 15%만의 사용자만 반응을 했다. 즉, A가 B에 비해 25%나 높은 반응율을 보인 것이다. 개인적으로는 조금 의외의 결과였다. 너무 많은 정보가 노출되어 지저분하게 보이고 핵심 내용이 전달되기 힘든 A가 높다는 것은 예상과는 다른 결과였다.

하지만, 실제 전환율(conversion rate)을 살펴보니 B의 압승이었다고 한다. 여기에서 전환율은 해당 Push를 받은 전체 사용자 중 In-App 결제를 한 사용자의 비율을 말한다. 단순 CTR만 측정했더라면 정작 중요한 전환율을 알아내지 못했을 것이다. A/B 테스트를 진행할 때, 마케팅의 목표에 따라 알맞은 KPI를 설정해야 하고 최종 KPI를 측정할 수 있는 도구를 사용해야 할 필요가 있겠다.

Advertisements