Article : A/B 테스트 제대로 이해하기 : ③ A/B 테스트 계산기의 세팅과 해석

https://yozm.wishket.com/magazine/detail/1656/

A/B 테스트 제대로 이해하기: ③ A/B 테스트 계산기의 세팅과 해석 | 요즘IT

 

 

<아티클 내용 요약>

계산은 어디서 어떻게 해야 하나요?

• 구글 옵티마이저(google optimize)와 같은 A/B 테스트 툴에서는 전환율과 더불어 표본 크기에 따른 유의미한 결과를 계산해 최종 판단에 도움을 준다. 
• A/B 테스트를 위한 솔루션을 사용하지 않거나, 솔루션으로 응용할 수 없는 실험을 설계했을 경우 웹 서비스를 이용해 계산을 할 수 있다. 
  사이트 : https://abtestguide.com/calc/

A/B-Test Calculator - Power & Significance - ABTestGuide.com

 

기초 통계 지식으로 계산기 세팅 및 해석하기

• A/B Testguide는 별다른 툴 없이도 결과를 알 수 있다. 
• 사이트 사용 방법
  1. Test Data
     각 그룹의 표본 크기와 그룹별 최종 전환 숫자를 뜻한다. 
     실험을 통해 각 그룹에 모인 트래픽과 그 중에서 원하는 결과로 최종 전환된 트래픽을 직접 입력하면 된다.
  2. Settings-Hypthesis
     단측 검정과 양측 검정과 관련된 결과를 보기 위한 기능이다. 
     '두 그룹에 차이가 있다는 전제하에, 특정 한쪽이 무조건 우세하다고 생각하고 실험을 할 것'인지 아니면 '두 그룹에 차이가 있긴 있는데 어느 쪽이 우세할지 모르겠으니까 열어놓고 보겠다'로 할 것인지로 이해하면 된다. 
  3. Settings-Confidence
     신뢰 수준에 몇 %로 설정하는지 묻는 설정이다. 

 

양측, 단측? 검정을 어느 쪽으로 해야 하나?

• 보통은 '양측 검정'을 진행하는 게 조금 더 보수적이고, 안전한 접근이다. 
• 결과가 어느 한쪽으로 무조건 나올 것이라는 보장이나 기대가 없는 상황에서 '단측 검정'을 하면, 차이는 있지만 더 큰 게 아니라 기대했던 것보다 더 작은 경우(혹은 반대의 경우)에 '우연'으로 계산되어 버린다.
• 양측 검정으로 한다면 '더 크진 않지만 그래도 더 작네? 차이가 있는 게 맞나? 그럼 우연 아니지! 인정이지' 또는 '더 작진 않은데 그래도 더 크네? 차이가 있는 게 맞네? 그럼 우연 아니지, 인정이지'라고 테스트 결과를 인정할 수도 있게 된다. 
• 단측 검정이었으면 '차이가 유의미하지 않다'라는 결과가 양측 검정에서는 '차이가 유의미하다'라는 내용으로 나올 수 있게 된다.

 

이제 결과를 해석해 봅시다. 

• 세팅을 완료하면 계산은 알아서 해준다. 그리고 두 그룹의 전환율 차이가 유의미한지도 어느 정도 확신할 수 있게 된다. 
• 그리고 결과는 P-value에 따라 나오게 된다. 
• 실험 결과가 유의미하지 않을 때는 Test Result가 'not significant'하다고 문구를 보여준다. 

 

테스트 사이트 세팅은 끝, 그 다음은?

• 결과가 ' not significant'으로 나온 경우 그냥 넘길 것이 아니라 아래와 같은 고민을 할 필요가 있다.
  • A와 B 사이에는 정말로 차이가 없는가. 
  • 아니면 차이가 있을 수도 있는데, 표본이 부족해서 알 수 없는가 

 

 

 

<알게 된 개념>

A/B 테스트의 결과를 내는 방식에 대해 알 수 있었다. 

새로운 점은 결과를 내주는 사이트가 있다는 점? 당연히 코딩으로 결과까지 알 수 있을 것이라고 생각했는데 좀 더 편한 방법도있다는 점이 신기했다.