Article : A/B 테스트 제대로 이해하기 : ⑤ A/B 테스트에 적정한 표본과 주의 사항

https://yozm.wishket.com/magazine/detail/1680/

A/B 테스트 제대로 이해하기: ⑤ A/B 테스트에 적정한 표본과 주의 사항 | 요즘IT

 

 

<아티클 내용 요약>

대체 표본, 실험의 트래픽은 얼마나 모아야 하나요?

• 매번 다르다.
• 'A안과 B안 사이의 차이가 어느 정도 되기를 기대하느냐'에 따라 다르다. 
• 왜냐하면 동일한 신뢰 수준이라도 표본의 크기에따라 유의미한 결과 여부가 달라질 가능성이 있기 때문이다. 
• '표본은 얼마나 필요한가요?'라는 질문은 A/B 테스트를 설계하고 실행하는담당자로서, '우리는 두 방안의 결과가 몇 %정도 차이가 날 것이라고 기대하는가?'와 바꾸어 볼 수도 있다. 
• 결국 A안과 B안을 기획하고 설계한 담당자의 추측, 자신감, 또는 이전의 경험을 바탕으로 할 수밖에 없다. 

 

A/B 테스트 수행 과정에서 주의할 점 

1. 내가 미는 방안이 이길 때까지 기다리기(a.k.a 무작정 트래픽 더 모아보기)?
   • 표본이 충분하면 차이가 적더라도 '유의미한 차이'라는 결과를 받을 수 있다. 
   • 다만 이런 경우 아래와 같은 문제가 생길 수도 있다. 
     • 실험을 진행하는 동안 기다리는 것도 팀의 리소스가 소비된다.
     • 이번 실험을 하느라 다른 실험이 대기 중이라면 리소스, 트래픽의 낭비다. 
     • 무엇보다 실험에 노출되는 건 어디까지나 실제 유저들이므로, 실험 기간 동안 방문한 유저 중 절반에게는 상대적으로 안 좋은 방안이 계속 노출되는 셈이나 마찬가지다.  
   • 원하는 결과가 나올 때까지 기다리는 데 통계적으로 오류는 없을지 몰라도, 우리의 원래 목표인 '고객에게 더 좋은 방안을 제공하기'는 뒷전이 되고, 그 과정에서 비지니스의 리소스를 효율적으로 사용하는 것 역시 놓치게 된다. 
2. 내가 미는 방안이 지기 전에 그만두기?
   • 트래픽이 쌓일수록, 표본 크기가 점차 충분해질수록 내가 설계한 안이 질 것 같이 보이면 실험을 조기에 종료하는 것도 우리가 저지를 수 있는 실수, 또는 의도적 오류다
3. A안과 B안을 다른 날짜에 시작하기?
   • A/B 테스트의 특징 중 하나는 바로 '동시간대'에 실험을 시작하는 것이다. 같은 시간에 실험을 시작해야 결과의 차이가 실험에서 만든 요소에 의한 것인지, 혹은 다른 이유에 의해서인지 알기가 어렵기 때문이다. 
   • 다른 날짜에 시작하면 표본의 수도 차이가 날 수 있다.  

 

A/B 테스트의 기본이란?

• 고객에게 정말로, 확실하게, 유의미하게, 더 나은 방안을 제공하고 이를 통해 서비스를 개선하고 싶다면 A/B 테스트 뒤에 숨은 우리의 진짜 질문과 이를 구현하고 제대로 이해하기 위한 통계 지식, 그리고 이를 바탕으로 한 몇 가지 주의 사항은 꼭 알아야한다. 

 

 

<알게 된 개념>

통계적인 지식이 많이 필요한 것을 느꼈다. 통계 공부 해야겠다. 

그리고 하면 안되는 것을 알 수 있어 A/B 테스트를 하게 된다면 한번 더 읽고 신경써서 테스트를 진행해봐야겠다.