Article : A/B 테스팅이란

https://boxnwhis.kr/2015/01/29/a_b_testing.html

A/B 테스팅이란

 

 

 

 

<아티클 내용 요약>

- A/B 테스팅이란 임의로 두 집단을 나누고, 한 집단에게는 기존 사이트를 보여주고 다른 집단에게는 새로운 사이트를 보여준 다음, 두 집단 중 어떤 집단이 더 높은 성과를 보이는지 측정하여, 새 사이트가 기존 사이트에 비해 좋은지를 정량적으로 평가하는 방식을 말한다. 

- 여기서 성과란 새 사이트가 목표로 했던  바에 따라 다르다. 

- A/B 테스팅은 과학 혹은 의학에서 무작위비교연구라 불리는 방법을 인터넷 마케팅에 적용한 것이라고 생각하면 된다. 

- 주로 웹사이트의 마케팅과 관련하여 많이 쓰이지만 모바일 앱, 게임 등의 분야에서도 활용된다. 

 

 

왜 하나

- 상관관계로부터 인과관계(정확히 말하면 인과관계일 가능성이 높은 것)를 찾아내기 위함이다. 

- '원인'에 해당하는 요소에 개입하여 '결과'에 해당하는 요소가 우리가 원하는 방향으로 변화되도록 하거나, 이미 '결과'에 변화가 생겼을 때 이 변화의 '원인'이 우리가 했던 그 개입 때문이 맞는지 아닌지 판단할 수 있다.   

 

 

주의할 점들

- A/B 테스팅을 통해 인과관계를 찾아내려면 두 집단을 임의적으로 나눠야 한다. 이를 임의적 할당이라고 한다. 

- 임의적이지 않은 방식을 사용할 경우 두 집단의 차이가 무엇 때문에 발생하는지 가려낼 수 없게 된다. 

- A/B 테스팅을 통해 찾아낸 결과가 범용성을 지니려면 애초에 실험에 참가한 집단이 모집단을 대표할 수 있어야 한다. 이를 임의적 추출이라고 한다. 

 

 

A/B 테스팅의 단점

1. 테스트를 많이/자주 하면 단기적으로 손해가 발생할 수 있다.
   - 테스트를 하는 동안 웹사이트를 새로 적용한 집단에서 매출이 기존에 비해 절반밖에 나오지 않을 경우 테스트를 진행하는 동안 매출 손해를 감수해야 한다.  
   
   
2. A/B 테스팅의 결과는 계절 변화나 취향 변화 등 시간의 흐름에 따라 바뀔 수 있다. 
   - 어제의 세상과 오늘의 세상이 다르고, 미국과 한국이 다르다. 확실성을 유지하기 위해서는 실험을 지속적으로 반복해서 해야 하는데 첫 번째 단점과 엮어서 생각해 보면 곤란한 이야기가 된다. 
   
   
3. A/B 테스팅만 해서는 지역최적점에 머물게 될 위험이 있다.
   - A/B 테스팅이라는 것은 기존 상태에서 작은 변화를 가하며 점진적으로 더 나은 상태를 찾아가는 방식으로 진행된다. 하지만 이 방식으로는 지역최적점에 수렴할 수 있을 뿐 전역적인 최적점을 찾을 수 없다. 

 

 

 

<알게 된 개념>

- JD분석을 하면서 많이 요구하는 분석 기법이라서 알아보기는 했지만 이번 Article을 통해서 좀 더 알 수 있었다. 

A/B 테스팅을 좀 더 자세히 알기 위해서는 더 많은 지식이 필요하겠지만 1차적으로 A/B 테스팅이 무엇인지 왜 하는지를 알 수 있었다.