Article : A/B테스트 결과, 큰 숫자가 무조건 의미 있는 건 아니다

https://yozm.wishket.com/magazine/detail/1927/

A/B테스트 결과, 큰 숫자가 무조건 의미 있는 건 아니다 | 요즘IT

 

 

 

 

<아티클 내용 요약>

- 숫자의 큰 역할 중 하나는 정량적인 비교다. 

- 요즘 많이 사용되는 '데이터 기반 의사 결정'이라는 말은 수치화된 데이터를 기반으로 판단해 다음 행보를 결정하는 것이고, 결국 전후, 혹은 다양한 상황에서 얻은 데이터를 정량적으로 비교함으로써 이루어진다. 

- 하지만 이렇게 직접적이고 단순한 숫자 비교에는 여러 딜레마가 있다. 세상은 가변적이고, 크게 봤을 때는 동일한 것도 나눠서 보면 다르기도 하다. 

- 수학은 불확실성 위에 쌓아 올려진 학문이고, 통계는 항상 확률과 같이 등장하며, 숫자는 한 번도 절대적인 적이 없다. 

- 숫자의 절대성도 사실은 수많은 사람의 공통된 전제하에 만들어진 기준이다. 

- 세상의 수치 비교는 수많은 전제를 논리적으로 배치했을 때 수학이나 통계의 가치가 빛을 발하게 된다. 

- 데이터에는 기록 전에 형태를 잡는 과정부터 특정 정의와 합의를 포함한 많은 전제가 들어가 있다. 

- 초기 데이터는 많은 가정과 합의에 의해 가지치기되고 단순화되어 요약되고 정리된다. 대개는 이런 과정을 거쳐 나온 단순한 숫자를 사용한다. 

- 이 숫자를 제대로 사용하려면 많은 가정과 합의를 탐색하고 이해해야 한다. 

- 여러 추론 방법과 가정을 사용해야 할 수도 있고, 내용이 다소 유실되거나, 의도와는 다른 상황이 들어갈 수 있음도 이해해야 한다. 

- 숫자는 눈에 보이고, 뺄셈은 단순하다. 하지만 다양한 상황에서 발생하는 다양한 숫자를 비교해야 한다. 

- 숫자를 비교하려면 고려해야 하는 전제가 생각보다 많다. 무조건 숫자가 크고, 그래프가 잘 나오는 값을 고를 수는 없다. 이는 상관관계로 인과관계를 해석하려는 것만큼이나 덧없는 일이다. 

 

 

 

 

<알게 된 개념>

- A/B 테스트보다 숫자에 대해 새롭게 시각이 생기게 됐다. 

내가 생각하는 숫자는 절대적으로 변하지 않는 것이었는데, 글에서는 '숫자가 절대적인 이유는 모두가 공통적으로 기준을 만들었기 때문이다'라고 이야기한다. 

 

숫자라는 존재가 나의 세상에서 확실하게 가진 이미지가 깨진 지금. 

수학과 통계를 다시금 배울 수 있는 순간이라는 생각이 든다.