인사이트
인사이트(Insight)
인사이트는 '통찰' 즉, '본질을 꿰뚫어 봄'을 의미한다.
통찰은 특정 맥락 내에서 특정 원인과 효과를 이해하는 것을 말한다.
즉, 인사이트는 어떤 사건이 발생했을 때, 그 사건이 일어난 원인을 특정 맥락 속에서 파악하고 그 사건이 미치는 효과를 이해하는 것을 말한다.
인사이트 발견
인사이트는 발견할 확률이 높을까, 발견될 확률이 높을까?
발견할 확률이 높다.
그럼 발견하기 위한 필요충분조건은 무엇일까?
바로 남다른 가설과 관점이다.
남들과 똑같은 질문을 하면서 유레카를 외치려고 하면 안 되는 것이다.
남다른 가설과 관점은 어떻게 얻을 수 있을까?
우선 내가 가진 데이터의 특성과 한계를 정의해야 한다.
데이터로 볼 수 있는 것과 그렇지 않은 것을 구분하기 위해서는 데이터의 생성 원인과 배경, 구조를 알아야 한다. 다음은 당연히 분석하고자 하는 산업에 대한 이해가 있어야 한다. 여기서 '이해'는 산업의 특성을 넘어 최근 동향, 트렌드까지를 의미한다. 그리고 분석하려는 산업을 전혀 다른 산업이나 이론과 비교해 보는 일이 필요하다. 우리 동네에서 생긴 문제를 해결하기 위해 옆 동네도 보고 앞 동네도 보자는 것이다. 생각을 다르게 하려면 가장 먼저 생각의 기준을 자꾸 옮겨야 한다. 마지막으로 해당 업종에 종사하고 있는 사람들이 시장을 어떻게 보는지 알아야 한다. 인사이트라는 것은 결국 듣는 사람 입장에서의 새로움이다. 내가 분석한 결과에서 상대가 뻔하다고 생각할만한 내용을 하나씩 제외하는 게 인사이트를 찾는 가장 보편적인 방법이다.
데이터 분석가의 인사이트
데이터 분석가는 '데이터로 비즈니스 문제를 해결하는 사람'이다.
데이터로 비즈니스 문제를 해결하기 위해서는 세 가지 중요한 인사이트를 가져야 한다.
- 서비스에서 어떤 현상이 일어났을 때, 데이터를 분석하여 정확한 원인을 찾는다.
다른 말로 '인과추론을 위한 통찰'이라고 할 수 있다.
데이터 분석가의 기본 업무는 '뭐 때문에 이런 건가요?'에 대한 해답을 찾는 것이다.
만들어 놓은 지표를 모니터링하다가 현상을 발견하고, 이 현상이 우리 서비스를 위해 계속해서 가져가야 할 중요한 인과관계가 있는지, 아니면 일시적인 마케팅 효과 정도인지를 판단해야 합니다. 이렇듯 어떤 현상에 대한 인과관계를 발견하는 것은 데이터 분석가가 해야 할 가장 중요한 일이다.
흔히 정립된 인과추론의 방법에는 크게 4가지가 있다. 위에서 아래로 갈수록 입증력이 낮다.- 과학적 실험(Experiment)
가장 입증력이 강하다.
원인에 대한 결과를 정확하게 판단하기 위해 나머지 변인들은 모두 통제하는 것이다.
그러나 on-line으로 계속 서비스를 하고 있는 앱/웹 서비스에서는 진행하기가 사실상 불가능하다. - 통계적 실험
앱/웹 서비스에서 가장 많이 사용하는 방법이다.
RCT(Randomized Controlled Trial, 무작위 통제실험)이라고 불리는 A/B 테스트가 가장 잘 알려진 방법이다. - 준실험(Quasi-Experiment)
A/B 테스트를 진행하기 힘들 때는 준실험으로 인과추론을 할 수 있다.
준실험은 인위적으로 통제된 것이 아닌 '자연적으로' 나뉘었지만 원하는 분석의 결과를 도출할 수 있는 그룹으로 쓰기에 충분할 때 사용한다.
실제로 데이터 분석가는 이미 있는 유저들의 로그를 통해 그룹을 나누고 원하는 결과에 대한 인과추론을 위해 이런 분석을 진행한다. - 반사실(Counterfactual)
가장 입증력이 약하다.
순수하게 관찰만으로 인과관계를 추정하는 방법이다. 효과를 측정하기 위해 반사실적 대조군을 설정해야 한다.
- 과학적 실험(Experiment)
- 분석 결과를 해석하여 정확한 결과를 도출한다.
다른 말로 '통계적 해석을 통한 통찰'이라고 할 수 있다.
데이터 분석가는 원하는 데이터를 추출하여 가공하고 분석하고 나면 시각화된 데이터 분석 결과를 손에 쥐게 된다. 그러면 이제 그래프를 해석하는 일만 남았는데, 이때 가장 필요한 역량이 '통계 역량'이다.
결과로 나온 그래프가 유의미한 결과인지 가설 검정을 위한 유의성은 충분히 확인되었는지 등을 판단해야 하기 때문이다.
통계는 데이터 분석가가 만들어낸 결과에 대한 신뢰성을 높여줄 수 있는 강력한 도구다. 그렇기 때문에 통계적 해석을 가지고 정확하고 신뢰성 높은 인사이트를 가져야 한다. - 결과를 통해 결론을 도출하고 알맞은 액션을 도출한다.
다른 말로 '비즈니스 인사이트'라고 할 수 있다.
비즈니스 인사이트는 데이터 분석의 결과가 우리 서비스와 사업에 어떤 영향을 줄 수 있고, 어떤 액션을 해야 하는지 등을 정확하게 알고 있는 것을 말한다. 데이터를 정확하게 이해한다는 것은 그 비즈니스를 정화하게 알고 비즈니스를 성공적으로 이끌기 위해 어떤 것이 가장 필요한지 '통찰'을 갖는다는 것이다.
그렇기 때문에 비즈니스 인사이트를 얻기 위해서는 어느 정도의 경험도 반드시 필요하다.
데이터 분석가는 결국 '데이터로 비즈니스 문제를 해결하는' 사람이기 때문에 비즈니스 인사이트는 데이터 분석가의 성과를 높여주는 가장 중요한 통찰력이 된다.
또한, 결과와 결론은 다르다.
데이터 분석 스킬과 통계적 해석으로 만들어낸 멋진 '결과'로부터 훌륭한 비즈니스 임팩트를 가져올 수 있는 '결론'을 도출하는 것이 비즈니스 인사이트다.
인사이트 도출의 어려움
인사이트가 무엇인지도, 어떻게 발견하는지도, 데이터 분석가에게 인사이트란 어떤 것인지도 알았다.
그러나 막상 인사이트를 도출하려고 하니 오래 걸리고 어렵다. 왜 그럴까?
우선 막상 데이터를 가지고 분석하려다 보니 필요한 핵심 데이터가 없는 경우다.
이런 경우 다시 모아야 하는 방법밖에 없는데 그러다 보면 시간이 많이 걸리고 데이터의 양도 충분하지 못하게 된다. 특히 오래된 회사의 경우, 보통 어딘가에 쌓아둔 데이터가 많이 있는 데 사용하려고 막상 들춰보면 사용할 수 없는 '쓸모없는 데이터'만 넘쳐나는 경우가 많다. 이럴 때 ETL 추출, 변환, 로드의 프로세스의 과정을 거쳐 신뢰할 수 있는 데이터로 만들어야 하는데 이 또한 데이터 전문 인력과 리소스가 요구되고 시간이 많이 걸린다.
그리고 데이터를 분석하다 보니 이상한 점을 발견해 데이터 원천을 뒤져보면 중복 및 누락을 발견하는 경우다.
이는 원천 데이터에 문제가 있는 것으로 GIGO(Garbage In, Garbage Out)라고 표현되는데, 해석하면 쓰레기 데이터를 넣으면 쓰레기 결과가 나온다는 말이다. 이런 경우 데이터가 확인 및 검증이 제대로 안되어 있어서 다시 처음부터 손봐야 한다. 그렇다 보니 제대로 된 분석을 하기 위해서는 원천 데이터부터 봐야 하는데 시간도 많이 걸리고 데이터 자체를 사용할 수 없는 경우도 생긴다.
마지막으로는 구성원들이 데이터 분석 및 툴에 대해 익숙하지 않아서 시간이 걸리는 경우다.
데이터를 잘 정리해서 활용할 수 있도록 준비했더라도 실무 부서에서 데이터를 분석해 인사이트를 찾아야 하는데, 구성원들이 데이터 분석 및 툴에 익숙하지 않아 시간이 걸리는 것이다.
상황이 이렇다 보니 데이터 분석을 전문으로 담당하는 팀에서 구성원들이 쉽게 활용할 수 있도록 태블로나 구글 데이터 스튜디오 등을 활용한 시각화된 대시보드를 만들어서 제공하게 된다. 그런데 실무에서 사용하다 보면 추가 요청이 계속 늘어나게 되고 이를 챙겨주다가 업무 시간의 대부분을 보내게 되고 분석 시간이 부족하게 된다. 또는 데이터 분석이라는 것이 손에 잡히는 명백한 업무가 아니다 보니 대시보드를 만드는 것을 주요 업무 성과로 포장하는 경우도 종종 있다.
그렇다면 이에 대한 해결책은 무엇일까
데이터로부터 인사이트를 도출하고 이를 실행으로 옮길 '리더'의 역할이 더욱 중요하다.
그렇기에 앞으로는 데이터 리터러시라고 불리는 데이터를 사용하고 해석하고 소통하는 능력과 이를 의사 결정에 반영하는 역량이 리더로서 필수 요건이 되고 있다. 따라서 자신이 앞으로 회사에 리더로서 성장하고 싶다면 데이터 이해에 대한 꾸준한 학습과 더불어 실제 업무에 이를 적용해 보려는 노력이 필요하다.
인사이트
데이터 분석가에게 가장 필요한 능력이라고 생각되는 인사이트에 대해 알아봤다.
채용 공고에서도 항상 인사이트를 발굴하는 사람이 우대 사항에 작성되어 있기도 하고, 데이터 분석가를 알게 된 순간부터 모든 글에 인사이트를 잘 내는 분석가가 되는 것이 중요하다는 말이 있어 상세히 파악해 보고자 알아보게 됐다.
그러나 알아봤음에도 불구하고 인사이트라는 것은 참 어려운 것 같다.
내가 생각하는 인사이트는 결국 데이터 분석가가 자신의 모든 역량을 이용해 검증한 결과이고, 인사이트를 내더라도 사용이 되지 않는다면 그대로 끝이기 때문이다. 그리고 그 인사이트가 괜찮다고 판단되더라도 적절하고 괜찮은 것이 맞는지를 확답 내릴 수 없기 때문에 어렵다고 느껴진다.
그럼에도 내가 데이터 분석가가 된다면 맡은 일에 대해 혹은 내가 생각한 가설을 검증해 실무에 적용될 수 있도록 다양한 인사이트를 내어보고 싶다.
참고 자료