Article : 빅 데이터와 데이터 사이언스의 차이점 및 관계성

https://brunch.co.kr/@jennyjang93/22

빅 데이터와 데이터 사이언스의 차이점 및 관계성

 

 

 

 

<아티클 내용 요약>

 

빅 데이터와 데이터 사이언스의 차이점

- 빅 데이터와 데이터 사이언스는 데이터를 다루는 방식이 다르다. 

• 빅 데이터는 방대한 양의 데이터를 취급하고 관리하는 것을 다룬다. 
  • 빅 데이터 : MapReduce와 Hadoop의 등장으로 많은 양의 데이터를 쉽게 처리할 수 있다. 
  • 데이터 사이언스 : 데이터를 과학적으로 분석하는 학문이다. 본질적으로 더 정량적이며 다양한 통계적 접근 방식을 사용해 데이터 내에서 통찰력을 찾는다. 
• 빅 데이터는 데이터를 저장하는 것이고 데이터 사이언스는 분석하는 것이다. 
  • 데이터 과학은 빅 데이터도 포함하는 데이터 작업의 바다다. 
  • 이상적인 데이터 과학자는 빅 데이터 도구에 대한 지식도 있어야 한다. 
• 빅 데이터는 데이터의 저장 및 관리에만 국한된다.
  • 최근에는 빅 데이터 분석을 용이하게 하기 위해 PIG, HIVE 같은 구성 요소가 Hadoop 프레임 워크에 추가됐다. 
  • Spark와 같은 최신 프레임워크에는 고유한 분석 기능도 있다.
• 데이터 사이언티스트와 빅데이터 전문가의 역할이 다르다. 
  • 데이터 사이언티스트 : 강력한 스토리텔링을 통해 데이터를 분석하고, 데이터에서 통찰력을 얻고, 데이터를 시각화하고, 결과 전달
  • 빅 데이터 전문가 : 방대한 양의 데이터를 보유하고 잇는 빅 데이터 클러스터를 개발, 유지, 관리 

 

 

빅 데이터와 데이터 사이언스의 동일점

- 데이터 사이언스는 데이터 운영의 바다이다. 

- 데이터 작업에는 빅 데이터도 포함된다. 

- 데이터 과학은 다른 데이터 작업과 함께 하위 집합으로 빅 데이터도 포함하는 더 큰 집합과 같다. 

- 데이터 사이언티스트는 특성상 구조화되지 않은 경우가 많은 빅 데이터를 처리해야 한다. 

- 최근 빅 데이터와 데이터 사이언스의 경계가 허물어지고 있는데, 그 이유는 Spark, Flink와 같은 Big Data 플랫폼 데이터 분석 엔진이 프레임워크의 일부로 포함되어 있기 때문이다. 

 

 

 

 

<알게 된 개념>

- 빅데이터와 사이언티스트가 다른 건 맞지만, 왜 모호한지도 알 수 있게 되는 아티클이었다. 

그리고 앞으로 빅 데이터 기술이 늘어나면 늘어날수록 더 모호해지지 않을까? 하는 의문도 남은 아티클이었다. 

 

결국 빅 데이터 전문가가 할 수 있는 일을 데이터 사이언티스트들도 할 수 있는 것인데 그렇게 되면 데이터 사이언티스트라는 직업이 더 유망하고 살아남을 수 있는 일이 아닐까? 빅 데이터 전문가가 된다면 어떤 방식으로 혹은 어떤 길로 발전해야 살아남을 수 있는 것인지 생각해 보게 된다.