https://playinpap.github.io/data-pipeline/ 데이터 파이프라인 개념 정리들어가며 우리는 주로 BI 툴이나 대시보드 툴을 통해 데이터를 확인하고 분석합니다. 하지만 이 데이터, …playinpap.github.io 빅데이터는 무엇일까?빅데이터는 매우 크고 복잡한 데이터셋을 의미한다. 이러한 데이터는 일반적으로 기존 데이터베이스 관리 도구로는 처리하기 어렵거나 불가능한 정도로 방대하며, 여러 컴퓨터로 분산 처리된다. 빅데이터는 일반적으로 3V라고 불리는 특성이 있다. Volume(양)빅데이터는 기존 데이터보다 훨씬 많은 양의 데이터를 다룬다. 대용량의 데이터는 수십 테라바이트에서 시십 페타바이트에 이를 수 있다. Velocity(속도)빅데이터는 높은 속도로 생성되고 처리..