Article : 새로운 데이터 직군, 데이터 애널리틱스 엔지니어란?

https://yozm.wishket.com/magazine/detail/2563/

새로운 데이터 직군, 데이터 애널리틱스 엔지니어란? | 요즘IT

 

 

<아티클 내용 요약>

애널리틱스 엔지니어란?

• 미국에서는 대략 3~4년 전부터 화제가 되기 시작했고, 한국에서는 작년부터 본격적으로 주목받고 있다. 
• 데이터 애널리틱스(분석) 엔지니어란 '데이터를 사용하기쉽게 만들어주는 요리사'라고 할 수 있다.
• 데이터 애널리틱스(분석) 엔지니어의 고객은 데이터 분석가, 마케터, 기획자 등 데이터를 손에 쥐고 일하는 모든 현업 전문가다. 
• 데이터 파이프라인을 만들고 관리하는 일도 맡는다. 
• 여러 데이터 소스에서 정보를 끌어내어 의미 있는 통찰력을 제공하는 일도 이들의 몫이다. 
• 기술적 능력과 비즈니스 이해를 결합해서 데이터를 단순한 숫자가 아닌 실질적인 가치를 창출하는 도구로 바꾸고, 데이터의 품질과 정확성을 보장하는 것은 물론 데이터 보완과 개인정보 보호 같은 중요한 일도 책임진다. 
• 결론적으로 데이터 애널리틱스 엔지니어는 데이터 기반 문화를 조직 내에 구축하고 유지하는 데 중요한 역할을 하는 직군이다. 

 

기술과 비즈니스의 교차점 : Analytics Engineer

• 이제 데이터 팀은 단순히 데이터를 모으고 분석하는 것을 넘어서, 누구나 데이터를 쉽게 이해하고 활용할 수 있는 환경을 만드는 데 집중하고 있다. 
• 그 결과, 애널리틱스 엔지니어라는 직업이 탄생했다. 이들은 데이터를 정제하고, 모델링하고, 변환하고, 테스팅하고, 배포하고, 문서화하는 등 다양한 일을 한다. 
• 데이터 분석가들, 그리고 데이터를 사용하는 다양한 직무들이 데이터를 통해 더 쉽게 인사이트를 얻을 수 있도록 돕는 것이다. 

 

다른 직군과는 어떻게 다를까?

• 애널리틱스 엔지니어 vs 데이터 분석가
  • 데이터 분석가 : 데이터를 분석해 인사이트 도출
  • 애널리틱스 엔지니어 : 데이터 분석가가 사용할 수 있도록 데이터를 준비하고 최적화
• 애널리틱스 엔지니어 vs 데이터 엔지니어
  • 데이터 엔지니어 : 데이터 인프라 구축과 관리에 초점
  • 애널리틱스 엔지니어 : 구축한 인프라를 사용해 데이터를 분석할 수 있는 형태로 제작 
• 애널리틱스 엔지니어는 데이터를 정제하고 모델링, 변환하고 이 모든 과정을 문서화해서 데이터 분석가가 사용할 수 있게 한다. 또한, 데이터 파이프라인을 관리하고 최적화하는 것도 중요한 일이므로 데이터 엔지니어와 협력하여 데이터를 수집하고, 정리하며, 구조화하는 일도 한다. 이 과정에서 애널리틱스 엔지니어들은 데이터를 더 명확하고 의미 있는 방식으로 구성하고 필요에 따라 추가적인 컨텍스트를 제공하여 분석할 준비를 제공한다. 또한 여러 데이터 소스에서 수집된 데이터를 모델링하여, 데이터 마트도 구성하고, 데이터 대시보드도 개발한다. 

 

애널리틱스 엔지니어가 되려면?

• python, sql
  • 애널리틱스 엔지니어가 가장 많이 쓰는 데이터 관련 언어는 python과 sql이다. 
  • python은 주로 ETL 과정에서 사용되며, sql은 데이터 웨어하우스나 데이터 마트 과정에서 더 많이 사용된다. 
  • python을 사용하는 ETL 과정에서는 원시 데이터를 추출하고, 필요에 따라 데이터를 변환하며, 마지막으로 이를 데이터 웨어하우스에 적재하는 작업이 이루어진다.
• API 데이터 추출
  • 다양한 외부 소스로부터 데이터를 추출하기 위해 API를 활용한다. 
  • API 문서를 이해하고, 적절한 요청 매개변수를 설정하는 능력이 필요하며, 수집된 데이터를 데이터 베이스나 데이터 웨어하우스에 적절히 저장하고 관리하는 방법에 대한 지식도 중요하다. 
• on-premise 서버
  • 애널리틱스 엔지니어는 클라우드와 온프레미스 서버 모두에서 작업할 수 있어야 한다.
  • 온프레미스 서버에서의 작업은 주로 커맨드 라인 인터페이스 환경에서 수행되며, 데이터 추출, 변환 및 적재 작업에 대한 깊은 이해가 필요하다. 
• 클라우드
  • 클라우드 플랫폼은 데이터 저장, 처리 및 분석을 위한 강력한 도구를 제공한다.
  • GCP의 BigQuery는 대용량 데이터 세트를 위한 서버리스 데이터 웨어하우스 솔루션을 제공하며, AWS의 경우 Lambda, Aurora, S3와 같은 서비스를 통해 데이터 파이프라인을 구축하고 운영할 수 있다. 
  • Snowflake는 다양한 클라우드 플랫폼에 걸쳐 유연한 데이터 웨어하우징 옵션을 제공한다. 이러한 도구들은 대용량의 데이터를 효율적으로 관리하고 실시간 분석과 복잡한 쿼리 수행을 가능하게 하며 데이터의 스케일링과 보안 관리에 있어서도 중요한 역할을 한다. 
• 지표 정의
  • 데이터 소비자들과의 협업을 통한 지표 파악
    • 애널리틱스 엔지니어는 마케팅팀, 영업팀, 기획자 그리고 C-레벨 경영진과 긴밀하게 협력하여, 각 부서가 필요로하는 지표를 파악한다. 
    • 이 과정에서 의사소통 능력과 협업 능력이 중요하게 강조된다. 
  • 중요한 비즈니스 지표의 정의 
    • 다양한 부서의 요구와 조직의 전략적 목표를 바탕으로 핵심 성과 지표를 정의한다.
    • 이 과정에서 데이터 도메인 지식과 조직의 비즈니스 목표에 대한 이해가 필요하다. 
• 데이터 시각화
  • 데이터 시각화를 위한 대시보드 및 차트 기획
    • 정의된 지표를 바탕으로 애널리틱스 엔지니어는 사용자 친화적이고 효과적인 데이터 시각화를 위한 대시보드와 차트를 기획한다. 
    • 이 고정에서 데이터 시각호 원칙, 사용자 인터페이스 디자인, 그리고 사용자 경험을 고려합니다. 
  • 데이터 마트 구축 및 데이터 대시보드 개발
    • 데이터 마트를 구축하여 관련 데이터를 효율적으로 저장하고 접근할 수 있도록 한다. 그리고 데이터 시각화 도구를 활용하여 대시보드를 개발한다. 
    • 개발된 대시보드는 조직의 의사결정 과정을 지원하고, 데이터 기반의 통찰력을 제공하여 비즈니스의 성장과 발전에 기여한다. 

 

요약 및 애널리틱스 엔지니어의 전망

• 애널리틱스 엔지니어는 현대 비즈니스에서 점점 더 중요해지는 직업이다.
• 이들은 데이터를 단순한 숫자에서 가치 있는 정보 자산으로 바꿔놓으며, 데이터의 품질과 보안을 관리하는 역할도 맡고 있다.
• 애널리틱스 엔지니어가 되기 위해서는 python, sql, API를 통한 데이터 추출, 클라우드 플랫폼과 온프레미스 서버에 대한 지식이 필요하다. 
• 중요한 비즈니스 지표를 정의하고 데이터를 시각화하는 능력도 중요하다. 
• 데이터를 누구나 이해하고 활용할 수 있게 만드는 데 중점을 두며, 클라우드 기반 데이터 웨어하우스와 데이터 파이프라인 서비스, BI 도구들에 대한 숙련도도 중요하다. 

 

 

 

<알게 된 개념>

뭔가 데이터 엔지니어와 데이터 분석가의 중간에 있는데 두 가지의 일을 다 하는 듯 하면서도 다 하는 것 같지 않은 직업이라고 느껴졌다. 데이터 분석가로써의 역량과 데이터 엔지니어의 역량이 모두 필요한 듯 해 어려워보인다.