PIPI

https://playinpap.github.io/data-analyst/ 데이터에 입덕한지 1300일째 깨달은 6가지🕵🏻 이 글의 원문은 저자의 블로그 에서 확인하실 수 있습니다. Intro 안녕하세요. 데이터 분석가 주정…playinpap.github.io   요약>1. 정량과 정성 그 사이 어딘가정량 데이터 100%가 아닌 정량과 정성 분석이 함께 해야 더 큰 시너지를 낼 수 있다는 걸 깨달았다. 실무에서는 정성 관점에서 나온 인사이트를 정량화하는 것이 액션과 성과로 이어질 확률이 높다.  O2O 플랫폼 같은 경우도 오프라인 현장에서는 생각지도 못했던 일들이 많이 발생한다. 유저의 많은 케이스들을 데이터로 모두 예측할 수 없기 때문에 데이터만 믿고 섣불리 판단하면 안 된다. 내가 본 데이터의 정..

https://brunch.co.kr/@uxn00b/265 데이터 중심적 사고와 데이터 기반 사고Data Analytics | 이 글은 Lean Analytics: Use Data to Build a Better Startup Faster (Lean Series)내 내용을 추가, 번역, 의역, 재구성한 글입니다. 데이터를 다루는 조직이라면, ‘데이터-드리븐(data-driven)’이라는 말brunch.co.kr     요약>데이터는 매력적이고 강력하다. 그렇기에 위험하다. 많은 사업 조직들은 데이터를 활용한다. 중대한 사업적 결정의 중요한 근거가 되기도 하며, 사업의 내부 운영을 직접적으로 최적화하는 데에 중요한 역할을 수행하기도 한다. 하지만 데이터는 때로 너무 중독적이어서, 모든 것을 과하게 분석하게..

https://yozm.wishket.com/magazine/detail/2704/ [‘일’상의 AI] ① AI는 파괴자일까, 조력자일까? | 요즘ITAI는 인간보다 더 빠르고 효율적으로 작업을 수행하는 것이 아니라 작업을 근본적으로 재정의 합니다. PM 업무뿐만 아니라 UX 디자이너, 개발 매니저의 업무를 대신할 것이며, 이렇게 되면 조직의yozm.wishket.com  1. 제품 프레임워크의 근본적 변화오랫동안 프로덕트를 구성하는 프레임워크를 설명할 때 참조한 다이어그램이 있다. 바로 IDEO의 제품 프레임워크다. 이 프레임워크는 프로덕트 매니지먼트, 디자인, 개발의 전문 영역을 원으로 묘사하고, 그 교차점에서 성공적인 제품을 만들기 위한 기본요소(공감, 기능, 프로세스)의 반복적인 협업을 강조한다...

데이터 분석 보고서데이터 분석 보고서란 주제를 정하고 주제에 포함된 문제에 대해 데이터 분석을 통해 해결 방법을 찾고, 결과 및 활용 방안에 대하여 기술한 것으로 보고서에는 뚜렷한 목표와 분석 결과물과 결론이 있어야 한다.    데이터 분석 보고서를 작성하는 이유현재 어떤 상황인지 공유하고 앞으로 무엇을 해야 할지 결정하는데 도움 되기 위해 보고서를 작성한다. 그렇기 때문에 보고서를 쓰느라 시간이 많이 들면 안 된다. 왜냐하면 작성된 보고서를 보고  Action을 하기 위해서인데 Action은 사실 때를 놓치면 의미가 없는 경우가 종종 있기 때문이다.    데이터 분석 보고서 작성 순서1. 논리구조 결정거의 모든 보고서의 기본 틀은 바바라 민토의 경력과 노하우가 담겨있는 '논리의 기술'이라는 책에 담겨있..

A/B 테스팅웹 사이트 방문자를 임의로 두 집단으로 나누고, 한 집단에게는 기존 사이트를 보여주고 다른 집단에게는 새로운 사이트를 보여준 다음, 두 집단 중 어떤 집단이 더 높은 성과를 보이는지 측정하여 새 사이트가 기존 사이트에 비해 좋은지를 정량적으로 평가하는 방식이다. 이때 성과란 새 사이트가 목표로 했던 바에 따라 다르다.  A/B 테스팅은 과학 혹은 의학에서 무작위 비교 연구라 불리는 방법을 인터넷 마케팅에 적용한 것이다. 주로 웹사이트의 마케팅과 관련하여 많이 사용하지만, 웹사이트가 아닌 모바일 앱, 게임 등의 분야에서도 활용된다.   A/B 테스팅을 하는 이유는 상관관계로부터 인과관계일 가능성이 높은 것을 찾아내가 위해서다. 그래야만 우리가 '원인'에 해당하는 요소에 개입을 하여 '결과'에 ..

하이퍼파라미터란머신러닝 모델의 성능과 구성을 결정하는 외부 설정값이다. 데이터로부터 추정할 수 없으며, 주로 모델의 성능을 돕기 위해 사용된다.  하이퍼파라미터는 모델 학습 과정에서 자동으로 결정되지 않고 사용자가 사전에 설정하는 값으로 머신러닝 모델의 성능은 파라미터와 하이퍼파라미터의 조합에 크게 의존하므로 올바른 값을 찾는 것이 중요하다. 하이퍼파라미터를 조정하는 방법에는 경사하강법, 정규화, 베이지안 최적화 등이 있고 이 외에도 다양한 머신 러닝 모델에 관련된 파라미터와 하이퍼파라미터가 있다. 이들을 적절히 설정하면 모델의 성능을 최적화할 수 있다.     베이지안 최적화하이퍼파라미터를 최적화하기 위한 방법이다. 가능한 최소의 시도로 최적의 답을 찾아야 할 경우와 개별 시도에 너무 많은 시간 또는 ..

이상치 탐지데이터에서 예상과 다른 패턴을 보이는 개체는 자료를 찾는 것을 말한다. 즉, 학습 데이터를 기반으로 기존 데이터들과는 다른 특성을 갖는 데이터를 찾는 모형을 만드는 방법이다.  '이상'이라는 표현은 적용되는 도메인 컨텍스트나 데이터의 종류에 따라 다양하게 불린다.   이상치 탐지와 혼동되는 것들1. 분류(Classification)분류는 두 범주를 구분할 수 있는 경계면을 찾는 것이고, 이상치 탐지는 다수의 범주를 고려해 이상치가 아닌 데이터들의 sector(부문)를 구분 짓는 것이다.  2. Noise DetectionNoise는 분석 이전 단계에서 불필요한 개체 또는 제거해야 할 성분을 말하는 것으로 이를 조정함으로써 통계 모형 추정에서 이상치에 영향을 줄 수 있다. 또한, Noise De..

https://yozm.wishket.com/magazine/detail/2701/ 개발자를 위한 ‘프롬프트 엔지니어링’ 시작하기 | 요즘IT일반적으로 프롬프트는 ‘지시한다’, ‘말을 전한다’라는 뜻을 가지고 있습니다. LLM(Large Language Models)에서 프롬프트는 AI 모델에게 내리는 지시 사항 혹은 첫 대화의 물꼬를 뜻하는데요. 프롬yozm.wishket.com   챗GPT가 처음 공개되었을 때 많은 사람들이 깜짝 놀랐다. 마치 채팅하듯 자연어로 질문하면 답을 제공해 주기 때문이다. 금방이라도 모든 검색을 다 대체할 수 있을 것 같았다. 하지만 틀린 답을 그럴싸하게 말하거나, 엉뚱한 답을 내놓기도 한다. 왜 그럴까? 여기엔 편향된 학습데이터, 과적합 같은 여러 이유가 있지만 물어보는 ..

https://brunch.co.kr/@pan7512/89 통제 불능의 인공지능: 우리는 준비되어 있는가?인류의 위기 시리즈 8편 | 우리는 지금 인류 역사상 가장 빠른 기술 혁명의 한가운데 서 있습니다. 인공지능(AI)은 이미 우리 일상 깊숙이 파고들어, 스마트폰의 음성 비서부터 자율주행 자동차,brunch.co.kr  우리는 지금 인류 역사상 가장 빠른 기술 혁명의 한가운데 있다. 인공지능(AI)은 이미 우리 일상 깊숙이 파고들어, 스마트폰의 음성 비서부터 자율주행 자동차, 의료 진단 시스템에 이르기까지 우리 삶의 많은 부분을 변화시키고 있다.  불과 몇 년 전만 해도 AI는 단순한 계산이나 패턴 인식 정도만 가능했다. 하지만 지금은 복잡한 전략 게임에서 세계 최고의 인간 선수들을 이기고, 의학 논문..

그라디언트 부스팅머신러닝에서 부스팅은 약한 모델을 여러 번 순차적으로 적용해 강한 모델을 만들어 나가는 것을 의미한다.  그라디언트 부스팅은 Gradient(또는 잔차(Residual))를 이용해 이전 모형의 약점을 보완하는 새로운 모형을 순차적으로 적합한 뒤 이들을 선형 결합하여 얻어진 모형을 생성하는 지도 학습 알고리즘이다.  GBM에서 사용되는 가장 핵심적인 방법은 gradient descent, 경사하강법이다. 경사하강법은 손실 함수(loss fuction)를 정의하고 이의 미분값이 최소가 되도록 하는 방향을 찾고 접근하는 방식이다.   그라디언트 부스팅 작동 요소그라디언트 부스팅은 세 가지 요소를 수반한다. 최적화되는 손실 함수사용된 손실 함수는 해결되는 문제의 유형에 따라 다르다. 예를 들어 ..