PIPI

회귀 분석 종속 변수와 하나 이상의 독립 변수 간의 미래 사건을 예측하는 방법이다. 예를 들어 난폭 운전과 운전자에 의한 교통사고 총 건수 사이의 상관관계를 예측하거나 비즈니스 상황에서는 특정 금액을 광고에 사용했을 때와 그것이 판매에 미치는 영향 사이의 관계를 예측하는 데 사용할 수 있다.  회귀 분석은 머신러닝의 일반적인 모델 중 하나로, 회귀 분석 모델은 수치적 가치를 추정한다는 측면에서 관측치가 어느 범주에 속하는지를 식별하는 분류 모델과 다르다.  예측, 시계열 모델링 및 변수 간 인과관계 발견 등에 주로 사용된다.  중요성회귀 분석은 연속 숫자를 포함하는 모든 머신러닝 문제 해결에 필수적이며, 여기에는 아래와 예들이 포함된다. 금융 관련 예측판매 및 프로모션 예측자동차 테스트날씨 분석 및 예측..

A/B 테스팅웹 사이트 방문자를 임의로 두 집단으로 나누고, 한 집단에게는 기존 사이트를 보여주고 다른 집단에게는 새로운 사이트를 보여준 다음, 두 집단 중 어떤 집단이 더 높은 성과를 보이는지 측정하여 새 사이트가 기존 사이트에 비해 좋은지를 정량적으로 평가하는 방식이다. 이때 성과란 새 사이트가 목표로 했던 바에 따라 다르다.  A/B 테스팅은 과학 혹은 의학에서 무작위 비교 연구라 불리는 방법을 인터넷 마케팅에 적용한 것이다. 주로 웹사이트의 마케팅과 관련하여 많이 사용하지만, 웹사이트가 아닌 모바일 앱, 게임 등의 분야에서도 활용된다.   A/B 테스팅을 하는 이유는 상관관계로부터 인과관계일 가능성이 높은 것을 찾아내가 위해서다. 그래야만 우리가 '원인'에 해당하는 요소에 개입을 하여 '결과'에 ..

하이퍼파라미터란머신러닝 모델의 성능과 구성을 결정하는 외부 설정값이다. 데이터로부터 추정할 수 없으며, 주로 모델의 성능을 돕기 위해 사용된다.  하이퍼파라미터는 모델 학습 과정에서 자동으로 결정되지 않고 사용자가 사전에 설정하는 값으로 머신러닝 모델의 성능은 파라미터와 하이퍼파라미터의 조합에 크게 의존하므로 올바른 값을 찾는 것이 중요하다. 하이퍼파라미터를 조정하는 방법에는 경사하강법, 정규화, 베이지안 최적화 등이 있고 이 외에도 다양한 머신 러닝 모델에 관련된 파라미터와 하이퍼파라미터가 있다. 이들을 적절히 설정하면 모델의 성능을 최적화할 수 있다.     베이지안 최적화하이퍼파라미터를 최적화하기 위한 방법이다. 가능한 최소의 시도로 최적의 답을 찾아야 할 경우와 개별 시도에 너무 많은 시간 또는 ..

이상치 탐지데이터에서 예상과 다른 패턴을 보이는 개체는 자료를 찾는 것을 말한다. 즉, 학습 데이터를 기반으로 기존 데이터들과는 다른 특성을 갖는 데이터를 찾는 모형을 만드는 방법이다.  '이상'이라는 표현은 적용되는 도메인 컨텍스트나 데이터의 종류에 따라 다양하게 불린다.   이상치 탐지와 혼동되는 것들1. 분류(Classification)분류는 두 범주를 구분할 수 있는 경계면을 찾는 것이고, 이상치 탐지는 다수의 범주를 고려해 이상치가 아닌 데이터들의 sector(부문)를 구분 짓는 것이다.  2. Noise DetectionNoise는 분석 이전 단계에서 불필요한 개체 또는 제거해야 할 성분을 말하는 것으로 이를 조정함으로써 통계 모형 추정에서 이상치에 영향을 줄 수 있다. 또한, Noise De..

그라디언트 부스팅머신러닝에서 부스팅은 약한 모델을 여러 번 순차적으로 적용해 강한 모델을 만들어 나가는 것을 의미한다.  그라디언트 부스팅은 Gradient(또는 잔차(Residual))를 이용해 이전 모형의 약점을 보완하는 새로운 모형을 순차적으로 적합한 뒤 이들을 선형 결합하여 얻어진 모형을 생성하는 지도 학습 알고리즘이다.  GBM에서 사용되는 가장 핵심적인 방법은 gradient descent, 경사하강법이다. 경사하강법은 손실 함수(loss fuction)를 정의하고 이의 미분값이 최소가 되도록 하는 방향을 찾고 접근하는 방식이다.   그라디언트 부스팅 작동 요소그라디언트 부스팅은 세 가지 요소를 수반한다. 최적화되는 손실 함수사용된 손실 함수는 해결되는 문제의 유형에 따라 다르다. 예를 들어 ..

차원 축소(Dimensionality Reduction 또는 Dimension Reduction)고차원 원본 데이터의 의미 있는 특성을 원래의 차원과 가깝게 유지할 수 있도록 고차원 공간에서 저차원 공간으로 데이터를 변환하는 것을 말한다. 즉, 고차원의 데이터로부터 저차원의 데이터로 변환하는 방법이다.  차원 축소를 할 때는 원본 데이터로부터 일부 정보가 손실될 수 있어 원본 데이터로부터의 정보 손실을 최소화하면서 저차원으로 얼마나 잘 재표현할 수 있느냐가 관건이다.  이론적으로 변수간 독립성 만족 시 변수의 수가 증가할수록 모델의 성능이 향상한다. 그러나 실제 상황에서는 변수간 독립성 가정 위배, 노이즈 존재 등으로 인해 변수의 수가 일정 수준 이상 증가하면 모델의 성능이 저하되는 차원의 저주에 빠진다..

모델 평가데이터 준비, 모델 학습과 더불어 모델 성능을 측정하는 것 또한 머신러닝의 핵심단계라고 할 수 있다. 모델의 성능을 평가하는 것은 모델이 실제 환경에서 얼마나 잘 작동할지 예측하는데 중요하다. 그러므로 학습 목적에 따라 그에 맞는 적절한 평가지표를 사용해 올바른 성능 평가를 진행해야 한다.  적절한 모델 성능 평가는 모델의 개선 방향을 정립하고, 최적의 모델을 선택할 수 있다. 모델 성능 평가는 실제값과 모델에 의해 예측된 값을 비교하여 두 값의 차이(오차)를 구하는 것으로 '(실제값 - 예측값) = 0'이 되면 모델이 값을 100% 잘 맞췄다고 생각하면 된다. 하지만 예측값이 실제값과 100% 일치하는 것은 현실적으로 힘들기 때문에, 오차를 구해서 어느 정도까지 오차를 허용할지 결정하게 된다...

특성(Feature)특성은 데이터에서 관측된 각 변수 또는 속성을 의미한다.예측 모델링 또는 분류 작업에서 사용될 수 있으며, 예측변수, 입력변수, 독립변수 등으로 불리기도 한다. 예를 들어, 고객 분류를 위한 고객의 나이, 성별, 소득, 거주 지역 등이 특성으로 사용될 수 있다.  특성은 문맥이나 사용되는 분야에 따라 변수, 속성, 입력 변수 등 다른 형태로 변역될 수 있다. 변수 : 통계 및 머신러닝 분야에서 일반적으로 사용된다. 속성 : 데이터 세트의 특정 속성을 나타내는 데 사용된다.입력 변수 : 모델에 입력되는 데이터의 특성을 나타내는 용어다.   특성 선택(Feature Selection)특성 중 가장 유용하거나 중요한 특성을 식별하고 선택하는 프로세스다. 즉, 모델을 구성하기 위한 특징을 선..

과적합 집값을 선형 회귀로 표현한 그래프를 통해 과소적합과 과적합을 설명하고자 한다. 그림의 왼쪽 그래프는 과소적합(Underfitting)을 의미한다.그래프에 사용되는 Feature(특징)이 1개뿐인데, 매개변수 2개를 사용해 직선 형태로 데이터를 억지로 모델링하려 하니 알고리즘이 강한 선입견을 가지게 되어 데이터의 분포가 '집의 크기가 커져도 집값이 크게 변하지 않는 평탄한 부분'에 대한 예측을 잘하지 못하게 된다.이런 과소적합을 다른 말로 표현하면, 모델이 높은 편향(Bias)을 가지고 있다고 할 수 있다.편향은 어떤 것을 예측할 때 특징의 영향을 받지 않는 값인데 이 편향 수치가 높으면 특징에 관계없이 엉뚱한 예측을 하게 된다. 주로 모델이 단순하거나, 학습 반복(Iteration) 횟수가 적은 ..

교차 검증데이터를 여러 부분으로 나누고, 각 부분을 훈련과 테스트 용도로 번갈아 사용하여 모델을 평가하는 방법이다. 이를 통해 모델의 일반화 성능을 더 정확하게 측정할 수 있다. 조금 더 쉽게 설명하자면 학습 데이터를 학습 데이터와 검증 데이터로 나눠서 학습 데이터를 가지고 모델의 성능을 1차로 평가하는 검증 데이터를 만든다. 그 다음 테스트 데이터는 최종적으로 모델의 성능을 확인할 때 사용한다.    교차 검증 특징훈련 데이터가 많지 않을 때 사용한다. 훈련 데이터로 학습하고 테스트 데이터로 평가하는 경우, 해당 테스트 데이터에만 과적합되는 모델이 생성되어 일반화 성능이 떨어진다. 훈련 데이터에서 검증 데이터를 떼어내어 모형을 검증하는 과정을 여러번 반복한다.   교차 검증 장단점장점모든 데이터 셋을 ..