[Machine Learning] Bias-Variance Tradeoff

Underfitting and Overfitting

 

모델을 학습시키다보면 여러 문제들을 직면하게 됩니다.

언더피팅과 오버피팅은 모델에 있어서 중요한 현상이라고 볼 수 있습니다.

 

언더피팅(과소적합)은 지나치게 단순한 모델로 인해 학습데이터에서도 성능이 떨어지는 현상을 말합니다.

모의고사와 수능 전부 형편없는 성적을 받는 경우입니다

 

학습 반복횟수가 너무 적은 경우

모델이 너무 단순한 경우 

발생할 수 있습니다.

 

오버피팅(과대적합)은 학습데이터에서는 뛰어난 성능을 보이지만,

테스트 데이터에서는 성능이 떨어지는 현상을 말합니다.

모의고사는 잘 봤는데, 수능에서는 성적이 형편없는 경우입니다.

 

모델이 너무 복잡한 경우

학습데이터가 부족한 경우

발생할 수 있습니다.

 

각 모델의 최고차수에 따른 데이터 적합도입니다.

degree 0의 경우 학습데이터에도 전혀 맞지 않는 모습을 보여줍니다.

전형적인 언더피팅을 보여줍니다.

 

degree 9의 경우, 학습데이터는 전부 완벽하게 들어 맞지만, 이후 테스트에선

높은 예측을 기대하긴 힘들어 보입니다.

이는 오버피팅을 보여주는 좋은 예입니다.

 

반면에 degree 1은 데이터가 꼭 맞지는 않지만 얼추 잘 맞는 기울기를 보여줍니다.

위와 같은 데이터 셋에서는 degree 1이 가장 적합한 모델임을 알 수 있습니다.

 

Bias & Variance

Bias(편향)은 모델을 통해 얻은 예측값과 실제값 차이의 평균을 의미합니다.

모델의 방향성을 확인할 수 있는 지표입니다.

높은 편향은 언더피팅을 발생시킵니다.

 

Variance(분산)은 같은 입력에 대한 모델 예측값들의 변동성을 의미합니다.

모델이 얼마나 일관성 있는가를 보여줍니다.

높은 분산은 오버피팅을 발생시킵니다.

 

 

위 그래프에서 degree 0이 예측한 것과 실제 데이터간의 차이가 굉장히 크다는 것을 볼 수 있습니다.

높은 편향을 보여주죠

하지만 일관적이긴 합니다. 낮은 분산을 보여줍니다.

degree 0의 그래프는 고편향 저분산 모델입니다.

 

degree 9의 경우는 어떨까요

(훈련데이터의 경우) 예측값과 실제값의 차이가 없습니다. 하지만 일관성을 보여주진 않습니다.

저편향 고분산 모델입니다.

 

degree 1의 경우 어느정도 오차는 있지만 그리 크진 않습니다. 모델도 일관성 있어 보입니다.

저편향 저분산 모델입니다.

(degree 9보다는 편향이 크긴 합니다)

 

최적의 모델은 편향도 낮고 분산도 낮은 모델임을 알 수 있습니다.

 

 

 

높은 편향을 잡기 위해선 모델의 복잡도를 증가시키는 방법이 있습니다.

모델의 Feature을 더 제공하거나, 학습 횟수를 늘려 편향을 줄일수도 있습니다.

 

높은 분산은 반대로 모델 복잡도를 감소시키거나, feature을 제거, 학습데이터를 증가하는 방법이 있습니다

규제를 적용할 수도 있습니다.

 

높은 편향을 잡기 위해선 모델의 복잡도를 증가시켜야 하고, 높은 분산을 잡기위해선 반대로 감소시켜야 합니다.

 

편향과 분산은 서로 상충관계에 있는데

이를 Bias-Variance Tradeoff라고 합니다.

모델의 복잡도에 따라 고편향 또는 고분산 모델이 될 수 있기 때문에

최적의 모델 복잡도를 찾는 것이 중요합니다.

 

이후에 찾는 방법에 대해 알아보겠습니다.