📌 Machine Learning
- 분류 모델 평가
- Confusion Matrix
종류 | 예측값 | 지표 | ||
P | N | |||
실제값 | P | True Positives (TP) | False Negatives (FN) | Recall, Sensitivity TP / (TP + FN) |
N | False Positives (FP) | True Negatives (TN) | Specificity TN / (TN + FP) |
|
지표 | Precision TP / (TP + FP) |
Negative Predictive Value TN / (TN + FN) |
Accuracy TP + TN / (TP + TN + FP + FN) |
- 회귀 모델 평가
- MSE(Mean Squared Error) : 기본적인 회귀식에서 나오는 오차 제곱의 합의 평균이다.
- RMSE(Root Mean Squared Error) : MSE의 제곱근을 구한 지표다.
- 결정계수(R Squared) : 간단한 모델의 오차 제곱의 합에 대한 SSE를 단순한 모델의 응답인
응답 평균의 오차제곱과 비교를 통해 모델이 잘 했는지 여부를 평가할 수 있다.
- 편향-분산 트레이드-오프(Bias-Variance trade-off) : 지도 학습 알고리즘이 훈련 데이터의 범위를 넘어,
지나치게 일반화 하는 것을 예방하기 위해 두 종류의 오차를 최소화 할때 겪는 문제이다.
구분 | 모델 복잡도 | 적합성 |
Bias 오차가 낮고 Variance 오차가 높은 경우 |
복잡 | 과대적합(Over Fitting) |
Bias 오차가 높고 Variance 오차가 낮은 경우 |
단순 | 과소적합(Under Fitting) |
- K-Fold Cross Validation : Training Data Set을 다시 K개로 분할하여 검증을 반복하는 것이다.
모든 데이터 셋을 평가에 활용할 수 있어 편중을 막을 수 있다.