[40일차] ASAC 빅데이터 분석가 4기(ML-8)

⚙️ Regression

📌 Linear Regression

• 개념 : 학습의 관점에서, Cost Function을 작게하는 기울기와 절편을 찾는 문제이다.
• 좋은 변수 : Feature 간에는 상관된 정도가 작으면서, y와의 관련은 큰 것들 만으로 이루어진 것
• 현재 데이터를 잘 설명하는 모델 : Training Error를 최소화하는 모델
• 선형 회귀의 정규화 방법

L1 Regularization	L2 Regularization
가중치의 절댓값 합에 페널티를 준다.	가중치의 제곱합에 페널티를 준다.
단순하고 반복 가능한 모델을 생성한다.	복잡한 데이터 패턴에 대한 학습이 가능하다.
outliers에 대해 민감하지 않다.	outliers에 민감하다.

• 전통적인 선형 회귀 방식

Ridge	Lasso
L2 정규화를 사용한다.	L1 정규화를 사용한다.
변수 선택이 불가능하다.	변수 선택이 가능하다.
변수 간 상관관계가 높은 상황에서 좋은 예측 성능을 가진다.	변수 간 상관관계가 높은 상황에서 상대적으로 예측 성능이 떨어진다.
크기가 큰 변수를 우선적으로 줄이는 경항이 있다.	-

📌 Logistic Regression

• 개념 : 선형 회귀에서 출력값을 sigmoid 함수를 통해 0~1의 확률로 바꿔 진행하는 문제다.