⚙️ Deep Learning
📌 Learning
- 최적화 문제 : 비용 함수의 값을 최소/최대화 하는 w를 찾는 문제
- Back Propagation : 인공신경망에 경사 하강법을 적용할 때 Loss Function부터 시작하여 각 Layer들을 역방향으로 접근하며 지금까지 실행했던 함수들을 역으로 따라가 미분값을 곱하며 연산하는 방법
- 활성화 함수의 미분
📌 훈련 단위
- 훈련 데이터 단위 Batch 방식
- Gradient Descent를 정확히 계산한다.
- 훈련 궤적이 부드럽다.
- 훈련 데이터 단위 Stochastic 방식
- 훈련 궤적이 상당히 많이 진동한다.
- 훈련 데이터 단위 Mini-Batch 방식
- 작은 단위로 묶어서 학습하여 속도가 빠르다.
- 모델의 성능이 좋은 경향이 있다.
📌 Epoch
- Batch : Gradient를 한 번 구하는 단위
- Epoch : 학습 데이터 전체를 한 번 학습하는 것
- Batch Size : 학습해야 할 데이터 셋을 여러 작은 단위로 나누었을 때, 1개 단위에 속하는 데이터 수
- Iteration : 1 Epoch을 마치는데 필요한 Batch의 수
- 적절한 Epoch의 필요성 : Epoch이 너무 적으면 Underfitting, 많으면 Overfitting이 발생한다.
📌 CNN
- Feature Map : 합성곱 필터를 적용하여 얻어진 결과
- Channel : 여러 개의 합성곱 필터에 의해서 생성된 Feature Map들을 쌓아서 구성한 것
