Machine Learning_확률적 경사 하강법

https://twinw.tistory.com/247

 

훈련세트를 사용해 모델을 훈련하기 때문에 경사 하강법도 당연히 훈련 세트를 사용하여 가장 가파른 길을 찾을 것이다. 그런데 전체 샘플을 사용하지 않고 딱 하나의 샘플을 훈련 세트에서 랜덤하게 골라 가장 가파른 길을 찾는다. 이처럼 훈련 세트에서 랜덤하게 하나의 샘플을 고르는 것이 확률적 경사 하강법이다. 즉, 훈련세트에서 랜덤하게 하나의 샘플을 선택하여 가파를 경사를 조금 내려가고, 그 다음 훈련 세트에서 랜덤하게 또 다른 샘플을 하나 선택하여 경사를 조금 내려간다. 이런 시긍로 전체 샘플을 모두 사용할 때까지 계속하면 된다. 만약 다 사용했는데도 못 내려온다면, 다시 훈련 세트에 모든 샘플을 다시 채워넣고 처음부터 시작한다. 확률적 경사 하강법에서 훈련 세트를 한 번 모두 사용하는 과정을 에포크라고 부른다.

---

출처: www.yes24.com/Product/Goods/96024871