4-2_확률적_경사_하강법_박제인.md

확률적 경사 하강법

• 대표적인 점진적 학습 알고리즘
  • 점진적 학습 : 이전에 훈련한 모델을 버리지 않고 새로운 데이터에 대해서만 조금씩 더 훈련하는 방식
• '확률적' : '무작위하게' 혹은 '랜덤하게'의 기술적 표현
• '경사' : 기울기를 의미
• '하강법' : 내려가는 방법
• 확률적 경사 하강법 : 훈련 세트를 사용해 산 아래에 있는 최적의 장소로 조금씩 이동하는 알고리즘, 훈련세트에서 랜덤하게 하나의 샘플을 골라 가장 가파른 길을 찾는 것 (전체 샘플을 사용하지 않고 딱 하나의 샘플을 훈련 세트에서 랜덤하게 선택하여 가파른 경사를 조금 내려간 후 훈련세트에서 또 다른 샘플을 하나 선택하여 경사를 조금 내려가는 것을 전체 샘플을 모두 사용할 때까지 계속함.)
  • 샘플을 모두 사용하였는데 경사를 다 내려오지 못했으면 다시 처음부터 시작한다. ( 훈련 세트에 모든 샘플을 다시 채워 넣고 다시 랜덤하게 하나의 샘플을 선택해 이어서 경사를 내려가서 만족할만한 위치에 도달할 때까지 계속 내려간다.)
  • 경사 하강법 : 경사를 따라 내려가는 방법을 의미, 가장 가파른 경사를 따라 원하는 지점에 도달하는 것이 목표(가장 빠른 길은 경사가 가장 가파른 길이므로), 가장 가파른 길을 찾아 내려오지만 조금씩 내려오는 것이 중요하다.
  • 확률적 경사 하강법은 훈련 데이터가 모두 준비되어 있지 않고 매일 매일 업데이트되어도 학습을 계속 이어나갈 수 있다는 장점이 있다.

에포크^epoch

확률적 경사 하강법에서 훈련 세트를 한 번 모두 사용하는 과정. 일반적으로 경사 하강법은 수백 번 이상 에포크를 수행한다.

미니배치 경사 하강법^{minibatch gradient descent}

여러 개의 샘플을 사용해 경사 하강법을 수행하는 방식

배치 경사 하강법^{batch gradient descent}

극단적으로 한 번 경사로를 따라 이동하기 위해 전체 샘플을 사용하는 방식. 전체 데이터를 사용하기 때문에 가장 안정적인 방법이 될 수 있지만 그만큼 컴퓨터 자원을 많이 사용하게 된다.

손실 함수^{loss function}

어떤 문제에서 머신러닝 알고리즘이 얼마나 엉터리인지를 측정하는 기준이다. 손실 함수의 값이 작을수록 좋음, 최솟값은 알 수 없어서 가능한 많이 찾아보고 만족할만한 수준이라면 경사를 다 내려왔다고 인정해야 한다. 이 값을 찾아서 조금씩 이동하려면 확률적 경사 하강법이 잘 맞음. *회귀 손실 함수로는 평균 절댓값 오차 또는 평균 제곱 오차를 많이 사용한다.

로지스틱 손실 함수^{logistic loss function}

• 이진 크로스엔트로피 손실 함수라고도 부른다.
• 이 손실 함수를 사용하면 로지스틱 회귀 모델이 만들어진다.

경사하강법 문제 - global minimum 을 찾아야 하는데 local minimum을 찾을 수 있음
손실함수와 비용함수가 교재에는 단순히 점검용으로 나오는데 중요한 함수임!
시그모이드 함수와 활성화 함수가 딥러닝에 쓰임
과소적합 과대적합 해결을 위해