[Deep Learning] Lecture Note 2 - 210810

 

 

다중분류(Mutiple Classification) 딥러닝 모델에서 오차 함수

"categorical_crossentropy" 혹은 "sparse_categorical_crossentropy" 를 사용

 

1. categorical_crossentropy (다중 분류 손실 함수)

실측 결과와 출력값이 one-hot encoding형태로 구성된다. 

 [ [1,0,0],

  [0,1,0],

  [0,0,1]]

 

2. sparse_categorical_crossentropy (다중 분류 손실함수) 

실측 결과와 출력값이 Label Encoder같이 정수형 0 ~ N으로 구성될 때 쓰인다.

 

---

 

이진 분류에서 사용되는 오차함수

model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])

 

 

---

 

확률적 경사 하강법(Stochastic Gradient Descent, SGD)

추출된 데이터 N개에 대해서 그레디언트를 계산하여, 경사 하강 알고리즘을 적용하는 방법을 말한다. 전체 데이터를 사용하여 최적의 해를 찾는 것이 아니라, 랜덤하게 추출한 N개의 데이터를 사용하여 Mini Batch 방식으로 해를 찾는다.

  

---

 

Epoch, Batch Size, Iteration, 가중치(w)의 갱신

 

Epoch: 전체 데이터 셋을 학습하는 횟수 

Batch Size : 1 배치당 트레이닝되는 샘플의 갯수 

Iteration: 1 배치를 학습할 때 1 Iteration이라고 한다. 배치의 수 = 이터레이션

가중치 갱신: Iteration 마다 발생한다 

 

예시: 학습에 사용하는 데이터가 100개, Batch Size = 50, Epochs = 100이라면, 
100개의 데이터 셋을 배치 사이즈 50개로 나누어 iteration은 1 epoch당 2가 된다.

1 번 Epoch 학습당:  50(Batch Size) * 2(Iteration/epoch) = 100(DataSets) 
Total 학습: 2(Iteration/epoch) * 100 = 2,000 iteration 및 가중치 학습