[Deep Learning] Lecture Note 1 - 210809

발췌 : 코드스테이츠 Section4- Sprint1 Lecture Notes

 

 

퍼셉트론이란 ?

다수의 신호를 입력받아 하나의 신호를 출력 하는 것

 

---

퍼셉트론

• 아래 그림에서 '원'으로 표현된 것을 뉴런 or 노드(node)라고 함.
• 입력신호(x0, x1, ...)가 뉴런에 입력되면 각각 고유한 가중치(화살표=weights, w0, w1, ...)가 곱해지고 다음 노드에서는 입력된 모든 신호를 더해줌.
• 이는 시냅스(synapses)의 연결강도(시냅스의 두께, 개수)와 같은 역할을 함
• 각 뉴런에서의 연산값이 정해진 임계값(TLU; Threshold Logic Unit)을 넘을 경우에만 다음 노드들이 있는 층(layer)으로 신호를 전달

 

---

 

 

신경망이란? 

ANN(Artificial Neural Networks) 인공 신경망이라고 불리는 학습 모델이며 뇌의 실제 신경계의 특징을 모사하여 만들어진 계산모델(Computational Model)이다. 뇌신경망의 작은 구조인 뉴런을 모사한 인공 뉴런인 퍼셉트론은 다수의 입력신호를 받아 하나의 신호를 출력한다. 최근에는 뉴럴넷이라는 이름으로 많이 사용된다.

 

 

 

입력층(Input) 노드의 수 ?

Feature의 수 O

관측치의 수 X

 

 

 

출력층(Output) 노드의 수?

Target 값의 수 (Cardinality)

 

 

 

Bias ?

노드가 활성화가 될지, 안될지 정할 수 있는 값. 임계값 Threshold를 넘지 않거나, 넘더라도 넘겨주는 값을 조절해줄 수 있다. 

 

 

 

활성함수(Activation Function) ?

- 계단 함수(Step Function)

- 시그모이드(Sigmoid) 

- ReLu함수(Rectified Linear Unit) 

 

계단 함수 - 시그모이드 - ReLu

 

 

 

 

입력층과 은닉층, 출력층 

 

- 입력층(Input Layers)

입력층은 데이터셋으로부터 입력을 받습니다. 입력 변수의 수와 입력 노드의 수는 같습니다. 보통 입력층은 어떤 계산도 수행하지 않고 그냥 값들을 전달하기만 하는 특징을 가지고 있습니다. 그래서 신경망의 층수(깊이, depth)를 셀 때 입력층은 포함하지 않습니다. 

 

- 은닉층(Hidden Layers)

계산이 일어나는 층이 둘 이상인 신경망을 다층(multilayer) 신경망 이라고 부르는데 계산이 없는 입력층과 마지막 출력층 사이에 있는 층들을 은닉층(Hidden Layers) 이라고 부릅니다. 은닉층에 있는 계산의 결과를 사용자가 볼 수 없기(hidden) 때문에 이런 이름이 붙었습니다. 딥러닝(deep learning)은 사실 두 개 이상의 (이때 부터 깊다(deep)라고 합니다) 은닉층들을 가진 신경망, 입력층을 제외하고 시작하여 3개 이상의 Layer를 갖는 신경망을 의미합니다.

 

- 출력층(Output Layers)

신경만 가장 오른쪽 마지막 층이 출력층 입니다. 출력층에는 대부분 활성함수(activation function)가 존재하는데 활성화함수는 풀고자 하는 문제에 따라 다른 종류를 사용합니다.

• 회귀 문제에서 예측할 목표 변수가 실수값인 경우 활성화함수가 필요하지 않으며 출력노드의 수는 출력변수의 갯수와 같습니다.
• 이진 분류(binary classification) 문제의 경우 시그모이드(sigmoid) 함수를 사용해서 출력을 확률 값으로 변환하여 부류(label)를 결정하도록 합니다.
• 다중클래스(multi-class)를 분류하는 경우 출력층 노드가 부류 수 만큼 존재하며 소프트맥스(softmax) 함수를 활성화 함수로 사용합니다.