모델에서 이루어지는 '딥러닝'

모델에서 이루어지는 '딥러닝'

데이터 값을 찾기 위한 과정에서, 크게 두 가지를 통해 진행된다.

1. Linear Transform (선형 변환)

2. Activation Function (활성화 함수)

진행과정에서 Model은 data, variable, activation이 사용되는데 3가지는 다음과 같다.

1. data : INPUT 값 (변경할 수 없다 - uncontrollable)

2. variable : weight을 업데이트하는 데 사용되는 값 (변경할 수 있다 - controllable)

3. activation : 선형으로 해결되지 않는 문제에 활성화를 이용

INPUT data X가 [28,28]이라고 가정

X 데이터에 Weight을 곱하는 과정으로 데이터를 찾는다. ( func = W * X ) <선형으로 나타남>

[28,28] x [28,5] = [28,5]

하지만, 실제로 데이터 값을 찾을 때는 선형만으로는 불가능하다. 비선형을 활용하기 위한 여러 activation 함수를 사용해야 한다.

활성화 함수 종류로는 시그모이드, 렐루, 리키 렐루 등이 있다. (ReLU가 가장 성능이 좋음)

기존의 선형이었던 ( func = W * X ) 에 활성화 함수를 곱하면서 Layer 층을 만든다. 이 활성화 함수를 통해 함수는 선형에서 곡선으로 변화를 줄 수 있고, 데이터가 복잡하게 포진된 곳에서는 이러한 Layer층을 계속 깊게 만들어가는 과정을 통해 문제를 해결해나간다. 이렇게 Layer 층을 깊게 만들면서 학습하는 것이 바로 '딥러닝'이다.