Neural Network

Neural Network

---

Perceptron

• 퍼셉트론(Perceptron) : 다수의 신호를 입력 받아 하나의 신호를 출력하는 알고리즘

  

  $$\begin{array}{r}y=\{\begin{array}{ll}0& \overrightarrow{\mathbf{w}}\cdot \overrightarrow{\mathbf{x}}\le \theta \\ 1& \overrightarrow{\mathbf{w}}\cdot \overrightarrow{\mathbf{x}}>\theta \end{array},x\in \{0,1\}\end{array}$$

• 논리 회로(Logic Gate) : 하나 이상의 논리 입력을 받아 일정한 논리 연산을 거쳐 논리 출력을 얻는 회로

  

  Gate	Desc
  AND	입력값이 모두 $1$ 이면 $1$ 을 출력함
  OR	입력값이 하나라도 $1$ 이면 $1$ 을 출력함
  NOT	입력값이 $0$ 이면 $1$ 을, $1$ 이면 $0$ 을 출력함
  NAND	입력값이 모두 $1$ 이면 $0$ 을 출력함
  NOR	입력값이 하나라도 $1$ 이면 $0$ 을 출력함
  XOR	입력값이 서로 다르면 $1$ 을, 같으면 $0$ 을 출력함
  XNOR	입력값이 서로 다르면 $0$ 을, 같으면 $1$ 을 출력함

• MLP(Multi-Layer Perceptron)

  

  • 단층 퍼셉트론은 선형 분류기로서 게이트를 다양한 가중치 조합을 통해 표현할 수 있으나, 비선형 분류기를 요하는 일부 게이트(XOR, XNOR)에 대해서는 표현이 불가능함

    

  • 이는 NAND, OR, AND 게이트를 표현하는 퍼셉트론들의 조합으로 표현할 수 있음

    

    $X_1$	$X_2$	$Z_1$ NAND	$Z_2$ OR	$Y$ AND
    $0$	$0$	$1$	$0$	$0$
    $0$	$1$	$1$	$1$	$1$
    $1$	$0$	$1$	$1$	$1$
    $1$	$1$	$0$	$1$	$0$

Neural Network

• 인공신경망(Artifical Neural Network) : 생물학적 신경망에서 영감을 얻은 통계학적 학습 알고리즘

  

• MLP(Multi-Layer Perceptron) is FC(Fully-Connected) FFNN(Feed-Forward Neural Network)

  

  • Layer : 하나 이상의 퍼셉트론으로 구성된 모듈
  • FC(Fully-Connected) : 레이어의 모든 뉴런이 다음 레이어의 모든 뉴런과 연결된 상태
  • FFNN(Feed-Forward Neural Network) : 신호가 하나의 방향으로만 전달되는 인공신경망

• MLP Definition

  

  $$\begin{array}{rl}\hat{y}& =\text{MLP}(\overrightarrow{\mathbf{x}})\\ & =F^{(N)}\circ \cdots \circ F^{(i)}\circ \cdots \circ F^{(1)}(\overrightarrow{\mathbf{x}})\end{array}$$
  • $F^{(i)}=h\circ g$ : Single Layer
  • ${\overrightarrow{\mathbf{y}}}^{(i)}$ : Activation Value
  • $h({\overrightarrow{\mathbf{z}}}^{(i)})$ : Activation Function
  • ${\overrightarrow{\mathbf{z}}}^{(i)}$ : Net Input
  • $g({\overrightarrow{\mathbf{y}}}^{(i-1)})={\mathbf{W}}^{(i)}\cdot {\overrightarrow{\mathbf{y}}}^{(i-1)}+{\overrightarrow{\mathbf{b}}}^{(i)}$ : Summed Input Function or Weighted Sum Function

• 활성화 함수(Activation Function) : 다음 레이어 뉴런으로의 전달 여부를 판단하는 함수($h(\cdot )$)

  

  	Function	Output
  Step	$\text{step}(x)=\{\begin{array}{l}1,\text{if}x>0\\ 0,\text{otherwise}\end{array}$	$y\in \{0,1\}$
  Sigmoid	$\text{sigmoid}(x)={\displaystyle \frac{1}{1+e^{-x}}}$	$y\in [0,1]$
  TANH	$\begin{array}{rl}\text{tanh}(x)& =\frac{\text{sinh}(x)}{\text{cosh}(x)}\\ & =\frac{e^x-e^{-x}}{e^x+e^{-x}}\end{array}$	$y\in [-1,1]$
  ReLU	$\text{ReLU}(x)=max(0,x)$	$y\in [0,\mathrm{\infty }]$
  Softmax	$\text{softmax}(x{)}_i={\displaystyle \frac{\exp x_i}{\sum _{j\ne i}\exp x_j}}$	$y\in [0,1]$

Backward Propagation

---

Gradient Descent

• 그라디언트(Gradient) : 다변수 함수에 대하여 모든 방향으로의 순간변화율 벡터

  

  $$\begin{array}{rl}\mathrm{\nabla }f(x_1,x_2,\cdots ,x_n)& =\left(\begin{array}{c}{\displaystyle \frac{\partial f(x^{\mathrm{\forall }})}{\partial x_1}}\\ {\displaystyle \frac{\partial f(x^{\mathrm{\forall }})}{\partial x_2}}\\ ⋮\\ {\displaystyle \frac{\partial f(x^{\mathrm{\forall }})}{\partial x_n}}\end{array}\right)\end{array}$$

• 경사하강법(Gradient Descent) : 손실 함수의 도함수(그라디언트)를 최소화하는 가중치를 추정하는 방법

  

  $$\begin{array}{r}\mathrm{\Theta }\leftarrow \mathrm{\Theta }-\eta \cdot {\mathrm{\nabla }}_{\mathrm{\Theta }}\mathcal{L}\end{array}$$
  • $\mathrm{\Theta }$ : Learning Parameter
  • $\eta$ : Learning Rate or Learning Step
  • ${\mathrm{\nabla }}_{\mathrm{\Theta }}\mathcal{L}$ : Gradient of the Loss Function is Learning Direction

Backward Propagation

• 역전파(Backward Propagation) : 경사하강법을 활용하여 오차를 출력층에서 입력층 방향으로 전파하며 가중치를 조정하는 학습 방법

  

• Learning Direction

  • 손실 $\mathcal{L}$ 를 $1$ 번째 계층의 $1$ 번째 가중치 $w_1^{(1)}$ 에 대하여 미분하면 다음과 같음

    $$\begin{array}{rl}\frac{\partial }{\partial w_1^{(1)}}\mathcal{L}(y,\hat{y})& =\frac{\partial \mathcal{L}}{\partial \cancel{{\overrightarrow{\mathbf{y}}}^{(N)}}}\times \frac{\partial \cancel{{\overrightarrow{\mathbf{y}}}^{(N)}}}{\partial \cancel{{\overrightarrow{\mathbf{z}}}^{(N)}}}\times \frac{\partial \cancel{{\overrightarrow{\mathbf{z}}}^{(N)}}}{\partial \cancel{{\overrightarrow{\mathbf{y}}}^{(N-1)}}}\times \cdots \times \frac{\partial \cancel{{\overrightarrow{\mathbf{y}}}^{(1)}}}{\partial \cancel{{\overrightarrow{\mathbf{z}}}^{(1)}}}\times \frac{\partial \cancel{{\overrightarrow{\mathbf{z}}}^{(1)}}}{\partial w_1^{(1)}}\end{array}$$

  • 위 각 항목을 일반화하면 다음과 같음

    $$\begin{array}{r}\frac{\partial \mathcal{L}}{\partial {\overrightarrow{\mathbf{y}}}^{(N)}}=1,\frac{\partial {\overrightarrow{\mathbf{y}}}^{(i)}}{\partial {\overrightarrow{\mathbf{z}}}^{(i)}}=h^{\prime }({\overrightarrow{\mathbf{z}}}^{(i)}),\frac{\partial {\overrightarrow{\mathbf{z}}}^{(i)}}{\partial {\overrightarrow{\mathbf{y}}}^{(i-1)}}={\mathbf{W}}^{(i)},\frac{\partial {\overrightarrow{\mathbf{z}}}^{(k)}}{\partial {\mathbf{W}}^{(k)}}={\overrightarrow{\mathbf{y}}}^{(k-1)}\end{array}$$

  • 따라서 파라미터 갱신 방향은 다음과 같이 일반화할 수 있음

    $$\begin{array}{rl}\frac{\partial \mathcal{L}}{\partial {\mathbf{W}}^{(k)}}& ={\overrightarrow{\mathbf{y}}}^{(k-1)}\times \prod _{i=k+1}^N{\mathbf{W}}^{(i)}\times \prod _{i=k}^N{h}^{\prime }({\overrightarrow{\mathbf{z}}}^{(i)})\end{array}$$

Optimizer

• Update Learning Rate-based Approach

  

  • Adagrad : 이전까지 누적 갱신 규모를 반영하여 학습률을 결정함

    $$\begin{array}{rl}{\mathrm{\Theta }}_t& ={\mathrm{\Theta }}_{t-1}-\frac{\eta }{\sqrt{{\varphi }_t}}\times \frac{\partial {\mathcal{L}}_{t-1}}{\partial {\mathrm{\Theta }}_{t-1}}\\ {\varphi }_t& ={\varphi }_{t-1}+\frac{\partial {\mathcal{L}}_t}{\partial {\mathrm{\Theta }}_t}\odot \frac{\partial {\mathcal{L}}_t}{\partial {\mathrm{\Theta }}_t}\end{array}$$

  • RMSProp : 이전까지 누적 갱신 규모를 지수가중이동평균하여 반영하여 학습률을 결정함

    $$\begin{array}{rl}{\mathrm{\Theta }}_t& ={\mathrm{\Theta }}_{t-1}-\frac{\eta }{\sqrt{{\varphi }_t}}\times \frac{\partial {\mathcal{L}}_{t-1}}{\partial {\mathrm{\Theta }}_{t-1}}\\ {\varphi }_t& =\rho \cdot {\varphi }_{t-1}+(1-\rho )\cdot \frac{\partial {\mathcal{L}}_t}{\partial {\mathrm{\Theta }}_t}\odot \frac{\partial {\mathcal{L}}_t}{\partial {\mathrm{\Theta }}_t}\end{array}$$

• Update Learning Direction-based Approach

  

  • Momentum : 직전 시점 갱신 방향을 관성 계수($\gamma$)만큼 반영하여 갱신 방향을 결정함

    $$\begin{array}{rl}{\mathrm{\Theta }}_t& ={\mathrm{\Theta }}_{t-1}-{\varphi }_t\\ {\varphi }_t& =\eta \cdot \frac{\partial {\mathcal{L}}_{t-1}}{\partial {\mathrm{\Theta }}_{t-1}}+\gamma \cdot {\varphi }_{t-1}\end{array}$$

---

Reference

• https://codetorial.net/tensorflow/basics_of_optimizer.html
• https://namu.wiki/jump/JsjHPjk9qYK%2Fl54QLaGyq5jupzXBHwWbSS0dMWuO%2B3lzPTdSDH1TiTY1jg9ysGRCY1f5J8NIWqRsnWauQXGsLQ%3D%3D
• https://gentlesark.tistory.com/44
• https://www.asimovinstitute.org/neural-network-zoo/
• https://www.oreilly.com/library/view/tensorflow-for-deep/9781491980446/ch04.html
• https://towardsdatascience.com/an-intuitive-explanation-of-gradient-descent-83adf68c9c33