WEEK1 : introduction to Neural Network

 

---

<강의 듣고 기억하고 싶었던 내용들>

 

1/

 

deep learning이라는 것은 기본적으로 x라는 input이 주어지면 y를 내뱉을 수 있는 함수를 찾는 것이라고 이해하였다.

그리고 NN의 각 뉴런들은 주목하는 부분이 다 다르다.

 

 

2/

 

이러한 인공지능은 매우 다양한 분야에 적용될 수 있는데, 그 예로는 이미지 인식, 오디오 인식, 기계 번역 등이 있다.

이미지에서는 주로 CNN을,

오디오/자연어는 시간적 흐름을 잘 반영하는 RNN을,

자율주행과 같이 다양한 정보를 활용해야 하는 경우는 hybrid neural network를 사용한다.

 

 

3/

 

왜 이제서야 딥러닝이 뜨는 것인가?

먼저 방대한 양의 데이터의 접근가능성이 높아졌고,  큰 모델을 학습할 수 있는 환경이 구축되었기 때문이다.

 

• 데이터의 접근 가능성의 증가
  • 일반적으로 데이터가 증가하면 성능이 증가한다.
  • 하지만 고전적인 ML 모델 (SVM, logistic, regression, ..)은 일정 수준의 데이터가 확보되면 데이터를 더 늘려도 성능이 크게 증가하지 않는다.
  • 반면,  NN는 데이터 양이 늘어날수록 성능이 지속적으로 증가하는 경향이 있다.
  • 따라서 NN는 데이터의 접근 가능성을 잘 활용할 수 있는 모델이기에 최근 더 인기를 얻고있다.
• 큰 모델을 학습할 수 있는 환경
  • 물론 GPU와 같이 빠른 병렬처리를 지원하는 환경에 대한 접근이 편리해진 것도 NN 인기에 기여하였다.

 

 

4 /

 

deep learning과 관련된 알고리즘의 빠른 개선이 딥러닝의 발전에 기여하는 바가 크다.

그 예로 relu를 들 수 있는데, 기존 sigmoid에 비해 relu는 gradient가 작아질 확률이 적다.

이러한 특징은 학습 수렴 속도를 빠르게 해주었다.  

이로 인해 code - experiment 라는 순환적인 과정을 여러차례 수행할 수 있게 되었다.

 

 

5 /

 

데이터를 학습하는 방법

• 1) vectorization
  • 데이터를 학습할 때 여러개의 for문을 사용하는 것이 아니라, 행렬로 처리하여 for문 없앤다.
  • 되도록 코드 설계 시 for문을 지양하도록 한다. 행렬에 익숙해지자!
• 2) forward / backward propagation
  • cost를 계산하기 위해 forward 수행
  • cost에 대한 parameter의 미분값을 구하기 위해 backward 수행 (미분값을 쉽게 구할 수 있다!)

 

 

6 /

 

강의에서 데이터를 행벡터의 나열이 아니라, 열벡터의 나열로 표기한다.

또한 weight matrix를 열벡터가 아니라 행벡터로 표기한다.

 

 

7 /

 

로지스틱 회귀에서 (y_hat-y)^2를 loss로 사용하지 않고, -y_i*log(p_i)-(1-y_i)*log(1-p_i)를 loss로 사용한다.

로지스틱 회귀에서 (y_hat-y)^2는 non-convex라서 여러개의 local minima가 존재한다.

따라서 global minima를 찾지 못 할 수 있기 때문에 convex function인 cross-entropy loss를 사용한다.

 

 

8 /

 

loss = 하나의 데이터에 대한 오차 정보

cost = 전체 데이터에 대한 오차 정보 = loss의 평균

 

 

9 /

 

parameter는 gradient descent algorithm에 의해 갱신된다.

기울기가 가장 가파른 방향으로 내려가는 것이다. (=cost가 줄어드는 방향으로 weight update)

 

 

10 /

 

derivative는 기울기이고, 함수의 위치에 따라 derivative(기울기)는 달라질 수 있다.

(x가 조금 변했을 때 f(x)는 x가 조금 변한 것 대비 얼마나 변할 지!)

함수의 derivative를 알고 싶다면 구글링하자. 이것 때문에 겁먹지 말자!

 

 

11 /

 

backpropagation에서는 chain rule을 사용한다.

j = f(v), v=g(a)의 관계에 존재한다면

a가 아주 조금 변했을 때 j가 변하는 정도는

= a가 조금 변했을 때 v가 변하는 정도*v가 (a의 변화로 인해) 조금 변했을 때 j가 변하는 정도 (정확한 표현은 아니다)

 

 

12 /

 

최적화하고 싶은 함수에 대해 forward / backward 진행하면서 학습이 진행된다.

 

 

13 /

vectorize를 이용하면 for-loop에서 벗어날 수 있다.

내장된 기능을 사용하면 자동으로 병렬화 수행해준다. for-loop 사용하지 말자!

 

 

14 /

rank1의 np.array를 사용하지 말자. 

의도하지 않은 결과를 불러온다.