1. deep learning intro: 용어 정리

Study 1. 시그모이드 함수

 

딥러닝을 공부하다 보면 시그모이드 함수가 굉장히 많이 등장하는데,

 

꽤 오랫동안 \(\sigma(x) = \frac{1}{1+e^{-x}}\)만이 시그모이드 함수라고 알고있었다

그런데 시그모이드 함수가 어떤 특정 함수 한개를 가리키는 말이 아니더라

 

S자형 곡선을 가진 함수를 시그모이드 함수라 한다

다른 Sigmoid 함수의 예로는 tanh (하이퍼볼릭 탄젠트) 등이 있다

\(tanh(x) = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}}\)

 

 

 

Study 2. Logistic 함수

 

시그모이드 함수의 한 종류로, 흔히 알고있는 \(f(x) = \frac{1}{1+e^{-x}}\)이 함수가 Logistic 함수이다

 

 

 

Study 3. Regression

\(\hat{y}\) = wx + b 형태를 Regression Model(회귀분석)이라 하고,

이때 w는 coefficient(회귀계수), b는 y절편(intercept)이다

데이터의 경향성 등을 예측하기 좋은 통계학 자료 분석 방법 중 하나이다

 

 

Study 4. Logistic Regression

그럼 결국에 Logistic Regression이란 뭐냐?

Logistic function을 쓰는 Regression analysis 라고 이해했다

일반적으로 딥러닝에서 로지스틱회귀를 쓸 때 \(\hat{y}\) = wx + b로 놓는다

x.shape = (\(n_x\), m)일 때, w.shape = (m, \(n_x\))일 것이고

x를 행렬로 나타내면 아래와 같이 나타낼 수 있다

w랑 b는 다음에 자세히 써보자

$$
x = \begin{bmatrix}
x^{(1)}_1 & & x^{(m)}_1 \\
\vdots & \cdots & \vdots \\
x^{(1)}_{n_x} & & x^{(m)}_{n_x}
\end{bmatrix}
$$

 

 

Study 5. \(\hat{y}\) 시그모이드를 쓰는 이유

 

$$ \hat{y}: P(y=1|x), 0\le\hat{y}\le1 $$

헷갈리기 쉬운데, \( \hat{y} \)은 y의 예측값이 아니라, y가 1이 될 확률이다

\(\hat{y}\) = wx + b의 logistic regression에서,

wx + b의 값은 \(0\le\hat{y}\le1\)이 아니므로, 이를 만족시키기 위해 Sigmoid\((\sigma)\) 함수를 사용한다

아래와 같이 wx+b에 \(\sigma()\)를 씌우면 \(\hat{y}\)의 값을 확률값으로 사용할 수 있다

모델의 Output 레이어에서 모델의 결과값을 확률값으로 대응시키기 위해 이러한 방법을 자주 사용한다