8. Logistic Regression

 

 

-

 

정리

파라미터 w와 b에 대한 비용함수 Cost function \( \mathcal{J}(w,b) \) 는,

 

$$  \mathcal{J}(w,b) = \frac{1}{m} \sum_{i=1}^{m} \mathcal{L}(a^{(i)}, y^{(i)}) $$

 

전편에서 \(    \frac{dL}{dw}      \) 를 계산하는 법을 알았으니,

양변에 \(    \frac{d}{dw}     \)를 씌우면 된다

 

 

$$ \frac{d}{dw} \mathcal{J} = \frac{1}{m} \sum_{i=1}^{m} \frac{d}{dw} \mathcal{L}(a^{(i)}, y^{(i)}) $$

 

 

i=1부터 m까지 계산한다;

 

$$ J=0; \ \ dw=0;\ \  db=0 $$

$$  z^{i} = wx^{i}+b     $$

$$ a^{i} = \sigma(z^i) $$

$$ J \mathrel{+}= -[y^i \log a^i + (1-y^i) \log(1-a^i)] $$

 

$$ dz = a^i-y^i $$

$$ dw \mathrel{+}= x^i dz^i $$

$$ db \mathrel{+}= dz^i $$

$$ J\mathrel{/}=m; \ \  dw\mathrel{/}=m;  \ \  db \mathrel{/}=m $$

 

 

이렇게 하면 \( w := w - \alpha dw \),    \( b := b - \alpha db \)

를 수행하여 파라미터를 업데이트 할 수 있다