enrich(bp-propagation): add some formula

_drafts/2023/bp_formula_derivation.md

@@ -27,6 +27,15 @@ $$\theta = \theta - \eta \frac{\partial J}{\partial \theta}$$
 假定：
 - 输入层有 $n$ 个神经元，输出层有 $m$ 个神经元，隐藏层有 $h$ 个神经元。
 - $x_i^1$ 表示输入的第 $i$ 个特征，$x^1$ 表示输入层的输入，$x^1 = [x_1^1, x_2^1, \cdots, x_n^1]$。
+- $y_i$ 表示输出层的第 $i$ 个输出，$y = [y_1, y_2, \cdots, y_m]$。
+- $w_{jk}^l$ 表示第 $l-1$ 层的第 $k$ 个神经元到第 $l$ 层的第 $j$ 个神经元的权重。
+- $b_j^l$ 表示第 $l$ 层的第 $j$ 个神经元的偏置。
+- $z_j^l$ 表示第 $l$ 层的第 $j$ 个神经元的输入，$z_j^l = \sum_{k=1}^{n} w_{jk}^l a_k^{l-1} + b_j^l$。
+- $a_j^l$ 表示第 $l$ 层的第 $j$ 个神经元的输出，$a_j^l = \sigma(z_j^l)$，其中 $\sigma$ 表示激活函数。
+
+为方便起见，用均值平方误差（Mean Squared Error，MSE）作为损失函数，即： $J = \frac{1}{2 \times m} \sum_{i=1}^{m} (y_i - a_i^l)^2$，用 Sigmod 作为激活函数。
+
+
 
 
 refer: https://martinlwx.github.io/zh-cn/backpropagation-tutorial/

_posts/2023/2023-01-02-Background-propagation-formula-derivation.md

@@ -33,6 +33,15 @@ $$\theta = \theta - \eta \frac{\partial J}{\partial \theta}$$
 假定：
 - 输入层有 $$n$$ 个神经元，输出层有 $$m$$ 个神经元，隐藏层有 $$h$$ 个神经元。
 - $$x_i^1$$ 表示输入的第 $$i$$ 个特征，$$x^1$$ 表示输入层的输入，$$x^1 = [x_1^1, x_2^1, \cdots, x_n^1]$$。
+- $$y_i$$ 表示输出层的第 $$i$$ 个输出，$$y = [y_1, y_2, \cdots, y_m]$$。
+- $$w_{jk}^l$$ 表示第 $$l-1$$ 层的第 $$k$$ 个神经元到第 $$l$$ 层的第 $$j$$ 个神经元的权重。
+- $$b_j^l$$ 表示第 $$l$$ 层的第 $$j$$ 个神经元的偏置。
+- $$z_j^l$$ 表示第 $$l$$ 层的第 $$j$$ 个神经元的输入，$$z_j^l = \sum_{k=1}^{n} w_{jk}^l a_k^{l-1} + b_j^l$$。
+- $$a_j^l$$ 表示第 $$l$$ 层的第 $$j$$ 个神经元的输出，$$a_j^l = \sigma(z_j^l)$$，其中 $$\sigma$$ 表示激活函数。
+
+为方便起见，用均值平方误差（Mean Squared Error，MSE）作为损失函数，即： $$J = \frac{1}{2 \times m} \sum_{i=1}^{m} (y_i - a_i^l)^2$$，用 Sigmod 作为激活函数。
+
+
 
 
 refer: https://martinlwx.github.io/zh-cn/backpropagation-tutorial/

assets/progress.json

@@ -373,6 +373,6 @@
   ],
   [
     "2023-10-19",
-    284
+    389
   ]
 ]