Skip to content

Commit

Permalink
refine figure size
Browse files Browse the repository at this point in the history
  • Loading branch information
zhimin-z committed Sep 19, 2024
1 parent 56b779b commit 1688ca9
Show file tree
Hide file tree
Showing 3 changed files with 11 additions and 5 deletions.
4 changes: 4 additions & 0 deletions docs/chapter1.md
Original file line number Diff line number Diff line change
Expand Up @@ -2347,6 +2347,10 @@ $$

令 $a \in A$ 和 $b \in B$ 是任意一对点,并令 $r_1 = \|b - a\|$。由于 $A$ 是紧致的,它被包含在以 $a$ 为中心的一些球中,设该球的半径为 $r_2$。令 $S = B \cap \overline{B_{r_1 + r_2}(a)}$ 为 $B$ 与以 $a$ 为中心、半径为 $r_1 + r_2$ 的闭球的交集。那么 $S$ 是紧致且非空的,因为它包含 $b$。由于距离函数是连续的,存在点 $a_0$ 和 $b_0$ 使得 $\|a_0 - b_0\|$ 在所有 $A \times S$ 的点对中取最小值。现在要证明 $a_0$ 和 $b_0$ 实际上在所有 $A \times B$ 的点对中具有最小距离。假设存在点 $a'$ 和 $b'$ 使得 $\|a' - b'\| \lt \|a_0 - b_0\|$。则特别地,$\|a' - b'\| \lt r_1$,并且根据三角不等式,$\|a - b'\| \leq \|a - a'\| + \|a' - b'\| \lt r_1 + r_2$。因此 $b'$ 包含在 $S$ 中,这与 $a_0$ 和 $b_0$ 在 $A \times S$ 中的最小距离相矛盾。

<div style="text-align: center;">
<img src="images/separating_hyperplane_theorem.png" alt="separating_hyperplane_theorem" width="400" height="300"/>
</div>

不失一般性地,假设 $A$ 是紧致的。根据引理,存在点 $a_0 \in A$ 和 $b_0 \in B$ 使得它们之间的距离最小。由于 $A$ 和 $B$ 是不相交的,我们有 $a_0 \neq b_0$。现在,构造两条与线段 $[a_0, b_0]$ 垂直的超平面 $L_A, L_B$,其中 $L_A$ 穿过 $a_0$,$L_B$ 穿过 $b_0$。我们声称 $A$ 和 $B$ 都没有进入 $L_A, L_B$ 之间的空间,因此与 $(a_0, b_0)$ 垂直的超平面满足定理的要求。

代数上,超平面 $L_A, L_B$ 由向量 $v:= b_0 - a_0$ 定义,并由两个常数 $c_A := \langle v, a_0\rangle \lt c_B := \langle v, b_0\rangle$ 确定,使得 $L_A = \{x: \langle v, x\rangle = c_A\}, L_B = \{x: \langle v, x\rangle = c_B\}$。我们的主张是 $\forall a\in A, \langle v, a\rangle \leq c_A$ 并且 $\forall b\in B, \langle v, b\rangle \geq c_B$。
Expand Down
4 changes: 3 additions & 1 deletion docs/chapter3.md
Original file line number Diff line number Diff line change
Expand Up @@ -63,6 +63,8 @@ $$

**示例:**对于二维空间$R^2$中的三个点,线性分类器$sign(wx+b)$可以实现三点的所有对分,但无法实现四点的所有对分,如下图所示:

![shattering](images/shattering.png)
<div style="text-align: center;">
<img src="images/shattering.png" alt="shattering" width="500" height="230"/>
</div>

因此,线性分类器在$R^2$中的VC维为3。
8 changes: 4 additions & 4 deletions docs/chapter6.md
Original file line number Diff line number Diff line change
Expand Up @@ -62,11 +62,11 @@ $$

## 6.3 【概念解释】划分机制方法

**122页**介绍了一种将样本空间划分成多个互不相容区域的方法,然后对各区域内的正例和反例分别计数,并以多数类别作为区域中样本的标记。这种方法本质上不同于参数方法,它并不是在参数空间中进行搜索构建划分超平面,而是在泛函空间上直接进行搜索。
**122页**介绍了一种将样本空间划分成多个互不相容区域的方法,然后对各区域内的正例和反例分别计数,并以多数类别作为区域中样本的标记。这种方法本质上不同于参数方法,它并不是在参数空间中进行搜索构建划分超平面,而是在泛函空间上直接进行搜索。一个典型的例子是我们熟悉的决策树模型:

一个典型的例子是我们熟悉的决策树模型:

![decision_tree](images/decision_tree.png)
<div style="text-align: center;">
<img src="images/decision_tree.png" alt="decision_tree" width="300" height="320"/>
</div>

每当构造一个决策树的节点时,相当于在样本空间上进行了一次划分(即划分机制)。这种洞察方式同样适用于解释剪枝操作,即通过减少不必要的节点来简化树结构,同时保持或提高模型的性能。

Expand Down

0 comments on commit 1688ca9

Please sign in to comment.