linear-algebra.tex

\documentclass{article}

\usepackage{ctex}
\usepackage{tikz}
\usetikzlibrary{cd}

\usepackage{amsthm}
\usepackage{amsmath}
\usepackage{amssymb}

%\usepackage{unicode-math}


\usepackage[textwidth=18cm]{geometry} % 设置页宽=18

\usepackage{blindtext}
\usepackage{bm}
\parindent=0pt
\setlength{\parindent}{2em} 
\usepackage{indentfirst}

\usepackage{hyperref} %url
\hypersetup{
    colorlinks=true,
    linkcolor=blue,
    filecolor=magenta,      
    urlcolor=cyan,
    pdftitle={Overleaf Example},
    pdfpagemode=FullScreen,
    }


\usepackage{xcolor}
\usepackage{titlesec}
\titleformat{\section}[block]{\color{blue}\Large\bfseries\filcenter}{}{1em}{}
\titleformat{\subsection}[hang]{\color{red}\Large\bfseries}{}{0em}{}
%\setcounter{secnumdepth}{1} %section 序号

\newtheorem{theorem}{Theorem}[section]
\newtheorem{lemma}[theorem]{Lemma}
\newtheorem{corollary}[theorem]{Corollary}
\newtheorem{proposition}[theorem]{Proposition}
\newtheorem{example}[theorem]{Example}
\newtheorem{definition}[theorem]{Definition}
\newtheorem{remark}[theorem]{Remark}
\newtheorem{exercise}{Exercise}[section]

\newcommand*{\xfunc}[4]{{#2}\colon{#3}{#1}{#4}}
\newcommand*{\func}[3]{\xfunc{\to}{#1}{#2}{#3}}

\newcommand\Set[2]{\{\,#1\mid#2\,\}} %集合
\newcommand\SET[2]{\Set{#1}{\text{#2}}} %
%\newcommand\dim[1]{\text{dim}(#1)}
\newcommand\nul[1]{\text{null}\ #1}
\newcommand\range[1]{\text{range}\ #1}

\begin{document}
\title{Linear Algebra}
\author{枫聆}
\maketitle

\tableofcontents
\newpage 
\section{Vector Space}
\subsection{Definition of Vector Space}       

\begin{definition}
\rm vector spaces是一个具有加法(addition)和数量乘法(salar multiplication)的集合$V$

\begin{itemize}
	\item 加法是指对任意的元素$u,v \in V$,有$u+v \in V$
	\item 数量乘法是指对任意的元素$\lambda \in F$和$v \in V$，有$\lambda v \in V$
\end{itemize}

同时它们存在下面的属性:
\begin{itemize}
	\item 加法交换律 $\forall u,v \in V,u+v=v+u$
	\item 加法结合律 $\forall u,v,w \in V ,(u+v)+w=u+(v+w)$和$\forall a,b \in F,(ab)v=a(bv)$
	\item 加法单位元 $\forall v\in V,v+0=v$
	\item 加法逆元 $\forall v \in V,\exists v^{-1} ,v+v^{-1}=0$
	\item 数量乘法的单位元 $\forall v \in V,1v=v$
	\item 分配律 $\forall v,w \in V ,\forall a,b \in F, a(u+v)=au+av,(a+b)v=av+bv$
\end{itemize}
\end{definition}


vector spaces背后的直觉是什么？《linear algebra done right》上说来自于$F^{n}$上的addition和scalar multiplication. 很明显addition包含了abelian group的所有性质，vector space是 $R$-module的特殊化，$R$-module从结构上来说，要比Ring(带单位元)的性质要弱一些，主要体现在乘法上，弱化为数量乘法，表示把一个环作用在一个abelian group上. 这样做的好处是可以让可以把环上一些看起来不那么好性质都变得好一点，例如ideal在一般情况下并不一定还是一个环. 不那么好是相对于群的一些性质来说的，例如正规子群. 在定义了module之后，你会发现ideal就是一个module，我们的操作终于都在一个东西下面了，不会轻易的跑出去.

我想这里多记录一些$R$-module的东西，如何把一个环弱化成一个模结构呢？首先我们需要一个abelian group $M$，定义“the left-action of a ring $R$ on $M$”为\[\func{\sigma}{R}{\textsf{End}_{Ab}(M)}\]是一个环同态. 可能这里有一个小疑问为什么$\textsf{End}_{Ab}(M)$是一个环结构？ 首先这个环里面的元素都是关于$M$的endomorphisms,乘法定义为endomorphisms之间的复合，加法定义为$(f+g)(a)=f(a)+g(a)$，其中$f,g \in \textsf{End}_{Ab}(M)$. 我们说$\sigma$把$M$变成了一个left-$R$-module，$\sigma$这个映射可以理解为left-$R$-module structure(算子)，\[\sigma(r)(m) \in _{R}M\]间接的定义了数量乘法，并且有一些有趣的性质:

\begin{itemize}
	\item 分配律 $\sigma(r)(m_1+m_2)=\sigma(r)(m_1)+\sigma(r)(m_2)$ 
	\item 分配律 $\sigma(r_1+r_2)(m)=\sigma(r_1)(m)+\sigma(r_2)(m)$ (环同态下可以保证)
	\item 结合性 $\sigma(r_1r_2)(m)=\sigma(r_1)(\sigma(r_2)(m))$ (环同态下可以保证)
	\item 单位元 $\sigma(1)(m)=m$
\end{itemize}

如果要定义更清楚一点，可以这样\[\func{\rho}{R \times M}{M}\],$\rho$和$\sigma$的关系为\[\rho(r,m)=\sigma(r)(m)\],但是这里不是环同态无法保证上面的一些性质，所以需要额外规定一些东西

\begin{itemize}
	\item $\rho(r_1+r_2,m)=\rho(r_1,m)+\rho(r_2,m)$（分配律）
	\item $\rho(r,m_1+m_2)=\rho(r,m_1)+\rho(r,m_2)$（分配律）
	\item $\rho(r_1r_2,m) = \rho(r_1,\rho(r_2,m))$（结合率）
	\item $\rho(1,m) = m$ （单位元）
\end{itemize}

把vector space一般化的感觉是不是很爽？其实$R$-module在一定程度要比vector space更复杂，当用更抽象方式去理解vector space，我们定义了一个$\sigma$环同态，这个环同态很精妙的把环作用在abelian group的action表示出来，所以我们用理解R-module的方式去理解vector space，就是首先我们要有一个abelian group定义了加法，然后把一个field作用在了它之上，定义为数量乘法，最后我们就得到了这样的一个结构。

这篇note既然是在《linear algebra done right》的基础上记录的，我会尽可能的记录一些抽象的延伸的东西，让自己对linear algebra有一个不同于大学的颠覆性的认知。


\newpage
\subsection{Subspace}

\begin{definition}
如果$V$中的子集$U$是一个子空间，当且仅当满足以下条件:
\begin{enumerate}
	\item $0 \in U$
	\item $u,w \in U$蕴含$ u+w \in U$
	\item $a \in F$,$u \in U$ 蕴含$au \in U$
\end{enumerate}
\end{definition}

也就是说，$V$下子空间一定是子集，包含加法单位元，且在加法和数量乘法下封闭。

\begin{definition}
定义$U_1,\cdots,U_m$是$V$的子集.这些子集的和表示为\[U_1 + \cdots + U_m = \Set{u_1 + \cdots + u_m}{u_1 \in U_1,\cdots,u_m \in U_m}\]
\end{definition}

定义子集和，是为了引入下面这个性质

\begin{proposition}
定义$U_1,\cdots,U_m$都是$V$中的子空间，则$U_1 + \cdots + U_m$是包含$U_1,\cdots,U_m$的最小子空间.
\end{proposition}

\begin{proof}
最小的就是指$V$里面任意包含$U_1,\cdots,U_m$的子空间都包含$U_1 + \cdots + U_m$,首先得证明一下$U_1 + \cdots + U_m$是一个子空间，按照子空间的定义，加法单位元和封闭性都很显然，满足上述条件的子空间很也显然需要包含所有子空间对应的子集和。
\end{proof}

\begin{definition}
定义$U_1,\cdots,U_m$都是$V$中的子空间，如果$U_1 + \cdots + U_m$中的每个元素都有唯一分解形式即$u_1,\cdots,u_m$，则$U_1 + \cdots + U_m$是直和(direct sum)，用$U_1 \oplus \cdots \oplus U_m$表示。
\end{definition}

{\color{red} 那怎么判定一个子集合是不是直和呢}？

\begin{proposition}
定义$U_1,\cdots,U_m$都是$V$中的子空间,如果$U_1 + \cdots + U_m$是直和当且仅当$u_1+\cdots+u_m = 0$时，$u_1=\ldots=u_m=0$。
\end{proposition}

即只需要$0$有唯一的表示形式就够了，来证明一下

\begin{proof}
假设\[u_1+\cdots+u_m = u_1'+\cdots+u_m'\],整理一下\[(u_1-u_1')+\cdots+(u_m-u_m')=0\],$0$有唯一的表示方式，则$u_1=u_1',\ldots,u_m=u_m'$($u_1-u_1' \in U_1,\ldots,u_m -u_m' \in U_m$)
\end{proof}

{\color{red} 下面再来个特殊情况,只有两个子空间，怎么判定它们的子集和是不是直和}？

\begin{proposition}
定义$U$和$W$是$V$中的两个子空间，如果$U+W$是直和当且仅当$U \cap W = {0}$.
\end{proposition}

\begin{proof}
$\Rightarrow$ 如果$U+W$是直和，任取$v \in U \cap W$,则$-v \in U \cap W$,而$0 = v + (-v)$,所以$v$只能是$0$.

$\Leftarrow$ 如果$U \cap W = \{0\}$,我们假设还有$0 = v+w$，其中$v,w$不为0，则$w=(-v)$,则$v \in U \cap W$，与前提矛盾.所以$0$有唯一表示。
\end{proof}

\newpage
\section{Finite-Dimensional Vector Space}

\subsection{Linear Combinations and Span}

\begin{definition}
\rm 给定$V$里面一系列向量$v_1,v_2,\cdots,v_m$(vector list)，它们的线性组合表示为
$$
a_1v_1 + a_2v_2 + \cdots + a_mv_m,
$$
其中$a_1,a_2,\cdots,a_m \in F.$
\end{definition}

\begin{definition}
\rm 给定$V$里面一系列向量$v_1,v_2,\cdots,v_m$，所有的它们的线性组合构成的集合叫一个\textbf{span}(linear span). 
$$
\text{span}(v_1,v_2,\cdots,v_m) = \Set{a_1v_1 + a_2v_2 + \cdots + a_mv_m}{a_1,a_2,\cdots,a_m \in F}.
$$
空的vector list的span表示为$\{0\}.$
\end{definition}

{\color{red}下面是关于span一些有趣的性质}.

\begin{proposition}
\rm span是包含当前vector list里面所有vectors的smallest subspace.
\end{proposition}

\begin{proof}
\rm 首先你得证明span确实是一个subspace，然后所有其他的subspace都包含它. span是一个subspace是clearly的. 假设$U$这样一个subspace，包含$v_1,v_2,\cdots,v_m$. 则$a_1v_1,a_2v_2,\cdots,a_mv_m$也是属于$U$的. 那么它们的和也应该是属于$U$的. 这就证明了span是含于$U$的. 
\end{proof}


{\color{red} 上面span是一个名词，那么下面span就是一个动词}.

\begin{definition}
\rm 如果$\text{span}(v_1,v_2,\cdots,v_m)$等于$V$，则称$v_1,v_2,\cdots,v_m$ \textbf{spans} $V$	
\end{definition}

{ \color{red} finite-dimensional vector space的严格定义}.

\begin{definition}
\rm 如果一个vector space可以被一些vector list spans, 则称这个vector sapce是finite-dimensional.
\end{definition}

这里没有用到basis的概念...

\begin{definition}
\rm $\mathcal{P}(F)$用来表示polynomials over $F$(所有系数属于$F$的多项式集合).
\end{definition}

%https://math.stackexchange.com/questions/2612814/zero-function-implies-zero-polynomial  p(x)都等于0，则所有系数都等于0


\newpage
\subsection{Linear Independence}

\begin{definition}
\rm 给定$V$上一个vector list $v_1,v_2,\cdots,v_m.$若要使得$a_1v_1+a_2v_2+\cdots+a_mv_m=0$，只能唯一取$a_1=a_2=\cdots=a_m.$则称$v_1,v_2,\cdots,v_m$ \textbf{linearly independent}. 从另一方面说就是在$\text{span}(v_1,v_2,\cdots,v_m)$里面的所有vector都有唯一表示形式.

empty vector list同样被定义为linearly independent.
\end{definition}


{\color{red} 下面是关于linearly dependent的一个小性质}.

\begin{lemma}
\rm 给定$V$上一组linearly dependent的vector list $v_1,v_2,\cdots,v_m.$则存在一个$j \in \{1,2,\cdots,m\}$使得下面两个命题成立.
\begin{enumerate}
	\item $v_j \in \text{span}(v_1,v_2,\cdots,v_{j-1});$
	\item 如果$j^{th}$ vector从$v_1,v_2,\cdots,v_m$中被去掉，则剩下的vectors构成的span依然等于$\text{span}(v_1,v_2,\cdots,v_m).$ 
\end{enumerate}
\end{lemma}

{\color{blue} 这个lemma本质就是在linearly dependent vector list里面可以挑一个vector出来，它可以被其他的vectors表示}.

\begin{proof}
因为$v_1,v_2,\cdots,v_m$ linear independent，所以存在某个$a_k,k \in \{1,\cdots,m\}$不等于$0$，使得
$$
a_1v_1+a_2v_2+\cdot+a_mv_m=0.
$$
让$j$表示最大值形如$a_j \neq 0.$则我们有
$$
v_j = -\frac{a_1}{a_j}v_1-\frac{a_2}{a_j}v_2-\cdots--\frac{a_{j-1}}{a_j}v_{j-1}.
$$ 
\end{proof}

还有一个比较直观的判定给定vector list是不是linearly independent的方法.

\begin{proposition}
\rm linearly independent vector list长度是小于等于spanning vector list(vector list spans $V$)的长度.
\end{proposition}

\begin{proof}
给定$v_1,v_2,\cdots,v_m$ linearly independent 和 $u_1,u_2,\cdots,u_n$ spans $V$. 我们的目标是证明$m \leq n.$整个证明过程非常的有趣，会用$v_1,v_2,\cdots,v_m$替换部分$u_1,u_2,\cdots,u_n.$

首先我们考虑$v_1, u_1,u_2,\cdots u_m$，现在这个vector list变成了linearly dependent，因为$v_1$现在至少可以有两种表示方法了. 使用前面关于linearly dependent的lemma我们可以去掉某个$u_k$，使得剩下的vector list还是spans $V$. 我们称这个新的vector list为$B$.

然后by induction，我们可以把剩下的$v_2,\cdots,v_m$也都加到$B$里面，同时每次remove一个$u_k$. 我们必须考虑一下有没有足够多的$u_k$够我们remove？也就是说我们还剩下一些$v_i$放不进去$B$. 假设存在这种情况，也就是说现在$B$里面全是$v$，所以$B$里面的vectors都是linearly independent，并且spans $V$，现在还剩下$v_i$还没放进去. 矛盾就来了，$v_i$加上$B$里面的vectors就变成linearly dependent了. 所以是不存在这种情况的. 也就是说$v_1,v_2,\cdots,v_m$是完全可以一一替换部分$u_1,u_2,\cdots,u_n$的. 最后结论就是$m \leq n.$
\end{proof}


\begin{proposition}
\rm finite-dimensional vector space的subspace还是finite-dimensional.
\end{proposition}

\begin{proof}
这里还是一个构造证明，用$U$表示$V$上的subspace. 如果$U = \{0\}$，clearly. 如果$U \neq \{0\}$，则我们从里面挑一个非零vector $v_1$出来.  如果$U = \text{span}(v_1)$，we are done. 反之我们接着取非零$v_2 \in U$，这里还有有一个条件就是$v_2 \notin \text{span}(v_1).$   

一般地，如果$U = \text{span}(v_1,v_2,\cdots,v_{j-1})$，we are done. 反之我们接着取$v_j \in U$，且$v_j \notin \text{span}(v_1,v_2,\cdots,v_{j-1})$. 你可以观察到这样取出来的vector list都是linearly independent. 根据前面的lemma我们知道它的长度应该是小于任何的spanning list，$V$现在是finite-dimensional，根据定义它可以被一些vector list span. 所以最终我们这样的取法是会停下来的，因为长度被限制了，即$U$最终也会被一个vector lists span，$U$也是finite-dimensional. {\color{red} 其实感觉有点找basis的感觉了.} 
\end{proof}

\newpage
\subsection{Bases}

\begin{definition}
\rm 若$V$上的一组list of vectors是linearly independent且spans $V$，则称它是$V$上的一个basis(基).
\end{definition}


{\color{red} basis更常见的另一种描述方式如下}

\begin{proposition}
\rm 若$V$上的一组list $v_1,v_2,\cdots,v_m$ of vectors是一个basis当且仅当任意的$v \in V$都有唯一的表示(linear combination)
$$
v = a_1v_1 + a_2v2 + \cdots + a_mv_m.
$$ 
其中$a_1,a_2,\cdots,a_m \in F.$
\end{proposition}

还有一个比较显然的性质，{\color{blue} 就是任何一个spanning list 都可以被reduced成一个basis}(同样一个linearly independent vector list也可以被extended成一个basis). {\color{red} 继而finite-dimensional vector space中一定会有一个basis}.


\newpage
\subsection{Dimension}

\begin{definition}
\rm finite-dimensional vector space $V$ 的dimension为 $V$上的一个basis的长度，用$\dim{V}$表示.
\end{definition}

{\color{red} 这个定义从侧面说明basis的长度取决于$V$，而不取决于它本身}.

\begin{proposition}
\rm 给定finite-dimensional $V$上subspace $U$. 则$\dim{U} \leq \dim{V}.$
\end{proposition}

\begin{proof}
把$U$上的basis看做$V$中一个linearly independent list. 而$V$上的basis看做$V$中一个spanning list. 前面有lemma说明linearly independent list长度是小于spanning list.
\end{proof}

{\color{red} 快速根据长度来判断一个list是不是basis的方法}

\begin{proposition}
\rm 给定finite-dimensional $V$.
\begin{enumerate} 
	\item \rm linearly independent list with right length.
	\item \rm spanning list with right length.
\end{enumerate}
\rm 其中right length表示$\dim{V}$.
\end{proposition}

\begin{proposition}
\rm 给定finite-dimensional $V$上的subspace $U_1$和$U_2$. 
$$
	\dim(U_1+U_2) = \dim U_1 + \dim U_2 - \dim(U_1 \cap U_2).
$$
\end{proposition}

\begin{proof}
首先给定$U_1 \cap U_2$的basis为$u_1,u_2,\cdots,u_m$，即$\dim(U_1 \cap U_2)=m$. 在它的基础上分别extend到$U_1$和$U_2$的basis上. $U_1$的basis为$u_1,u_2,\cdots,u_m,v_1,v_2,\cdots,v_j$，$U_2$的basis为$u_1,u_2,\cdots,u_m,w_1,w_2,\cdots,w_k$. 很自然我们希望有下面等式
$$
\begin{aligned} 
\dim(U_1 \cap U_2) &= m + j + k\\
&= (m+j)+(m+k)-m\\
&= \dim U_1+\dim U_2 + \dim(U_1\cap U_2).
\end{aligned}
$$
这个等式成立的关键是要证明$u_1,u_2,\cdots,u_m,v_1,v_2,\cdots,v_j,w_1,w_2,\cdots,w_k$是$U_1 + U_2$的一个basis. 即proof
$$
a_1u_1+a_2u_2+\cdots+a_mu_m + b_1v_1+b_2v_2+\cdots+b_jv_j+c_1w_1+c_2w_2+\cdots+c_kw_k = 0.
$$
接下来就是把$w$移到一边，证明$c_1=c_2=\cdots=c_m=0$(remove v)，接着证明$a$和$c$都等于$0$(linearly independent).
\end{proof}

{\color{red} 一般形式有}
$$
\begin{aligned}
\dim \left( \sum_{i = 1}^k V_i \right) &= \dim\left( \sum\limits_{i=1}^{k-1} V_i \right) + \dim(V_k) + \dim\left( \left(\sum\limits_{i=1}^{k-1} V_i\right) \cap V_k \right) \\
	&= \sum_{i = 1}^k \dim(V_i) - \sum_{i = 1}^{k-1} \dim \left( \left( \sum_{j = 1}^i V_j \right) \cap V_{i+1} \right).
\end{aligned}	
$$


\newpage
\section{Linear Maps}

\subsection{The Definition of Linear Map}
\begin{definition}
\rm 给定两个vector space $V$和$W$，若存在一个映射$\func{T}{V}{W}$使得
\begin{enumerate}
	\item additivity(可加性): $\forall u,v \in V,T(u+v)=Tu + Tv.$
	\item homogeneity(齐次性): $\forall v \in V, T(\lambda v) = \lambda (Tv).$
\end{enumerate}
则称这个映射是一个linear maps(linear transformation)(线性映射). 也就说这个映射保留了加法运算和数量乘法. 
\end{definition}

\begin{definition}
\rm $V$和$W$之间所有linear map构成的集合记为$\mathcal{L}(V,W).$
\end{definition}

\begin{example}
\rm 有几种特殊的linear map.
\begin{enumerate}
	\item zero map: $0 \in \mathcal{L}(V,W)$定义\[0(v)=0\]($0$在这里表示特殊$T$下同).
	\item identity map: $I \in \mathcal{L}(V,W)$定义为\[I(v)=v.\]
	\item differentiation map: $D \in \mathcal{L}(\mathcal{P}({R}),\mathcal{P}(\mathbb{R}))$定义为\[D(p) = p'.\] 这里可以想一下导数的运算法则.
	\item integration map: $T \in \mathcal{L}(\mathcal{P}({R}),\mathbb{R})$定义为\[T(p) = \int_{0}^{1} p(x)dx.\]
	\item from $F^n$ to $F^m$($m,n$都是正整数): 定义$A_{j,k} \in F, j = 1,\cdots,m , k = 1,\cdots,n$，然后使得$T \in \mathcal{L}(F^n,F^m)$
	$$
		T(x_1,\cdots,x_n) = (A_{1,1}x_1+\cdots+A_{1,n}x_n,\cdots,A_{m,1}x_1+\cdots+A_{m,n}x_n).
	$$
\end{enumerate}
\end{example}


{\color{red} basis在经过linear map的作用会变得如何呢}？

\begin{proposition}\label{lm: unique}
\rm 给定$V$上一个basis $v_1,v_2,\cdots,v_n$和$W$上一个basis $w_1,w_2,\cdots,w_n$. 则存在一个唯一的linear map $\func{T}{V}{W}$使得
$$
	T(v_j) = w_j, j = 1,\cdots,n.
$$
\end{proposition}

\begin{proof}
现在给定这样的linear map $T$，我们要证明要它是唯一的，就是要说它当满足上述条件之后，对任意$v \in V$都有定义了. 让$v = a_1v_1+a_2v_2+\cdots+a_nv_n$，那么
$$
\begin{aligned}
T(a_1v_1+a_2v_2+\cdots+a_nv_n) &= T(a_1v_1) + T(a_2v_2) + \cdots + T(a_nv_n)\\
 &= a_1T(v_1) + a_2T(v_2) + \cdots + a_nT(v_n)\\
 &= a_1w_1 + a_2w_2 + \cdots + a_nw_n.
\end{aligned}
$$
Q.E.D.
\end{proof}

\newpage
\subsection{Algebraic Operations On $\mathcal{L}(V,W)$}

\begin{definition}
\rm 给定两个linear map $S,T \in \mathcal{L}(V,W)$和$\lambda \in F$. 其加法和数量乘法定义如下. 
\begin{enumerate}
	\item sum $S+T$: $(S+T)(v) = Sv+Tv.$
	\item scalar product $\lambda T$: $\lambda T(v) = \lambda(Tv).$
\end{enumerate}
其中$v \in V.$
\end{definition}

{\color{blue} 整个$\mathcal{L}(V,W)$代数结构是一个vector space,这是一个比较重要的结论}. 当然了你可能还需要验证一下其他的axioms，例如乘法结合性，乘法单位元，分配律等等.

\begin{definition}
\rm $\mathcal{L}(V,W)$ is a vector space
\end{definition}

{\color{blue} 再引入一个vector space $U$，讨论两个linear maps的product变得有意义了}.

\begin{definition}
\rm 给定$T \in \mathcal{L}(U,V)$和$S \in \mathcal{L}(V,W)$，则存在复合映射(product) $ST \in \mathcal{L}(U,W)$使得
$$
	(ST)(u) = S(T(u)).
$$
其中$u \in U$. 
\end{definition}

\newpage
\subsection{Null Spaces and Ranges}

\begin{definition}
\rm 给定linear map $T \in \mathcal{L}(V,W)$. 集合$\Set{v \in V}{T(v)= 0}$表示\textbf{null space} of $T$，记为$\nul{T}$.
\end{definition}

{\color{blue} null space 就是0的preimage收集起来}.

\begin{proposition}
\rm The null space is subspace.
\end{proposition}

\begin{proof}
我们要证明它在加法和数量乘法下封闭，并且$0$在里面. 对任意的$u,v \in \nul{T}$，有\[T(u+v) = T(u) + T(v) = 0,\]所以$u+v \in \nul{T}$. 同理$T(\lambda u) = \lambda T(u), T(0)=T(0)+T(0)=0$.
\end{proof}

{\color{blue} 现在我们可以用null space来说明linear map一些性质}.

\begin{proposition}\label{lm: injective}
\rm 给定linear map $T \in \mathcal{L}(V,W)$. $T$是injective当且仅当$\nul{T}=\{0\}.$
\end{proposition}

\begin{proof}
如果$T$是injective，clearly $\nul{T}=\{0\}$. 反过来如果满足$\nul{T}=\{0\}$，假设$T$不是injective，则存在$a \neq b \in F$，使得$T(a) = T(b)$. 我们可以稍微变换一下$T(a-b) = T(a) - T(b)$，此时有$a-b \neq 0$且$(a - b) \in \nul{T}$，这是和前提矛盾的，于是$T$是injective的.
\end{proof}


\begin{definition}
\rm 给定映射$\func{T}{V}{W}$. 集合$\Set{Tv}{v \in V}$表示\textbf{range} of $T$，记为$\range{T}$.
\end{definition}

\begin{proposition}
\rm 若$T \in \mathcal{L}(V,W)$，则$\range{T}$是一个subspace.
\end{proposition}

\begin{proof}
设任意$u',v' \in \range{T}$，那么存在$u,v$使得$T(u) = u'$及$T(v) = v'$成立. 考虑向量加法$u' + v' = T(u) + T(v) = T(u+v) \in \range{T}$. 同理数量乘法$\lambda u' = \lambda T(u) = T(\lambda u) \in \range{T}$. $0$向量显然在$\range{T}$里面 i.e. $T(0) = 0$.
\end{proof}

\newpage
\subsection{Foudamental Theorem of Linear Maps}

\begin{theorem}\label{lm:basic}
\rm 给定finite-dimensional $V$和linear map $T \in \mathcal{L}(V,W)$. 则$\range{T}$也是finite-dimensional且有下面等式成立.
$$
\dim V  = \dim \nul{T} + \dim \range{T}.
$$

\end{theorem}

\begin{proof}
在前面我们知道$\nul{T}$是一个subspace，假设它的basis为$u_1,u_2,\cdots,u_m$. 我们可以把这个basis extend到$V$的basis，即$u_1,u_2,\cdots,u_m,v_1,v_2,\cdots,v_n$. 很显然我们想要证明$\dim \range{T} = n$. 给定任意的$v \in V$，那么
$$
\begin{aligned}
 T(a_1u_1+a_2u_2+\cdots+a_mu_m + b_1v_1+b_2v_2 + \cdots + b_nv_n) &= T(a_1u_1+a_2u_2+\cdots+a_mu_m) + T(b_1v_1+b_2v_2 + \cdots + b_nv_n) \\
 &=  0 + T(b_1v_1+b_2v_2 + \cdots + b_nv_n) \\
 &= b_1T(v_1) + b_2T(v_2) + \cdots + b_nT(v_n).
\end{aligned}
$$
从上式我们可以知道$T(v_1) , T(v_2) , \cdots , T(v_n)$ spans $\range{T}$，所以$\range{T}$是finite-dimensional的. 但是我们还要证明它们是$\range{T}$的一个basis， 即它们还要linearly independent. 要证明当$c_1T(v_1)+c_2T(v_2)+\cdots+c_nT(v_n)=0$，$c_1,c_2,\cdots c_3$全为零. 那么考虑
$$
c_1T(v_1)+c_2T(v_2)+\cdots+c_nT(v_n) =T(c_1v_1+c_2v_2+\cdots+c_nv_n)=0.
$$
即有
$$
\begin{array}{rl}
a_1u_1+a_2u_2+\cdots+a_mu_m &= c_1v_1+c_2v_2+\cdots+c_nv_n \\
a_1u_1+a_2u_2+\cdots+a_mu_m - (c_1v_1+c_2v_2+\cdots+c_nv_n) &= 0.
\end{array}
$$
由于$u_1,u_2,\cdots,u_m,v_1,v_2,\cdots,v_n,$线性无关的，所以$c_1=c_2=\cdots=c_n =0$.
\end{proof}

这个theorem说明了一个重要的性质就是{\color{red} 不存在一个单射使得一个有限维的向量空间到映比它更低维的向量空间}. {\color{blue}同样映射到一个比它更高维的向量空间不会是一个满射}. 

\newpage
\subsection{Homogeneous system of linear equations}

\begin{proposition}
齐次线性方程组未知数的个数大于等式的个数，则有非零解.
\end{proposition}

\begin{proof}
给定齐次线性方程组.
$$
\begin{aligned}
\sum\limits_{k=1}^{n}A_{1,k}x_k&=0 \\
&\vdots\\
\sum\limits_{k=1}^{n}A_{m,k}x_k&=0.
\end{aligned}
$$
其中$A$表示对应齐次方程组的系数矩阵. 显然$x_1=x_2=\cdots=x_n = 0$是这组方程组的解. 这是trivial的，我们要考虑的是有没有非零解的情况. 之前我们定义过一个linear map $\func{T}{F^n}{F^m}$.
$$
	T(x_1,\cdots,x_n)  = (\sum\limits_{k=1}^{n}A_{1,k}x_k,\cdots,\sum\limits_{k=1}^{n}A_{m,k}x_k).
$$
上面方程组可以用$T(x_1,\cdots,x_n)=0$来简洁的表示，注意这里的$0$是$F^m$中的加法单位元，即零向量. 我们想要非零解，在这里只需要保证$\nul{T}$不为$\{0\}$. 由命题 \ref{lm: injective}，$\nul{T} = \{0\}$充要条件是$T$是injective的. 这里由基本定理 \ref{lm:basic}，当$n > m$时，从的高维到低维的线性映射不可能是一个单射，所以$\nul{T} \neq \{ 0 \}$. {\color{blue} 这就是基本定理的一个非常意思的应用}. 
\end{proof}

{\color{red} 对于非齐次方程组也有类似的结论，但是有一些不一样}.

\begin{proposition}
\rm 对于非齐次方程组
$$
\begin{aligned}
\sum\limits_{k=1}^{n}A_{1,k}x_k&=c_1 \\
&\vdots\\
\sum\limits_{k=1}^{n}A_{m,k}x_k&=c_m.
\end{aligned}
$$
\end{proposition}
当方程组的个数大于未知数的个数时，可以找到一些$c_1,\cdots,c_m$使得方程无解.

\begin{proof}
这里就变成了$T(x_1,\cdots,x_n) =  (c_1,\cdots,c_m)$. 要使得它没有解，我们只需要让$\range{T}$是$F^m$的一个子空间，且$\range{T} \neq F^m$，这样就有缝隙可以找了. 当$n < m$时，由基本定理\ref{lm:basic}，从低维到高维的线性映射不可能是满射，这种情况上当然是满足条件的.
\end{proof}

\newpage
\subsection{Matrices}

\begin{definition}
\rm 一个经典的$m \times n$ matrix.
$$
\begin{pmatrix}
A_{1,1} & \cdots & A_{1,n} \\
\vdots & & \vdots \\
A_{m,1} & \cdots & A_{m,n}
\end{pmatrix}
$$
\end{definition}

\begin{definition}
\rm 给定一个linear map $T \in \mathcal{L}(V,W)$，$V$上的一个basis $v_1,\cdots,v_n$和$W$上的一个basis $w_1,\cdots,w_m$. 用$\mathcal{M}(T)$表示$m \times n$ matrix of $T$. 其中$A_{j,k}$定义为
$$
T(v_k) = A_{1,k}w_1 +  \cdots + A_{m,k}w_m.
$$
$$
\mathcal{M} = \bordermatrix{
	& v_1& \cdots& v_k&\cdots& v_n \cr
w_1 &&&A_{1,k}&&& \cr
\vdots &&&\vdots&&& \cr
w_1 &&&A_{n,k}&&& \cr
}
$$ 
\end{definition}

这个定义的直觉是什么呢？ {\color{blue}就是在分别确定两个空间的basis的之后，用矩阵的手法把linear map表示出来}. 特别地我们在 \ref{lm: unique} 证明过只要确定了$T(v_1),\cdots,T(v_n)$，就确定了整个$T$，所以这里$T$是well-defined. 

{\color{red} matrix的加法和数量乘法定义}. 直觉来源于下面两个命题.

\begin{proposition}\label{matrix: prop1}
\rm 给定两个linear map $S,T \in \mathcal{L}(V,W)$，$\lambda \in F.$
\begin{enumerate}
	\item $\mathcal{M}(S+T) = \mathcal{M}(S) + \mathcal{M}(T).$
	\item $\mathcal{M}(\lambda T) = \lambda \mathcal{M}(T).$
\end{enumerate}
\end{proposition}

在思考上面的命题时候，我们脑子里面必须有了一些fixed base，例如$V$上一个basis $v_1,\cdots,v_n$，和$W$上一个basis $w_1,\cdots,w_m$. $S+T$还是一个$\mathcal{L}(V,W)$中的linear map，所以$w_1,\cdots,w_m$也是它的一个basis. 例如
$$
\begin{aligned}
	(S+T)v_k &= Sv_k + Tv_k \\
			 &= \sum\limits_{r=1}^{m}A_{r,k}w_r + \sum\limits_{r=1}^{m}C_{r,k}w_r \\
			 &= \sum\limits_{r=1}^{m}(A_{r,k} + C_{r,k})w_r.  
\end{aligned}	
$$


矩阵的乘法需要单独拿出来讲一下，在这里我们需要再额外定义$U$和它的一个basis $u_1,\cdots,u_p$. 给定两个linear maps $\func{T}{U}{V}$和$\func{S}{V}{W}$，它们的复合$\func{ST}{U}{W}$也是一个linear map. {\color{red} 那么现在有一个问题是$\mathcal{M}(ST)$是否等于$\mathcal{M}(S)\mathcal{M}(T)$}? {\color{blue}所以实际上当矩阵是linear map的一个representation的时候，矩阵乘法就是linear map的复合}. 

但是在此之前，我们并没有定义矩阵乘法. 如果我们希望上面的问题有一个positive answer，定义$\mathcal{M}(S) = A$和$\mathcal{M}(T) = C$，取$1 \leq k \leq p $，那么
$$
\begin{aligned}
(ST)u_k &= S(\sum\limits_{r=1}^{n}C_{r,k}v_r) & {\color{red}\text{apply $Tu_k$}} \\
		&= S(C_{1,k}v_1) + S(C_{2,k}v_2) + \cdots + S(C_{n,k}v_n) & {\color{red}\text{利用线性函数的可加性}} \\
		&= C_{1,k}S(v_1) + C_{2,k}S(v_2) + \cdots + C_{n,k}S(v_n)  & {\color{red}\text{利用线性函数的齐次性}} \\
		&= \sum\limits_{r=1}^{n}C_{r,k}\sum\limits_{j=1}^{m}A_{j,r}w_j & {\color{red}\text{apply $Sv_j$}}\\
		&= \sum\limits_{j=1}^{m}(\sum\limits_{r=1}^{n}A_{j,r}C_{r,k})w_j.
\end{aligned}
$$
所以$ST$也是一个$m \times p$ matrix，这个结果是非常自然的，{\color{blue}描述basis在linear map之间传递}. 所以我们由此给出一个正式的矩阵乘法的定义.

\begin{definition}
\rm {\color{red} 矩阵乘法的标准定义} 给定$ m \times n$ matrix $A$和$n \times p$ matrix $C$. 则$m \times p$ product matrix $AC$的第j行和第$k$列定义为
$$
(AC)_{j,k} =  \sum\limits_{r=1}^{n}A_{j,r}C_{r,k} .
$$
\end{definition}

{\color{blue} 可以形象的记忆就是$A$的第$j$行的元素分别乘上$C$的第$k$列的元素}.
$$
(AC)_{j,k}=A_{j,\cdot}C_{\cdot,k}
$$
其中$A_{j,\cdot}$表示第$j$行$1 \times n$矩阵，$C_{\cdot,k}$表示第$k$列$n \times 1$矩阵. 还是刻画成了两个矩阵的乘法.

\begin{proposition} \label{matrix: one-column-1}
特别地,
$$
(AC)_{\cdot,k}=AC_{\cdot,k}
$$
\end{proposition}
表示$AC$的第$k$的列等于$A$乘上$C$的第$k$的列(fixed k). {\color{blue} 这是因为与$u_k$相关的只有$C$中第$k$行对应的$v_1,v_2,\cdots,v_n$的系数，所以可以直接把它取出来直接乘}.

\begin{proposition} \label{matrix: one-column-2}
\rm 给定一个$m \times n$ matrix $A$和$n \times 1$ matrix $c = \begin{pmatrix} c_1 \\ \vdots \\ c_n \end{pmatrix}$. 那么
$$
Ac =
\begin{pmatrix}
a_{11} & \cdots & a_{1p} \\
\vdots & & \vdots \\ 
a_{n1} & \cdots & a_{np}
\end{pmatrix} 
\begin{pmatrix}
c_1 \\ 
\vdots \\ 
c_n
\end{pmatrix}
= c_1A_{\cdot,1} + \cdots + c_nA_{\cdot,n}.
$$
换句话说就是在刻画一个linear combination ($Ax = b$).
\end{proposition}

把\ref{matrix: one-column-1}和\ref{matrix: one-column-2} 两个propositions 结合起来就是说{\color{red} $AC$的第$k$列等于$A$中所有列向量以$C$中第$k$列为系数的linear combination}. {\color{blue}同理$AC$的第$j$行等于$C$中所有行以$A$中第$j$行为系数的linear combination}，
$$
\begin{pmatrix}
a_{j1} \cdots a_{jn}
\end{pmatrix}
\begin{pmatrix}
c_{11} & \cdots & c_{1p} \\
\vdots & & \vdots \\ 
c_{n1} & \cdots & c_{np}
\end{pmatrix}
$$

\begin{proof}
$$
\begin{aligned}
Ac &=  
\begin{pmatrix}
\left(\sum\limits_{r=1}^{n}A_{1,r}C_{r,1}\right)  \\
\vdots \\
\left(\sum\limits_{r=1}^{n}A_{n,r}C_{r,1}\right)  
\end{pmatrix} \\
&= 
\begin{pmatrix}
A_{1,1}C_{1,1} \\
\vdots \\
A_{n,1}C_{1,1} 
\end{pmatrix} + \cdots +
\begin{pmatrix}
A_{1,n}C_{n,1} \\
\vdots \\
A_{n,n}C_{n,1} 
\end{pmatrix}\\ 
&= 
C_{1,1}\begin{pmatrix}
A_{1,1} \\
\vdots \\
A_{n,1} 
\end{pmatrix} + \cdots +
C_{n,1}\begin{pmatrix}
A_{1,n} \\
\vdots \\
A_{n,n} 
\end{pmatrix}\\
\end{aligned}
$$
\end{proof}

{\color{blue} 实际上上述就是按行或者按列展开矩阵乘法}.

\begin{example}
\rm 先给出一个classic 矩阵乘法.
$$
\begin{pmatrix}
1 & 2 \\
3 & 4 \\
5 & 6 \\
\end{pmatrix}
\begin{pmatrix}
6 & 5 & 4 & 3 \\
2 & 1 & 0 & -1
\end{pmatrix} = 
\begin{pmatrix}
10 & 7 & 4 & 1 \\
26 & 19 & 12 & 5 \\
42 & 31 & 20 & 9
\end{pmatrix}
$$
那么其中结果的第2列可以表示为
$$
\begin{pmatrix}
1 & 2 \\
3 & 4 \\
5 & 6 \\
\end{pmatrix}
\begin{pmatrix}
5 \\
1 
\end{pmatrix} = 
\begin{pmatrix}
7 \\
19 \\
31 
\end{pmatrix}
$$
还可以用linear combination的眼观来看
$$
\begin{pmatrix}
7 \\
19 \\
31 
\end{pmatrix} =
5\begin{pmatrix}
1 \\
3 \\
5 
\end{pmatrix} + 
1 \begin{pmatrix}
2 \\
4 \\
6
\end{pmatrix}
$$
\end{example}

\begin{definition}
对于任意的正整数$m,n$，所有$m \times n$ matrix构成的集合记为$F^{m,n}$.
\end{definition}

\begin{proposition}\label{matrix: vector-space-dim}
\rm {\color{red} $\dim F^{m,n} = mn$}
\end{proposition}

\begin{proof}
显然$F^{m,n}$ over $F$是一个向量空间，其中零矩阵(矩阵中所有元素均为0)为它的加法单位元. 我们让只有一个元素为$1$其余均为的$0$的矩阵构成一个集合，这个集合就是$F^{m,n}$的一个basis.
\end{proof}

\newpage
\subsection{Invertibility}

\begin{definition}
\rm 给定一个linear map $T \in \mathcal{L}(V,W)$. 若存在另外一个linear map $S \in \mathcal{L}(W,V)$，使得$ST$和$TS$都是identity map. 则称$T$是可逆的(invertible)，$S$是$T$的逆元.
\end{definition}

\begin{proposition}
\rm 一个可逆的linear map有唯一的逆元.
\end{proposition}

\begin{proof}
\rm 给定可逆linear map $T \in \mathcal{L}(V,W)$. 假设它有两个逆元$S_1$和$S_2$，那么
$$
S_1 = S_1I = S_1TS_2 = IS_2 =S_2.
$$
\end{proof}

自然地，{\color{red} 我们需要思考一个linear map什么时候可逆}?

\begin{proposition}\label{iso: cond}
\rm 一个linear map可逆当且仅当它是injective和surjective.
\end{proposition}


\begin{proof}
给定linear map $T \in \mathcal{L}(V,W)$. 

($\Leftarrow$)  若$T$是injective和surjective，则$T(v) = w$一一对应的且能取到所有的$w \in W$，那么$S$直接把对应的$T(v)$送到$v$即可.

($\Rightarrow$) 若$T$可逆，那么存在$S \in \mathcal{L}(W,V)$使得$ST = I$和$TS = I$. 从$TS = I$可以知道$T$一个surjective，注意这里的$I$是$W \rightarrow W$，表示$T(S(w))$可以取到任意的$w \in W$. 若存在$v_1,v_2$使得$T(v_1) = T(v_2)$，则$S(T(v_1)) = S(T(v2))$，由于$ST = I$，所以$v_1 = v_2$，即$T$是一个injective. 
\end{proof}

\newpage
\subsection{Isomorphic Vector Spaces}

\begin{definition}
\rm 若两个vector spaces之间一个可逆的linear map，则称这两个vector space 是同构的(isomorphic)，这个可逆的linear map称为{\color{red}isomorphism}.
\end{definition}

{\color{blue} The Greek word \textbf{isos} means equal; the Greek word \textbf{morph} means shape. Thus isomorphic literally means equal shape}.

\begin{proposition}\label{matrix: iso-same-dim}
\rm 两个finite-dimensional vector spaces over $F$ 同构当且仅当它们有相同的维数(dimension).
\end{proposition}

\begin{proof}
设两个vector spaces分别为$V$和$W$.

($\Rightarrow$) 若$V$和$W$同构. 因此$V$和$W$之间有一个isomorphism. 前面我们知道可逆的linear map是injective和surjective的. 根据linear map的基本定理
$$
	\dim V = \dim\nul{V} + \dim\range{V}.
$$
这里有$\nul{V} =  0$，同时$\range{V} =  W$. 所以$\dim V  = \dim W$.

($\Leftarrow$) 若$V$和$W$拥有相同的dimension，即它们的basis有相同的个数. 分别挑$V$上的basis $v_1,\cdots,v_n$和$W$上的basis $w_1,\cdots,w_n$. 我们定义一个linear map $T$，使得
$$
	T(c_1v_1 + \cdots + c_nv_n) =  c_1w_1 + \cdots + c_nw_n.
$$
我们需要说明$T$是well-defined. $\forall v \in V$，都可以被$v_1,\cdots,v_n$唯一表示，继而对应的$T(v)$也是被$w_1,\cdots,w_n$唯一表示的. 很显然这是一个linear map. 同时$\nul{T} = \{0\}$，所以$T$是一个injective. 并且$T$的函数值可以spans $W$，所以$T$是一个surjective，于是由\ref{iso: cond}可知$T$是一个isomorphism.
\end{proof}

{\color{red} 我们来思考一个有趣的isomophism}.

\begin{proposition} \label{matrix: iso-with-linear-maps-set}
\rm 给定$V$上basis $v_1,\cdots,c_n$和$W$上的basis $w_1,\cdots,w_m$. 任意一个$T \in \mathcal{L}(V,W)$，都能确定一个$\mathcal{M}(T) \in F^{m,n}$. 那么$\mathcal{L}(V,W)$和$F^{m,n}$同构，其中$\mathcal{M}$是一个isomorphism.
\end{proposition}

\begin{proof}
由\ref{matrix: prop1} 已经可以表明$\mathcal{M}$是一个linear map了. 我们需要证明它是可逆的，即它是injective和surjective.

首先考虑injective，自然地来探究一下$\nul{\mathcal{M}}$的结构. $F^{m,n}$中的零向量对应零矩阵，我们用$\mathbf{0}$表示. 设$T \in \mathcal{L}(V,W)$，且分别给定$V$和$W$上的basis $v_1,v_2,\cdots,v_m$和$w_1,w_2,\cdots,w_m$. 那么当$\mathcal{M}(T) = \mathbf{0}$时，对任意的$v_k, \; k=1,2,\cdots,m$有$T(v_k) = 0 \cdot  w_i, i=1,2,\cdots,n$，所以$T$在这里是一个zero linear map. 

为了证明srujective，设对于$\forall A \in F^{m,n}$，我们可以构造一个linear map使得
$$
	T(v_k) = \sum\limits_{r=1}^{m}A_{r,k}w_j, k= 1,2,\cdots,m.
$$
显然$\mathcal{M}(T)=A$. 所以$\mathcal{M}$是surjective.
\end{proof}

{\color{red} 如果能从它们的dimension去证明上面的命题就好了，但是$\mathcal{L}(V,W)$的dimension并没有那么显然}.

\begin{proposition}\label{linear-map-space: dim}
\rm 给定$V$和$W$都是finite-dimensional. 则$\mathcal{L}(V,W)$也是finite-dimensional，其中
$$
\dim \mathcal{L}(V,W) = \dim V \dim W.
$$
\end{proposition}

\begin{proof}
由\ref{matrix: iso-with-linear-maps-set},\ref{matrix: iso-same-dim},\ref{matrix: vector-space-dim}可证.
\end{proof}

\newpage
\subsection{Linear Maps Thought of as Matrix Multiplication}

之前我们定义了{\color{blue}matrix of a linear map}，现在我们来定义{\color{blue} matrix of a vector}.

\begin{definition}
给定$V$上的basis $v_1,\cdots,v_n$和$v \in V$. 那么matrix of $v$表示为
$$
\mathcal{M}(v)=
\begin{pmatrix}
c_1 \\
\vdots\\
c_n
\end{pmatrix},
$$ 
其中$c_1,\cdots,c_n$使得
$$
v = c_1v_1 + \cdots + c_2v_n.
$$
\end{definition} 

{\color{blue} 所以这里有一个很自然的式子把它们联系起来}.
$$
\mathcal{M}(T)_{\cdot,k}=\mathcal{M}(T(v_k)).
$$
等式左边表示$T$的矩阵表示的第$k$行，而等式右边表示$T(v_k)$的矩阵表示.
\begin{proposition}\label{linear map: matrix-mul}
\rm 给定linear map $T \in \mathcal{L}(V,W)$和$v \in V$. 给定$V$上的basis $v_1,\cdots,v_n,$和$W$上的basis $w_1,\cdots,w_m$. 那么
$$
\mathcal{M}(T(v)) =  \mathcal{M}(T)\mathcal{M}(v).
$$
\end{proposition}

\begin{proof}
假定$v=c_1v_1 + \cdots + c_nv_n$，其中$c_1,\cdots,c_n \in F$. 那么
$$
T(v) =  c_1T(v_1) + \cdots c_nT(v_n).
$$
继而
$$
\begin{aligned}
\mathcal{M}(T(v)) &= c_1\mathcal{M}(T(v_1)) + \cdots +c_n \mathcal{M}(T(v_n)) \\
				&= c_1\mathcal{M}(T)_{\cdot,1} + \cdots + c_n \mathcal{M}(T)_{\cdot,n} \\
				&= \mathcal{M}(T)\mathcal{M}(v).
\end{aligned} 
$$
{\color{red}这个命题的内蕴一个向量$v$在$T$下变换的结果等于$T$的表示矩阵左乘$v$的矩阵表示}.
\end{proof}

这个命题到底有什么用呢？{\color{blue}每一个$m \times n$ matrix 都蕴含了一个$F^{n,1}$到$F^{m,1}$的linear map}.
$$
x \in F^{n,1} , Ax \in F^{m,1}.
$$

深入记录一下，实际上这里有一个交换图.
\begin{center}
% https://tikzcd.yichuanshen.de/#N4Igdg9gJgpgziAXAbVABwnAlgFyxMJZABgBpiBdUkANwEMAbAVxiRADUQBfU9TXfIRQAmclVqMWbAOrdeIDNjwEiZYePrNWiEADEAesDCkAjFzl8lgoqPXVNUnQeABbU+a7iYUAObwioABmAE4QLkhkIDgQSCb2ktogACoWICFhsdTRSADM8VpsADqFLnQ4ABYAxozAALJcAPrAxcAA7g1YxVwe8unhiKJRMYh5IAx0AEYwDAAK-MpCIMFYPuU4IPmOyQDkqX0RWcODDonFpRXVDHWNzYXANB1d5tTjU7Pz1jrLq+ueXEA
\begin{tikzcd}
V \arrow[rr, "T"] \arrow[dd, "\mathcal{M}_{\{v_i\}}"'] &  & W \arrow[dd, "\mathcal{M}_{\{w_i\}}"] \\
                                                       &  &                                       \\
{F^{n,1}} \arrow[rr, "T'"']                            &  & {F^{m,1}}                            
\end{tikzcd}
\end{center}
给定两个有限向量空间$V$和$W$，它们basis分别为$\{v_i : i =1,2,\cdots,n\}$和$\{w_i: i = 1,2,\cdots,m\}$，$\mathcal{M}_{\{v_i\}}$和$\mathcal{M}_{\{w_i\}}$分别表示$V \rightarrow F^{n,1}$和$W \rightarrow F^{m,1}$的isomorphism. 自然地$\mathcal{M}_{\{v_i\}}$和$\mathcal{M}_{\{w_i\}}$都是一个可逆的linear map. 如果有上面的交换图，则$T'$是唯一确定的，即
$$
T' = \mathcal{M}_{\{w_i\}}T\mathcal{M}^{-1}_{\{v_i\}}.
$$
前面我们证明了$\mathcal{M}(T(v)) = \mathcal{M}(T)\mathcal{M}(v)$，实际上是证明了
$$
\mathcal{M}_{\{w_i\}}T = T'\mathcal{M}_{\{v_i\}},
$$
其中$T'(x)= \mathcal{M}(T)\cdot x = Ax,\; x \in F^{n,1}$. 这说明一个$m \times n$也可以诱导出$F^{n,1} \rightarrow F^{m,1}$的linear map.

特别地思考一个问题$\mathcal{M}(T') = ?$ 首先$V$与$F^{n,1}$和$W$与$F^{m,1}$在$\mathcal{M}$都是分别同构的，那么$v_1,\cdots,v_n$与$w_1,\cdots,w_n$在$\mathcal{M}$的作用下也分别确定了$F^{n,1}$与$F^{m,1}$的一个basis，你会发现这两个basis都是standard basis，而在交换图的意义之下

\begin{center}
% https://tikzcd.yichuanshen.de/#N4Igdg9gJgpgziAXAbVABwnAlgFyxMJZABgBpiBdUkANwEMAbAVxiVoH0BrEAX1PUy58hFGQBMVWoxZsAOrIBGEAE6xlAWzo5lWAB7AABADID8gMbLjB4qdkWr8mlAg44t+5xMBGd5aOPnV18rGx5efhAMbDwCIjFySXpmVkQQAFkACgAVAEp2YHNA0k4eeQUYAHMsMGA0TW09HgMAd3YfeXlbJxc3DtkW9nVbGDAoWvqdXTC+AWjhONIJaiSZVLLK6vGtSabW9o6uwN6D1qH5EbG67cbeSRgoCvgiUAAzZQh1JDIQHAgkLxmIDeH3+1F+SAAzIDgZ9EBCwX9EGJoe9Yd9wUieBQeEA
\begin{tikzcd}
v_k \arrow[dd] \arrow[rr]                                                       &  & {\begin{pmatrix} w_1 , \cdots , w_m \end{pmatrix}M(T)_{\cdot,k}} \\
                                                                                &  &                                                                    \\
\tiny\bordermatrix{ & \cr & 0 \cr & \vdots \cr k& 1 \cr &\vdots \cr & 0 } \arrow[rr] &  & {M(T)_{\cdot,k}} \arrow[uu]     
\end{tikzcd}
\end{center}
明显地，$T'$在两个standard basis下的matrix representation的第$k$列对应上了$\mathcal{M}(T)$的第$k$列. {\color{blue}所以我们的结论是当$F^{n,1}$与$F^{m,1}$上都选择standard basis的时候，有$\mathcal{M}(T) = \mathcal{M}(T')$}. 那么$T'(x)$也可以写作$T'(x) = \mathcal{M}(T')x$，其中$\mathcal{M}(T')$是在选择standard basis的意义下.


我们把这个特殊的linear map $T'$ 称为{\color{red}matrix multiplication map}. 当然了你也可以想象每一个从$V$到$W$(finite-dimensional)的linear map，都可以唯一确定上述的matrix multiplication map.

\newpage
\subsection{Operators}

\begin{definition}
\rm 一个vector sapce $V$到自身的linear map $V \rightarrow V$被称为operator，$V$上所有的operators构成的集合记为$\mathcal{L}(V)$，即$\mathcal{L}(V)=\mathcal{L}(V,V)$.
\end{definition}

\begin{example}
两个operators的例子.
\begin{enumerate}
	\item multiplication by $x^2$: $T \in \mathcal{L}(\mathcal{P}(\mathbb{R}),\mathcal{P}(\mathbb{R}))$
	$$
		T(p(x)) = x^2p(x).
	$$
	\item backward shift: $T \in \mathcal{L}(F^{\infty},F^{\infty})$
	$$
		T(x_1,x_2,x_3,\cdots) = (x_2,x_3,\cdots). 
	$$
\end{enumerate}
\end{example}

{\color{blue} operator其实就是endomorphism，可以把条件加强一点变成automorphism(自同构). 也就是说需要把operator变成一个isomorphism}.

\begin{proposition}\label{operator: iso-cond}
\rm 给定finite-dimensional $V$和 operator $T \in \mathcal{L}(V)$. 下面条件相互等价
\begin{enumerate}
	\item $T$ is invertible.
	\item $T$ is injective.
	\item $T$ is surjective.
\end{enumerate}
注意这里必须是{\color{red} finitie-dimensional}. {\color{blue}也就是说现在判定operator的invertible时不需要injective和surjective同时满足}.
\end{proposition}

\begin{proof}
我们再写一遍foundamental theorem
$$
\dim V  = \dim \nul{V}  + \dim \range{V}.
$$

($2 \Rightarrow 3$) 若$T$是injective，上面的式子就变成了$\dim V = \dim \range{T}$. $\range{T}$是$V$的一个subspace. 若要上述式子成立，则$\range{T} = V$，所以$T$是一个surjective.

($3 \Rightarrow 2$) 若$T$是surjective，$\range{T} = V$上面的式子就变成了$0 = \dim\nul{T}$. 所以$T$是一个injective. 

其他方向的推导都比较clearly.
\end{proof}

\begin{example}
证明对任意的多项式$q \in \mathcal{P}(\mathbb{R})$，存在$p \in \mathcal{P}(\mathbb{R})$使得$((x^2+5x+7)p)^{''}=q$.
\end{example}

\begin{proof}
这个题可以利用$q$和$p$的次数关系的初等方法来做，你会发现它们的次数应该是一样的才对，因为$p$乘上了一个2次多项式，两次求导之后整个式子次数会减少2次，总体保持不变就是$p$的次数. 然后你设$p$和$q$的次数为$m$，再把它们换成对应的$p_m(x)=c_mx^m+\cdots+c_0$. 左边去掉求导符合，即展开，对比系数，得到关系式.

这里也可以通过operator来做，考虑前面提到的operator $\func{T}{\mathcal{P}(\mathbb{R})}{\mathcal{P}(\mathbb{R})}$
$$
T(p) = ((x^2+5x+7)p)''.
$$
那么我们就是想证明$T$是一个surjective. 但是现在这里有一个问题，$\mathcal{P}(\mathbb{R})$这是一个infinite vector space，如果我们想用
\ref{operator: iso-cond}来通过injective间接说明它是一个surjective是不行的. 但是给定任意一个多项式$q$都有一个最高次$m$，所以我们可以限制$T$一下，把它限制到$\func{T_m}{\mathcal{P}_m(\mathbb{R})}{\mathcal{P}_m(\mathbb{R})}$上，这样就是一个infinite vector space上的映射了. 再考虑$T_m$是不是一个injective. 若要使得$T(p) = 0$，由于二次求导之后为0的多项式只能是形如$ax+b$，要满足条件这里只能使得$p$等于$0$. 即$\nul{T} = \{0\}$，那么$T$是一个injective，即$T$是一个surjective.
\end{proof}

\newpage
\subsection{Products of Vector Spaces}

\begin{definition}
\rm 给定一些vector spaces over $F$ $V_1,\cdots,V_m$.
\begin{itemize}
	\item The product $V_1 \times \cdots \times V_m$定义为
	$$
		V_1 \times \cdots \times V_m  = \Set{(v_1,\cdots,v_m)}{v_1 \in V_1, \cdots, v_m \in V_m}.
	$$
	\item Addition on $V_1 \times \cdots \times V_m$定义为
	$$
		(u_1,\cdots,u_m) + (v_1,\cdots,v_m) = (u_1+v_1,\cdots,u_m + v_m).
	$$
	\item Scalar multiplication on $V_1 \times \cdots \times V_m$定义为
	$$
		\lambda(v_1,\cdots,v_m) = (\lambda v_1,\cdots,\lambda v_m).
	$$
\end{itemize}
\end{definition}

\begin{example}
$R^2 \times R^3$和$R^5$同构. $((x_1,x_2) ,(x_3,x_4,x_5)) \mapsto (x_1,x_2,x_3,x_4,x_5)$.
\end{example}

{\color{red} 那么product of vector space的dimension取决于什么呢}？

\begin{proposition}
\rm 给定一系列 finite-dimensional $V_1,\cdots,V_m$. 则$V_1 \times \cdots \times V_m$也是finite-dimensional，且
$$
	\dim(V_1 \times \cdots \times V_m)=\dim V_1 + \cdots + \dim V_m.
$$
\end{proposition}

\begin{proof}
最直观的理解就是，各自取basis. 例如先对$V_1$取basis $(v_{1_1},0,\cdots,0) , \cdots,(v_{1_n},0,\cdots,0)$. 再类似的对其他$V_k$做同样的操作，这样取出来的list都是linearly independent且spans $V_1 \times \cdots \times V_m$. 所以它是一个basis. 
\end{proof}

\newpage
\subsection{Products and Direct Sums}

Product和subset sum之间有一种天然的linear map.

\begin{proposition}
\rm 给定一些$V$上的subspaces $U_1,\cdots,U_m$. 定义linear map $\func{\Gamma}{U_1 \times \cdots U_m}{U_1 + \cdots + U_m}$
$$
 \Gamma(u_1,\cdots,u_m) = u_1 + \cdots + u_2. 
$$
若$\Gamma$是injective的，则$U_1 + \cdots + U_m$是一个direct sum.
\end{proposition}

\begin{proof}
试想若$U_1 + \cdots + U_m$是一个direct sum. 则$u_1 + \cdots u_m = 0$，只能是$u_1 = \cdots = u_m$，这说明$\Gamma$是一个injective.
\end{proof}

\begin{corollary}
\rm 给定一些$V$上的subspaces $U_1,\cdots,U_m$. 若$U_1 + \cdots + U_m$是一个direct sum 当且仅当
$$
	\dim(U_1 + \cdots + U_m) = \dim U_1 + \cdots + \dim U_m.
$$
\end{corollary}

\begin{proof}
上面的proposition和前一章的关于 dimension of product的proposition结合起来即可.
\end{proof}

\newpage
\subsection{Quotients of Vector Spaces}


vector和vector space的addition.

\begin{definition}
\rm 给定$V$上subspace $U$和vector $v \in V$. 集合
$$
\Set{v+u}{u \in U}
$$
记为$v+U$. 这个集合被称为affine subset(仿射子集)， affine subset 和 $U$ 是parallel.
\end{definition}


\begin{definition}
\rm 给定$V$上一个subspace $U$. 集合
$$
\Set{v+U}{v \in V}
$$
表示$V$的一个quotient space，记为$V \setminus U$. 它是所有$V$上所有和$U$平行的affine subset.
\end{definition}

{\color{red} 下一步是把quotient space变成一个 vector space}. 如何区别两个和$U$平行的affine subset是相等的呢？

\begin{proposition}
\rm 给定$V$上一个subspace $U$和$v,w \in V$. 下面条件相互等价
\begin{enumerate}
	\item $v-w \in U.$
	\item $v+U = w+U.$
	\item $(v+U) \cap (w+U) \neq \emptyset.$
\end{enumerate}
\end{proposition}

\begin{proof}
($1 \Rightarrow 2$)若$v-w \in U$，取$u \in U$. 那么
$$
v + u  = w+(v-w+u) \in w+U.
$$
所以$v+U \subset w+U$. 反过来$w+u$类似，有$w+U \subset v+U$. 最后$v+U = w+U.$

($2 \Rightarrow 1$)若$v+U = w+u$，取$u_1,u_2 \in U$，使得$v+u_1 = w + u_2$. 那么
$$
v-w =u_2-u_1 \in U.
$$

($3 \Rightarrow 1$) same with above.
\end{proof}

\begin{definition}
\rm 给定$V$上subspace $U$. $V \setminus U$上的两种运算定义如下:
\begin{enumerate}
	\item Addition: $(v+U) + (u +W) = (v+w) + U.$
	\item Scalar multiplication: $\lambda(v+U)=(\lambda v)+U.$ 
\end{enumerate}
其中$v,u \in V$，$\lambda \in F$.
\end{definition}


{\color{blue} 我们必须得说明quotient space是一个vector space，才能引入重要的quotient map}.
\begin{proposition}
\rm Quotient space是一个vector space.
\end{proposition}

\begin{proof}
%这件事为什么要描述的这么复杂呢？？？ quotient space就是一个等价类. 之前在做的事就是告诉你quotient space定义出来的集合里面有很多相同的元素. 这里我们知道了什么时候两个元素是相同的，相同元素可以用一个特殊的代表元素来表示. 同时这个代表元遵循上述的addition和scalar multiplication. quotient space就是一个vector space.

如果我们要证明quotient space是一个vector space我们需要让上述的addition和scalar multiplication满足vector space axioms.

在此之前我们需要让上面的addition和scalar multiplication make sense. 就addition而言，如果有$v+U = \widehat{v} + U$，那么$(v+w)+U = (\widehat{v}+w)+U$. 如何证明呢？根据前面的proposition我们有
$$
(v-\widehat{v}) \in U , (w-w) \in U.
$$
$U$是一个subspace在addition下封闭. 那么
$$
(v+w)-(\widehat{v}+w) \in U.
$$
再用一下前面的proposition就有$(v+w)+U = (\widehat{v}+w)+U$. 相似的，要使得scalar multiplication make sense，那么$(\lambda v) + U = (\lambda \widehat{v}) + U$. 根据前面的proposition.
$$
v-\widehat{v} \in U.
$$ 
$U$在scalar multiplication下封闭. 那么
$$
\lambda(v-\widehat{v}) \in U,
$$
即$(\lambda v) - (\lambda \widehat{v}) \in U$. 用一下前面的proposition最后就有$(\lambda v) + U = (\lambda \widehat{v}) + U$.

$V\setminus U$的加法单位元是$0 + U$. 
\end{proof}

{\color{red} 下面要引入最重要的quotient map}.

\begin{definition}
\rm 给定$V$上的subspace $U$. 存在一个linear map $\func{\pi}{V}{V\setminus U}$定义为
$$
\pi(v) = v+U.
$$
称这个linear map是一个quotient map.
\end{definition}

{\color{red} 有了具体的quotient map之后我们来尝试计算quotient space的dimension}.

\begin{proposition}
$\dim V\setminus U = \dim V - \dim U.$
\end{proposition}

\begin{proof}
The fundamental theorem linear map
$$
\dim V  = \dim\nul{T} + \dim\range{T}.
$$
我们考虑$\nul{T}$，即$\pi(v) =  0 + U$. 那么$v \in U$，则$\pi(v) = 0 +U$. 所以$\nul{T} = U$. $T$的值域就是整个quotient space，所以$\range{T} = V\setminus U$. 两个小结论合起来就是$\dim V\setminus U = \dim V - \dim U$. 
\end{proof}

{\color{red} quotient map必不可少的是universal property}.

\begin{center}
% https://tikzcd.yichuanshen.de/#N4Igdg9gJgpgziAXAbVABwnAlgFyxMJZABgBpiBdUkANwEMAbAVxiRADUQBfU9TXfIRQAmclVqMWbAOrdeIDNjwEiARlKrx9Zq0QgAOvoBOAWwAE7Q3Bg4TWMEzhmHDBgAoAKgEpu4mFABzeCJQADMjCBMkMhAcCCR1CR02DzkwiKjEGLikURAGOgAjGAYABX5lIRAjLACACxwQam0pPUM0LDSQcMjc6hzERILisorBNhr6xubJXQN9PAZYYA8uXy4gA
\begin{tikzcd}
V \arrow[rr, "T"] \arrow[rd, "\pi"'] &                                                 & W \\
                                     & \rm V\setminus null(T) \arrow[ru, "\tilde{T}"'] &  
\end{tikzcd}
\end{center}

\begin{proposition}
\rm 上图的$\tilde{T}$是一个unique linear map，使得
$$
\tilde{T}(\pi(v)) = Tv 
$$
\end{proposition}

\begin{proof}
首先我们让这个linear map make sense. 若$v+\nul{V} = u+\nul{V}$，则$v - u \in \nul{V}$. 进一步有$T(v-u)=0$，即$T(v)=T(u)$. 这就是说一个等价类里面的元素，经过$T$之后的函数值都是相等的，这也是$\tilde{T}$的定义.
\end{proof}

\begin{proposition}
\rm 这里面还有一些性质.
\begin{enumerate}
	\item $\tilde{T}$ is injective.
	\item $\range{\tilde{T}} = \range{T}.$
	\item $V\setminus \nul{T}$和$\range{T}$同构.
\end{enumerate}
\end{proposition}

\begin{proof}
(1) 前面已经证明了.
(2) 交换图 clearly.
(3) injective and surjective! then iosmophic.
\end{proof}

\newpage
\subsection{The Dual Space and the Dual Map}

\begin{definition}
\rm 从$V$到$F$的linear map被称为linear functional(线性泛函).
\end{definition}

\begin{example}
linear functional的例子
\begin{enumerate}
	\item fix $c_1,\cdots,c_n$，定义$\func{\varphi}{F^n}{F}$
	$$
		\varphi(x_1,\cdots,x_n) = c_1x_1+\cdots+c_nx_n.
	$$ 
\end{enumerate}
\end{example}

\begin{definition}
\rm {\color{red} 对偶空间的定义} $V$上所有的linear functional构成的集合是一个vector space，其被称为\textbf{dual space}，记为$V'$. 换句话说就是$V' = \mathcal{L}(V,F)$.
\end{definition}

\begin{proposition}	
$\dim V' = \dim V$.
\end{proposition}

\begin{proof}
由\ref{linear-map-space: dim} $F$ over $F$的dimension是1???? haha
\end{proof}

\begin{definition}
\rm 给定$V$上的basis $v_1,\cdots,v_n$，定义$V'$上的list $\varphi_1,\cdots,\varphi_n$如下
$$
\varphi_j(v_k)= \left\{ \begin{array}{cc}
1 & k=j, \\
0 & k\neq j.
\end{array} \right.
$$
称其为$v_1,\cdots,v_n$的\textbf{dual basis}.
\end{definition}

\begin{proposition}
\rm dual basis是$V'$上的basis.
\end{proposition}

\begin{proof}
这里我们只需要证明$\varphi_1,\cdots,\varphi_n$是linearly independent，配合the right length. 假设$a_1,\cdots,a_n$使得
$$
a_1\varphi_1 + \cdots + a_n\varphi_n=0.
$$
这里的$0$表示一个zero map. 已知$(a_1\varphi_1 + \cdots + a_n\varphi_n)(v_j) = a_j$ for $j = 1,\cdots,n$. 所以这里只能$a_1 = \cdots = a_n =0$，$\varphi_1,\cdots,\varphi_n$是linearly independent. 
\end{proof}

\begin{definition}
\rm 给定linear map $T \in \mathcal{L}(V,W)$. $T$的\textbf{dual map} $T' \in \mathcal{L}(W',V')$定义为
$$
T'(\varphi) = \varphi \circ T,
$$
其中$\varphi \in W'$.
\end{definition}

{\color{blue} 为什么它$T'$是一个linear map呢？因为两个linear map的复合还是一个linear map}. 

{\color{red} dual map上的一些代数性质}.
\begin{proposition}
给定$S,T \in \mathcal{L}(V,W),G \in \mathcal{L}(U,V)$和$\lambda \in F$.
\begin{itemize}
	\item $(S+T)' = S' + T'.$
	\item $(\lambda T)' = \lambda T'.$
	\item $(SG)' = G'T'.$
\end{itemize}
\end{proposition}

\begin{proof}
(1),(2) clearly

(3)设$\varphi \in W'$
$$
(SG)'(\varphi) = \varphi \circ (SG) = (\varphi \circ S) \circ G = G'(\varphi \circ S) = G'S'(\varphi).
$$
\end{proof}

\newpage
\subsection{annihilator}

\begin{definition}
\rm 给定集合$U \subset V$. 集合
$$
\Set{\varphi \in V'}{\forall u \in U,\phi(u) =  0}
$$
表示the \textbf{annihilator} of $U$(零化子)，记为$U^0$.
\end{definition}

{\color{red} 很自然地可能想问annihilator是不是一个subspace}.
\begin{proposition}
\rm 给定集合$U \subset V$. 则$U^0$是$V'$的一个subspace.
\end{proposition}

\begin{proof}
按三部走.

clearly $0 \in U^0$.

设$v,w \in U^0$. 我们考虑$(v+w)(u) = v(u)+w(u) = 0$其中$u \in U$. clearly $v(u)+w(u) \in U^0$.

相似的，取$\lambda \in F$. 考虑$(\lambda v)(u)=\lambda v(u) = 0$. clearly $\lambda v(u) \in U^0.$
\end{proof}

{\color{red} 那么我们现在就可以问annihilator的dimension是多少}？ 

\begin{lemma}
\rm 给定finite-dimensional $V$和其上一个subspace $U$. 若$S \in \mathcal{U,V}$，则存在$T \in \mathcal{V,U}$使得对任意的$u \in U$有$Tu = Su$.
\end{lemma}

\begin{proof}
直接尝试构造即可. 设$U$上一组basis $u_1,\cdots,u_m$. 它可以extend到$V$上一组basis $u_1,\cdots,u_m,v_1,\cdots,v_n$. 使得$T(w_k) = w_k$对$1 \leq k \leq m$和$T(v_j) = 0$对$1 \leq j \leq n$. $T$是符合上述条件一个linear map.

之前我想这样的构造
$$
T(v)= \left\{ \begin{array}{cc}
Sv & v \in U, \\
0 & v \notin U.
\end{array} \right.
$$
这是有问题的，addition axiom是不满足的. 从而造就了前面的构造.
\end{proof}

\begin{proposition}
\rm 给定finite-dimensional $V$ 和它的subspace $U$. 则
$$
\dim U + \dim U^0 = \dim V.
$$
\end{proposition}

\begin{proof}
RHS可以换成$\dim V'$. 如果我们想用fundamental theorem of linear map. 要把$U$弄进来，必须要linear map的一端是$U$. 所以这里引入inclusion map $i \in \mathcal(L)(U,V)$，定义为
$$
i(u) = u.
$$ 
那么它的dual map $\func{i'}{V'}{U'}$(这样就有$\dim V'$). 我们把fundamental theorem用在dual map上有
$$
\dim V' = \dim\nul{i'} + \dim\range{i'}. 
$$
这里$\nul{i'} = U^0$. 为什么呢? 根据dual map的定义$0 = \varphi i$其中$\varphi \in V'$. 这就是innihilator的定义$U \rightarrow F = 0$(zero map). 那么下一步就确定了，我们只需要说明$\dim \range{i'} = \dim U$. 把RHS的$\dim U$再换成$\dim U'$，这就是在说$i'$值域是整个$U'$，那么我们只要证明$i'$是一个surjective即可. 即取任意的$\varphi_U \in U'$，存在$\varphi_V \in V, \varphi_U = \varphi_V i$. 我们需要想办法把RHS的$i$消掉，根据前面的lemma我们是可以找到这样的一个$i^{-1}$使得$i^{-1}(u) = i(u),u \in U$，这里又因为inclusion是一个injective map, 有$ii^{-1} = 1$. 所以$i'$是一个surjective. 综上整个命题得证. 
\end{proof}

{\color{red} $T'$的null space}.

\begin{proposition}
\rm 给定两个finite-dimensional vector space $V,W$和linear map $T \in \mathcal{L}(V,W)$.则
\begin{enumerate}
	\item $\nul(T') = (\range T)^0$.
	\item $\dim \nul{T'} = \dim \nul T + \dim W - \dim V$.
\end{enumerate}
\end{proposition}

\begin{proof}
(1) $T'$表示$W' \rightarrow V'$，那么$0 = \varphi T$其中$0$是zero map，$\varphi  \in W'$. 即$\varphi T(v) = 0$对任意的$v \in V$. 换句话就是$\range T$的annihilator.
\end{proof}

{\color{red} $T$和$T'$两者injective和surjective的关系}.

\begin{proposition}
\rm 给定两个finite-dimensional vector space $V,W$和linear map $T \in \mathcal{L}(V,W)$.

\begin{enumerate}
	\item $T$是surjective当且仅当$T'$是injective.
	\item $T$是injective当且仅当$T'$是surjective.
\end{enumerate}
\end{proposition}

\begin{proof}
$T'$的definition为$T'(\varphi) = \varphi T,\varphi \in W'$. 若$T$是surjective，取$\varphi_1,\varphi_2 \in W'$，那么当$T'(\varphi_1) = T'(\varphi_2)$，意味着取遍了所有$w \in W$，都有$\varphi_1(w)=\varphi_2(w)$. 所以$\varphi_1 = \varphi_2$，即$T$是一个injective.

若$T$是一个injective，取任意的$\phi \in V'$. 是否存在$\varphi \in W'$使得$\phi = \varphi T$呢？跟前面一样需要消掉RHS的$T$，因为T是injective的，我们可以构造$S$
$$
Sw= T^{-1}(w).
$$
其中$T^{-1}$表示取preimage. 这样$TS = 1$，单位映射。 所以$T'$是surjective的.
\end{proof}

\begin{proposition}\label{dual-map: range-space}
\rm 给定两个finite-dimensional vector space $V,W$和linear map $T \in \mathcal{L}(V,W)$. 则
\begin{enumerate}
	\item $\dim \range{T'} = \dim \range{T}$;
	\item $\range{T'} = (\nul{T})^0$.
\end{enumerate}
\end{proposition}


\newpage
\subsection{The Matrix of the Dual of a Linear Map}
\begin{definition}
\rm 给定一个$m \times n$ matrix $A$. 它的transpose记为$A^{t}$，定义为
$$
(A^t)_{k,j} = A_{j,k}.
$$
\end{definition}

{\color{red} 同样它有一些简单的代数性质}.
\begin{enumerate}
	\item $(A+C)^t = A^t + C^t.$
	\item $(\lambda A)^t = \lambda A^t.$ 
\end{enumerate}

\begin{proposition}
\rm 给定$m\times n$ matrix $A$ 和 $n \times p$ matrix $C$. 则
$$
	(AC)^t = C^tA^t.
$$
\end{proposition}

\begin{proof}
直觉上$C^t$是$p\times n$，$A^t$是$n \times m$，$C^tA^t$乘起来是一个$p \times m$ matrix 才有意义.
$$
\begin{aligned}
(C^tA^t)_{j,k} &= \sum\limits_{r=1}^p {C^t}_{j,r}{A^t}_{r,k} \\
			&= \sum\limits_{r=1}^n {C}_{r,j}{A}_{k,r} \\
			&= \sum\limits_{r=1}^n {A}_{k,r}{C}_{r,j} \\
			&= AC_{k,j} \\
			&= (AC)^t_{j,k}.
\end{aligned}
$$
\end{proof}

{\color{red} $T'$对应matrix是$T$对应matrix的转置}

\begin{proposition}\label{dual-map: matrix-representation}
给定$T \in \mathcal{L}(V,W)$.则
$$
	\mathcal{M}(T') = (\mathcal{M}(T))^t.
$$
\end{proposition}

\begin{proof}
给定$V$上的basis $(v_1,\cdots,v_n)$和其dual space $V'$上的basis $(\varphi_1,\cdots,\varphi_n)$，同时给定$W$上的basis $w_1,\cdots,w_m$和其dual space $W'$上的basis $\psi_1,\cdots,\psi_m$. 这里的$\mathcal{M}(T)$就是在前面定义的basis上构造出来的. 为了方便我们定义$A = \mathcal{M}(T)$和$C = \mathcal{M}(T')$.

$T'$的definition告诉我们$T'(\psi_k)= \psi_k T$. 直接看$\mathcal{M}(T')$definition.
$$
T'(\psi_k) = C_{1,k}\varphi_k + \cdots + C_{n,k}\varphi_n.
$$
LHS换成$\psi_kT$，同时applying $v_j$.
\begin{equation}
\begin{aligned}
(\psi_k \circ T)(v_j) &= (C_{1,k}\varphi_k)(v_j) + \cdots + (C_{n,k} \varphi_n)(v_j). \\
&= C_{j,k}.
\end{aligned}
\end{equation}
注意这里为什么直接等于$C_{j,k}$了呢？这是dual basis，只有$\phi_jv_j = 1$，其余项均为零.

$\mathcal{M}(T)$definition.
$$
Tv_j = A_{1,j}w_1 + \cdots + A_{m,j}w_m . 
$$
把$A$换成$A^t$有
$$
Tv_j  = A^t_{j,1}w_1 + \cdot + A^t_{j,m}w_m.
$$
代入(1)式中LHS.
$$
\begin{aligned}
(\psi_k \circ T)(v_j) &= A^t_{j,1}\psi_kw_1 + \cdots A^t_{j,m}\psi_kw_m
&= A^t_{j,k}.
\end{aligned}
$$
\end{proof}

\newpage
\subsection{The Rank of a Matrix}

\begin{definition}
\rm 给定$m \times n$ matrix $A$，其中元素均属于$F$.
\begin{itemize}
	\item $A$的row rank(行秩): the dimension of the span of the rows of $A$ in $F^{1,n}$.
	\item $A$的column rank(列秩): the dimension of the span of the columns of $A$ in $F^{m,1}$.
\end{itemize}
通俗的来讲，就是把每行$1 \times n$的matrix拿出来构造一个span,然后得到的这个span的dimension就是row rank，column rank同理.
\end{definition}

\begin{example}
\rm 给定matrix $A=\begin{pmatrix} 4&7&1&8 \\ 3&5&2&8 \end{pmatrix}.$

它的row rank是
$$
\text{span}((4\ 7\ 1\ 8),(3\ 5\ 2\ 9))
$$
的dimension. 观察到这个两个vector都不是另一个的scalar multiple，所以它们是linearly independent的，这个span的dimension也是2.

它的column rank是
$$
\text{span}\left(\begin{pmatrix}4\\3\end{pmatrix},\begin{pmatrix}7\\5\end{pmatrix},\begin{pmatrix}1\\2\end{pmatrix},\begin{pmatrix}8\\9\end{pmatrix}\right).
$$
的dimension. 观察到最前面两个vectors是linearly independent. 所以span的dimension最少是2，但是这个span是$F^{2,1}$的subspace，所以最多也是2. 最终column rank是2.
\end{example}

{\color{red} $\mathcal{M}(T)$的column rank}.

\begin{proposition}\label{rank: prop1}
\rm 给定两个finite-dimensional vector space $V,W$和linear map $T \in \mathcal{L}(V,W)$. 则$\range{T}$的dimension等于$\mathcal{M}(T)$的column rank.
\end{proposition}

这是很显然的，$\mathcal{M}$的每一列对应$T(v_1),\cdots,T(v_n)$是可以确定$\range{T}$上任意一个vector的.

{\color{red} row rank和column rank的关系}.
\begin{proposition}
\rm 给定$A \in F^{m,n}$. 则$A$的row rank和column rank是相等的.
\end{proposition}

\begin{proof}
由\ref{linear map: matrix-mul} 定义matric multiplication map $\func{T'}{F^{n,1}}{F^{m,1}}$
$$
T'(x) = Ax.
$$
则$A = \mathcal{M}(T)$，其中$\mathcal{M}^{-1}_{(\varepsilon_1,\cdots,\varepsilon_n)}\colon F^{n,1} \rightarrow V$定义为$ \mathcal{M}^{-1}_{(\varepsilon_1,\cdots,\varepsilon_n)}= (\varepsilon_1,\cdots,\varepsilon_n)x$，$(\varepsilon_1,\cdots,\varepsilon_n)$为标准基，同理$\mathcal{M}^{-1}_{(\varepsilon_1,\cdots,\varepsilon_n=m)}\colon F^{m,1} \rightarrow W$定义为$ \mathcal{M}^{-1}_{(\varepsilon_1,\cdots,\varepsilon_n)}= (\varepsilon_1,\cdots,\varepsilon_m)x$，$(\varepsilon_1,\cdots,\varepsilon_m)$为标准基. ({\color{blue}改定义需仔细体会一下\ref{linear map: matrix-mul}中的交换图})
$$
\begin{aligned}
\text{column rank of } A &= \text{column rank of } \mathcal{M}(T) \\
						 &= \dim \range{T} & \ref{rank: prop1} \\
						 &= \dim \range{T'} & \ref{dual-map: range-space}\\
						 &= \text{column rank of } \mathcal{M}(T') & \ref{rank: prop1}\\
						 &= \text{column rank of } A^{t} & \ref{dual-map: matrix-representation}\\
						 &= \text{row rank of } A 	
\end{aligned}
$$
淦！
%https://math.stackexchange.com/questions/332908/looking-for-an-intuitive-explanation-why-the-row-rank-is-equal-to-the-column-ran 里面有一种novel的proof
\end{proof}

{\color{blue} 至此column rank和row rank统称为rank}！
\end{document}