Skip to content

Commit

Permalink
增加作者序言
Browse files Browse the repository at this point in the history
  • Loading branch information
zhimin-z committed Sep 25, 2024
1 parent a6cb9a7 commit bad198a
Showing 1 changed file with 17 additions and 1 deletion.
18 changes: 17 additions & 1 deletion docs/catalog.md
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
# 序言

*编辑:詹好,王茂霖,赵志民*
*编辑:詹好,赵志民,王茂霖*

---

Expand Down Expand Up @@ -42,6 +42,22 @@

-- 王茂霖

## 关于机器学习理论与实践

随着机器学习的蓬勃发展,SOTA(State-of-the-art,最先进技术)几乎成了评判算法优劣的唯一标准。这种对表面表现的单一追求,常常忽视了支撑其背后的基础理论。正如硅谷投资人吴军曾指出的,最顶尖的科学家通过理论设定学科的边界,赋予未来研究者方向和框架。1936年,图灵在其著名的论文中为可计算性理论奠定了基础,定义了哪些问题可以通过算法解决。同样,机器学习领域的研究者只有具备深厚的理论根基,才能在实践中面对瓶颈时不至于迷失,而是继续探索,甚至开拓新的领域。

没有免费午餐定理(No Free Lunch Theorem)便是一个鲜明的例子。该定理告诉我们,不存在一种能够应对所有问题的通用算法。尽管许多算法在特定领域或时间点看似“无敌”,如神经网络的兴起,但每个算法的优势往往局限于特定的任务和环境。因此,过度依赖某一种算法的短期成功,可能导致长期陷入困境。通过理论学习,研究者能够意识到这种局限,并避免在实践中过分追逐SOTA,而忽视更为长远的技术路线。

掌握机器学习理论不仅能为初学者提供坚定的信心,还能帮助他们在面对外界质疑时保持清醒的认知。例如,关于数据质量的忧虑、对算力需求的增长以及能源消耗的批评声从未停止。但理论的学习让我们明白,这些挑战并非不可逾越,反而是通向通用人工智能(AGI)的必经之路。神经网络的通用近似定理(Universal Approximation Theorem)便为我们提供了希望:理论证明神经网络能够以任意精度逼近复杂的非线性函数,正是这个理论基础,支撑了研究者继续探索神经网络模拟人类智能的可能性。即使面对外界的质疑,研究者们依然凭借理论信仰,寻找突破算力、数据和能源等方面的瓶颈,努力推动技术的进步。

不仅如此,理论学习还有助于我们建立对算法泛化能力的深刻理解。通过对机器学习理论的深入研究,我们能够推导出在不同假设条件下,算法的性能极限。比如,我们可以评估某一算法的收敛速度,预测其在不同数据量和模型复杂度下的表现。这些理论工具不仅提高了研究的严谨性,还为实际应用提供了有力的指导。例如,正是通过理论推导,我们能够理解大规模语言模型的训练为何需要如此庞大的数据集,同时又能预见在某些任务上微调模型的效果。

当然,理论和实践之间的差距依然存在。许多理论假设在现实应用中并不完全成立,尤其是在面对大数据和复杂模型时,理论的指导可能显得力不从心。但这并不意味着理论无用,恰恰相反,这正是学科发展的驱动力。正如机器学习的发展史所示,当实践进展遇到瓶颈时,往往是理论创新引领了新的突破。例如,在早期,受限于数据和算力,机器学习中的理论研究主导了整个领域的发展;而到了互联网时代,随着数据量的指数级增长和计算资源的提升,实践逐渐超越了理论。如今,面对能源、算力等问题的挑战,理论又重新成为了优化模型效率和算法性能的焦点。

最后,学习机器学习理论不仅是为未来的职业发展打下坚实的基础,更是在面对挑战时增强信心、寻找创新突破的重要手段。无论是在研究中追求算法的提升,还是在实践中应对现实的挑战,理论的力量都不可或缺。

-- 赵志民

## 项目成员贡献与特别鸣谢

[詹好](https://github.com/zhanhao93)负责了项目的初期规划与统筹,并参与了第一版的编辑和审核;[赵志民](https://github.com/zhimin-z)主导了项目二期的更新与维护,并负责全书最终编辑和校验;[李一飞](https://github.com/leafy-lee)参与了第1-5章内容的编辑;[王茂霖](https://github.com/mlw67)参与了第2-6章内容的编辑。
Expand Down

0 comments on commit bad198a

Please sign in to comment.