本文对《机器学习的数学》这本书进行了精彩的阐述。书中系统地介绍了机器学习领域中所需的数学知识,包括线性代数、概率论、优化算法等。同时,本文也总结了这本书的亮点,包括数学知识的深入剖析,实用的编程示例以及对机器学习算法的详细阐述。如果你想快速掌握机器学习的数学基础,那么这本书绝对是你的不二之选。
机器学习的数学读后感(一)
这本书虽然说的是机器学习的数学工具书,但是想在编程方面深入了解的话值得拥有,不管学习什么语言,算法都是绕不过的东西,而算法里面包含了大量的数学知识,如果把高数,概率论,线性代数都买来看,显然太耽误时间,也没那么多精力,这本《机器学习的数学》里面把计算机需要用到的知识都罗列出来,特别适合做为工具书。
机器学习的数学读后感(二)
想学习机器学习,想从事机器学习相关的工作?那么,对数学的要求高吗?相信这是很多人想问的问题,因为机器学习不像普通的业务系统编程,对数学要求还是很高的。那么我该从哪开始呢?本书就是帮助读者全面、系统地学习机器学习所必须的数学知识。包括微积分,线性代数与矩阵论,最优化方法,概率论,信息论,随机过程,以及图论等。并不是大而全,涵盖所有知识,而是有针对性的总结,就像老师划的重点一样。
机器学习的数学读后感(三)
很多同学认为学了本科3门数学课-高等数学,线性代数,概率论与数理统计,就足以学好机器学习了,这种观点其实是不准确的。且不说最优化方法,随机过程等课程大部分人并没学过,即使是这3门课,机器学习中所用的数学知识也经常会超出工科乃至数学系教材的范畴。
下面我们一一分析,来自雷明学长的新书《机器学习中的数学》,希望能解决你入门算法和机器学习的难题。
01微积分
微积分可以进一步分为一元函数微积分,多元函数微积分两部分, 它是整个高等数学的基石。通常情况下,机器学习需要得到一个函数(模型或者说假设),既然是函数,那自然就离不开微积分了。它为我们研究函数的性质,包括单调性,凹凸性,以及极值提供了理论依据。同时它也是学习概率论、 信息论、 最优化方法等课程的基础。
总体来说,机器学习中所用的微积分知识,本科工科微积分教材基本上已经讲了,除了下面这些内容:
1.上/下确界
2.李普希茨连续性
3.雅克比矩阵
4.Hessian矩阵
5.多元函数的凹凸性
6.多元函数的极值
7.多元函数的泰勒公式
8.多重积分的换元法如果你真的学好了本科微积分,上面这些内容并不难理解。
02 线性代数
线性代数对于机器学习是至关重要的。机器学习算法的输入、输出、中间结果,通常为向量,矩阵,张量。使用线性代数可以简化问题的表达,用一个矩阵乘法,比写成多重求和要简洁明了得多。线性代数是学习后续数学课程的基础。它可以与微积分结合,研究多元函数的性质。线性代数在概率论中也被使用,比如随机向量,协方差矩阵。线性代数在图论中亦有应用-比如图的邻接矩阵,拉普拉斯矩阵。在随机过程中它同样有应用-比如状态转移矩阵。
机器学习中所用的线性代数知识,有不少超出了一般线性代数乃至高等代数教材的范畴,对于很多读者来说说陌生的。下面是典型的例子:
1.向量的范数
2.矩阵的范数
3.Householder变换
4.QR算法
5.广义特征值
6.瑞利商
7.矩阵的条件数
8.矩阵分解,包括Cholesky分解,QR分解,奇异值分解(SVD)
这些知识在教材和论文中频繁出现。
03 概率论
概率论对于机器学习来说也是至关重要的,这是一种重要的工具。如果将机器学习算法的输入、输出看作随机变量/向量, 则可以用概率论的观点对问题进行建模。概率论的一个好处是可以对不确定性进行建模,这对于某些问题是非常有必要的。另外,它还可以挖掘变量之间的概率依赖关系,实现因果推理。概率论为某些随机算法-如蒙特卡洛算法, 遗传算法,以及随机数生成算法-包括基本随机数生成,以及采样算法提供了理论依据和指导。最后,概率论也是信息论,随机过程的先导课程。
工科的概率论与数理统计教材,已经讲述了机器学习所需的大部分概率论知识,只有以下的知识点除外:
1.条件独立性
2.Jensen不等式
3.某些概率分布如多项分布,拉普拉斯分布,t分布等
4.概率分布变换
5.多维正态分布
6.多维概率分布变换
7.某些参数估计方法,包括最大后验概率估计,贝叶斯估计等
8.随机数生成算法,包括逆变换采样,拒绝采样等算法
04 最优化方法
最优化方法在机器学习中处于中心地位,遗憾的是很多读者并没有系统的学过这门课程,包括线性规划,凸优化,非线性规划,在一般的数值分析课程中,只讲述了最优化方法的小部分内容。
几乎所有机器学习算法最后都归结于求解最优化问题,从而确定模型参数,或直接获得预测结果。前者的典型代表是有监督学习,通过最小化损失函数或优化其他类型的目标函数确定模型的参数;后者的典型代表是数据降维算法,通过优化某种目标函数确定降维后的结果,如主成分分析。
05 信息论
信息论是概率论的延伸,在机器学习与深度学习中通常用于构造目标函数,以及对算法进行理论分析与证明。这同样是很多读者没有学习过的课程。
在机器学习尤其是深度学习中,信息论的知识随处可见:
1. 某些决策树的训练过程中需要使用熵作为指标。
2. 在深度学习中经常会使用交叉熵,KL散度,JS散度,互信息等概念。
3. 变分推断的推导需要以KL散度为基础。
4. 距离度量学习,流形降维等算法也需要信息论的知识。
06 随机过程
随机过程同样是概率论的延伸,这也是大部分读者没有学习过的课程。它被广泛用于序列数据分析。在机器学习中,随机过程被用于概率图模型,强化学习建模 ,以及贝叶斯优化等问题。不理解马尔可夫过程,你将对MCMC采样算法一头雾水。
07 图论
图论似乎只有计算机相关专业在本科时学过,而且还不完整,比如谱图理论。在机器学习中,概率图模型是典型的图结构。流形降维算法与谱聚类算法均使用了谱图理论。神经网络的计算图也是图的典型代表,图神经网络作为一种新的深度学习模型,与图论也有密切的关系。因此补充图论的知识也是很有必要的。
在有些论文和问题上,可能使用了更高级的数学知识,包括微分几何,实变函数,泛函分析,拓扑学等,不过对一般人来说,这不是必要的,因此我们不做过多介绍。
《机器学习的数学》给你带来了什么
为了帮助机器学习乃至人工智能领域的读者扫清数学这一障碍,我们编写了《机器学习的数学》这本书。此书适用于下面的读者:
1. 可作为人工智能(智能科学与技术)、计算机、电子工程、自动化、数学等相关专业的教材与教学参考书;
2. 可用作人工智能领域的工程技术人员,如算法工程师、产品经理的参考书;
3.广大数学与应用数学爱好者也可以阅读。