从今天开始,我将开设一个机器学习数学基础的系列。主要介绍机器学习中经常用到的那些数学知识,方便大家入门。一说起数学,有人会觉得很难。其实在这个系列中,我将会以最直白的语言来向你解释这些数学名词,大家不用担心,即使你是零基础,一样可以看得懂。
向量
我们从向量开始说起,什么是向量?它其实就是用括号括起来的一堆数,只不过这些数都是竖着写的。比如:
它们就分别是1维、2维和3维的向量。我们一般用小写粗体来表示向量,如x。如果我们写
它代表什么含义呢?“∈”这个符号读作属于,矩阵的三种范数怎么求例题,R表示实数集,而n表示维度。也就是说向量有几个元素,就是几维的向量。整个式子表示:向量x有n个维度,每个元素的取值都在实数集中。
范数
范数,又叫做L-p范数。它是这么定义的:
看上去很复杂,其实也容易理解,我们一点点来看。上面的式子是说,对于给定的一个n维向量w,它的范数就是向量w中的各个元素的绝对值的p次方之和,再开p次的根号(1/p就相当于开p次根号)。根据p的取值不同,范数的结果也就不同。我们常用的p值为1,2,∞等等。
矩阵的1范数:将矩阵沿列方向取绝对值求和,取最大值作为1范数。例如如下的矩阵,1范数求法如下:对于实矩阵,矩阵A的2范数定义为:A的转置与A乘积的最大特征值开平方根。对于以上矩阵,直接调用函数可以求得2范数为
1. L1范数
我们先来看p值为1时的范数,我们称之为L1范数。把p=1代入上面的式子,得到:
图1
① x>0,y>0。公式化简为x+y=1,它原本的图像是过图1中A、B两点的直线,但现在约束条件是x、y均大于0.所以它最后的图像就是AB线段。
③ x<0,y>0。公式化简为-x+y=1,它原本的图像是过图1中B、C两点的直线。但在约束条件下,它最后的图像为BC线段。
综合以上的4种情况,|x|+|y|=1最后的图像就是由AB、AD、BC、CD一共4条线段构成。
另外,我们也把L1范数称为曼哈顿距离。为什么呢,我们画个图来看下:
n = norm(A,inf) %求行范数 ,等于A的行向量的1-范数的最大值即:max(sum(abs(A')))。n = norm(A, 'fro' ) %求矩阵A的Frobenius范数 ,矩阵元p阶范数估计需要自己编程求,计算公式如下 举个例子吧a=magic(。
曼哈顿街道(图2)
美国曼哈顿的街道一般都是横平竖直的,从上图中可以看出,我们想从A点到B点,无论我们如何选择路线行走,最后走过的距离都是x+y。
||a|| = √(a,a) = √a^Ta 其中 (a,a) 是a与a的内积,是a的各分量的平方之和 如a=(X1,X2,X3),则||a||=√X1^2+X2^2+X3^3 些矩阵范数不可以由向量范数来诱导,比如常用的Frobenius范数(也叫Euclid。
2. L2范数
当p值为2时,代入范数定义公式,可得到L2范数:
注意,L2范数右下角的小标2是可以省略的,也只有L2范数才能省略。我们还是用向量w=(x,y)来举例说明,则上式为:
这里我们不妨再假设w的范数值为1,则有x²+y²=1.这就是单位圆的方程啊,我们把它画出来:
图3
1-范数:║x║1=│x1│+│x2│+…+│xn│ 2-范数:║x║2=(│x1│2+│x2│2+…+│xn│2)^1/2 ∞-范数:║x║∞=max(│x1│,│x2│,…,│xn│)易得 ║x║∞≤║x║2≤║x║1≤n1/2║x║2。
此外,L2范数也被叫做欧式距离。
3. L-∞范数
当p的值取无穷大时,此时的范数又是多少呢?我们一步一步来推导,先把p=∞代入,得到:
展开,可得
工具/材料nbsp; matlab(不强制)操作方法 01 矩阵的1范数:将矩阵沿列方向取绝对值求和,然后取最大值作为1范数。例如如下的矩阵,它的1范数求法如下:02 使用matlab计算结果如下:03 对于实矩阵,矩阵A的2。
其中,Wj是向量w元素中的最大值。我们还是以向量w=(x,y)举例,来画出L-∞范数下的图像:
可以看到,最后的图像是一个正方形。那为什么是这样呢?我们还是分情况来讨论:
① x取到最大值k,且x>0。也就是说x=k,那么图像就是AB线段。
② x取到最大值k,且x<0。结果是x=-k,那么图像就是CD线段。
③ y取到最大值k,且y>0。则y=k,图像是BC线段。
④ y取到最大值k,且y<0。则y=-k,图像为DA线段。
综合以上4种情况,最后的图像就是一个ABCD所构成的正方形了。
以上的内容,你都明白了吗?有问题可以私信我。