机器学习中的线性代数
线性代数作为数学中的一个重要的分支,广发应用在科学与工程中。掌握好线性代数对于理解和从事机器学习算法相关的工作是很有必要的,尤其是对于深度学习而言。因此,在开始介绍深度学习之前,先集中探讨一些必备的线性代数知识。
2.1 标量,向量,矩阵和张量
标量(scalar):一个标量就是一个单独的数。用斜体表示标量,如s∈R
.
向量(vector):一个向量是一列数,我们用粗体的小写名称表示向量。比如x
,将向量x
写成方括号包含的纵柱:
矩阵(matrix):矩阵是二维数组,我们通常赋予矩阵粗体大写变量名称,比如A。如果一个矩阵高度是m,宽度是n,那么说A∈Rm×n。一个矩阵可以表示如下:
张量(tensor):某些情况下,我们会讨论不止维坐标的数组。如果一组数组中的元素分布在若干维坐标的规则网络中,就将其称为张量。用A表示,如张量中坐标为(i,j,k)的元素记作Ai,j,k。
转置(transpose):矩阵的转置是以对角线为轴的镜像,这条从左上角到右下角的对角线称为主对角线(main diagonal)。将矩阵A
的转置表示为A⊤
。定义如下:
A=⎡⎣⎢x11x21x31x12x22x32⎤⎦⎥⟹A⊤=[x11x21x21x22x31x32]
2.2 矩阵和向量相乘
矩阵乘法是矩阵运算中最重要的操作之一。两个矩阵A
和B的矩阵乘积(matrix product)是第三个矩阵C。矩阵乘法中A的列必须和B的行数相同。即如果矩阵A的形状是m×n,矩阵B的形状是n×p,那么矩阵C的形状就是m×p
。即
具体的地,其中的乘法操作定义为
矩阵乘积服从分配律
矩阵乘积也服从结合律
注意:矩阵乘积没有交换律
点积(dot product)两个相同维数的向量x
和y的点积可看作是矩阵乘积x⊤y
矩阵乘积的转置
利用向量的乘积是标量,标量的转置是自身的事实,我们可以证明(10)式:
线性方程组
Ax=b
2.3 单位矩阵和逆矩阵
线性代数中提供了矩阵逆(matrix inverse)的工具,使得我们能够解析地求解(11)中的A
.
单位矩阵(identity matrix):任意向量与单位矩阵相乘都不会改变。我们将保持n
维向量不变地单位矩阵记作为In,形式上In∈Rn×n
,
矩阵A的矩阵逆被记作A−1,被定义为如下形式:
(11)式方程组的求解:
方程组的解取决于能否找到一个逆矩阵A−1。接下来讨论逆矩阵A−1的存在的条件。
2.4 线性相关和生成子空间
如果逆矩阵A−1
存在,那么(11)式肯定对于每一个向量b恰好存在一个解。分析方程有多少个解,我们可以看成是A
的列向量的线性组合(linear combination)。
形式上,某个集合中向量的线性组合,是指每个向量乘以对应系数之后的和,即
一组向量的生成空间(span)是原始向量线性组合后所能抵达的点的集合。
线性无关(linearly independent): 如果一组向量中的任意一个向量都不能表示成其他向量的线性组合,那么这组向量被称之为线性无关。
要想使矩阵可逆,首先必须矩阵是一个方阵(square),即m=n
,其次,所有的列向量都是线性无关的。
一个列向量线性相关的方阵被称为奇异的(singular)。
2.5 范数
有时候我们需要衡量一个向量的大小,在机器学习中,我们使用称为范数(norm)的函数来衡量矩阵大小,形式上,Lp
范数如下:
其中p∈R,p≥1。
范数是将向量映射到非负值的函数。直观上来说,向量x
的范数就是衡量从原点到x
的举例。更严格来说,范数满足下列性质的函数:
当p=2
时,L2被称作欧几里得范数(Euclidean norm)。它表示从原点出发到向量x确定的点的欧几里得距离。平方L2范数常被用来衡量向量的大小,因为它便于求导计算(如对向量中每个元素的导数只取决于对应的元素,但是它也有缺陷,即它在原点附近增长得十分缓慢),可以简单用点积x⊤x来计算。
max 范数(max norm):这个范数表示向量中具有最大幅度得元素的绝对值,用L∞
范数表示,期形式为:
x⊤y=||x||2||y||2cosθ
2.6 特殊类型的矩阵和向量
对角矩阵(diagonal matrix)只在主对角线上含有非零元素,其它位置都是零。矩阵D
是对角矩阵,当且仅当∀i≠j,Di,j=0,用diag(v)表示一个对角元素由向量v中元素给定的对角矩阵。
对称(symmetric) 矩阵是任意转置和自己相等的矩阵:
单位向量(unit vector)是具有单位范数(unit norm)的向量:
正交矩阵(orthonormal matrix)是指行向量是标准正交的,列向量是标准正交的方阵:
所以正交矩阵受到关注是因为求逆计算代价小。需要注意正交矩阵的定义。反直觉地,正交矩阵的行向量不仅是正交的,还是标准正交的。对于行向量或列向量互相正交但不是标准正交的矩阵没有对应的专有术语。
2.7 特征分解
许多数学对象可以通过将它们分解成多个组成部分,或者找到它们的一些属性而被更好地理解,这些属性是通用的,而不是由我们选择表示它们的方式引起的。就像我们可以通过分解质因数来发现一些关于整数的真实性质,我们也可以通过分解矩阵来获取一些矩阵表示成数组元素时不明显的函数性质。
特征分解(eigendecomposition)是使用最广的矩阵分解之一,即我们将矩阵分解成一组特征向量和特征值。
方阵A
的特征向量(eigenvector)是指与A相乘后相当于对该向量进行缩放的非零向量v:
如果v
是A的特征向量,那么任何放缩后的向量sv(s∈R,s≠0)也是A的特征向量并且其与\bf v 有相同的特征值。所以我们通常只考虑单位特征向量。
假设矩阵A
有n个线性无关的特征向量{v(1),v(2),...,v(n)},对应着的特征值{λ1,λ2,...,λn}不是每一个矩阵都可以分解成特征值和特征向量,在某些情况下,特征分解会涉及到复数,而非实数。在本书的机器学习学习中,我们只讨论一类简单分解的矩阵。具体就是,每个实对称矩阵都可以分解为实特征向量和实特征值:
2.8 迹运算
迹运算返回的是矩阵对角元素的和:
标量的迹是它本身:a=Tr(a)。
2.9 行列式
行列式,记作det(A)
,是一个将方阵A映射到实数的函数。行列式等于矩阵特征值的乘积。行列式的绝对值可以被认为是衡量矩阵相乘后空间扩大或者缩小了多少。如果行列式是0, 那么空间至少沿着某一维完全收缩了,使其失去了所有的体积。如果行列式是1, 那么矩阵相乘没有改变空间体积。
总结
以上是在机器学习过程中必须了解和掌握的有关线性代数的知识
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14