机器学习数学基础：线性代数+微积分+概率统计+优化算法 机器学习作为现代科技的璀璨明珠，正在逐渐改变我们的生活。而在这背后，数学扮演着至关重要的角色。线性代数、微积分、概率统计和优化算法，这四大数学领域为机器学习提供了坚实的理论基础。 线性代数是机器学习中的基础语言。矩阵和向量作为线性代数中的核心概念，是数据表示和计算的基础。在机器学习中，我们经常需要将数据转化为矩阵形式，通过矩阵运算提取数据的特征。特征提取是机器学习模型训练的关键步骤，而线性代数则为我们提供了高效处理数据的工具。 微积分则是机器学习模型优化的得力助手。在机器学习中，我们通常需要找到一种模型，使得它在给定数据集上的性能达到最优。这就需要我们对模型进行求导，分析模型参数对性能的影响，进而调整参数以优化模型。微积分中的导数概念为我们提供了分析模型性能变化的方法，帮助我们找到最优的模型参数。 概率统计则是机器学习数据处理和模型评估的基石。在机器学习中，数据往往带有噪声和不确定性，而概率统计可以帮助我们评估数据的分布和特征，进而构建更加稳健的模型。同时，概率统计也为我们提供了模型评估的方法，通过计算模型的准确率、召回率 ### 机器学习数学基础详解 #### 一、线性代数基础 **1.1 向量和矩阵** - **1.1.1 标量、向量、矩阵、张量之间的联系** 标量、向量、矩阵和张量是线性代数中的基本概念，它们之间存在着紧密的联系。 - **标量（Scalar）**：一个单独的数字，没有方向。 - **向量（Vector）**：一组有序排列的数字，通常用来表示方向和大小。 - **矩阵（Matrix）**：一个二维数组，由行和列组成的数据结构。 - **张量（Tensor）**：一个更高维度的数组，它可以是标量（0维）、向量（1维）、矩阵（2维）或更高维度的数组。 **联系**：标量可以视为0维张量；向量是一维张量；矩阵是二维张量；更高维度的数组称为张量。 - **1.1.2 张量与矩阵的区别** - **代数角度**：矩阵是二维张量，而更高维度的张量则包含了更复杂的数据结构。 - **几何角度**：矩阵和向量都是不变的几何量，不随参照系的变化而变化。张量也可以用矩阵形式来表达，但其可以扩展到更高的维度。 - **1.1.3 矩阵和向量相乘结果** 当一个矩阵与一个向量相乘时，可以理解为矩阵的每一行与向量相乘的结果构成新的向量。 - 例如，如果有一个$m \times n$的矩阵$A$与一个$n \times 1$的向量$x$相乘，结果将是一个$m \times 1$的向量$y$，其中每个元素$y_i = \sum_{j=1}^{n} a_{ij}x_j$。 - **1.1.4 向量和矩阵的范数归纳** 向量的范数是衡量向量大小的一种标准。 - **向量的1范数**：向量各分量的绝对值之和。 - 对于向量$\vec{x} = (x_1, x_2, ..., x_n)$，其1范数定义为$||\vec{x}||_1 = |x_1| + |x_2| + ... + |x_n|$。 - **向量的2范数**：也称为欧几里得范数，是各分量平方和的开方。 - $||\vec{x}||_2 = \sqrt{x_1^2 + x_2^2 + ... + x_n^2}$。 - **向量的无穷范数**：向量各分量的最大绝对值。 - $||\vec{x}||_\infty = \max(|x_1|, |x_2|, ..., |x_n|)$。 **1.2 导数和偏导数** - **1.2.1 导数偏导计算** 导数用于描述函数在某一点处的变化率，而偏导数则是多元函数关于其中一个自变量的变化率。 - **1.2.2 导数和偏导数有什么区别？** - **导数**：对于单一自变量的函数$f(x)$，导数$f'(x)$描述了该函数在$x$点处的切线斜率。 - **偏导数**：对于多变量函数$f(x_1, x_2, ..., x_n)$，偏导数$\frac{\partial f}{\partial x_i}$描述了当保持其他变量不变时，$f$关于$x_i$的变化率。 **1.3 特征值和特征向量** - **1.3.1 特征值分解与特征向量** 特征值和特征向量是线性代数中的重要概念，用于理解和简化矩阵。 - **特征值**：如果存在非零向量$\vec{v}$使得$A\vec{v} = \lambda\vec{v}$，那么$\lambda$就是矩阵$A$的一个特征值。 - **特征向量**：满足上述等式的非零向量$\vec{v}$。 - **1.3.2 奇异值与特征值的关系** - **奇异值**：对于任何矩阵$A$，其奇异值是$A^\top A$（或$AA^\top$）的特征值的平方根。 - **关系**：奇异值和特征值在特定情况下相同，尤其是在正交矩阵和对称矩阵中。 #### 二、微积分基础 - **1.2 导数和偏导数**（已在上文提到） - **1.3 特征值和特征向量**（已在上文提到） #### 三、概率统计基础 **1.4 概率分布与随机变量** - **1.4.1 机器学习为什么要使用概率** 在机器学习中，概率用于描述数据的不确定性，并提供了一种量化方式来预测未来事件的可能性。 - **1.4.2 变量与随机变量有什么区别** - **变量**：可以取多种不同值的量。 - **随机变量**：变量的一种特殊类型，其值是根据某个概率分布随机确定的。 - **1.4.3 随机变量与概率分布的联系** - 随机变量的每个可能值都对应一个概率，这些概率构成了随机变量的概率分布。 - **1.4.4 离散型随机变量和概率质量函数** - **离散型随机变量**：只能取有限个或可数无限个值的随机变量。 - **概率质量函数**：描述离散型随机变量各个值的概率。 - **1.4.5 连续型随机变量和概率密度函数** - **连续型随机变量**：可以取区间内的任意值的随机变量。 - **概率密度函数**：描述连续型随机变量在某一区间的概率密度。 - **1.4.6 举例理解条件概率** - 条件概率$P(A|B)$表示在事件$B$已经发生的条件下，事件$A$发生的概率。 - 例如，假设在一个班级中，$P(\text{女生}) = 0.5$，$P(\text{女生|戴眼镜}) = 0.6$，意味着在戴眼镜的学生中，60%是女生。 - **1.4.7 联合概率与边缘概率联系区别** - **联合概率**：两个事件同时发生的概率。 - **边缘概率**：单个事件发生的概率。 - **联系**：联合概率可以通过边缘概率和条件概率计算得出。 - **1.4.8 条件概率的链式法则** - 条件概率的链式法则描述了如何通过一系列条件概率来计算联合概率。 - 例如，$P(A,B,C) = P(C|A,B)P(B|A)P(A)$。 - **1.4.9 独立性和条件独立性** - **独立性**：两个事件$A$和$B$独立，如果$P(A|B) = P(A)$且$P(B|A) = P(B)$。 - **条件独立性**：事件$A$和$B$在已知事件$C$的情况下条件独立，如果$P(A|B,C) = P(A|C)$。 **1.5 常见概率分布** - **1.5.1 Bernoulli分布** - 描述只有两种可能结果的随机试验（如成功或失败）的概率分布。 - 参数$p$表示成功的概率，失败的概率为$1-p$。 - **1.5.2 高斯分布** - 又称正态分布，是一种非常常见的连续概率分布。 - 参数$\mu$代表均值，$\sigma^2$代表方差。 - **1.5.3 何时采用正态分布** - 正态分布广泛应用于自然和社会科学领域，特别是在中心极限定理的支持下，很多随机变量可以近似为正态分布。 - **1.5.4 指数分布** - 描述事件发生的时间间隔的分布。 - 参数$\lambda$表示事件发生的平均频率。 - **1.5.5 Laplace 分布** - 也是一种连续概率分布，具有比高斯分布更重的尾部。 - 参数$\mu$代表均值，$b$代表尺度参数。 - **1.5.6 Dirac分布和经验分布** - **Dirac分布**：一个概率质量集中在单个点的分布。 - **经验分布**：基于观测数据的分布，反映了数据的真实概率分布情况。 **1.6 期望、方差、协方差、相关系数** - **1.6.1 期望** - 期望是对随机变量取值的加权平均。 - 对于离散型随机变量，期望定义为$E[X] = \sum x_i p(x_i)$。 - **1.6.2 方差** - 方差衡量随机变量与其期望值之间的偏差程度。 - 定义为$Var(X) = E[(X-E[X])^2]$。 - **1.6.3 协方差** - 协方差描述两个随机变量之间的线性相关性。 - 定义为$Cov(X,Y) = E[(X-E[X])(Y-E[Y])]$。 - **1.6.4 相关系数** - 相关系数是标准化后的协方差，用于衡量两个变量的相关强度。 - 定义为$\rho_{XY} = \frac{Cov(X,Y)}{\sigma_X \sigma_Y}$，其中$\sigma_X$和$\sigma_Y$分别是$X$和$Y$的标准差。 通过以上详细的介绍，我们可以看到，线性代数、微积分、概率统计和优化算法在机器学习中的应用极为广泛，它们为机器学习提供了坚实的数学基础。掌握这些基础知识对于深入理解机器学习算法至关重要。

中国人民大学《线性代数》2022-2023学年第一学期期末考试试卷.pdf

AliceFlow_v0.48 程序Alice_Flow_v0.48用于在三维固态模型中计算温度场。 在某些情况下，会考虑冷却剂的对流传递。 也考虑了不同的非线性。 支持热瞬态响应的计算。 为了加快计算速度，使用了代数多重网格方法。 为了加快非平稳计算，实现了自适应局部细化网格（Alice）。 演算法 计算域的曲线边界充当步骤。 子网格解析方法未实现（丢失）。 建议使用矩形计算区域（3D体积）。 用于共轭传热的3D温度求解器。 有限体积法。 偶发的或短暂的。 来自文件的分析力或负载或零速度分量（vx，vy，vz）取决于。 牛顿里奇曼（Newton Richman）或斯特凡·博尔曼（Stefan Bolcman）边界条件。 压力链接方程的3D cfd半隐式方法（SIMPLE [1972]）。 可以使用固定式或非固定式流体动力学求解器。 压力单调器SM Rhee和WL Chow [19

线性代数第五版 英文版 Gilbert Strang

For all people who want to learn Linear Algebra,these materials are important!!!

matlab开发-代数多重网格线性分流器。这个程序求解ax=b，其中a是m矩阵。测试用例可以在amg_test.m中找到。

我们表明，可以将2 + 1维的扩展Bargmann和Newton-Hooke代数作为Nappi-Witten代数的展开获得。 可以对该过程进行概括以获得两个非相对论对称性的无限族，包括麦克斯韦式奇异Bargmann对称性，其广义牛顿-胡克对角线及其Hietarinta对偶。 在每种情况下，Nappi-Witten代数上的不变双线性形式导致扩张代数上的不变张量，从而使人们能够构造相应的Chern-Simons引力理论。

我们考虑了Hull-Strominger系统的有限变形。 从异质超电势开始，我们在外壳参数空间上确定复杂坐标。 将超电势扩展到超对称真空周围会导致控制模量的三阶Maurer-Cartan方程。 产生的复杂有效作用概括了Kodaira-Spencer和全纯Chern-Simons理论的作用。 这个动作的超对称轨迹由L 3代数描述。

全书共分7章,包括引论、线性方程组求解、线性最小二乘问题、非对称特征值问题、对称特征问题和奇异值分解、线性方程组迭代方法及特征值问题迭代方法，本书不仅给出了数值线性代数的常用算法，而且也介绍了多重网格法和区域分解法等新算法，并指导读者如何编写数值软件以及从何处找到适用的优秀数值软件。 　　本书可作为计算数学和相关理工科专业一年级研究生的教材,也可作为从事科学计算的广大科技工作者的参考书。 第1章 引论 　1.1 基本符号 　1.2 数值线性代数的标准问题 　1.3 一般的方法 　　1.3.1 矩阵分解 　　1.3.2 扰动理论和条件数 　　1.3.3 舍入误差对算法的影响 　　1.3.4 分析算法的速度 　　1.3.5 数值计算软件 　1.4 例：多项式求值 　1.5 浮点算术运算 　1.6 再议多项式求值 　1.7 向量和矩阵范数 　1.8 第1章的参考书目和其他话题 　1.9 第1章问题 第2章 线性方程组求解 　2.1 概述 　2.2 扰动理论 　2.3 高斯消元法 　2.4 误差分析 　　2.4.1 选主元的必要性 　　2.4.2 高斯消元法正式的误差分析 　　2.4.3 估计条件数 　　2.4.4 实际的误差界 　2.5 改进解的精度 　　2.5.1 单精度迭代精化 　　2.5.2 平衡 　2.6 高性能分块算法 　　2.6.1 基本线性代数子程序（blas） 　　2.6.2 如何优化矩阵乘法 　　2.6.3 使用3级blas改组高斯消元法 　　2.6.4 更多的并行性和其他性能问题 　2.7 特殊的线性方程组 　　2.7.1 实对称正定矩阵 　　2.7.2 对称不定矩阵 　　2.7.3 带状矩阵 　　2.7.4 一般的稀疏阵 　　2.7.5 不超过o（n2）个参数的稠密矩阵 　2.8 第2章的参考书目和其他的话题 　2.9 第2章问题 第3章 线性最小二乘问题 　3.1 概述 　3.2 解线性最小二乘问题的矩阵分解 　　3.2.1 正规方程 　　3.2.2 qr分解 　　3.2.3 奇异值分解 　3.3 最小二乘问题的扰动理论 　3.4 正交矩阵 　　3.4.1 豪斯霍尔德变换 　　3.4.2 吉文斯旋转 　　3.4.3 正交矩阵的舍入误差分析 　　3.4.4 为什么用正交矩阵 　3.5 秩亏最小二乘问题 　　3.5.1 用svd解秩亏最小二乘问题 　　3.5.2 用选主元的qr分解解秩亏最小二乘问题 　3.6 最小二乘问题解法的性能比较 　3.7 第3章的参考书目和其他话题 　3.8 第3章问题 第4章 非对称特征值问题 　4.1 概述 　4.2 典范型 　4.3 扰动理论 　4.4 非对称特征问题的算法 　　4.4.1 幂法 　　4.4.2 逆迭代 　　4.4.3 正交迭代 　　4.4.4 qr迭代 　　4.4.5 使qr迭代有实效 　　4.4.6 海森伯格约化 　　4.4.7 三对角和双对角约化 　　4.4.8 隐式位移的qr迭代 　4.5 其他的非对称特征值问题 　　4.5.1 正则矩阵束和魏尔斯特拉斯典范型 　　4.5.2 奇异矩阵束和克罗内克典范型 　　4.5.3 非线性特征值问题 　4.6 小结 　4.7 第4章参考书目和其他话题 　4.8 第4章问题 第5章 对称特征问题和奇异值分解 　5.1 概述 　5.2 扰动理论 　5.3 对称特征问题的算法 　　5.3.1 三对角qr迭代 　　5.3.2 瑞利商迭代 　　5.3.3 分而治之 　　5.3.4 对分法和逆迭代 　　5.3.5 雅可比法 　　5.3.6 性能比较 　5.4 奇异值分解算法 　　5.4.1 双对角svd的qr迭代及其变形 　　5.4.2 计算双对角svd达到高的相对精度 　　5.4.3 svd的雅可比法 　5.5 微分方程和特征值问题 　　5.5.1 toda格子 　　5.5.2 与偏微分方程的关系 　5.6 第5章参考书目和其他话题 　5.7 第5章问题 第6章 线性方程组迭代方法 　6.1 概述 　6.2 迭代法的在线（on-line）帮助 　6.3 泊松方程 　　6.3.1 一维泊松方程 　　6.3.2 二维泊松方程 6.3.3 用克罗内克积表达泊松方程 6.4 解泊松方程方法小结 　6.5 基本迭代法 　　6.5.1 雅可比法 　　6.5.2 高斯-塞德尔法 6.5.3 逐次超松弛法 6.5.4 模型问题的雅可比、高斯－塞德尔和sor（ω）的收敛性 6.5.5 雅可比、高斯－塞德尔和sor（ω）法明细的收敛准则 　　6.5.6 切比雪夫加速和对称sor（ssor） 　6.6 克雷洛夫子空间方法 　　6.6.1 通过矩阵-向量乘法得到关于a的信息 　　6.6.2 利用克雷洛夫子空间kk解ax=b 　　6.6.3 共轭梯度法 　　6.6.4 共轭梯度法的收敛性分析 　　6.6.5 预条件 　　6.6.6 解ax=b的其他克雷洛夫子空间算法 　6.7 快速傅里叶变换 　　6.7.1 离散傅里叶变换 　　6.7.2 用傅里叶级数解连续模型问题 　　6.7.3 卷积 　　6.7.4 计算快速傅里叶变换 　6.8 块循环约化 　6.9 多重网格法 　　6.9.1 二维泊松方程多重网格法概述 　　6.9.2 一维泊松方程的多重网格法详述 　6.10 区域分解法 　　6.10.1 无交叠方法 　　6.10.2 交叠方法 　6.11 第6章的参考书目和其他话题 　6.12 第6章问题 第7章 特征值问题的迭代方法 　7.1 概述 　7.2 瑞利-里茨方法 　7.3 精确算术运算的兰乔斯算法 　7.4 浮点算术运算的兰乔斯算法 　7.5 选择正交化的兰乔斯算法 　7.6 选择正交化之外的方法 　7.7 非对称特征值问题的迭代算法 　7.8 第7章的参考书目和其他话题 　7.9 第7章问题 参考文献（图灵网站下载） 索引

我们研究与使用6d N = 2，0 $$ \ mathcal {N} = \ left（2，\ 0 \ right）$$理论设计的Argyres-Douglas（AD）理论相对应的顶点算子代数（VOA）的各个方面。 穿刺球体上的J型。 我们将AD理论表示为（J b [k]，Y），其中J b [k]和Y分别表示不规则和规则奇点。 我们限于J b [k]没有关联的质量参数的“最小”情况，并且该理论不接受任何精确的边际变形。 推测与AD理论相对应的VOA为W-代数W k 2 d J，Y $$ {\ mathcal {W}} ^ {k_ {2d}} \ left（J，\ Y \ \ right）$ $，其中k 2 d = − h + bb + k $$ {k} _ {2d} =-h + \ frac {b} {b + k} $$，其中h是J的双Coxeter数。 我们通过证明AD理论的Schur指数与相应的VOA的真空特性相同来验证这一推测，并且Hall-Littlewood指数计算希格斯分支的希尔伯特级数。 我们还发现，对于b = h，可以将AD理论的Schur和Hall-Littlewo