机器学习中的数学课题COMP34312

课程内容：

机器学习具有特定的数学“构件”，这些构件出现在各类模型和算法的研究中。具体来说，这些构件利用了概率论、矩阵代数和微积分中的技术。本课程旨在向学生介绍这些内容，并展示如何做到以下几点：(1) 阅读并正确解读这方面的研究论文；(2) 理解现代ML如何设计新算法。

教学大纲：

1、经验风险最小化、正则化；偏差/方差理论及与过拟合的关系；概率观点：似然比损失，引入指数族。

2、信息论：KL发散与交叉熵、交互信息。

3、优化理论（微积分）。为什么是GD？什么是凸函数和非凸函数？梯度如何有助于优化函数？如何使用二阶属性？如何证明一种方法是否会收敛？

4、降维（矩阵代数）。对数据进行“细化、去噪和可视化”。介绍矩阵代数密集型方法，用于学习有助于模型拟合过程的特征维度。例如PCA、频谱嵌入、费雪判别分析等。这些方法可以实现数据的可视化、去噪和增强分类数据的分离。

学习成果：

通过本课程的学习，学生将能够：

1、讨论ML中的关键数学术语，如偏差/方差、熵/交叉熵、正则化、ML的概率与损失函数观点之间的二元性，及其在实际场景中的后果。

2、正确处理和解释模型的可能性、熵和随机变量间交互信息的数学表达式。

3、解释所教授的线性代数概念和方法，如向量空间/子空间、基、线性独立性、秩、逆、正交性、奇异值分解、特征分解。

4、解释和比较降维方法（如PCA、谱嵌入、FDA）的性质和优缺点，及其如何利用线性代数概念。

5、讨论和解释凸优化和非凸优化的数据/概念，包括收敛特性和证明技巧，以解释随机梯度下降。