神经计算CS331

课程内容：

本课程将介绍神经网络的理论和实现，并介绍重要的计算神经网络架构和方法。课程旨在为学生提供足够的知识，以便从事与神经网络相关的职业或进一步的学习。

课程大纲：

1、简介：什么是神经网络；人工智能和神经计算；三种学习范式；迁移学习；前期：从零开始制作自己的神经网络：所需工具；演示：创建实时图像分类的神经网络。

2、生物神经网络：生物神经元的结构和功能；动作电位；突触传递；神经网络和深度学习的简史；生物神经网络和人工神经网络的比较；人工神经网络的基本原理；不同类型的神经网络。

3、单层感知器：麦卡洛克-皮茨神经元；感知器的定义；权重、偏差、节点、激活函数；感知器案例研究： 数字识别；模仿逻辑运算（与、或、非）；XOR线性不可分离问题；感知器学习规则；演示：使用MATLAB实现MP神经元。

4、多层前向传播：多层神经网络的表示；预测多层神经网络输出；常见的非线性激活函数；如何选择模型的激活函数；深度神经网络的前向传播。

5、损失函数和梯度下降：不同的损失函数（例如，MAE、MSE、交叉熵损失）；梯度下降方法的1D和2D形式；梯度下降的变化（例如，动量、RMSProp、Adam）；鞍点；梯度下降与牛顿法；随机梯度下降和小批量梯度下降。

6、反向传播：计算图；矩阵微积分回顾；逻辑回归中的反向传播；多层神经网络中的反向传播；渐逝梯度问题。

7、过拟合与正则化：偏差与方差；什么是正则化；正则化如何帮助减少过拟合；不同的正则化技术（例如Lasso和Ridge正则化、Dropout、数据增强、早期停止）。

8、循环神经网络：序列模型；单热表示；前向和后向传播；不同类型的循环神经网络；Elman和Jordan网络；双向循环神经网络；渐逝和爆炸梯度问题；门控循环单元（GRU）；长短期记忆网络（LSTM）；时间序列分析（可选）。

9、图神经网络（GNN）：图挖掘基础；谷歌PageRank；配对相似性模型（例如SimRank、Penetrating-Rank、RoleSim）；卷积神经网络；图嵌入；Node2vec（可选）；GNN在NLP中的应用（可选）。

学习成果：

在完成本课程后，学生应能够：

1、理解神经网络原理，了解其主要应用领域。

2、设计、实现和分析简单神经网络的行为。