人工智能工程CSC8101

课程内容：

本课程旨在向学生介绍数据工程技术与数据科学的复杂结合，从而有可能从 “大数据 ”中提取有价值的知识。数据的高容量和高多样性以及数据质量的可变性带来了一系列技术挑战，根据数据是静止的（驻留在数据存储库中）还是运动的（数据流，例如由传感器产生的数据流）进行了区分，并进一步强调了图数据结构。

本课程将重点关注以下方面：

- 在云环境中托管的计算节点集群上分配数据处理，作为一种随着待处理数据规模的增加而扩展计算资源的方法。

- 可成功并行化从而利用分布式数据架构的算法实例。

- 可对数据流进行近乎实时分析的计算模型。

- 专业数据结构，特别是图。这涉及到图数据库（Neo4J）的基础知识，以及大规模并行图算法，即使用 Pregel 框架实现的算法。

- 数据科学应用实例，包括由大数据技术支持的机器学习算法。

此外，课程还强调了该领域技术的快速发展，并为深入学习和深入探讨特定主题提供了前沿的进一步阅读材料。

教学大纲：

1. 数据科学和数据分析简介。并行处理的可扩展性和效率。

2. 批量大数据处理（MapReduce）。

3. 大数据分析和机器学习的计算环境。

4. 大数据平台（Databricks）、Spark。

5. 数据流处理：实时事件处理和查询概述。

6. 图数据处理：图分析算法示例、图数据库和查询语言（GDBMS）、大规模并行图处理模型（Pregel）。