昆士兰大学UQ INFS7410课程主要内容梳理

昆士兰大学(UQ) INFS7410课程讨论了基于文本的信息系统中信息检索技术的理论、设计和实现。课程的理论部分着重于文本文档(包括网络文档)的处理、索引、查询、排序、组织和分类的信息检索方法。各种当前的研究课题也涵盖在内，包括专业搜索和推荐系统。课程的实践部分讲述了大容量文本检索和过滤系统(如网络搜索引擎)的设计和实现。课程主要内容梳理如下。

一、主要内容梳理

1、搜索引擎架构，文本分析：动机和逻辑。齐夫定律，词干，停用词。索引技术和处理。

2、检索模型1：用于匹配和排列文档的基于术语和术语依赖的方法。

3、检索模型2：融合方法和语义匹配方法。

4、检索模型3：基于查询分析、查询扩展、单词嵌入、相关反馈的方法。

5、检索模型4：学习排名。

6、检索模型5：预训练语言模型、Transformers和BERT ranker。密集检索。

7、利用隐含信号：在线学习排名，联合在线学习排名，反事实学习，在线评估，点击模型。

8、索引压缩：Entropy和模糊性，压缩方法(增量编码，位对齐码，字节对齐码)。

9、爬行和链接分析：网页爬取方法；利用链接信息进行检索(PageRank和HITS)。

10、互动IR，多样性：基于用户实验的评估实践。多样性、模糊性和冗余性的排序方法。

二、主要学习目标

1、深入了解信息检索领域的核心原则，如文本表示和相似性计算、文本文档索引、查询修正和扩展、检索模型、性能评估和度量。

2、使用相关的开源库，获得Web搜索引擎组件开发和端到端系统实验的实践经验。

3、了解信息检索研究中的高级课题，如学习排序、神经检索和排序。

4、创建、分析和评估新的信息检索解决方案，以搜索相关问题。

5、在定量评估的基础上，比较和对比信息检索方法并交流它们的差异、优点和缺点。

6、分析搜索任务和问题，识别和交流相关的信息检索解决方案。

整体来说，昆士兰大学(UQ) INFS7410课程的目的是全面介绍信息检索。涵盖的领域涉及数据获取和预处理(爬行，词干)、索引、查询、排名、组织和文本文档的表示、评估。目标是呈现每个主题的基本概念和算法，从而为学生提供在网络搜索引擎中应用信息检索的必要背景和实践技能。