📊 数据科学

考试复习问答报告 · 2026年6月
基于课程PPT第1–8章完整内容整理（含图片OCR提取信息）

基于课程PPT完整内容（第1-8章）整理，含图片OCR提取信息
生成时间：2026年6月24日

第1题：数据的定义、数据科学定义（含义），数据内涵的理解、大数据时代的新理念

一、数据的定义与内涵

数据（Data） 是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材。数据的内涵可以从以下维度理解：

数据是新的石油 — 2011年世界经济论坛提出"Data is the New Oil"，《经济学人》2017年文章进一步阐述"世界最有价值的资源不再是石油，而是数据"。数据已成为数字经济时代的核心生产要素。

数据的多样性来源：

数据能看清一切（Data Makes Everything Clearer）：UCB的Seven Countries Study耗时40年追踪13000名受试者研究退行性心瓣膜病。但数据也有局限性——Princeton大学用MySpace的irSIR模型预测Facebook会快速衰退，结果被Facebook用同样方法反击预测Princeton 2021年将无学生。这说明模型选择和数据解读的偏差会得出荒谬结论。

大数据的3V特征（来自华为）：

二、数据科学的定义

数据科学（Data Science） 是一门新兴的发展中学科。根据Drew Conway的数据科学维恩图（Venn Diagram）：

课程中的核心定义：数据科学是以数据为研究对象，综合运用统计学、计算机科学、机器学习、领域知识等理论与技术，从数据中提取知识和洞见的交叉学科。

三、大数据时代的新理念

第四范式（The Fourth Paradigm）：2007年图灵奖得主Jim Gray提出科学方法的革命，将科学研究分为四类范式：

AI4S（AI for Science）— 第五范式：人工智能驱动的科学研究，利用AI技术加速科学发现。

大数据的核心思维转变：

数据的另一面：拥有更多信息并不意味着能更好地预测（Nate Silver的金句），数据科学需要正确的方法论、严谨的统计学基础和批判性思维。

第2题：数据预处理动机、统计学规律（第一数字定律、小概率原理）定义原理以及在数据质量检验的用途、噪声数据处理的方法、大数据特征

一、数据预处理的动机

数据预处理的两大动机：

原始数据存在质量问题，影响数据处理（缺失值、噪声值、不一致值、不完整值）

数据不符合算法要求，如数据类型、取值范围等形态不匹配

数据预处理的定义：在正式处理（计算）之前，根据后续数据计算需求对原始数据集进行审计、清洗、变换、集成、脱敏、规约和标注等一系列处理活动，提升数据质量并使数据形态符合某一算法要求。

二、统计学规律及其在数据质量检验中的用途

1. 第一数字定律（Benford's Law，本福特定律）

定义与原理：

应用条件：

在数据质量检验中的用途：

2. 小概率原理

定义与原理：

在数据质量检验中的用途：

重要提醒：第一数字定律和小概率原理只能帮助识别"可能有问题"的数据，但"是否真的存在问题"以及"存在何种问题"需要用领域知识、其他数据质量评价方法、机器学习和统计分析等方法进一步深入研究。需要多种技术方案综合、交叉check才能更确定。

三、噪声数据处理的方法

噪声定义：测量变量中的随机错误或偏差。

四种主要去噪方法：

分箱方法（Binning）：

聚类方法（Clustering）：

回归方法（Regression）：

关于错误数据和虚假数据：更加复杂，需要与领域知识与经验相结合，需要数据科学家的实战经验。

四、大数据特征（补充3V外的更多V）

大数据除了Volume（大量）、Velocity（高速）、Variety（多样）外，还具有：

第3题：数据质量定义和属性、数据准备过程、数据鉴别方法，噪声数据形式和处理方法，数据审计方法，缺失数据处理方法，数据脱敏定义和原则

一、数据质量定义和属性

数据质量：衡量数据满足其预期用途的程度。六大属性：

完整性（Completeness）：所有数据都被记录下来，无遗漏

一致性（Consistency）：数据内容之间不存在自相矛盾现象。同一事物被多次记录时可能导致不一致

准确性（Accuracy）：数据被正确记录，反映客观事实

时效性（Timeliness）：数据是新鲜的，在需要的时间范围内可用

自描述性（Self-descriptiveness）：数据带有一定的自描述信息，能被独立理解

安全性（Security）：数据未被授权者篡改或损坏，授权用户的合法修改有必要的日志信息

二、数据准备过程（处理模型）

数据准备处理过程包括：

Data Characterization（数据特征化）

Data Cleaning（数据清洗）

Data Integration（数据集成）

Data Transfer（数据转化） — 对付异构化

Data Serialization and Deserialization（数据序列化和反序列化） — 提升速度

核心要求：数据处理必须高效——空间上要省，时间上要快，因为数据量大且异构性强。

三、数据鉴别方法

1. 消息鉴别码（MAC）

2. Hash函数

3. 数字签名

4. 语言学规律鉴别

四、噪声数据形式和处理方法

噪声数据的四种形式：

缺失值：缺少数据记录或属性值

噪声值：测量变量中的随机错误或偏差（如出生年份为120）

不一致值：同一事物的多个记录相互矛盾

不完整值：被篡改或无法溯源的数据

处理方法已在第2题详述（分箱、聚类、回归、领域知识结合）。

五、数据审计方法

数据审计是发现"问题数据"的过程。三种审计方法：

预定义审计：当源数据带有自描述性验证规则时使用

自定义审计：

可视化审计：当难以用统计学和机器学习方法发现问题时，通过数据可视化发现问题（如缺失值个数分布图）

六、缺失数据处理方法

三类缺失数据：

类型特征处理方法
完全随机缺失（MCAR）缺失与其他所有变量不相关忽略/删除/插值
随机缺失（MAR）缺失与其他观测变量相关需分析其原因
非随机缺失（NMAR）不属于以上两类模型选择法、模式混合法

六种具体处理方法：

忽略元组（当缺少类标号时）

人工填写缺失值（费时但有时必要）

使用全局常量填充（如Unknown或−∞，简单但不可靠）

使用属性均值填充

使用同类样本的属性均值填充

使用最可能的值填充（回归、贝叶斯、决策树归纳等）

七、数据脱敏定义和原则

定义：保护主体的信息安全隐患和个人隐私风险的重要预处理操作。

三大原则：

不可逆性：脱敏后的数据不能恢复原始敏感信息

可用性：脱敏后数据仍需保持对分析任务的有效性

一致性：同一主体在不同位置的脱敏结果保持一致

实现方法：

第4题：探索性和验证性数据分析方法内容

一、探索性数据分析（EDA, Exploratory Data Analysis）

EDA由John Tukey于1977年提出（著作《Exploratory Data Analysis》），是数据分析的基础方法，强调让数据"说话"。

EDA的四大特征：

耐抗性（Resistance）：

残差（Residuals）：

重新表达（Re-expression/Transformation）：

启示（Revelation）：

常用的EDA技术：

二、验证性数据分析（CDA, Confirmatory Data Analysis）

验证性数据分析侧重于通过统计推断来验证假设，核心方法包括：

参数估计：

假设检验：

列联表分析与关联度计算：

三、EDA与CDA的对比

维度探索性分析（EDA）验证性分析（CDA）
目标发现模式、生成假设验证假设、确认推断
方法描述统计、可视化假设检验、置信区间
前提无预设假设有明确假设
灵活性灵活、开放严格、结构化
输出洞见、新问题结论、决策依据

第5题：表数据概念和存储

一、表数据（Tabular Data）概念

表（Table） 是由行（Row）和列（Column）组成的二维数据集合：

表数据本质上是row-based（基于行）的存储方式。这种存储方式在大数据背景下演化为NoSQL的（Key, Value）对存储，可能演变为稀疏表格（浪费严重）。

CSV格式：逗号分隔值（Comma Separated Value），大数据中很多数据以类似形式存在，包括电信核心网络采集的网络状态数据。CSV是最通用的文件格式，可被导入各种表格及数据库中。

二、存储方式对比

1. 基于行的存储（Row-based）

传统RDBMS采用行存储：


ID | name | login | loc | locid | LAT | LONG | ALT | State
52841 | Jones | jones@cs | Albany | 2341 | 38.4 | 122.7 | 100 | CA
53831 | Smith | smith@ee | NULL | NULL | NULL | NULL | NULL | NULL

2. 基于列的存储（Column-based）

列存储将每列作为独立的（key, value）对存储：


ID | name         ID | login
52841 | Jones    52841 | jones@cs
53831 | Smith    53831 | smith@ee
55541 | Brown    55541 | brown@ee

3. 数据存储模式的演变

结构模式谱（The Structure Spectrum）：

关系数据库的问题：

索引化开销大（大规模数据库负担重）

关系维护增加更新负担

稀疏数据支持差（列数有限但现代数据需要上千列）

无法满足海量数据管理、高并发、高可扩展性和高可用性的需求

第6题：ETL概念和为何需要ETL、基于实例的学习方法有哪些

一、ETL概念

ETL（Extract, Transform, Load） 是数据准备的经典框架：

完整定义：ETL负责将分散的、异构数据源中的数据抽取到临时中间层后，进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘提供决策支持的数据。

二、为何需要ETL

数据源的异构性：企业不同系统使用不同数据库（ERP、Access、Excel等），数据格式和规范各不相同

数据质量问题：原始数据包含缺失、噪声、不一致等问题需要清洗

数据集成需求：需要将多源数据合并到一致的数据存储中进行分析

性能与网络考虑：不宜直接用ODBC连接异地数据源，应在本地区域先做ETL预处理

互联网公司面临的大数据挑战：产生Hadoop生态系统（Flume、Sqoop、Pig、Crunch、Oozie等ETL工具）

三、不同规模下的ETL现状

类型数据源ETL工具数据仓库分析工具
商务人员Web pages, ExcelCopy and pasteExcelExcel functions/charts/VB
程序员CSV, DB querieswget, curl, Beautiful Soup, lxmlFlat filesNumpy, Matplotlib, R
大企业App databases, Intranet files, LogsInformatica, IBM DataStage, Ab Initio, TalendTeradata, Oracle, DB2, SQL ServerBusiness Objects, SAS, SPSS, R
互联网企业App databases, Logs, Web crawl dataFlume, Sqoop, Pig, Crunch, OozieHadoop/Hive, Spark/SharkR + 自建系统

四、基于实例的学习方法（Instance-based Learning）

基于实例学习的基本思路：事先将训练样本存储下来，每当遇到新增查询实例时，分析此新增实例与以前存储的实例之间的关系，并据此把目标函数值赋给新增实例。

核心特点：

三种主要方法：

k-近邻算法（k-Nearest Neighbor, kNN）：

局部加权回归（Locally Weighted Regression）：

基于案例的推理（Case-based Reasoning）：

优点：灵活，对复杂目标函数适应性强

不足之处：分类新实例的开销可能很大——几乎所有计算都发生在分类时而非训练时

第7题：大数据的V特征，结构化数据、半结构化和非结构化数据（内容和对比）

一、大数据的V特征

经典的3V特征（来自华为）：

Volume（数据量大）：TB → PB → ZB级别增长

Velocity（处理速度快）：实时流式处理需求

Variety（数据类型多样）：结构化、半结构化、非结构化

扩展的更多V特征：

二、三种数据结构对比

1. 结构化数据（Structured Data）

定义：即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据。先有结构、再有数据（Schema-first）。

特征：

存储方式对比：

2. 半结构化数据（Semi-structured Data）

定义：介于完全结构化数据和完全无结构数据之间的数据。先有数据、再有结构。一般是自描述的，数据的结构和内容混在一起，没有明显区分。

特征：

典型格式：

3. 非结构化数据（Unstructured Data）

定义：包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等。没有预定义的数据模型。

特征：

三、对比总结表

维度结构化数据半结构化数据非结构化数据
结构与数据关系先有结构、再有数据先有数据、再有结构无明显结构
模式定义Schema-first（严格）自描述（灵活）无固定模式
存储方式关系数据库二维表XML/HTML/JSON文档文件系统/对象存储
查询语言SQLXPath/XQuery/JSONPath全文搜索/NoSQL
扩展性差（需修改Schema）好（可灵活添加字段）依赖存储系统
典型应用银行交易、ERP系统Web数据交换、配置文件社交媒体、音视频、图像
存储效率高（数据紧凑）中等（标签占用空间）低（文件体积大）
代表RDBMS表XML, HTML, JSON图片, 视频, 音频, 文档

第8题：XML、HTML、JSON格式定义和对比

一、各格式定义

1. XML（eXtensible Markup Language，可扩展标记语言）

XML实例：




  张三
  123456
  技术部
  男
  30

2. HTML（HyperText Markup Language，超文本标记语言）

3. JSON（JavaScript Object Notation，JS对象标记）

JSON实例：


{
  "name": "张三",
  "password": "123456",
  "department": "技术部",
  "sex": "男",
  "age": 30
}

二、JSON语法详解

JSON构建的结构为"名称/值"对的集合：A collection of (name: value) pairs。

在不同语言中被理解为：对象(Object)、纪录(Record)、结构(Struct)、字典(Dictionary)、哈希表(Hash table)、有键列表(Keyed list)或关联数组(Associative array)。与已有数据结构相似，这是JSON被广泛接受的原因。

三、JSON VS XML 对比

相同点：

关键区别：

维度XMLJSON
设计目的传输数据数据交换处理
简洁性冗长（需闭合标签）简洁（键值对）
数据类型支持仅文本String, Number, Boolean, Array, Object
解析难度需从DOM读取各种节点直接赋值给JavaScript变量即可
适用场景标记文档、配置文件Web数据交换、API通信
数据处理使用XPath/XQuery使用JavaScript原生语法
简单类型表达需要包裹在标签中直接表达：如 "abc" 就是String

JSON的优势：

第9题：连续性和离散型随机变量的分布方式，离散程度计量，假设检验定义和具体步骤内容

一、离散型随机变量的概率分布

定义：设 $x_i (i=1,2,\ldots)$ 是离散型随机变量X所取的一切可能值，称 $P(X=x_i)=p_i$ 为离散型随机变量X的概率分布。

常见离散型分布：

二项分布（Binomial Distribution）：

泊松分布（Poisson Distribution）：

二、连续型随机变量的概率分布

两种描述方式：

概率密度函数 $f(x)$：描述随机变量输出值在某确定取值点附近的可能性的函数

概率分布函数 $F(x)$：$F(x) = P(X \leq x) = \int_{-\infty}^{x} f(t)dt$

二者关系：$f(x) = F'(x)$（导数关系）

重要分布：

正态分布（Normal/Gaussian Distribution）：

卡方（$\chi^2$）分布：

t分布（学生t-分布，1908年由威廉·戈塞提出）：

F分布（1924年R.A. Fisher提出）：

三、离散程度计量

离散程度指一组数据远离中心值的程度，反映集中趋势测度值对该组数据的代表性程度。

常用统计量：

分布状态描述：

四、假设检验

定义

假设检验（Hypothesis Test）是根据已掌握的资料对一个总体参数是否等于某一数值，或某一随机变量是否服从某种概率分布的假设，然后根据样本资料，利用统计方法计算出检验统计量，依据一定的概率原则，以较小的风险来判断估计数值与总体数值（或估计分布与实际分布）是否存在显著差异，是否应当接受原假设的一种检验方法。

假设检验是进行科学决策的有力工具。

基本思想

首先对所研究的命题提出一种无显著差异的假设（原假设 $H_0$）

假定这一假设成立，由此导出必然的结果

如果能证明这种结果出现的可能性很小（小概率），则有理由认为原假设是错误的，拒绝原假设

否则没有理由拒绝原假设，接受原假设

假设检验是根据小概率事件的实际不可能性原理来推断的。小概率标准称为显著性水平（用 $\alpha$ 表示），常用的 $\alpha$ 值有0.01, 0.05, 0.10。

具体步骤

提出假设：

选择检验统计量：

确定显著性水平$\alpha$和临界值：

计算检验统计量的值并与临界值比较，做出决策：

两类错误

接受 $H_0$拒绝 $H_0$
$H_0$ 为真正确决策第I类错误（$\alpha$错误）
$H_0$ 为假第II类错误（$\beta$错误）正确决策

重要原则：在样本量不变的情况下，两种错误存在矛盾关系，无法同时减少。统计领域通常优先控制$\alpha$错误（不能把真的丢了）。

参数检验类型

双侧与单侧检验

第10题：统计量的概念和作用，如标准差、中位数等等，数据结构模式理解

一、统计量的概念和作用

统计量（Statistic） 是样本数据的函数，不依赖于任何未知参数。统计量用于描述样本特征，进而推断总体特征。

作用：

二、重要统计量详解

集中趋势统计量

均值（Mean）：

中位数（Median）：

众数（Mode）：

加权均值：$\bar{x}_w = \frac{\sum w_i x_i}{\sum w_i}$，其中 $w_i$ 为权重

离散程度统计量

标准差（Standard Deviation）：

方差（Variance）：$S^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2$

极差（Range）：$\max(x) - \min(x)$

四分位距（IQR）：$Q_3 - Q_1$，与中位数一样具有耐抗性

变异系数（CV）：$CV = \frac{S}{\bar{x}} \times 100\%$，用于比较不同量纲数据的离散程度

分布形状统计量

偏度（Skewness）：

峰度（Kurtosis）：

三、数据结构模式理解

结构模式（The Structure Spectrum） 是Jim Gray提出的关于数据组织的核心概念：

Schema-first（先定义模式）：

从结构化到非结构化的谱系：


结构化 → 半结构化 → 非结构化
  │          │           │
 RDBMS    XML/HTML    图片/视频
  表       /JSON        /文本
  (schema-first)  (self-describing)  (no schema)

NoSQL的四种数据模型对应不同的结构模式需求：

数据模型结构程度典型产品适用场景
键值数据库无结构Redis, Memcached缓存、会话管理
列族数据库有结构，与数据库相似HBase, Cassandra分布式存储、大规模数据
文档数据库半结构MongoDB, CouchDBJSON数据、内容管理
图形数据库复杂关系结构Neo4J社交网络、推荐系统

第11题：NoSQL的定义、兴起的原因、与关系数据库的对比、四大NoSQL数据库的描述

一、NoSQL的定义

NoSQL（Not Only SQL） 是一类不同于传统关系数据库的数据库管理系统。通常具有以下特点：

灵活的可扩展性

灵活的数据模型（不是单一的数据模型）

与云计算紧密融合

NoSQL没有统一的理论基础（不像RDBMS有关系代数理论），也没有行业标准（不同的NoSQL数据库有各自的查询语言）。

二、NoSQL兴起的原因

关系数据库在大数据时代的关键特性成了"鸡肋"：

网站系统通常不要求严格的数据库事务：互联网应用可以容忍一定程度的数据不一致

并不要求严格的读写实时性：可以接受最终一致性

通常不包含大量复杂的SQL查询：去结构化，用存储空间换取更好的查询性能

已大规模使用NoSQL的公司：Google、Facebook、Mozilla、Adobe、Foursquare、LinkedIn、百度、腾讯、阿里、新浪、华为等。

三、NoSQL与关系数据库的全面对比

比较标准RDBMSNoSQL
**数据库原理**完全支持（有关系代数理论）部分支持（无统一理论基础）
**数据规模**大**超大**（易横向扩展）
**数据库模式**固定（需预定义，结构化）**灵活**（自由定义，半结构化）
**查询效率**快（借助索引机制）简单查询高效，复杂查询性能不佳
**一致性****强一致性**（ACID模型）**弱一致性**（BASE模型，最终一致性）
**数据完整性**容易实现（主键、外键、约束）很难实现
**扩展性**一般（横向扩展难）**好**（横向扩展容易）
**可用性**好（但随数据规模增大而降低）**很好**
**标准化****是（SQL标准）**否（无行业标准，各有查询语言）
**技术支持****高**（Oracle等大厂支持）低（仍在起步阶段，很多开源）
**可维护性**复杂（需专业DBA）复杂（虽无DBMS复杂，但维护也难）

两种数据库优势劣势几乎完全颠倒，彼此无法取代。

应用场景选择：

四、四大NoSQL数据库

1. 键值（Key-Value）数据库

项目内容
**相关产品**Redis、Riak、SimpleDB、Memcached
**数据模型**键/值对，键是字符串对象，值可以是任意类型（整型、字符型、数组、列表、集合等）
**典型应用**频繁读写、简单数据模型的应用；内容缓存（会话、配置、购物车）；移动应用
**优点**查找快速，扩展性好，灵活性好，大量写操作时性能高
**缺点**数据无结构，无法存储结构化信息，条件查询效率较低
**不适用**需存储数据间关系；需事务支持（不可回滚）
**使用者**Redis（百度云、Twitter、GitHub、Instagram、StackOverFlow），Memcached（Twitter、Youtube、Wikipedia）

2. 列族（Column-Family）数据库

项目内容
**相关产品**BigTable（Google）、HBase、Cassandra
**数据模型**列族（Column-Family）
**核心原理**Bigtable是分布式、稀疏的、常驻外存的多维映射表，通过(row:string, column:string, time:int64)→string索引。使用词典序排序，网址倒排作为行名字以提高压缩率。
**表块（Tablet）**分布式处理和负载均衡的最小单位，行的区间动态分配（可不断加长/剪短）
**典型应用**分布式数据存储与管理；数据在地理上分布多个数据中心；可容忍副本短期不一致；拥有动态字段；大量数据（几百TB）
**优点**查找速度快，可扩展性强（重点优势），容易分布式扩展，复杂性低
**缺点**功能较少，大都不支持强事务一致性
**使用者**Ebay（Cassandra）、Instagram（Cassandra）、NASA（Cassandra）、Twitter（Cassandra+HBase）、Facebook（HBase）、Yahoo!（HBase）

3. 文档（Document）数据库

项目内容
**相关产品**MongoDB、CouchDB、RavenDB
**数据模型**键（名）/值，值（value）是版本化的文档
**核心特性**"文档"是一个能对包含的数据类型和内容进行"自我描述"的数据记录（如JSON文档）
**优势**数据自包含（无外键依赖），记录迁移容易（所有信息都在一条记录内），不需要锁住关联表保证ACID
**典型应用**存储、索引并管理面向文档的数据或半结构化数据；使用JSON数据结构的应用；嵌套结构的非规范化数据
**优点**性能好（高并发），灵活性高，复杂度低，数据结构灵活；提供嵌入式文档功能
**缺点**缺乏统一的查询语法；不支持文档间的事务
**使用者**MongoDB（百度云、SAP、Codecademy、Foursquare）

4. 图形（Graph）数据库

项目内容
**相关产品**Neo4J、FlockDB（Twitter的）、Infinite Graph
**数据模型**图结构
**典型应用**专门处理高度相互关联关系的数据；社交网络、推荐引擎、模式识别、依赖分析、路径寻找
**优点**灵活性高，支持复杂图形算法，可用于构建复杂的关系图谱
**缺点**复杂度高，只能支持一定的数据规模
**使用者**Neo4J（Adobe、Cisco、T-Mobile）

四种数据模型的关系：键值（无结构）→ 列族（有结构与数据库相似）→ 文档（半结构）→ 图形（复杂关系），从简单到复杂排列。

第12题：DIKW模型（数据、信息、知识、智慧）

DIKW层次模型

DIKW模型描述了从数据到智慧的递进层次关系：


        /\
       /智慧\        ← 灵魂
      /______\
     /  知识  \      ← 核心
    /________\
   /   信息   \      ← 支撑
  /__________\
 /    数据    \      ← 基础
/______________\

四层含义

1. 数据（Data）— 基础

2. 信息（Information）— 支撑

3. 知识（Knowledge）— 核心

4. 智慧（Wisdom）— 灵魂

应用案例：奥巴马2012竞选中的DIKUW模型

奥巴马竞选团队将DIKW模型贯穿始终：

核心结论："以数据为驱动"的决策方式成功帮助了奥巴马第二任期连任。政界的大数据时代已经到来。

第13题：人工神经网络的描述，连接方式，组成，感知器，学习算法，适合解决哪些问题

一、人工神经网络（ANN）的描述

定义：人工神经网络（Artificial Neural Network, ANN）是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。

生物学基础：

ANN的核心理念：学习系统是由相互连接的神经元（Neuron）组成的复杂网络。

二、ANN的组成

三层结构（前向网络）：

输入层（Input Layer）：接收外部输入信号

隐含层（Hidden Layer）：可有若干层，每层神经元数量可以不同；每一层的神经元只接收前一层神经元的输出

输出层（Output Layer）：产生最终输出结果

人工神经元是ANN最基本的组成部分。实现方式有：感知器（Perceptron）、线性单元（Linear Unit）、Sigmoid单元（Sigmoid Unit）等。

三、感知器（Perceptron）

定义：感知器是以一个实数值向量作为输入，计算这些输入的线性组合，输出结果为1或-1。

数学表达：

$$o(x_1, \ldots, x_n) = \begin{cases} 1 & \text{if } w_0 + w_1x_1 + w_2x_2 + \cdots + w_nx_n > 0 \\ -1 & \text{otherwise} \end{cases}$$

其中：

激发函数（Activation Function） 决定神经元的输出：

类型特征
**阈值型（阶跃函数）**最简单，即感知器模型，输出为-1或1
**分段线性型**最简单的非线性函数，值域在一定范围内，输入输出在一定范围内线性
**Sigmoid型（S型）**有最大输出值的非线性函数，输出在某个范围内连续取值，具有饱和特性
**双曲正切型**特殊的S型函数，饱和值是-1和1

四、连接方式

无反馈的前向网络：

相互连接型网络（有反馈）：

五、ANN的学习算法及优缺点

1. 单个神经单元的学习算法：梯度下降法（Gradient Descent）

原理：就像站在山坡上想下山——找到当前最陡峭的方向下山，这个方向可以用梯度来计算。

与神经网络的结合：利用样本数据训练神经网络模型（修改参数如权值），对照目标进行修改→用梯度下降法做多轮迭代一步步逼近最终目标。

优点：理论基础扎实，能保证找到局部最优解

缺点：可能陷入局部极小值而非全局最优；收敛速度取决于学习率的选择

变种：随机梯度下降法（SGD），很多场合下真正使用的方法

2. 多层网络的学习算法：反向传播BP算法（Back Propagation）

原理：

优点：

缺点：

六、ANN适合解决哪些问题

实例采用"属性-值"（特征）对表示：输入值可以是任何实数，属性间可高度相关也可相互独立

目标函数输出可以是离散值、实数值或向量：

训练数据可能包含错误：ANN对训练数据中的错误具有较强的鲁棒性

可容忍长时间的训练：训练时间从几秒到几小时

需要快速求出目标函数值：虽然训练时间长，但已学好的ANN求值速度相对较快（如ALVINN每秒应用神经网络多次）

不需要人类理解目标函数：难以理解神经网络学到的权值（只知道好，不知道为什么好—类似于人对人脑的认识）

第14题：网络爬虫定义和行为以及反爬虫方法、多层网络的BP算法定义和问题、k-Means聚类算法内容以及初始质心的如何确定

一、网络爬虫

定义

网络爬虫（又被称为网页蜘蛛、网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。本质上就是下载特定网站网页的HTML/JSON/XML数据并对数据进行解析、提取与存储。

行为三阶段

载入：将目标网站数据下载到本地

解析：提取所需数据

存储：将提取的数据持久化保存

通常先定义一组入口URL，根据页面中的其他URL，深度优先或广度优先的遍历访问，逐一抓取数据。

反爬虫方法

常见反爬手段：

出现用户登录界面，需要验证码

禁止某个固定用户账号或IP一段时间内访问

返回错误的无用数据

应对措施：

优化爬虫程序，减少访问次数，尽量不抓取重复内容

使用多个Cookie（网站识别用户的手段）

使用多个IP（可用代理实现）

二、多层网络的BP算法

定义

反向传播模型也称B-P模型，是一种用于前向多层的反向传播学习算法。

学习过程

正向传播：对输入信息经过网络计算后求出输出结果

反向传播：逐层传递误差，修改神经元间的连接权值，使网络输出达到期望的误差要求

BP算法存在的问题

计算量超大：Google的神经网络有上千层，计算量超级大，需要上千台机器来运算

收敛速度慢：需要多轮迭代

局部极小问题：BP算法是一种梯度最速下降法，从数学角度看可能出现局部极小的问题，即陷入局部最优解而非全局最优

三、k-Means聚类算法

算法内容

k-Means是一个经典的聚类算法，接受输入量k，将n个数据对象划分为k个聚类，满足两个条件：

同一聚类中的对象相似度较高

不同聚类中的对象相似度较小

聚类相似度利用各聚类中对象的均值所获得的"中心对象"进行计算。

基本步骤

在原始数据集中任意选择k个对象作为"初始聚类中心对象"

计算其他对象与初始聚类中心的距离，根据最小距离合并入对应聚类，形成k个"中间聚类结果"

计算每个中间聚类结果的均值，找出k个"新的聚类中心对象"

重新计算每个对象与新聚类中心的距离，根据最小距离重新分类

重复步骤3~4，当所有对象聚类情况不再变化或达到规定循环次数时结束

求中心点的距离公式

欧氏距离（Euclidean Distance）：$d = \sqrt{\sum (x_i - y_i)^2}$

明可夫斯基距离（Minkowski Distance）：$d = (\sum |x_i - y_i|^\lambda)^{1/\lambda}$

曼哈顿距离（Manhattan/CityBlock Distance）：$\lambda=1$ 时的明氏距离

切比雪夫距离（Chebyshev Distance）：$\lambda \to \infty$ 时的明氏距离（$L_\infty$度量）

初始质心的确定方法

k-Means的两个最重大缺陷都与初始值有关：

K值事先给定，但难以估计最合适的类别数

不同的初始随机种子点会得到完全不同的结果

两种确定初始质心的方法：

方法一：选择批次距离尽可能远的K个点

方法二：先用Canopy算法粗聚类，再用K-Means细聚类

第15题：基于实例的学习方法，决策树定义和学习特点，强化学习定义和具体内容

一、基于实例的学习方法（Instance-based Learning）

（详细内容见第6题第四部分）

基本思路：事先将训练样本存储下来，每当遇到新增查询实例时，分析此新增实例与以前存储的实例之间的关系，并据此把目标函数值赋给新增实例。

核心特点：

二、决策树学习

定义

决策树是一种类似于流程图的树状结构，其中：

决策树的学习特点

前提条件和应用场景：

以"属性-值"形式表示的实例（固定的属性和它们的值）

目标函数具有离散的输出值（布尔型或扩展到多类）

训练数据中允许包含错误（对错误有较高的鲁棒性）

训练数据中允许包含缺少属性值的实例（甚至可以在有未知属性值的训练样本中使用）

ID3算法（决策树学习的基本算法）：

以整个样本集作为根节点S，计算S对每个属性的条件熵

选择使条件熵最小的属性对根节点分裂

同样方法对子节点分裂，直至所有叶节点的熵值降为0

决策树的优缺点：

三、强化学习（Reinforcement Learning）

定义

强化学习主要研究的是如何协助自治Agent（或机器人）的学习活动，进而达到选择最优动作的目的。Agent需要具备与环境的交互能力和自治能力。

具体内容

核心三要素：

状态（State）S：Agent的生存环境被描述为可能的状态集合

动作（Action）A：Agent可执行的可能动作集合

回报（Reward）r：在状态 $s_t$ 下执行动作 $a_t$ 时收到的实值回报 $r_t$，表示此状态-动作转换的立即值

学习任务：学习一个控制策略 $\pi: S \to A$，使回报总和的期望值最大（后续回报随延迟指数减小）。

马尔可夫决策过程（MDP）基础：

Q-learning（最基本的方法之一）：

Q-learning学习过程：

初始化Q表为0

观察当前状态s

重复：选择动作a并执行→接收立即回报r→观察新状态s'→更新Q表→s←s'

深度强化学习：将强化学习和深度学习结合，用强化学习定义问题和优化目标，用深度学习解决状态表示和策略表示问题。

第16题：机器学习（学习系统）的定义、基本活动和关键问题、机器学习中的控制活动

一、学习系统的定义

如果一个计算机系统在完成某一类任务T的性能P能够随着经验E而改进，则称该系统在从经验E中学习，并将此系统称为一个学习系统。

三个关键组成要素：任务T、性能指标P、经验来源E

经典定义（T. Mitchell, 1997）：利用经验改善系统自身的性能。

语义层次理解：机器学习是指计算机能模拟人的学习行为（模拟人的思维能力），通过学习获取知识和技能，不断改善性能，实现自我完善。

二、机器学习的基本活动

机器学习活动图包含四个核心模块的协同工作序列：

1. 训练经验的选择（需注意三个关键问题）

(1) 训练经验能否为系统的决策提供直接或间接的反馈

(2) 训练经验能否被学习系统控制（三种控制程度）

(3) 训练集的分布是否与实际数据集具有相似的分布

2. 目标函数的选择

学习系统的目的是改进性能P，通常把这一目的转换为对目标函数的学习（从机器角度出发，需要对性能进行度量）。

核心思想：

3. 目标函数的表示

目标函数的表示指近似函数V的表示方法。需要综合考虑：

以TD-Gammon为例，采用棋盘特性的线性组合：

$$V(b) = w_0 + w_1x_1 + w_2x_2 + w_3x_3 + w_4x_4 + w_5x_5 + w_6x_6$$

其中 $x_1$ 到 $x_6$ 为棋盘特性（黑子数、红子数、黑王数、红王数等），$w_i$ 为待定系数。

4. 函数逼近算法的选择

两步过程：

估计训练值：从间接训练经验提取直接训练样本 $(b, V_{train}(b))$

调整权值：使训练值和假设预测值之间的误差平方和E最小（即残差最小化），采用LMS系数调整规则动态调整系数

三、机器学习中的控制活动

根据对训练经验的控制程度（即对施教者的依赖程度），学习中的控制活动分为三个层次：

不控制（计算机不控制）：

部分控制：

完全控制：

四、机器学习系统的四个核心模块

执行器（Execution System）：负责用学会的目标函数解决给定任务，接受感知信息决定系统行动

评价器（Evaluator/Critic）：接受系统行为后果的感知信息，评价系统的性能并反馈

泛化器（Generalizer）：以训练样本为输入，产生一个输出假设作为对目标函数的估计

实验生成器（Experiment Generator）：以当前假设为输入，输出新问题供执行系统探索

第17题：机器学习中目标函数的选择/训练经验的选择需要注意哪些问题

一、训练经验的选择需要注意的问题

1. 训练经验能否为系统的决策提供直接或间接的反馈

直接反馈：

间接反馈：

2. 训练经验能否被学习系统控制

根据计算机对训练经验的控制程度：

不控制（计算机不主动）：

部分控制：

完全控制：

实验还未考虑过的全新盘局（探索未知）

在目前发现的最有效路线基础上进行微小的改进（优化已知）

3. 训练集的分布是否与实际数据集具有相似的分布

核心原则：训练集的分布与实际数据集的分布越相似，学习的结果就越可靠。

两层含义：

训练集是实际数据集中的一部分（采样关系）：相当于从总体中随机抽样

训练集不是实际数据集中的一部分：但希望分布接近实际数据，如基于实例的学习方法

反例：如TD-Gammon系统的目的是参加世界锦标赛（P为将来在世锦赛上的胜率），那么仅用计算机自己跟自己下棋的方式训练是不够的——训练集不能代表实际数据集（在世锦赛上遇到的可能棋局）。

二、目标函数的选择需要注意的问题

1. 将性能改进转化为目标函数学习

学习系统的目的是改进在完成某一类任务T时的性能P。通常把这一目的转换为对目标函数的学习。从机器角度出发，需要对性能进行度量，目标函数是度量手段。

2. 目标函数的可操作性

核心问题：在许多实际问题中，学习目标函数T是一个十分困难的任务，无法找到准确的目标函数T。

解决方案：采用函数逼近（Function approximation）的方法，仅希望学习到一个近似的目标函数V。学习目标函数的算法通常称为函数近似算法。

关键约束：近似函数V的设计应避免采用"不可操作的方法"：

3. 目标函数的表示方法

需要综合考虑两个因素：

以Google流感预测模型为例：用的是类似于线性函数的方法，因为相对于复杂模型，简单的线性方法在数据量大时也能取得好的效果（呼应"简单模型+大量数据>复杂模型"）。

4. 函数逼近算法的选择

目标函数表示的关键在于找出确定系数的算法——函数逼近算法。

两步过程：

估计训练值：从间接训练经验提取直接训练样本，计算目标函数的估计值

调整权值：用样本调节系数值。常用方法是使误差平方和E最小（实际上就是残差最小化）

系数是动态变化的：一般开始设定初值，在学习过程中不断调整和改进。

第18题：推荐系统定义、基于人口统计学的推荐、UserCF和ItemCF（定义、对比和具体内容）、衡量推荐系统好坏的方法

一、推荐系统定义

产生背景：搜索引擎只能解决明确的需求。为了让用户从海量信息中高效地获得所需信息，推荐系统应运而生。

定义：推荐系统是大数据在互联网领域的典型应用，通过分析用户的历史记录来了解用户的喜好，从而主动为用户推荐其感兴趣的信息，满足用户的个性化推荐需求。

核心机制：

长尾理论：热门推荐（如热门排行榜）的主要缺陷在于推荐范围有限、内容相对固定，无法实现长尾商品的推荐。个性化推荐通过发掘用户行为记录，找到个性化需求，发现潜在消费倾向，将长尾商品准确推荐给需要的用户，实现用户与商家的双赢。

完整的推荐系统三大模块：

用户建模模块：根据用户行为数据和属性数据分析用户的兴趣和需求

推荐对象建模模块：根据对象数据对推荐对象进行建模

推荐算法模块：基于用户特征和物品特征，采用推荐算法计算可能感兴趣的对象

二、基于人口统计学的推荐

工作原理：

系统对每个用户建立用户Profile（用户画像），包含基本信息（年龄、性别等）

根据用户Profile计算用户间的相似度

基于"相似用户群"的喜好推荐给当前用户物品

缺点和局限性：

分类过于粗糙：尤其对品味要求较高的领域（图书、电影、音乐），无法得到好的推荐效果

涉及敏感信息：可能涉及与信息发现问题无关但敏感的信息（如年龄），这些信息不易获取

适合场景有限：可能在电子商务网站中给出简单推荐，但远不够精准

三、UserCF和ItemCF

1. 基于用户的协同过滤（UserCF）

定义：1992年被提出（用于邮件过滤），是推荐系统中最古老的算法。

实现步骤：

第一步：找到和目标用户兴趣相似的用户集合

第二步：找到该集合中用户喜欢的、且目标用户没有听说过的物品推荐给目标用户

相似度计算：

兴趣度计算：

$$P_{ui} = \sum_{v \in S(u,K) \cap N(i)} W_{uv} \cdot r_{vi}$$

其中S(u,K)是和用户u兴趣最接近的K个用户集合，N(i)是喜欢物品i的用户集合

缺点与局限：

2. 基于物品的协同过滤（ItemCF）

定义：由亚马逊提出，是目前工业界应用最多的算法。亚马逊和Netflix的推荐系统基础都是ItemCF。

实现步骤：

第一步：计算物品之间的相似度

第二步：根据物品的相似度和用户的历史行为，给用户生成推荐列表

物品相似度计算：

$$W_{ij} = \frac{|N(i) \cap N(j)|}{|N(i)|}$$

可理解为：喜欢物品i的用户中有多少比例的用户也喜欢物品j

兴趣度计算：

$$P_{uj} = \sum_{i \in N(u) \cap S(j,K)} W_{ji} \cdot r_{ui}$$

含义：和用户历史上感兴趣的物品越相似的物品，越有可能获得比较高的排名

优点：

3. UserCF与ItemCF的对比

维度UserCFItemCF
**核心思路**找相似用户找相似物品
**性能**适用于用户较少的场合适用于物品数远小于用户数的场合
**适用场景**新闻推荐（物品更新快）图书、电子商务、电影
**实时性**用户有新行为不一定立即改变结果用户有新行为一定导致推荐变化
**可解释性**弱强（"因为你喜欢…"）
**冷启动**新用户问题严重新用户需要少量行为即可推荐
**推荐理由**较难提供容易提供（利用历史行为）
**计算复杂度**与用户数平方成正比与物品数平方成正比
**业界采用**较少（Digg等）**广泛**（Amazon、Netflix等）

四、衡量推荐系统好坏的方法

1. 用户满意度

最重要的指标，只能通过用户调查或在线实验获得：

2. 覆盖率（Coverage）

描述推荐系统对物品长尾的发掘能力：

3. 其他常用评价指标

第19题：（题目为空）

该题在原题中为空白，无内容需要回答。

第20题：MapReduce计算模式定义和应用案例

一、MapReduce定义

MapReduce计算框架源自一种分布式计算模型，其输入和输出值均为 键/值对，计算过程分为两个阶段——map阶段和reduce阶段，分别以map()和reduce()两个函数进行抽象。

MapReduce程序员需要通过自定义map()和reduce()函数表达此计算过程。

产生背景：

MapReduce函数签名：

主从结构（Master-Slave）：

二、MapReduce执行过程

将输入文件分成M个数据块（每块16MB~64MB），在集群中启动大量复制程序

Map阶段：每个数据分块对应一个map任务，处理生成中间键值对

Shuffle阶段：对map输出进行排序（按key）、分组后发送给reduce

Reduce阶段：对每个key的value列表进行处理，生成最终输出

中间处理函数：

三、关键技术特征

容错机制：

数据存储位置：

任务备份机制（推测性执行）：

四、应用案例

案例1：NCDC全球最高气温计算

目标：从NCDC（国家气候数据中心）记录中找出每年的全球最高气温

过程：

原始数据经过预处理（类型转换、数据抽取、数据筛选）

Map()函数：提取年份和气温信息，输出 (年份, 气温) 键值对

Shuffle阶段：按年份排序和分组，如 (1949, [111, 78]), (1950, [0, 22, -11])

Reduce()函数：遍历每个年份的气温列表，找出最高气温

案例2：Word Count（词频统计）

最经典的MapReduce入门案例：

案例3：分布式Grep/URL访问频率统计/逆向Web-Link图/逆序索引/分布式排序

MapReduce适用于大规模 类型的数据分析。

案例4：Hadoop在Yahoo的应用

Yahoo搜索引擎四个组件都基于Hadoop：

2006年Yahoo建立200节点研究集群，将Hadoop应用于数据分析、内容优化、反垃圾邮件、广告产品、广告优化、大数据处理和ETL等。

五、下一代MapReduce（MRv2/YARN）

MRv1局限性：扩展性差（JobTracker同时兼备资源管理和作业控制成为瓶颈）、可靠性差（Master单点故障）、资源利用率低（槽位粗粒度划分，不同槽位间不允许共享）、无法支持多种计算框架

MRv2核心变化：将资源管理功能抽象为独立通用系统YARN（其实就是一个操作系统），核心从单一MapReduce转移为通用资源管理系统。JobTracker功能分拆为资源管理和作业控制两个独立进程。

第21题：预测算法应用和案例

一、预测算法概述

预测算法是数据科学中的重要应用，通过对历史数据的学习来预测未来趋势或未知值。根据PPT内容，主要涉及：

二、Google流感趋势预测（GFT）

背景：2009年，Google工程师Ginsberg等人在Nature上发表"Detecting influenza epidemics using search engine query data"

核心模型（ILI — Influenza-Like Illness model）：

$$\text{logit}(P) = \beta_0 + \beta_1 \times \text{logit}(Q) + \varepsilon$$

其中：

成功：

后来出现的问题（2011-2013）：

大数据浮夸（Big Data Hubris）：在没有真正掌握大数据管理分析能力的情况下，人们对大数据赋予盲目期望

算法动态性（Algorithm Dynamic）和用户行为习惯进化：谷歌为改善搜索服务改变了算法，用户习惯也发生变化

教训：大数据分析的陷阱——不能忽视基础的方法论问题，不能认为大数据可以替代传统数据收集和分析。

三、Nate Silver的选举预测

2012年美国总统大选：

2016年总统竞选预测失败：

四、kNN预测应用

数值预测案例（时间序列值预测）：

五、奥巴马竞选中的预测模型

竞选模型预测：

六、中国女排的预测分析应用

2016年里约奥运会：

第22题：k-近邻算法和k-Means算法应用和案例

一、k-近邻算法（kNN）应用和案例

算法原理

kNN主要解决在训练样本集中每个样本分类标签已知的条件下，如何为一个新增数据找出其分类标签。

基本原理：

将新增数据的特征与样本集中的样本特征对比分析

计算特征最为相似的k个样本（k个近邻）

选择k个最相似样本中出现最多的分类标签作为新增数据的分类标签

一句话概括：由离自己最近的K个点来投票决定待分类数据归为哪一类

应用案例1：电影题材分类

已知6部电影的打斗镜头和接吻镜头及类型：

电影打斗镜头接吻镜头类型
California Man3104爱情片
He's Not Really into Dudes2100爱情片
Beautiful Woman181爱情片
Kevin Longblade10110动作片
Robo Slayer 3000995动作片
Amped II982动作片

新电影：打斗=18, 接吻=90

步骤：

计算未知电影与样本的欧式距离（如与California Man距离 = $\sqrt{(18-3)^2 + (90-104)^2} \approx 20.5$）

按距离递增排序，找k=4个最近的电影

最近4部中出现最多的标签为爱情片（3次）

→ 推断为爱情片

应用案例2：时间序列数值预测

已知X-Y数据点，预测X=6.5时的Y值。设K=2：

kNN与k-Means的区别

维度kNN（k-近邻）k-Means（k-均值）
**目的**分类/归类聚类
**算法类型**监督学习无监督学习
**工作原理**由最近K个点投票决定分类按距离将数据分成K个簇
**输入**已有的带标签样本 + 待分类数据无标签数据集 + K值
**一句话**近朱者赤，近墨者黑物以类聚，人以群分

二、k-Means算法应用和案例

（详见第14题算法内容）

应用案例1：亚洲足球队聚类

用亚洲15支足球队2005-2010年战绩构建向量表，用k-Means（k=3）聚类：

结果：

启示：只要能将现实世界的属性抽象成向量，就可以用k-Means归类。多维（5维以上）属性是人类无法直观判断的，只能用计算机计算。

应用案例2：欧洲蛋白质消费聚类分析

使用R语言的kmeans函数对Protein数据集（欧洲25国对9类食物消费数据）进行聚类（k=5），分析各国饮食结构相似性。

应用案例3：图像分割/客户细分/文档聚类

k-Means的广泛应用基于将物体属性抽象为向量的能力。

第23题：强化学习Q-learning方法的应用和案例

一、Q-learning方法回顾

（详见第15题第三部分）

核心公式：

$$Q(state, action) = R(state, action) + \gamma \cdot \max[Q(next\_state, all\_actions)]$$

其中 $\gamma$ 为折算因子（$0 \leq \gamma < 1$），Q值是从状态s执行动作a的立即回报 + 遵循最稳定最优策略的值（用$\gamma$折算）。

Q-learning算法步骤：

初始化Q表为全零矩阵

观察当前状态s

循环：选择动作a并执行 → 接收立即回报r → 观察新状态s' → 更新Q表 → s ← s'

二、应用案例：Path Finder（路径寻找）

场景：有0-5号共6个房间，5号为目标房间。房间之间有双向门连接。

Reward矩阵：

Q-learning目标：通过重复训练（尝试），建立经验矩阵Q，使Agent能到达reward最大的状态（目标房间），到达后将永远留在那里（吸收目标）。

训练过程示例（$\gamma=0.8$）：

本质讨论：

三、深度强化学习应用

AlphaGo中的应用：

围棋三个阶段对应强化学习的发展：

2005年以前：基于规则（初学者水平）

2006-2015年：蒙特卡洛树+上限信心界（业余五段）

2015年以后：蒙特卡洛树+深度学习+强化学习（职业水平，AlphaGo完胜李世石4:1和柯洁）

四、TD-Gammon系统

1992年IBM的TD-Gammon系统通过100多万次以上与自己对弈的方法学习了下西洋双陆棋的策略，并已达到人类世界冠军的水平，是博弈类机器学习领域最典型的应用案例之一。

学习系统要素：

第24题：Apriori算法应用和案例以及其优化思路

一、Apriori算法概述

应用场景：购物篮分析（关联规则挖掘）。问题："哪组商品顾客可能会在一次购物时同时购买？"

重要概念：

支持度（Support）：

$$support(X \to Y) = \frac{|X \cup Y|}{N}$$

即X和Y在一条记录中同时出现的次数 / 总记录数

置信度（Confidence）：

$$confidence(X \to Y) = \frac{|X \cup Y|}{|X|}$$

即发生X的基础上发生Y的概率

k项集：包含k个元素的事件集合。满足最小支持度阈值的称为频繁k项集

强规则：同时满足最小支持度阈值和最小置信度阈值的规则

二、Apriori定律（核心优化思想）

Apriori定律1：如果一个集合是频繁项集，则它的所有子集都是频繁项集。

Apriori定律2：如果一个集合不是频繁项集，则它的所有超集都不是频繁项集。

剪枝策略：利用Apriori定律，在生成候选项集时可以大量剪枝，避免计算所有可能的组合。

三、应用案例

案例1：经典购物篮

最小支持度设为3：

案例2：5项集

最小支持度设为50%：

四、Apriori算法的优化思路

优化方式1：用精度换速度

优化方式2：大数据分解为小规模

优化方式3：FP-Growth算法（最重要的优化）

FP-Growth（Frequent Pattern Growth）是Apriori算法的重大改进，挖掘频繁模式但不生成候选项（Mining Frequent Patterns without Candidate Generation, SIGMOD 2000）。

FP-Growth的优势：

FP-Growth算法步骤：

第一次扫描数据库：找出频繁1项集L，按支持度降序排序

第二次扫描数据库：

FP-tree挖掘方法（分而自治/Divide and Conquer）：

对每个频繁项，从header table最下面的item开始

构造条件模式基（CPB）：顺着该item的链表找所有包含它的前缀路径

构造条件FP-tree：过滤低于阈值的item

递归挖掘条件FP-tree直到为空

Header Table按降序排序的两个原因：

共用前缀：不排序会造成不能共用前缀

更多共用前缀：频繁的item在树的上层可被更多共享；升序排序会造成频繁item出现在分支中无法多共享

第25题：（在原始文件中题目为空）

该题在原题中为空白，无内容需要回答。

附录：重要知识点补充

数据统计分析的核心方法

以上各题未覆盖但PPT重点讲授的内容：

回归分析：

关联分析（Apriori已在第24题详述）

时间序列分析四大要素：

数据变换的五种类型：

平滑处理（去噪）

特征构造（构造新属性）

聚集（粗粒度汇总）

标准化/规范化（如0-1标准化、z-score标准化、log函数转换）

数据泛化（高层概念替换低层数据）

贝叶斯学习：

报告完

资料来源：数据科学课程PPT第1-8章（含图片OCR提取）

资料来源：数据科学课程PPT第1–8章（含图片OCR提取） | 生成时间：2026年6月24日