【大厂AI课学习笔记】【1.6 人工智能基础知识】（2）机器学习

（声明：以下学习笔记内容来自于腾讯云人工智能课程，本系列学习笔记，图片均来自于课件，仅做学习使用，如有异议，请联系本人删除。）

必须理解的知识点：

机器学习是对能通过经验自动改进计算机算法的研究。

机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。

人类基于经验，机器基于训练模型。

举一个草莓的例子：

机器学习就是找到草莓的不同特征维度（尺寸、颜色、成熟度）与草莓标签（酸、甜）之间的映射关系。

机器学习就是找到特征与标签之间的关系，利用算法从一类训练数据或信息中自动分析并获得该类数据或信息的规律，并利用获得的规律进行预测。

上述寻找关系和规律的过程，成为训练。结果是得到一个机器学习模型。

注意这里的标签，实际就相当于答案。这是监督学习常用的一种方法。

机器学习的三个类别：

监督学习：

是在有指导的前提下让机器进行学习，这种指导的关键是给训练数据标注好“标签“。

监督学习的目标在观察完一些事先标注过的训练数据(输入和预期输出)后，这个模型对任何可能出现的输入去预测其输出。要达到此目的，学习者必须以“合理”(归纳规律)的方式从现有的数据中一般化到未观察到的情况。在人类和动物感知中，则通常被称为概念学习。

无监督学习：

无指导的学习的过程，待训练的数据没有标签。

聚类：机器学习算法寻找共同特征，并聚合到一起。

自由的探索，所学的内容要包括理解数据本身，而不是将这种理解用于特定的任务。通往通用智能的道路，必须有无监督学习。

重点就是归纳，并不是要实现某个特定的任务和目的，因为没有人给与指导，也没有所谓的答案。所有大部分的模型，设计就是在聚类，创建数据子集。

强化学习：

强化学习（Reinforcement Learning, RL）是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。常见模型是标准的马尔可夫决策过程（Markov Decision Process, MDP）。强化学习可以分为基于模式的强化学习（model-based RL）和无模式强化学习（model-free RL），以及主动强化学习（active RL）和被动强化学习（passive RL）。求解强化学习问题所使用的算法可分为策略搜索算法和值函数（value function）算法两类。深度学习模型可以在强化学习中得到使用，形成深度强化学习。

强化学习从动物学习、参数扰动自适应控制等理论发展而来，其理论受到行为主义心理学启发，侧重在线学习并试图在探索-利用（exploration-exploitation）间保持平衡。不同于监督学习和非监督学习，强化学习不要求预先给定任何数据，而是通过接收环境对动作的奖励（反馈）获得学习信息并更新模型参数。

强化学习的诞生主要源于以下几个原因：

1. 试错学习：强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。这种方法模拟了生物体在自然环境中的学习过程，通过不断地尝试和错误来找到最佳的行为策略。
2. 心理学启发：强化学习理论受到行为主义心理学的启发，它强调智能体在与环境的交互过程中通过接收奖励或惩罚来学习正确的行为。这种学习方式与人类和动物的学习过程有一定的相似性。
3. 解决复杂问题：强化学习旨在解决一些复杂的问题，如自动控制、机器人交互系统、游戏AI等。这些问题需要智能体能够根据当前环境状态选择最佳的动作，并在长期内最大化累积奖励。强化学习提供了一种有效的框架来解决这类问题。
4. 多学科融合：强化学习涉及概率论、统计学、逼近论、凸分析、计算复杂性理论、运筹学等多学科知识。这种多学科融合使得强化学习能够充分利用各种数学工具和算法来优化学习过程和提高性能。

总的来说，强化学习的诞生是为了解决复杂问题，模拟生物体的学习过程，并通过试错和多学科融合的方法来实现智能体的自主学习和决策能力。如今，强化学习已经在许多领域取得了显著的成果，如围棋、电子游戏、机器人控制等。随着深度学习技术的发展，深度强化学习也逐渐成为研究热点，为解决更复杂的问题提供了新的思路和方法。

更多知识背景：

机器学习的诞生需求

机器学习的诞生源于对自动化和智能化的需求。随着数据量的爆炸性增长和计算能力的不断提升，传统的基于规则或手动编程的方法已无法有效处理和分析这些数据。因此，需要一种能够自动从数据中学习并改进性能的方法，这就是机器学习的核心需求。

监督学习的关键技术与实现步骤

监督学习是机器学习的一种常见范式，它通过学习输入到已知标签的映射来进行训练。关键技术包括：

1. 特征工程：选择和构造与任务相关的特征，以便机器学习模型能够更好地理解数据。
2. 模型选择：根据任务和数据特点选择合适的监督学习模型，如线性回归、决策树、支持向量机等。
3. 参数调优：通过交叉验证、网格搜索等方法优化模型的超参数，以提高模型性能。
4. 评估与选择：使用准确率、召回率、F1分数等指标评估模型的性能，并选择最佳模型。

实现步骤通常包括：

1. 数据收集与预处理：收集相关数据并进行清洗、归一化等预处理操作。
2. 特征提取与选择：从原始数据中提取有用的特征，并可能进行特征选择以降低维度。
3. 模型训练：使用训练数据集对选定的监督学习模型进行训练。
4. 模型评估与优化：使用验证数据集对模型进行评估，并根据评估结果进行模型优化。
5. 预测与应用：使用测试数据集对模型进行最终评估，并将模型应用于实际任务中。

无监督学习的关键技术与实现步骤

无监督学习是另一种机器学习范式，它旨在从无标签的数据中学习数据的内在结构和关系。关键技术包括：

1. 聚类分析：将数据点分组为具有相似性的簇，如K-means、层次聚类等。
2. 降维技术：通过主成分分析（PCA）、t-SNE等方法将数据从高维空间映射到低维空间，以便可视化和处理。
3. 关联规则学习：挖掘数据集中项集之间的有趣关系，如Apriori、FP-Growth等算法。
4. 生成模型：学习数据的概率分布并生成新的样本，如自编码器、生成对抗网络（GAN）等。

实现步骤通常包括：

1. 数据收集与预处理：与监督学习类似，收集相关数据并进行预处理。
2. 特征提取与选择（可选）：在某些情况下，可能需要进行特征提取或选择以改善性能。
3. 模型选择与训练：根据任务和数据特点选择合适的无监督学习模型，并使用训练数据集进行训练。
4. 结果解释与评估：对模型的结果进行解释和评估，以理解数据的内在结构和关系。
5. 应用与优化：将模型应用于实际任务中，并根据需要进行优化和改进。

区别：

1. 数据标签：监督学习需要带有标签的数据进行训练；而无监督学习则不需要标签，它试图从数据中直接学习结构和关系。
2. 学习目标：监督学习的目标是学习输入到已知标签的映射；而无监督学习的目标是发现数据中的内在结构和关系或生成新的数据样本。
3. 应用场景：监督学习常用于分类、回归等任务；而无监督学习常用于聚类、降维、关联规则挖掘等任务。

联系：

1. 数据预处理：在数据预处理阶段，两者都需要对数据进行清洗、归一化等操作以提高模型性能。
2. 特征工程：尽管在无监督学习中特征工程的重要性相对较低，但在某些情况下仍然需要进行特征提取或选择以改善性能。因此，特征工程在两者中都有一定的应用。
3. 模型评估与优化：无论是监督学习还是无监督学习，都需要对模型进行评估和优化以提高性能。评估指标和方法可能因任务而异，但优化的目标是相似的。
4. 同时使用：在某些复杂任务中，可能会同时使用监督学习和无监督学习。例如，可以先使用无监督学习对数据进行聚类或降维处理，然后再使用监督学习对处理后的数据进行分类或回归任务。这种结合可以充分利用两者的优势并提高整体性能。

其他关键知识点：

1. 深度学习：深度学习是机器学习的一个子领域，它利用深度神经网络来模拟人类的学习过程。深度学习在计算机视觉、自然语言处理等领域取得了显著的成果，是当前人工智能研究的重要方向之一。了解深度学习的基本原理、常见模型（如CNN、RNN、GAN等）以及应用场景是非常必要的。
2. 强化学习：强化学习是机器学习的另一个重要范式，它旨在让智能体在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标。强化学习在游戏AI、自动控制等领域有广泛的应用前景。了解强化学习的基本原理、常见算法（如Q-learning、Policy Gradient等）以及应用场景也是非常重要的。
3. 数据科学与大数据处理技术：随着大数据时代的到来，数据处理和分析技术变得越来越重要。了解数据科学的基本概念、数据清洗与预处理技术、数据挖掘与分析方法以及大数据处理平台（如Hadoop、Spark等）是非常有帮助的。这将有助于更好地理解和应用机器学习算法，并解决实际问题中的数据挑战。
4. 可解释性与透明性：随着机器学习模型在许多领域的应用越来越广泛，模型的可解释性和透明性也变得越来越重要。了解如何解释机器学习模型的预测结果、评估模型的可靠性以及识别潜在的偏见和错误是非常关键的。这将有助于建立更加可信和负责任的人工智能系统。