【Python机器学习】模型评估与改进——二分类指标
二分类可能是实践中最常见的机器学习应用，也是概念最简单的应用。但是即使是评估这个简单的任务也仍有一些注意事项。对于二分类问题，我们通常会说正类和反类，而正类使我们要寻找的类。
指标预警设置的方法及流程
如果你有具体的业务场景或需要进一步的帮助，可以告诉我更详细的信息。：为每个指标设定预警阈值，这些阈值可以是固定的数值，也可以是基于历史数据计算出的动态阈值。：根据预警的效果和业务需求，不断调整阈值和预警策略，确保预警系统能够及时准确地反映业务情况。：确定如何通知相关人员，常见的方式包括邮件、短信、即
大数据-195 数据挖掘 机器学习理论 - 监督学习算法 KNN 近邻 代码实现 Python
当然只对比一个样本是不够的，误差会很大，他们就需要找到离其最近的 K 个样本，并将这些样本称为【近邻】nearest neighbor，对这 K 个近邻，查看它们都属于任何类别（这些类别称为称为【标签】labels）。我们常说的欧拉公式，即“欧氏距离”，回忆一下，一个平面直角坐标系上，如何计算两点之
大数据-202 数据挖掘 机器学习理论 - 决策树 sklearn 绘制决策树 防止过拟合
在每次分支的时候，不使用全部特征，而是随机选取一部分特征，从中选取不纯度相关指标最优的作为分支用的节点。我们之前提过，无论决策树模型如何进化，在分支上的本质都还是追求某个不纯度相关的指标的优化，而正如我们提到的，不纯度是基于节点计算出来的，也就是说，决策树在建树时，是靠优化节点来追求一棵优化的树，但
大数据-198 数据挖掘 机器学习理论 - scikit-learn 归一化 距离的惩罚
最近邻点距离远近修正在对未知分类过程中，一点一票的规则是 KNN 模型优化的一个重要步骤，也就是说，对于原始分类模型而言，在选取最近的 K 个元素之后，将参考这些点的所属类别，并对其进行简单计数，而在计数的过程中这些点一点一票，这些点每个点对分类目标点的分类过程中影响效力相同。但这实际上不公平的，就
大数据-199 数据挖掘 机器学习理论 - 决策树 模型 决策与条件 香农熵计算
左图表示了特征空间的一个划分，假定现在只有 W10 和 W20 两个决策点，特征空间被决策点沿轴划分，并且相继划分相互正交，每个小矩形表示一个区域，特征空间上的区域构成了集合，X 取值为区域的集合。由于决策树表示一个条件概率的分布，所以深浅不同的决策树对应着不同的复杂度的概率模型，其中决策树的生成只
大数据-197 数据挖掘 机器学习理论 - scikit-learn 泛化能力 交叉验证
在业务中，我们训练数据往往都是以往已经有的历史数据，但我们的测试数据却是新进入系统的数据，我们追求模型的效果，但是追求的是模型在未知数据集上的效果，在陌生的数据集上表现的能力被称为泛化能力，即我们追求的是模型的泛化能力。通常来说，我们认为经过验证集找出最终参数后的模型的泛化能力是增强了的，因此模型在
大数据-196 数据挖掘 机器学习理论 - scikit-learn 算法库实现 案例1 红酒 案例 2 乳腺癌
KNN 中的一个超参数，所谓“超参数”，就是需要人为输入，算法不能通过直接计算得出这个参数，KNN 中的 K 代表的是距离需要分类的测试点 X 最近的 K 个样本，如果不输入这个值，那么算法中重要部分“选出 K 个最近邻”就无法实现。如果选择的 K值较小，就相当于较小的领域中的训练实例进行预测，这时
大数据-200 数据挖掘 机器学习理论 - 决策树 数据集划分 决策树生成 ID3 C4.5
而在信息熵指数的指导下，决策树生成过程的局部最优条件也非常好理解：即在选取属性测试条件（attribute test condition）对某节点（数据集）进行切分的时候，尽可能选取使得该节点对应的子节点信息熵最小的特征进行切分。同时我们知道，全局最优树没有办法简单高效的获得，因此此处我们仍然要以局
大数据-194 数据挖掘 机器学习理论 有监督、无监督、半监督、强化学习
从上图我们看出，对于复杂的数据，低阶多项式往往是欠拟合的状态，而高阶多项式则过分捕捉噪声数据的分布规律，而噪声数据之所以称为噪声，是因为其分布毫无规律可言，或者其分布毫无价值，因此就算高阶多项式在当前训练集上拟合度很高，但其捕捉到无用规律无法推广到新的数据集上，因此该模型在测试数据集上执行过程将会有
人工智能在病理切片虚拟染色及染色标准化领域的系统进展分析｜文献速递·24-07-07
这篇文章介绍了一个自动化的端到端深度学习框架，用于从未经染色的病理图像中进行分类和肿瘤定位。研究由Akram Bayat、Connor Anderson和Pratik Shah等人完成，并发表在2021年SPIE医学成像会议的图像处理卷中。背景与挑战：传统的组织病理学图像分析依赖于染色技术，但存在样
【大数据】数据分析之Spark框架介绍
Spark是一种快速、通用、可扩展的大数据分析引擎，它基于内存计算的大数据并行计算框架，能够显著提高大数据环境下数据处理的实时性，同时保证高容错性和高可伸缩性。上面的示例代码展示了如何使用 Java 编写 Spark 应用程序来处理不同类型的数据和任务。然而，由于 Spark 的广泛功能和 Java
机器学习实验报告——朴素贝叶斯
朴素贝叶斯模型的简单性和高效性使其成为许多实际问题的首选方法之一，尤其是在数据量大、特征独立性高或需要快速原型开发的场景中表现突出。
万字详解AI实践，零手写编码用AI完成开发 + 数据清洗 + 数据处理 的每日新闻推荐，带你快速成为AI大神
全程不需要自己写一行代码，我们就完成了前后端开发和数据处理、数据清洗。实际上这也是未来的趋势，在AI的加持下，我们每一个人的能力都会被无限放大，早日尝试并习惯高效使用AI才能帮助我们在新时代的变革中保持竞争力。
Spring Cloud Gateway：构建强大的API网关
微服务架构是一种将应用构建为一组小型、自治服务的方法，每个服务都运行在其独立的进程中，服务间通过轻量级通信机制（通常是HTTP API）进行通信。这种架构模式能够提高系统的可扩展性、灵活性和可靠性。Spring Cloud Gateway是基于Spring Framework构建的API网关，提供了
基于大数据的亚健康人群数据可视化设计和实现
随着B/S结构的不断发展，使用的人也不断增加，从而带动了AJAX技术的发展，和B/S结构一样，它也能在客户端上处理程序，这便缓解了服务器的负担，提高了交互性，而且实现了局部实时刷新。另外在原本的Spring中由于随着项目的扩大导入的jar包数量越来越大，随之出现了jar包版本之间的兼容性问题，而此时
基于Spark 的零售交易数据挖掘分析与可视化
我们使用了 PySpark 来处理一个电商数据集，数据存储在 HDFS 上。通过 SQL 和 RDD 操作实现了多个业务需求分析，并最终将结果保存为 JSON 文件，用于前端展示。后端 Web 服务采用 Bottle 框架，提供静态文件服务和页面展示。
数据处理和分析之分类算法：XGBoost：数据隐私与安全在XGBoost中的考虑
XGBoost, 作为一种高效的机器学习算法，尤其在处理大规模数据集时表现出色，但在数据隐私保护方面存在一定的局限性。数据集中存储：XGBoost训练模型时，通常需要将数据集中存储在内存中，这可能导致敏感数据的泄露风险，尤其是在云环境或跨组织合作中。模型过拟合：虽然XGBoost通过正则化等手段防止
【笔记】Hive基础
Hive基础知识点，基本语法与操作
详解MySQL中MRR(多范围读取)如何优化范围查询
MRR，全称Multi-Range Read Optimization，直译为多范围读取优化，是MySQL中一种用于提高索引查询性能的技术。MRR通过减少随机磁盘访问次数，将随机IO转换为顺序IO，从而提高数据读取的效率。它特别适用于包含范围条件（如BETWEEN、等）的查询，以及需要通过辅助索引访
