spark 3.4.4 利用Spark ML中的交叉验证、管道流实现鸢尾花分类预测案例选取最优模型
本案例详细介绍了在Spark中使用交叉验证、逻辑回归以及管道流（Pipeline）实现鸢尾花数据集最优模型选择的过程，并提供了Scala语言的示例代码。通过管道流机制，将数据预处理、特征选择和模型训练等阶段整合在一起，提高了机器学习流程的清晰度和可复用性。同时，结合交叉验证方法，提高了模型性能评估的
【大数据分析】从零开始揭秘大数据的奥秘 | 第一步全面入门
在信息爆炸的时代，数据无处不在。大数据分析作为一项改变世界的技术，正在推动商业、科技乃至社会的深刻变革。本篇文章将带你从零开始了解大数据分析，揭开其核心概念、生态系统、关键角色以及实际应用的神秘面纱。如果你对大数据感兴趣，这将是你的最佳入门指南！大数据（Big Data）并不仅仅是指数据规模庞大，而
【大选】2024年美国总统选举数据分析可视化
本项目通过2024年美国大选数据，结合Plotly和pandas快速绘制美国地图，以及相关图表直接展示相关数据
大数据与分析：数据挖掘概念及流程
数据挖掘是一个从大量数据中提取有价值信息和模式的复杂过程，它依赖于多种算法和工具。
10大核心应用场景，解锁AI检测系统的智能安全之道
思通数科AI检测系统以深度学习、计算机视觉和多模态数据融合技术为基础，通过智能化监控和实时反馈，为企业提供全面的作业安全和流程管理解决方案。思通数科AI检测系统以其强大的技术能力和灵活的适应性，为企业提供了安全、高效、智能的作业监控解决方案。无论是工业、能源还是制造领域，该系统都能助力企业实现智能化
笔记分享: 西安交通大学COMP551705数据仓库与数据挖掘——02. 关联规则挖掘
西安交通大学COMP551705数据仓库与数据挖掘
使用 DBSCAN（基于密度的聚类算法） 对二维数据进行聚类分析
使用 make_moons 方法生成一个非线性分布的二维数据集，模拟月亮形状的两个半环形分布，同时添加一定的噪声。
探索数据，洞见未来——第二届大数据与数据挖掘国际会议（BDDM 2024）诚邀参会投稿！
第二届大数据与数据挖掘国际会议（BDDM 2024）将于2024年12月13日-12月15日在中国武汉召开。
量化交易系统开发-实时行情自动化交易-3.4.3.4.期货衍生数据
衍生数据（Derived Data）是通过对原始市场数据进行计算和处理得出的数据，例如技术指标、资金流向、波动率等。这些数据有助于深入了解市场的动态、预测价格走向，并构建和优化交易策略。以下是通过 Python 编写的代码示例，利用期货公开 API（如和讯网、上海期货交易所等）获取并计算期货市场的衍
大数据-220 离线数仓 - 数仓基本概念 数仓特征 与数据库进行对比
面向主题的数据组织方式，就是在较高层次上对分析对象的数据的一个完整、一致的描述，能完整、统一地刻画各个分析对象所涉及的企业的各项数据，以及数据之间的联系。数据仓库中的数据是分析服务的，而分析需要多种广泛的不同数据源以便进行比较、鉴别，数据仓库中的数据会从多个数据源中获取，这些数据源包括多种类型数据库
图数据库| 2 、大数据的演进和数据库的进阶——从数据到大数据、快数据，再到深数据
时至今日，大数据已无处不在，所有行业都在经受大数据的洗礼。但同时我们也发现，不同于传统关系型数据库的表模型，现实世界是非常丰富、高维且相互关联的。此外，我们一旦理解了大数据的演进历程以及对数据库进阶的强需求，就会真正理解为什么“图”无处不在，以及为什么它会具有可持续的竞争优势，并最终成为新一代主流数
大数据-222 离线数仓 - 数仓 数仓模型 事实表 维度表 雪花模型 事实星座 元数据
但是它们之间也有着不同，周期快照事实记录的确定的周期的数据，而积累快照事实记录的不确定的周期的数据。事实数据通常包含大量的行，事实数据表的主要特点是包含数字数据（事实），并且这些数字信息可以汇总，以提供有关单位作为历史的数据，事实表的粒度决定了数据仓库中数据的详细程度。在大数据平台中，元数据贯穿大数
通过MongoDB Atlas 实现语义搜索与 RAG——迈向AI的搜索机制
MongoDB Atlas 的向量搜索功能为语义搜索和 RAG 提供了一个高效的数据库管理平台。在这个全新的应用场景下，Atlas 的向量检索能力支持开发者实现高效的知识检索和增强型生成应用，使其在智能客服、知识问答、个性化推荐等场景中大放异彩。结合生成式模型的 RAG 应用，MongoDB Atl
大数据-213 数据挖掘 机器学习理论 - KMeans Python 实现 距离计算函数 质心函数 聚类函数
我们需要定义一个两个长度相等的数组之间欧式距离计算函数，在不直接应用计算结果，只比较距离远近的情况下，我们可以用距离平方和代替距离进行比较，化简开平方运算，从而减少函数计算量。此外需要说明的是，涉及到距离计算的，一定要注意量纲的统一。在定义随机质心生成函数时，首先需要计算每列数值的范围，然后从该范围
数据分析工具julius ai如何使用
虽然openai也支持生成图表，但是julius ai这类专门用于数据分析的工具，可以支持更加复制一些的数据处理功能，准确率也更高。但是这些软件也是基于llm+agent的模型，一款工具也不是万能的。大多数大模型只支持python语言，支持r语言的ai数据分析工具还不多。julius ai就支持py
大数据-209 数据挖掘 机器学习理论 - 梯度下降 梯度下降算法调优
上节我们完成了如下的内容：分类技术是机器学习和数据挖掘应用中的重要组成部分，在数据学科中，约70%的问题属于分类问题。解决分类的算法也有很多，如：KNN，使距离计算来实现分类；决策树，通过构建直观易懂的树来实现分类。这里我们要展开的是Logistic回归，它是一种很常见的用来解决二元分类问题的回归方
大数据-211 数据挖掘 机器学习理论 - 逻辑回归 scikit-learn 实现 max_iter 分类方式选参数
因此，如果在max_iter红条的情况下，模型的训练和预测效果都已经不错了，那我们就不需要再增大max_iter中的数目了，毕竟一切都以模型的预测效果为基准，只要模型预测的效果好，运行又快，那就一切都好。如果模型有 T 类，我们每次在所有的 T 类样本里面选择两类样本出来，不防记为 T1 和 T2，
大数据-216 数据挖掘 机器学习理论 - KMeans 基于轮廓系数来选择 n_clusters
有时间，当我们 n_cluster 选择不符合数据的自然分布，或者我们为了业务需求，必须要填入与数据的自然分布不合的 n_cluster，提前让迭代停下来反而能够提升模型的表现。初始质心放置的位置不同，聚类的结果很可能也会不一样，一个好的质心选择可以让 KMeans 避免更多的计算，让算法收敛稳定且
【NVIDIA NIM 黑客松训练营】基于NVIDIA NIM 平台提供的免费GPU和AI大模型能力实现数据分析问答系统
NVIDIA提供了免费的GPU和AI算力，旨在向各大公司及开发者推广自己的AI能力，开发者首次体验会免费提供1000个Credits left和至少个大模型[“mistralai/mistral-7b-instruct-v0.2”, “meta/llama-3.1-405b-instruct”]。由
2024 年（第 7 届）“泰迪杯”数据分析技能赛A 题 自动化生产线数据分析 完整代码结果分享
一、背景随着信息技术的快速发展，工业自动化领域的智能控制系统日益完善。自动化生产线能够独立完成从物料输送到元件抓取，再到产品安装和质量检验的各个环节，这不仅极大提升了制造效率和产品质量，也有效降低了生产成本。为了使企业的管理层和工程技术人员及时掌握生产线的运行状况和潜在问题,需要对生产线产生的数据进
