【大数据】LOF算法
LOF算法，全称为局部异常因子（Local Outlier Factor）算法，是一种用于异常检测的无监督学习算法。该算法通过比较数据点与其邻居的局部密度差异来识别异常值。在LOF算法中，异常值被定义为那些密度显著低于其邻居的点。
Hive SQL 分组与连接操作详解
Group By语句通常会和聚合函数一起使用，按照一个或者多个列对结果进行分组，然后对每个组执行聚合操作。
大数据之Spark RDD 持久化
大数据之Spark RDD 持久化
大数据-133 - ClickHouse 基础概述 全面了解
ClickHouse 是一个快速开源的OLAP数据库管理系统，它是面向列的，允许使用SQL查询实时生成分析报告。随着物联网IOT时代的来临，IOT设备感知和报警存储数据越来越大，有用的价值数据需要数据分析师去分析。大数据分析成了非常重要的环节，开源也为大数据分析工程师提供了十分丰富的工具，但这也增加
【大数据】深入浅出Hadoop，干货满满
Hadoop是一个开源的分布式计算平台，由Apache软件基金会开发和维护。它是大数据处理的基石，能够高效地存储和处理大规模数据。目前业界基本上用的都是**Hadoop及其生态下的产品**。Hadoop的主要特点是高可靠性和高扩展性，它可以在成百上千个节点上运行，每个节点都可以存储和处理数据。
大数据之数据湖Apache Hudi
上图中采用时间（小时）作为分区字段，从 10:00 开始陆续产生各种 commits，10:20 来了一条 9:00 的数据，该数据仍然可以落到 9:00 对应的分区，通过 timeline 直接消费 10:00 之后的增量更新（只消费有新 commits 的 group），那么这条延迟的数据仍然可
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
Flink SQL 是 Apache Flink 提供的一种高层次的查询语言接口，它基于 SQL 标准，为开发者提供了处理流式数据和批处理数据的能力。Flink SQL 允许用户使用标准 SQL 查询语言在数据流和数据表上执行复杂的操作，适用于多种应用场景，如实时分析、数据流处理、机器学习等。Fli
大数据-134 - ClickHouse 集群三节点 安装配置启动
随着大数据时代的到来，企业对高效数据处理和实时分析的需求日益增长。ClickHouse，一款开源的高性能列式数据库，因其卓越的查询速度和可扩展性，正成为数据分析领域的明星产品。比如Hadoop集群、Kafka集群、Redis集群等。我们需要停止之前的服务，来空出一定的内存和端口给 ClickHous
大数据平台Hadoop实验环境部署（完全分布式集群模式）
本文讲述了hadoop大数据实验平台完全分布式集群部署详情
第十四章 大数据和数据科学
信息收敛三角数据科学数据科学将数据挖掘、统计分析和机器学习与数据集成整合，结合数据建模能力，去构建预测模型、探索数据内容模式。分析对比数据仓库主要用于描述性分析，提供事后的结论数据科学侧重于预测性和规范性分析，旨在为未来提供预测和决策支持。数据仓库关注已发生事情的总结，而数据科学强调对未来的洞察和预
基于Kafka的大数据实时流处理系统设计与实现
在实际应用中，企业可以根据自身业务需求和数据特点选择合适的系统架构和数据处理方案，以实现数据的快速响应和智能分析。同时，还需要关注数据安全和隐私保护等方面的问题，确保数据在传输和处理过程中的安全性和完整性。本文将深入探讨Kafka在构建实时数据流处理系统中的作用，并介绍如何实现高效的数据传输和处理，
flink on yarn 部署方案
FLINK ON YARN 3种部署方式：在生产中建议使用 Per-job 或 Application Mode 模式部署 Flink 应用程序，这些模式为应用程序提供了更好的隔离.一个任务启动一个Flink集群, 各个 Flink 集群之间独立运行, 互不影响, 而且每个集群可以单独进行配置。1、
Prometheus监控Flink CDC任务
【代码】Prometheus监控Flink CDC任务。
大数据-128 - Flink 并行度设置 细节详解 全局、作业、算子、Slot
一个Flink程序由多个Operator组成（Source、Transformation、Sink）。一个Operator由多个并行的Task（线程）来执行，一个Operator的并行Task（线程）数目就被称为该Operator（任务）并行度（Paralle）并行度可以有如下几种指定方式。Flin
大数据-130 - Flink CEP 详解 - CEP开发流程 与 案例实践：恶意登录检测实现
所以，二进制输入完毕，如果满足最终状态，也就是最后停在S1状态，那么输入的二进制数就含有偶数个0。对超时的部分模式序列应用超时函数，对于每个部分模式序列，调用提供的 PatternTimeoutFunction，模式超时函数只能产生一个结果元素。对检测到的序列模式序列应用选择函数，对于每个模式序列，
Apache DolphinScheduler大规模任务调度系统对大数据实时Flink任务支持
转载自神龙大侠我是用olphinScheduler 3.2.1版本做源代码编译部署（部署方式参考我的另外一篇文档二进制文件部署本文也适用，只需要修改相对应的配置即可。
大数据测试怎么做，数据应用测试、数据平台测试、数据仓库测试
大数据，是指一个公司创造或收集的“结构化”、“半结构化”或者“非结构化”的海量数据集合。它的意义不在于掌握的数据量是最大的，而在于能否有效、专业的对这些数据进行加工处理，并让这些海量的、多样化的数据产生最大的价值。
大数据新视界 --大数据大厂之HBase深度探寻：大规模数据存储与查询的卓越方案
本文深入探讨 HBase 在大数据领域的卓越表现。涵盖与其他技术对比、性能优势及调整方法、常见性能问题与解决办法、广泛应用领域及对不同受众群体的意义。通过实际案例和代码示例，详细阐述 HBase 的可扩展性、高可靠性、高并发读写等优势，以及应对读写性能、存储、集群管理和查询不稳定等问题的策略。适用于
为什么需要电脑监控？
在企业管理中，电脑监控软件逐渐成为提升工作效率和保障信息安全的关键工具。随着远程办公的普及和信息安全的重要性日益提升，越来越多的企业开始重视对员工电脑活动的监控。本文将探讨电脑监控的必要性和实施过程中的一些关键考量。固信软件。
基于Node.js+vue基于大数据的疫情追踪系统的设计和实现(开题+程序+论文) 计算机毕业设计
基于大数据的疫情追踪系统能够实时收集、整合并分析来自多源的数据，包括患者轨迹、医疗资源分布、人群流动等，为疫情防控提供科学决策支持，成为应对疫情挑战的重要工具。通过该系统的应用，为疫情防控提供强有力的技术支持，助力全球抗击疫情。本研究的意义在于，通过设计并实现基于大数据的疫情追踪系统，能够有效提升疫
