Hadoop 大数据技术原理与应用 （1）
a. 概念：从字面意思来看，大数据指海量数据；从特点来看，大数据具有海量、流转快、数据类型丰富及价值密度低等特点b. 数据类型：大数据的数据类型丰富多样，包括网页文件、表格文件、XML文件、文本数据、多媒体数据（视频、图片等）。按数据结构来分为 1）结构化数据 （标准化格式的数据） 2）半结构化数据
Flink 1.19.1 standalone 集群模式部署及配置
config.yaml: jobmanager address 统一使用 dev001，bind-port 统一改成 0.0.0.0，taskmanager address 分别更改为dev所在host。flink 1.19起 conf/flink-conf.yaml 更改为新的 conf/conf
RabbitMQ通配符模式
RabbitMQ通配符模式
Kafka入门到精通(三)-Kafka
Kafka是由开发的一个开源流处理平台，由和编写。Kafka是一种高的分布式消息系统，它可以处理消费者在网站中的所有数据。这种动作（，搜索和其他用户的行动）是在现代网络上的许多的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像一样的日志数据和系统，但又要求的限制，这
C/C++ 如何发送与接收Kafka消息
系统之间通信方式很多如：系统之间调用（http/rpc等），异步间接调用如发送消息、公共存储等。目前，本人从事的项目中遇到web业务工程（Java）依赖与算法工程(C++) 处理的视频/图片分类与标记结果。算法工程为C/C++工程，本文将介绍如何在C/C++中如何发送与接收Kakfa消息（Kafka
Kafka的Rebalance机制与分区分配策略详解
Kafka 中的 Rebalance（重平衡）机制是在消费者组的成员发生变化时，重新分配分区以确保每个消费者都能处理适当数量的分区。这种机制对于保证数据消费的平衡性和系统的高可用性至关重要。有新的消费者加入消费者组时，需要重新分配分区，以便新的消费者也能接收到数据。消费者退出或崩溃时，组内的分区需要
如何将区块链与大数据结合，为行业带来革命性变革
1.背景介绍区块链技术和大数据技术都是21世纪的热门话题之一，它们各自具有独特的优势，如果将它们结合起来，将会为各行业带来革命性变革。区块链技术可以提供一个安全、透明、去中心化的数据共享平台，而大数据技术则可以提供海量、多样化的数据源，这两者的结合将有望解决许多传统技术难以解决的问题。在本文中，我们
.net core 发送消息到kafka，Doris进行消费，
kafka推送消息到Doris，然后进行消费，数据分析
如何使用 GraalVM 减少与 Kafka 集成测试中的内存消耗
在本文中，我想分享我使用 GraalVM 为 EmbeddedKafka 创建本机映像的经验。在集成测试中使用此映像不仅可以加快测试场景的执行速度，还可以减少内存消耗。有趣的是，与在 Testcontainers 中使用confluentinc/cp-kafka相比，在速度和内存使用方面存在明显差异
zookeeper 允许HTTP TRACE / TRACK方法 端口8080
进入zookeeper的bin目录下，在启动脚本zkServer.sh增加参数，查找nohup，在本行增加参数：-Dzookeeper.admin.enableServer=false。风险描述：远程Web服务器支持TRACE和/或TRACK方法。TRACE和TRACK是用于调试Web服务器连接的H
毕设成品 大数据电影数据分析与可视化系统
今天学长向大家介绍一个机器视觉的毕设项目🚩基于大数据的电影数据分析与可视化系统毕业设计 大数据电影评论情感分析。
在 Windows 搭建 flink 运行环境并模拟流数据处理
在大数据场景中，开发者追求高效与灵活，Linux 系统以其稳定性成为众多组件的首选，但在资源有限的情况下，在本机搭建一个 Linux 虚拟机集群却显得过于笨重，启动、运行占资源，需要配置网络，无法和windows共享资源，尤其是对只有 8GB 内存的 Windows 系统用户来说，内存压力显而易见。
kafka消费者配置参数详解
需要注意的是，max.poll.records 参数和 max.poll.interval.ms 参数是相互关联的。如果 max.poll.records 参数设置得较大，那么 max.poll.interval.ms 参数应该设置得相对较小，以确保消费者能够及时处理数据。ps:fetch.min.
【AI大数据计算原理与代码实例讲解】大数据
【AI大数据计算原理与代码实例讲解】大数据作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming关键词：大数据计算原理, 大数据存储, 数据处理流程, 分布式计算, MapReduce, Spark, Hadoop生态系统
RabbitMQ02-RebbitMQ简介及交换器
RabbitMQ是通过Erlang语言基于AMQP协议编写的消息中间件，它在分布式系统中可以解应用耦合、流量削峰、异步消息等问题。它有两个特性队列排队和异步应用解耦：多个个应用程序之间可通过RabbitMQ作为媒介，两个应用不再粘连，实现解耦；异步消息：多个应用可通过RabbitMQ进行消息传递；流
数据仓库实践：使用 SQL 计算材料BOM成本单价
初始化时使用核价和成本单间仍然不能完全覆盖企业内使用的所有的材料，尤其是BOM结构复杂、材料料号过多的情况下。所以一般情况下，企业会使用BOM关系，将材料的单价汇总计算到上阶材料。数据仓库实践：使用SQL汇总BOM数据分析维度 http://t.csdnimg.cn/gZ1pS部分 dim_bom
Kafka-02 @KafkaListener学习
SpringBoot 和 Kafka 搭配使用的场景，引入 spring-kafka 即可；</</</</
关于Docker本地的镜像文件存放位置说明
但是，不同的操作系统下，Docker镜像的存储位置会有所不同。与Linux和Windows系统类似，Mac系统下的Docker存储结构也包括了多个子目录，用于存储容器、镜像和数据卷等信息。目录下，Docker会为每个正在运行的容器创建一个UUID命名的目录，用于存放该容器和它的元数据。这些路径下的子
HIVE无法启动问题
HIVE无法启动问题
Spark中的JOIN机制
Apache Spark共提供了五种JOIN机制，其中常用的有三种：Shuffle Hash Join、Broadcast Hash Join及Sort Merge Join，它们都基于Hash Join，只不过需要在Hash Join前后进行Shuffle、Broadcast或Sort实际上，Ha
