kafka 集群的安装以及配置
kafka 集群的安装以及配置
云时代，好用的数据迁移方案推荐
本文将介绍数据库迁移的步骤以及市面上常见的迁移工具。平台工具(例NineData) 的自动化体验及配套设施（例：数据校验工具、迁移限流、监控告警等）一般较为完善，是比较推荐的选择。
离谱！面试为啥都问Kafka？赶紧补一下
Apache Kafka是一个高吞吐量、分布式、可水平扩展的消息传递系统，最初由LinkedIn开发。它的目标是解决海量数据的实时流式处理和传输问题。Kafka的核心思想是将数据转化为流，并以发布-订阅的方式传递。上图描述了Kafka的核心概念和数据流向。从中可以看出，生产者将消息发布到主题，消费者
filebeat到kafka示例
filebeat到kafka示例
tp6 RabbitMQ
tp6 RabbitMQ
【使用Zookeeper当作注册中心】自己定制负载均衡常见策略
Hash 策略一般指的是一次性 Hash 算法实现的策略。传统的 hash 在添加或删除一个节点的时候，会出现缓存失效，失效缓存比例为：m/(m+1)；传统hash一般是将资源的 hashcode % table.size()（服务数）得到节点索引然后将访问服务，这样的话当增加一个节点的时候，除了h
hdfs中的租约机制及Flink写hdfs文件未关闭及ORC
主租约是由文件的创建者持有的，它控制着文件的写入和编辑权限。主租约的持有者可以选择将租约延长，以延续对文件的写入和编辑权限。在HDFS中，租约机制的主要目的是确保并发写入时的数据一致性和文件的完整性。通过租约机制，HDFS可以保证在同一时间只有一个用户可以对文件进行写入或编辑操作，从而避免了数据冲突
开放源码：Flink 是 Apache 顶级开源项目，其源码开放透明，允许社区成员贡献代码，为大数据生态发展提
作者：禅与计算机程序设计艺术 1.简介Apache Flink 是 Apache 基金会旗下的一个开源项目，其核心功能包括对实时事件流处理、批处理等进行统一计算模型抽象，同时支持多种编程语言和运行环境，具备高容错性、高并发、低延迟等特性。通过可插拔的 API 和
搭建伪分布式Hadoop
搭建伪分布式Hadoop
Zookeeper、Kafka集群与Filebeat+Kafka+ELK架构、部署实例
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据领域的实时计算以及日志收集。Kafka 是最初由 Linkedin 公司开发，是一个分布式、支持分区的（pa
VMware CentOS 虚拟机 Hadoop集群网络 配置静态IP
VMware CentOS构造Hadoop集群时，往往需要VMnet8这个虚拟交换机来连接集群内各服务器，而集群服务器之间互相频繁访问，需要指定IP地址。这就需要把各服务器分配静态的IP地址。本文详细地给出了网段IP地址的规划和设置步骤。最主要地是要设置网关地址。
Flume实战篇-采集Kafka到hdfs
Flume实战篇-采集Kafka到hdfs
Flink学习——处理函数ProcessFunction及多流转换
处理函数processFunction、分流output、合流union/connect/join
RabbitMQ（最新）：安装教程详解
MQ即消息队列（Message Queue），是一种用于进行异步通信的技术。它允许应用程序异步地向队列中发送消息，而不需要立即等待接收方处理完毕。MQ将消息缓存在队列中，等待消费者进行处理RabbitMQ是一个开源的消息队列中间件，它实现了协议，并提供了一套强大的消息传递机制。它是由Erlang语言
07_Hudi案例实战、Flink CDC 实时数据采集、Presto、FineBI 报表可视化等
7.第七章 Hudi案例实战7.1 案例架构7.2 业务数据7.2.1 客户信息表7.2.2 客户意向表7.2.3 客户线索表7.2.4 线索申诉表7.2.5 客户访问咨询记录表7.3 Flink CDC 实时数据采集7.3.1 开启MySQL binlog7.3.2 环境准备7.3.3 实时采集数
spark获取hadoop服务token
spark提交作业不含hbase的相关逻辑为什么会去获取hbase服务的token
MQ 的基本原理
对于 MQ 来说，不管是 RocketMQ、Kafka 还是其他消息队列，下面我们以这个本质作为根，一起由浅入深地聊聊 MQ。01 从 MQ 的本质说起将 MQ 掰开了揉碎了来看，都是「一发一存一消费」，再直白点就是一个「转发器」。生产者先将消息投递一个叫做「队列」的容器中，然后再从这个容器中取出消
Kafka3.0.0版本——消费者（自动提交 offset）
Kafka3.0.0版本——消费者（自动提交 offset）
Kafka快速入门(最新版3.6.0)
kafka解决通信问题
记一次docker安装kafka，zookeeper拒绝连接的问题
kafka的启动参数KAFKA_ZOOKEEPER_CONNECT不能是localhost:2181，因为不是在一个容器中，localhost改为ip地址就可以了。确保 ZooKeeper 容器中的 /conf 目录中存在 log4j.properties 配置文件。nc 命令连接到 localho
