Hadoop 之 Spark 配置与使用（五）
Spark 单机部署、集群部署Java 访问 Spark 测试
ZooKeeper最新版本集群和单机模式安装
1. 单机模式2. 单机伪集群模式 ⼀台服务器上运⾏多个Zookeeper 实例；3. 集群模式 Zookeeper运⾏于⼀个集群上，适合⽣产环境，这个计算机集群被称为⼀个“集合体”4. 如果在分布式的生产环境中使用ZooKeeper，推荐使用大于3的奇数节点个数搭建集群，这样能提升系统的可用性。
Datax安装
Datax安装十分简单
springboot与rabbitmq的整合【演示5种基本交换机】
rabbitmq的5种交换机与springboot的案例。
Kafka Connect JNDI注入漏洞复现(CVE-2023-25194)
2、无法升级的用户可通过验证Kafka Connect连接器配置，仅允许受信任的JNDI配置来缓解此漏洞。在该功能中，将payload填写到Consumer properties属性值中即可。在payload提交前，请先在vps机器中开启ldap服务。在Load data功能页中的Streaming
Hadoop集成Hive
说明：服务器已用主机名代替，可根据自己的需求，改为IP地址环境1、java版本1.82、Rsync CentOS中默认存在3、zstd、openssl、autoconf、automake、libtool、ca-certificates安装4、ISA-L5、nasm与yasm6、ssh7、hadoop
【SpringCloud】RabbitMQ基础
基本消息队列的消息发送流程：建立connection创建channel利用channel声明队列利用channel向队列发送消息基本消息队列的消息接收流程：建立connection创建channel利用channel声明队列定义consumer的消费行为handleDelivery()利用chann
Flink RocketMQ Connector实现
Public可以看到，自定义的Source，只需要实现SourceFunction。创建FlinkRocketMQConsumer，实现SourceFunction，重写run()和cancel()方法@Override@Override这样，在FlinkRocketMQConsumer类加载的时候
kafka 对 java NIO 的封装
NetworkReceive: 对 NIO 中读 Buffer 的封装，用来缓存接收的数据。NetworkSend: 对 NIO 中写 Buffer 的封装，用来缓存发送的数据。KafkaChannel: 把 TransportLayer, NetworkReceive 和 NetworkSend
大数据Flink（五十）：流式计算简介
批量计算是维护一张表，对表进行实施各种计算逻辑。流式计算相反，是必须先定义好计算逻辑，提交到流式计算系统，这个计算作业逻辑在整个运行期间是不可更改的。计算结果上，批量计算对全部数据进行计算后传输结果，流式计算是每次小批量计算后，结果可以立刻实时化展现。，这样的场景下，传统的统一收集数据，再存到数据库
RabbitMQ的数据存储
数据存储
kafka - windows 10 环境安装kafka-2.8.2单机测试环境
示例：>kafka-console-consumer.bat --bootstrap-server 127.0.0.1:9092 --topic topic2023 --from-beginning。# 示例：>kafka-console-producer.bat --broker-list 127
【RabbitMQ】之消息的可靠性方案
RabbitMQ 消息的可靠性涉及 producer 端的确认机制、broker 服务的持久化与镜像队列的配置、consumer 端的确认机制。要想确保消息的可靠性越高，那么性能也会随之而降，所以需要根据实际情况进行选择和取舍。
时间序列数据库 (TSDB)
阿里云时序数据库TSDB
Flink之Kafka Sink
Kafka Sink
Hadoop-yarn-未授权访问漏洞
Hadoop是由Apache基金会所开发的分布式系统基础架构，由于服务器直接开放了Hadoop的某些端口而造成了漏洞。本文是docker中的Hadoop-yarn-未授权访问漏洞复现。
Flink
Session 模式用于长时间运行的交互式会话，可以动态提交和管理多个作业。- Application 模式用于一次性或短暂运行的作业，需要将作业打包并手动提交到 Flink 集群执行。Flink 支持这两种模式，可以根据不同的应用场景和需求选择使用适合的模式。
RabbitMQ安装、端口修改、简单的角色介绍
本文主要介绍RabbitMQ的安装、端口修改以及它内部的角色权限说明
kafka权威指南（阅读摘录）
在使用 Kafka 构建数据管道时，通常有两种使用场景：第一种，把 Kafka 作为数据管道的两个端点之一，例如，把 Kafka 里的数据移动到 S3 上，或者把 MongoDB 里的数据移动到 Kafka 里；第二种，把 Kafka 作为数据管道两个端点的中间媒介，例如，为了把 Twitter 的
Rancher上Containers with unready status: [xxx]问题处理
Rancher(k8s)上Containers with unready status: [xxx]问题处理1、查看了下本地及私镜像都存在2、于是重启了下Docker容器，再观察下service docker restart 也可根据情况reboot重启主机 （如果有相关问题，可加微信: java
