RabbitMQ知识
RabbitMQ
Hago 的 Spark on ACK 实践
长期以来，Hago 都是在 IDC 里运行大数据任务，以支撑上面的许多产品，从 2022 年开始，Hago 开始将大数据业务迁移上云，并以 Spark on ACK 的形式来运行，本文主要针对迁移过程进行介绍。
RabbitMQ的基础使用
4.监听消息 使用@RabbitListener 注解 必须有@EnableRabbit才能生效 如果是创建交换机，创建队列 不需要有@EnableRabbit注解。* @RabbitHandler 可以标在方法上 场景 一个队列返回的类型不同 使用这个注解来重载。@RabbitHandler 可以
分布式事务Seata(别名Seta)(持续学习中)
分布式事务,也是属于多线程问题,就是把多台机器变成一台机器(他拥有更多线程,但是也要考虑网络问题),redis在一台机器是单线程的,但是多台机器又回到了多线程问题…当一台机器的时候,只需要本地事务回滚就好了,还有MonogoDB最好不要放敏感数据,特别是旧的版本,没有事务功能(ACID),XA模式：
Logstash输入Kafka输出Es配置
Logstash是一个开源的数据收集引擎，具有实时管道功能。它可以从各种数据源中动态地统一和标准化数据，并将其发送到你选择的目的地。Logstash的早期目标主要是用于收集日志，但现在的功能已经远远超出这个范围。任何事件类型都可以通过Logstash进行分析，通过输入、过滤器和输出插件进行转换。Lo
【头歌实训】Spark 完全分布式的安装和部署
把 evassh 服务器的 /usr/local 目录下的 spark 安装包通过 SCP 命令上传到 master 虚拟服务器的 /usr/local 目录下。Hadoop 集群在启动脚本时，会去启动各个节点，此过程是通过 SSH 去连接的，为了避免启动过程输入密码，需要配置免密登录。把 mast
【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口？！
【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口？！
解决RabbitMq登录时报出Not management user(Login failed)错误
翻译成中文即为非管理用户非管理用户无法登录管理控制台因而报出这个错误。虽然我登录的是guest用户因为账号guest具有所有的操作权限当然可以登录管理控制台。但我在上文中修改guest用户角色为空导致现在无法登录。使用如下命令查看guest权限你会看到guest权限为空因为我在上文点击Add Use
3、Kafka 线上集群部署方案怎么做？
带宽是 1Gbps，即每秒处理 1Gb 的数据，假设每台 Kafka 服务器都是安装在专属的机器上，也就是说每台 Kafka 机器上没有混布其他服务，毕竟真实环境中不建议这么做。超过 70% 的阈值就有网络丢包的可能性了，故 70% 的设定是一个比较合理的值，也就是说单台 Kafka 服务器最多也就
Kafka 如何保证消息消费的全局顺序性
哈喽大家好，我是咸鱼今天我们继续来讲一讲 Kafka当有消息被生产出来的时候，如果没有指定分区或者指定 key ，那么消费会按照【轮询】的方式均匀地分配到所有可用分区中，但不一定按照分区顺序来分配我们知道，在 Kafka 中消费者可以订阅一个或多个主题，并被分配一个或多个分区如果一个消费者消费了多个
大数据实验 实验六：Spark初级编程实践
大数据实验 实验六：Spark初级编程实践
Kafka与Spark案例实践
Kafka系统的灵活多变，让它拥有丰富的拓展性，可以与第三方套件很方便的对接。例如，实时计算引擎Spark。接下来通过一个完整案例，运用Kafka和Spark来合理完成。
【头歌实训】Spark 完全分布式的安装和部署（新）
把 master 节点的 spark 安装包分发到 slave1 节点和 slave2 节点（通过 scp 命令）。1.Standalone：Spark 自带的简单群资源管理器，安装较为简单，不需要依赖 Hadoop；接下来来查看下 slave1 节点连接密码，首先点击 slave1 命令行窗口，再
zookeeper连接客户端操作数据时报错Socket is not connected
zookeeper客户端连接报错：org.apache.zookeeper.ClientCnxnSocketNIO - Ignoring exception during shutdown inputjava.net.SocketException: Socket is not connected
开源分布式搜索引擎ElasticSearch结合内网穿透远程连接
简单几步,结合Cpolar 内网穿透工具实现Java 远程连接操作本地分布式搜索和数据分析引擎Elasticsearch。Cpolar内网穿透提供了更高的安全性和隐私保护，通过使用加密通信通道，Cpolar技术可以确保数据传输的安全性，这为用户和团队提供了更可靠的保护，使他们能够放心地处理和存储敏感
【大数据-Hadoop】从入门到源码编译-概念篇
2011年成立，吸纳Hadoop的雅虎程序员贡献了80%的Hadoop代码，文档较好，Hortonworks Data Platform（HDP）还包括了Ambari（开源的安装和管理系统）。存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限）、以及每个文件的块列表和块所
分布式文件服务器——Windows环境MinIO的三种部署模式
MinIO在Windows环境下 MinIO的三种部署模式：单机单节点、单机纠删码、集群模式。所谓单机单节点模式：即MinIO服务只部署到一台机器上，且只挂载一块磁盘（目录）。单机纠删码模式：依然是部署到一台机器上，只不过同时挂载多块硬盘（目录）。集群模式：顾名思义，MinIO同时部署到多台机器上。
Apache SeaTunnel：新一代高性能、分布式、海量数据集成工具从入门到实践
本文介绍Apache SeaTunnel 以及关于Apache SeaTunnel的部署和使用。Apache SeaTunnel是新一代高性能、分布式、海量数据集成工具，支持上百种数据源 ( Database/Cloud/SaaS ) 支持海量数据的实时 CDC 和批量同步，可以稳定高效地同步万亿级
中间件之Kafka第一篇
简介Apach Kafka是一款分布式流处理平台，用于实时构建流处理应用。它有一个核心的功能广为人知，即作为企业级的消息引擎被广泛使用。作用解耦：短信发送成功后，需要通知A、B、C、D等服务，我们只管发送到MQ不用耦合一个个通知其他服务。通道商回调通知短信发送情况，需要通知A、B、C、D等服务，我们
Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
本篇教程由作者本人进行修改，原教程为厦门大学数据库实验室/林子雨出品，本篇教程针对VMware软件的使用以及Ubuntu的安装，点此下载（此处包含hadoop、Ubuntu以及jdk1.8）有其他需求可另行下载。
