开源大数据Hadoop伪分布式搭建及虚拟机的创建
虚拟机的创建和开源大数据Hadoop伪分布式搭建及WordCount官方案例的实验
《消息队列高手课》Kafka如何实现高性能IO？_kafka 对磁盘io的要求
对于磁盘来说，它有一个特性，就是顺序读写的性能要远远好于随机读写。在 SSD（固态硬盘）上，顺序读写的性能要比随机读写快几倍，如果是机械硬盘，这个差距会达到几十倍。为什么呢？操作系统每次从磁盘读写数据的时候，需要先寻址，也就是先要找到数据在磁盘上的物理位置，然后再进行数据读写。如果是机械硬盘，这个寻
spark之时间序列预测(商品销量预测)
本案例使用前1913天的数据作为训练数据，来预测1914天到1941天的销量。以上数据下载后放入resources/advanced下，并在properties.properties中配置一下文件名和路径，以供程序读取和处理数据。2.模型的训练及预测利用python lightgbm进行操作，见ti
快手自研Spark向量化引擎正式发布，性能提升200%
通过引入细粒度的FailBack机制，Blaze在翻译过程中遇到暂无Native实现的算子、单个表达式或UDF时，支持算子/单个表达式粒度的回退，能够灵活回退到Spark原生执行。Spark原生执行流程主要依赖于Java虚拟机（JVM）进行任务的执行，尽管JVM在提供跨平台、内存管理等方面有着卓越的
Kafka 如何保证消息不丢失
对 Kafka 集群的关键指标进行监控，如副本同步状态、消息堆积等，及时发现并处理可能导致消息丢失的异常情况，并配置告警机制通知相关人员。- 例如，设置 `acks=all` 表示只有当所有参与复制的分区副本都收到消息时，才向生产者确认成功写入，从而确保消息不会丢失。- 从副本会不断地从主副本同步数
基于RabbitMQ原理的分布式消息队列系统
RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。异步处理无需即时返回且耗时的操作，提高系统吞吐量。解耦生产者和消费者，提高系统灵活性。实现分布式系统的集成。RabbitMQ实际上是实现了一个基于AMQP的生产者消费者模型。解耦合。并发处理。支持忙闲不
RabbitMQ简介
RabbitMQ简介。
集群安装zookeeper&kafka
前提概要：以JDK1.8，zk3.5.7,kafka2.4.1为例，在三台节点上安装。
zookeeper命令 及 ACL控制
登录zkCli.sh -server 192.168.58.81:2128 登录ipzkCli.sh 登录本机关闭会话 close帮助文档 help让zk数据发生变化都是一次事务create创建create /aaa 创建持久节点create -e /aaa/bb
【Kafka】Windows下安装Kafka（全面）
【Kafka】Windows下安装Kafka（全面）
大数据之Spark RDD 持久化
大数据之Spark RDD 持久化
Canal+RabbitMQ数据同步环境配置
Canal 是阿里巴巴开发的开源工具，主要用于解析 MySQL 的 binlog 日志，从而实现数据同步。Canal 会模拟 MySQL 从库的协议，订阅主库的 binlog，从而获取数据库的变更信息。将 Canal 解析到的 MySQL 数据库变更消息通过 RabbitMQ 分发给下游的消费服务。
【大数据】深入浅出Hadoop，干货满满
Hadoop是一个开源的分布式计算平台，由Apache软件基金会开发和维护。它是大数据处理的基石，能够高效地存储和处理大规模数据。目前业界基本上用的都是**Hadoop及其生态下的产品**。Hadoop的主要特点是高可靠性和高扩展性，它可以在成百上千个节点上运行，每个节点都可以存储和处理数据。
【查看Kafka存储日志时间】
通过查看Kafka的配置文件，你可以了解Kafka broker的默认配置参数，包括消息保留时间和存储大小等。根据需要，你可以修改这些参数来调整Kafka的行为。如果你需要对特定的Topic进行配置，可以使用命令显式设置这些参数，这样在描述信息中就会显示这些参数。要查看Kafka Topic的配置参
大数据平台Hadoop实验环境部署（完全分布式集群模式）
本文讲述了hadoop大数据实验平台完全分布式集群部署详情
Selenium分布式测试和操作监听
在使用selenium进行自动化测试时，测试过程中会不断的打开关闭浏览器，测试时需要单独使用一台设备进行测试。还有就是一台设备的执行效果也不是很高，针对这些问题，来介绍一下Selenium Grid的使用方法。本篇文章介绍使用docker在服务器上部署Selenium Grid。
RabbitMq几种工作模式详细讲解
虽然接收的到消息，但是rabbitmq的界面上看到的消息会是乱码，这样就不用必须是String字符串或者byte[]数组和序列化后的对象了。再次发送就会是转换好的消息。发布订阅模式与之前案例的区别就是允许将同一消息发送给多个消费者。实现方式是加入了exchange(交换机)，当然，还有其他很多种模式
基于Kafka的大数据实时流处理系统设计与实现
在实际应用中，企业可以根据自身业务需求和数据特点选择合适的系统架构和数据处理方案，以实现数据的快速响应和智能分析。同时，还需要关注数据安全和隐私保护等方面的问题，确保数据在传输和处理过程中的安全性和完整性。本文将深入探讨Kafka在构建实时数据流处理系统中的作用，并介绍如何实现高效的数据传输和处理，
RabbitMQ基础有这一篇就够了
RabbitMQ基础内容，包括不同MQ技术对比、数据隔离概念、SpringAMQP、交换机类型、声明队列、交换机以及进行绑定、MQ消息转换器等内容。
使用offset explorer 3.0连接单机版kafka
使用kafka图形化工具offset explorer 3.0连接单机版的kafka。
