玩转 jmeter backend listener kafka
说到JMeter后端监听器，大家接触比较多的是Influxdb监听器InfluxdbBackendListenerClient，可以将测试报告实时推送到Influxdb，然后用Grafana展示。但是这种方式在大并发情况下，会因为吞吐量过大，Influxdb本身的性能瓶颈，无法支撑（Influxdb
hive数据仓库课后答案
Hive数据仓库应用课后答案
Kafka事务消息详解
如果消费者先处理消息后提交位移，那么如果在消息处理之后在位移提交之前消费者宕机了，那么重新上线后，会从上一次位移提交的位置拉取，这就导致了重复消息，对应 at least once。反过来，如果先提交位移后处理消息，就有可能会造成消息的丢失，对应 at most once。设置为 true即可（默认
无公网IP，在外公网远程访问RabbitMQ服务「内网穿透」
RabbitMQ是一个在 AMQP(高级消息队列协议)基础上完成的，可复用的企业消息系统，是当前最主流的消息中间件之一。由erlang开发的AMQP（Advanced Message Queue 高级消息队列协议 ）的开源实现，由于erlang 语言的高并发特性，性能较好，本质是个队列，FIFO 先
SPARK数据分析
重点回顾今天这一讲，我们主要围绕数据的生命周期，学习了 Spark SQL 在不同数据阶段支持的处理算子，如下图所示图中涉及的算子很多，尽管大部分我们都举例讲过了，但要在短时间之内一下子掌握这么多内容，确实强人所难。不过，你不用担心，今天这一讲，最主要的目的，还是想让你对 Spark SQL 支持的
Hive/Presto中函数grouping sets用法详解（踩坑总结，看到赚到）
本文详细记录了函数grouping sets使用时遇到的坑，基于Hive和Presto实现。
Sqoop 安装配置（超详细）
我没有装 HBase 和 Zookeper，所以只指定了 HADOOP 和 Hive 的路径，注意删掉前面的符号。使用 Sqoop 时的一些警告信息真令人头大，我们可以手动去关闭掉这些警告信息。为了后续方便操作 Hive，我们需要将 Hive 的驱动放入 Sqoop 的。拷贝 MySQL 驱动到 S
配置Kafka消息保留时间
本文探索了Apache Kafka消息基于时间的保留策略。通过创建简单的shell脚本来简化管理过程，接着我们创建了独立的消费者和生产者，以验证在保留期之后消息的过期场景。
ETL基础概念及要求详解
ETL即Extract（抽取）Transform（转换）Load（装载）的过程，如下图，同时也包括数据清洗的部分，是数据从源端到目标端的一个数据处理的过程，是构建数据仓库的重要一环，但不局限于构建数据仓库其他BI（商业智能）的设计和开发数据分析平台也经常用到ETL。
【hive】hive的安装配置，beeline使用（1）
hive的安装配置，beeline使用
实验5 MapReduce初级编程实践（1）——编程实现文件合并和去重操作
一、实验目的通过实验掌握基本的MapReduce编程方法；掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。二、实验平台操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）Hadoop版本：3.1.3三、实验内容编程实现文件合并和去重操作对
Hive——详细总结Hive中各大查询语法
1. 基础查询1.1 WHERE、LIMIT、DISTINCT、BETWEEN、IN的使用1.2 LIKE、GROUP BY、HAVING的使用1.3 内连接&外连接【JOIN...ON ...】2. 排序查询2.1 全局排序(Order By)2.2 单个 Reduce 内部排序(Sort By)
Linux 离线环境下安装RabbitMQ
Linux 离线环境下安装RabbitMQ
Doris 与 ClickHouse 的深度对比
一、背景介绍Apache Doris是由百度贡献的开源MPP分析型数据库产品，亚秒级查询响应时间，支持实时数据分析；分布式架构简洁，易于运维，可以支持10PB以上的超大数据集；可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。ClickHouse是俄罗斯的搜
大数据采集与预处理
大数据采集与预处理自测题目
通过AI工具（ChatGPT接口）生成一字未改的论文，查重率4.2%，可以直接当作论文使用
随着物联网技术的不断发展和普及，越来越多的物品被赋予了智能化的能力，从而使得它们可以与其他物品相互连接和通信，形成一个智能化的网络。这个网络就是物联网。物联网的架构包括感知层、网络层和应用层。感知层是物联网的最底层，它是由各种传感器、执行器、智能设备等组成的。这些设备可以感知周围环境的情况，比如温度
RabbitMQ超详细学习笔记（章节清晰+通俗易懂）
RabbitMQ超详细学习笔记，章节清晰，通俗易懂
HDFS黑名单退役服务器
黑名单：表示在黑名单的主机IP地址不可以，用来存储数据。企业中：配置黑名单，用来退役服务器。添加如下主机名称（要退役的节点）
sqoop 数据同步方案理解+问题解决
sqoop 数据同步方案理解+问题解决
flink执行环境和读取kafka以及自定义数据源操作
flink运行环境和加载数据源
