大数据Flink简介与架构剖析并搭建基础运行环境
Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。
【数据仓库】即席查询
即席查询（Ad Hoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询是由用户自定义查询条件的。
flink cdc初始全量速度很慢原因和优化点
link cdc初始全量速度很慢的原因之一是，它需要先读取所有的数据，然后再写入到目标端，这样可以保证数据的一致性和顺序。但是这样也会导致数据的延迟和资源的浪费。 flink cdc初始全量速度很慢的原因之二是，它使用了Debezium作为捕获数据变化的引擎，而Debezium在读取数据时，会使用全
pyspark 判断 Hive 表是否存在
【代码】pyspark 判断 Hive 表是否存在。
2023_Spark_实验三：基于IDEA开发Scala例子
window环境中，基于IDEA开发工具，创建一个scala项目，完成scala的hello代码。
RabbitMQ面试题大全含答案
首先客户端必须连接到 RabbitMQ 服务器才能发布和消费消息，客户端和 rabbit server 之间会创建一个 tcp 连接，一旦 tcp 打开并通过了认证（认证就是你发送给 rabbit 服务器的用户名和密码），你的客户端和 RabbitMQ 就创建了一条 amqp 信道（channel）
Docker中安装运行rabbitMQ
登录名和密码都是guest。
Windows和Linux环境中安装Zookeeper具体操作
ZooKeeper是一个分布式的协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。配置维护域名服务分布式同步组服务等。 在大型企业级项目开发中，服务的数量十分庞大。此时，如果想要添加一个服务的话，就需要对文件进行重新覆盖，对整个容器进行重启。这样做
docker --hbase部署
【代码】docker --hbase部署。
磁盘均衡器：HDFS Disk Balancer
hdfs disk balancer是hadoop3中引入的命令行工具，用于平衡DataNode中的数据在磁盘指甲分布不均匀问题。在这里特别注意，hdfs diskbalancer与hdfsbalancer是不同的。
【大数据实训】基于Hive的北京市天气系统分析报告(二)
而如今的天气网站信息多，面对着网上形形色色的天气网站和参差不齐的天气信息，想要获取有效的信息需要的时间太长，这给就业者根据自身的情况选择自己适合的天气系统带来了困难。IntelliJ IDEA是java语言开发的集成环境,是基于对象的快速应用程序开发工具，是当今最强大、最灵活的应用程序开发工具之一，
flink cdc多种数据源安装、配置与验证（超详细总结）
超详细总结flink cdc多种数据源安装、配置与验证
【RabbitMQ六】——RabbitMQ主题模式（Topic）
通过本篇博客能够简单使用RabbitMQ的主题模式。本篇博客主要是博主通过官网总结出的RabbitMQ主题模式。其中如果有误欢迎大家及时指正。Topic模式与Direct模式相比，他们都可以根据Routing key把消息路由到对应的队列上，但是Topic模式相较于Direct来说，它可以基于多个标
【大数据】Hive 表中插入多条数据
在 Hive 中，我们可以使用 INSERT INTO 语句向表中插入数据。当我们需要插入多条数据时，有多种方式可以实现。本文将介绍如何在 Hive 表中插入多条数据，并提供相应的代码示例。
Kafka原理之消费者
主题的1号分区，在哪个broker上，就选择这个节点的coordinator作为这个消费者组的老大，消费者组下所有的消费者提交offset的时候，就往这个分区去提交offset。这个只是针对一个topic而言，C0消费者多消费一个分区影响不是很大，但是如果这个消费者组消费多个topic，容易产生数据
Flink回撤流
Flink 的回撤流是指在 Flink 的流处理算法中，撤回已经发送到下游节点的数据。这是因为在实际应用场景中，有些错误数据可能会发送到下游节点，因此需要回撤流以保证数据的准确性。回撤流可以理解为流式场景下对数据进行更新，这里的更新数据并不是将发往下游的历史数据进行更改，要知道，已经发往下游的消息是
Rabbitmq消息积压问题如何解决以及如何进行限流
一、增加处理能力优化系统架构、增加服务器资源、采用负载均衡等手段，以提高系统的处理能力和并发处理能力。通过增加服务器数量或者优化代码，确保系统能够及时处理所有的消息。二、异步处理将消息的处理过程设计为异步执行，即接收到消息立即返回响应，然后将消息放入队列中进行后续处理。这样可以避免同步请求的阻塞，提
大数据之使用Spark增量抽取MySQL的数据到Hive数据库（1）
本题来源于全国职业技能大赛之大数据技术赛项电商赛题-离线数据处理-抽取什么是全量数据、增量数据？1.全量数据：当前需要迁移的数据库系统的全部数据。2.增量数据：在数据库系统迁移过程中，对比原数据，新产生的数据即为增量数据。用于将MySQL数据库中的数据增量导入到Hive数据仓库中的指定表格中。首先，
