Flink 两阶段提交（Two-Phase Commit）协议
flink两阶段提交
Flink Sql光速入门
flink sql很简单，只要会sql就会写实时应用报表
hive/spark数据倾斜解决方案
数据倾斜主要表现在，mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多(有时是百倍或者千倍之多)，这条Key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致
Kafka集群安装部署（超详细操作演示）—— Linux
Kafka集群安装部署（超详细操作演示）—— Linux
hadoop3.2.1+hive3.1.2-docker安装
docker 安装配置hadoop+hive，配置密码。
2 Data Streaming Pipelines With Flink and Kafka
作者：禅与计算机程序设计艺术 1.简介数据流是一个连续不断的、产生、存储和处理数据的过程。传统上，数据流编程都是基于特定平台（比如：消息队列，数据仓库，事件溯源）的SDK或者API进行开发，但随着云计算和容器技术的发展，越来越多的企业选择使用开源工具实现自己的大
Kafka的工作原理
pull模式的不足之处在于，如果kafka没有数据，消费者会陷入空循环中，针对这一点，Kafka的消费者会在消费时传入timeout参数，如果当前Kafka中没有数据，消费者会等待一个timeout时长再返回。，会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的HW
黑马头条 热点文章实时计算、kafkaStream
《黑马头条》项目采用的是SpringBoot+springcloud当下最流行的微服务为项目架构，配合spring cloud alibaba nacos作为项目的注册和配置中心。新课程采用快速开发的模式，主要解决真实企业开发的一些应用场景。深入挖掘技术和业务的解决方案，做到更加的通用，能举一反三，
RabbitMQ 使用教程（看完就会用了）
本文介绍了 RabbitMQ 的基本概念、安装和配置、使用方法以及应用场景。RabbitMQ 是一个功能强大的消息队列中间件，具有高并发、高可靠、高可扩展等优点，可以应用于多种场景。如果你正在开发一个高并发、分布式的系统，RabbitMQ 绝对是一个值得考虑的选择。
大数据之使用Spark全量抽取MySQL的数据到Hive数据库
使用了spark对MySQL的数据进行操作并保存到了hive数据库，原理大同小异，spark提供了许多api供我们使用，非常的方便和灵活。本题来源于全国职业技能大赛之大数据技术赛项赛题-离线数据处理-数据抽取题目：编写Scala代码，使用Spark将MySQL的shtd_industry库中表Env
（十一）大数据实战——hadoop高可用之HDFS手动模式高可用
本节内容我们介绍一下hadoop在手动模式下如何实现HDFS的高可用，HDFS的高可用功能是通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode很快的
让Zookeeper更容易扩展：容器化方案
作者：禅与计算机程序设计艺术 近年来，云计算、微服务架构以及容器技术逐渐成为主流的架构形态，并且越来越多的人开始关注其优点。其中，Apache Zookeeper作为最知名的分布式协调服务项目，可以说是容器化部署的一个典型案例。但是在实际生产环境中，它却存在一些
rabbitMQ手动应答与自动应答
手动应答；自动应答
库兹韦尔指数 “加速回报法则 “的概念
库兹韦尔是20世纪著名的经济学家之一，他提出了很多重要的理论，其中之一就是被称为“加速回报法则”。这个观点引起了不少人的兴趣和探讨，在投资领域也得到了广泛的应用。本文就将详细解释库兹韦尔的“加速回报法则”的概念，以及它与投资有什么关系。
一文带你如何用SpringBoot+RabbitMQ方式来收发消息
比如我的代码这里就是设置了一下消息的类型，消息的类型有很多种可以是二进制类型，文本类型，或者序列化类型，JSON类型，我这里设置的就是文本类型，指定类型是必须的，也可以为我们拿到消息之后要将消息转换成什么样的对象提供一个参考。注解的方法中没有一个的类型可以和你消息的类型对的上，比如消息都是byte数
实验三 HBase1.2.6安装及配置
在安装HBase1.2.6之前，需要安装好hadoop2.7.6。HBase2.2.2安装和编程实践指南以上就是今天要讲的内容，本文简单介绍了HBase1.2.6的安装及配置。
2023_Spark_实验七：Scala函数式编程部分演示
Scala函数式编程，函数是头等公民，函数的定义，匿名函数，高阶函数，闭包，柯里化的使用。
Hadoop生态系统中的大数据基础知识教程
Hadoop”是一个开源的分布式计算框架，基于云计算平台构建，提供海量数据的存储、分析处理和计算能力，广泛应用于金融、电信、互联网、移动通信等领域。Hadoop生态系统中存在大量的工程师和科学家，但这些人的水平参差不齐，各有所长，有些人擅长Linux开发、云计算、机器学习等，有些人更偏重于Hadoo
大数据方向的终极武器——Hadoop
19年下半年，随着互联网、移动互联网的飞速发展，信息化时代到来。无论是在传统行业还是在新兴的创新型企业中，都开始面临海量数据的存储、处理、分析、挖掘等方面的挑战。尤其是当下中国，近几年信息技术革命带来的巨大的产业变革，对现有的技术体系、管理体制都产生了深刻的影响。在这个大数据时代，业界不断涌现新的技
kafka 3.5.0集群环境部署（使用自带的zookeeper）
注意：先把集群所有节点的zookeeper启动起来，再启动kafka。
