ZooKeeper学习笔记(八):ZooKeeper集群写数据原理
写数据原理写流程直接请求发送给Leader节点这里假设集群中有三个zookeeper服务端ACK (Acknowledge character）即是确认字符，在数据通信中，接收站发给发送站的一种传输类控制字符。 表示发来的数据已确认接收无误。 在TCP/IP协议中，如果接收方成功的接收到数据，那么会
大数据Hadoop之——Flink DataStream API 和 DataSet API
文章目录一、DataStream API概述一、DataStream API概述DataStream API 得名于特殊的 DataStream 类，该类用于表示 Flink 程序中的数据集合。你可以认为 它们是可以包含重复项的不可变数据集合。这些数据可以是有界（有限）的，也可以是无界（无限）的，但
hive之连续登录问题
目录1、开窗函数的格式2、窗口范围图例连续登录问题：限制时间段内登录次数问题：1、开窗函数的格式FUNCTION_NAME([argument_list])OVER ([PARTITION BY window_partition,…][ORDER BY window_ordering, … [ASC
大数据学习笔记55：搭建HBase环境
1. 搭建HBase单机版环境2. 搭建HBase伪分布式环境3. 搭建HBase完全分布式环境
Hadoop—在私有云上创建与配置虚拟机
一、登录已有的私有云账号（1）查看【概览】（2）查看【镜像】（3）查看【实例】二、创建项目、用户与网络（1）创建项目 - huawei（2）创建用户 - huawei（3）创建网络 - LAN192三、创建实例（1）基于WindowsThinPC镜像创建hw_win7实例（2）基于centos7创建
思维导图五（Linux、JVM、Redis、POI&EasyExcel）
一 Linux1 概念：Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基于 POSIX（可移植操作系统接口） 和 UNIX 的多用户、多任务、支持多线程和多 CPU 的操作系统。2 作用：基本上所有的企业项目都是部署在Linux系统中，所以需要掌握Linux的常用指令以及项目发
开发范式大转移，云原生开发者如何把握技术脉络？
作为开发者如何把握技术脉络？我从API和容器技术、云原生、开源三方面提出了自己的见解并为开发者给出了自己的成长建议。聊的内容简单整理成文，分享给大家。
JAVA使用RabbitMQ解决生产端消息投递可靠性，消费端幂等性问题
Java使用RabbitMQ解决生产端消息投递可靠性，消费端幂等性问题
基于kettle的数据集成平台（汇总）
演示环境： 用户名：admin 密码：admin高低压电力监控系统http://scada.wangyaojun.cn/北大服务网关http://kettle.wangyaojun.cn/认识kettle：认识物联网_qingxinziran007的专栏-CSDN博客最近在做一些物联网的项
云原生的未来技术发展趋势
云原生(CloudNative)目前是云计算领域的一个新兴概念，那么云原生的主流技术？这些技术又如何演变？
elasticsearch8.0和kibana8.0安装
elasticsearch8.0安装1.安装2.启动elasticsearch生成令牌kibana验证登录elasticsearch前言8.0中新功能使用8.0版本的最好先看下。1.安装docker pull elasticsearch:8.0.0docker pull kibana:8.0.02.
数据湖之Hudi（9）：使用Spark向Hudi中插入数据
目录0. 相关文章链接1. 开发说明2. 环境构建2.1. 构建服务器环境2.2. 构建Maven项目3. Maven依赖4. 核心代码0. 相关文章链接大数据基础知识点 文章汇总1. 开发说明Apache Hudi最初是由Uber开发的，旨在以高效率实现低延迟的数据库访问。Hudi 提供了Hudi
Kafka消息失败后无限重复消费现象的排查
文章目录背景相关代码现象解决方法Reference背景项目中用到了kafka消息队列，在开发测试过程中发现了消息端设置的最大重试次数失效的情况，具体信息如下：consumer: 3partition:1maxRetryTimes:15spring-kafka: 2.2.15.RELEASEkafka
Flink查询关联Hbase输出
1、前言大家在开发Flink的时候，很多时候会把某些固定的维度信息存储在Hbase或者Redis等这些第三方库里，已方便来跟流发生关联查询输出。本文将从如何本地搭建一个Hbase环境开始讲起，到如何构建一个Hbase公共调用类，到如何构建一个异步调用Hbase的公共代码，再到最后实际调用代码后的输出
centos7 安装 elasticsearch 7.6.2及分词器
小伙伴们，你们好呀，我是老寇，跟我一起安装elasticsearch 7.6.2安装elasticsearch的教程数不胜数，本文的安装方式是经过自己测试的，因此分享给有需要的小伙伴，一来是避免小伙伴少走弯路，二来方便后面知识的整合。本文是基于ES 7.6.2的版本进行安装的，话不多说，我们开始吧。
大数据场景下的消息队列：Kafka3.0快速入门
大数据场景下的消息队列：Kafka3.0快速入门
实时计算知识，最详细的整理
随着云计算、大数据等名词的流行，涌现出一大批相关的技术，其中Hadoop是较早出现的一种分布式架构，得到了大量的应用。本章先说明大数据和Hadoop的基本概念，之后介绍HDFS、MapReduce、YARN三个基本的Hadoop组件。除了基本组成部分，Hadoop生态圈中还有很多其他的工具组件，它们
一文搞懂 RabbitMQ 延时队列（订单定时取消为例）
1. 死信及死信队列1.1 什么是死信一般来说，生产者将消息投递到队列中，消费者从队列取出消息进行消费，但某些时候由于特定的原因导致队列中的某些消息无法被消费，这样的消息如果没有后续的处理，就变成了死信(Dead Letter)，所有的死信都会放到死信队列中。为什么为有死信？消息变成死信一般是以下三
