flink数据延迟原因及详细处理方案
在java开发中flink遇到数据延迟到达的问题及解决方案
ZooKeeper 的架构是怎样的？
本文详解了 ZooKeeper 的相关知识，包括其架构、通信方式等。本文包含 ZooKeeper 的架构图，并对其进行了详细的描述。同时还画出了ZooKeeper 中 Leader/Follower/Observer 之间的通信流程图，并对其进行了简要的解释。
第三部分：Spark调优篇
Spark优化包括：常规性能调优、算子调优、Shuffle调优、JVM调优、数据倾斜方面的调优等知识点
RabbitMQ错误java.util.concurrent.TimeoutException:空
RabbitMQ错误java.util.concurrent.TimeoutException:空 出现的原因以及解决办法
Hadoop常用命令
hdfs dfs -copyFromLocal /local/data/file.txt /hadoop/data :将本地文件上传到hdfs上(原路径只能是一个文件)hadoop dfs -put /local/*.txt /hadoop/path/ :put和 copyFromLoc
Flink是什么
其中，JobManager和TaskManager进程是Flink的核心进程，负责实际的任务执行和作业管理。Flink是一个分布式的、高性能的、可伸缩的、容错的流处理引擎，它支持批处理和流处理，并提供了丰富的API和库，是实时数据处理的理想选择。JobManager进程：负责接收提交的作业并分配任务
kafka消息监听
值得注意的是，上述代码是使用Spring Kafka提供的注解方式来创建Kafka消费者。通过该注解，您可以方便地定义多个消费者，并且框架会自动处理与Kafka的连接、消费消息等底层细节。注解可以订阅多个主题和分区，并指定每个分区的初始偏移量。groupId表示分组，不同组的消费者不是竞争关系。这段
springboot简单使用kafka消费者监听，以及kafka配置账号密码
【代码】springboot简单使用kafka消费者监听，以及kafka配置账号密码。
13、Flink 的table api与sql的基本概念、通用api介绍及入门示例
Apache Flink 有两种关系型 API 来做流批统一处理：Table API 和 SQL。Table API 是用于 Scala 和 Java 语言的查询API，它可以用一种非常直观的方式来组合使用选取、过滤、join 等关系型算子。Flink SQL 是基于 Apache Calcite
大数据学习（十一）hive中获取数组中的元素
hive函数
实验三：熟悉常用的HBase操作
向表tableName、行row(用S_Name表示)和字符串数组fields指定的单元格中添加对 应的数据valueso其中,fields中每个元素如果对应的列族下还有相应的列限定符，用 “columnFamily： column"表示。创建表，参数tableName 表的名称，字符串数组fiel
实现延迟队列的几种方案
步骤：把消息放到一个队列中（这个队列没有消费者，设置了超时时间），当到了超时时间后变成死信，MQ把死信交给绑定好的死信交换机，由死信交换机在交给目标队列，监听者监听这个目标队列即可。缺点：这种方案发布的时间可以会有误差，因为五分钟才执行一次，如果缩短时间设置一分钟或者几十秒执行一次那么数据库压力非常
MATLAB给数据加噪声/扰动
例：给正弦函数生成的数据加上相对误差水平为0.1的噪声：
【大数据之Hive】五、Hiveserver2服务部署
hiveserver2提供JDBC/ODBC接口，使得用户可以远程访问Hive数据，即作为客户端的代理与Hadoop集群进行交互。hiveserver2部署时需要部署到一个能访问集群的节点上，保证能够直接往Hadoop上提交数据。用户在客户端提交SQL语句时，由hiveserver请求HDFS或者提
Eureka注册中心
Eureka注册中心功能：服务注册与服务发现。提供者与消费者。在服务调用关系中，会有两个不同的角色：服务提供者：一次业务中，被其它微服务调用的服务。（提供接口给其它微服务）服务消费者：一次业务中，调用其它微服务的服务。（调用其它微服务提供的接口）服务既可以是服务提供者，也可以是服务消费者。.....
数据湖如何为企业带来9%的高增长？可否取代数据仓库？
客户认为云作为数据湖的优势的主要原因是更好的安全性、更快的部署、更好的可用性、更频繁的特性/功能更新、更具弹性、更广的地理覆盖范围以及与实际利用率相关的成本。数据湖允许您运行分析，而无需将数据移至单独的分析系统。数据仓库，也称为企业数据仓库，是一种数据存储系统，它将来自不同来源的结构化数据聚合起来，
对账平台设计
随着公司业务的蓬勃发展，交易履约清结算业务的复杂性也在不断的增高，资金以及各种数据的一致性和准确性也变得越发重要。
kettle-读取共享对象时发生一个严重错误
kettle 创建转换时发生一个严重错误
zookeeper报错length is greater than jute.maxbuffer=1048575
最近在给上云项目部署系统，通过压测都已经正式上生产后发现kafka存在异常错误，经排查发现zookeeper也存在错误，怀疑kafka的问题可能是由于zk异常到的，报错如下排查过程如下------------------>
logstash同步数据从kafka到es集群
【代码】logstash同步数据从kafka到es集群。
