Flink中StateBackend（工作状态）与Checkpoint（状态快照）的关系
只有基于 RocksDB state backend的状态快照才支持增量checkpoint，基于heap的并不支持默认情况下 checkpoint 是禁用的，需要手动开启：Flink状态分为Keyed State和非keyed State:Keyed State，可以使用RocksDB state
使用HiveMQ实现Android MQTT
即有提供MQTT的服务器端，也有提供客户端，而且官方都给他跳转了，那我就用它的库来实现吧！使用了之后才发现，这个库是真的好用啊，封装的非常好，代码写起来特别简洁，响应式编程，支持异步，可以使用Java自带的，也可以使用RxJava或Reactor，HiveMQ的断线自动重连做的也比较好。，这是Ecl
Hadoop运行环境搭建
（3）source一下/etc/profile文件，让新的环境变量PATH生效。（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本。 （1）新建/etc/profile.d/my_env.sh文件。（2）etc目录：Hadoop的配置文件目录，存放Ha
python毕设选题 - 大数据上海租房数据爬取与分析可视化 -python 数据分析 可视化
# 1 前言🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩 基于大数据上海租房数据爬取
想从事大数据方向职场小白看过来， 数据方面的一些英文解释
—（Not Only SQL）不仅仅是 SQL。是一种广义的数据库管理系统范畴，与传统的关系型数据库管理系统（RDBMS）相对。NoSQL数据库的设计目标是解决关系型数据库在大规模数据集和高并发环境下的一些限制和挑战。 NoSQL数据库主要指文档、列、图和键值。没有表。ESB代表企业服务总线（E
Zookeeper的分布式文件系统与存储
1.背景介绍1. 背景介绍Zookeeper是一个开源的分布式协调服务，它为分布式应用提供一致性、可靠性和可扩展性等特性。Zookeeper的核心功能包括集群管理、配置管理、领导选举、分布式同步等。在分布式系统中，文件系统和存储是非常关键的组成部分，Zookeeper作为分布式协调服务，也可以用于管
航空航天大数据：实时数据处理与分析技术
1.背景介绍航空航天领域的大数据技术已经成为一个热门的研究和应用领域，它涉及到的数据量巨大，涉及到的实时性要求高，涉及到的计算复杂度也非常高。在这篇文章中，我们将从以下几个方面进行探讨：航空航天大数据的背景和发展趋势航空航天大数据的核心概念和技术航空航天大数据的实时数据处理与分析技术航空航天大数据的
Rabbitmq消息大量堆积
查看库存系统的运行情况，发现系统压力非常大，接口请求存在大量超时的情况，系统也在崩溃的边缘，因为我们上面的解决方案，增加了三个节点，间接的增大了并发。整个链路服务一直都是很稳定的，因为流量的激增，库存服务的服务能力跟不上，导致整个链路出了问题，如果平台要搞促销这种活动，我们还是要提前评估下系统的性能
实战Kafka的部署
offsets.topic.replication.factor 偏移量话题的复制因子（设置更高保证可用），为了保证有效的复制，偏移话题的复制因子是可配置的，在偏移话题的第一次请求的时候可用的broker的数量至少为复制因子的大小，否则要么话题创建失败，要么复制因子取可用broker的
Flink项目实战篇 基于Flink的城市交通监控平台（下）
Flink项目实战篇 基于Flink的城市交通监控平台（上）Flink项目实战篇 基于Flink的城市交通监控平台（下）
Kafka生产常见问题分析与总结
业务运行正常的情况下。业务运行异常的情况下。
【Flink入门修炼】1-4 Flink 核心概念与架构
前面几篇文章带大家了解了 Flink 是什么、能做什么，本篇将带大家了解 Flink 究竟是如何完成这些的，Flink 本身架构是什么样的，让大家先对 Flink 有整体认知，便于后期理解。
HBase的数据聚合与统计分析案例
1.背景介绍在大数据时代，HBase作为一种高性能、可扩展的列式存储系统，已经成为许多企业和组织的首选。HBase可以存储大量数据，并提供快速的读写操作。然而，在实际应用中，我们经常需要对HBase中的数据进行聚合和统计分析。这篇文章将讨论HBase的数据聚合与统计分析案例，并提供一些最佳实践和技巧
kafka基础知识
即producer写入新消息后 不会立即消费，leader会等待该消息被所有副本都同步后，再更新高水位线位置，这样consumer才能消费producer新鞋入的消息。如果写入失败，会返回一个错误。大多数情况下，消息会正常到达，不过一旦失败，produer会自动重试，但若出错了，服务器是无感知的。特
SpringCloud-RabbitMQ消息模型
本文深入介绍了RabbitMQ消息模型，涵盖了基本消息队列、工作消息队列、广播、路由和主题等五种常见消息模型。每种模型都具有独特的特点和适用场景，为开发者提供了灵活而强大的消息传递工具。通过这些模型，RabbitMQ实现了解耦、异步通信以及高效的消息路由，为分布式系统的开发和部署提供了可靠的基础。阅
Dubbo应用连接Zookeeper问题与解决方案
总的来说，在解决Dubbo应用启动时遇到的ZooKeeper连接问题时，需要综合考虑多种因素，但都离不开查看日志。同时，对于日志中出现的异常信息和间隔时间较长的日志，也需要深入分析并找到根本原因，异常信息是结果，间隔较长是问题现象，通过分析现象有助于找出根本原因。
大数据Hadoop生态圈
存储： HDFS(namenode,datanode)计算：MapReduce(map+reduce，基于磁盘)便于用sql操作：Hive(核心 metastore，存储这些结构化的数据)，同类的还有Impala，hbase等基于yaml的资源调度hive ：通过 HQL访问，适合执行ETL，报表查
【计算机毕设选题】基于大数据的共享单车数据分析与可视化
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据的共享单车数据分析与可视化🥇学
zookeeper动态扩缩容（无需重启）
zookeeper动态扩/缩容的reconfig命令旨在不需要重启zookeeper中任何一个节点的情况下，对整个zookeeper集群进行动态扩/缩容。
【Flink-1.17-教程】-【四】Flink DataStream API（1）源算子（Source）
DataStream API 是 Flink 的核心层 API。一个 Flink 程序，其实就是对 DataStream 的各种转换。Flink 可以从各种来源获取数据，然后构建 DataStream 进行转换处理。一般将数据的输入来源称为数据源（data source），而读取数据的算子就是源算子
