spark-flink设计思想之吸星大法-1
综上所述，Spark和Flink在设计思想上的相似之处主要体现在内存计算、批流处理统一、复杂数据转换操作、错误恢复和支持Exactly Once语义一致性等方面。这些相似之处使得Spark和Flink在大数据处理领域都具有高效、稳定和灵活的特点。Spark和Flink都是大数据处理框架，它们的设计思
如何利用大数据解决气候变化问题
1.背景介绍气候变化是全球性的、复杂的、持续的和人类活动影响下的环境变化。气候变化的主要原因是人类活动导致的大气中大量碳 dioxide(CO2)排放，这导致全球温度上升，进而影响气候模式。气候变化对人类的生活、经济和社会造成了严重影响。因此，解决气候变化问题是全球范围内的重要任务。大数据技术是指利
Spark大数据分析与实战笔记（第二章 Spark基础-06）
Spark-Shell通常在测试和验证我们的程序时使用的较多，然而在生产环境中,通常会在IDEA开发工具中编写程序,然后打成Jar包，最后提交到集群中执行。下面讲解使用IDEA工具开发WordCount单词计数程序的相关步骤。Maven是一个项目管理工具，虽然我们刚才创建好了项目，但是却不能识别Sp
数据仓库现代化和迁移解决方案Datametica
Datametica在自动化工具的帮助下,通过在整个数据管道(从数据湖评估到数据湖分析)中使用循环流程，确保数据湖的成功实施。Datametica在自动化工具的帮助下，在整个数据管道(从数据湖评估到数据湖分析)中使用循环流程，确保数据湖的成功实施。这些工具简化并自动化了数据迁移过程，帮助企业实现数据
RabbitMQ 消息队列使用
话题交换机的routingkey 必须是多个单词的列表,并以。1.声明交换机, 队列,并绑定,添加routingkey。Direct交换机会将消息按照路由规则发送到指定的队列。Fanout交换将将消息发送到每一个绑定到它的队列中。3.发消息到fanoutexchange。RabbitMQ默认使用JD
kafka权限认证 topic权限认证 权限动态认证-亲测成功
1、Kafka的权限分类身份认证（Authentication）：对client 与服务器的连接进行身份认证，brokers和zookeeper之间的连接进行Authentication（producer 和 consumer）、其他 brokers、tools与 brokers 之间连接的认证。上
HiveSQL题——用户连续登陆
HiveSQL题——用户连续登陆
Flink｜《Flink 官方文档 - Operations - 批处理 shuffle》学习笔记
学习笔记如下：Flink DataStream API 和 Table / SQL 都支持通过批处理执行模式处理有界输入。
Spark与ApacheStorm集成与优化
1.背景介绍1. 背景介绍Apache Spark和Apache Storm是两个流行的大数据处理框架，它们各自具有不同的优势和应用场景。Apache Spark是一个快速、通用的大数据处理框架，支持批处理、流处理和机器学习等多种任务。Apache Storm是一个实时流处理框架，专注于处理高速、大
消息中间件RabbitMQ
Broker：接收和分发消息的应用，RabbitMQ Server 就是 Message Broker。：出于多租户和安全因素设计的，把 AMQP 的基本组件划分到一个虚拟的分组中，类似于网络中的 namespace 概念。当多个不同的用户使用同一个 RabbitMQ server 提供的服务时，可
Hadoop-MapReduce-源码跟读-客户端篇
1、构建Configuration，并加载hadoop默认的配置文件core-default.xml、core-site.xml2、解析命令行参数，配置用户配置的环境变量3、设置Job信息，比如：主类、Mapper类、Reduce类、Combiner类、输出格式、输入输出文件等4、异步提交Job，实
大数据菜鸟之路（5台服务器免密配置）
将前面准备好的linux7.5 的服务器复制4台。
37、Flink 的CDC 格式：debezium部署以及mysql示例（2）-Flink 与Debezium 实践
系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和S
大数据Zookeeper--入门
Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。Zookeeper = 文件系统 + 通知机制。
大数据StarRocks(九)：资源隔离实战
自 2.2 版本起，StarRocks 支持资源组管理，集群可以通过设置资源组（Resource Group）的方式限制查询对资源的消耗，实现多租户之间的资源隔离与合理利用。在 2.3 版本中，StarRocks 支持限制大查询，集群可以进一步控制大查询对资源的消耗，避免少数的大查询耗尽系统资源，进
数据仓库模型设计：从架构到实践的全方位指南
数仓主题是指通过“上帝视角”将企业不同业务流程信息进行分类、汇总，然后对其进行分析利用的一个抽象化概念。也是企业中某一分析领域具体的分析对象，每个数仓分析领域都又一个数仓主题相呼应。
Flink中的时间语义和TTL
事件时间是数据生成的时间，是数据流中每个元素或者每个事件自带的时间属性，一般是事件发生的时间，在实际项目中作为前端的一个属性嵌入。在理想情况下，数据应当按照事件时间顺序到达集群节点，但是由于从产生一条数据到数据抵达集群有过多的中间步骤，一个较早发生的事件可能较晚到达，使用事件时间意味着会产生数据乱序
关于SpringCloud的中的Eureka使用方法
**/`name` varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '权限名称',`url` varchar(255) CHARACTER SET utf8 COLLATE utf8_g
Flink Checkpoint 超时问题详解
等于说每来一条数据，都需要对用户近24小时内所有的行为事件进行分类汇总，求比例，再汇总，再求比例，而QPS是1500，24小时1.5亿的累积数据，逻辑处理的算子根本无法将接收到的数据在合适的时间内计算完毕，这里还有个有趣的现象，为了提高处理性能，我将并行度翻倍，结果checkpoint的时间反而更长
【中间件】消息中间件之Kafka
Kafka的核心概念、安装部署、基本使用、常用命令、应用场景、常见问题及解决方案以及注意事项
