【flink番外篇】8、flink的Checkpoint容错机制（配置、重启策略、手动恢复）介绍及示例 - 完整版
一、Flink 专栏Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。
[hive] 本地xlsx 导入到hive
首先，将 xlsx 文件中的数据导出为 CSV 格式，这样更方便后续处理。可以使用 Excel 软件将 xlsx 文件另存为 CSV 格式。执行上述命令后，Hive 将会将 CSV 文件中的数据加载到指定的表中。在 Hive 中创建一个新表，用于存储导入的数据。表来验证数据是否成功导入。
Mac 安装 RabbitMQ
mac环境下配置rabbitmq
详解如何保证消息队列不丢失消息（以kafka为例）
综上所述，消息队列通过持久化存储、消息确认机制、事务机制、数据备份与复制以及消息过期机制等手段，保证了消息在传递过程中不丢失。在设计分布式系统时，合理选择并配置这些机制可以有效地提高消息队列的可靠性和稳定性。
大数据前端团队生存指南
本文会简单介绍大数据、大数据前端团队以及可落地的演进方向。ps.针对数据前端团队10人及以内的中小厂。
Flink理论—Flink架构设计
Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如，但也可以设置作为独立集群甚至库运行,例如Spark 的 Standalone Mode本节概述了 Flink 架构，并且描述了其主要组件如何交互以执行应用程序和从故障中恢复。
【EFK】基于K8S构建EFK+logstash+kafka日志平台
Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Elasticsearch N.V.（即现在的 Elastic）于 2010
hql、数据仓库、sql调优、hive sql、python
英文名称为Data Warehouse，可简写为DW或DWH。为企业级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建，为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
Spark在降本增效中的一些思考
这也是笔者一直在关注的项目，根据 TPC-H 测试结果显示起码有2倍的性能提升，但是实际效果还是得看SQL的pattern。但是由于目前我们的Spark 是基于 3.5.0的，是比较新的版本，而社区这块的融合还在继续，所以这块今年应该可以行动起来,可以参考。注意： 我们批集群的CPU利用率在60%以
RabbitMQ面试题
总结为：消息未达到交换机，消息未达到队列，队列中丢失消息，消费者未接收到消息生产者确认机制是指生产者发送消息后，需要等待RabbitMQ服务器的确认消息，以确保消息已经被成功地发送到RabbitMQ服务器。如果RabbitMQ服务器没有收到消息或者消息发送失败，生产者会收到一个确认消息，从而可以进行
【初始RabbitMQ】高级发布确认的实现
全网最详细的高级发布确认，万字文章详细的介绍了RabbieMQ中延迟队列各种细节，以及实现方法，每一步代码均有详细的解析，看这一篇就对了！！！
PyFlink核心知识点
<plugins><plugin><goals></goals></plugin><plugin></plugin></plugins>
大数据电商公司的卓越之路及api如何应用
电商平台API目前支持以下基本接口：
【RabbitMQ】Spring整合RabbitMQ、Spring实现RabbitMQ五大工作模式（万字长文）
订阅模式与前两种不同，订阅模式需要使用到fanout类型的交换机，并且将队列与之绑定，他的生产者在xml文件里需要去创建两个队列与fanout类型的交换机并绑定，在发送消息时指定交换机名称即可，而消费者则与前者相同，只是需要修改指定监听的队列名。此处由于创建的交换机类型是fanout广播类型不需要去
基于Spark协同过滤的农产品个性推荐系统
本系统是一个基于Python技术栈开发的农产品在线交易平台。通过集成了pyspark、hadoop、django、scrapy、vue、element-plus等多个优秀开源框架，实现了全方位的功能覆盖，并采用了协同过滤算法为用户推荐相关农产品。首先，我们使用Scrapy爬虫框架抓取惠农网站上的农产
Hive【内部表、外部表、临时表、分区表、分桶表】【总结】
分区提供了一个隔离数据和优化查询的可行性方案，但是并非所有的数据集都可以形成合理的分区，分区的数量也不是越多越好，过多的分区条件可能导致很多分区上没有数据。分桶表会将指定的列的值进行哈希散列，并对bucket（桶数量）取余，然后存储到对应的bucket中。分区表和分桶表的本质都是将数据按照不同粒度进
大数据6大维度透视，了解一个企业的真实情况
每次在评估一个企业的综合实力和市场地位时，投资者、分析师和业界专家会从多个维度进行深入分析。这些维度不仅反映了企业的当前状况，还能为预测其未来发展趋势提供线索。本文将详细探讨这几个关键维度，以帮助读者更全面地理解企业评估的多维度视角。
centos7-dmhs同步kafka搭建部署（保姆级）
所需空间: 1869M请选择安装目录 [/home/dmdba/dm/dmdbms]:
Flink StreamGraph生成过程
在 Flink 中，StreamGraph 是数据流的逻辑表示，它描述了如何在 Flink 作业中执行数据流转换。StreamGraph 是 Flink 运行时生成执行计划的基础。使用DataStream API开发的应用程序，首先被转换为 Transformation，再被映射为StreamGra
【Redis项目实战】使用Springcloud整合Redis分布式锁+RabbitMQ技术实现高并发预约管理处理系统
高并发预约管理：系统能够处理大量用户同时预约倾听者的情况，通过使用分布式锁来保证同一时间段只有一个用户可以进行预约，防止冲突和混乱。分布式锁实现：系统使用Redis作为分布式锁的存储介质，通过设置键值对来实现分布式锁。具体地，使用一组表来存储倾听者的预约情况，表名由倾听者的ID和日期组成。每个表使用
