【大数据】Flink 架构（五）：检查点 Checkpoint（看完即懂）
本篇博客我们将介绍 Flink 的检查点（checkpoint）及故障恢复机制，看一下它们如何提供精确一次的状态一致性保障。而在下一篇博客中，我们还会讨论 Flink 所独有的保存点（savepoint）机制，它就像一把 “瑞士军刀”，解决了运行流式应用过程中的诸多难题。
(01)Hive的相关概念——架构、数据存储、读写文件机制
Hive的相关概念——架构、数据存储、读写文件机制
Spark 大数据实战：基于 RDD 的大数据处理分析
Spark集群是基于的分布式计算环境，用于处理大规模数据集的计算任务。是一个开源的、快速而通用的集群计算系统，提供了高级的数据处理接口，包括Spark SQLMLlib（机器学习库）和GraphX（图计算库）。Spark的一个主要特点是能够在内存中进行数据处理，从而大大加速计算速度。Scala编程语
RabbitMQ的基本用法
路由模式的消息队列可以给队列绑定不同的key，生产者发送消息时，给消息设置不同的key，这样交换机在分发消息时，可以让消息路由到key匹配的队列中。上面案例中有一个问题：消费者处理消息的速度是不一样的，消费者1处理后睡眠10毫秒（Thread.sleep(10)），消费者2是1000毫秒，速度相差1
Kafka 生产调优
100 万日活，每人每天 100 条日志，每天总共的日志条数是 100 万 * 100 条 = 1 亿条。1 亿 / 24 小时 / 60 分 / 60 秒 = 1150 条/每秒钟。每条日志大小：0.5k ~ 2k（约1k）。1150 条/每秒钟 * 1k ≈ 1m/s。高峰期每秒钟：1150 条
Hive SQL 的 DQL操作
3. Hive 支持分桶查询, cluster by + 分桶排序字段 (分桶排序必须是同一字段,且排序只能是升序),如果只分桶用 distribute by + 分桶字段 ,如果分桶和排序不是同一字段就用 distribute by + 分桶字段 sort by + 排序字段 asc | desc
Flink编程——风险欺诈检测
Apache Flink 提供了 DataStream API 来实现稳定可靠的、有状态的流处理应用程序。Flink 支持对状态和时间的细粒度控制，以此来实现复杂的事件驱动数据处理系统。这个入门指导手册讲述了如何通过 Flink DataStream API 来实现一个有状态流处理程序。
（三）hadoop之hive的搭建1
5.1上传mysql驱动mysql-connector-java-8.0.21.jar并移动到/usr/local/apache-hive-3.1.3/lib/5.2在/usr/local/apache-hive-3.1.3/conf下新增hive-site.xml文件。点击https://dlcd
Flink的检查点与容错机制实战
1.背景介绍1. 背景介绍Apache Flink 是一个流处理框架，用于实时数据处理和分析。在大规模数据处理中，容错性和高可用性是非常重要的。Flink 提供了一套强大的检查点(Checkpoint)和容错机制，以确保流处理作业的可靠性和持久性。本文将深入探讨 Flink 的检查点与容错机制，揭示
大数据基础复习题整理
大数据基础这门课的一些选择题复习题整理，希望对大家有所帮助~！
什么是研发项目管理软件？生命奇点 PowerProject 项目管理平台正式启动，打造大数据领域新标杆
奥博思软件将基于 PowerProject 项目管理系统助力生命奇点实现研发项目的全生命周期管理，提效企业管理效率！
hive2
注意：(‘EXTERNAL’=‘TRUE’)和(‘EXTERNAL’=‘FALSE’)为固定写法，区分大小写！map keys terminated by ‘:’ – MAP 中的 key 与 value 的分隔符。要为表指定列，用户在指定表的列的同时也会指定自定义的 SerDe，Hive 通过 S
(05) Hive的相关概念——函数介绍
HiveSQL的基础知识点
【云原生进阶之PaaS中间件】第三章Kafka-4.3.1-broker 工作流程
这一部分大体了解下kafka Broker的工作流程，看一下zookeeper在kafka broker工作中发挥的作用，那些重要数据在zookeeper中存储。
毕业设计 python大数据房价预测与可视化系统
# 0 简介今天学长向大家介绍一个适合作为毕设的项目毕设分享 python大数据房价预测与可视化系统项目获取：https://gitee.com/assistant-a/project-sharing对于数据挖掘工程师来说，有时候需要抓取地理位置信息，比如统计房子周边基础设施信息，比如医院、公交车站
【SparkML实践5】特征转换FeatureTransformers实战scala版
本章节主要讲转换1。
HBase数据迁移与同步实战分析
1.背景介绍1. 背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase具有高性能、高可用性、高可扩展性等特点，适用于大规模数据存储和实时数据
Flink 源码剖析｜5. 键控状态的 API 层
在 Flink 中有如下 5 种键控状态（Keyed State），这些状态仅能在键控数据流（Keyed Stream）的算子（operator）上使用。键控流使用键（key）对数据流中的记录进行分区，同时也会对状态进行分区。要创建键控流，只需要在 DataStream 上使用keyBy()方法指定
【软件工具】Java语言编译成JAR（Java Archive）文件工具、工作原理简介
这是一个基本的例子，实际项目中可能需要包括多个类文件和资源。在更复杂的情况下，可以使用构建工具（如Maven或Gradle）来自动化编译和打包过程。这些工具提供了更高级的功能，如依赖管理和自动化构建流程。Maven是一个强大的构建工具，广泛用于Java项目的构建管理。它简化了构建过程，同时提供了项目
大数据Doris（二）：Doris原理篇
在SQL优化器中最重要的一个组件是查询优化器（Query Optimization），在海量数据分析中一条SQL生成的执行计划搜索空间非常庞大，查询优化器的目的就是对执行计划空间进行裁剪减少搜索空间的代价，查询优化器对于SQL的执行来说非常重要，不管是关系型数据库系统Oracle、MySQL还是大数
