【极数系列】Flink详细入门教程 & 知识体系 & 学习路线（01）
【极数系列】Flink详细入门教程 & 知识体系 & 学习路线（01），旨在帮助读者快速了解flink框架知识架构以及后续的学习路线
Flink与ApacheHive的集成
1.背景介绍1. 背景介绍Apache Flink 和 Apache Hive 都是流处理和大数据处理领域的重要技术。Flink 是一个流处理框架，用于实时处理大量数据，而 Hive 是一个基于 Hadoop 的数据仓库系统，用于批处理和分析大数据。在现实应用中，这两个技术经常被结合使用，以充分发挥
大数据和社交网络：数据挖掘与分析
1.背景介绍大数据和社交网络是当今互联网发展的重要领域之一，它们为我们提供了丰富的数据源和挖掘价值的空间。在这篇文章中，我们将深入探讨大数据和社交网络的相关概念、核心算法、应用实例以及未来发展趋势。1.1 大数据的概念与特点大数据是指通过各种途径收集到的海量、多样化、高速增长的数据。大数据具有以下特
大数据毕设分享 基于机器视觉的人体姿态行为识别
今天学长向大家分享一个毕业设计项目毕业设计 基于机器视觉的人体姿态行为识别毕业设计 深度学习人体姿势姿态识别1、人体姿态估计简介人体姿态估计（Human Posture Estimation），是通过将图片中已检测到的人体关键点正确的联系起来，从而估计人体姿态。人体关键点通常对应人体上有一定自由度的
Flink（十二）【容错机制】
Flink 容错机制
使用Flink CDC从数据库采集数据，保证数据不丢失：实现断点续传机制
Flink CDC是Flink提供的一个用于捕获数据库变更的组件。它能够监视数据库中的更改操作，并将这些变更以流的形式传递给Flink应用程序进行处理。通过使用Flink CDC，我们可以实现实时的数据库数据同步和实时的数据分析。
一文了解数据库，数据仓库，数据湖，数据集市，数据湖仓
数据库，数据仓库，数据湖，数据集市，数据湖仓的相同点和区别。
大数据实验报告英汉对照版（Hadoop安装与配置）
本实验的主要目的是通过在Docker容器中部署Hadoop集群来验证Hadoop对HDFS(分布式文件系统)和MapReduce的支持。通过这个实验，我们的目的是深入了解Hadoop的配置、启动和验证过程，以及Hadoop集群在分布式环境下的工作方式。
RabbitMQ之交换机
在RabbitMQ工作流程有一项叫在中生产者发送的信息不会直接投递到队列中，而是先将消息投递到交换机中，在由交换机路由到一个或多个队列中。
【RabbitMQ 实战】10 消息持久化和存储原理
交换器、队列、消息都可以设置是否持久化。交换器和队列持久化的含义是元数据持久化。消息持久化的含义是消息本身持久化。将交换器、队列、消息都设置了持久化之后能百分之百保证数据不丢失吗？答案是不能从消费者来说，如果在订阅消费队列时将 autoAck 参数设置为 true，那么当消费者接收到相关消息之后，还
玩转大数据10：深度学习与神经网络在大数据中的应用
深度学习和神经网络在大数据中的应用已经成为当今人工智能领域的热点问题。它们具有处理大规模数据、提取特征和提高预测精度等优势，被广泛应用于图像识别、语音识别、自然语言处理、推荐系统和金融风控等领域。随着技术的不断发展和应用场景的不断扩大，深度学习和神经网络在大数据中的应用将会更加广泛和深入。同时，我们
Iceberg从入门到精通系列之二十三：Spark查询
要在 Spark 中使用 Iceberg，请首先配置 Spark 目录。Iceberg 使用 Apache Spark 的 DataSourceV2 API 来实现数据源和目录。
Flink：快速掌握批处理数据源的创建方法
本文收集了实现领域的反馈，因为javadoc无法涵盖高性能和可维护源的所有实现细节。希望你喜欢这篇文章，并且它给了你为Flink项目贡献一个新连接器的愿望!Flink：快速掌握批处理数据源的创建方法。
RocketMQ和Kafka的区别，以及如何保证消息不丢失和重复消费
4）unclean.leader.election.enable = false 当leader副本发生故障时不会从followers副本中和leader副本同步程度达不到要求的副本中选出leader，降低了消息丢失的可能性。但是这样也会带来重复消费的情况，比如，消费了一半还没提交offset突然挂
38、Flink 的CDC 格式：canal部署以及示例
Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或protobuf序列化消息（Canal 默认使用 protobuf）。Flink 支持将
Spark Graphx Pregel原理方法示例源码详解
Pregel计算模型是一个分布式计算模型，主要用于大规模图计算。它的基本思想是迭代计算和顶点为中心，并采用消息传递机制来实现并行计算。
大数据开发必备工具——Hadoop及整体架构介绍
虽然处理大数据的框架并不是只有 Hadoop一种，但是 Hadoop 是免费的开源的，而且是当前应用最广泛的。它最强大的地方就在于能够利用最普通的机器解决了大规模数据存储和运算的问题。同时，Hadoop 在经过不断的发展之后也已经形成了自己的生态圈，很多不同的组件都可以与Hadoop 搭配使用。很多
flink watermark 实例分析
把一个现有的列定义为一个为表标记事件时间的属性。该列的类型必须为，且是 schema 中的顶层列，它也可以是一个计算列。watermark是触发计算的机制，只要，就会触发当前行数据的计算。
Kafka为什么高吞吐量
Kafka为什么高吞吐量
Spark优化和问题
如： --jars "viewfs:///user/hadoop-shangchao/user_upload/hex-udf-0.1.jar,viewfs:///user/hadoop-shangchao/user_upload/zhuyong05_SafeDispatchUDF-1.0.jar"问
