第七篇——Apache Kafka的设计与实现
作者：禅与计算机程序设计艺术 1.简介Apache Kafka是Apache软件基金会推出的一个开源分布式流处理平台，它最初由LinkedIn开发并于2011年9月正式发布，目前已成为 Apache 项目之一，是一个基于发布-订阅模式的分布式、高吞吐量、可容错、
RabbitMQ原理(三)：发送者的可靠性
每个只能配置一个，因此我们可以在配置类中统一设置。我们在publisher模块定义一个配置类：log . error("触发return callback,");} });} }log . error("触发return callback,");} });} }Slf4j;import orglog
计算机，软件工程，网络工程，大数据专业毕业设计选题有哪些（附源码获取途径）前后端分离项目居多
大家好！我是你们的毕设周学长，知道你们即将面临毕业设计的任务，所以我来给大家整理了一些可能用到的计算机毕设选题，希望能够帮到你们。当然，以上只是一些选题的示例，具体选题还需要结合自身的兴趣和实际情况进行选择。如果对选题有任何疑问，欢迎向我提问，我会尽力为大家提供帮助。祝愿大家能够找到适合自己的毕设选
【大数据实训】—Hadoop开发环境搭建（一）
因为JDK的压缩包有大概200M，所以我们已经在平台中为你下载好了JDK，不用你再去Oracle的官网去下载了，如果你要在自己的Linux系统中安装，那么还是需要下载的。配置开发环境是我们学习一门IT技术的第一步，Hadoop是基于Java开发的，所以我们学习Hadoop之前需要在Linux系统中配
RabbitMQ核心总结
RabbitMQ是基于AMQP协议的，通过使用通用协议就可以做到在不同语言之间传递。server：又称broker，接受客户端连接，实现AMQP实体服务。connection：连接和具体broker网络连接。channel：网络信道，几乎所有操作都在channel中进行，channel是消息读写的通
Python开发项目基于大数据的反电信诈骗管理系统设计与实现
基于大数据反电信诈骗管理系统的目的就是在于建立属于自己的一套反电信诈骗系统，在日常的工作中，反电信诈骗是一件非常重要的事情，主要还是用python的手段来进行的开发。
Hadoop分布式集群搭建教程
大数据课程需要搭建Hadoop分布式集群，在这里记录一下搭建过程。
数据中台实战(00)-大数据的尽头是数据中台吗？
数据中台构建于数据湖之上，具备数据湖异构数据统一计算、存储的能力，同时让数据湖中杂乱的数据通过规范化的方式管理起来。数据中台需要依赖大数据平台，大数据平台完成了数据研发的全流程覆盖，数据中台增加了数据治理和数据服务化的内容。数据中台借鉴了传统数据仓库面向主题域的数据组织模式，基于维度建模的理论，构建
springboot整合eureka
【代码】springboot整合eureka。
MQ消息队列(主要介绍RabbitMQ)
在实际的开发中我们经常会有取消订单的功能，就可以使用消息队列延迟消费消息，具体实现通过个死信队列，把消息先放到死信队列，当消息到期之后转到到期队列，监听到期队列然后达到订单取消功能。问题1：以上消息发送和消费中，如果传输的数据是java对象，默认使用的jdk序列化机制，我们经常需要使用json传递就
大数据面试题：Spark和Flink的区别
Flink 根据用户提交的代码生成 StreamGraph，经过优化生成 JobGraph，然后提交给JobManager 进行处理， JobManager 会根据 JobGraph 生成 ExecutionGraph，ExecutionGraph 是 Flink 调度最核心的数据结构，JobMan
2.2 如何使用FlinkSQL读取&写入到文件系统(HDFS\Local\Hive)
如何使用FlinkSQL读取&写入到文件系统(HDFS\Local)
Building a Realtime Streaming Data Pipeline Using Kafka
作者：禅与计算机程序设计艺术 1.简介Apache Kafka是一个开源的分布式流处理平台，由LinkedIn开发并开源，用于高吞吐量、低延迟的数据实时传输。本文将使用Kafka作为数据源，使用Storm作为流处理框架构建实时数据流水线。在这一过程中，我们可以学
Spark3 新特性之AQE
Spark3 新特性之AQE
云数据仓库实践：AWS Redshift在大数据储存分析上的落地经验分享
本文从主流的数据仓库出发进行讲解，然后重点分析了一下这款产品的特点，及其在数据分析领域的优劣势。然后根据平时在工作用的实际应用实践，给出了常见的一些疑惑问题解答。最后通过一些日常使用的SQL分享，让大家来初识这一款数据仓库。如果想要深入学习大数据或者数据挖掘，可以继续去官网学习相关技术。
一百一十七、Hadoop——GZIP压缩并解压HDFS中的文件
GZIP压缩并解压HDFS中的文件
怎么使用 Flink 向 Apache Doris 表中写 Bitmap 类型的数据
Bitmap是一种经典的数据结构，用于高效地对大量的二进制数据进行压缩存储和快速查询。Doris支持bitmap数据类型，在Flink计算场景中，可以结合Flink doris Connector对bitmap数据做计算。社区里很多小伙伴在是Doris Flink Connector的时候，不知道怎
对比flink cdc和canal获取mysql binlog优缺点
Flink CDC和Canal都是用于获取MySQL binlog的工具，但是有以下几点优缺点对比：
数据库、数据中台、数据仓库、数据湖区别
数据库、数据中台、数据仓库、数据湖区别以及相似点
spark读取hive表字段，区分大小写问题
spark任务读取hive表，查询字段为小写，但Hive表字段为大写，无法读取数据。
