【Java】微服务——微服务介绍和Eureka注册中心
注册一个RestTemplate的实例到Spring容器修改order-service服务中的OrderService类中的queryOrderById方法，根据Order对象中的userId查询User将查询的User填充到Order对象，一起返回。
【基础】Kafka -- 主题与分区
整理总结了 Kafka 中主题以及分区的管理方式
Kafka（一）使用Docker Compose安装单机Kafka以及Kafka UI
这里我们的配置是选择的是KRaft，因为Kafka官方已经计划在Kafak中移除Zookeeper。对于UI配置项没什么特别要说的，这里只是提一下，注意这里的docker-compose.yml中environment的写法，和上面的Kafka镜像中environment的写法不同，这是两种不同的写
人类思维VS AI智能：谁是未来的胜者？
虽然有很多人认为人工智能（AI）将取代人类，但事实上，人类与人工智能的融合将为我们带来新的可能。当人工智能（AI）技术的发展开始提速时，我们更应该看到的是人类思维和 AI智能的结合与融合。在未来，如果我们想要在生活中拥有更多的选择，我们需要做的不仅仅是更聪明地使用我们的智能手机，还需要更深入地了解和
【大数据 | 综合实践】大数据技术基础综合项目 - 基于GitHub API的数据采集与分析平台
本文章详解了整个大数据技术综合项目全流程,以及源码、文档、元数据、等，大家在做大作业或者课设可以参考借鉴以下。 基于 hadoop hbase spark python mysql mapreduce 实现。 通过数据采集和分析，为企业和个人提供全面的市场洞察和技术趋势分析，帮助他们做出更好的决策
5 | Java Spark WordCount打成Jar 包测试
使用 Maven 或 Gradle 等构建工具，将您的项目编译并打包成一个包含依赖项的 JAR 文件。这个 JAR 文件将包含您的 WordCount 代码以及 Spark 依赖项。运行此命令将在 Spark 集群上启动 WordCount 作业，它将读取指定的输入文件，执行 WordCount 操
2022届本科毕业生10大高薪专业：大数据专业进入top3
对于普通人来讲，报考一个高薪的职业还是重中之重。那么什么专业高薪呢，很多人觉得是程序员，但这是职业而不是大学专业，专业千千万，选什么好呢，接下来看一看。最近国家统计局发布了2022年城镇单位就业人员平均工资数据。这份数据显示，2022年，信息传输、软件和信息技术服务业在城镇非私营单位和私营单位中都是
Flink--8、时间语义、水位线（事件和窗口、水位线和窗口的工作原理、生产水位线、水位线的传递、迟到数据的处理）
时间语义、水位线（事件和窗口、水位线和窗口的工作原理、生产水位线、水位线的传递、迟到数据的处理）
Kafka——Kafka Connect详解
Kafka Connect是一个高伸缩性、高可靠性的数据集成工具，用于在Apache Kafka与其他系统间进行数据搬运以及执行ETL操作，比如Kafka Connect能够将文件系统中某些文件的内容全部灌入Kafka topic中或者是把Kafka topic中的消息导出到外部的数据库系统，如图所
RabbitMQ详细使用
注意事项：一个消息只能被处理一次，不可以处理多次。
Kafka3.0.0版本——手动调整分区副本示例
Kafka3.0.0版本——手动调整分区副本示例
【Flink】Flink 中的时间和窗口之水位线(Watermark)
在事件时间语义下，我们可以不依赖系统时间，而是基于数据自带的时间戳去定义了一个时钟，用来表示当前时间的进展。这样每个并行子任务都会有一个自己的逻辑时钟，它的前进是靠数据的时间戳来驱动的。但是在分布式系统中，会存在一些问题，因为数据本身在处理转换过程中会发生变化，如果遇到窗口聚合的操作，呢么下游的数据
大数据技术之flume——日志收集系统
大数据需要解决的三个问题：采集、存储、计算。Apache flume是一个分布式、可靠的、高可用的海量日志数据采集、聚合和传输系统，将海量的日志数据从不同的数据源移动到一个中央的存储系统中。用一句话总结：Flume不生产数据，它只是数据的搬运工。flume最主要的作用就是，实时读取服务器本地磁盘的数
Flink流批一体计算（16）：PyFlink DataStream API
图中的Operator Chain表示一个Operator，keyBy表示一个Operator，Sink表示一个Operator，它们通过Stream连接，而每个Operator在运行时对应一个Task，也就是说图中的上半部分有3个Operator对应的是3个Task。紧密度高的算子可以进行优化，优
【Spring Cloud】深入理解 Eureka 注册中心的原理、服务的注册与发现
在微服务架构中，服务的注册与发现是至关重要的一环。为了实现这一目标，Eureka 注册中心应运而生。在本篇文章中，我们将深入理解 Eureka 注册中心的原理，以及探讨服务的注册与发现机制。在微服务的协作中，服务之间的远程调用是常见的需求。然而，使用传统的 RestTemplate 远程调用方式存在
Kafka生产者性能调优技巧
Kafka是一个分布式流平台，是由LinkedIn开发的一个开源项目。Kafka采用发布-订阅模式，消息的发送者称为“生产者”，消息的接收者称为“消费者”。Kafka以高吞吐量、可靠性和存储容量等优点，成为了大规模实时数据处理的首选。在Kafka中生产者将消息发布到一个Topic（主题）中，并且可以
kafka与zookeeper的集群
zookeeper是一个分布式的协调服务，主要用于维护集群的元数据信息和配置信息。kafka集群依赖其存储、管理自身元数据、配置。kafka是一个高性能、低延迟、分布式的消息传递系统，特点在于实时处理数据。其集群由多个成员节点broker组成，每个节点都可以独立处理消息传递和存储任务。
32、Flink table api和SQL 之用户自定义 Sources & Sinks实现及详细示例
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性1
使用Flume将日志数据采集并缓存到Kafka
Flume是一个可靠且可扩展的分布式日志收集系统，而Kafka是一个高吞吐量的分布式消息队列。结合使用Flume和Kafka，我们可以实现将日志数据从源头采集并缓存到Kafka中，以便后续的处理和分析。下面是一个示例的Flume配置文件，用于将日志数据采集并发送到Kafka：在上述配置文件中，我们首
Hadoop分布式文件系统
Hadoop的发音[hædu:p] ，Cutting儿子对玩具小象的昵称。
