Kafka——MirrorMaker详解
对于Kafka企业级用户而言，一个常见的痛点就是跨机房或跨数据中心(data center,DC)的数据传输。大型企业通常在多个数据中心部署Kafka集群。.这里的数据中心可能是企业拥有的自建机房，也可能是公有云厂商的不同机房。在多个机房部署Kafk集群的优势如下。实现灾备。较近的地理位置可缩短延时
大数据之Flink优化
以计算每个 mid 出现的次数为例，keyby 之前，使用 flatMap 实现 LocalKeyby 功能//Checkpoint 时为了保证 Exactly Once，将 buffer 中的数据保存到该 ListState 中//本地 buffer，存放 local 端缓存的 mid 的 cou
dolphin上MySQL到hive、seatunnel任务创建
3.根据需要创建TransformParam，TransformParam中可添加多个Transform，Transform用于对数据源表处理产生结果表供后续transform或sink使用，transform的source_table_name为上一段流程的结果表，result_table_nam
利用Hadoop进行数据湖构建与管理
数据湖是一个集中式的存储和处理平台，可以存储各种类型的数据，而不需要事先进行结构化的处理。Hadoop，作为一个分布式计算平台，为数据湖的构建和管理提供了强大的支持。它可以存储各种类型的数据，包括结构化数据、非结构化数据和半结构化数据。数据湖不需要对数据进行预先的结构化处理，这使得它可以快速地存储和
图神经网络与大数据：创新融合的数据智能时代
图神经网络与大数据的融合为数据智能时代带来了更多可能性。未来，随着技术的进一步发展，相信这一领域将迎来更多创新和突破。愿图神经网络和大数据的结合，在科技发展的道路上绘就更加辉煌的篇章！
宋绪杰：我的大数据成长之旅 | 提升之路系列（三）
导读为了发挥清华大学多学科优势，搭建跨学科交叉融合平台，创新跨学科交叉培养模式，培养具有大数据思维和应用创新的“π”型人才，由清华大学研究生院、清华大学大数据研究中心及相关院系共同设计组织的“清华大学大数据能力提升项目”开始实施并深受校内师生的认可。项目通过整合建设课程模块，形成了大数据思维与技能、
Kafka Stream 流式计算
Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。Kafka Stream的特点如下：Kafka Stream提供了一个非常简单而轻量的Library，它可以非常方便地嵌入任意Java应用中，也可
数据仓库内容分享(十)：CDC 技术
CDC 的全称是（变更数据捕获） ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC 技术的应用场景非常广泛：数据同步：用于备份，容灾；数据分发：一个数据源分发给多个下游系统；数据采集
kafka入门
2.在resources下创建文件application.yml。生产者发送消息，多个消费者只能有一个消费者接收到消息。（1）创建kafka-demo项目，导入依赖。生产者发送消息，多个消费者都可以接收到消息。1.导入spring-kafka依赖信息。（2）生产者发送消息。（3）消费者接收消息。
Kafka入门二——SpringBoot连接Kafka示例
本文介绍了Spring Boot集成Kafka的基本示例，包括生产者发送消息和消费者接收消息的主要概念。生产者负责创建和发送消息到Kafka主题，而消费者从订阅的主题中拉取并处理这些消息。文中简要概述了这两个组件的工作流程，为深入理解Kafka与Spring Boot的集成提供了基础。
HBase的数据索引与分区策略
1.背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。HBase提供了自动分区、数据复制、数据备份等功能，适用于存储海量数据。在HBase中，数据是以行为单位存储的，每行数据由一个RowKey组成。RowKey是唯一标识一行数据的键，可以是字符串、
基于Java+Spring Boot+MySQL+Hadoop的物品租赁系统的设计与实现
随着我国经济的高速发展与人们生活水平的日益提高，人们对生活质量的追求也多种多样。尤其在人们生活节奏不断加快的当下，人们更趋向于足不出户解决生活上的问题，物品租赁管理展现了其蓬勃生命力和广阔的前景。与此同时，为解决物品租赁管理需求，物品租赁管理发展愈发多元化与网络化，与电子信息技术相结合。物品租赁系统
大数据人工智能在金融科技领域的应用
1.背景介绍在当今的数字时代，人工智能(AI)和大数据技术已经成为金融科技领域的核心驱动力。随着数据的增长和处理能力的提高，金融机构可以利用大数据人工智能技术来提高业务效率、降低风险和提高客户满意度。在这篇文章中，我们将探讨大数据人工智能在金融科技领域的应用，以及其背后的核心概念、算法原理和实际代码
关于Flink的旁路缓存与异步操作
将数据库中的数据,比较经常访问的数据,保存起来,以减少和硬盘数据库的交互比如: 我们使用mysql时 经常查询一个表 , 而这个表又一般不会变化,就可以放在内存中,查找时直接对内存进行查找,而不需要再和mysql交互。
数据湖系列之一 | 你一定爱读的极简数据平台史，从数据仓库、数据湖到湖仓一体
随着企业数据量的爆炸式增长，以及越来越多的企业上云，数据平台面临的数据存储、数据处理的挑战越来越大，采用什么样的技术来构建和迭代这个平台一直是业界研究的热点，新技术和新思路不断涌现。数据湖提倡所有的数据，不管是数据库的结构化数据，还是视频、图片、日志这类非结构化的数据，都以它们原始的格式存储到一个统
大数据招聘信息数据分析：基于Python网络爬虫的IT招聘就业岗位数据分析可视化推荐系统
本项目旨在开发一个基于Python网络爬虫技术的IT招聘就业岗位可视化分析推荐系统。数据来源于Boss直聘招聘网站，采集到的各种岗位数据信息量合计在70万左右，数据精确真实可靠，本项目主要利用selenium、requests爬虫以及BeautifulSoup、numpy和Pandas等库进行数据的
什么是RabbitMQ？
RabbitMQ支持不同类型的交换机，其中最常用的类型之一是扇出交换机（Fanout Exchange），它会将消息广播到与之绑定的所有队列，无视消息的路由键。在RabbitMQ中，消息代理指的就是RabbitMQ服务器，它是一个中间件软件，负责接收、存储和转发消息，充当了消息的中介。请求/响应模型
搭建PyFlink环境(2)
搭建PyFlink环境(2)
数据仓库基本理论Ⅰ
什么是数据仓库；三种模型；事实表
BI 数据分析，数据库，Office，可视化，数据仓库
AIGC ChatGPT 职场案例AI 绘画 与 短视频制作PowerBI 商业智能 68集Mysql 8.0 54集Oracle 21C 142集Office 2021实战应用Python 数据分析实战，ETL Informatica 数据仓库案例实战 51集Excel 2021实操 100集，E
