38、Flink 的CDC 格式：canal部署以及示例
Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或protobuf序列化消息（Canal 默认使用 protobuf）。Flink 支持将
Spark Graphx Pregel原理方法示例源码详解
Pregel计算模型是一个分布式计算模型，主要用于大规模图计算。它的基本思想是迭代计算和顶点为中心，并采用消息传递机制来实现并行计算。
大数据开发必备工具——Hadoop及整体架构介绍
虽然处理大数据的框架并不是只有 Hadoop一种，但是 Hadoop 是免费的开源的，而且是当前应用最广泛的。它最强大的地方就在于能够利用最普通的机器解决了大规模数据存储和运算的问题。同时，Hadoop 在经过不断的发展之后也已经形成了自己的生态圈，很多不同的组件都可以与Hadoop 搭配使用。很多
flink watermark 实例分析
把一个现有的列定义为一个为表标记事件时间的属性。该列的类型必须为，且是 schema 中的顶层列，它也可以是一个计算列。watermark是触发计算的机制，只要，就会触发当前行数据的计算。
Kafka为什么高吞吐量
Kafka为什么高吞吐量
Spark优化和问题
如： --jars "viewfs:///user/hadoop-shangchao/user_upload/hex-udf-0.1.jar,viewfs:///user/hadoop-shangchao/user_upload/zhuyong05_SafeDispatchUDF-1.0.jar"问
消息队列之王——Kafka
Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据领域的实时计算以及日志收集。
基于Hadoop平台的音乐推荐系统的设计与实现
近年来，随着网络技术的发展，在线音乐平台成为人们听歌曲的首选。面对海量的音乐数据，用户们往往显得无从选择。听歌作为日常的娱乐放松方式，一首首的试听明显不太现实，所以需要进行一定程度的筛选。本论文根据此需求，设计并实现了一个音乐推荐系统。该系统是基于Spring Boot框架，运用到Hadoop平台中
【大数据】Flink 架构（一）：系统架构
本篇博客我们将介绍搭建 Flink 时所涉及的不同组件并讨论它们在应用运行时的交互过程。我们主要讨论两类部署 Flink 应用的方式以及它们如何分配和执行任务。最后，我们将解释 Flink 高可用模式的工作原理。
RabbitMq交换机详解
交换机的作用是什么？接收publisher发送的消息将消息按照规则路由到与之绑定的队列不能缓存消息，路由失败，消息丢失FanoutExchange的会将消息路由到每个绑定的队列描述下Direct交换机与Fanout交换机的差异？Fanout交换机将消息路由给每一个与之绑定的队列Direct交换机根据
麒麟V10 ARM 离线生成RabbitMQ docker镜像并上传Harbor私有仓库
(192.168.1.3 为你的harbor仓库地址 k8s 为目录可自定义)镜像执行 docker images 查看镜像。然后将该镜像文件拷贝到harbor私库。将下载的镜像打包给离线主机集群使用。
02. Eureka、Nacos注册中心及负载均衡原理
SpringCloudRibbon的底层采用了一个拦截器，拦截了RestTemplate发出的请求，对地址做了修改。用一幅图来总结一下：拦截我们的RestTemplate请求http://userservice/user/1RibbonLoadBalancerClient会从请求url中获取服务名称
深入了解RabbitMQ：构建高效的消息队列系统
RabbitMQ是一种开源的消息代理软件，它实现了高效、可靠、可扩展的消息传递。它基于AMQP（Advanced Message Queuing Protocol）协议，可以用于在分布式系统中传递消息。RabbitMQ使用队列来存储消息，并通过发布（publish）和订阅（subscribe）模式来
如何利用大数据提高旅游业的效率
1.背景介绍旅游业是一个高度竞争的行业，其成功取决于如何更有效地利用资源、提高效率、提高客户满意度，以及预测市场趋势。随着互联网和大数据技术的发展，旅游业中的数据产生量和数据类型日益丰富。因此，大数据技术在旅游业中具有广泛的应用前景和潜力。在这篇文章中，我们将探讨如何利用大数据提高旅游业的效率，包括
C#使用RabbitMQ-3_发布订阅模式（扇形交换机）
在RabbitMQ的发布订阅模式中，生产者发送的消息不是直接发送到特定的队列，而是发送给Exchange。Exchange根据配置的规则决定如何处理这些消息。例如，它可以将消息路由到一个特定的队列，也可以将消息路由到多个队列，或者在某些情况下废弃消息。
CDH整合Flink(CDH6.3.0+Flink1.12.1)
CDH集成Flink
Flink SQL Client 安装各类 Connector、组件的方法汇总（持续更新中....）
一般来说，在 Flink SQL Client 中使用各种 Connector 只需要该 Connector 及其依赖 Jar 包部署到 ${FLINK_HOME}/lib 下即可。但是对于某些特定的平台，如果 AWS EMR、Cloudera CDP 等产品会有所不同，主要是它们中的某些 Jar
数字化养老：如何利用大数据提高养老服务质量
1.背景介绍在当今社会，人口老龄化已经成为全球性的问题。随着人口寿命的不断延长，老年人口占总人口的比例也在逐年增加。这导致了养老服务的需求大增，同时也带来了养老服务质量的紧迫问题。为了解决这一问题，我们需要利用大数据技术来提高养老服务质量。大数据技术在各个领域都有着广泛的应用，包括医疗健康、金融、教
消息中间件：Kafka
消息中间件：Kafka
Hadoop原理介绍
HDFS（Hadoop Distribute File System）：hadoop的数据存储工具。YARN（Yet Another Resource Negotiator,另一种资源协调者）：Hadoop 的资源管理器。Hadoop MapReduce:分布式计算框架
