消息队列之王——Kafka
Kafka 是一个分布式的基于发布/订阅模式的消息队列(MQ,Message Queue),主要应用于大数据领域的实时计算以及日志收集。
基于Hadoop平台的音乐推荐系统的设计与实现
近年来,随着网络技术的发展,在线音乐平台成为人们听歌曲的首选。面对海量的音乐数据,用户们往往显得无从选择。听歌作为日常的娱乐放松方式,一首首的试听明显不太现实,所以需要进行一定程度的筛选。本论文根据此需求,设计并实现了一个音乐推荐系统。该系统是基于Spring Boot框架,运用到Hadoop平台中
【大数据】Flink 架构(一):系统架构
本篇博客我们将介绍搭建 Flink 时所涉及的不同组件并讨论它们在应用运行时的交互过程。我们主要讨论两类部署 Flink 应用的方式以及它们如何分配和执行任务。最后,我们将解释 Flink 高可用模式的工作原理。
RabbitMq交换机详解
交换机的作用是什么?接收publisher发送的消息将消息按照规则路由到与之绑定的队列不能缓存消息,路由失败,消息丢失FanoutExchange的会将消息路由到每个绑定的队列描述下Direct交换机与Fanout交换机的差异?Fanout交换机将消息路由给每一个与之绑定的队列Direct交换机根据
麒麟V10 ARM 离线生成RabbitMQ docker镜像并上传Harbor私有仓库
(192.168.1.3 为你的harbor仓库地址 k8s 为目录可自定义)镜像执行 docker images 查看镜像。然后将该镜像文件拷贝到harbor私库。将下载的镜像打包给离线主机集群使用。
02. Eureka、Nacos注册中心及负载均衡原理
SpringCloudRibbon的底层采用了一个拦截器,拦截了RestTemplate发出的请求,对地址做了修改。用一幅图来总结一下:拦截我们的RestTemplate请求http://userservice/user/1RibbonLoadBalancerClient会从请求url中获取服务名称
深入了解RabbitMQ:构建高效的消息队列系统
RabbitMQ是一种开源的消息代理软件,它实现了高效、可靠、可扩展的消息传递。它基于AMQP(Advanced Message Queuing Protocol)协议,可以用于在分布式系统中传递消息。RabbitMQ使用队列来存储消息,并通过发布(publish)和订阅(subscribe)模式来
如何利用大数据提高旅游业的效率
1.背景介绍旅游业是一个高度竞争的行业,其成功取决于如何更有效地利用资源、提高效率、提高客户满意度,以及预测市场趋势。随着互联网和大数据技术的发展,旅游业中的数据产生量和数据类型日益丰富。因此,大数据技术在旅游业中具有广泛的应用前景和潜力。在这篇文章中,我们将探讨如何利用大数据提高旅游业的效率,包括
C#使用RabbitMQ-3_发布订阅模式(扇形交换机)
在RabbitMQ的发布订阅模式中,生产者发送的消息不是直接发送到特定的队列,而是发送给Exchange。Exchange根据配置的规则决定如何处理这些消息。例如,它可以将消息路由到一个特定的队列,也可以将消息路由到多个队列,或者在某些情况下废弃消息。
CDH整合Flink(CDH6.3.0+Flink1.12.1)
CDH集成Flink
Flink SQL Client 安装各类 Connector、组件的方法汇总(持续更新中....)
一般来说,在 Flink SQL Client 中使用各种 Connector 只需要该 Connector 及其依赖 Jar 包部署到 ${FLINK_HOME}/lib 下即可。但是对于某些特定的平台,如果 AWS EMR、Cloudera CDP 等产品会有所不同,主要是它们中的某些 Jar
数字化养老:如何利用大数据提高养老服务质量
1.背景介绍在当今社会,人口老龄化已经成为全球性的问题。随着人口寿命的不断延长,老年人口占总人口的比例也在逐年增加。这导致了养老服务的需求大增,同时也带来了养老服务质量的紧迫问题。为了解决这一问题,我们需要利用大数据技术来提高养老服务质量。大数据技术在各个领域都有着广泛的应用,包括医疗健康、金融、教
消息中间件:Kafka
消息中间件:Kafka
Hadoop原理介绍
HDFS(Hadoop Distribute File System):hadoop的数据存储工具。YARN(Yet Another Resource Negotiator,另一种资源协调者):Hadoop 的资源管理器。Hadoop MapReduce:分布式计算框架
Flink1.17实战教程(第七篇:Flink SQL)
1)创建数据库(1)语法(2)案例2)查询数据库(1)查询所有数据库(2)查询当前数据库3)修改数据库4)删除数据库RESTRICT:删除非空数据库会触发异常。默认启用CASCADE:删除非空数据库也会删除所有相关的表和函数。5)切换当前数据库系统函数尽管庞大,也不可能涵盖所有的功能;如果有系统函数
RabbitMQ之Window中安装配置与使用
RabbitMQ之Window中安装配置与使用
hiveSql解析DolphinScheduler调度系统7位crontab表达式
先说下我们数仓大致的数据链路。各个业务系统的数据库 -> hive -> doris -> 报表/邮件/系统hive里ods层几乎所有的数据都依赖于从业务库拉取,但是偶尔也难以避免的会遇到拉取失败或者集群(主要是业务库)宕机的情况,导致ods层数据大批量的拉取失败,从而影响到dwd层、dws层、ad
Hive权限管理
基于存储的授权 - 可以对Metastore中的元数据进行保护,但是没有提供更加细粒度的访问控制(例如:列级别、行级别)。基于SQL标准的Hive授权 - 完全兼容SQL的授权模型,推荐使用该模式。hive默认授权 - 设计目的仅仅只是为了防止用户产生误操作,而不是防止恶意用户访问未经授权的数据。
Apache Flink中keyBy三种方式指定key
Apache Flink中keyBy三种方式指定key
RabbitMQ 参数配置说明
【代码】RabbitMQ 参数配置说明。