Hadoop 教程 - Hadoop YARN Resource 资源配置
YARN支持扩展资源类型，允许用户定义除内存和CPU之外的其他资源，如GPU、网络带宽等。描述: 配置文件中定义自定义资源类型。描述: 在Capacity Scheduler中，每个队列可以设置用户最低资源占有率百分比，以保证公平性。
RabbitMQ的快速开发使用
追求可用性：Kafka、 RocketMQ 、RabbitMQ追求可靠性：RabbitMQ、RocketMQ追求吞吐能力：RocketMQ、Kafka追求消息低延迟：RabbitMQ、Kafka据统计，目前国内消息队列使用最多的还是RabbitMQ，再加上其各方面都比较均衡，稳定性也好。Rabbit
FlinkAsyncI_O的最佳实践
FlinkAsyncI/O的最佳实践1. 背景介绍在现代数据处理系统中,异步I/O操作扮演着至关重要的角色。由于数据源通常是外部系统(如数据库、消息队列或Web服务),因此I/O操作往往是整个数据处理管道中的瓶颈。传统的同步I/O方式会导致大量线程被阻塞,从而浪费宝贵的计算资源。相比
【人机交互 复习】第2章 Hadoop
在Hadoop 2.0及以上版本中，start-all.sh 已被拆分为 start-dfs.sh 和 start-yarn.sh，但在旧版本中，start-all.sh 可以启动这两个服务。1.Hadoop 是一个能够对大量数据进行分布式处理的软件框架，并 且是以一种可靠、高效、可伸缩的方式进行
spring cloud 之 Netflix Eureka
pomimportserver:port: 8761 # Eureka服务端口eureka:client:registerWithEureka: false # 表示不向注册中心注册自己fetchRegistry: false # 表示自己就是注册中心，我的职责就是维护服务实例，不需要去检索服
关于打不开http://hadoop102:9870网页
关于打不开http://hadoop102:9870网页
Python 使用 RabbitMQ
这种模式和第二种模式差不多，exchange 也是通过 路由键 routing_key 来转发消息到指定的 queue。设置消费者一的 routing_key 为 a.# 和 b.*, 指a后面可以以任意词结尾，b后面最多只能附加一个词。模式，要借助交换机(Exchange),一个任务会交给多个处理
celery使用 Zookeeper 或 kafka 作为broker，使用 mysql 作为 backend
使用Zookeeper / kafka 代替redis作为celery broker使用
麒麟V10 安装jdk，tomcat，rabbitmq
guest用户默认只能沟通过http:localhost(ip):55672（默认是15672，我们已经在第五步修改为55672了）访问，为了实现在其他电脑上可以登录控制台，需要增加一个用户并赋予权限。对用户设置许可证：rabbitmqctl set_permissions -p "/" user
【实战】Spring Cloud Stream 3.1+整合Kafka
之前我们已经整合过Spring Cloud Stream 3.0版本与Kafka、RabbitMQ中间件，简直不要太好，直接让我们不用再关心底层MQ如何集与消息收发。但是从Spring Cloud 2020版本开始，Spring Cloud Stream的版本升级至3.1.0以上版本，自此版本开始@
《数据仓库与数据挖掘》 总复习
《数据仓库与数据挖掘》 总复习
Apache Kafka 技术总结
Apache Kafka 技术总结
大数据技术之Hadoop-分布式文件系统
配置HDFS。
使用 Apache Flink 从 Hive 批量加载数据到 HBase
通过上述步骤，我们实现了从 Hive 数据到 HBase 的批量加载过程。这种方法不仅高效，而且能够处理大规模数据。希望这篇博客对你理解和应用 Flink 和 HBase 有所帮助。如果有任何问题，欢迎留言讨论。
RabbitMQ从入门到入土
优势：时效性强，等到结果后就返回问题：扩展性差性能下降级联失败问题。
毕设成品 基于大数据人才岗位数据分析
这里是毕设分享系列，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据人才岗位数据分析毕业设计 基于大数据人才岗位数据分析。
【大数据实训日记】Day12 超市电商数据分析(读取、清洗数据及数据分析)
由于上述透视表的人数和远远小于总的记录数，说明超市对保持老客户较为有效 ，也间接说明了超市的运营状况较为稳定；还可以发现，2011-2014年每年的新增客户数呈逐年减少的趋势，新客户获取率比较低，因此，可以进行主动推广营销，从而增加新客户数；由上面可知，各类型的消费者的销售额在逐步上升，其中以普通消
【hive】lateral view侧视图
lateral view也叫侧视图，属于hive sql所特有的语法。用来实现类似标准sql中join的操作。join参与运算的往往是两个表，根据指定的关联字段进行横向连接。lateral view参与运算的是一张表，这张表里往往存在某个多值的字段，通过侧视图结合UDTF函数可以将这个多值字段拆分为
大数据开发之Hive（统计影音视频网站的常规指标）
1、视频表2、用户表。
Linux 搭建 kafka 流程
上进行的操作，同样的操作要在三台虚拟机上都执行，只是有些细微的配置不同，其他配置信息完全相同。对于不同虚拟机上有差异的部分，我会一一指出。集群来启动，但是考虑到未来的项目需求，建议使用独立的。需要搭建几个节点 就是发送几份，启动服务即可。集群的地址，可以是多个，多个之间用逗号分割。的启动就不会影响我
