RabbitMQ入门案例-Java
Q全称为Message Queue,消息队列是应用程序和应用程序之间的通信方法。
【HDFS实战】HDFS联合(联邦)集群的发展史
HDFS联合(联邦)机制
大数据爬虫分析基于Python+Django旅游大数据分析系统
基于Python和Django的旅游大数据分析系统是一种使用Python编程语言和Django框架开发的系统,用于处理和分析旅游行业的大数据,为旅游从业者和决策者提供有关旅游趋势、客户需求、市场竞争等方面的信息和洞见。以下是一个基本的旅游大数据分析系统的设计介绍:使用Python编程语言编写数据爬虫
Spark SQL将Hive表中的数据写入到MySQL数据库中
Spark SQL将Hive表中的数据写入到MySQL数据库中
使用Flink MySQL cdc分别sink到ES、Kafka、Hudi
进入hudi目录,修改hudi/pom.xml,修改对应组件的版本,由于flink使用的是scala-2.11版本,spark3.x版本以上默认使用scala-2.12预编译,为了节省时间,我们在此使用spark2.4.8以scala-2.11预编译的版本,对应的hadoop版本为2.7。- 修改h
HBase架构和部署(超级详细)
在Memstore超过一定的阈值的时候,就要新开一个进程将Memstore flush到storefile中,新的Memstore继续写入接受到的数据,当storefile越来越多时,就会降低读的性能,为了提高读的性能,可以对这些storefile进行compact操作,形多个storefile合并
使用Spark SQL读取阿里云OSS的数据
如何使用spark sql读写阿里云OSS上的Parquet数据?
互联网Java工程师面试题·RabbitMQ篇
采用 AMQP 高级消息队列协议的一种消息队列技术,最大的特点就是消费并不需要确保提供方存在,实现了服务之间的高度解耦。
简单实现,在nodejs中简单使用kafka
Kafka 是由Linkedin公司开发的,它是一个分布式的,支持多分区、多副本,基于 Zookeeper 的分布式消息流平台,它同时也是一款开源的基于发布订阅模式的消息引擎系统。
Spring RabbitMQ那些事(2-两种方式实现延时消息订阅)
被消费者nack(negatively acknowleged)的消息。TTL过期后未被消费的消息。超过队列长度限制后被丢弃的消息。备注:更多信息请参考RabbitMQ中的。
「数据密集型系统搭建」原理篇|OLAP、OLTP,竟是两个世界
本篇来聊聊OLAP与OLTP的区别以及它们各自的适用场景,以此话题为导引和大家聊聊技术视野与知识储备对于研发同学的重要性,站在事务处理与在线分析的角度分别论述下两个数据世界的底层构建逻辑。
31、Flink的SQL Gateway介绍及示例
SQL Gateway 是一种使远程多个客户端能够并发执行SQL的服务。它提供了一种提交Flink Job、查找元数据和在线分析数据的简单方法。SQL Gateway 由可插入endpoints 和SqlGatewayService组成。SqlGatewayService是一个由endpoints
关于解决java.lang.UnsupportedClassVersionError的相关问题以及应对方法
关于代码不能在linux上运行,Linux的jdk版本冲突,Linux最高支持52.0(也就是Java8,使用的jdk版本是jdk1.8)的解决方案
HBase1.2.1集群部署,Kafka_2.11-2.00集群部署
进入Hadoop安装目录的conf目录,将配置文件core-site.xml和hdfs-site.xml复制到HBase安装目录下的conf目录,用于HBase启动时读取Hadoop的核心配置信息和HDFS配置信息。在HBase安装目录下的conf目录,执行“vim hbase-env.sh”命令编
49、Flink的Java Lambda 表达式写法示例
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性1
一文快速学会Hadoop伪分布式环境搭建,很详细
dfs.replication: ⽤于指定⽂件块的副本数量。HDPS特别适合于存储⼤⽂件,它会将⼤⽂件切分成每128MB⼀块,存储到不同的DataNode节点上,且默认将每⼀块备份2份,共3份,即此配置的默认值为3,最⼤为512MB。yarn.resourcemanager.hostname:⽤于指
如何把RabbitMQ完全卸载干净?
5.删除C:\Windows\System32\config\systemprofile\.erlang.exe文件。6.删除C:\Users\[UserName]\.erlang.exe文件([UserName是你的用户名])。7.删除C:\Users\[UserName]\AppData\Roa
45、Flink 的指标体系介绍及验证(1)-指标类型及指标实现示例
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性1
Hive 的角色和权限控制
的权限模型中,用户可以拥有多个角色,一个角色可以包含多个用户。管理员可以根据需要创建和管理角色,并为这些角色分配相应的权限。中的角色控制是通过角色的概念来实现的,角色可以理解为一组用户的集合,可以对这个集合中的用户进行权限的管理。用户可以根据自己的需求创建和管理角色,并为这些角色分配相应的权限。中的
解决hbase报ERROR: KeeperErrorCode = NoNode for /hbase/master
zookeeper的data使用的/tmp路径修改conf下的zoo.cfg。