大数据人工智能:实现自动化与智能化的关键技术
1.背景介绍大数据人工智能(Big Data AI)是指利用大数据技术来实现数据的智能化处理和自动化管理,以提高企业和社会的效率和智能化程度。在当今的数字时代,数据量不断增长,人工智能技术不断发展,大数据人工智能成为了企业和社会的必须技术。大数据人工智能的核心是将大量的数据进行挖掘和分析,从而为企业
Zookeeper-Zookeeper选举源码
3、画图做笔记:总结框架的一些核心功能点,从这些功能点入手深入到源码的细节,边看源码边画源码走向图,并对关键源码的理解做笔记,把源码里的闪光点都记录下来,后续借鉴到工作项目中,理解能力强的可以直接看静态源码,也可以边看源码边debug源码执行过程,观察一些关键变量的值。2、抓主线:找一个demo入手
RabbitMQ常见问题之消息可靠性
MQ生产者消息确认消息持久化消费者消息确认消费失败重试机制。
【PySpark】Python 中进行大规模数据处理和分析
Apache Spark 是一个开源的大数据处理框架,提供了高效、通用、分布式的大规模数据处理能力。Spark 提供了内存计算功能,相较于传统的批处理框架(如Hadoop MapReduce),Spark 能够更高效地执行数据处理任务。Spark 将中间数据存储在内存中,减少了磁盘 I/O,从而加速
Dinky创建Flink实例报错
本文介绍了Dinky创建Flink实例失败的问题描述及解决方法,报错信息为Duplicate entry 'yarn-session-1.13-1' for key 'dlink_cluster_un'
初始RabbitMQ(入门篇)
channel: 如果每次访问消息队列都要建立一个TCP连接,那么当消息很多的时候,就会建立很多TCP连接,这时建立TCP连接的开销是非常大的,效率也是很低的.channel是在connection内部建立的逻辑连接,而且channel之间是完全隔离的.交换机:是消息队列中一个部件,可以接收来自生产
hadoop与hdfs
Hadoop的核心是分布式文件系统HDFS(Hadoop Distributed File System)和MapReduceHadoop是一个能够对大量数据进行分布式处理的软件框架,并且是以一种可靠、高效、可伸缩的方式进行处理的分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构
关于hive on spark部署后insert报错Error code 30041问题
其中,Spark Executor内存是Spark配置中设置的executor总内存,包括堆内存和非堆内存。总内存 = Spark Executor内存 + Spark Executor的JVM堆内存 + Spark Executor的JVM非堆内存。1). 将/opt/module/spark/c
【极数系列】Flink是什么?(02)
旨在帮助读者了解Flink基础架构,数据流处理,优势等
KAFKA高级应用
一些kafka的基础使用以及说明请参考上一篇文章kafka的基础入门。这篇文章主要是写kafka的一些高级特性、存储结构以及原理。
RabbitMQ 详解
MQ 全称为,即消息队列。“消息队列” 是在消息的传输过程中保存消息的容器。它是典型的:生产者、消费者模型。生产者不断向消息队列中生产消息,消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的,而且只关心消息的发送和接收,没有业务逻辑的侵入,这样就实现了生产者和消费者的解耦。消息,两台计算机
HBase数据模型与API
1.背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable设计。它是Hadoop生态系统的一部分,可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase适用于读多写少的场景,可以高效地存储和查询大量数据。HBase的核心概念包括Regi
RabbitMQ交换机(3)-Topic
RabbitMQ的Topic模式是一种基于主题的消息传递模式。它允许发送者向一个特定的主题(topic)发布消息,同时,订阅者也可以针对自己感兴趣的主题进行订阅。在Topic模式中,主题通过一个由单词和点号组成的字符串来描述。例如,“#.china”表示匹配所有以“china”为结尾的主题,比如“b
Hadoop HBASE 单节点版腾讯云安装
Hadoop HBASE 单节点版腾讯云安装
RabbitMQ中死信交换机的应用,工作原理,实现案例
死信交换机是用来处理消息队列中无法被消费者正确处理的消息的交换机。当消息在队列中变成死信时,它会被重新发送到死信交换机,然后被路由到死信队列中进行处理。死信交换机的作用是将死信消息重新路由到指定的死信队列中,以便进行后续处理。这样可以帮助系统更好地处理无法被消费者正确处理的消息,保证消息队列的稳定运
Hbase进阶
-不要create 'hive_hbase_emp_table','info'2.实现Hive中创建表hive_hbase_emp_table关联HBase。Region 热合并【无需停止hbase服务,在hbase中执行】3.在Hive中插入数据,通过HBase查询。--在hbase shell中
详解Nacos和Eureka的区别
Nacos(全称为"Dynamic Naming and Configuration Service")是一个面向云原生应用的动态服务发现、配置管理和服务管理平台。它提供了服务注册与发现、配置管理、动态配置和服务管理等功能。下面是关于Nacos的架构和模块组成的详细介绍:架构: Nacos的架构分为
HBase基础知识(五):HBase 对接 Hadoop 的 MapReduce
目标:将 fruit 表中的一部分数据,通过 MR 迁入到 fruit_mr 表中。分步实现:1.构建 ReadFruitMapper 类,用于读取 fruit 表中的数据@Override2. 构建 WriteFruitMRReducer 类,用于将读取到的 fruit 表中的数据写入到 frui
【Docker】快速入门手册
一文,保证docker丝滑快速入门。
Zookeeper入门详解
zookeeper详解