AnalyticDB for PostgreSQL 实时数据仓库上手指南
AnalyticDB for PostgreSQL 提供企业级数据仓库云服务,基于开源Greenplum构建,采用MPP架构,支持1000+节点PB级数据的实时分析。通过数据传输服务 DTS 、数据集成工具DataX、开源同步工具 rds_dbsync 、 Kettle 等,同步交易库数据 到 AD
Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置
以上就是对hadoop在云服务器上的部署,若有问题可留言。
Hive内核调优(二)
SQL调优过程中需要结合Hive日志分析性能瓶颈,如下是对关键日志进行说明。
Hive实战:分科汇总求月考平均分
本次实战运用Hive处理学生月考成绩数据,通过创建分区表、加载各科目成绩至对应分区,并使用SQL语句计算平均分,展示了Hive在大数据管理、分析查询及统计计算上的灵活性与便捷性。
Hadoop期末复习试题和答案
期末复习试题
Canal+Kafka+springboot(成功)
版本(Canal1.1.7)Kafka(kafka_2.12-3.5.1) mysql(8.0)
spark-sql字段血缘实现
字段血缘
「Kafka」生产者篇
生产者发送消息流程、生产者分区、生产者如何提高吞吐量、生产者数据可靠性、生产者数据去重、生产者数据有序乱序等。
消息中间件之RabbitMQ
1.基于AMQP协议Erlang语言开发的一款消息中间件,客户端语言支持比较多,比如Python,Java,Ruby,PHP,JS,Swift.运维简单,灵活路由,但是性能不高,可以满足一般场景下的业务需要,三高场景下吞吐量不高,消息持久化没有采取零拷贝技术,消息堆积时,性能会下降2.消息吞吐量在1
SpringBoot集成RabbitMQ之ACK确认机制(第三节)
ACK机制能够确保消息的【可靠性】,消费者失败了,如何处理,成功了又如何处理,本文章介绍了消费者端确认模式,生产者确认模式
数据仓库命名规范详解
小时(h)、天(d)、周(w)、月(m)、季(q)、年(y)。实时(rt)、小时(h)、天(d)、周(w)、月(m)、季(q)、年(y)、一次性任务(o)、无周期(n)实时(rt)、小时(h)、天(d)、周(w)、月(m)、季(q)、年(y)、一次性任务(o)、无周期(n)实时(rt)、小时(h)、
HiveSQL中的分区与分桶
分区与分桶不同点:1.分区是分文件夹,而分桶是分文件 2.分区是避免全表扫描,分桶是方便数据采集,减少join次数相同点:它们的最终目的都是为了提升效率。
大数据期末考试复习(1-4,7,10章)简答题HNUST
(2)每个块都向HDFS集群中的名称节点发起写请求,名称节点会根据系统中各个数据节点的使用情况,选择一个数据节点列表返回给客户端,然后客户端就将数据首先写入列表中的第一数据节点,同时将列表传给第一个数据节点,当第一个数据节点接收到4KB数据时,写入本地,并且向列表中的第二个数据节点发起连接请求,将自
超详细版Hadoop的安装与使用(单机/伪分布式)
超详细版Hadoop的安装与使用(单机/伪分布式)
Zookeeper实现分布式锁
Zookeeper
Flink SQL 任务消费Kafka写hudi的性能调优总结
以上修改后,我们还把checkpoint的间隔时长从10分钟调整为5分钟了,因为现在每分钟从Kafka中消费的数据更多了,如果继续是10分钟的checkpoint间隔时长,则每次做checkpoint时需要写入到HDFS的数据量也会更大,做checkpoint花费的时间也会更久,任务背压的时间也就更
Hadoop集成对象存储和HDFS磁盘文件存储
计算引擎采用spark on yarn,热数据存储至HDFS,冷数据采用对象存储
【性能调优】local模式下flink处理离线任务能力分析
本文相关讨论> 1. flink内存对任务性能的影响:通过了解内存模型,了解这些模型都负责那些工作,比如用户代码使用堆,数据通讯使用直接内存等,以便能够根据任务特点针对性调整任务内存;> 2. 并发与带宽之间的关系,local模式下怎么根据带宽,设置最佳线程数;> 3. 内存监控相关命令。
Spark连接快速入门
Spark Connect 为 Spark 引入了解耦的客户端-服务器架构,允许使用DataFrame API远程连接到 Spark 集群。
SpringCloud之Eureka组件工作原理详解
Eureka是Netflix开源的一个用于服务发现和负载均衡的组件。它主要用于帮助在云环境中的微服务架构中的服务实例的动态注册和发现。Eureka提供了一个服务器端和一个客户端组件,可以在分布式系统中实现高可用性和弹性。Eureka的服务器端被称为Eureka Server,它维护了一个注册表,用于