dinky+flink+doris实时架构全流程demo
flink+dinky+doris实现实时数仓
【大数据】Presto(Trino)配置参数以及 SQL语法
Trino(前身为PrestoSQL)是一款高性能,分布式的SQL查询引擎,可以用于查询各种类型的数据存储,包括HiveMysqlKafkaPostgreSQL等。节点和worker节点的数量: 这两个参数控制了Trino集群中管理查询的节点数量,它们的配合调整可以影响整个集群的查询效率。memor
HDFS面试(自己学习版)
大:设置太大,磁盘传输时间明显大于定位块的时间,因为块大了,块总数就相对少了,寻址时间相对少很多,而块过大,磁盘传输时间变大。与寻址时间有关:默认寻址时间为传输时间的百分之一为最优。小:块总数变多,寻址时间增大了。1s*磁盘传输速率就是块大小。假设10ms找到目标,
亿级以上的数据量 ES如何优化
亿级以上的数据量 ES如何优化
Kafka 入门到起飞系列 - 生产者发送消息流程解析
批次的概念很好理解,缓冲区就像一辆公交车,有两种发车方式,一是人满了就发车,一是等5分钟就发车,不管是人满了还是到5分钟了,发车,go~Producer 创建时,会创建一个Sender线程设置为守护线程。Producer 生产消息,内部是一个异步流程。Producer 创建时,会创建缓冲区。
mybatis中的mapper.xml中如何使用in方法
提示:mapper.xml中如何使用in方法一般都是like或=
Hadoop 实战实例
Hadoop是GoogleMapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样,MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行
diskgenius合并分区(diskgenius合并分区到c盘)
DiskGenius怎么把两个分区合并起来diskgenius合并分区步骤如下:1. 在软件中右击其中一个分区,然后选择“删除当前分区”选项。2. 在弹出的对话框中选择“确定”。3. 点击“保存更改”按钮,使上面删除分区的操作生效。4. 右击另外一个分区,然后选择“扩容分区”。5. 将空闲区域设置给
大数据技术之Spark——Spark SQL
我们之前学习过hive,hive是一个基于hadoop的SQL引擎工具,目的是为了简化mapreduce的开发。由于mapreduce开发效率不高,且学习较为困难,为了提高mapreduce的开发效率,出现了hive,用SQL的方式来简化mapreduce:hive提供了一个框架,将SQL转换成ma
实用指南 | 开源数据可视化 datart 和数据指标体系
数据指标体系的建立,也为企业制定了客观的评估标准,能够更好地理解和利用自身数据资源,优化业务流程和提高绩效表现,同时也能够确保企业符合监管和合规要求,提高企业的商业信誉和声誉
Hadoop高可用(HA)集群搭建
查看namenode节点状态:hdfs haadmin -getServiceState nn1|nn2。这里装了四台机器,ant151,ant152,ant153,ant154。恢复ant152的namenode进程。rm1状态:standby。kill掉active进程。rm2状态:active
使用RabbitMQ
【代码】使用RabbitMQ。
rabbitmq模块启动报java.net.SocketException: socket closed的解决方法
rabbitmq模块启动报java.net.SocketException: socket closed的解决方法
windows环境hadoop报错‘D:\Program‘ 不是内部或外部命令,也不是可运行的程序 或批处理文件。
错误:windows环境hadoop报错’D:\Program’ 不是内部或外部命令,也不是可运行的程序 或批处理文件。错误方法:(1)配置HADOOP_HOME环境变量时,将路径中的Program Files修改为Progra~1,以便系统识别,无效(2)将地址中的D:/Program Files
37本国产SCI期刊推荐!涵盖9大领域,建议收藏!①
评语:Cancer Biology & Medicine作为JCR一区期刊,医学,研究与实验领域全球第20名的杂志,影响因子5分+,含金量肯定是有的。尤其是心脏病学的个案报道,可以试试投给这个期刊,毕竟现在很多期刊都声明了不接受个案报道,因此,这个免版面费且审稿快的期刊不失为一个选择。评语:Chin
ALTER TABLE 分区操作-动态增加一级,多级分区,动态删除分区
1.8.5.6 ALTER TABLE 分区操作alter 分区操作包括增加分区和删除分区操作,这种分区操作在Spark3.x之后被支持,spark2.4版本不支持,并且使用时,必须在spark配置中加入spark.sql.extensions属性,其值为:org.apache.iceberg.sp
Flink支持kerberos认证
完成flink kafka认证
Eureka配置文件详解
Spring Cloud Eureka为分布式系统外部化配置提供了服务器端和客户端的支持,它包括Eureka Server和Eureka Client两部分,因此Spring Cloud Eureka 配置项比较多,本文将详细讲解Eureka的配置。
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
【MQ】Windows上RabbitMQ的安装与启动
Windows平台下RabbitMQ的安装与启动