dinky+flink+doris实时架构全流程demo
flink+dinky+doris实现实时数仓
【大数据】Presto(Trino)配置参数以及 SQL语法
Trino(前身为PrestoSQL)是一款高性能,分布式的SQL查询引擎,可以用于查询各种类型的数据存储,包括HiveMysqlKafkaPostgreSQL等。节点和worker节点的数量: 这两个参数控制了Trino集群中管理查询的节点数量,它们的配合调整可以影响整个集群的查询效率。memor
亿级以上的数据量 ES如何优化
亿级以上的数据量 ES如何优化
Hadoop 实战实例
Hadoop是GoogleMapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样,MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行
diskgenius合并分区(diskgenius合并分区到c盘)
DiskGenius怎么把两个分区合并起来diskgenius合并分区步骤如下:1. 在软件中右击其中一个分区,然后选择“删除当前分区”选项。2. 在弹出的对话框中选择“确定”。3. 点击“保存更改”按钮,使上面删除分区的操作生效。4. 右击另外一个分区,然后选择“扩容分区”。5. 将空闲区域设置给
大数据技术之Spark——Spark SQL
我们之前学习过hive,hive是一个基于hadoop的SQL引擎工具,目的是为了简化mapreduce的开发。由于mapreduce开发效率不高,且学习较为困难,为了提高mapreduce的开发效率,出现了hive,用SQL的方式来简化mapreduce:hive提供了一个框架,将SQL转换成ma
实用指南 | 开源数据可视化 datart 和数据指标体系
数据指标体系的建立,也为企业制定了客观的评估标准,能够更好地理解和利用自身数据资源,优化业务流程和提高绩效表现,同时也能够确保企业符合监管和合规要求,提高企业的商业信誉和声誉
windows环境hadoop报错‘D:\Program‘ 不是内部或外部命令,也不是可运行的程序 或批处理文件。
错误:windows环境hadoop报错’D:\Program’ 不是内部或外部命令,也不是可运行的程序 或批处理文件。错误方法:(1)配置HADOOP_HOME环境变量时,将路径中的Program Files修改为Progra~1,以便系统识别,无效(2)将地址中的D:/Program Files
ALTER TABLE 分区操作-动态增加一级,多级分区,动态删除分区
1.8.5.6 ALTER TABLE 分区操作alter 分区操作包括增加分区和删除分区操作,这种分区操作在Spark3.x之后被支持,spark2.4版本不支持,并且使用时,必须在spark配置中加入spark.sql.extensions属性,其值为:org.apache.iceberg.sp
Flink支持kerberos认证
完成flink kafka认证
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
Flink:并行度介绍和设置并行度
Flink:并行度介绍和设置并行度
等保2.0丨5分钟速览:小白也能看懂的等保2.0介绍
等保制度只是基线的要求,通过测评、整改,落实等级保护制度,确实可以规避大部分的安全风险。不过,根据“谁运营谁负责,谁使用谁负责,谁主管谁负责”的原则,系统责任主体仍然还是属于网络运营者自己,所以,还是得承担相应的网络安全责任,该进行系统定级的还是得定级,该做等保的还是得做等保。由于信息系统的应用类型
数仓学习---15、数据仓库工作流调度
数据仓库工作流调度
分布式文件系统使用——MinIO
分布式文件系统使用——MinIO
GJB 软件研制任务书-编制规范
GJB 软件研制任务书编制规范,依据GJB 438B,对软件研制任务书部分内容做出必要的解释、以及给出部分示例
Centos7快速安装Kibana并连接ES使用
现在,您可以通过访问 http://:5601 来使用 Kibana。请将 替换为您的服务器 IP 地址。如果您在本地计算机上安装了 Kibana,可以使用 http://localhost:5601 访问。
nmn美国下架,nmn对肝脏有副作用吗,有实验证明!
nmn美国下架,nmn对肝脏有副作用吗,有实验证明!nmn美国下架,nmn对肝脏有副作用吗,nmn之所以在美国下架,是为了规范目前的保建品市场,并不是因为nmn的质量问题,恰恰是因为nmn一出来就被看好的效果。即使价位高,也无法阻挡爱美人士的追求。正是这种nmn热导致了相关产品的混乱,所以nmn不得
Elasticsearch索引库和文档的相关操作
最近一直在复习Elasticsearch相关的知识,公司搜索相关的技术用到了这个,用公司电脑配了环境,借鉴黑马的课程进行了小结。
Spark数据倾斜及解决方法
Spark算子使用过程中遇到的数据倾斜问题及其解决方法,该数据倾斜也适用于其他计算引擎中