大数据技术之Spark——Spark SQL

我们之前学习过hive,hive是一个基于hadoop的SQL引擎工具,目的是为了简化mapreduce的开发。由于mapreduce开发效率不高,且学习较为困难,为了提高mapreduce的开发效率,出现了hive,用SQL的方式来简化mapreduce:hive提供了一个框架,将SQL转换成ma

实用指南 | 开源数据可视化 datart 和数据指标体系

数据指标体系的建立,也为企业制定了客观的评估标准,能够更好地理解和利用自身数据资源,优化业务流程和提高绩效表现,同时也能够确保企业符合监管和合规要求,提高企业的商业信誉和声誉

windows环境hadoop报错‘D:\Program‘ 不是内部或外部命令,也不是可运行的程序 或批处理文件。

错误:windows环境hadoop报错’D:\Program’ 不是内部或外部命令,也不是可运行的程序 或批处理文件。错误方法:(1)配置HADOOP_HOME环境变量时,将路径中的Program Files修改为Progra~1,以便系统识别,无效(2)将地址中的D:/Program Files

ALTER TABLE 分区操作-动态增加一级,多级分区,动态删除分区

1.8.5.6 ALTER TABLE 分区操作alter 分区操作包括增加分区和删除分区操作,这种分区操作在Spark3.x之后被支持,spark2.4版本不支持,并且使用时,必须在spark配置中加入spark.sql.extensions属性,其值为:org.apache.iceberg.sp

Flink支持kerberos认证

完成flink kafka认证

大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别

大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别

Flink:并行度介绍和设置并行度

Flink:并行度介绍和设置并行度

等保2.0丨5分钟速览:小白也能看懂的等保2.0介绍

等保制度只是基线的要求,通过测评、整改,落实等级保护制度,确实可以规避大部分的安全风险。不过,根据“谁运营谁负责,谁使用谁负责,谁主管谁负责”的原则,系统责任主体仍然还是属于网络运营者自己,所以,还是得承担相应的网络安全责任,该进行系统定级的还是得定级,该做等保的还是得做等保。由于信息系统的应用类型

数仓学习---15、数据仓库工作流调度

数据仓库工作流调度

分布式文件系统使用——MinIO

分布式文件系统使用——MinIO

GJB 软件研制任务书-编制规范

GJB 软件研制任务书编制规范,依据GJB 438B,对软件研制任务书部分内容做出必要的解释、以及给出部分示例

Centos7快速安装Kibana并连接ES使用

现在,您可以通过访问 http://:5601 来使用 Kibana。请将 替换为您的服务器 IP 地址。如果您在本地计算机上安装了 Kibana,可以使用 http://localhost:5601 访问。

nmn美国下架,nmn对肝脏有副作用吗,有实验证明!

nmn美国下架,nmn对肝脏有副作用吗,有实验证明!nmn美国下架,nmn对肝脏有副作用吗,nmn之所以在美国下架,是为了规范目前的保建品市场,并不是因为nmn的质量问题,恰恰是因为nmn一出来就被看好的效果。即使价位高,也无法阻挡爱美人士的追求。正是这种nmn热导致了相关产品的混乱,所以nmn不得

Elasticsearch索引库和文档的相关操作

最近一直在复习Elasticsearch相关的知识,公司搜索相关的技术用到了这个,用公司电脑配了环境,借鉴黑马的课程进行了小结。

Spark数据倾斜及解决方法

Spark算子使用过程中遇到的数据倾斜问题及其解决方法,该数据倾斜也适用于其他计算引擎中

Seatunnel-2.3.0源码解析

的数据源到计算任务中。用户自定义数据源则通过实现。

Flink读取kafka数据报错

【代码】Flink读取kafka数据报错。

如何解决elasticsearch分页总数量超过10000条就报错

总之,对于elasticsearch分页总数量超过10000条就报错的问题,我们可以通过合理的查询、聚合方式和索引优化来处理。4. 使用索引模式优化:索引模式是Elasticsearch中的一种优化方式,可以帮助我们在搜索时提高效率。3. 使用不同的查询和聚合方式:如果我们的查询和聚合方式太过复杂,

Hive调优之计算资源配置(一)

hive调优

IDEAJava项目使用Groovy文件编译的时候报错的解决, 以及Groovy的使用

IDEAJava项目使用Groovy文件编译的时候报错的解决, 以及Groovy的使用

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈