Spark AQE 导致的 Driver OOM问题
因为原则上来说，如果没有开启AQE之前，一个SQL执行单元的是属于同一个Job的，开启了AQE之后，因为AQE的原因，一个Job被拆成了了多个Job，但是从逻辑上来说，还是属于同一个SQL处理单元的所以还是得归属到一次执行中。类在内存中存放着 一个整个SQL查询链的所有stage以及stage的指标
python——spark使用
Spark使用Scala语言进行实现，能操作分布式数据集。Spark是在借鉴了MapReduce之上发展而来的，继承了其分布式并行计算的优点并改进了MapReduce明显的缺陷。Spark的适用场景：1. 复杂的批量处理（Batch Data Processing），偏重点在于处理海量数据的能力，
Hadoop基本配置和运用
Hadoop基础
hadoop- yarn启动后用jps查看没有resourcemanager
hadoop- yarn启动后用jps查看没有resourcemanager
(图文并茂)基于CentOS-7搭建hadoop3.3.6大数据集群
安装虚拟机等很久没反应一般是需要按 Enter键 确认进入安装界面。
Spark环境搭建和使用方法
本文讲解如何在Linux系统中安装Spark并配置Spark环境，以及Spark的基本使用方法。
17、Flink 的 Checkpointing 配置详解
Flink 的 Checkpointing 配置详解
spark-submit 主要参数详细说明及Standalone集群最佳实践
部署提交应用到 spark 集群，可能会用到 `spark-submit` 工具，鉴于网上的博客质量残差不齐，且有很多完全是无效且错误的配置，没有搞明白诸如`--total-executor-cores` 、`--executor-cores`、`--num-executors`的关系和区别。因此有
StreamX流批一体一站式大数据平台：大数据Flink可视化工具的革命性突破，让你的数据更高效、更直观！
StreamX，开源的流批一体一站式大数据平台，致力于让Flink开发更简单。它极大地降低了学习成本和开发门槛，使开发者可以专注于最核心的业务。StreamX支持Flink多版本， 与Flink SQL WebIDE兼容，并可以进行Flink SQL校验。此外，StreamX还提供了一套标准化的配置
大数据面试之Hive SQL经典面试题
请注意，这种方法并没有真正地将行转换为独立的列，而是将多个行的值合并到了一个字符串中。在Hive中，由于schema是静态的，将任意数量的行转换为固定数量的列是不直接支持的。如果知道商品ID的最大数量，并且这个数量是固定的，可以使用条件聚合和。然后，在外部查询中，筛选出序列号小于等于 N 的记录，即
大数据编程实验三：Spark SQL
（2）配置Spark通过JDBC连接数据库MySQL，编程实现利用DataFrame插入如表5-3所示的两行数据到MySQL中，最后打印出age的最大值和age的总和。（1）在MySQL数据库中新建数据库sparktest，再创建表employee，包含如表5-2所示的两行数据。将下列JSON格式数
Flink 组件详解及任务提交流程
控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的Jobmanager所控制执行Jobmanager会先接收到要执行的应用程序，这个应用程序会包括：作业图（ Job Graph）、逻辑数据流图（ ogical dataflow graph）和打包了所有的类、库和其它资源的JAR包。
手把手教你mapreduce在hadoop上实现统计英语文章单词个数（新手教程，如果那里有问题请私信我，好及时改正）
因为待会你要将这个架包名称写在虚拟机上，为方便将名字改一下，这里我改成jar.jar。
【AI赋能】——我国战略新兴业务快速发展 —产业结构调整持续优化
战略新兴业务是指那些具有较高技术含量、市场前景广阔且对国家经济发展具有重要战略意义的产业。根据《中国制造2025》规划，我国战略新兴业务主要包括新一代信息技术、高端装备制造、新能源、新材料、生物医药、节能环保等。这些业务领域的共同特点是依赖于高科技和创新驱动，具有较强的市场需求和成长潜力。新能源产业
数据仓库内容分享(七)：Flink CDC 实现海量数据实时同步转换
在 Flink CDC 1.x 版本中，如果想实现 exactly-once 同步，需要配合 Flink 提供的 checkpoint 机制,全量阶段没有做切片，则只能在一个 checkpoint 里完成，这会导致一个问题：每个 checkpoint 中间要将这张表的全量数据吐给下游的 writer
摸鱼大数据——Linux搭建大数据环境——安装无界面虚拟机
连接虚拟机: 文件 -> 快速连接 -> 主机名: 虚拟机的ip地址 用户名:root -> 点击连接 -> 接受并保存 -> 输入密码:123456。6.右键node1 ->设置 -> CD/DVD(IDE) -> 使用ISO镜像文件 -> 浏览 -> 选择本机提前准备好的iso镜像 -> 确定。
大数据---销售主题域开发
销售数据统计时分为两种情况一种时确认售卖成功的，售卖不成功线上业务设计配送问题，如果用户拒收，就相当于没有售卖成功根据售卖情况将主题域分为两部分核销 真正售卖成功的 核销主题售卖 只要商品出货信息，考虑是否售卖成功 售卖主题销售主题域分为核销主题 售卖主题分层采用自下而上、基于需求、逐层分析出每一层
ERROR: KeeperErrorCode = ConnectionLoss for /hbase/master
很可能是因为没有启动hbse。
Delta lake with Java--利用spark sql操作数据1
代码主要实现建立一个表名为YellowTaxi，插入5条数据，然后查询YellowTaxi这5条数据，再建立一个表YellowTaxiPartitioned，YellowTaxiPartitioned是分区表。具体文字内容如下，从结果可以看出分区表的查询效率要比不分区表要好，后面建表还是要用分区表。
冗余磁盘阵列（RAID）与Hadoop分布式文件系统（HDFS）
介绍数据存储对于现代计算的重要性，并指出在不同的需求下，冗余磁盘阵列（RAID）和Hadoop分布式文件系统（HDFS）作为两种不同的数据存储技术各自的优势。
