spark-submit 主要参数详细说明及Standalone集群最佳实践
部署提交应用到 spark 集群，可能会用到 `spark-submit` 工具，鉴于网上的博客质量残差不齐，且有很多完全是无效且错误的配置，没有搞明白诸如`--total-executor-cores` 、`--executor-cores`、`--num-executors`的关系和区别。因此有
StreamX流批一体一站式大数据平台：大数据Flink可视化工具的革命性突破，让你的数据更高效、更直观！
StreamX，开源的流批一体一站式大数据平台，致力于让Flink开发更简单。它极大地降低了学习成本和开发门槛，使开发者可以专注于最核心的业务。StreamX支持Flink多版本， 与Flink SQL WebIDE兼容，并可以进行Flink SQL校验。此外，StreamX还提供了一套标准化的配置
大数据面试之Hive SQL经典面试题
请注意，这种方法并没有真正地将行转换为独立的列，而是将多个行的值合并到了一个字符串中。在Hive中，由于schema是静态的，将任意数量的行转换为固定数量的列是不直接支持的。如果知道商品ID的最大数量，并且这个数量是固定的，可以使用条件聚合和。然后，在外部查询中，筛选出序列号小于等于 N 的记录，即
大数据编程实验三：Spark SQL
（2）配置Spark通过JDBC连接数据库MySQL，编程实现利用DataFrame插入如表5-3所示的两行数据到MySQL中，最后打印出age的最大值和age的总和。（1）在MySQL数据库中新建数据库sparktest，再创建表employee，包含如表5-2所示的两行数据。将下列JSON格式数
Flink 组件详解及任务提交流程
控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的Jobmanager所控制执行Jobmanager会先接收到要执行的应用程序，这个应用程序会包括：作业图（ Job Graph）、逻辑数据流图（ ogical dataflow graph）和打包了所有的类、库和其它资源的JAR包。
手把手教你mapreduce在hadoop上实现统计英语文章单词个数（新手教程，如果那里有问题请私信我，好及时改正）
因为待会你要将这个架包名称写在虚拟机上，为方便将名字改一下，这里我改成jar.jar。
【AI赋能】——我国战略新兴业务快速发展 —产业结构调整持续优化
战略新兴业务是指那些具有较高技术含量、市场前景广阔且对国家经济发展具有重要战略意义的产业。根据《中国制造2025》规划，我国战略新兴业务主要包括新一代信息技术、高端装备制造、新能源、新材料、生物医药、节能环保等。这些业务领域的共同特点是依赖于高科技和创新驱动，具有较强的市场需求和成长潜力。新能源产业
数据仓库内容分享(七)：Flink CDC 实现海量数据实时同步转换
在 Flink CDC 1.x 版本中，如果想实现 exactly-once 同步，需要配合 Flink 提供的 checkpoint 机制,全量阶段没有做切片，则只能在一个 checkpoint 里完成，这会导致一个问题：每个 checkpoint 中间要将这张表的全量数据吐给下游的 writer
摸鱼大数据——Linux搭建大数据环境——安装无界面虚拟机
连接虚拟机: 文件 -> 快速连接 -> 主机名: 虚拟机的ip地址 用户名:root -> 点击连接 -> 接受并保存 -> 输入密码:123456。6.右键node1 ->设置 -> CD/DVD(IDE) -> 使用ISO镜像文件 -> 浏览 -> 选择本机提前准备好的iso镜像 -> 确定。
大数据---销售主题域开发
销售数据统计时分为两种情况一种时确认售卖成功的，售卖不成功线上业务设计配送问题，如果用户拒收，就相当于没有售卖成功根据售卖情况将主题域分为两部分核销 真正售卖成功的 核销主题售卖 只要商品出货信息，考虑是否售卖成功 售卖主题销售主题域分为核销主题 售卖主题分层采用自下而上、基于需求、逐层分析出每一层
ERROR: KeeperErrorCode = ConnectionLoss for /hbase/master
很可能是因为没有启动hbse。
Delta lake with Java--利用spark sql操作数据1
代码主要实现建立一个表名为YellowTaxi，插入5条数据，然后查询YellowTaxi这5条数据，再建立一个表YellowTaxiPartitioned，YellowTaxiPartitioned是分区表。具体文字内容如下，从结果可以看出分区表的查询效率要比不分区表要好，后面建表还是要用分区表。
冗余磁盘阵列（RAID）与Hadoop分布式文件系统（HDFS）
介绍数据存储对于现代计算的重要性，并指出在不同的需求下，冗余磁盘阵列（RAID）和Hadoop分布式文件系统（HDFS）作为两种不同的数据存储技术各自的优势。
【大数据】学习笔记
【大数据】学习笔记
Elasticsearch：理解人工智能相似性搜索
我认为，知识检索和相似性搜索是企业成功实施人工智能的切入点。过去，关键词搜索对所有网站来说几乎是必须的，但我们很快会看到，知识检索将成为最基本的标准。当我尝试使用没有知识搜索功能的 API 文档时，我已经感到非常沮丧。我期待看到你利用知识检索和相似性搜索提出的新颖而惊人的想法。更多关于向量搜索的知识
第十届统计建模大赛 ——大数据与人工智能时代的统计研究数据解析
统计数学建模数据
Hadoop完全分布式搭建（超详细，傻瓜式安装）
Hadoop完全分布式安装配置。
大数据实验 实验五：MapReduce 初级编程实践
大数据实验 实验五：MapReduce 初级编程实践
Hadoop 之 HDFS命令
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个核心组件，它是一个高度容错性的分布式文件系统，设计用于在廉价硬件上存储大规模数据集。HDFS的架构采用主从（Master/Slave）结构模型，包含一个。
基于Hadoop的港口物流大数据应用研究
本篇摘要旨在探讨基于Hadoop的港口物流大数据应用研究。随着全球贸易的不断发展和港口物流的复杂化，港口物流大数据处理和分析面临着巨大挑战。如何有效地处理海量的港口物流数据、挖掘其中的潜在价值成为一个关键问题。本研究基于Hadoop大数据处理框架，旨在应用其强大的分布式计算能力和存储优势，解决港口物
