五分钟带你了解spark | 从入门到入土
公主，王子请看spark基础总结spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
【flink番外篇】13、Broadcast State 模式示例-广播维表（2）
系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和S
Spark: 检查数据倾斜的方法以及解决方法总结
如果预先知道数据分布不均，可以使用自定义分区器来优化数据分布，从而避免数据倾斜。以上方法可以帮助检测和分析Spark作业中可能存在的数据倾斜问题。在发现数据倾斜后，可以采取相应的优化措施，比如调整并行度、使用广播变量、重新设计数据分区策略等，来减轻或解决数据倾斜的问题。
Flink性能优化小结
可以通过开启缓冲消胀机制来简化 Flink 网络的内存配置调整。您也可能需要调整它。如果这不起作用，您可以关闭缓冲消胀机制并且人工地配置内存段的大小和缓冲区个数。针对第二种场景，我们推荐：使用默认值以获得最大吞吐减少内存段大小、独占缓冲区的数量来加快 checkpoint 并减少网络栈消耗的内存量。
AI大模型应用入门实战与进阶：如何训练自己的AI模型
1.背景介绍人工智能（Artificial Intelligence, AI）是计算机科学的一个分支，研究如何让计算机模拟人类的智能。在过去的几十年里，人工智能的研究主要集中在规则-基于的系统，这些系统需要人们明确地编写大量的规则来解决问题。然而，随着数据量的增加和计算能力的提高，机器学习（Mach
hadoop之HDFS高可用环境搭建和基础使用
Hadoop分布式文件系统(HDFS)是一个分布式文件系统，设计用于运行在商用硬件上。它与现有的分布式文件系统有许多相似之处。然而，与其他分布式文件系统的区别是显著的。HDFS是高度容错的，设计用于部署在低成本的硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大数据集的应用程序。HDFS
AI趋势（01）人工智能发展史简介
说明：简要解读AI的发展历史。
如何对 Spark 进行全方位性能调优？
根据课时 11 的内容，第 1 个配置是 Map 端输出的中间结果的缓冲区大小，默认 32K，第二个配置是 Map 端输出的中间结果的文件大小，默认为 48M，该文件还会与其他文件进行合并。对于那种分组统计的任务，可以通过两阶段聚合的方案来解决，首先将数据打上一个随机的键值，并根据键的哈希值进行分发
Kafka connect
注：这里的topic 是提前创建好的student-student,也可以不创建，他自己生成，但指定的时候只能去指定前缀。，这里用的mysql 8.0.26 、ojdbc8-23.3.0.23.09,注： 这里窗口会被占用，不想被占用,用 nohup 启动。启动zookeeper 、 kafka
flink类加载器原理与隔离（flink jar包冲突）
Classpath是JVM用到的一个环境变量，它用来指示JVM如何搜索Class。因为Java是编译型语言，源码文件是.java，而编译后的.class文件才是真正可以被JVM执行的字节码。因此，JVM需要知道，如果要加载一个com.dtstack.HelloWorld的类，应该去哪搜索对应的Hel
开源大数据集群部署（十四）Ranger集成Hbase
访问地址：http://hd1.dtstack.com:6080/在hmaster和back master上进行安装和执行。用户密码：admin/rangerAdmin123。在hd1.dtstack.com主机上执行。测试连通性，连接成功后保存即可。更多技术信息请查看云掣官网。
大数据之spark
Apache Spark™是一个多语言引擎，用于在单节点机器或集群上执行数据工程、数据科学和机器学习。Spark最初由美国加州大学伯克利分校的。
Spark技术03直播笔记
spark启动与使用、Anaconda安装以及Jupyter安装、spark里面最简单的记录总数的一个计算、Pycharm词频统计
大数据开发（Hadoop面试真题-卷七）
具体来说，Map阶段输出的每个键值对都会根据键的哈希值被分配到不同的分区中，同一个键的所有值都会被发送到同一个分区中。Combiner是在Mapper阶段对输出的键值对进行合并和压缩，减少了传输到Reduce阶段的数据量。总的来说，Map的分片大小是根据多个因素综合考虑的，包括文件大小、集群配置、硬
【Flink】Flink各版本及新特性
在流式 SQL 查询中，一个最经常使用的是定义时间窗口。Flink 1.13 中引入了一种新的定义窗口的方式：通过 Table-valued 函数。这一方式不仅有更强的表达能力（允许用户定义新的窗口类型），并且与 SQL 标准更加一致。Flink 1.13 在新的语法中支持 TUMBLE 和 HOP
干货丨“看过这篇文章的人都学会Spark了”
Spark是一个用于大规模数据处理的统一计算引擎。Spark是一种快速、通用、可扩展的大数据分析引擎。注意：Spark不仅仅可以做类似于MapReduce的离线数据计算，还可以做实时数据计算，并且它还可以实现类似于Hive的SQL计算，等等，所以说它是一个统一的计算引擎。
hadoop安装的过程中的报错/libhadoop.so.1.0.0
遇到如下错误：14/10/29 16:49:01 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applic
Hadoop之HDFS 详细教程
Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是 HDFS(分布式文件系统)以及 LocalFileSys
【极数系列】Flink集成KafkaSink & 实时输出数据（11）
【极数系列】Flink集成KafkaSink（11）旨在帮助读者快速使用Flink集成KafkaSink，直接输出数据到kafka
2023年第三届中国高校大数据挑战赛D题:行业职业技术培训能力评价思路+代码+论文
为了促进高校大学生实际应用技能的提高，着眼于未来，培养具有创新能力和实践能力的大数据人才，推动大数据的产学研用，探索大数据的核心科学与技术，提升高校毕业生的就业竞争力。经研究决定，天津市未来与预测科学研究会、中国未来研究会大数据与数学模型专业委员会联合发起2023年第三届中国高校大数据挑战赛。中国未
