Flink的处理函数——processFunction
Flink的处理函数——processFunction
hadoop02_HDFS的API操作
根据HDFS的URI和配置，创建FileSystem实例根据路径创建HDFS文件夹根据具体的路径创建文件，并且知名是否以重写的方式根据路径删除文件根据路径，返回该路径下所有文件夹或文件的状态。将本地路径下的文件，挪动到HDFS的指定路径下打开指定路径下的文件内容。
「大数据集群的搭建和使用」背景知识：大数据Hadoop生态圈介绍
HDFS 是 Hadoop 的主要存储系统，为大数据提供可扩展的、高容错的、可靠的和具有成本效益的数据存储。Hadoop是一个庞大的家族，包含存储，计算等一系列产品组件，需要了解其中的一系列组件，包括HDFS，MapReduce，Yarn，Hive，HBase，ZooKeeper，Flume，Kaf
Flink DataStream 编程模型
都说IT今年很难，越是在这个时候越是要坚持，相信总能看到黎明与曙光。这不我准备整理一下教程，对自己也是一个学习、总结的过程，我相信待到经济复苏，IT仍然是热门。本文是我的第一篇付费文章，这是个开篇纵览，后面会深入讲解Flink理论与开发，不限于Flink这一个组件，后面也会有Spark、Click
安全牛《数据分类分级自动化建设指南》发布｜美创入选代表厂商，分享智能化探索
DDAC从数据安全相关法规出发，结合各行业数据分类分级指南，从合规、合需两个角度定义数据、级别、识别策略及法规条例参考，形成了覆盖重要数据、个人信息与商业机密等数据的分类分级标准和识别策略，同时基于在多个行业的数据领域沉淀，内置医疗、人社、金融、政府等多个行业语义识别规则。数据分类分级在完成基础合规
鲜果蓝产品在做营销时利用小红书发布图文笔记有哪些注意事项？
鲜果蓝产品应该注意笔记要有趣有质感，要用实物拍摄照片，文字要简洁明了，字体要清晰大方，频率要适中，这样才能让你的笔记更有吸引力，更能吸引更多的读者，并给你的产品带来更多的销售。频率要适中：频率要适中，不要太过频繁，也不要太少，要根据产品的特点，制定一个合理的频率，让读者有耐心的看完你的笔记，也能让你
大数据机器学习深入Scikit-learn：掌握Python最强大的机器学习库
Scikit-learn是一个强大且易用的Python库，它为我们提供了一整套的机器学习工具，可以用于解决从数据预处理，到模型训练，再到模型评估和参数调优的全流程任务。Scikit-learn的广泛应用，不仅仅因为它的功能强大，更因为它的设计理念——统一的API，使得我们可以快速地切换不同的模型和算
从零开始了解大数据(一)：数据分析入门篇
在开启大数据的探索之前，我们首先需要理解数据分析的基础与核心。毕竟，大数据的真正价值，是在于对其进行深入、有效的分析后，能够提取出有意义的信息和知识。本文将介绍有关数据分析的知识，希望对大家有所帮助。
2023年第三届中国高校大数据挑战赛思路及代码
1、大数据统计分析方向涉及内容包含：数据的清洗、数据的预测、数据之间的关联分析、综合评价、分类与判别等2、文本或图象分析方向涉及内容包含：计算机视觉基础、特征匹配算法（常用的图像特征提取及匹配算法，如SIFT、SURF、FAST、BRIEF、ORB等）
Spark读取HDFS路径文件
有些时候我们希望直接读取HDFS上的文件进行处理，那么我们可以使用 `textFile` 这个方法，这个方法可以将指定路径的文件将其读出，然后转化为Spark中的RDD数据类型。
打破数据孤岛：ChatGPT如何打通金融大数据的任督二脉？
本书是一本针对金融领域的数据分析和机器学习应用的实用指南。本书以ChatGPT为核心技术，结合Python编程和金融领域的基础知识，介绍如何利用ChatGPT处理和分析金融大数据，进行预测建模和智能决策。通过阅读本书，读者将掌握使用ChatGPT和其他工具进行金融大数据分析的基本原理和方法。无论是金
Flink项目实战篇 基于Flink的城市交通监控平台（上）
近几年来，随着国内经济的快速发展，高速公路建设步伐不断加快，全国机动车辆、驾驶员数量迅速增长，交通管理工作日益繁重，压力与日俱增。为了提高公安交通管理工作的科学化、现代化水平，缓解警力不足，加强和保障道路交通的安全、有序和畅通，减少道路交通违法和事故的发生，全国各地建设和使用了大量的“电子警察”、“
Spark简介
Spark是大数据的调度，监控和分配引擎。它是一个快速通用的集群计算平台.Spark扩展了流行的MapReduce模型.Spark提供的主要功能之一就是能够在内存中运行计算 ，但对于在磁盘上运行的复杂应用程序，系统也比MapReduce更有效。
Flink SQL: 高效解析 Kafka 数据并存储为 Parquet 至 HDFS
Flink SQL应用程序的结构是通过定义一系列任务来执行实时数据处理，这些任务创建必要的表和视图，处理数据，然后将结果插入指定的接收器。这项工作利用 Flink 的流处理能力以及 SQL 和 UDF 来转换和管理数据流
Hadoop作业篇(一）
1. 以下哪一项不属于Hadoop可以运行的模式__C____。A. 单机（本地）模式B. 伪分布式模式C. 互联模式D. 分布式模式2. Hadoop的作者是下面哪一位___B___。A. Martin FowlerB. Doug cuttingC. Kent BeckD. Grace Hoppe
Spark Standalone 模式的安装和部署 第1关： Standalone 分布式集群搭建
Spark Standalone 模式的安装和部署 第1关： Standalone 分布式集群搭建
【大数据】Hadoop运行模式（集群搭建）
Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。
Flink实时电商数仓之Doris框架（七）
大规模并行处理的分析型数据库产品。使用场景：一般先将原始数据经过清洗过滤转换后，再导入doris中使用。
大数据深度学习Pytorch 最全入门介绍，Pytorch入门看这一篇就够了
本文通过详细且实践性的方式介绍了 PyTorch 的使用，包括环境安装、基础知识、张量操作、自动求导机制、神经网络创建、数据处理、模型训练、测试以及模型的保存和加载。这篇文章通过详细且实践性的方式介绍了 PyTorch 的使用，包括环境安装、基础知识、张量操作、自动求导机制、神经网络创建、数据处理、
kettle—参数传递
下面我们总结了一下位置参数、命名参数、变量的优缺点，然后文章中介绍了变量的使用的两种方式通过设置变量组件设置然后获取使用通过转换获取设置变量然后获取使用位置参数（argument）命名参数（parameter）变量（variable）说明根据参数的位置来设置和读取参数值，用于在KJB外部传入，并在K
