【Flink SQL】Flink SQL 基础概念（一）：SQL & Table 运行环境、基本概念及常用 API
Table API 是一种集成在 Java、Scala 和 Python 语言中的查询 API，简单理解就是用 Java、Scala、Python 按照 SQL 的查询接口封装了一层 lambda 表达式的查询 API，它允许以强类型接口的方式组合各种关系运算符（如选择、筛选和联接）的查询操作，然后
Spark+Flink+Kafka环境配置
Spark+Flink+Kafka环境配置
基于VMware的CentOS 7虚拟机安装+配网+hadoop集群配置（超级详细完整版，适合初学者）
当今社会快速发展，大数据的存储越来越重要，hadoop的组件之一HDFS分布式文件系统就能实现大数据的存储；结合自身的学习经验，该文主要介绍了虚拟机的安装、配网以及hadoop集群搭建的详细过程，给后续的深入学习打下良好的基础。...............
大数据人工智能在零售行业的应用与优势
1.背景介绍随着大数据技术的不断发展，人工智能在各个行业中的应用也逐渐成为主流。零售行业也不例外。在这篇文章中，我们将深入探讨大数据人工智能在零售行业的应用与优势。1.1 大数据人工智能的概念大数据人工智能(Big Data AI)是指利用大量、多样化、高速生成的零售数据，通过人工智能算法和技术，实
大数据开发（Hive面试真题）
Hive的三种自定义函数包括UDF（User-Defined Function（用户定义函数））、UDAF（User-Defined Aggregate Function（用户定义聚合函数））和UDTF（User-Defined Table-Generating Function（用户定义表生成函数
Spark-Scala语言实战（10）
今天开始的文章，我会带给大家如何在spark的中使用我们的RDD方法，今天学习RDD方法中的cartesian,subtract两种方法。希望我的文章能帮助到大家，也欢迎大家来我的文章下交流讨论，共同进步。
数据仓库（数仓）详细介绍
数据仓库（数仓）的详细介绍
大数据开发（Hadoop面试真题-卷六）
这个过程通常称为分区操作。因此，Reduce任务知道去哪里拉Map结果集是通过分区操作来实现的。每个Reduce任务会收集到属于自己的分区中的键值对，然后对这些键值对进行处理，最终生成最终的结果。所以，Reduce任务知道去哪里拉Map结果集是。
大数据处理与分析-spark
比如，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase等。与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。b.RDD提供了一种
大数据数仓理论1.1-离线
内存将划分为多个区域，每个区域对应一个分区，当程序访问内存时系统将为其分配一个固定大小的分区；优点：简单易于管理缺点：浪费资源，内存碎片化积多。
Flink CDC实践
访问http://虚拟机ip:8081，查看flink webUI是否正常访问。下载flink安装包，网速较慢，可以尝试在国内镜像网址。将mysql和doris的驱动包移动到lib目录下。启动flink，查看启动是否成功。解压flink-cdc安装包。配置flink环境变量。下载flink安装包。解
【Spark精讲】Spark任务运行流程
Spark精讲，Spark任务运行流程，Spark任务执行流程，client模式，cluster模式，yarn-client模式，yarn-cluster模式，master参数
Spark 部署与应用程序交互简单使用说明
在本章中，我们介绍了开始使用Apache Spark所需的三个简单步骤:下载框架，熟悉Scala或PySpark交互shell，掌握高级Spark应用程序概念和术语。我们快速概述了使用转换和操作来编写Spark应用程序的过程，并简要介绍了使用Spark UI来检查所创建的job、stage和task
深入挖掘大数据的价值：实例分析
1.背景介绍大数据技术在过去的几年里取得了巨大的发展，成为当今世界各行业的核心技术之一。随着互联网、人工智能、物联网等领域的快速发展，大数据已经成为了这些领域的基石。大数据技术的核心在于能够有效地挖掘大量、多样化、高速增长的数据中的价值，以满足各种业务需求。在这篇文章中，我们将从以下几个方面进行深入
集群上运行pyspark
一、PySpark应用背景大规模结构化数据处理要求；scala编写函数对开发人员接受度低，python的高度简化代码完美契合数据处理过程；和scala处理无任何性能上的差异；二、PySpark原理Spark是什么：分布式（集群部署），高性能（基于内存可缓存磁盘），高可用的基于RDD（分区的不可变的弹
老杨说运维 | 运维大数据价值探索
运维大数据具有其独特的特征，那么该在什么场景下使用才有效？如何更好的利用这些数据？
HBase Shell基本操作
先在Linux Shell命令行终端执行脚本启动HDFS，再执行脚本启动HBase。如果Linux系统已配置HBase环境变量，可直接在任意目录下执行脚本命令，就可进入HBase Shell的命令行终端环境，exit可以退出HBase Shell（我安装的是伪分布式的HBase）。
Spark Stage
Spark中的一个Stage只不过是物理执行计划其中的一个步骤，它是物理执行计划的一个执行单元。一个Job会被拆分为多组Task，每组任务被称为一个Stage，可以简单理解为MapReduce里面的Map Stage， Reduce Stage。Spark的Job中Stage之间会有依赖关系。可以利
[flink 实时流基础]源算子和转换算子
所以，source就是我们整个处理程序的输入端。filter转换操作，顾名思义是对数据流执行一个过滤，通过一个布尔条件表达式设置过滤条件，对于每一个流内元素进行判断，若为true则元素正常输出，若为false则元素被过滤掉。flatMap可以认为是“扁平化”（flatten）和“映射”（map）两步
spark-shell（pyspark）单机模式使用和编写独立应用程序
我的是spark-3.3.3版本，日志文件名字为log4j2.properties.template，每个版本的日志文件名字不太一样，具体的，要按照自己安装的版本的日志文件来，复制日志文件。spark有四种部署方式：Local，Standalone，Spark on Mesos，Spark on y
