Flink1.18.1在CentOS7下的安装和部署
本文是Flink1.18.1在CenOS7下的安装和部署的学习笔记，记录了基本的安装步骤及参数配置，给初学者避坑用。
伪分布式搭建Hadoop中消失的“DataNode”
我们在搭建hadoop中都会出现一些小小的问题，在伪分布式安装完Hadoop后，jps查看进程的时候缺三少两，今天解决的问题是6个进程中缺少了DataNode。
【Flink入门修炼】2-3 Flink Checkpoint 原理机制
如果让你来做一个有状态流式应用的故障恢复，你会如何来做呢？单机和多机会遇到什么不同的问题？Flink Checkpoint 是做什么用的？原理是什么？
大数据超全面入门干货知识，看这一篇就够了！
它是一个开源的分布式计算框架，让数据分散储存在多台计算机上，然后使用 MapReduce 的方法，将数据分成小块一块一块地处理，最后把结果汇总起来。有了 Hive，我们不需要学习新的编程语言，只需使用熟悉的 SQL，就能轻松地查询和分析海量的数据。大数据是当今社会的瑰宝，它让我们能够洞悉未知世界，做
【HDFS WEB报错解决方案】Couldn‘t preview the file. NetworkError
检查网络连接确保客户端与服务器lindata01之间的网络连接是通畅的。尝试ping命令或其他网络工具来测试网络连接。验证服务器状态确认lindata01服务器上的WebHDFS服务是否正在运行。检查端口9864是否已开放且服务正在监听该端口。查看服务器日志文件，以获取任何关于服务启动或失败的信息。
深度解析 Spark（进阶）：架构、集群运行机理与核心组件详解
Spark 应用程序作为集群上独立的进程集运行，由SparkContext 主程序（称为驱动程序）中的对象进行协调。具体来说，为了在集群上运行，SparkContext 可以连接到多种类型的集群管理器 （Spark 自己的独立集群管理器、Mesos、YARN 或 Kubernetes），这些集群管理
CDH集群hive初始化元数据库失败
链接的数据库和用户用的和刚开始初始化cm用的数据库用户是同一个，初始化失败。单独搞一个数据库用户给hive。链接的数据库和用户没给管理员权限。给用户DBA的权限。
大数据——推荐系统
推荐系统是指面对没有需求的用户在进入产品时，要给用户推荐什么东西，现在的APP基本上都会采用推荐系统。从一开始的1990s开始的门户网站，像Yahoo、搜狐和Hao123等等，都是基于分类目录的网页导航网站，将各个网页聚合在一个网页中，方便用户跳转访问；到了2000s开始，进入搜索引擎，例如百度、g
15、Flink 的广播状态 (Broadcast State) 详解
Flink 的广播状态 (Broadcast State) 详解
Hadoop 常用端口号
请注意，这些是Hadoop组件的标准默认端口，实际部署过程中可以根据需要在配置文件中修改。同时，不同版本的Hadoop可能对某些端口有所调整，请以具体部署环境的实际配置为准。
Hadoop伪分布式集群的搭建
本文是基于jdk8和CentOS6配置的Hadoop伪分布式集群，步骤详细，希望能帮助到给位小伙伴们，有什么不足的请多多包含。
spark实验三 Spark SQL编程初级实践
将下列json数据复制到你的ubuntu系统/usr/local/spark下，并保存命名为employee.json。
hadoop HDFS 常用命令
HDFS（Hadoop Distributed File System）提供了一系列命令行工具，用于管理和操作分布式文件系统。请注意，在实际使用中，请确保命令格式正确，并且与所使用的Hadoop版本兼容。在某些较新版本的Hadoop中，可以直接使用。命令前缀来执行相同的操作。
spark结课之tip2
spark常用方法总结：一、从内部创建RDD(1).通过并行化集合（Parallelized Collections）：可以使用SparkContext的parallelize方法将一个已有的集合转换为RDD。基本语法：parallelize(collection, numSlices=None)基
高级大数据实验
（1） 掌握scala的数组，列表，映射的定义与使用（2） 掌握scala的基本编程水仙花数是指其个位、十位、百位三个数的立方和等于这个数本身，用Scala编程求出所有水仙花数。println(a)
Hadoop：大数据处理的核心框架
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要解决的是海量数据的存储和计算问题。Hadoop具有高效、可靠、可扩展和容错性强的特点，使得它成为大数据处理领域的核心框架之一。Hadoop主要由HDFS（Hadoop Distributed File System）和MapRed
Hbase
HBase 基于 Google的BigTable论文而来，是一个分布式海量列式非关系型数据库系统，可以提供超大规模数据集的实时随机读写。
kaggle最全基础入门（大数据）
Kaggle是一个数据科学竞赛平台，旨在连接数据科学家和机器学习工程师，提供一个共同解决实际问题的平台。Kaggle的任务通常由公司、学术机构、政府机构等提交，这些任务涵盖了各种问题领域，例如自然语言处理、计算机视觉、数据挖掘等。竞赛参与者可以下载数据集、提交代码和模型，并与其他参赛者交流和竞争。K
Hadoop核心技术
Hadoop生态系统是一个开源的分布式计算平台，由Apache软件基金会开发并维护。其核心组件主要包括HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）、MapReduce以及YARN（Yet Another Resource Negotiator，
flink cdc，读取datetime类型
需要注意的是，如果您使用的是Flink 1.13或以上版本，可以直接使用Flink的内置Debezium插件来实现CDC任务，无需安装其他插件。Flink CDC读取MySQL的datetime类型时会转换为时间戳的问题，可以通过在Flink CDC任务中添加相应的转换器来解决。- 使用 Flink
