一百零一、Kettle——Kettle8.2.0本地连接Hive3.1.2(踩坑，亲测有效)
Kettle8.2.0连接Hive3.1.2
07-HDFS入门及shell命令
Hadoop分布式文件系统。是Apache Hadoop核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在。分布式文件系统解决大数据如何存储的问题。分布式意味着是横跨在多台计算机上的存储系统。HDFS是一种能够在普通硬件上运行的分布式文件系统，它是高度容错，适用于具有大数据集的应用程序，它非
大数据之hadoop启动失败问题集锦
启动时会提示形如 “DBLab-XMU: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”，其中 DBLab-XMU 对应你的机器名，但其实启动日志信息是记录在 /us
Hadoop-HA-Hive-on-Spark 4台虚拟机安装配置文件
spark-history（设置权限777），spark-jars文件夹。ln -s 源文件名 新文件名。ln -s 源文件名 新文件名。ln -s 源文件名 新文件名。链接hadoop中的文件。链接hadoop中的文件。上传jar到hdfs。链接hive中的文件。
Hadoop HDFS(分布式文件系统)
为什么要分布式存储数据，假设一个文件有100tb，我们就把文件划分为多个部分，放入到多个服务器，靠数量取胜，多台服务器组合，才能Hold住
【大数据】图解 Hadoop 生态系统及其组件
HDFS是 Hadoop 的分布式文件系统，旨在在廉价硬件上存储大型文件。它具有高度容错能力，并为应用程序提供高吞吐量。 HDFS 最适合那些拥有非常大数据集的应用程序。Hadoop HDFS 文件系统提供 Master 和 Slave 架构。主节点运行 Namenode 守护进程，从节点运行 Da
API网关与社保模块
API网关与社保模块
大数据开源框架环境搭建(四)——HDFS完全分布式集群的安装部署
普通用户下大部分命令需要加sudo，root模式下不用。如果怕麻烦，直接在root用户下操作。本框架的分布式集群如下图所示(IP地址不一定跟图中一样)
HDFS系统中Browse Directory目录显示WebHDFS已禁用
HDFS系统中Browse Directory目录显示Path does not exist on HDFS or WebHDFS is disabled. Please check your path or enable WebHDFS 问题原因:配置文件错误或目录路径错误这个目录路径不是指lin
CentOS 安装 Hadoop Local (Standalone) Mode 单机模式
上传本地测试文件 wcdata.txt 到 HDFS 上 /wordcount/input。在 HDFS 上创建目录 /wordcount/input。浏览器访问:http://hadoop:50090/浏览器访问: http://hadoop:9870。 hadoop3.x中该文件名为worke
Hadoop YARN功能介绍--资源管理、调度任务
YARN是一个通用资源管理系统平台和调度平台，可为上层应用提供统一的资源管理和 调度。他的引入为集群在利用率、资源统一管理和数据共享等方面带来了好处。
【大数据Hadoop】HDFS-HA模式下ZKFC(DFSZKFailoverController)高可用主备切换机制
当一个NameNode被成功切换为Active状态时，它会在ZK内部创建一个临时的znode，在znode中将会保留当前Active NameNode的一些信息，比如主机名等等。当Active NameNode出现失败或连接超时的情况下，监控程序会将ZK上对应的临时znode进行删除，znode的删
HBase 开发：使用Java操作HBase 第3关：获取数据
HBase 开发：使用Java操作HBase第3关：获取数据
Hadoop中重新格式化NameNode的操作
有时候，我们需要重新格式化NameNode，这意味着清除现有的文件系统命名空间和元数据，并创建一个全新的NameNode实例。此外，重新格式化NameNode后，您可能还需要重新配置和恢复您的Hadoop集群的其他组件和作业。完成上述步骤后，您的Hadoop集群的NameNode将被重新格式化，并且
Linux安装Hadoop及其环境配置
使用的是Hadoop的伪分布式，因此需要配置的文件如下：hadoop-env.sh、core-site.xml、mapred-site.xml、hdfs-site.xml、yarn-site.xml。指定datanode从节点（根目录/etc/hadoop/slaves文件，每个节点配置信息占一行）
大数据领域如何理解 Merge、Combine和Aggregate
例如，在MapReduce、Spark等大数据框架中，Shuffle过程中的Combiner可以将同一个节点上的中间结果组合起来，以减少数据在网络中的传输。在大数据领域，这通常涉及到将不同来源或分布式存储的数据整合在一起。例如，在SQL查询中的GROUP BY子句，以及Spark、Hadoop等大数
头歌educoder Hive自定义函数
自定义函数就是除了系统提供给你的函数，你自己去定义的函数。我们需要设置函数的作用、参数、返回值，然而Hive中支持的常见自定义函数有三种，分别是UDF、UDAF、UDTF。
【Hadoop HA】搭建Hadoop HA的详细教程
搭建Hadoop HA的详细教程前置工作配置host文件ssh免密登录JDK的配置ZooKeeper配置Hadoop HA配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml启动与测试前置工作配置host文件在每个节点的/etc/hos
Centos7系统下搭建Hadoop 3.3.6
Centos7系统下搭建Hadoop 3.3.6(包括jdk的安装)
Windows下DataGrip连接Hive
单独开一个窗口先开启这个元数据服务，这个服务是上面操作了hive后，hive又会通过操作元数据的方式操作mysql。单独开一个窗口启动hiveserver2服务，这个服务是beeline连接的，提供jdbc协议帮助操作hive的。
