Hadoop--万恶NameNode各种起不来!!!
一下↓ 是对NameNode结点一些常见问题这里用到启动Hadoop集群的脚本:myhadoop.sh start 和查看进程脚本:jpsall (后面会写一篇关于脚本的文章)先看Hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop(每个人可能路径不同),查看这
hadoop3.2.1+hive3.1.2-docker安装
docker 安装配置hadoop+hive,配置密码。
(十一)大数据实战——hadoop高可用之HDFS手动模式高可用
本节内容我们介绍一下hadoop在手动模式下如何实现HDFS的高可用,HDFS的高可用功能是通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障,如机器崩溃或机器需要升级维护,这时可通过此种方式将 NameNode很快的
Hadoop 3.2.4 集群搭建详细图文教程
Hadoop 3.2.4 集群搭建详细图文教程
[Hadoop安装配置 ]
水能载舟,亦能覆舟。
Deepin 图形化部署 Hadoop Single Node Cluster
快捷键 ctrl+alt+t 打开控制台窗口更新 apt 源更新 系统和软件升级后建议重启。
使用Java API对HDFS进行如下操作:文件的创建、上传、下载以及删除等操作
熟悉HDFS的Java API中的常用接口,能使用Java API对HDFS进行如下操作:文件的创建、上传、下载以及删除等操作。
大数据技术之Hadoop:使用命令操作HDFS(四)
在HDFS中的命令,基本上就是照搬的Linux命令。只要你熟悉Linux命令,那么HDFS命令基本上一遍过。它的目录结构和linux非常相似。举个例子:Linux 中:HDFS中:或者 hdfs dfs -mkdir -p /opt/mynote所以说,是不是没什么区别?🫢那么我们这就引出了第一
Hadoop学习-常用端口和配置文件
面试题,hadoop
大数据开发八股文总结——Hadoop
大数据开发学习总结——Hadoop
Hadoop启动后没有datenode进程的解决办法
网上的说法大多数都是由于进行hadoop格式化的时候没有事先结束所有进程,或者多次进行了format导致的datanode的clusterID 和 namenode的clusterID不匹配,从而在启动后没有datanode进程。
【大数据实验一 】熟悉常用的Linux操作和Hadoop操作
1.实验目的Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作,为顺利开展后续其他实验奠定基础。2.实验平台(1)操作系统:Linux(Ubuntu18.04);(2)Hadoop版本:3.1.3。3.实验步骤1.熟悉
【云平台技术】Hadoop全分布式安装与配置
目录一、虚拟机安装1、创建虚拟机2、虚拟机启动初始化二、 虚拟机克隆三、Linux系统的网络配置1、准备工作2、 主机名和IP映射2.1 配置主机名2.2 配置IP映射3、网络参数配置四、SSH服务配置1、生成密钥文件2、将本机公钥文件复制到其他虚拟机上五、JDK安装和Hadoop安装1、准备安装包
hadoop学习:mapreduce入门案例二:统计学生成绩
这里相较于 wordcount,新的知识点在于学生实体类的编写,以及使用。2. mapper 阶段,StudentMapper 类。3. reduce 阶段,StudentReduce 类。4. 驱动类,studentDriver 类。1. Student 实体类。
Hadoop安装Hbase启动失败报错解决方法
Hadoop安装Hbase启动失败报错解决方法
Hadoop集群安装组件版本对应关系
Hadoop集群安装组件版本对应关系
Hive的更新和删除
更新数据: Hive中的更新操作实际上是替换记录的过程。删除数据: 在Hive中,您可以使用DELETE语句删除表中的数据。但是,与传统的关系型数据库不同,Hive实际上并不删除数据,而是将其标记为已删除。但是,这些操作的执行方式与传统的关系型数据库不同,因为Hive使用Hadoop的MapRedu
Hive中hash函数及md5函数
该算法将输入数据分为若干个块,每个块都进行哈希计算,最终将所有块的哈希值合并起来得到最终的哈希值。参数2: 224, 256, 384, 512, 或 0(=256)中的一个,表示SHA-224, SHA-256, SHA-384, SHA-512。由于哈希函数的特性,相同的输入数据每次计算得到的哈
Hadoop的安装实验报告
如果读者正在使用Linux操作系统,则不需要了解Windows系统上的Linux虚拟机安装方法;鉴于目前很多读者正在使用Windows操作系统,因此,为了完成本书的后续实验,这里有必要通过本实验让读者掌握在Windows操作系统上搭建Linux虚拟机的方法。VMware Workstation Pl
Hive导入csv文件示例
关键是要引入org.apache.hadoop.hive.serde2.OpenCSVSerdecsv要保存到hive的parquet,需要先保存成textfile。