Hadoop--万恶NameNode各种起不来!!!

一下↓ 是对NameNode结点一些常见问题这里用到启动Hadoop集群的脚本:myhadoop.sh start 和查看进程脚本:jpsall (后面会写一篇关于脚本的文章)先看Hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop(每个人可能路径不同),查看这

hadoop3.2.1+hive3.1.2-docker安装

docker 安装配置hadoop+hive,配置密码。

(十一)大数据实战——hadoop高可用之HDFS手动模式高可用

本节内容我们介绍一下hadoop在手动模式下如何实现HDFS的高可用,HDFS的高可用功能是通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障,如机器崩溃或机器需要升级维护,这时可通过此种方式将 NameNode很快的

Hadoop 3.2.4 集群搭建详细图文教程

Hadoop 3.2.4 集群搭建详细图文教程

[Hadoop安装配置 ]

水能载舟,亦能覆舟。

Deepin 图形化部署 Hadoop Single Node Cluster

快捷键 ctrl+alt+t 打开控制台窗口更新 apt 源更新 系统和软件升级后建议重启。

使用Java API对HDFS进行如下操作:文件的创建、上传、下载以及删除等操作

熟悉HDFS的Java API中的常用接口,能使用Java API对HDFS进行如下操作:文件的创建、上传、下载以及删除等操作。

大数据技术之Hadoop:使用命令操作HDFS(四)

在HDFS中的命令,基本上就是照搬的Linux命令。只要你熟悉Linux命令,那么HDFS命令基本上一遍过。它的目录结构和linux非常相似。举个例子:Linux 中:HDFS中:或者 hdfs dfs -mkdir -p /opt/mynote所以说,是不是没什么区别?🫢那么我们这就引出了第一

Hadoop学习-常用端口和配置文件

面试题,hadoop

大数据开发八股文总结——Hadoop

大数据开发学习总结——Hadoop

Hadoop启动后没有datenode进程的解决办法

网上的说法大多数都是由于进行hadoop格式化的时候没有事先结束所有进程,或者多次进行了format导致的datanode的clusterID 和 namenode的clusterID不匹配,从而在启动后没有datanode进程。

【大数据实验一 】熟悉常用的Linux操作和Hadoop操作

1.实验目的Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作,为顺利开展后续其他实验奠定基础。2.实验平台(1)操作系统:Linux(Ubuntu18.04);(2)Hadoop版本:3.1.3。3.实验步骤1.熟悉

【云平台技术】Hadoop全分布式安装与配置

目录一、虚拟机安装1、创建虚拟机2、虚拟机启动初始化二、 虚拟机克隆三、Linux系统的网络配置1、准备工作2、 主机名和IP映射2.1 配置主机名2.2 配置IP映射3、网络参数配置四、SSH服务配置1、生成密钥文件2、将本机公钥文件复制到其他虚拟机上五、JDK安装和Hadoop安装1、准备安装包

hadoop学习:mapreduce入门案例二:统计学生成绩

这里相较于 wordcount,新的知识点在于学生实体类的编写,以及使用。2. mapper 阶段,StudentMapper 类。3. reduce 阶段,StudentReduce 类。4. 驱动类,studentDriver 类。1. Student 实体类。

Hadoop安装Hbase启动失败报错解决方法

Hadoop安装Hbase启动失败报错解决方法

Hadoop集群安装组件版本对应关系

Hadoop集群安装组件版本对应关系

Hive的更新和删除

更新数据: Hive中的更新操作实际上是替换记录的过程。删除数据: 在Hive中,您可以使用DELETE语句删除表中的数据。但是,与传统的关系型数据库不同,Hive实际上并不删除数据,而是将其标记为已删除。但是,这些操作的执行方式与传统的关系型数据库不同,因为Hive使用Hadoop的MapRedu

Hive中hash函数及md5函数

该算法将输入数据分为若干个块,每个块都进行哈希计算,最终将所有块的哈希值合并起来得到最终的哈希值。参数2: 224, 256, 384, 512, 或 0(=256)中的一个,表示SHA-224, SHA-256, SHA-384, SHA-512。由于哈希函数的特性,相同的输入数据每次计算得到的哈

Hadoop的安装实验报告

如果读者正在使用Linux操作系统,则不需要了解Windows系统上的Linux虚拟机安装方法;鉴于目前很多读者正在使用Windows操作系统,因此,为了完成本书的后续实验,这里有必要通过本实验让读者掌握在Windows操作系统上搭建Linux虚拟机的方法。VMware Workstation Pl

Hive导入csv文件示例

关键是要引入org.apache.hadoop.hive.serde2.OpenCSVSerdecsv要保存到hive的parquet,需要先保存成textfile。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈