大数据技术之Hadoop
大数据技术之Hadoop
实验二、熟悉常用的HDFS操作(HDFS JavaAPI之读取/上传/删除文件)
一、实验目的理解HDFS在Hadoop体系结构中的角色熟练使用HDFS操作常用的shell命令熟悉HDFS操作常用的Java API二、实验平台操作系统：CentOS 8Hadoop版本：3.3.1jdk版本：1.8Java IDE：Eclipse三、实验内容1. 使用Hadoop命令操作分布式文件
Spark与hdfs delegation token过期的排查思路总结
hadoop delegation token的问题相对比较混乱和复杂，简单说下这东西的出现背景，最早的hadoop的因没有的完善的安全机制（安全机制主要包括：认证 + 鉴权，hadoop这里主要是身份认证机制没有），所以导致操作风险比较大，你可以理解只要获取了一台装有hadoop client的机
Hadoop官网翻译 (HDFS命令)
hadoop官网翻译hdfs-3
IDEA连接hadoop hdfs
进入一下界面， 搜索 重启IDEA 首先保证浏览器可以访问到 按照下述步骤创建一个HDFS连接 点击出现报错，点击哪个报错的链接 https://cwiki.apache.org/confluence/display/HADOOP2/WindowsProblems 点击之后出现如下界面，点击 下
Hadoop生产调优之HDFS-核心参数
NameNode 内存生产环境配置，NameNode心跳并发配置，开启回收站配置
HDFS的API操作 （Eclipse版）
HDFS的API客户端操作，基本环境配置，hdfs文件上传下载删除更名等操作，以及hdfs的I/O流操作！！！
Java API操作HDFS写入，读取，重命名，显示文件列表等
Java API操作HDFS写入，读取，重命名，显示文件列表等
ERROR: Cannot set priority of datanode
WARNING: Use of this script to execute namenode is deprecated.WARNING: Attempting to execute replacement "hdfs namenode" instead.2022-11-04 03:40:58,7
Hadoop入门(十)——集群配置（图文详解步骤2021）
Hadoop入门(十)——集群配置（图文详解步骤2021）1 ） 集群部署规划注意：NameNode 和 SecondaryNameNode 不要安装在同一台服务器 。（它们两个都需要耗内存，分开减少集群的压力）ResourceManager 也很消耗内存，不要和 NameNode、Secondar
hadoop运行wordcount的路径问题(Linux本地路径、HDFS路径)
在执行 `hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output` 这条指令时，文件的输入和输出路径到底是Linux本地还是HDFS路径主要取决于配置文件中的 `fs
大数据入门之 Hadoop,HDFS,Hbase,Hive
Hadoop：是泛指大数据生态，实际上基本包括 存储(HDFS) + 计算(MapReduce);HDFS: Hadoop分布式文件系统，主要是解决存储的问题;Hbase: 基于Hadoop的高性能nosql数据库;Hive: 最常用的数据仓库;
Hadoop安全之Kerberos
Hadoop安全之Kerberos
IDEA连接hadoop hdfs
进入一下界面， 搜索重启IDEA。
【HDFS】权限管理
一文带你了解HDFS的权限管理~~~
python读写hdfs文件的实用解决方案
本文主要介绍了python写hdfs文件的实用解决方案，希望能对新手有所帮助。文章目录1. 背景介绍2. 解决方案 2.1 方案一 2.1.1 安装库 2.1.2 代码 2.2 方案二
Windows安装 hadoop 环境
大数据、hadoop
Spark读取Hive数据的两种方式与保存数据到HDFS
Spark读取Hive数据的两种方式与保存数据到HDFS
【hadoop——HDFS操作常用的Shell命令】
1.Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）是Hadoop核心组件之一，我们已经安装好了Hadoop 2.7.1，其中已经包含了HDFS组件，不需要另外安装最基本的shell命令： HDFS既然是Hadoop的组件，那么首先需要启动Hado
hdfs分布式文件系统 默认数据存放路径、及相关配置属性详细解析
b.复制{/tmp/hadoop-hyxy/dfs/name}至{/home/hyxy/tmp/hadoop/dfs}的路径下，问题解决。失败的原因是：我们在core-site.xml修改了tmp路径：【/home/hyxy/tmp/hadoop】，启动namenode服务的时候，系统找不到原来的路
