大数据-Hadoop是什么，如何部署
大数据-Hadoop是什么，如何部署1.是什么？2.架构2.1 HDFS(分布式文件系统)2.1.1NameNode（简称nn）2.1.2DataNode（dn）2.1.3Secondary NameNode（2NN）2.2 YARN（资源管理器/协调者）2.2.1 Resource Manager
Hadoop 集群安装
Hadoop 集群安装
手把手教你搭建HADOOP集群
准备工作：准备三台虚拟机，关闭防火墙，修改他们的主机名，第一台虚拟机为master 剩下两台分别是slave1和slave2，修改hosts文件 修改他们的主机映射，三台进行免密操作。基础配置：修改主机名永久修改：vim /etc/hostname重启 restart零时修改: hostnamect
Hadoop：HDFS总结
Hadoop：HDFS总结HDFS架构NameNode(nn): 管理文件的元数据，如文件名、文件目录结构、文件属性等信息【NN运行时，元数据是存储在内存中，从而保证响应时间】元数据只保留在内存中是非常不可靠的，所以也需要持久化到磁盘。NN内部有两类文件用于持久化元数据：fsimage文件，以fsi
六十七、Spark-两种运行方式（本地运行，提交集群运行）
本地运行：在IDEA中直接运行控制台输出结果即可集群运行：在本地将程序打包为 jar，提交至集群运行其程序（将结果上传至hdfs）
Hadoop（三）HDFS 原理
HDFS核心的设计思想 HDFS 集群中，主要的角色有 NameNode 和 DataNode 两大角色 （SecondaryNamenode 和 Client）； NameNode 负责管理文件系统的元数据，并响应 Client 的请求； DataNode 负责存储用户的文件块（block）
Hadoop（二）介绍HDFS
HDFS的简单介绍
08、Hadoop框架HDFS HA 的高可用
Hadoop框架HDFS HA 的高可用
04、Hadoop框架HDFS NN、SNN、DN工作原理
Hadoop框架HDFS NN、SNN、DN工作原理
06、Hadoop框架HDFS读写流程
Hadoop框架HDFS读写流程
元数据性能大比拼：HDFS vs OSS vs JuiceFS
背景存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中 3 个典型的存储方案来压测元数据的性能，来个大比拼。其中 HDFS 是被广为使用的大数据存储方案，已经经过十几年的沉淀和积累，是最合适的参考标杆。以 Amazon
hadoop 使用 kerberos 认证后，hadoop fs -ls 命令、hdfs dfs -ls 无法使用
解决启用 kerberos 认证的 hdfs 集群 遇到的无法使用hadoop、hdfs命令的问题
Hadoop入门（一）
Hadoop是一个有Apache基金会所开发的分布式系统基础架构主要解决海量数据的存储和海量数据的分析计算问题
Hadoop之伪分布式配置安装
Hadoop支持本地模式、伪分布式模式、完全分布式模式3种安装模式。本地模式，在系统中下载Hadoop,默认情况下，它会被配置为一个独立的模式， 用于运行Java程序;伪分布式模式，这是在单台机器上的分布式模拟，这种模式对开发非常有用:完全分布式模式，又叫集群安装，Hadoop 安装在最少两台计算机
HadoopHA 搭建
1.准备三台机器 centos7安装步骤 略（ 可以看我的 虚拟机安装 centos7 文章）2.配置免秘钥访问略（可以看我的免秘钥配置文章）3.JKD 安装1.8略4.Hadoop官网下载3.1.2网址 http://hadoop.apache.org/https://archive.apache
JuiceFS 即将发布 1.0 并调整开源许可
开源一周年JuiceFS 开始于 2017 年，是一款云原生分布式文件系统，旨在帮助企业解决多云、跨云、混合云环境下所面临的诸多挑战：数据安全和保护、大数据架构升级、海量小文件访问、Kubernetes 标准存储等。 JuiceFS 完全兼容 POSIX、HDFS、S3 访问协议，并提供 Kuber
搭建Hadoop集群(超详细版）
搭建Hadoop集群
Hadoop2.7.2集群搭建
一，基础环境1、主机名配置hostnamectl set-hostname node1hostnamectl set-hostname node2hostnamectl set-hostname node3vim /etc/hosts192.168.137.128 node1192.168.137.
1.HDFS基础知识
HDFS基础知识
HDFS Java API操作——《大数据技术原理与应用（第3版）》期末复习
目录HDFS Java API操作创建目录显示目录列表删除目录判断文件存在目录和文件判断重命名文件上传文件文件移动文件下载HDFS Java API操作这里使用Junit包的@Before、@Test方法进行调试测试创建目录fs.mkdirs() //第一步，获取Hadoop FileSystem对
