【Hadoop-HDFS】HDFS常用操作命令
【Hadoop-HDFS】HDFS常用操作命令
hadoop课后题带答案（期末考试复习）
1.大数据的4V特征包含大量、多样、高速和价值。2.Hadoop三大组件包含HDFS、MapReduce和Yarn。3.Hadoop2.x版本中的HDFS是由NameNode、DataNode和Secondary NameNode组成。4.Hadoop发行版本分为开源社区版和商业版。5.目前Apac
搭建Hadoop的伪分布式
Hadoop搭建伪分布式
Hadoop HDFS的特点与优缺点
Hadoop HDFS的特点与优缺点
Alluxio安装部署
Alluxio 是世界上第一个虚拟的分布式存储系统，以内存速度统一了数据访问。它为计算框架和存储系统构建了桥梁，使应用程序能够通过一个公共接口连接到许多存储系统。Alluxio以内存为中心的架构使得数据的访问速度能比现有方案快几个数量级。简单来说，Alluxio是一个分布式文件系统，是数据驱动框架或
Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）
Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）
【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建
独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。单Namenode节点模式-高可用HA模式集
非常详细HDFS读写流程+完美视觉的HDFS读写流程图
DataStreamer 将数据包流式传输到管线中第 1 个DataNode（dn1），该 DataNode（dn1） 存储数据包并将它发送到管线中的第 2 个 DataNode（dn2）。同样地，第 2 个 DataNode（dn2） 存储该数据包并且发送给管线中的第3个DataNode（dn3）
简单配置HDFS
搭建最基本的完全分布式集群环境，简单的hdfs基础配置
BigTop3.2.0 大数据组件编译--组件编译
接上篇环境准备，环境准备好以后就可以开始bigtop大数据组件编译了，建议使用科学上网方式，降低网络连接报错，主要网络报错出现在nodejs npm yarn bower等前端资源的下载上。搞定网络问题后，按本文的方式可以完成大数据相关组件的编译，编译后生成的rpm包在output目录中，包含源码r
MapReduce 编程实例：词频统计
1.右击resources目录，单击【new】选择【resources bundle】，弹出下图界面输入log4j，单击【ok】按钮。在export目录下，创建wordcount目录，在里面创建words.txt文件，向words.txt输入下面内容。2.在弹出的【Create Resource B
Windows下安装hadoop2.7.4
该压缩包是已经简化配置后的hadoop2.7.4下载地址文件分享 (weiyun.com)在系统变量中添加在path中添加把/etc/hadoop/ 下目录的相关配置文件都配置一遍，直接赋值下面内容即可①yarn-site.xml②hdfs-site.xml③core-site.xml4、复制一份m
Unable to load native-hadoop library for your platform解决方法
Unable to load native-hadoop library for your platform解决方法
hadoop调优
每个文件块大概占用150byte，如果一台服务器128G，能存储的文件块如下128 (G)* 1024(MB) * 1024(KB) * 1024(Byte) / 150 Byte = 9.1 亿。
安装配置flume（超详细）
（百度网盘连接：链接：https://pan.baidu.com/s/1VeelyVBttwLMRS-2LGzp8w?内容：export JAVA_HOME=/home/newadd/software/jdk1.8.0_171。2、解压：tar -zxvf apache-flume-1.7.0-bi
大数据从入门到实战-HDFS-JAVA接口之删除文件
HDFS-JAVA接口之删除文件
【大数据】记一次hadoop集群missing block问题排查和数据恢复
记一次 Hadoop 集群 missing block 问题解决及排查思路，集群环境总共有2个NN节点，3个JN节点，40个DN节点，基于hadoop-3.3.1的版本。集群采用的双副本，未使用ec纠删码。因为出现了missing block块高于namenode安全模式启动的阈值，导致nameno
Hadoop伪分布集群配置（我用的是VMwareWorkstation）
记录学习，加深巩固，方便回忆！
大数据 | 实验一：大数据系统基本实验 | 熟悉常用的HDFS操作
1）理解 HDFS 在 Hadoop 体系结构中的角色。2）熟练使用 HDFS 操作常用的 shell 命令。3）熟悉 HDFS 操作常用的 Java API。
HDFS上传文件的过程
hdfs上传文件的过程
