[数据存储]HDFS的简介、初始化配置与运行
HDFS（Hadoop Distributed File System）Hadoop分布式文件系统，是Hadoop项目中关于数据存储的组件，是Hadoop项目的一部分。
Hadoop中命令检查hdfs的文件是否存在
示例中，使用hadoop fs -test -e命令检查/user/hadoop/myfile.txt文件是否存在。接着，通过检查命令的返回值来确定文件的存在与否。如果文件存在，命令返回0；如果文件不存在，命令返回非0值。其中，是要检查的HDFS文件的路径。
Hadoop理论及实践-HDFS读写数据流程（参考Hadoop官网）
NameNode根据一定的策略选择可用的DataNode，并为文件的每个数据块分配一个主节点（Primary DataNode）和多个副本节点（Replica DataNode），NameNode返回文件的数据节点列表给客户端。5、客户端根据数据节点列表，将数据切分成数据块，并按照指定的策略将这些数
最详细HDFS常用命令作用及截图
HDFS常用命令集合
DataX将MySQL数据同步到HDFS中时，空值不处理可以吗
DataX将MySQL数据同步到HDFS中时，空值存到HDFS中时，默认是存储为\N，这样会有两个缺点：参考文章：
6道常见hadoop面试题及答案解析
Hadoop生态系统，拥有15多种框架和工具，如Sqoop，Flume，Kafka，Pig，Hive，Spark，Impala等，以便将数据摄入HDFS，在HDFS中转移数据（即变换，丰富，聚合等），并查询来自HDFS的数据用于商业智能和分析。具有数据的元数据，但也允许指定用于读取文件的独立模式。基
HDFS之Java客户端操作
HDFS之Java客户端操作
hadoop 相关环境搭建
备注。因为beeline一直报错，最有一怒之下把hive的lib下所有jar都拷贝到hadoop的share\hadoop\common\lib各软件的相关命令最好到各自安装目录或者bin目录下执行，防止初始化目录的时候位置不对。
如何对HDFS进行节点内(磁盘间)数据平衡
特别是这种情况：当DataNode原来是挂载了几个数据盘，当磁盘占用率很高之后，再挂载新的数据盘。由于Hadoop 2.x 版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。2.使用系统的hdfs.keytab进行认证，一般在/var/run/cloud
Nginx 配置 安全认证 反向代理 HDFS web 页面
Nginx 配置安全认证 反向代理 HDFS web 页面这样做的目的是：相对安全一些，之前都是直接“裸奔”经常被攻击很讨厌
HDFS的数据存储
HDFS内存存储是一种十分特殊的存储方式，将会对集群数据的读写带来不小的性能提升，而HDFS异构存储则能帮助我们更加合理地把数据存到应该存的地方。
hdfs-namenode
其中dfs.namenode.name.dir 属性就是配置namenode这几个（fsimage,edits,seed_txid,version）文件存放的地方，也是core-site.xml中配置的临时目录的地方。配置文件：hdfs-default.xml - 配置namenode的各种属性 是
HDFS 分布式存储 spark storm HBase
基于Hadoop 数据保存到HDFS数据仓库工具结构化的数据 映射为一张数据库表01,张三,8902,李四,9103,赵武,92HQL查询功能 (Hive SQL)本质 把HQL翻译成MapReduce 降低使用hadoop计算的门槛离线数据分析开发效率比直接用MapReduce 高hive提供的函
hadoop的8088端口无法访问
如果 8080 端口无法访问，可能是因为以下几种原因之一：该端口可能被防火墙阻止了访问。您可以尝试关闭防火墙，或者将 8080 端口添加到防火墙的信任列表中。Hadoop 服务可能没有启动。您可以尝试通过运行 start-dfs.sh 和 start-yarn.sh 脚本来启动 Hadoop 服务。
CentOS7部署kettle9.3.0并部署自服器远程提交任务
centos7部署kettle9.3.0并配置远程执行及其详细，中间碰到的问题全都有详细的解决办法
HDFS介绍
Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Cor
HDFS学习笔记
对于每一个数据块，NameNode 节点返回保存数据块的数据节点的地址。当Active NameNode的命名空间发生变化的时候，它会把这个变化通知所有JN，有的JN收到信息，有的JN是没有收到信息的，如果大部分JN进程接到信息，就认为这个事件是可信的，如果少数的JN接到信息，就认为这个信息是错误的
Hadoop中 常用端口说明和相关配置文件
Hadoop中 常用端口说明和相关配置文件
Hadoop常用命令
hdfs dfs -copyFromLocal /local/data/file.txt /hadoop/data :将本地文件上传到hdfs上(原路径只能是一个文件)hadoop dfs -put /local/*.txt /hadoop/path/ :put和 copyFromLoc
三台异构服务器搭建hadoop HA集群史上最详细方案（HDFS+YARN）
三台异构主机配置hadoop高可用环境，网上见到的HA的少，记录一下
