大数据相关概念了解
Apache Hadoop软件库是一个框架，允许使用简单的编程模型在计算机集群之间对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。库本身不是依靠硬件来提供高可用性，而是旨在检测和处理应用程序层的故障，因此在计算机群集（每台计算机都可能容易出现故障）之
Hadoop实训任务3：HDFS和MapReduce综合操作
Hadoop实训任务3：HDFS和MapReduce综合操作
【Hadoop】 | 搭建HA之报错锦集
这篇文章主要介绍博主在进行 Hadoop Ha 搭建时，以及 MapReduce 编程时，遇到的部分错误，分享给大家参考！
分布式计算----期末复习题（仅供参考）
单独看yarn的进程：start-yarn.sh ，出现resourcemanager（主节点），nodemanager（从节点）。(3) core- site.xml作用: 配置NameNode的所在主机或者通讯地址及NameNode格式化后的目录的路径。3.如果你使用的是Hadoop3.x版本，
《大数据系统与编程》MapReduce程序实现词频统计实验报告
《大数据系统》的课程实验，包括实验目的、实验要求与实验过程记录（有截图），仅供学生初级参考，引用图片请标明出处。
hadoop环境新手安装教程
这一步需要对hadoop下的 core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml、yarn-site.xml等文件进行配置。这里我用了3台虚拟机，1台改为master，另外2台分别改为node1和node2。（3）IP地址改写，这里需要
hadoop-hdfs集群安全模式详解
安全模式相关命令查看安全模式 hdfs dfsadmin -safemode get进入安全模式状 hdfs dfsadmin -safemode enter离开安全模式 hdfs dfsadmin -safemode leave等待安全模式状态 hdfs dfsadmin -safemode
hadoop高可用【HA】配置详解
想实现 Hadoop 高可用就必须实现 NameNode 的高可用，NameNode 是HDFS的核心，HDFS 又是 Hadoop 核心组件，NameNode 在 Hadoop 集群中至关重要；NameNode 宕机，将导致集群不可用，如果NameNode数据丢失将导致整个集群的数据丢失，而 Na
大数据高频面试题
说下Spark中的Transform和Action，为什么Spark要把操作分为Transform和Action?Hive的join操作原理，leftjoin、right join、inner join、outer join的异同?在删除HBase中的一个数据的时候，它什么时候真正的进行删除呢?Hi
大数据Doris（三十七）：Spark Load导入HDFS数据
也可以在FE 节点“/software/doris-1.2.1/apache-doris-fe/log/spark_launcher_log”中查看执行日志，FE节点不一定在node1-node3哪台节点执行Spark ETL任务，执行任务的节点上才有以上日志路径，该日志默认保存3天。当Yarn中任
配置hadoop集群常见报错汇总
从如上日志可以看出，本身data节点启动并无问题，但在与主节点通信时报“Problem connecting to server: hadoop0/192.168.2.130:49000”，之后持续重试。鉴于每次执行都要导入，建议直接在对应的/XXX/hadoop-xxx/etc/hadoop/ha
HDFS编程实践
介绍HDFS编程实战
【Hive】安装配置及导入Hdfs数据
一文带你了解Hive的安装配置，供大家参考！
期末复习-大数据技术原理与应用
NoSQL，泛指非关系型的数据库。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，特别是大数据应用难题。特点，灵活可扩展，灵活的数据模型，与云计算紧密相连兴起的原因，海量数据的需求，数据高并发的需求，无法满足可扩展和高可用性的需求。
Centos Linux 安装单机 Hadoop（HDFS）
Centos Linux 安装单机 Hadoop（HDFS）、Centos、Linux、Hadoop、HDFS、Yarn、大数据、Apache、MapReduce
HDFS写数据流程
（1）客户端向NameNode发出写文件请求（2）NameNode检查是否已存在文件、检查权限，Namenode应答可以上传。
云计算与大数据实验三 HDFS的基本操作
确保当前输入法在英文状态下后，按下小写i键，按下后如下图标红处所示出现--INSERT--字符，表示已经进入文档编辑模式，可以编辑该文档了。确保当前输入法在英文状态下后，按下小写i键，按下后如下图标红处所示出现--INSERT--字符，表示已经进入文档编辑模式，可以编辑该文档了。确保当前输入法在英文
hdfs常用命令
简单常用的hdfs命令
java连接HDFS
HDFS连接java
Hadoop项目案例：电影网站用户性别预测
hadoop项目实战：电影网站用户性别预测
