hadoop的基础操作——Hadoop中创建、修改、查看、删除文件夹及文件
在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。运行期通过命令也可以进入安全模式。执行hadoop jar命令，在hadoop的/apps/hadoop/share/hadoop/mapreduce路
hadoop期末复习
NameNode和SecondaryNameNode不要安装在同一台服务器。ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。1）防火墙没关闭、或者没有启动YARN2）主机名称配置错误3）IP地址配置错误4）ssh没有配置好5）
大数据处理技术Spark
一个大作业的全过程：伪分布式hadoop+pandas预处理数据+hdfs保存数据+spark从hdfs读取数据+ sparksql处理+sparkmllib处理+matplotlib可视化处理数据
【Hadoop_02】Hadoop运行模式
（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。上面这个命令的目的是运行一个 WordCount MapReduce 作业，从指定的输入路径
CDH 之 Kerberos 安全认证和 Sentry 权限控制管理（一）
Apache Sentry是Cloudera公司发布的一个Hadoop开源组件，2016年3月成为Apache顶级项目。Sentry是一个基于角色的粒度授权模块，提供了对Hadoop集群上经过身份验证的用户提供了控制和强制访问数据或数据特权的能力。Kerberos+Sentry
【大数据之Hive】六、Hive之metastore服务部署
metastore为Hive CLI或Hiveserver2提供元数据访问接口。
hadoop-hdfs简介及常用命令详解（超详细）
本文介绍了HDFS（Hadoop Distributed File System）的概念、架构和常用操作。HDFS是一个分布式文件系统，适用于存储和处理大规模数据集。文章首先简要介绍了HDFS的概述，包括其设计目标和架构组件。接着详细介绍了HDFS命令的基本语法和常用选项，如列出文件和目录、创建目录
【Python大数据笔记_day11_Hadoop进阶之MR和YARN&ZooKeeper】
Hadoop进阶之MR和YARN&ZooKeeper
Hadoop架构、Hive相关知识点及Hive执行流程
Hadoop架构、Hive相关知识点及Hive执行流程
Hive 定义变量 变量赋值 引用变量
hive --define slogan=勿忘国耻set hivevar:slogan=铭记历史;
idea连接hive
在hadoop平台写hive命令容易出错，但在idea中写hive命令可以提示代码，代码写错还可以提示错误，所以选择在idea中写hive命令。1.在idea中构建一个maven项目，引入相关依赖，并且相关依赖版本号与hive，hadoop的版本号一致。实验环境hadoop2.8.3
大数据之非常详细Sqoop安装和基本操作
大数据之非常详细Sqoop安装和基本操作
Hadoop的启动和停止命令
hadoop命令集
大数据HIVE篇--控制hive任务中的map数和reduce数
空置Map和Reduce的个数
大数据基础编程、实验和教程案例（实验七）
你好# 大数据基础编程、实验和教程案例（实验五）
hadoop(学习笔记) 4----怎么把文件放到hdfs上?
1.修改namenode,datanode的存放位置2.hdfs的文件操作
大数据毕业设计选题推荐-农作物观测站综合监控平台-Hadoop-Spark-Hive
随着科技的发展和全球气候变化的挑战，农业生产的效率和可持续性越来越受到人们的关注。为了提高农业生产的效率和可持续性，需要进行长期的的农作物观测和监控。传统的农作物观测站通常需要大量的人力物力进行维护，而且受到时间和空间的制约，无法做到实时的观测和监控。因此，基于大数据的农作物观测站监控平台的研究和应
Hadoop YARN HA 集群安装部署详细图文教程
Hadoop YARN HA 集群安装部署详细图文教程
Hive Delegation Token 揭秘
本篇文章是由一次 Hive 集群生产优化而引出的知识点，供大家参考。
