大数据处理技术Spark
一个大作业的全过程：伪分布式hadoop+pandas预处理数据+hdfs保存数据+spark从hdfs读取数据+ sparksql处理+sparkmllib处理+matplotlib可视化处理数据
【Hadoop_02】Hadoop运行模式
（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。上面这个命令的目的是运行一个 WordCount MapReduce 作业，从指定的输入路径
【大数据之Hive】六、Hive之metastore服务部署
metastore为Hive CLI或Hiveserver2提供元数据访问接口。
hadoop-hdfs简介及常用命令详解（超详细）
本文介绍了HDFS（Hadoop Distributed File System）的概念、架构和常用操作。HDFS是一个分布式文件系统，适用于存储和处理大规模数据集。文章首先简要介绍了HDFS的概述，包括其设计目标和架构组件。接着详细介绍了HDFS命令的基本语法和常用选项，如列出文件和目录、创建目录
【Python大数据笔记_day11_Hadoop进阶之MR和YARN&ZooKeeper】
Hadoop进阶之MR和YARN&ZooKeeper
Hadoop架构、Hive相关知识点及Hive执行流程
Hadoop架构、Hive相关知识点及Hive执行流程
Hive 定义变量 变量赋值 引用变量
hive --define slogan=勿忘国耻set hivevar:slogan=铭记历史;
idea连接hive
在hadoop平台写hive命令容易出错，但在idea中写hive命令可以提示代码，代码写错还可以提示错误，所以选择在idea中写hive命令。1.在idea中构建一个maven项目，引入相关依赖，并且相关依赖版本号与hive，hadoop的版本号一致。实验环境hadoop2.8.3
大数据之非常详细Sqoop安装和基本操作
大数据之非常详细Sqoop安装和基本操作
Hadoop的启动和停止命令
hadoop命令集
大数据HIVE篇--控制hive任务中的map数和reduce数
空置Map和Reduce的个数
大数据基础编程、实验和教程案例（实验七）
你好# 大数据基础编程、实验和教程案例（实验五）
hadoop(学习笔记) 4----怎么把文件放到hdfs上?
1.修改namenode,datanode的存放位置2.hdfs的文件操作
大数据毕业设计选题推荐-农作物观测站综合监控平台-Hadoop-Spark-Hive
随着科技的发展和全球气候变化的挑战，农业生产的效率和可持续性越来越受到人们的关注。为了提高农业生产的效率和可持续性，需要进行长期的的农作物观测和监控。传统的农作物观测站通常需要大量的人力物力进行维护，而且受到时间和空间的制约，无法做到实时的观测和监控。因此，基于大数据的农作物观测站监控平台的研究和应
Hadoop YARN HA 集群安装部署详细图文教程
Hadoop YARN HA 集群安装部署详细图文教程
Hive Delegation Token 揭秘
本篇文章是由一次 Hive 集群生产优化而引出的知识点，供大家参考。
集群配置，hadoop配置过程，细节满满
(2)如果你的集群虚拟机已经都创建完成，且确保网络，ssh密钥登陆 都做好了后，就可以开始安装jdk和hadoop了。/usr/local/src/hadoop/etc/hadoop 中的对应配置文件中加入下面的相关参数。这一步是集群配置的关键。做一个hadoop的配置流程的全记录，把遇到的问题和细
大数据：Hadoop刷题
大数据：Hadoop刷题
运行hive语句时有很多info怎么消掉
每次启动hive和执行hive sql命令时都打印了很多没用的INFO日志，看起来很繁琐，那么该怎么消除掉这些没用的日志消息
