hive on spark亲自编译，详细教程
编译的spark目录下面的jars文件全部copy到hive/lib下面，将所有的hive/lib jar上传到hdfs目录:hdfs://master:9000/spark-jars/。2、下载spark-2.0.0的源码. https://archive.apache.org/dist/spar
Hadoop概念学习(无spring集成)
文件资源管理的集群与任务调度的集群在一起称为Hadoop集群逻辑上分离,在物理上可以在一起,不同集群分成了不同的进程完成独立的事MapReduce是计算框架,代码层次上的组件,没有集群说HDFS（Hadoop Distributed File System）是Apache Hadoop生态系统中的一
【大数据】大数据 Hadoop 管理工具 Apache Ambari（HDP）
Apache Ambari 是 Hortonworks 贡献给Apache开源社区的顶级项目，它是一个基于web的工具，用于安装、配置、管理和监视 Hadoop 集群。 Ambari 目前已支持大多数 Hadoop 组件，包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zooke
hadoop的安装（VMware 16 pro，Ubuntu 22.04 64位）
hadoop的安装配置
大数据技术之Hadoop（源码解析）
大数据技术之Hadoop源码解析。
hive启动命令
1、启动元数据管理服务（必须启动，否则无法工作）前台启动：bin/hive --service metastore后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &2、启动客户端Hive Shell方式（可以直接写
Yarn【多队列实例、任务优先级设置】
yarn多队列配置、任务优先级设置
【Hadoop】YARN多资源队列配置及使用实践
由于MapReduce默认采用Capacity Scheduler（详见），因此理论上可以存在多个队列，而默认只有一个队列（default），现有需求：额外创建两个队列分别为online和offline，将这三个队列的资源分别分配为70%、10%、20%，且允许在资源不足时借用其他队列的资源，但最多
Hadoop知识点总结
Spark是一种通用的大数据处理框架，它提供了比MapReduce更高级的计算模型，如RDD和DataFrame，以及丰富的计算库，如MLlib和GraphX。使用Spark作为Hive的计算引擎可以实现内存级的计算，大大提高了查询速度，特别是对于迭代式的数据处理任务。每个队列都有固定的资源容量，当
6道常见hadoop面试题及答案解析
Hadoop生态系统，拥有15多种框架和工具，如Sqoop，Flume，Kafka，Pig，Hive，Spark，Impala等，以便将数据摄入HDFS，在HDFS中转移数据（即变换，丰富，聚合等），并查询来自HDFS的数据用于商业智能和分析。具有数据的元数据，但也允许指定用于读取文件的独立模式。基
MPP架构和Hadoop架构的区别
是将许多数据库通过网络连接起来，相当于将一个个垂直系统横向连接，形成一个统一对外的服务的分布式数据库系统。每个节点由一个单机数据库系统独立管理和操作该物理机上的的所有资源（CPU，内存等），节点内系统的各组件间相互调用无需通过主节点。是将不同的资源管理与功能进行分层抽象设计，每层形成一类组件，实现一
Hive之lead函数详解
根据chatgpt生成的回答
Hive的堵塞问题和表锁问题原因查找
当一个用户或任务需要对表进行修改（如插入、更新、删除等操作）时，Hive会自动获取一个表级锁，以防止其他用户或任务同时修改该表。排他锁适用于对表进行写操作，当一个用户或任务获取到了一个表的排他锁时，其他用户或任务将无法修改该表。如果一个用户或任务需要对表进行修改，但另一个用户或任务已经获取了表的锁，
HDFS之Java客户端操作
HDFS之Java客户端操作
【hadoop】部署hadoop全分布模式
2023/7/15
hadoop 相关环境搭建
备注。因为beeline一直报错，最有一怒之下把hive的lib下所有jar都拷贝到hadoop的share\hadoop\common\lib各软件的相关命令最好到各自安装目录或者bin目录下执行，防止初始化目录的时候位置不对。
Hive常见错误及解决办法
Hive常见错误及解决办法
如何对HDFS进行节点内(磁盘间)数据平衡
特别是这种情况：当DataNode原来是挂载了几个数据盘，当磁盘占用率很高之后，再挂载新的数据盘。由于Hadoop 2.x 版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。2.使用系统的hdfs.keytab进行认证，一般在/var/run/cloud
HDFS的数据存储
HDFS内存存储是一种十分特殊的存储方式，将会对集群数据的读写带来不小的性能提升，而HDFS异构存储则能帮助我们更加合理地把数据存到应该存的地方。
hdfs-namenode
其中dfs.namenode.name.dir 属性就是配置namenode这几个（fsimage,edits,seed_txid,version）文件存放的地方，也是core-site.xml中配置的临时目录的地方。配置文件：hdfs-default.xml - 配置namenode的各种属性 是
