ERROR: Cannot set priority of datanode
WARNING: Use of this script to execute namenode is deprecated.WARNING: Attempting to execute replacement "hdfs namenode" instead.2022-11-04 03:40:58,7
Hadoop入门(十)——集群配置（图文详解步骤2021）
Hadoop入门(十)——集群配置（图文详解步骤2021）1 ） 集群部署规划注意：NameNode 和 SecondaryNameNode 不要安装在同一台服务器 。（它们两个都需要耗内存，分开减少集群的压力）ResourceManager 也很消耗内存，不要和 NameNode、Secondar
hadoop运行wordcount的路径问题(Linux本地路径、HDFS路径)
在执行 `hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output` 这条指令时，文件的输入和输出路径到底是Linux本地还是HDFS路径主要取决于配置文件中的 `fs
大数据入门之 Hadoop,HDFS,Hbase,Hive
Hadoop：是泛指大数据生态，实际上基本包括 存储(HDFS) + 计算(MapReduce);HDFS: Hadoop分布式文件系统，主要是解决存储的问题;Hbase: 基于Hadoop的高性能nosql数据库;Hive: 最常用的数据仓库;
【博学谷学习记录】大数据课程-学习第七周总结
文件中设置的是Hadoop运行时需要的环境变量。hdfs-default.xml与hdfs-site.xml的功能是一样的，如果在hdfs-site.xml里没有配置的属性，则会自动会获取hdfs-default.xml里的相同属性的值。yarn-default.xml与yarn-site.xml的
Hive字符串、Json解析
json字符串解析
hadoop启动后,集群里没有NodeManager
解决方案：cd /opt/module/hadoop-3.1.3/etc/hadoop/vim yarn-site.xml<property> <name>yarn.nodemanager.resource.memory-mb</name> <v
安装Hadoop集群（超详细！）
前面我写了一篇单机版的Hadoop安装，这里终于要装集群版，装集群版的步骤比较繁琐，需要同学们多加练习，因为我们不可能只装一次，经常出了问题就要重装，所以必须要练熟练。
hive中get_json_object函数
hive中get_json_object函数
超级无敌详细使用ubuntu搭建hadoop完全分布式集群
先关闭master虚拟机然后点击虚拟机-----管理----克隆----下一步----下一步----选择创建完全克隆----下一步----更改虚拟机名称为slave1，位置自己选择即可。注意此时slave1和slave2虚拟机是克隆的，所以说配置文件和master是完全相同的，登录的话也是maste
Hadoop安全之Kerberos
Hadoop安全之Kerberos
IDEA连接hadoop hdfs
进入一下界面， 搜索重启IDEA。
【HDFS】权限管理
一文带你了解HDFS的权限管理~~~
Spark常见报错与解决方案【三】
原因：数据量太大，内存不够解决方案：(1)增大spark.executor.memory的值，减小spark.executor.cores(2)减少输入数据量，将原来的数据量分几次任务完成，每次读取其中一部分原因：(1)节点上运行的container多，每个任务shuffle write到磁盘的量大
Hadoop安装教程
hadoop集群的安装
hive窗口函数(开窗函数)
hive开窗函数
CentOS7 Hadoop 3.3.4 集群安装（1 NameNode，3 DataNode）
CentOS7下安装Hadoop3.3.4集群，一个NameNode节点，三个DataNode节点
Spark内存资源分配——spark.executor.memory等参数的设置方法
Spark内存资源分配——spark.executor.memory等参数的设置方法
【Hive 基础】-- 数据倾斜
由于数据分布不均匀，导致大量数据集中到一点，造成数据热点。常见现象：一个 hive sql 有100个 map task， 有一个运行了 20分钟，其他99个 task 只运行了 1分钟。
Windows安装 hadoop 环境
大数据、hadoop
