记录搭建hadoop踩坑日记 JAVA_HOME Not Found 解决办法
今天在学习hadoop 搭建 真实集群下的hdfs 在启动时，报错了，无法启动。JAVA_HOME NOT FOUND
大数据之 Hadoop 教程
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
关于Hive中的存储格式及压缩格式详解
最近面试，遇到了关于Hive的数据存储格式的问题，回答不尽人意，抽时间总结多看看关于Hive存储格式和压缩格式的内容。TEXTFILE 是 Hive 默认文件存储方式，存储方式为行存储，数据不做压缩，磁盘开销大，数据解析开销大，数据不支持分片，数据加载导入方式可以通过LOAD和INSERT两种方式加
Spark与hdfs delegation token过期的排查思路总结
hadoop delegation token的问题相对比较混乱和复杂，简单说下这东西的出现背景，最早的hadoop的因没有的完善的安全机制（安全机制主要包括：认证 + 鉴权，hadoop这里主要是身份认证机制没有），所以导致操作风险比较大，你可以理解只要获取了一台装有hadoop client的机
Hive 删除一个字段
如何删除hive表中的一个字段？
Hadoop官网翻译 (HDFS命令)
hadoop官网翻译hdfs-3
IDEA连接hadoop hdfs
进入一下界面， 搜索 重启IDEA 首先保证浏览器可以访问到 按照下述步骤创建一个HDFS连接 点击出现报错，点击哪个报错的链接 https://cwiki.apache.org/confluence/display/HADOOP2/WindowsProblems 点击之后出现如下界面，点击 下
habase安装配置
1、上传2、hbase文件配置1）在27行增加java的安装路径（jdk路径）（27行）2）把文件46和47行的permSize注释掉（46和47行）3）在120行设置HBASE_PID_DIR的路径（120行）4）在128行设置 HBASE_MANAGES_ZK的值（128行）5）配
hadoop、hbase、zookeeper集成kerberos认证
完整的kerberos认证过程！
Hadoop生产调优之HDFS-核心参数
NameNode 内存生产环境配置，NameNode心跳并发配置，开启回收站配置
大数据就业生就业信息分析可视化
摘 要本文利用Hadoop+Hive技术分析就业生毕业后就业信息,对所包含职业、岗位、薪资、所在城市、行业类别等数据信息进行模拟,分析与处理,提取出匹配到的目标数据并将其归类化处理.得出各大城市就业生就业情况数据,为大数据时代应聘人员及高校制定人才培养方案提供数据参考.关键词：就业；就业生；大数据第
【图文教程】Centos 7下安装Hadoop
比如凯哥的安装目录，就是第一步上传到/data后解压的。所以hadoop安装目录就是：/data/hadoop-2.7.7 这个别搞错了。2.1：修改hadoop安装目录 /etc/hadoop 下的 hadoop-env.sh的内容。2.4：修改 hadoop安装目录下的/etc/hadoop 下
Java API操作HDFS写入，读取，重命名，显示文件列表等
Java API操作HDFS写入，读取，重命名，显示文件列表等
ERROR: Cannot set priority of datanode
WARNING: Use of this script to execute namenode is deprecated.WARNING: Attempting to execute replacement "hdfs namenode" instead.2022-11-04 03:40:58,7
Hadoop入门(十)——集群配置（图文详解步骤2021）
Hadoop入门(十)——集群配置（图文详解步骤2021）1 ） 集群部署规划注意：NameNode 和 SecondaryNameNode 不要安装在同一台服务器 。（它们两个都需要耗内存，分开减少集群的压力）ResourceManager 也很消耗内存，不要和 NameNode、Secondar
hadoop运行wordcount的路径问题(Linux本地路径、HDFS路径)
在执行 `hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output` 这条指令时，文件的输入和输出路径到底是Linux本地还是HDFS路径主要取决于配置文件中的 `fs
大数据入门之 Hadoop,HDFS,Hbase,Hive
Hadoop：是泛指大数据生态，实际上基本包括 存储(HDFS) + 计算(MapReduce);HDFS: Hadoop分布式文件系统，主要是解决存储的问题;Hbase: 基于Hadoop的高性能nosql数据库;Hive: 最常用的数据仓库;
【博学谷学习记录】大数据课程-学习第七周总结
文件中设置的是Hadoop运行时需要的环境变量。hdfs-default.xml与hdfs-site.xml的功能是一样的，如果在hdfs-site.xml里没有配置的属性，则会自动会获取hdfs-default.xml里的相同属性的值。yarn-default.xml与yarn-site.xml的
Hive字符串、Json解析
json字符串解析
hadoop启动后,集群里没有NodeManager
解决方案：cd /opt/module/hadoop-3.1.3/etc/hadoop/vim yarn-site.xml<property> <name>yarn.nodemanager.resource.memory-mb</name> <v
