大数据就业生就业信息分析可视化
摘 要本文利用Hadoop+Hive技术分析就业生毕业后就业信息,对所包含职业、岗位、薪资、所在城市、行业类别等数据信息进行模拟,分析与处理,提取出匹配到的目标数据并将其归类化处理.得出各大城市就业生就业情况数据,为大数据时代应聘人员及高校制定人才培养方案提供数据参考.关键词：就业；就业生；大数据第
【图文教程】Centos 7下安装Hadoop
比如凯哥的安装目录，就是第一步上传到/data后解压的。所以hadoop安装目录就是：/data/hadoop-2.7.7 这个别搞错了。2.1：修改hadoop安装目录 /etc/hadoop 下的 hadoop-env.sh的内容。2.4：修改 hadoop安装目录下的/etc/hadoop 下
Java API操作HDFS写入，读取，重命名，显示文件列表等
Java API操作HDFS写入，读取，重命名，显示文件列表等
ERROR: Cannot set priority of datanode
WARNING: Use of this script to execute namenode is deprecated.WARNING: Attempting to execute replacement "hdfs namenode" instead.2022-11-04 03:40:58,7
Hadoop入门(十)——集群配置（图文详解步骤2021）
Hadoop入门(十)——集群配置（图文详解步骤2021）1 ） 集群部署规划注意：NameNode 和 SecondaryNameNode 不要安装在同一台服务器 。（它们两个都需要耗内存，分开减少集群的压力）ResourceManager 也很消耗内存，不要和 NameNode、Secondar
hadoop运行wordcount的路径问题(Linux本地路径、HDFS路径)
在执行 `hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output` 这条指令时，文件的输入和输出路径到底是Linux本地还是HDFS路径主要取决于配置文件中的 `fs
大数据入门之 Hadoop,HDFS,Hbase,Hive
Hadoop：是泛指大数据生态，实际上基本包括 存储(HDFS) + 计算(MapReduce);HDFS: Hadoop分布式文件系统，主要是解决存储的问题;Hbase: 基于Hadoop的高性能nosql数据库;Hive: 最常用的数据仓库;
【博学谷学习记录】大数据课程-学习第七周总结
文件中设置的是Hadoop运行时需要的环境变量。hdfs-default.xml与hdfs-site.xml的功能是一样的，如果在hdfs-site.xml里没有配置的属性，则会自动会获取hdfs-default.xml里的相同属性的值。yarn-default.xml与yarn-site.xml的
Hive字符串、Json解析
json字符串解析
hadoop启动后,集群里没有NodeManager
解决方案：cd /opt/module/hadoop-3.1.3/etc/hadoop/vim yarn-site.xml<property> <name>yarn.nodemanager.resource.memory-mb</name> <v
安装Hadoop集群（超详细！）
前面我写了一篇单机版的Hadoop安装，这里终于要装集群版，装集群版的步骤比较繁琐，需要同学们多加练习，因为我们不可能只装一次，经常出了问题就要重装，所以必须要练熟练。
hive中get_json_object函数
hive中get_json_object函数
超级无敌详细使用ubuntu搭建hadoop完全分布式集群
先关闭master虚拟机然后点击虚拟机-----管理----克隆----下一步----下一步----选择创建完全克隆----下一步----更改虚拟机名称为slave1，位置自己选择即可。注意此时slave1和slave2虚拟机是克隆的，所以说配置文件和master是完全相同的，登录的话也是maste
Hadoop安全之Kerberos
Hadoop安全之Kerberos
IDEA连接hadoop hdfs
进入一下界面， 搜索重启IDEA。
【HDFS】权限管理
一文带你了解HDFS的权限管理~~~
Spark常见报错与解决方案【三】
原因：数据量太大，内存不够解决方案：(1)增大spark.executor.memory的值，减小spark.executor.cores(2)减少输入数据量，将原来的数据量分几次任务完成，每次读取其中一部分原因：(1)节点上运行的container多，每个任务shuffle write到磁盘的量大
Hadoop安装教程
hadoop集群的安装
hive窗口函数(开窗函数)
hive开窗函数
CentOS7 Hadoop 3.3.4 集群安装（1 NameNode，3 DataNode）
CentOS7下安装Hadoop3.3.4集群，一个NameNode节点，三个DataNode节点
