大数据从入门到实战-HDFS-JAVA接口之删除文件
HDFS-JAVA接口之删除文件
【大数据】HADOOP-YARN容量调度器配置详解
HADOOP-YARN Capacity-scheduler 层次化的队列设计,这种层次化的队列设计保证了子队列可以使用父队列设置的全部资源。这样通过层次化的管理,更容易合理分配和限制资源的使用。容量保证,队列上都会设置一个资源的占比,这样可以保证每个队列都不会占用整个集群的资源。安全,每个队列有严
【大数据】记一次hadoop集群missing block问题排查和数据恢复
记一次 Hadoop 集群 missing block 问题解决及排查思路,集群环境总共有2个NN节点,3个JN节点,40个DN节点,基于hadoop-3.3.1的版本。集群采用的双副本,未使用ec纠删码。因为出现了missing block块高于namenode安全模式启动的阈值,导致nameno
Hadoop伪分布集群配置(我用的是VMwareWorkstation)
记录学习,加深巩固,方便回忆!
hadoop连接finalshell及jdk配置
Hadoop连接finalshell及jdk配置
Hive学习——单机版Hive的安装
Hive学习——单机版Hive的安装
大数据4 - 分布式计算
概述1.分布式计算概述分散->汇总模式:1.将数据分片,多台服务器各自负责一部分数据处理2.然后将各自的结果,进行汇总处理3.最终得到想要的计算结果1.什么是计算、分布式计算?•计算:对数据进行处理,使用统计分析等手段得到需要的结果•分布式计算:多台服务器协同工作,共同完成一个计算任务2.分布式计算
Hive安装配置详解(提供实验平台)
文中涉及的 Hive 配置建立在已有 Hadoop 环境的基础上,进入实验平台提供的环境启动即可无需自行搭建
大数据 | 实验一:大数据系统基本实验 | 熟悉常用的HDFS操作
1)理解 HDFS 在 Hadoop 体系结构中的角色。2)熟练使用 HDFS 操作常用的 shell 命令。3)熟悉 HDFS 操作常用的 Java API。
大数据Hadoop集群之超级详细的HBase搭建
大数据Hadoop集群之HBase搭建
HDFS上传文件的过程
hdfs上传文件的过程
大数据技术之Hive
Hive:由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具,将结构化的数据文件映射为一张表,并提供类SQL(HQL)查询功能。1)用户接口:ClientJDBC/ODBC(jdbc访问hive)、2)元数据:Metastore元数据包括:表名、
Hive行列转换
1.多行转多列姓名(name)学科(subject)成绩(score)A语文70A数学80A英语90B语文75B数学85B英语95行列转换思路分析及实现多行转多列如果需要将上⾯的样例表转换为姓名 | 语⽂成绩 | 数学成绩 | 英语成绩这样的格式,就是 多行转多列思路:涉及到行转成列,肯定是会按照某
HIVE 表 DLL 基本操作(一)——第1关:Create/Alter/Drop 数据库
为了完成本关任务,你需要掌握: 1.如何创建数据库;2.如何修改数据库;3.如何删除数据库。补充完代码后,点击测评,平台会对你编写的代码进行测试,当你的结果与预期输出一致时,即为通过。命令用于设定当前所有数据库对象操作所处的工作数据库,类似于。数据库本质上是一个目录或命名空间,用于解决表命名冲突。按
Hadoop的eclipse搭建(客观莫划走,留下来看一眼(适用人群学生初学,其他人看看就行))
点击MP下的Host中输入Linux的IP地址或域名(进入C:\Windows\System32\drivers\etc之后编辑hosts,在底部增加虚拟机的ip和域名),L...name中输入项目名称,MP下的Port中输入50020,DFS下的Port中输入9000,点击Finish,回到主页面
2、Hive:启动Hive
Hive:启动Hive
hadoop安装之保姆级教程(二)之YARN的配置
我们在YARN上运⾏MapReduce的程序的时候,可以在控制台上看到任务的⽇志输出,以获取到任务的运⾏状态。同 时,YARN也会将⽇志写在本地的⽂件夹中,我们可以到⽂件夹中进⾏⽇志的查 看。但是这个⽂件夹中的内容,会随着YARN的重启⽽被删除掉。那么此时我们将如何查看⽇志?此时就需要开启Hadoo
hive只复制表结构不复制表数据
hive
SparkContext.textFile读取文件
SparkContext.textFile读取文件