spark启动不成功
spark在同一节点启动多个spark master(worker)
大数据学习——HDFS
HDFS是一种分布式文件管理系统,适合一次写入,多次读出的场景。
【头歌】Sqoop数据导入 - 详解
【主要内容】Sqoop数据导入语法学习;Mysql导入数据至HDFS上;Mysql导入数据至Hive中。【实践内容】全过程解析及部分异常处理办法。
Hive本地模式安装(详细)
本地模式安装采用外部数据库存储元数据,该模式不需要单独开启Metastore服务,因为本地模式使用的是和Hive在同一个进程中的Metastore服务。
Hadoop大数据技术原理与应用课后习题答案汇总
Hadoop大数据技术原理与应用
beeline连接hive的导出数据格式的参数及设置
beeline连接hive的导出数据格式的参数及设置
hadoop之hdfs生产数据块损坏修复方法
hadoop之hdfs生产数据块损坏修复方法
【大数据】Hadoop高可用集群搭建
一文带你了解Hadoop的HA高可用搭建!
Spark编程基础期末复习
spark编程基础期末复习
Hive实战练习(包含数据集)
(1)要想统计 Music 类别中的视频热度 Top10,需要先找到 Music 类别,那么就需要将category 展开,所以可以创建一张表用于存放 categoryId 展开的数据。所以如果要 group by 类别,需要先将类别进行列转行(展开),然后再进行 count 即可。(2)我们需要按
大数据技术笔试题库
一、单选:1、下列选项中,执行哪一个命令查看Linux系统的IP配置。A、ipconfigB、findC、ifconfigD、arp -a2、在MapReduce程序中,map()函数接收的数据格式是()。A、字符串B、整型C、LongD、键值对3、下列选项中,关于HDFS的架构说法正确的是()。A
HIve安装配置(超详细)
文章目录Hive安装配置一、Hive安装地址二、Hive安装部署1. 把 `apache-hive-3.1.2-bin.tar.gz`上传到Linux的/export/software目录下2. 解压`apache-hive-3.1.2-bin.tar.gz`到/export/servers/目录下
1、hadoop3.1.4简单介绍及部署、简单验证
Hadoop是Apache旗下的一个用java语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。HDFS(分布式文件系统):解决海量数据存储YARN(作业调度和集群资源管理的框架):解决资源任务调度MAPREDUCE(
大数据开发语言Scala(一)——scala入门
package: 包,等同于java中的packageobject:关键字,声明一个单例对象(伴生对象)main方法:从外部可以直接调用执行的方法def 方法名称( 参数名称 : 参数类型 ) : 返回值类型 = { 方法体 }Scala 完全面向对象,故scala去掉了Java中非面向对象的元
Hadoop之hdfs操作
HDFS的常见Shell操作直接在命令行中输入hdfs dfs,可以查看dfs后面可以跟的所有参数注意:这里面的[]表示是可选项,<>表示是必填项[root@bigdata01 hadoop-3.3.2]# hdfs dfsUsage: hadoop fs [generic option
(最新版本)hive4.0.0 + hadoop3.3.4 集群安装(无坑版)-大数据学习系列(一)
网上的找的文档大多残缺不靠谱,所以我整理了一份安装最新版本的hive4..0.0+hadoop3.3.4的学习环境,可以提供大家安装一个完整的hive+hadoop的环境供学习。Hive Metastore是Hive的元数据存储服务,需要确保Metastore服务已经启动,并且在Beeline的配置
大数据技术原理与应用实验4——MapReduce初级编程实践
(1)通过实验掌握基本的MapReduce编程方法;(2)掌握用MapReduce解决一些常见的数据处理问题,包括数据去重、数据排序和数据挖掘等。
大数据——HDFS(分布式文件系统)
我的理解就是 ,你上传到服务器的数据,为了保证数据的安全性,如果一个服务器出现了问题 ,那么必须保证你的数据不能丢失,那么在其他服务器上也会备份一份出问题服务器的数据,以保证数据不丢失,就是一个存有你数据的服务器坏掉了,也不会影响你的数据。以上仅仅是我的理解,仅供参考。
什么是大数据?Hadoop概述、Hadoop基础
存储文件的元数据,如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限等),以及每个文件的快列表和块所在的DataNode等。5. share目录:存放Hadoop的依赖jar包、文档、和官方案例,Hadoop各个模块编译后的jar包所在的目录。lib目录:存放Hadoop的本地库(对数据进
大数据学习-Hadoop
大数据学习-Hadoop