Hadoop 之 集群安装(HDFS、YARN)
Hadoop 之 集群安装(HDFS、YARN)
大数据编程期末大作业
学校大数据编程期末大作业(详细答案及解析),答案仅供参考。
impala中的刷新元数据和刷新表
refresh 命令是用于刷新某个表或者某个分区的数据信息,它会重用之前的表元数据,仅仅执行文件刷新操作,它能够检测到表中分区的增加和减少,主要用于表中元数据未修改,数据的修改,例如insert into(插入数据)、load data(加载数据)、alter table add partition
虚拟机ping主机和外网ping不通的解决办法
虚拟机ping主机和外网ping不通的解决办法和配置拷贝的centos的虚拟机
Shell脚本之——Hadoop3单机版安装
Shell脚本之——Hadoop3单机版安装
Hudi入门到实战
Hudi入门到实战
SparkSQL
大数据自学笔记——spark学习笔记
在 windows 构建 hadoop,生成 winutils.exe 和 hadoop.dll
windows 环境构建 hadoop,生成 winutils.exe 和 hadoop.dll
Hadoop分布式模式下SSH免密码登录
所以,需要安装SSH,但是,SSH远程登陆的时候,需要密码验证,集群中数千台计算机,数千台计算机都需要手工输入密码,这是不太现实的,所以,就需要配置SSH无密码登录。个客户端节点的公钥整合到~/.ssh/authorize_keys中,然后,用scp命令将 ~/.ssh/autorized_keys
大数据 | 实验一:大数据系统基本实验 | 常用的 Linux 操作和 Hadoop 操作
Hadoop 运行在 Linux 系统上,因此需要学习实践一些常用的 Linux 命令。
HBase集群部署
HBase要和hadoop的版本对应下载,否则做深层次任务会出问题。一、前期准备二、HBase下载1. 查看HBase与hadoop版本对应关系2. hbase的下载3. 将hbase的tar包上传到linux 下二、安装hbase1. 解压2. HBase的文件配置中还写的有一些内容,如果有的话删
IDEA 中使用 Big Data Tools 连接大数据组件
简介Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin,AWS S3,Spark,Google Cloud Storage,Minio,Linode,数字开放空间,Microsoft Azure 和 Hadoop 分布式文
Hadoop3 - HDFS DataNode 动态扩容和缩容
已有HDFS集群容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的DataNode节点。节点已经上线,但没有数据块的存储,使得集群整体来看负载不均衡。DataNode 缩容,不像扩容那样启动一个节点即可, 缩容还需要把当前节点数据移出去才可以,:旧的服务器需要进行退役更换,暂停服务,需
Hive数据仓库---Hive的安装与配置
Hive的安装与配置
Hadoop环境搭建及常见问题解决(保姆级教程)
学习大数据的路上,肯定少不了Hadoop的陪伴。在学习Hadoop之初,一件"痛苦"的事情莫过于装环境,看着别人万事亨通,而自己跌跌撞撞,个中心酸,有几人懂...本教程为保姆式教程,力图帮您排忧解难。主要内容如下:【资源准备】 => 【环境准备】 => 【JDK的安装】 => 【Ha
启动Hadoop集群遇到Permission denied (publickey,password)问题的解决方法
百度上搜到的答案同质化比较严重(基本是sshkey),谷歌上搜到的答案存在越扯越远脱离原问题的不足,也可能是因为大佬不屑于用简单的方法解决问题。解决方法网上一搜一大把,基本是有两种方法,第一种只会影响到本用户所处的环境,第二种会影响到整个根目录(因为要修改。启动集群测试,如果还遇到问题,一般是别的地
数据挖掘实验:使用 Hadoop 实现 WordCount 应用
数据挖掘实验:使用 Hadoop 实现 WordCount 应用
node.js文件的压缩解压
这三个部分通过pipe进行连接,也就是说处理的不是一个完整的文件,而是一部分一部分的处理文件,也就是通过流式的方式处理文件。这段代码各位看客可以复制下来运行一下,看看结果,当然你至少要保证读文件流里的路径地址是真实存在的,即同级目录下,你在创建一个a.txt文件,里面随便写上一些内容,运行后会在同级
windows安装hadoop3.1.3教程
windows安装hadoop3.1.3教程
大数据之Hive:regexp_extract函数
目录一、正则的通配符简介1、正则表达式的符号及意义2、各种操作符的运算优先级:二、regexp_extract函数一、正则的通配符简介1、正则表达式的符号及意义符号含义实列/做为转意,即通常在"/"后面的字符不按原来意义解释如" * “匹配它前面元字符0次或多次,/a*/将匹配a,aa,aaa,加了