从0到1搭建大数据平台之监控
大数据平台之监控系统。
windows安装spark和hadoop
windows安装spark和hadoop
配置Sqoop1.4.7支持Hadoop3
解决Hadoop3无法使用Sqoop的问题
Hive调优策略之SQL优化
介绍了hive如何从sql层面进行调优
Docker安装Hadoop
docker exec -it hadoop bash进入容器。查找hadoop-env.sh的安装路径。配置备份数量,小于等于slave数量。三个容器都要修改如下三个IP映射。
hive的开窗函数篇
hive的开窗函数over()
浅谈Hive SQL的优化
目前团队的数据处理都在Hadoop集群上,一是因为需要处理的数据量都是亿级的,这种规模的数据适合用Hadoop集群并行处理;二是免除了分库分表给查询处理上带来的麻烦。Hive是基于Hadoop的一个数据仓库工具,它将存储在HDFS上的结构化的文件映射成一张关系型数据库表,提供简单的SQL查询功能。本
虚拟机 安装jdk及hadoop单机版
在虚拟机上进行jdk及hadoop单机版安装,对如何配置虚拟机上的环境变量做了详细的描述,以及hadoop安装出现错误如何查找
数仓工具—Hive实战之GenericUDF使用详解(24)
GenericUDF 使用起来相比UDF 更复杂,但是我们也介绍了它支持复杂数据结构,性能更高,需要注意的是GenericUDF是抽象类不是接口,关于GenericUDF的使用的复杂案例可以参考我们的UDAF批量调用外部请求。
大数据技术之Hadoop集群配置
作者简介:大家好我是小唐同学(๑>
大数据面试核心101问【大厂超级喜欢这些题】
1. HDFS的架构 72. HDFS的读写流程 73. 小文件过多有什么危害,你知道的解决办法有哪些 84. Secondary NameNode 了解吗,它的工作机制是怎样的 85. 简述MapReduce整个流程 96. join原理 97. yarn 的任务提交流程是怎样的 108. 简述H
shell是什么?shell与linux的区别是什么?
shell是什么?与linux区别
hbase启动后没有hregionserver
三台服务器操作相同,都是在zookeeper安装路径下的bin目录下面运行启动的代码。进入hbase安装路径下的bin目录下面 ,执行群起hbase代码。这里发现只有hmaster和部分的hregionserver。进入到zookeeper安装路径下的bin目录下面运行代码。我用的是群起脚本(只需要
大数据技术之Hadoop
大数据技术之Hadoop
Java基于Hadoop及微服务架构的前后端分离购物系统(源码)
基于Hadoop及微服务架构的前后端分离购物系统。前台购物页面使用Vue+ElementUi,后台管理页面使用html和Ajax。后端使用Spring Boot+Spring Cloud+Nacos+OpenFeign+Spring Cloud GateWay+MyBatis进行开发,使用Shiro
【Hive】建表时的存储格式
hive建表时的存储格式
处理hive中hiveserver2启动后,beeline连接出现的“拒绝连接” # 谭子
处理hadoop中hive无法连接hiveserver2问题。Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop1:10000User: andy is not allowed to impersonat
实验二、熟悉常用的HDFS操作(HDFS JavaAPI之读取/上传/删除文件)
一、实验目的理解HDFS在Hadoop体系结构中的角色熟练使用HDFS操作常用的shell命令熟悉HDFS操作常用的Java API二、实验平台操作系统:CentOS 8Hadoop版本:3.3.1jdk版本:1.8Java IDE:Eclipse三、实验内容1. 使用Hadoop命令操作分布式文件
【大数据】第二章:搭建Hadoop集群(送尚硅谷大数据笔记)
【大数据】第二章:搭建Hadoop集群(送尚硅谷大数据笔记)
Hadoop单机版安装(保姆级教学)
Hadoop单机版(保姆级教学),希望能给你带来帮助。