安装Hadoop集群(超详细!)
前面我写了一篇单机版的Hadoop安装,这里终于要装集群版,装集群版的步骤比较繁琐,需要同学们多加练习,因为我们不可能只装一次,经常出了问题就要重装,所以必须要练熟练。
hive中get_json_object函数
hive中get_json_object函数
超级无敌详细使用ubuntu搭建hadoop完全分布式集群
先关闭master虚拟机然后点击虚拟机-----管理----克隆----下一步----下一步----选择创建完全克隆----下一步----更改虚拟机名称为slave1,位置自己选择即可。注意此时slave1和slave2虚拟机是克隆的,所以说配置文件和master是完全相同的,登录的话也是maste
IDEA连接hadoop hdfs
进入一下界面, 搜索重启IDEA。
【HDFS】权限管理
一文带你了解HDFS的权限管理~~~
Spark常见报错与解决方案【三】
原因:数据量太大,内存不够解决方案:(1)增大spark.executor.memory的值,减小spark.executor.cores(2)减少输入数据量,将原来的数据量分几次任务完成,每次读取其中一部分原因:(1)节点上运行的container多,每个任务shuffle write到磁盘的量大
Hadoop安装教程
hadoop集群的安装
hive窗口函数(开窗函数)
hive开窗函数
CentOS7 Hadoop 3.3.4 集群安装(1 NameNode,3 DataNode)
CentOS7下安装Hadoop3.3.4集群,一个NameNode节点,三个DataNode节点
Spark内存资源分配——spark.executor.memory等参数的设置方法
Spark内存资源分配——spark.executor.memory等参数的设置方法
【Hive 基础】-- 数据倾斜
由于数据分布不均匀,导致大量数据集中到一点,造成数据热点。常见现象:一个 hive sql 有100个 map task, 有一个运行了 20分钟,其他99个 task 只运行了 1分钟。
Windows安装 hadoop 环境
大数据、hadoop
【hadoop——HDFS操作常用的Shell命令】
1.Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是Hadoop核心组件之一,我们已经安装好了Hadoop 2.7.1,其中已经包含了HDFS组件,不需要另外安装最基本的shell命令: HDFS既然是Hadoop的组件,那么首先需要启动Hado
HIVE SQL 聚合函数与 rows between / range between详解
一、rows between 与 range between 用法1. 相关关键词解析unbounded 无边界preceding 往前following 往后unbounded preceding 往前所有行,即初始行n preceding 往前n行unbounded following 往后所有
hive静态分区和动态分区
真正理解动态分区的实践
hdfs分布式文件系统 默认数据存放路径、及相关配置属性详细解析
b.复制{/tmp/hadoop-hyxy/dfs/name}至{/home/hyxy/tmp/hadoop/dfs}的路径下,问题解决。失败的原因是:我们在core-site.xml修改了tmp路径:【/home/hyxy/tmp/hadoop】,启动namenode服务的时候,系统找不到原来的路
Hadoop
Hadoop Distributed File System,简称 HDFS,是一个分布式文件系统。NameNode(nn):存储文件的。
【Hadoop生态圈】10.使用Sqoop迁移MySQL数据到HDFS中
Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进
搭建hadoop高可用集群(二)
搭建hadoop高可用集群(二)
基于docker的hadoop集群搭建
最近想学习如何使用hdfs来存储文件,在网上学习了一下,明确了HDFS(Hadoop Distribute File System 分布式存储)、mapReduce(分布式计算)、YARN(Yet Another Resource Negotiator资源管理)是hadoop的三大组成部分,要想使用