安装Hadoop集群(超详细!)

前面我写了一篇单机版的Hadoop安装,这里终于要装集群版,装集群版的步骤比较繁琐,需要同学们多加练习,因为我们不可能只装一次,经常出了问题就要重装,所以必须要练熟练。

hive中get_json_object函数

hive中get_json_object函数

超级无敌详细使用ubuntu搭建hadoop完全分布式集群

先关闭master虚拟机然后点击虚拟机-----管理----克隆----下一步----下一步----选择创建完全克隆----下一步----更改虚拟机名称为slave1,位置自己选择即可。注意此时slave1和slave2虚拟机是克隆的,所以说配置文件和master是完全相同的,登录的话也是maste

IDEA连接hadoop hdfs

进入一下界面, 搜索重启IDEA。

【HDFS】权限管理

一文带你了解HDFS的权限管理~~~

Spark常见报错与解决方案【三】

原因:数据量太大,内存不够解决方案:(1)增大spark.executor.memory的值,减小spark.executor.cores(2)减少输入数据量,将原来的数据量分几次任务完成,每次读取其中一部分原因:(1)节点上运行的container多,每个任务shuffle write到磁盘的量大

Hadoop安装教程

hadoop集群的安装

hive窗口函数(开窗函数)

hive开窗函数

CentOS7 Hadoop 3.3.4 集群安装(1 NameNode,3 DataNode)

CentOS7下安装Hadoop3.3.4集群,一个NameNode节点,三个DataNode节点

Spark内存资源分配——spark.executor.memory等参数的设置方法

Spark内存资源分配——spark.executor.memory等参数的设置方法

【Hive 基础】-- 数据倾斜

由于数据分布不均匀,导致大量数据集中到一点,造成数据热点。常见现象:一个 hive sql 有100个 map task, 有一个运行了 20分钟,其他99个 task 只运行了 1分钟。

Windows安装 hadoop 环境

大数据、hadoop

【hadoop——HDFS操作常用的Shell命令】

1.Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是Hadoop核心组件之一,我们已经安装好了Hadoop 2.7.1,其中已经包含了HDFS组件,不需要另外安装最基本的shell命令: HDFS既然是Hadoop的组件,那么首先需要启动Hado

HIVE SQL 聚合函数与 rows between / range between详解

一、rows between 与 range between 用法1. 相关关键词解析unbounded 无边界preceding 往前following 往后unbounded preceding 往前所有行,即初始行n preceding 往前n行unbounded following 往后所有

hive静态分区和动态分区

真正理解动态分区的实践

hdfs分布式文件系统 默认数据存放路径、及相关配置属性详细解析

b.复制{/tmp/hadoop-hyxy/dfs/name}至{/home/hyxy/tmp/hadoop/dfs}的路径下,问题解决。失败的原因是:我们在core-site.xml修改了tmp路径:【/home/hyxy/tmp/hadoop】,启动namenode服务的时候,系统找不到原来的路

Hadoop

Hadoop Distributed File System,简称 HDFS,是一个分布式文件系统。NameNode(nn):存储文件的。

【Hadoop生态圈】10.使用Sqoop迁移MySQL数据到HDFS中

Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进

搭建hadoop高可用集群(二)

搭建hadoop高可用集群(二)

基于docker的hadoop集群搭建

最近想学习如何使用hdfs来存储文件,在网上学习了一下,明确了HDFS(Hadoop Distribute File System 分布式存储)、mapReduce(分布式计算)、YARN(Yet Another Resource Negotiator资源管理)是hadoop的三大组成部分,要想使用

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈