Hadoop 简介

Hadoop 生态圈是指围绕 Hadoop 软件框架为核心而出现的越来越多的相关软件框架,这些软件框架和 Hadoop 框架一起构成了一个生机勃勃的 Hadoop 生态圈

Flink on Yarn模式部署

独立(Standalone)模式由 Flink 自身提供资源,无需其他框架,这种方式降低了和其他第三方资源框架的耦合性,独立性非常强。但我们知道,Flink 是大数据计算框架,不是资源调度框架,这并不是它的强项;所以还是应该让专业的框架做专业的事,和其他资源调度框架集成更靠谱。而在目前大数据生态中,

CDH集群集成外部Flink(改进版-与时俱进)

参考文章中,给出的cdh编译后的flink,已经下架,所以我们得想办法,编译。参考别人的文章不可怕,怕的是,不思进取,我们可以参考别人的文章,并且对不足之处,进行改进,将优秀的地方,进行学习,这样我们国家和民族的技术文章和社区,才能不断进步。可能有一天我不干程序员了,但是技术更新了,那时,我也希望,

hadoop 3.x大数据集群搭建系列5-安装Flink

hadoop 大数据平台搭建Flink 大数据平台搭建Flink on yarn

《Hadoop篇》------HDFS与MapReduce

Namenode:接受客户端的请求,维护整个HDFS集群目录树,元数据信息的存储由namenode负责Datanode:主要是负责数据块的存储,定期向namenode汇报block:SecondaryNamenode不是第二个namenode,当namenode宕机时,不能由SecondaryNam

Hadoop集群的搭建(结束)——修改hadoop配置文件以及启动集群服务

(1)修改 hadoop-env.sh 文件(2)修改 yarn-env.sh 文件(3)修改 core-site.xml 文件(4)修改 hdfs-site.xml 文件(5)修改 mapred-site.xml 文件(6)修改 yarn-site.xml 文件(7)修改 masters 文件(8

Superset 安装配置

官网地址Apache Superset 是一个现代的数据探索和可视化平台。它功能强大且十分易用,可对接各种数据源,包括很多现代的大数据分析引擎,拥有丰富的图表展示形式,并且支持自定义仪表盘。Superset快速,轻巧,直观,并带有各种选项,使各种技能的用户都可以轻松浏览和可视化其数据,从简单的折线图

分布式学习-1 Hadoop Spark安装

折腾了一个多月的时间,成功实现了一些应用。学习过程中还是踩了不少坑的,所以在这里对整个构建过程进行整理,方便大家参考学习。

如何利用IDEA通过创建Maven项目来实现hadoop相关项目

前言已经安装好IDEA,并且配置好JDK和maven一、创建一个Maven项点击玩Finish之后,等待加载完项目(第一次加载需要等一段时间)如图示,maven项目加载完毕,并将下图所示内容删除二、导入hadoop相关依赖,即修改pom.xml文件在</project>前的<bui

尚硅谷大数据技术Hadoop教程-笔记04【Hadoop-MapReduce】

尚硅谷大数据技术Hadoop教程-笔记04【Hadoop-MapReduce】

hive启动失败,报 java.net.ConnectException:拒绝连接

hive服务器需要依赖hadoop服务器,所以要先启动hadoop集群。

大数据:HDFS的Shell常用命令操作

HDFS允许用户数据组织成文件和文件夹的方式,它提供一个叫DFSShell的接口,使用户可以和HDFS中的数据交互。命令集的语法跟其他用户熟悉的shells(bash,csh)相似。Shell在计算机科学中俗称“壳”,是提供给使用者使用界面的进行与系统交互的软件,通过接收用户输入的命令执行相应的操作

centOS 7下Hadoop伪分布式搭建

centOS下Hadoop伪分布式搭建

spark安装教程

spark安装

Spark 下载安装配置详解文档 (spark-2.4.8-bin-hadoop2.7.tgz)

解压tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz -C /opt/moudel/官网地址:https://archive.apache.org/dist/spark/重命名mv spark-2.4.8-bin-hadoop2.7 spark-2.4.8。进入/usr

hive学习(仅供参考)

hive安装

HBase 集群部署与启动

HBase 集群部署与启动

Hadoop三大框架之MapReduce工作流程

Hadoop三大框架之MapReduce工作流程

一文了解 HDFS 及其组成框架

介绍了HDFS是什么、HDFS的优缺点,NameNode节点、DataNode节点、SecondaryNameNode节点的 定义 及 功能 介绍。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈