【Hadoop生态圈】10.使用Sqoop迁移MySQL数据到HDFS中
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进
搭建hadoop高可用集群（二）
搭建hadoop高可用集群（二）
Hadoop完全分布式集群搭建（超详细）
hadoop完全分布式，超详细的部署步骤。
hadoop常用的命令
广义： 指的是Hadoop的生态圈，有很多的大数据组件构建而成，包括：Linux，zookeeper，Hadoop，hive，hbase，redis，elk,kafka，java,scala,python,impala,kudu,spark,flink。1.不是namenode的备份节点，不是nam
(二)HDFS架构设计理念与缺陷
目录设计理念1）支持超大数据集2）绝对能够应对硬件的故障3）流式数据处理4）简化的数据一致性模型5）尽量移动计算，但是不要移动数据缺陷1） 实时性差2） 小文件问题3）文件修改问题设计理念1）支持超大数据集hdfs分布式存储,将大量的数据存放到N台机器上,每台机器存放部分数据.机器可横向扩展,所以h
基于Linux的Hadoop伪分布式安装
【大数据技术2】：基于Linux的Hadoop伪分布式安装。主要内容包含：创建用户、安装ssh、安装vim、安装JDK并配置环境变量、安装Hadoop、hadoop伪分布式配置以及启动HDFS伪分布式模式。
hadoop调优(二)
NameNode进程挂了并且存储数据丢失了，如何恢复NameNode？如果NameNode进程挂掉并且数据丢失了，可以利用Secondary NameNode来恢复NameNode。Secondary NameNode主要用于备份NameNode的编辑日志和文件系统镜像，以便在NameNode失败时
（面试经典问题）HDFS上传文件（写）流程
HDFS写流程详述，以及面试如何回答
HDFS完全分布式集群搭建与配置
HDFS完全分布式集群搭建与配置
【Hadoop】HDFS高可用与高扩展原理分析（HA架构与Federation机制）
通俗的讲，集群启动时DataNode会向NameNode上报所有的Block块信息，每个块（无论大小）对象约占150byte，而NameNode的内存是有限的，当HDFS文件愈来愈多的时候，NameNode就会成为集群的短板（这也是为什么HDFS不适合存储小文件的原因）。图中的Zookeeper是为
dolphinscheduler 3.0.1 资源中心
资源中心通常用于上传文件、UDF 函数和任务组管理。对于 standalone环境，可以选择本地文件目录作为上传文件夹（此操作不需要Hadoop部署）。当然，你也可以 选择上传到 Hadoop 或者 MinIO 集群。在这种情况下，您需要有 Hadoop（2.6+）或 MinION 等相关环境。
搭建Hadoop分布式集群的详细教程
本文包括VMware创建配置虚拟机的基本方法，Centos的安装与配置，Hadoop集群安装与配置方法
hadoop的运行模式
目录hadoop的三种运行模式区别：完全分布式运行模式步骤：一，虚拟机准备：二，编写集群分发脚本xsync （1）scp定义： （2）基础语法：(1)按照上述语法进行拷贝jdk（2）按照上述语法拷贝Hadoop（第二种方法）（3）拷贝也可以让Hadoop103操作 从H
Hadoop面试题及参考答案
整理了一部分hadoop相关的面试题和参考答案，不当之处请大家指正
Hadoop的安装与配置（非常重要）
这是以主从模式来运行的，前两个在maser节点上，最后一个在slave节点上。
hadoop考试应急
为了应对hadoop考试的同学可以看看
ssh: connect to host localhost port 22: Connection refused
今天本机安装hadoop 时，遇到一个问题，配置 ssh 登录权限失败xxx@yyy:/opt/hadoop$ ssh localhostssh: connect to host localhost port 22: Connection refused百度搜索了好多文章都没能搞定，最后还是通过 b
impala入门（一篇就够了）
Impala是一个MPP（大规模并行处理）SQL查询引擎，是一个用C ++和Java编写的开源软件；用于处理存储在Hadoop集群中大量的数据；性能最高的SQL引擎（提供类似RDBMS的体验），提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。
猿创征文｜Hadoop大数据技术
Hadoop大数据技术
大数据综合项目--网站流量日志数据分析系统(详细步骤和代码)
文章目录前言：基本概述Sqoop概述什么是SqoopFlume概述什么是Flume为什么需要flumeHIve概述什么是Hive系统背景：模块开发数据采集使用Flume搭建日志采集系统数据预处理实现数据预处理数据仓库开发数据导出日志分析系统报表展示前言：提示：这里简述我使用的版本情况：ubuntu1
