eclipse连接Hadoop并实现词频统计（大数据分析）
Ubuntu系统内实现eclipse连接Hadoop远程操作并完成词频统计实例
大数据Hadoop之——Scala基础
文章目录一、概述二、Scala发展历史三、 Scala 和 Java 关系四、Scala 环境搭建一、概述Scala是一门多范式的编程语言，一种类似java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。Spark就是使用Scala编写的。因此为了更好的学习Sp
centos7搭建集群过程
搭建集群
【云计算平台】Hadoop伪分布式模式环境搭建
Centos7环境 – Hadoop伪分布式模式部署前一篇博客 Hadoop单机模式部署 中已经配置好了jdk环境，对hadoop软件也进行了安装和基本配置；本篇博客承接前篇，简单记录一下Hadoop伪分布式模式部署，伪分布式的部署应该会比较规范一点了，这里会新建一个hadoop用户来进行与hado
Hadoop简介和体系架构
目录2．1 Hadoop简介2．1．1 Hadoop由来2．1．2 Hadoop发展历程2．1．3 Hadoop生态系统2．2 Hadoop的体系架构2．2．1 分布式文件系统HDFS2．2．2 分布式计算框架MapReduce2．2．3 分布式资源调度系统YARN2. 2. 4三大发行版本2．1
【云计算平台】Hadoop单机模式环境搭建
Centos7环境 – Hadoop单机模式部署接上一篇博客 点我跳转到虚拟机搭建，配置好虚拟机环境后进行hadoop单机模式的部署，我的云计算课程中只要求了简单的单机模式部署，如果有精力的话，应该会把伪分布式部署也简单地记录一下1. Hadoop介绍：Apache Hadoop 项目为可靠，可扩展
Hadoop集群高可用及zookeeper+kafka组件搭建
一.Hadoop集群高可用角色与配置主机名 IP地址 角色服务 hadoop1 192.168.1.50 namenode, resourcemanager, ZKFC hadoop2 192.168.1.56 namenode, resourcemanager, ZKF
大数据-Hadoop是什么，如何部署
大数据-Hadoop是什么，如何部署1.是什么？2.架构2.1 HDFS(分布式文件系统)2.1.1NameNode（简称nn）2.1.2DataNode（dn）2.1.3Secondary NameNode（2NN）2.2 YARN（资源管理器/协调者）2.2.1 Resource Manager
Hadoop 集群安装
Hadoop 集群安装
Hadoop三大组件之MapReduce
从前我们还有着无拘无束的梦想，后来发现，那只是梦，不努力怎敢想。
Hadoop安装服务器-CDH6.2离线安装与Web界面安装
Hadoop装服务器-CDH6.2离线安装1. 概述2. 安装的步骤2.1 安装CDH前的安装包准备2.2 编辑/etc/hosts文件(每个节点)2.3 关闭防火墙、禁止防火墙开机自启(每个节点)2.4 ssh无密码登录2.5 配置NTP服务(所有节点)2.6. 修改Linux swappines
Hbase安装步骤
hbase安装步骤
Ambari安装phoenix-hbase5.X(适配phoenix-queryserver)
phoenix-hbase4.15及5.X版本后，phoenix-hbase安装包中就不带phoenix-queryserver，phoenix-queryserver需要单独安装。本文将从手动安装跟Ambari安装两种方式出发适配phoenix-hbase高版本。
Flink学习中之time、watermark、state
🌿今天我们来了解一下flink中的几个重要基础概念：time、watermark、state，这是flink流处理中实现数据流执行速度快和结果正确的要点，对往期内容感兴趣的同学可以看下面👇：链接: Flink学习专辑.🌰其实在前面的章节中，我们也介绍了一些时间、状态的概念，但不够深入，本篇博客
手把手教你搭建HADOOP集群
准备工作：准备三台虚拟机，关闭防火墙，修改他们的主机名，第一台虚拟机为master 剩下两台分别是slave1和slave2，修改hosts文件 修改他们的主机映射，三台进行免密操作。基础配置：修改主机名永久修改：vim /etc/hostname重启 restart零时修改: hostnamect
大数据组件之Hive（Hive学习一篇就够了）
文章目录一、Hive安装1、解压环境2、环境变量配置3、配置文件信息1.打开编辑文件2.输入以下内容4、拷贝mysql驱动5、更新guava包和hadoop一致6、mysql授权7、初始化8、hive启动模式9、Hadoop的core-site.xml配置二、Hive1、Hive的文件结构2、MyS
DolphinScheduler无故删除HDFS上的Hive库表目录
亲爱的朋友们，我可爱的同事又搞了个大BUG待我慢慢道来…DolphinScheduler大家应该都用过，中国人开源的一个调度工具，类似Azkaban，本次的事情就是在DolphinScheduler上发生的。据领导描述，某团队负责的某业务数仓上云后，HDFS上的Hive库表目录总是无故被删，他们找不
Hadoop入门（一篇就够了）
文章目录01 引言02 Hadoop概述2.1 Hadoop定义2.2 Hadoop优势2.3 Hadoop组成2.3.1 HDFS2.3.2 MapReduce2.3.3 YARN2.4 Hadoop工作方式2.4.1 Hadoop的主从工作方式2.4.2 Hadoop的守护进程03 Hadoop
Hadoop—在私有云上创建与配置虚拟机
Hadoop-在私有云上创建与配置虚拟机一、登录私有云（一）查看【概览】（二）查看【镜像】（三）查看【实例】二、创建网络（一）创建网络三、创建实例（一）基于WindowsThinPC镜像创建hw_win7实例（二）基于centos7创建master实例（三）基于centos7创建slave1实例（四
Hive之解析Json数组
目录Hive自带的json解析函数1、get_json_object函数2、json_tuple函数Hive解析json数组一、嵌套子查询解析json数组二、使用 lateral view 解析json数组Hive自带的json解析函数1、get_json_object函数语法：get_json_o
