【云计算平台】Hadoop单机模式环境搭建
Centos7环境 – Hadoop单机模式部署接上一篇博客 点我跳转到虚拟机搭建，配置好虚拟机环境后进行hadoop单机模式的部署，我的云计算课程中只要求了简单的单机模式部署，如果有精力的话，应该会把伪分布式部署也简单地记录一下1. Hadoop介绍：Apache Hadoop 项目为可靠，可扩展
Hadoop集群高可用及zookeeper+kafka组件搭建
一.Hadoop集群高可用角色与配置主机名 IP地址 角色服务 hadoop1 192.168.1.50 namenode, resourcemanager, ZKFC hadoop2 192.168.1.56 namenode, resourcemanager, ZKF
大数据-Hadoop是什么，如何部署
大数据-Hadoop是什么，如何部署1.是什么？2.架构2.1 HDFS(分布式文件系统)2.1.1NameNode（简称nn）2.1.2DataNode（dn）2.1.3Secondary NameNode（2NN）2.2 YARN（资源管理器/协调者）2.2.1 Resource Manager
Hadoop 集群安装
Hadoop 集群安装
Hadoop三大组件之MapReduce
从前我们还有着无拘无束的梦想，后来发现，那只是梦，不努力怎敢想。
Hadoop安装服务器-CDH6.2离线安装与Web界面安装
Hadoop装服务器-CDH6.2离线安装1. 概述2. 安装的步骤2.1 安装CDH前的安装包准备2.2 编辑/etc/hosts文件(每个节点)2.3 关闭防火墙、禁止防火墙开机自启(每个节点)2.4 ssh无密码登录2.5 配置NTP服务(所有节点)2.6. 修改Linux swappines
Hbase安装步骤
hbase安装步骤
Ambari安装phoenix-hbase5.X(适配phoenix-queryserver)
phoenix-hbase4.15及5.X版本后，phoenix-hbase安装包中就不带phoenix-queryserver，phoenix-queryserver需要单独安装。本文将从手动安装跟Ambari安装两种方式出发适配phoenix-hbase高版本。
Flink学习中之time、watermark、state
🌿今天我们来了解一下flink中的几个重要基础概念：time、watermark、state，这是flink流处理中实现数据流执行速度快和结果正确的要点，对往期内容感兴趣的同学可以看下面👇：链接: Flink学习专辑.🌰其实在前面的章节中，我们也介绍了一些时间、状态的概念，但不够深入，本篇博客
手把手教你搭建HADOOP集群
准备工作：准备三台虚拟机，关闭防火墙，修改他们的主机名，第一台虚拟机为master 剩下两台分别是slave1和slave2，修改hosts文件 修改他们的主机映射，三台进行免密操作。基础配置：修改主机名永久修改：vim /etc/hostname重启 restart零时修改: hostnamect
大数据组件之Hive（Hive学习一篇就够了）
文章目录一、Hive安装1、解压环境2、环境变量配置3、配置文件信息1.打开编辑文件2.输入以下内容4、拷贝mysql驱动5、更新guava包和hadoop一致6、mysql授权7、初始化8、hive启动模式9、Hadoop的core-site.xml配置二、Hive1、Hive的文件结构2、MyS
DolphinScheduler无故删除HDFS上的Hive库表目录
亲爱的朋友们，我可爱的同事又搞了个大BUG待我慢慢道来…DolphinScheduler大家应该都用过，中国人开源的一个调度工具，类似Azkaban，本次的事情就是在DolphinScheduler上发生的。据领导描述，某团队负责的某业务数仓上云后，HDFS上的Hive库表目录总是无故被删，他们找不
Hadoop入门（一篇就够了）
文章目录01 引言02 Hadoop概述2.1 Hadoop定义2.2 Hadoop优势2.3 Hadoop组成2.3.1 HDFS2.3.2 MapReduce2.3.3 YARN2.4 Hadoop工作方式2.4.1 Hadoop的主从工作方式2.4.2 Hadoop的守护进程03 Hadoop
Hadoop—在私有云上创建与配置虚拟机
Hadoop-在私有云上创建与配置虚拟机一、登录私有云（一）查看【概览】（二）查看【镜像】（三）查看【实例】二、创建网络（一）创建网络三、创建实例（一）基于WindowsThinPC镜像创建hw_win7实例（二）基于centos7创建master实例（三）基于centos7创建slave1实例（四
Hive之解析Json数组
目录Hive自带的json解析函数1、get_json_object函数2、json_tuple函数Hive解析json数组一、嵌套子查询解析json数组二、使用 lateral view 解析json数组Hive自带的json解析函数1、get_json_object函数语法：get_json_o
大数据Hadoop之——Flink DataStream API 和 DataSet API
文章目录一、DataStream API概述一、DataStream API概述DataStream API 得名于特殊的 DataStream 类，该类用于表示 Flink 程序中的数据集合。你可以认为 它们是可以包含重复项的不可变数据集合。这些数据可以是有界（有限）的，也可以是无界（无限）的，但
hive之连续登录问题
目录1、开窗函数的格式2、窗口范围图例连续登录问题：限制时间段内登录次数问题：1、开窗函数的格式FUNCTION_NAME([argument_list])OVER ([PARTITION BY window_partition,…][ORDER BY window_ordering, … [ASC
Hadoop—在私有云上创建与配置虚拟机
一、登录已有的私有云账号（1）查看【概览】（2）查看【镜像】（3）查看【实例】二、创建项目、用户与网络（1）创建项目 - huawei（2）创建用户 - huawei（3）创建网络 - LAN192三、创建实例（1）基于WindowsThinPC镜像创建hw_win7实例（2）基于centos7创建
Spark环境搭建（保姆级教程）
Spark 是一个大规模数据处理的统一分析引擎本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。文末有相应资源下载网盘链接。
入门ClickHouse和Elasticsearch
❄️大多数同学都知道数据有mysql、mongodb、oracle、nosql等等，这些是我们在学校能接触到最多的数据库,今天我们就来认识2个企业中比较常用的数据库clickhouse和elasticsearch。对大数据感兴趣的同学可以参考下面的文章👇:hadoop专题: hadoop系列文章.
