大数据框架之Hadoop:MapReduce(五)Yarn资源调度器
Yarn资源调度器
Hbase的Hmaster进程没有启动/Hbase进程启动不全
Hbase的启动,进程不全,Hmaster没有启动
docker搭建单机hadoop
docker搭建hadoop
Doris安装部署
doris部署
Hadoop 50070端口打不开怎么办?
若已部署成功,请进行第二步排查!Hadoop50070是hdfs的web管理页面,在搭建Hadoop集群环境时,有些大数据开发技术人员会遇到Hadoop 50070端口打不开的情况,引起该问题的原因很多,想要解决这个问题需要从以下方面进行排查!以上是Hadoop 50070端口打不开的正常排查顺序和
kylin的介绍
Kylin是一个开源的分布式分析引擎,主要用于快速查询大数据集合。
Hadoop大数据平台搭建(超详细步骤)
Hadoop大数据平台搭建
Hadoop 集群时间同步设置
设置服务器集群的时间同步,一台机器同时间服务器对时,其他机器与这台服务器对时,就是发生断网等情况,也可以保证内部所有服务器都时间统一;时间同步方式:找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间;...
Hive调优及参数优化(详细版)
Hive调优及参数优化,涵盖:基础配置优化、压缩配置优化、分桶优化、Map Join、Bucket-Map Join、SMB Join、Hive并行操作、Hive索引、数据清洗转换优化、统计分析优化、Hive优化器等等......
HDFS常用命令操作时
HDFS常用命令的实践操作
一篇文章让你理解 大数据所需要的组件
一篇文章让你理解 大数据所需要的组件
大数据常见术语
大数据常见术语一览主要内容包含以下(收藏,转发给你身边的朋友)雪花模型、星型模型和星座模型事实表维度表上钻与下钻维度退化数据湖UV与PV画像ETL机器学习大数据杀熟SKU与SPU即席查询数据湖数据中台ODS,DWD,DWS,DWT与ADST0与T+1用户画像用户画像又称用户角色,作为一种勾画目标用户
Kafka系列 - 06 Kafka 集群环境搭建(三台服务器)
hadoop-101 虚拟机的 IPADDR 的地址改为:192.168.38.23;hadoop-103 虚拟机的 hostname 的地址改为:hadoop103;kafka集群搭建,需要3台虚拟机环境,但是我目前只安装了一台虚拟机,因此还需要准备两台虚拟机环境,正常情况下应该再安装2台虚拟机,
linux 远程拷贝命令
一、scp命令 --远程拷贝文件Linux scp命令用于linux之间进行复制文件scp 是secure copy 的缩写,scp 是基于ssh登录来进行安全拷贝补充知识:ssh进行登陆ssh 用户名@IP地址scp优势:当服务器的磁盘变为read only system时,可以通过scp将文件移
Hive与HBase之间的区别和联系
首先要知道Hive和HBase两者的区别,我们必须要知道两者的作用和在大数据中扮演的角色概念Hive1.Hive是hadoop数据仓库管理工具,严格来说,不是数据库,本身是不存储数据和处理数据的,其依赖于HDFS存储数据,依赖于MapReducer进行数据处理。2.Hive的优点是学习成本低,可以通
hadoop格式化时报错
Re-format filesystem in Storage Directory root= /data/hadoop/hdfs/name; location= null ? (Y or N)
docker搭建hadoop和hive集群
Dockfile文件的内容解释:基于centos镜像,生成带有spenssh-server、openssh-clients的镜像,用户为root,密码为a123456,镜像维护者(作者)为hadoop。因为集群的服务器之间需要通信,而且每次虚拟机给集群分配的ip地址都不一样,所以需要创建网桥,给每台
hadoop3.3.4集群安装部署
Hadoop集群安装部署
Hadoop集群环境配置搭建
Hadoop集群配置搭建
Hive字符串函数-空格处理
Hive字符串函数-空格处理