Hadoop和Hbase版本对应关系(参考官网)
Hadoop和Hbase版本对应关系(参考官网)
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
ZooKeeper
ZooKeeper入门
hadoop本地化windows部署
· hadoop on windows· hive on windows· spark on windows(提交方式是spark on yarn)
hadoop集群全部都启动了，但是还是访问不了网页的解决方法
实操中出现的问题
CDH 之 hive 升级至 hive-3.1.3 完美踩坑过程
这是博主在升级过程中遇到的问题记录，大家不一定遇到过，如果不是 CDH 平台的话，单是 hive 服务升级应该是不会有这些问题的，且升级前博主也参考过几篇相关 CDH 升级 hive 服务的博文，前面的升级步骤基本一致，但是升级过程只有我遇到了这些问题吗？单拎出来这些报错，度娘多多少少还是可以找到一
判断hadoop伪分布式安装模式是否成功启动
判断hadoop伪分布式安装模式是否成功启动
Hive--临时表的三种方式
一、临时数据方案1、with as1.1 使用demo witht1as( select imei ,src_pkg ,src_type ,app_version_name frombi_quickgame.dw_qgcrpk_boot_di whereday='${
hive、pg库，建表语句及查询表结构语句
hive、pg库，建表语句及查询表结构语句
大数据存储系统HDFS和对象存储(OOS/S3)的比较
虽然Apache Hadoop以前都是使用HDFS的，但是当Hadoop的文件系统的需求产生时候也能使用S3。Netflix的利用这个特性把数据存储在S3上而不是HDFS上。笔者曾经工作经历的大数据集群存储都是用HDFS，当前工作接触到对象存储S3，在实践中比较两者的不同之处。
【排错/运维】修复HDFS丢失、损坏以及副本数的问题
【排错/运维】修复HDFS丢失、损坏以及副本数的问题
HDFS集群部署成功但网页无法打开如何解决（显示配置通过浏览器访问hdfs的端口）
HDFS集群部署成功（3台虚拟机）但是网页端无法打开，通过显示指定端口解决！！
Spark Local环境搭建及测试
Spark单机版的搭建，常用于本地开发测试Spark使用Scala语言编写，运行在Java虚拟机（JVM）当中，故在安装前检查下本机的Java虚拟机环境。用命令查询当前Java版本是否为6以上。
【大数据入门核心技术-Impala】（一）Impala简介
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impal
Hive sql 将多个字段组合成json格式
新的项目中，有一个需求，前端展示一个字段中要包含多个字段，讨论后决定将多个字段转成Json类型进行展示，新字段类型为。经历了多次试验，参考多个文章版本，终于改成了符合需求的SQL版本。
【hive】hive数据类型及数据类型转换的注意事项
hive数据类型及数据类型转换的注意事项
hadoop集群slave节点jps后没有datanode解决方案
3.切换到slave节点，将/usr/local/hadoop/tmp/dfs/data/current里的VERSION文件中的clusterID替换成与master的VERSION文件中clusterID一致。2.找到安装hadoop的文件夹，我的是(/usr/local/hadoop)再找到里
【大数据基础】基于信用卡逾期数据的Spark数据处理与分析
本次实验采用pandas库对数据进行预处理。在实验中，不对信用卡和个人信贷额度的总余额、负债比率、未偿还贷款数量、逾期90天以上的次数这4个属性进行处理分析。（2）查看数据是否具有重复值，去除重复值。（3）查看各字段缺失率，缺失值以均值填充。（4）选取要研究的属性，删除不研究的属性。（5）保存文件到
大数据技术分享 4.HDFS常用命令
（15）-getmerge ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…（9）-chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限。（10）-copyFromLocal：从本地文件系统中拷贝文件到h
Hive表的基础查询操作
通过实操流程重点阐述表的基本查询、连接查询方法。
