Hadoop3 - HDFS DataNode 动态扩容和缩容
已有HDFS集群容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的DataNode节点。节点已经上线，但没有数据块的存储，使得集群整体来看负载不均衡。DataNode 缩容，不像扩容那样启动一个节点即可， 缩容还需要把当前节点数据移出去才可以，：旧的服务器需要进行退役更换，暂停服务，需
Hive数据仓库---Hive的安装与配置
Hive的安装与配置
Hadoop环境搭建及常见问题解决（保姆级教程）
学习大数据的路上，肯定少不了Hadoop的陪伴。在学习Hadoop之初，一件"痛苦"的事情莫过于装环境，看着别人万事亨通，而自己跌跌撞撞，个中心酸，有几人懂...本教程为保姆式教程，力图帮您排忧解难。主要内容如下：【资源准备】 => 【环境准备】 => 【JDK的安装】 => 【Ha
启动Hadoop集群遇到Permission denied (publickey,password)问题的解决方法
百度上搜到的答案同质化比较严重（基本是sshkey），谷歌上搜到的答案存在越扯越远脱离原问题的不足，也可能是因为大佬不屑于用简单的方法解决问题。解决方法网上一搜一大把，基本是有两种方法，第一种只会影响到本用户所处的环境，第二种会影响到整个根目录（因为要修改。启动集群测试，如果还遇到问题，一般是别的地
数据挖掘实验：使用 Hadoop 实现 WordCount 应用
数据挖掘实验：使用 Hadoop 实现 WordCount 应用
node.js文件的压缩解压
这三个部分通过pipe进行连接，也就是说处理的不是一个完整的文件，而是一部分一部分的处理文件，也就是通过流式的方式处理文件。这段代码各位看客可以复制下来运行一下，看看结果，当然你至少要保证读文件流里的路径地址是真实存在的，即同级目录下，你在创建一个a.txt文件，里面随便写上一些内容，运行后会在同级
windows安装hadoop3.1.3教程
windows安装hadoop3.1.3教程
大数据之Hive:regexp_extract函数
目录一、正则的通配符简介1、正则表达式的符号及意义2、各种操作符的运算优先级：二、regexp_extract函数一、正则的通配符简介1、正则表达式的符号及意义符号含义实列/做为转意，即通常在"/"后面的字符不按原来意义解释如" * “匹配它前面元字符0次或多次，/a*/将匹配a,aa,aaa，加了
Windows环境下Hadoop的安装和配置
Windows环境下Hadoop的安装和配置
实验二-HDFS编程
大数据技术原理与应用-实验二-HDFS编程这里包括了实验步骤以及实验过程中遇到的问题及解决方法~实验要求：编写shell与Java代码检验分布式系统HDFS上是否存在一个input.txt，并对代码进行详细注释，通过流程图阐述数据查找过程。
Apache Doris 系列： 入门篇-数据导入及查询
Doris 为了满足不同业务场景的数据接入需求，提供不丰富的数据导入方式，去支持不同的数据源：外部存储（HDFS，对象存储）、本地文件、消息队列（Kafka）及其他外部业务系统数据库（MySQL、Oracle、SQLServer、PostgreSQL等），支持同步和异步的方式将数据接入到 Doris
Windows10配置Hadoop
极简又详细的7个Step帮你完成Windows10的Hadoop配置。
【Hbase篇】浏览器访问 Hbase web端页面被拒绝连接
【问题现象】浏览器访问 Hbase 页面出现：http://hadoop102:16010【问题分析】首先先检查自己的 hadoop集群、zooker集群、hbase是否已经起来了检查后发现集群都已经起来了，那进一步排查。再次刷新下浏览器访问hbase页面，记录下此刻时间,然后去查看Hbase日志信
Hadoop、HDFS、Hive、Hbase之间的关系
Hbase：是一款基于HDFS的数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等。Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。Hive：用户
Hadoop环境搭建-单机、伪分布式、完全分布式
本文详细的写有：hadoop单机安装、hadoop伪分布式环境搭建、hadoop完全分布式环境搭建的步骤
虚拟机安装Hadoop
Hadoop的安装
Hive与HBase的区别及应用场景
Hive和Hbase的区别
VMware环境配置
vmware环境配置：JDK、Hadoop、hive、sredis、spark、Scala等
大数据系列 | 解决Hadoop不能打开端口8088的网页问题(50070可以打开)
解决Hadoop不能打开端口8088的网页问题(50070可以打开)原因：本地hosts文件没有添加集群ip集群环境没有开放8088端口hadoop的配置文件yarn-site.xml问题解决方法：首先检查一下使用集群ip:8088是否可以访问 可以访问即是本地hosts配置问题以管理员身份打开Wi
Linux中实现Hadoop各节点间的SSH免密登录
Linux中实现Hadoop各节点间的SSH免密登录
