Windows环境下Hadoop的安装和配置
Windows环境下Hadoop的安装和配置
实验二-HDFS编程
大数据技术原理与应用-实验二-HDFS编程这里包括了实验步骤以及实验过程中遇到的问题及解决方法~实验要求:编写shell与Java代码检验分布式系统HDFS上是否存在一个input.txt,并对代码进行详细注释,通过流程图阐述数据查找过程。
Apache Doris 系列: 入门篇-数据导入及查询
Doris 为了满足不同业务场景的数据接入需求,提供不丰富的数据导入方式,去支持不同的数据源:外部存储(HDFS,对象存储)、本地文件、消息队列(Kafka)及其他外部业务系统数据库(MySQL、Oracle、SQLServer、PostgreSQL等),支持同步和异步的方式将数据接入到 Doris
【Hbase篇】浏览器访问 Hbase web端页面被拒绝连接
【问题现象】浏览器访问 Hbase 页面出现:http://hadoop102:16010【问题分析】首先先检查自己的 hadoop集群、zooker集群、hbase是否已经起来了检查后发现集群都已经起来了,那进一步排查。再次刷新下浏览器访问hbase页面,记录下此刻时间,然后去查看Hbase日志信
Hadoop、HDFS、Hive、Hbase之间的关系
Hbase:是一款基于HDFS的数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如日志明细、交易清单、轨迹行为等。Hbase和Hive在大数据架构中处在不同位置,Hbase主要解决实时数据查询问题,Hive主要解决数据处理和计算问题,一般是配合使用。Hive:用户
Hadoop环境搭建-单机、伪分布式、完全分布式
本文详细的写有:hadoop单机安装、hadoop伪分布式环境搭建、hadoop完全分布式环境搭建的步骤
虚拟机安装Hadoop
Hadoop的安装
Hive与HBase的区别及应用场景
Hive和Hbase的区别
VMware环境配置
vmware环境配置:JDK、Hadoop、hive、sredis、spark、Scala等
大数据系列 | 解决Hadoop不能打开端口8088的网页问题(50070可以打开)
解决Hadoop不能打开端口8088的网页问题(50070可以打开)原因:本地hosts文件没有添加集群ip集群环境没有开放8088端口hadoop的配置文件yarn-site.xml问题解决方法:首先检查一下使用集群ip:8088是否可以访问 可以访问即是本地hosts配置问题以管理员身份打开Wi
Linux中实现Hadoop各节点间的SSH免密登录
Linux中实现Hadoop各节点间的SSH免密登录
hadoop集群安装(四):安装hadoop集群
hadoop集群安装配置,设置hdfs、yarn、MapReduce文件,启动并验证hadoop服务
windows下安装hadoop3.1.3(详细)
最近公司有个采集日志到oss的任务,需要用到hdfs的环境做个透传,因为我们的要采集的日志分布在好几十个单独的服务器其中有linux,又有windows,采集最后商量要使用的flume,但是flume不能直接传到oss需要用到hdfs进行“透传”一下,所以也不需要部署分布式了,又因为linux服务器
HBASE默认端口
HBASE默认端口
Hive---Hive语法(二)
Hive语法(二)
Centos8中Hadoop3.3.1安装详细过程(含图文)
Hadoop的核心由3个部分组成:HDFS: Hadoop Distributed File System,分布式文件系统,hdfs还可以再细分为NameNode、SecondaryNameNode、DataNode。YARN: Yet Another Resource Negotiator,资源管
使用docker进行部署hadoop
使用docker进行部署hadoop
Doris系列之建表操作
Doris系列之建表操作
基于Docker搭建hdfs分布式实验环境
HDFS(Hadoop Distributed File System),作为Google File System(GFS)的实现,是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。导入成功后,源tar文
大数据Flink进阶(十一):Flink History Server配置使用
基于Standalone或者Yarn模式提交Flink任务后,当任务执行失败、取消或者完成后,可以在WebUI中查看对应任务的统计信息,这些统计信息在生产环境中对我们来说非常重要,可以知道一个任务异常挂掉前发生了什么,便于定位问题。当基于Standalone session模式提交相应任务时,集群重