Windows环境下Hadoop的安装和配置

Windows环境下Hadoop的安装和配置

实验二-HDFS编程

大数据技术原理与应用-实验二-HDFS编程这里包括了实验步骤以及实验过程中遇到的问题及解决方法~实验要求:编写shell与Java代码检验分布式系统HDFS上是否存在一个input.txt,并对代码进行详细注释,通过流程图阐述数据查找过程。

Apache Doris 系列: 入门篇-数据导入及查询

Doris 为了满足不同业务场景的数据接入需求,提供不丰富的数据导入方式,去支持不同的数据源:外部存储(HDFS,对象存储)、本地文件、消息队列(Kafka)及其他外部业务系统数据库(MySQL、Oracle、SQLServer、PostgreSQL等),支持同步和异步的方式将数据接入到 Doris

【Hbase篇】浏览器访问 Hbase web端页面被拒绝连接

【问题现象】浏览器访问 Hbase 页面出现:http://hadoop102:16010【问题分析】首先先检查自己的 hadoop集群、zooker集群、hbase是否已经起来了检查后发现集群都已经起来了,那进一步排查。再次刷新下浏览器访问hbase页面,记录下此刻时间,然后去查看Hbase日志信

Hadoop、HDFS、Hive、Hbase之间的关系

Hbase:是一款基于HDFS的数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如日志明细、交易清单、轨迹行为等。Hbase和Hive在大数据架构中处在不同位置,Hbase主要解决实时数据查询问题,Hive主要解决数据处理和计算问题,一般是配合使用。Hive:用户

Hadoop环境搭建-单机、伪分布式、完全分布式

本文详细的写有:hadoop单机安装、hadoop伪分布式环境搭建、hadoop完全分布式环境搭建的步骤

虚拟机安装Hadoop

Hadoop的安装

Hive与HBase的区别及应用场景

Hive和Hbase的区别

VMware环境配置

vmware环境配置:JDK、Hadoop、hive、sredis、spark、Scala等

大数据系列 | 解决Hadoop不能打开端口8088的网页问题(50070可以打开)

解决Hadoop不能打开端口8088的网页问题(50070可以打开)原因:本地hosts文件没有添加集群ip集群环境没有开放8088端口hadoop的配置文件yarn-site.xml问题解决方法:首先检查一下使用集群ip:8088是否可以访问 可以访问即是本地hosts配置问题以管理员身份打开Wi

Linux中实现Hadoop各节点间的SSH免密登录

Linux中实现Hadoop各节点间的SSH免密登录

hadoop集群安装(四):安装hadoop集群

hadoop集群安装配置,设置hdfs、yarn、MapReduce文件,启动并验证hadoop服务

windows下安装hadoop3.1.3(详细)

最近公司有个采集日志到oss的任务,需要用到hdfs的环境做个透传,因为我们的要采集的日志分布在好几十个单独的服务器其中有linux,又有windows,采集最后商量要使用的flume,但是flume不能直接传到oss需要用到hdfs进行“透传”一下,所以也不需要部署分布式了,又因为linux服务器

HBASE默认端口

HBASE默认端口

Hive---Hive语法(二)

Hive语法(二)

Centos8中Hadoop3.3.1安装详细过程(含图文)

Hadoop的核心由3个部分组成:HDFS: Hadoop Distributed File System,分布式文件系统,hdfs还可以再细分为NameNode、SecondaryNameNode、DataNode。YARN: Yet Another Resource Negotiator,资源管

使用docker进行部署hadoop

使用docker进行部署hadoop

Doris系列之建表操作

Doris系列之建表操作

基于Docker搭建hdfs分布式实验环境

HDFS(Hadoop Distributed File System),作为Google File System(GFS)的实现,是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。导入成功后,源tar文

大数据Flink进阶(十一):Flink History Server配置使用

基于Standalone或者Yarn模式提交Flink任务后,当任务执行失败、取消或者完成后,可以在WebUI中查看对应任务的统计信息,这些统计信息在生产环境中对我们来说非常重要,可以知道一个任务异常挂掉前发生了什么,便于定位问题。当基于Standalone session模式提交相应任务时,集群重

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈