hadoop集群安装(四):安装hadoop集群

hadoop集群安装配置,设置hdfs、yarn、MapReduce文件,启动并验证hadoop服务

windows下安装hadoop3.1.3(详细)

最近公司有个采集日志到oss的任务,需要用到hdfs的环境做个透传,因为我们的要采集的日志分布在好几十个单独的服务器其中有linux,又有windows,采集最后商量要使用的flume,但是flume不能直接传到oss需要用到hdfs进行“透传”一下,所以也不需要部署分布式了,又因为linux服务器

HBASE默认端口

HBASE默认端口

Hive---Hive语法(二)

Hive语法(二)

Centos8中Hadoop3.3.1安装详细过程(含图文)

Hadoop的核心由3个部分组成:HDFS: Hadoop Distributed File System,分布式文件系统,hdfs还可以再细分为NameNode、SecondaryNameNode、DataNode。YARN: Yet Another Resource Negotiator,资源管

使用docker进行部署hadoop

使用docker进行部署hadoop

Doris系列之建表操作

Doris系列之建表操作

基于Docker搭建hdfs分布式实验环境

HDFS(Hadoop Distributed File System),作为Google File System(GFS)的实现,是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。导入成功后,源tar文

大数据Flink进阶(十一):Flink History Server配置使用

基于Standalone或者Yarn模式提交Flink任务后,当任务执行失败、取消或者完成后,可以在WebUI中查看对应任务的统计信息,这些统计信息在生产环境中对我们来说非常重要,可以知道一个任务异常挂掉前发生了什么,便于定位问题。当基于Standalone session模式提交相应任务时,集群重

Hive内部表和外部表的简单区别

Hive外部表和内部表简单区别

Hadoop原理与技术——hdfs命令行基本操作

Hadoop原理与技术——hdfs命令行基本操作

java使用idea操作HDFS

java和hdfs

【大数据监控】Prometheus、Node_exporter、Graphite_exporter安装部署详细文档

Prometheus是一个开源的系统监控和报警系统,现在已经加入到CNCF基金会,成为继k8s之后第二个在CNCF托管的项目,在kubernetes容器管理系统中,通常会搭配prometheus进行监控,同时也支持多种exporter采集数据,还支持pushgateway进行数据上报,Prometh

大数据NiFi(十九):实时Json日志数据导入到Hive

如果所提供的JsonPath计算为指定的值,JSON的返回类型可以返回"scalar"。当一次性向tail的文件输入多条数据,我们不希望全部json行内容替换成第一行json内容,那么可以将“TailFile”处理器处理的数据直接传递给“ConvertRecord”处理器,将数据由json格式转换成

【无标题】

123

Hadoop学习——Hadoop单机运行Grep实例(包含错误解决方法)

上一篇安装了Hadoop单机,所以今天打算先用Hadoop的mapreduce自带的Grep实例实践一下,顺带测试Hadoop是否成功安装。(不是水博客,有在努力填坑)实践开始之前,我们需要了解一下Grep实例,Grep(缩写来自Globally search a Regular Expressio

Spark任务中Task数量确定和一些总结

Spark任务中Task数量如何确定?

HDFS的基础练习--新建目录

4.把mydata01上传到HDFS的/data01,把mydata02上传到HDFS的/data02,以此类推,把5份文件都上传到大数据平台的HDFS上。3.在/home/hadoop/software/自己名字命名目录下创建5分有数据的文件(mydata01-mydata05)文件内容自定义。h

Hive与Hadoop的版本对应关系

hive与hadoop的版本关系

Flink 基础知识

主从架构:flink

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈