实验二、熟悉常用的HDFS操作(HDFS JavaAPI之读取/上传/删除文件)

一、实验目的理解HDFS在Hadoop体系结构中的角色熟练使用HDFS操作常用的shell命令熟悉HDFS操作常用的Java API二、实验平台操作系统:CentOS 8Hadoop版本:3.3.1jdk版本:1.8Java IDE:Eclipse三、实验内容1. 使用Hadoop命令操作分布式文件

kafka介绍(一)

这个部分,需要简单的解答一下,其实MQ就是消息队列,那么本质上,就是一个 FIFO的队列数据结构。因此,早期的使用方法,都是启动一个线程发送消息,写入消息队列,作为消息缓存,然后再启动一个线程消费消息。早期的windows程序(桌面程序)的设计方法。后期,随着分布式微服务的快速发展,消息这个东西变成

MyBatis-Plus介绍和使用

MP

ElasticSearch下载安装

官网有介绍,看下官网介绍,这里我就不管官网的介绍了拿我自己的理解,就是一个类似数据库用来专门做搜索的一款工具,在大量的搜索条件下,效率很好,下面就可以直接把它当成一个数据库看待,那我们学起来就很方便了;下载与安装进入官网,我们看到这里给我们教程,还可以参加培训呦,之后我们上手的时候就是使用点第一个嘛

Kafka 面试题(2022)

有关kafka的面试题最新整理

Mysql进阶优化篇01——四万字详解数据库性能分析工具(深入、全面、详细,收藏备用)

数据库的优化整个流程划分成了 观察(Show status) 和 行动(Action) 两个部分。数据库的观察阶段可以发现存在的问题,十分关键,需要用到很多分析工具:比如慢查询,Explain,trace,sys schema,等,这篇文章就会介绍这些数据库性能分析工具,详解其指标参数,并且配备丰富

win10环境下RabbitMQ如何安装

Win10环境下RabbitMQ的安装教程

【大数据】第二章:搭建Hadoop集群(送尚硅谷大数据笔记)

【大数据】第二章:搭建Hadoop集群(送尚硅谷大数据笔记)

Kafka为什么性能这么快?4大核心原因详解

​Kafka的性能快这是大厂Java面试经常问的一个话题,下面我就重点讲解Kafka为什么性能这么快的4大核心原因@mikechen​

ETL工具大全:Kettle、DataCleaner、canal、DataX

Kettle是一款国外开源的ETL工具,使用Java语言编写,可以运行在Windows、Linux、Unix上,数据抽取高效、稳定。Kettle包含Spoon、Pan、Chef、Encr和Kitchen等组件,Spoon是一个图形用户界面,可以方便直观地完成数据转换任务。Spoon可以运行转换和任务

Flink实例:状态管理State 过期时间TTL

一旦设置了 TTL,那么如果上次访问的时间戳 + TTL 超过了当前时间,则表明状态过期了(这是一个简化的说法,严谨的定义请参考org.apache.flink.runtime.state.ttl.TtlUtils类中关于 expired 的实现)。对于 RocksDB 的状态清理,则是通过 JNI

分布式注册中心ZooKeeper、Eureka、 Nacos

分布式注册中心出现,ZooKeeper,Eureka,Nacos的比较

Spark 安装与启动

如果你事先安装了Spark对应版本的Hadoop,那么可以选择forHadoopx.x类型,如果你安装的Hadoop版本没有对应的Spark,可以选择Pre-builtwithuser-providedApacheHadoop类型。选择Spark版本和Package类型之后,自动会为你生成spark

Kafka积压造成的数据合并错误解决方式

采用两个脚本和一张hive表解决kafka数据积压而造成的影响数据合并准确性问题

FlinkSql的窗口使用以及运用案例

窗口概述 窗口函数 窗口分类

SQL必知必会(第五版)

SQL必知必会(第五版)快速学习

Kubernetes 安全策略:保护您的数据仓库并阻止黑客

Kubernetes 是一个开源的容器编排平台,最初由 Google 设计并捐赠给 Cloud Native Computing Foundation (CNCF) 孵化。Kubernetes 可以自动化地部署、扩展和管理容器化应用程序,并提供了许多便捷的特性,如服务发现、负载均衡、自我修复等。Ku

Monorepo,大型前端项目管理模式实践

阅读本文您将了解到:什么是 monorepo、为什么要 monorepo、如何实践 monorepo。项目管理模式Monorepo 这个词您可能不是首次听说,在当下大型前端项目中基于 monorepo 的解决方案已经深入人心,无论是比如 Google、Facebook,社区内部知名的开源项目 Bab

DolphinScheduler 3.1.0 海豚集群部署配置

dolphinscheduler3.1.0 以上

kafka常见命令集锦

目标熟悉kafka各个组件的功能。熟练使用zookeeper客户端操作kafka节点,通过命令的方式验证kafka各个组件之间的关联关系。相关概念Brokerkafka节点,多个broker组成kafka集群。Topic即主题,kafka通过Topic对消息进行分类,发布到kafka的消息都需要指定

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈