实验二、熟悉常用的HDFS操作(HDFS JavaAPI之读取/上传/删除文件)
一、实验目的理解HDFS在Hadoop体系结构中的角色熟练使用HDFS操作常用的shell命令熟悉HDFS操作常用的Java API二、实验平台操作系统:CentOS 8Hadoop版本:3.3.1jdk版本:1.8Java IDE:Eclipse三、实验内容1. 使用Hadoop命令操作分布式文件
kafka介绍(一)
这个部分,需要简单的解答一下,其实MQ就是消息队列,那么本质上,就是一个 FIFO的队列数据结构。因此,早期的使用方法,都是启动一个线程发送消息,写入消息队列,作为消息缓存,然后再启动一个线程消费消息。早期的windows程序(桌面程序)的设计方法。后期,随着分布式微服务的快速发展,消息这个东西变成
ElasticSearch下载安装
官网有介绍,看下官网介绍,这里我就不管官网的介绍了拿我自己的理解,就是一个类似数据库用来专门做搜索的一款工具,在大量的搜索条件下,效率很好,下面就可以直接把它当成一个数据库看待,那我们学起来就很方便了;下载与安装进入官网,我们看到这里给我们教程,还可以参加培训呦,之后我们上手的时候就是使用点第一个嘛
Kafka 面试题(2022)
有关kafka的面试题最新整理
Mysql进阶优化篇01——四万字详解数据库性能分析工具(深入、全面、详细,收藏备用)
数据库的优化整个流程划分成了 观察(Show status) 和 行动(Action) 两个部分。数据库的观察阶段可以发现存在的问题,十分关键,需要用到很多分析工具:比如慢查询,Explain,trace,sys schema,等,这篇文章就会介绍这些数据库性能分析工具,详解其指标参数,并且配备丰富
win10环境下RabbitMQ如何安装
Win10环境下RabbitMQ的安装教程
【大数据】第二章:搭建Hadoop集群(送尚硅谷大数据笔记)
【大数据】第二章:搭建Hadoop集群(送尚硅谷大数据笔记)
Kafka为什么性能这么快?4大核心原因详解
Kafka的性能快这是大厂Java面试经常问的一个话题,下面我就重点讲解Kafka为什么性能这么快的4大核心原因@mikechen
ETL工具大全:Kettle、DataCleaner、canal、DataX
Kettle是一款国外开源的ETL工具,使用Java语言编写,可以运行在Windows、Linux、Unix上,数据抽取高效、稳定。Kettle包含Spoon、Pan、Chef、Encr和Kitchen等组件,Spoon是一个图形用户界面,可以方便直观地完成数据转换任务。Spoon可以运行转换和任务
Flink实例:状态管理State 过期时间TTL
一旦设置了 TTL,那么如果上次访问的时间戳 + TTL 超过了当前时间,则表明状态过期了(这是一个简化的说法,严谨的定义请参考org.apache.flink.runtime.state.ttl.TtlUtils类中关于 expired 的实现)。对于 RocksDB 的状态清理,则是通过 JNI
分布式注册中心ZooKeeper、Eureka、 Nacos
分布式注册中心出现,ZooKeeper,Eureka,Nacos的比较
Spark 安装与启动
如果你事先安装了Spark对应版本的Hadoop,那么可以选择forHadoopx.x类型,如果你安装的Hadoop版本没有对应的Spark,可以选择Pre-builtwithuser-providedApacheHadoop类型。选择Spark版本和Package类型之后,自动会为你生成spark
Kafka积压造成的数据合并错误解决方式
采用两个脚本和一张hive表解决kafka数据积压而造成的影响数据合并准确性问题
FlinkSql的窗口使用以及运用案例
窗口概述 窗口函数 窗口分类
SQL必知必会(第五版)
SQL必知必会(第五版)快速学习
Kubernetes 安全策略:保护您的数据仓库并阻止黑客
Kubernetes 是一个开源的容器编排平台,最初由 Google 设计并捐赠给 Cloud Native Computing Foundation (CNCF) 孵化。Kubernetes 可以自动化地部署、扩展和管理容器化应用程序,并提供了许多便捷的特性,如服务发现、负载均衡、自我修复等。Ku
Monorepo,大型前端项目管理模式实践
阅读本文您将了解到:什么是 monorepo、为什么要 monorepo、如何实践 monorepo。项目管理模式Monorepo 这个词您可能不是首次听说,在当下大型前端项目中基于 monorepo 的解决方案已经深入人心,无论是比如 Google、Facebook,社区内部知名的开源项目 Bab
DolphinScheduler 3.1.0 海豚集群部署配置
dolphinscheduler3.1.0 以上
kafka常见命令集锦
目标熟悉kafka各个组件的功能。熟练使用zookeeper客户端操作kafka节点,通过命令的方式验证kafka各个组件之间的关联关系。相关概念Brokerkafka节点,多个broker组成kafka集群。Topic即主题,kafka通过Topic对消息进行分类,发布到kafka的消息都需要指定