CentOS7克隆虚拟机及配置IP地址
1. 克隆虚拟机1、关机 (PS 这里我们要将所克隆的虚拟机关机才能克隆,这样所占磁盘会小很多)2、右键虚拟机----> 管理--->克隆 3、选择完整克隆(和hadoop01就没有关系了)
kafka+Kraft模式集群+安全认证
kafka+Kraft模式集群+安全认证
Kafka的安装与配置
由于Kafka是用Scala语言开发的,运行在JVM上,因此在安装Kafka之前需要先安装JDK。
尚硅谷大数据hadoop教程_mapReduce
mapReduce三类进程。
大数据Hadoop之——部署hadoop+hive+Mysql环境(window11)
win环境下大数据Hadoop的部署hadoop+hive环境
Airflow环境搭建
Airflow环境搭建
大数据之使用Spark增量抽取MySQL的数据到Hive数据库(2)
本题来源于2022 年全国职业院校技能大赛(高职组)“大数据技术与应用”赛项(电商)- 离线数据处理 - 数据抽取数据处理需要灵活的使用sql函数或者spark相关函数对数据进行处理,但思路总体上一样。对于数据处理,还需要掌握好一些非常见但是又很使用的函数。可以与大数据之使用Spark增量抽取M
rabbitmq相关总结
这里只记录每次怎么在本地开启服务,不涉及具体安装细节,工作时一般由运维人员安装在linux环境上开启服务时,需要切到本地的rabbitmq的\sbin目录下管理页面入口(测试是否正常启动)默认账号:guest默认密码:guest创建账号设置用户角色设置用户权限当前用户和角色rabbitmq依赖队列模
【数据库技术】金管局计算机岗位——数据仓库(⭐⭐⭐⭐)
数据仓库(Data Warehouse),是为了企业所有级别的决策制定计划过程,提供所有类型数据类型的战略集合。它出于分析性报告和决策支持的目的而创建。为需要业务智能的企业,指导业务流程改进,时间、成本、质量的控制等。(1)数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库;(
【项目实战】基于Web的管理和监控Hadoop集群工具——Ambari入门介绍
Apache Ambari是一种基于Web的工具,它提供了一个易于使用的Web界面 ,是一个强大的开源的集群管理工具,它可以帮助管理员轻松管理和监控Hadoop集群,支持Apache Hadoop集群的供应、管理和监控。
hadoop模拟试题
数据量大(Volume)、类型繁多(Variety)、价值密度低(Value)、处理速度快(Velocity)SecondaryNameNode会将edits文件和fsimage复制到本地(HTTP GET方式)他的目的是帮助NameNode 合并编辑日志,减少NameNode 启动时间。第10题
大数据调度平台 Airflow(五):Airflow 使用
以上 python 文件就是 Airflow python 脚本,使用代码方式指定 DAG 的结构。
Hadoop系统应用之MapReduce相关操作【IDEA版】---经典案例“倒排索引、数据去重、TopN”
倒排索引是文档检索系统中最常用的数据结构,被广泛应用于全文搜索引擎。倒排索引主要用来存储某个单词(或词组)在一组文档中的存储位置的映射,提供了可以根据内容来查找文档的方式,而不是根据文档来确定内容,因此称为倒排索引(Inverted Index)。带有倒排索引的文件称为倒排索引文件,简称倒排文件(I
修炼k8s+flink+hdfs+dlink(三:安装dlink0.6版本)
上传至目录/opt/app/dlink。
SpringCloud五大核心组件简述
本文简单讲述Spring Cloud的五个核心组件以及各自的作用,并为对如何使用进行赘述,后续会各个组件如何使用进行讲解。
Flink流批一体计算(18):PyFlink DataStream API之计算和Sink
PyFlink DataStream API之计算和Sink
Kafka
Apache Kafka是一个开源分布式事件流平台,也是一种高吞吐量的分布式发布订阅消息系统,被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序。
SQL时间函数
SQL语句 时间函数
oracle 学习之 unpivot/pivot函数及hive实现该功能
Oracle中pivot函数详解_实泽有之,无泽虚之的博客-CSDN博客pivot函数格式:pivot(聚合函数 for 需要转为列的字段名 in(需要转为列的字段值));pivot函数说明:实现将指定字段的值转换为列的效果。oracle 总转横函数,详解Oracle行列转换函数-pivot函数和u