211大二计科生高呼:王侯将相宁有种乎?
大家好,我是科科,来自四川农业大学,高中时因为一些原因休学了一年多,后来重新读高中,从高二时转到职高,选择的计算机专业,现在四川农业大学
日活量百万数据,Kafka硬件如何配置?kafka生产者消费者调优
kafka生产者、消费者调优、硬件选择
Hadoop集群搭建(详细简单粗暴)
hadoop集群搭建 hadoop jdk
应势而生,CSDN云原生工程师能力认证官宣
应势而生,C站(CSDN)云原生工程师能力认证启航!
从一个sql引发的hive谓词下推的全面复盘及源码分析(上)
嗨,大家好,我是小萝卜算子。(微信公众号:数据仓库践行者。感谢关注)下面开始今天的正题Hive版本:hive-2.1.1经常听到**【谓词下推】**这个词,却从来没有对它进行全面的深入的研究,直到前些天,我们的数据产品跑过来跟我讨论 他写的一个sql,这个sql最终出现的结果并不是他想要的。看了具体
【SpringBoot】60、SpringBoot中整合RabbitMQ实现延时队列(死信队列篇)
前面在文章:【SpringBoot】43、SpringBoot中整合RabbitMQ实现延时队列(插件篇) 中使用 RabbitMQ 的延时插件 rabbitmq_delayed_message_exchange 来实现延时队列,本篇讲述使用死信队列实现延时队列的原理即实现。一、实现原理1、什么是死
Elasticsearch基础使用教程(一)
目录一、Elasticsearch 是什么?二、安装三、使用指南1.集群健康检查2.查看集群节点3.查看全部索引4.创建索引一、Elasticsearch 是什么?Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful w
CentOS-7 Linux 上部署hadoop集群(3台)
本文记载一次在虚拟机上Linux 上部署hadoop集群(3台)
一本院校大三萌妹子须臾:我的大数据之路
大家好啊!这里是须臾,正就读于一所普通的一本院校,是新兴专业“数据科学与大数据技术”的大三学生,马上要大四秋招了,压力好大哇,捂脸。
元宇宙发展研究报告2.0版本(清华大学)
近日,清华大学沈阳教授团队发布了《元宇宙发展研究报告2.0版》,总计205页。报告基于《元宇宙发展研究报告1.0版》,从元宇宙的缘起、概念与属性、技术与产业链、场景应用、风险点及治理、热点七问、远未来展望等七个部分对元宇宙发展进行了深入的研究与分析。元宇宙(Metaverse)是利用科技手段进行链接
数据仓库原理
数据仓库原理ODS>DWD>DWS>ADS
Spark任务提交源码
本文主要介绍了spark源码提交的流程,从SparkSubmit类main方法跟踪到spark主要实体driver和executor的创建过程,记录了整个过程中比较重要的节点的源码,以及对相关方法的功能实现进行了简要介绍。
图解Kafka的服务端的网络通信模型
在开始讲解Kafka的网络通信模型之前,我们有必要先简单了解一下:线程模型 Reactor模式Reactor模式Reactor 模式,是指通过一个或多个输入同时传递给服务处理器的服务请求的事件驱动处理模式。服务端程序处理传入多路请求,并将它们同步分派给请求对应的处理线程,Reactor 模式也叫 D
Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群 Java环境配置(Oracle JDK)
写在前面本系列文章索引以及一些默认好的条件在 传送门本文以CentOS7为例来进行搭建step1. 下载jdk博主设置的jdk版本为jdk1.8(8u181),官网下载地址可以根据需要选择自己的版本博主提供自己的阿里云分享链接step2. 删除原有的open jdk查看原有的JDK:java -ve
大数据之安装Hadoop单机伪分布(新手上路必备)三
1,安装vmware虚拟机,Linux版本可以自行选择2,安装ubuntu虚拟机 2.1 下载iso镜像 百度搜索 中国镜像站 随便哪个网页都可以,各大公司,各大高校; 2.2 安装ubuntu虚拟机;3,hadoop的安装模式 官方帮助文档https://hadoop.apache.org/doc
Kafka优雅源码设计1-Utils.propsToMap
前言Kafka作为一个开源高性能消息引擎服务,也被评为21世纪最具影响力的技术进步之一。近期在读Kafka源码过程中,发现了很多闪光点,也许我们平时工作不需要Kafka的源码,甚至压根用不到Kafka来实现功能。但是这样一个优秀设计的分布式中间件,在代码的编写上有着很好的示范作用。本系列也希望摘取一
Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群 Hadoop安装配置
写在前面本系列文章索引以及一些默认好的条件在 传送门所有节点均需要安装并配置Hadoop一共设置了两个节点,分别是master && slave1step1. Hadoop下载博主使用的是Hadoop3.1.1,可以去Hadoop官网下载step2. Hadoop解压安装将下载后的H
【Apache】 手把手教你Log4j2漏洞复现
ApacheLog4j2是一个开源的Java日志框架,被广泛地应用在中间件、开发框架与Web应用中。
【Zookeeper】分布式集群(详细图文)
【Zookeeper】分布式集群(详细图文)·(建议收藏)
Linux免密大法好 ssh-copy-id 和 expect 免交互输入脚本
Linux 终于不用手动输入 密码了,得益于 ssh-copy-id 与 expect