Apache Spark 学习路径

什么是Apache Spark?Apache Spark是一个快速的、通用的大规模数据处理引擎。Spark的历史和发展起源于2009年的加州大学伯克利分校AMPLab项目。成为了Apache软件基金会的一个顶级项目。Spark的优势和应用场景内存计算,快速迭代。应用于批处理、交互式查询、流处理、机器

pt-archive

#archiver命令的安装路径BASE_PATH=/usr/local/bin定义 pt-archiver 参数变量SOURCE_HOST=“”SOURCE_PORT=“”SOURCE_USER=“”SOURCE_PASSWORD=“”SOURCE_DATABASE=“”SOURCE_CHARSE

深度了解flink Flink 本地运行Standalone模式

然后就等待install结束,最后每个模块都是success,则install成功,就会出现flink的bin包,包含flink的lib和conf等。点击File—> Project Structure—>Project设置Jdk版本(如下图),jdk版本设置1.8或者1.8之后的版本。flink

Kafka 与 RabbitMQ 的联系

Apache Kafka 与 RabbitMQ 是两种强大的消息中间件,各有其优势和适用场景。Kafka 以其高吞吐量、顺序写入和分布式架构成为流式处理平台的佼佼者,尤其适合处理大规模实时数据流。RabbitMQ 则更适合复杂路由和任务队列的应用场景。了解 Kafka 和 RabbitMQ 的区别与

RabbitMQ 高级特性——消息分发

RabbitMQ消息分发

大数据毕业设计python基于Hadoop的租房数据分析系统

租房数据分析系统是一个基于Hadoop的大数据平台,通过采用B/S架构,Django框架以及MySQL数据库技术,旨在为用户提供全面的租房信息和数据支持。该系统具备丰富的功能,包括管理员端的系统首页、个人中心、用户管理、房屋信息管理、租房数据管理和系统管理,以及前台端的首页、房屋信息、租房数据、房屋

学习Spark需要哪些基础知识

今天,我想和大家分享一个非常实用的话题——学习Spark需要哪些基础知识?Spark作为大数据处理领域的重要工具,其强大的数据处理能力和分布式计算能力使其在业界广受好评。但是,对于初学者来说,如何入门Spark却是一个不小的挑战。本文将从基础到进阶,一步步带你了解学习Spark所需的基础知识。

SpringBoot 整合 RabbitMQ

SpringBoot 整合 RabbitMQ

大数据新视界 -- 大数据大厂之 数据导入:优化数据摄取的高级技巧(下)(4/ 30)

本文承前启后,深入探究 Hive 数据导入优化,涵盖分区策略规划与动态调整、压缩算法选择与性能平衡、缓存设置与管理监控、批量插入与事务回滚优化,佐以丰富案例、代码、测试数据与参数设置,为 Hive 数据摄取高级优化献详策,设互动并预告后续查询优化篇章。

Linux基础环境搭建(CentOS7)- 安装Scala和Spark

Linux基础环境搭建(CentOS7)- 安装Scala和Spark。

Docker安装部署RabbitMQ(详细教程)

RabbitMQ是一款开源的消息队列系统,常用于在分布式系统中存储和转发消息。通过部署可以简化安装和配置过程,提高系统的灵活性和可移植性。接下来博主将详细讲解的安装部署的步骤。

Prometheus通过注册中心nacos、Eureka 实现服务注册自动发现监控

Prometheus通过注册中心nacos、Eureka 实现服务注册自动发现监控

大数据-231 离线数仓 - DWS 层、ADS 层的创建 Hive 执行脚本

DWS 层通常被称为数据仓库服务层或明细层,它是数据仓库架构中的中间层,负责将原始数据经过清洗、转换后进行存储,并提供给下游的数据应用层或分析层使用。ADS 层是面向应用的数据服务层,主要聚焦于业务的直接需求和决策支持,提供高性能和高响应的数据查询能力,通常是直接为应用或决策系统提供服务。DWS 层

关于kafka-几道面试题

kafka、面试题

探索数据,洞见未来——第二届大数据与数据挖掘国际会议(BDDM 2024)诚邀参会投稿!

第二届大数据与数据挖掘国际会议(BDDM 2024)将于2024年12月13日-12月15日在中国武汉召开。

[RabbitMQ] 重试机制+TTL+死信队列

🏵️热门专栏:🧊 Java基本语法(97平均质量分)🍕 Collection与数据结构 (92平均质量分)🧀线程与网络(96平均质量分)🍭MySql数据库(93平均质量分)🍬算法(97平均质量分)🍃 Spring(97平均质量分)🎃Redis(97平均质量分)🐰RabbitMQ(9

【大数据学习 | HBASE高级】hive操作hbase

一般在查询hbase的数据的时候我们可以直接使用hbase的命令行或者是api进行查询就行了,但是在日常的计算过程中我们一般都不是为了查询,都是在查询的基础上进行二次计算,所以使用hbase的命令是没有办法进行数据计算的,并且对于hbase的压力也会增加很多,,这个代码上面我们已经实现过了,但是后续

数据仓库面试题集&离线&实时

1、2、Flink提交方式, 使用pre-job还是yarn-session模式,好处?

毕业设计项目 基于大数据的K-means广告效果分析

毕业设计 基于大数据的K-means广告效果分析。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈