实时计算知识,最详细的整理

随着云计算、大数据等名词的流行,涌现出一大批相关的技术,其中Hadoop是较早出现的一种分布式架构,得到了大量的应用。本章先说明大数据和Hadoop的基本概念,之后介绍HDFS、MapReduce、YARN三个基本的Hadoop组件。除了基本组成部分,Hadoop生态圈中还有很多其他的工具组件,它们

一文搞懂 RabbitMQ 延时队列(订单定时取消为例)

1. 死信及死信队列1.1 什么是死信一般来说,生产者将消息投递到队列中,消费者从队列取出消息进行消费,但某些时候由于特定的原因导致队列中的某些消息无法被消费,这样的消息如果没有后续的处理,就变成了死信(Dead Letter),所有的死信都会放到死信队列中。为什么为有死信?消息变成死信一般是以下三

Flink RPC源码流程

Flink RPC源码流程

Spark环境搭建(保姆级教程)

Spark 是一个大规模数据处理的统一分析引擎本文主要介绍Spark的相关配置,以及各种模式的代码提交,包括Local,Standalone,YARN。文末有相应资源下载网盘链接。

Flink旁路输出特性简单实例:按照股价对股票进行数据分流并写出到文本文件

关于旁路输出的官方文档:https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/datastream/side_output/除了由 DataStream 操作产生的主要流之外,我们还可以产生任意数量的旁路输出结果

Java岗大厂面试百日冲刺【Day54】— Redis4 (日积月累,每日三题)

百日冲刺高频面试题,本期开始把《一张图片背后的故事》加入进来,希望给我们带来更多的感动。有同学投稿的请联系我

spark:使用java语言理解scala

最近看的spark学习视频,视频里面都是用scala操作spark的,对scala语言学习较少,想要入门,可以通过下面的这个例子去用java语言思想去理解scala。主要是函数式编程思想:==一种Map Reduce的计算示例==

HBase、ClickHouse、StarRocks

HBaseHBase行锁机制,保证对单行数据操作的原子性。ClickHouse基本概念数据的基本映射单元:一列数据用Column表示,一列数据中的单个值用Field表示。数据类型:DataType,进行序列化和反序列化操作Block:ClickHouse内部是面向Block操作的,Block是由Co

flink如何利用checkpoint保证数据状态一致性

flink如何利用checkpoint保证数据状态一致性

zookeeper随堂笔记

学习目标:什么是zookeeper 应用场景 基本的操作 shell端 java端 基本原理 选举机制 数据一致性 数据的读写流程 1 zookeeper简介zookeeper是一个底层的集群协调工具,(比如:NN和DN之间的状态感应;监控 通知)!具备基本的功能有 ,记录用户的状态数据 (

入门ClickHouse和Elasticsearch

❄️大多数同学都知道数据有mysql、mongodb、oracle、nosql等等,这些是我们在学校能接触到最多的数据库,今天我们就来认识2个企业中比较常用的数据库clickhouse和elasticsearch。对大数据感兴趣的同学可以参考下面的文章👇:hadoop专题: hadoop系列文章.

聊聊RabbitMq动态监听这点事

很长时间没有分享过学习心得了,看了下发布记录,最后一篇文章的时间都在2020-12-10年了,今天抽时间整理下一个很早就想整理的技术分享。顺便说句题外话,因为我一直没时间整理,再加上开发的小伙伴对Mq的理解不够,我开掉了好几个处理这个事情的开发小伙伴,所以我希望这篇文章能对大家带来一点帮助。背景说明

技术盘点:容器技术的演进路线是什么?未来有哪些想象空间?

技术盘点:容器技术的演进路线是什么?未来有哪些想象空间?

某线下水果店销售数据分析

某线下水果店销售数据分析

七牛云图片上传

七牛云上传图片

02、Hive数据仓库——SQL员工练习题

Hive数据仓库——SQL员工练习题

公司来了个卷王之王,让人崩溃

前几天我们公司一下子也来了几个新人,这些年前人是真能熬啊,本来我们几个老油子都是每天稍微加会班就打算走了,这几个新人一直不走,搞得我们也不好走。2022年春招就要开始了,最近内卷严重,各种跳槽裁员,相信很多小伙伴也在准备今年的金三银四的面试计划。在此展示一套学习笔记 / 面试手册,年后跳槽的朋友可以

Kafka架构、高性能和高可用性分析

本文主要介绍Kafka架构、高性能、高可用以及mac本地安装kafka

linux基础第7节 ----配置与管理DNS服务器

DNS服务的相关配置

4000字全面了解小红书数据平台工程师(实时方向)社招面试内容

大家好,我是土哥。周五晚上过来卷大家了,今天为大家带来一位读者面试小红书的 数据平台工程师(实时方向)面经。面试时间:72 分钟面试方向:数据平台工程师(实时方向)面试工具:赛码网面试难度 : ⭐⭐⭐⭐原文链接:小红书数据平台工程师(实时方向)社招面经(附答案)流计算平台面试官: 不用自我介绍了,直

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈