04、Hadoop框架HDFS NN、SNN、DN工作原理
Hadoop框架HDFS NN、SNN、DN工作原理
spark运行架构和基础
基本 概念RDD:(官方概念）弹性分布式数据集，就是一个个的在内存里的数据。就是数据的基本单位，所有spark都是来操作他的 DAG 是有向无环图，它的作用主要是反应rdd之间的关系。 Excutor 就是一个容器，就像Hadoop的node一样，用来运行的 应用 顾名思义来编写spark程序的 任
RabbitMQ入门小结
RabbitMQ概述RabbitMQ是基于Erlang语言开发的开源消息通信中间件，官网地址：Messaging that just works — RabbitMQ
06、Hadoop框架HDFS读写流程
Hadoop框架HDFS读写流程
【如何成为SQL高手】第九关：高级复杂查询
高级复杂查询
在Windows系统上安装zookeeper
文章目录概述下载安装单机版集群版配置介绍概述ZooKeeper 是分布式应用程序的高性能协调服务。它在一个简单的界面中公开了常用服务，例如命名、配置管理、同步和组服务，因此可以不必从头开始编写它们。可以现成地使用它来实现共识、组管理、领导者选举和存在协议，也可以根据自己的特定需求在此基础上进行构建。
点击曝光日志的数据处理
点击曝光日志的基本处理方法
RabbitMQ之如何保证发送消息的可靠性?
1.消费发送的机制1.1消息发送我们都知道会先发送到交换机上，然后再根据定的路由规则，由交换机将消息路由到不同的 Queue（队列）中，再由不同的消费者去消费。如下图所以我们就应该保证消息成功到达交换机 和对列,如果都做到了纳闷我们消息就发送成功了对吧2.常见的方案2.1开启事务机制2.2 发送方确
Elastic Stack 8.0 安装 - 保护你的 Elastic Stack 现在比以往任何时候都简单
在 8.0 中，我们很高兴为所有用户带来简化的安全功能。 从 7.1 开始，我们向所有人免费提供了确保 Elastic Stack 安全所需的所有功能。然而，我们知道设置安全性并不好玩，你需要专注于你的项目目标。 好消息给你！ 从 8.0 开始，自管理集群默认启用 Elastic Stack 安全性
Flink常用算子
OperatorsmapDataStream → DataStreamflatMapDataStream → DataStreamfliterDataStream → DataStreamkeyByDataStream → KeyedStream对数据进行分流reduceKeyedStream/Ke
Linux 部署项目
文章目录：一、官网下载压缩包二、配置安装三、打包发布
开源云原生大潮下的消息和流系统演进
云原生的诞生是为了解决传统应用在架构、故障处理、系统迭代等方面的问题，而开源则为企业打造云原生的架构贡献了中坚力量。本文作者在全身心投入开源以及每日参与云原生的过程中，对开源行业和云原生流系统解决方案有了不一样的思考与实践。作者 | 李鹏辉 责编 | 唐小引出品 | 新程序员随着业务与环
你真的需要特征存储吗？
如无必要 勿增实体
Flink常见机制
反压机制Flink在1.5版本之前是基于TCP的流量控制和反压的。缺点：一个TaskManager执行的一个Task触发反压，该TaskManager和上游TaskManager的Socket就不能传输数据，从而影响到其他Task，也会影响到Barrier的流动，导致作业雪崩。在1.5版本之后，Fl
Flink中Barrier对齐机制
Barrier对齐机制以及Unaligned Checkpoints详解
Flink自定义实现端到端的exactly-once语义（java版本）
Flink 中有两个 Exactly-Once 语义实现，一个是 Kafka，另一个是 StreamingFileSink。参考他们实现的逻辑，来自定义实现MySQLSink的端到端exactly-once语义。分析：Flink的checkpoint机制（通过Chandy-Lamport）：JobM
归零，重新出发
犹记得三年半前的那个夏天，我加入了一家做职业教育培训有40年的公司（NIIT），在这个三年多的时间里面，我意外地从一名程序员变成了一名大数据培训讲师，意外地来到了贵师大大数据学院从事大数据教学工作，意外地喜欢上了教育培训行业，意外地变成了一个团队负责人，意外地让自己内心变得更加从容不迫，意外地发现自
这些题目都不会，面什么美团？(附答案)
大家好，我是土哥。大年初一和一位朋友聊天，说美团将他虐的很惨，然后他给土哥分享了一下大数据开发社招一面的面经。由于疫情，土哥被居家隔离了，所以美美的学习了4天，这不，给大家将面试答案总结出来。面试时间：90 分钟面试方向：大数据开发面试工具：电话面面试难度 :⭐⭐⭐⭐面试环节1 面试官：先做个自我介
Flink四大基石
CheckpointStateTimeWindow
元数据性能大比拼：HDFS vs OSS vs JuiceFS
背景存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中 3 个典型的存储方案来压测元数据的性能，来个大比拼。其中 HDFS 是被广为使用的大数据存储方案，已经经过十几年的沉淀和积累，是最合适的参考标杆。以 Amazon
