实时计算知识，最详细的整理
随着云计算、大数据等名词的流行，涌现出一大批相关的技术，其中Hadoop是较早出现的一种分布式架构，得到了大量的应用。本章先说明大数据和Hadoop的基本概念，之后介绍HDFS、MapReduce、YARN三个基本的Hadoop组件。除了基本组成部分，Hadoop生态圈中还有很多其他的工具组件，它们
Flink旁路输出特性简单实例：按照股价对股票进行数据分流并写出到文本文件
关于旁路输出的官方文档：https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/datastream/side_output/除了由 DataStream 操作产生的主要流之外，我们还可以产生任意数量的旁路输出结果
flink如何利用checkpoint保证数据状态一致性
flink如何利用checkpoint保证数据状态一致性
PySpark求解连通图问题
前文回顾：PySpark与GraphFrames的安装与使用https://xxmdmst.blog.csdn.net/article/details/123009617networkx快速解决连通图问题https://xxmdmst.blog.csdn.net/article/details/12
12、Hadoop框架MapReduce 统计人数、总分、关联
文章目录Hadoop框架MapReduce 统计人数、总分、关联数据Hadoop框架MapReduce 统计人数、总分、关联数据students.txt1500100001,施笑槐,22,女,文科六班1500100002,吕金鹏,24,男,文科六班1500100003,单乐蕊,22,女,理科六班15
阿里字节快手哔站2022年最新版大数据知识点总结
大家好，我是土哥。昨天有读者问土哥有没有总结所有文章，说他想看看，复习复习~所以，今天趁着周六，就花费了几个小时，将所有文章全部总结成 PDF 文档，这些文档已经帮助多位读者成功入职大厂。读者入职大厂1 读者入职阿里云2 读者入职网易3 读者入职 美团啦4 读者入职 顺丰科技土哥所有文章土哥校招提前
elasticsearch系统学习笔记9-聚合分析 Aggregations
elasticsearch系统学习笔记9-聚合分析 Aggregations概念分类指标聚合数据准备max 统计最大值min 统计最小值value_count 统计文档数量cardinality 基数统计（统计去重后的文档数量）avg 计算平均值sum 计算总和stats 基本统计extended_
漫谈数据治理一-数据老有问题，我们该如何提高数据质量?
一、前言大家好，我是王老狮，狮是工程师的狮哈。细心地小伙伴应该发现我改名字了，具体改名原因呢？毕竟过了一年了，我也成长了，DarkKing感觉有点太中二了，因此换个成熟稳重一点的名字。（难道我会告诉你我有起名困难症吗？）随着互联网后期以及物联网的崛起，甚至互联网公司们已经不满足现实世界，诞生了元宇宙
Elastic Stack 8.0 安装 - 保护你的 Elastic Stack 现在比以往任何时候都简单
在 8.0 中，我们很高兴为所有用户带来简化的安全功能。 从 7.1 开始，我们向所有人免费提供了确保 Elastic Stack 安全所需的所有功能。然而，我们知道设置安全性并不好玩，你需要专注于你的项目目标。 好消息给你！ 从 8.0 开始，自管理集群默认启用 Elastic Stack 安全性
Flink常用算子
OperatorsmapDataStream → DataStreamflatMapDataStream → DataStreamfliterDataStream → DataStreamkeyByDataStream → KeyedStream对数据进行分流reduceKeyedStream/Ke
Flink常见机制
反压机制Flink在1.5版本之前是基于TCP的流量控制和反压的。缺点：一个TaskManager执行的一个Task触发反压，该TaskManager和上游TaskManager的Socket就不能传输数据，从而影响到其他Task，也会影响到Barrier的流动，导致作业雪崩。在1.5版本之后，Fl
Flink中Barrier对齐机制
Barrier对齐机制以及Unaligned Checkpoints详解
Flink四大基石
CheckpointStateTimeWindow
ElasticSearch由浅入深
ElasticSearch由浅入深全套入门知识整理
Spark追妻系列(TopN案例和动作算子)
Spark中的TopN案例
大数据看惊天逆转+绝杀，亚洲杯时隔16年夺冠，恭喜女足
这个逆转真的是看得人热泪盈眶，女足姑娘们诠释了真正的足球精神！中国精神！全力以赴，一以贯之！铿锵玫瑰！
深入浅出Apache DolphinScheduler
Apache DolphinScheduler 是一个大数据调度任务框架。从当前的CSDN GitCode热度来看，在二月份排名第6位。那是相当的热门。Apache DolphinScheduler 是Apache旗下的开源项目，目前已经被Fork了2700次，Star了7.3k；这还是相当厉害了！
【大数据】OLAP架构及技术实现的演进简介
文章目录一、架构分类二、技术演进1、传统关系型数据库时期2、大数据技术时期一、架构分类OLAP名为联机分析，又称多维分析，什么是多维分析，指的是多种不同的维度审视数据，进行深层次分析。进行分析必不可少对数据进行下钻、上卷、切片、切块、旋转等操作，为了更加直观，我们可以使用立方体来表示。下钻：从高层次
基于疫情实时大数据报告数据，我用 Pyecharts 库制作了省位地图和轮播图
前几天有个学生娃子找我帮忙做点可视化的作业，其实倒是也不难，觉得挺有意思，这里拿出来给大家分享，主要是完成了轮播图的制作，显得作业高大上一些。需要技术交流，文末提供。数据来源首先是数据来源，来自百度疫情实时大数据报告，如下图所示。实现过程新增感染病例这里直接上代码和效果图，如下所示：from pye
2022虎年的期望和新年Flag
虎年到！10位科学家立下新年Flag，我们共同见证应《中国科学报》之邀，回答了两个问题：对2022有什么样的工作和生活上的期待？请立3个具体的新年Flag。以下为我的回复：1、对2022年的期待近年来，以RISC-V为代表的开源芯片生态呈现加速发展的趋势，但仍缺乏里程碑式的突破性进展。相比而言，20
