数据架构的实时分析：Apache Flink 和 Apache Storm 的比较
1.背景介绍实时数据处理在大数据领域具有重要意义，它可以帮助企业更快地获取和分析数据，从而更快地做出决策。随着数据量的增加，传统的批处理方法已经不能满足企业的需求，因此需要使用实时数据处理技术。Apache Flink 和 Apache Storm 是两个流行的实时数据处理框架，它们都可以处理大量数
Spark基础知识
Apache Spark是用于大数据处理的统一分析引擎;
Hadoop HA部署过程中出现主备namenode或datanode挂掉的问题
在部署Hadoop HA的过程时，当进行到hdfs namenode -format格式化这一步骤时显示查阅多篇文章分析可知其原因是节点之间无法通信，所以无法建立连接。
Flink 维表关联方案
Flink 维表关联方案
Git（三）.git 文件夹详解
Git（三）.git 文件夹详解
Flink-SQL join 优化 -- MiniBatch + local-global
Flink-SQL 在多流join时，若数据过多，既会增加内存开销，也会导致container超时，checkpoint失败，因此要尽量减少参与计算数据量，优化聚合算子
2024 .1.7 Day05_Spark_HomeWork； Spark_SQL
需要手动指定schema信息.如果手动指定的时候,名称字段与json中的key名称不一致,会解析不成功, 以null值填充。csv/json中schema的结构,如果是字符串类型,那么字段名称和字段数据类型间,只能以空格分隔。1. Sparksql是基于内存计算 , Hivesql底层是运行在Mr上
大数据OLAP引擎发展原因及特性分析
大数据OLAP分析能力，纯计算的有：MapReduce、SparkSql、FlinkSql，这些都是可以灵活构建在存储系统之上，拥有数据处理和分析能力；存算嵌合的组件有：Hive、Impala、Druid、kylin、ES、ClickHouse、Doris，这些都具备OLAP分析能力，实时分析还拥有
智能算法实现PID智能车控制系统
本文选择了内模控制方法进行主要研究根据等效反馈结构，将内模控制方法引入 PID控制器的设计，得到PID参数的明确解析结果。针对典型的工业过程控制对象(一阶和二阶纯滞后过程)根据内模控制原理提出了一种 PID控制器参数整定的新方法针对一类不稳定时滞过程，采用双环控制结构，首先选取P控制器参数，使得广义
分布式消息队列：Kafka vs RabbitMQ vs ActiveMQ
1.背景介绍在现代分布式系统中，消息队列是一种常见的异步通信模式，它可以帮助系统处理高并发、高可用性以及容错等问题。在这篇文章中，我们将深入探讨三种流行的分布式消息队列：Apache Kafka、RabbitMQ和ActiveMQ。我们将讨论它们的核心概念、算法原理、特点以及使用场景。1.1 背景
毕业设计：python全国天气气象数据爬取分析可视化系统+大屏+大数据（源码+文档）
毕业设计：python全国天气气象数据爬取分析可视化系统+大屏+大数据（源码+文档）
【Flink 从入门到成神系列 一】算子
鲁迅先生曾说：独行难，众行易，和志同道合的人一起进步。彼此毫无保留的分享经验，才是对抗互联网寒冬的最佳选择。其实很多时候，并不是我们不够努力，很可能就是自己努力的方向不对，如果有一个人能稍微指点你一下，你真的可能会少走几年弯路。如果你也对后端架构和中间件源码，一起学习，一起成长我是爱敲代码的小黄，阿
大数据编程期末大作业2023
本篇文章讲解Spark编程基础这门课程的期末大作业，主要围绕Hadoop基本操作、RDD编程、SparkSQL和SparkStreaming编程展开。
利用新媒体平台，彩妆化妆工具市场如何挖掘潜在客户
新媒体平台可以为企业提供一个良好的线上营销平台。企业可以利用新媒体平台展示自己的产品，向消费者展示产品特点，增加消费者对产品的兴趣，更好地推广产品。
数据仓库BW与大数据平台，到底如何取舍？
刷到这篇文章的同学，对这个问题有困惑，看看我说清楚了没有。
spark与scala的对应版本查看
https://mvnrepository.com/artifact/org.apache.spark/spark-core总结
Flink实时电商数仓（九）
gitee仓库地址：(https://gitee.com/langpaian/gmall2023-realtime)统计各窗口加购独立用户数，写入Doris。
认识Git
世界上最强大的分布式管理控制器——Git它来了！今天起，逐步更新Git的文章，那么话不多说，开启我们今天的话题！
Hadoop YARN CGroup 实践
Hadoop YARN CGroup 生产实践
java智慧工地源码，互联网+建筑工地，实现对工程项目内人员、车辆、安全、设备、材料等的智能化管理
智慧工地全套源码，微服务+Java+Spring Cloud +UniApp +MySql；支持多端展示（大屏端、PC端、手机端、平板端）演示+自主版权。智慧工地概念：智慧工地就是互联网+建筑工地，是将互联网+的理念和技术引入建筑工地，然后以物联网、移动互联网技术为基础，充分应用BIM、大数据、人工
