Apache Spark 的基本概念和在大数据分析中的应用
Apache Spark 是一个基于内存的分布式计算框架，旨在处理大规模数据集。它通过提供高效的数据处理和分析功能，帮助用户快速处理大量数据，并提供实时和批量数据处理。在本文中，我们将探讨 Apache Spark 的基本概念以及在大数据分析中的应用。
【入门Flink】- 10基于时间的双流联合（join）
Flink基于时间的双流联合
Zookeeper详解
提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache项目。（1）一般要求一个集群中，所有节点的配置信息是一致的，比如。(2）对配置文件修改后，希望能够快速同步到各个节点上。，整
Spring Boot进阶(89)：Spring Boot和Zookeeper搭建分布式系统，提高系统可靠性
Spring Boot和Zookeeper搭建分布式系统，提高系统可靠性！等你来学
python汽车大数据分析可视化系统【计算机毕业设计】大数据 （含源码）建议收藏
python汽车大数据分析可视化系统【计算机毕业设计】大数据 （含源码）建议收藏
Prometheus监控指标查询性能调优
01 背景在《SRE: Google运维解密》一书中作者指出，监控系统需要能够有效的支持白盒监控和黑盒监控。黑盒监控只在某个问题目前正在发生，并且造成了某个现象时才会发出紧急警报。“白盒监控则大量依赖对系统内部信息的检测，如系统日志、抓取提供指标信息的 HTTP 节点等。白盒监控系统因此可以检测到即
Flink+Flink CDC版本升级的依赖问题总结
flink 1.16 + flink-connector-mysql-cdc2.3 的依赖冲突问题总结。
Hive表DDL操作（一） 第3关：Alter 表/列
Hive表DDL操作（一）第3关：Alter 表/列
大数据开发之Hive案例篇9-Not yet supported place for UDAF ‘count‘
后面把order by子句注释掉之后，居然就可以了，那么就是order by 后面不能跟聚合函数了。一个很简单的group by和count(*) 操作，然后居然报错了。大概是在Oracle MySQL上写SQL写习惯了，以为可以这么写。于是使用了聚合函数的别名，问题搞定。出了问题也是不知道从何排查
大数据学习-bug03-HDFS web页面文件访问出错
HDFS的web页面显示报错
【大数据实训】基于当当网图书信息的数据分析与可视化(八)
温馨提示：文末有 CSDN 平台官方提供的博主 的联系方式，有偿帮忙部署。
【kafka】记一次kafka基于linux的原生命令的使用
环境是linux，4台机器，版本3.6，kafka安装在node 1 2 3 上，zookeeper安装在node2 3 4上。遇到不熟悉的sh文件，直接输入名字并回车，就会提示你可用的命令参数。安装好kafka，进入bin目录，可以看到有很多sh文件，是我们执行命令的基础。在其中的一台机器上起一个
一个基于Kafka客户端封装的工具，Kafka开发效率神器
topic列表topic创建topic删除topic的分区列表，分区和副本数删除groupId集群的节点列表消费者列表指定topic的活跃消费者列表生产数据到指定的topic,同步接口{"topic":"RULEa93304e6d844000","partition":1,"offset":681}
计算机毕设 大数据工作岗位数据分析与可视化 - python flask
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据的工作岗位数据分析与可视化🥇学
用hadoop-eclipse-plugins-2.6.0来配置hadoop-3.3.6
hadoop-eclipse-plugins这个插件是Eclipse中Hadoop的插件，但在寻找这个插件的过程中，突然发现插件的版本最好与hadoop的版本的一样。然后又试了试自己搭对应版本的hadoop-eclipse-plugins-3.3.6，一堆报错。，将hadoop-eclipse-pl
python爬虫利用代理IP分析大数据
本文介绍了代理IP的概念、分类和获取方法，并提供了使用Python爬虫利用代理IP分析大数据的代码案例。同时，需要注意代理IP的有效性，可以使用Python代码验证代理IP的有效性。这样，通过使用代理IP，就可以隐藏真实的IP地址，从而达到访问被封IP的网站、提高访问速度等效果。高匿代理IP也叫透明
Linux系统上搭建高可用Kafka集群（使用自带的zookeeper）
Apache Kafka 是一个高吞吐量的分布式消息系统，被广泛应用于大规模数据处理和实时数据管道中。本文将介绍在CentOS操作系统上搭建Kafka集群的过程，以便于构建可靠的消息处理平台。
@KafkaListener注解详解（一）| 常用参数详解
KafkaListener 注解提供了许多可配置的参数，以便更灵活地定制 Kafka 消息监听器的行为。
修炼k8s+flink+hdfs+dlink（六：学习k8s-pod）
【代码】修炼k8s+flink+hdfs+dlink（六：学习k8s）
【大数据之Hadoop】十七、MapReduce之数据清洗ETL
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将分散、零乱、标准不统一的数据整合到一起，为决策提供分析依据。ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。
