大数据毕设 大数据招聘岗位数据分析与可视化 - 爬虫 python 大屏可视化
该项目一共分为三个子任务完成，数据采集—数据预处理—数据分析/可视化。项目流程图项目架构图Flask是一个基于Werkzeug和Jinja2的轻量级Web应用程序框架。与其他同类型框架相比，Flask的灵活性、轻便性和安全性更高，而且容易上手，它可以与MVC模式很好地结合进行开发。Flask也有强大
zookeeper mac安装
这边工作中用到了zookeeper组件，但自己独立安装弄的不太多，这边本机mac装一个做测试使用以下是安装记录，可以作为参考从以下链接zookeeper版本列表，可以选择自己要用的版本。
设置RabbitMQ超时时间
RabbitMQ默认的超时时间是30分钟，在消息消费超过30分钟后，rabbitMQ会发生错误，导致整个channel被销毁，无法继续消费。值得注意的是，这个事临时更改，永久更改需要进入rabbit.conf文件里修改。在RabbitMQ安装的终端执行。命令，将超时时间延长。可以查看设置的超时值。
Spark 9：Spark 新特性
由于缺乏或者不准确的数据统计信息(元数据)和对成本的错误估算(执行计划调度)导致生成的初始执行计划不理想，在Spark3.x版本提供Adaptive Query Execution自适应查询技术，通过在”运行时”对查询执行计划进行优化, 允许Planner在运行时执行可选计划,这些可选计划将会基于运
InVEST模型| 软件安装与固碳模块的使用
InVEST模型（Integrated Valuation of Ecosystem Services and Tradeoffs）即生态系统服务评估与权衡模型，可于评估生态系统服务功能量及其经济价值、支持生态系统管理和决策的一套模型系统，包括陆地、淡 水和海洋三类生态系统服务评估模型。
Dubbo引入Zookeeper等注册中心简介以及DubboAdmin简要介绍，为后续详解Dubbo各种注册中心做铺垫！
本文是Dubbo从入门到上天系列文章中第十八篇，在本篇文章中我详细介绍了Dubbo引入注册中心的意义、作用、好处为后续详细介绍Dubbo适配各类注册中心打下基础！并且对DubboAdmin进行了简要的介绍，后边我们会有更加详细的介绍！
大数据-玩转数据-Flink 海量数据实时去重
布隆过滤器的原理是，当一个元素被加入集合时，通过K个散列函数将这个元素映射成一个位数组中的K个点，把它们置为1。布隆过滤器的原理是，当一个元素被加入集合时，通过K个散列函数将这个元素映射成一个位数组中的K个点，把它们置为1。2.只能插入和查询元素，不能删除元素，这与产生假阳性的原因是相同的。假阳性的
解决Kafka新消费者组导致重复消费的问题
通过使用唯一的消费者组ID、利用Kafka的消费者组协调器或手动管理消费者偏移量，我们可以避免重复消费并确保消息的正常处理。无论是使用唯一的消费者组ID、利用Kafka的消费者组协调器，还是手动管理消费者偏移量，都需要根据团队的实际情况来进行选择和配置。如果我们使用相同的消费者组ID，Kafka会将
Windows安装Hadoop3.x及在Windows环境下本地开发
在Windows环境下安装与配置Hadoop3.x版本，以及在Windows环境下结合Hadoop环境进行本地开发。
如何做 Kafka 的性能测试
如何做 Kafka 的性能测试
Kafka 之生产者与消费者基础知识：基本配置、拦截器、序列化、分区器
自定义生产者拦截器类需要继承 org.apache.kafka.clients.producer.ProducerInterceptor，并实现其中的方法：onSend(ProducerRecord record)是发送消息之前的切面方法；onAcknowledgement(RecordMetada
Kafka中的leader选举算法Raft
Apache Kafka是一种流行的分布式消息队列系统，它被广泛用于解决现代应用程序中的数据传输问题。它支持高吞吐量和低延迟，可通过多个生产者分区、消费者组和分区复制实现高可靠性分布式系统。在Kafka集群中，每个分区都有一个Leader节点，负责处理该分区所有的读写请求。Leader节点会通过Zo
Hive内部表（管理表）和外部表的区别【重点】
一、内部表和外部表的区别： 内部表和外部表的区别可以从三方面讨论，创建表时、删除表时、选择表时： ...
ElasticSearch分页查询
注意：使用search after分页from必须为0或-1，或者不填，排序的选项必须唯一，可以根据多个条件来排序，也可以根据pit来做search_after条件做排序，不然分页查询会漏数据，下次查询的search after的值为上次查询最后一个sort的值。当我们请求结果的第1页（结果从 1
demo(三)eureka&ribbon&hystrix----服务降级熔断
1、雪崩： 多个微服务之间调用的时候，假如微服务A调用微服务B和微服务C，微服务B和微服务C又调用其他的微服务，这就是所谓的"扇出"。服务出现故障时，给故障服务降级到事先准备好的故障处理结果，将此结果返回给服务消费者，如：客户端访问服务1，服务1调用服务2，服务2出现故障，Hystrix服务降级，返
spark3.3.x处理excel数据
ps:刚开始用的3.3.3_0.20.1这个版本的不可用，具体报啥错忘了，降到3.3.1_0.18.5该版本正常。2、使用自定义schema（该方法如果excel文件第一行不是所需数据，需手动限制读取的数据范围）1、直接使用excel文件第一行作为schema。或项目里配置pom.xml。
基于Hadoop大数据技术和协同过滤算法的就业推荐系统
基于Hadoop大数据技术和协同过滤算法的就业推荐系统
6 Hive引擎集成Apache Paimon
想要在Hive中操作Paimon，首先需要在Hive中配置Paimon的依赖，此时我们需要用到一个jar包：paimon-hive-connector。
第1关：Hive 的 Alter Table 操作
Alter 表/列第1关：Hive 的 Alter Table 操作
spark的安装与部署
为了避免MapReduce框架中多次读写磁盘带来的消耗，以及更充分地利用内存，加州大学伯克利分校的AMP Lab提出了一种新的、开源的、类Hadoop MapReduce的内存编程模型Spark。一、spark是什么？Spark是一个基于内存的大数据并行处理框架，其最初由加州大学伯克利分校的AMP
