hive4.0.0部署以及与MySQL8.4连接
在开始之前，需要在主机上准备好MySQL数据库，并且已经完成了hdfs和yarn的部署。
租房新时代：Django+Hadoop+Scrapy可视化推荐系统
租房新时代：Django+Hadoop+Scrapy可视化推荐系统 【下载地址】DjangoHadoopScrapy租房可视化推荐系统源码分享 本仓库提供了一个基于Django、Hadoop和Scrapy的租房可视化推荐系统源码。该
大数据回归分析
回归分析是一种统计学方法，主要用于探究变量间的相互关系。它旨在揭示一个或多个自变量（独立变量）如何影响因变量（依赖变量）的变化。通过构建回归模型，我们可以描述数据间的内在联系，并预测因变量的未来值。该方法基于数理统计原理，通过对大量数据进行数学处理，确定因变量与某些自变量的相关性，建立回归方程，并用
基于大数据+爬虫技术+数据可视化的国漫推荐系统设计和实现(源码+论文+部署讲解等)
国漫推荐系统是一款专为中国动漫爱好者设计的个性化推荐系统，旨在提供精准的内容推荐，满足用户多样化的观看需求。该系统通过分析用户的视频分类、国漫视频、视频信息、漫画信息、投票信息等数据，利用机器学习和数据挖掘技术构建用户画像和内容标签体系。结合实时更新的国漫资源库，系统能够为用户推荐最新、最热、最符合
单机部署hadoop&单机上的伪多机部署&基于docker的模拟多机部署
书写规则时，需要显式指定datanode, 以2个datanode的方式为例,需要写4配置项:(not recommend): 设置Application Master的环境变量，指定Hadoop MapReduce的安装路径。: 设置NodeManager上运行的辅助服务，这里是MapRed
Hadoop的安装
由于Hadoop不直接支持Windows系统，因此，需要修改一些配置才能运行。进到目录：E:\hadoop-3.4.0\etc\hadoop。PS：此文件中已有标签，可以直接覆盖掉。PS：此文件中已有标签，可以直接覆盖掉。PS：此文件中已有标签，可以直接覆盖掉。PS：此文件中已有标签，可以直接覆盖掉
【环境搭建】Apache ZooKeeper 3.8.4 Stable
Apache ZooKeeper 3.8.4 Stable的环境搭建记录
（计算机毕设选题推荐）基于python爬虫对大数据招聘岗位的分析与研究
摘要随着互联网技术的迅猛发展，大数据已成为企业核心竞争力的关键要素之一，大数据相关岗位的需求也随之激增。为了深入理解当前大数据招聘市场的现状、趋势及岗位需求特点，本文利用Python爬虫技术，从主流招聘网站中爬取了大量大数据相关岗位的招聘信息。通过对这些数据进行清洗、处理和分析，本文揭示了大数据岗位
最全Kafka知识宝典之生产者深度剖析
我们有以下需求，根据key进行分区，如果为空或者不以数字结尾则分配到0分区，否则，拿结尾的数字与分区数求余/*** 自定义分区：根据key进行分区，如果为空或者不以数字结尾则分配到0分区，否则，拿结尾的数字与分区数求余*/@Override@Overridereturn 0;n = n < 0?re
基于Hadoop的天气预报数据爬取与可视化分析系统
基于 Hadoop 的天气预报数据爬取与可视化分析系统是一款强大的气象信息处理工具。它充分利用 Hadoop 的分布式存储和计算能力，能够高效地处理海量的气象数据。该系统首先具备强大的数据爬取功能，通过网络爬虫技术从各种权威气象数据源获取实时和历史的天气预报数据，包括气温、湿度、气压、风力、降水等多
大数据-226 离线数仓 - Flume 优化配置 自定义拦截器 拦截原理 拦截器实现 Java
前面FlumeAgent的配置使用了本地时间，可能导致数据存放的路径不正确。要解决上面的问题就需要使用自定义拦截器。Agent用于测试自定义拦截器，source => logger sink# a1是agent的名称。source、channel、sink的名称分别为：r1 c1 k1# sourc
Spark 程序开发与提交：本地与集群模式全解析
本文将深入探讨 Spark 程序在本地开发并远程提交到集群测试的过程，以及使用 spark - submit 脚本在集群模式下提交程序的相关知识，包括参数配置、运行模式等内容。
python基于Spark的温布尔登特色赛赛事数据分析预测及算法
Django-Admin来自django.contrib也就是Django的标准库，默认被配置好，只需要激活启用即可，它的优势在于可以快速对数据库的各个表进行增删改查，一行代码即可管理一张数据库表，相比于手动后台1个模型一般需要4个urls，4个视图函数和4个模板，可以说Django完成了一个程序编
kafka之视频和图片文件
在 Kafka 中存储视频或图片的格式通常取决于应用场景和传输的需求。Kafka 是一种分布式的流处理平台，设计用来处理事件流或消息流，。
DBeaver工具连接Hive
DBeaver工具连接Hive首先解压安装包dbeaver-ce-latest-x86_64-setup.zip，并安装dbeaver-ce-latest-x86_64-setup.exe；安装Kerberos客户端4.1-amd64.msi；查看集群节点/etc/hosts文件内容，并追加到C:\
【1】 Kafka快速入门-从原理到实践
本文全面深入地介绍了 Kafka 的历史、核心结构、重点概念、使用场景、工作模式以及在 Python 中的使用方法。Kafka 作为一款强大的分布式消息队列系统，在大数据处理、实时流处理、日志收集等众多领域都有着广泛的应用。通过理解其核心原理和掌握 Python 操作 Kafka 的基本方法，开发者
Java使用RabbitMQ的详细教程（原生框架）
RabbitMQ是一个实现了高级消息队列协议（AMQP）的开源消息代理软件，它使用Erlang编程语言编写，具有高并发、分布式、可靠性强等特点，非常适合用于构建分布式消息中间件。Java可以通过RabbitMQ的客户端库与其进行通信，实现消息的发送和接收。
大数据学习06之Zookeeper
现如今，对于多数大型互联网应用，主机众多、部署分散，而且现在的集群规模越来越大，节点只会越来越多，所以 节点故障、网络故障是常态，因此分区容错性也就成为了一个分布式系统必然要面对的问题。那么就只能在 C 和 A 之间进 行取舍。但对于传统的项目就可能有所不同，拿银行的转账系统来说，涉及到金钱的对于数
Flink ClickHouse连接器指南及常见问题解答
Flink ClickHouse连接器指南及常见问题解答 flink-connector-clickhouse Flink SQL connector for ClickHouse. Support ClickHouseCatalo
Kafka Exporter 安装与配置指南
Kafka Exporter 安装与配置指南 kafka_exporter Kafka exporter for Prometheus 项目地址:
