【大数据】Zab协议
Zab协议是为分布式系统设计的一种支持崩溃恢复的一致性协议。它主要用于实现分布式协调服务，如Apache ZooKeeper。Zab协议确保了分布式系统中所有节点的数据副本能够保持一致，即使在部分节点发生故障的情况下也能正常工作。
使用 Hadoop MapReduce 实现历年最高温度统计
0 : 1);作用：等待 MapReduce 作业完成，并根据作业的执行结果退出 Java 程序。含义提交作业并等待作业完成。根据作业是否成功，返回0或1。用于终止程序，并传递作业的成功或失败状态。
本地windows访问hadoop的hdfs并实现wordcount
下载地址直接下载zip文件，之后保留自己hadoop版本的或者相近版本的就可以，其他都删掉。 这里我保留的3.3.5 因为我的是3.3.1 ok下载完成.配置系统变量: 新建一个环境变量,并写入自己的依赖项路径. 然后再Path中配置:记得点确定!! 这里可能总共有三个确定,必须全点,否则没用.作
Hadoop MapReduce计算框架原理与代码实例讲解
Hadoop MapReduce计算框架原理与代码实例讲解1. 背景介绍1.1 问题的由来在大数据时代,海量的数据已经成为了企业和组织的宝贵资源。然而,如何高效地处理和分析这些庞大的数据集一直是一个巨大的挑战。传
IT技术分享--kafka消息大小设置
kafka消息大小默认为1M，当需要调整消息大小时，可通过以下方式配置，亲测有效。
如何在hadoop上进行词频统计（完全分布）
可以通过，web UI的方式查看是否上传成功。进入到这个页面，点击右上角的，Utilities，点击第一个选项，即可查看文件是否上传成功。不要自己创建output目录，如果自己创建了output目录会导致程序运行失败，也可以改一个没有碰到过的命令。那么最后，可以去HDFS的ui查看统计结果，结果存放
Hadoop3：HDFS-集群安全模式
Hadoop
大数据新视界 --大数据大厂之 Hadoop MapReduce 优化指南：释放数据潜能，引领科技浪潮
本文深入剖析 Hadoop MapReduce 优化方法。阐述其基础原理，包括编程模型、分布式计算流程等。在优化策略上，涵盖数据输入输出优化、代码优化，如选择合适压缩算法、合理分区、优化函数等，并给出示例代码。性能调优针对数据倾斜、内存溢出、任务并行度不合理等问题给出解决方案及对比。探讨与 Spar
使用Flink命令行和Java API远程提交Flink任务到Yarn
然后下载flink-runtime-web-1.15.0.jar、flink-connector-jdbc-1.15.0.jar、mysql-connector-java-8.0.29.jar，上传到HDFS的/flink/remote-submit-lib下。下载flink-clients-1.1
centos7安装MySQL8.0,HIVE（常见问题解决方法）
一、检查centos中是否安装过Mysql如果没有内容，则没有安装过，有过一下类似的，说明Centos安装过MySQL，要先安装新的mysql，需要卸载旧版本。写在之前，先将mysql停止，再卸载。执行 systemctl stop mysqld.service 在执行 rpm -qa |
大数据开发工程师必懂的Hive调优与实战保姆指南
一、数据仓库的定义与传统数据仓库的挑战数据仓库是什么呢？简单来说，它是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，主要目的是支持管理决策过程。在传统的数据仓库环境中，随着数据量不断地增长，单节点的关系型数据仓库逐渐暴露出一些问题。当处理海量数据时，它们会面临性能瓶颈和扩展性的难题。想
Spark Python Notebooks 教程
Spark Python Notebooks 教程 spark-py-notebooks Apache Spark & Python (pySpark) tutorials for Big Data Analysis and Mac
大数据新视界 --大数据大厂之 Spark Streaming 实时数据处理框架：案例与实践
本文深入介绍 Spark Streaming 实时数据处理框架，包括核心概念、与其他框架比较、应用场景、案例分析、实践技巧及挑战解决方案。通过丰富案例和代码示例展示其强大功能，为大数据实时处理提供参考。
探索自然语言处理的星辰大海：基于Apache Spark的斯坦福CoreNLP封装库
探索自然语言处理的星辰大海：基于Apache Spark的斯坦福CoreNLP封装库 spark-corenlpStanford CoreNLP wrapper for Apache Spark项目地址:https://gitcode.com/gh_mirrors/sp/spark-corenlp
基于大数据的二手房价数据可视化系统
【2025最新】基于大数据+大屏可视化+Python+Django+Vue+MySQL的二手房价数据分析及可视化系统。
【重磅升级】基于大数据的股票量化分析与预测系统
本项目利用 Python 网络爬虫技术从某财经网站网站实时采集A股各大指数、个股的 K线数据、公司简介、财务指标、机构预测、资金流向、龙虎榜等数据，并进行 KDJ、BOLL等技术指标的计算和收益率的量化计算，构建股票数据分析与预测系统，深入挖掘板块热点、资金流向、市场估值等，并利用 Tensorfl
RabbitMQ快速入手
RabbitMQ快速入手
Hive：HQL
Hive：HQL
Centos7环境下Hive的安装
Hadoop集群(Hadoop搭建集群安装HBase数据库(HBase数据库搭建。
数仓表命名规范
格式举例：ods_mysql_bu_user_order_di，表示数据仓库中的ods层表，来源为mysql数据库，属于数据域bu，包含用户和订单信息，按天进行分区。- 层级：数据仓库中表的层级，包括：ods、dwd、dwc、dwb、dws、ads、dm、app、dim、tmp。格式举例：dws_h
