大数据开发--1.1大数据概论
数据大数据定义大数据处理的数据量有多大？大数据解决什么问题？
【大数据】Zab协议
Zab协议是为分布式系统设计的一种支持崩溃恢复的一致性协议。它主要用于实现分布式协调服务，如Apache ZooKeeper。Zab协议确保了分布式系统中所有节点的数据副本能够保持一致，即使在部分节点发生故障的情况下也能正常工作。
使用 Hadoop MapReduce 实现历年最高温度统计
0 : 1);作用：等待 MapReduce 作业完成，并根据作业的执行结果退出 Java 程序。含义提交作业并等待作业完成。根据作业是否成功，返回0或1。用于终止程序，并传递作业的成功或失败状态。
本地windows访问hadoop的hdfs并实现wordcount
下载地址直接下载zip文件，之后保留自己hadoop版本的或者相近版本的就可以，其他都删掉。 这里我保留的3.3.5 因为我的是3.3.1 ok下载完成.配置系统变量: 新建一个环境变量,并写入自己的依赖项路径. 然后再Path中配置:记得点确定!! 这里可能总共有三个确定,必须全点,否则没用.作
大数据-165 Apache Kylin Cube优化 案例 2 定义衍生维度及对比 & 聚合组 & RowKeys
省略Model等操作。构建前面Cube4类似的Cube7，仅在维度定义有区别。(我这里是Clone Cube4，然后修改的)wzk_test_kylin_cube_7的字段中，都是Normal：在单个聚合组中，可以对维度进行设置，包括强制维度、层级维度、联合维度。强制维度：指的是那些总会出现在Whe
如何在hadoop上进行词频统计（完全分布）
可以通过，web UI的方式查看是否上传成功。进入到这个页面，点击右上角的，Utilities，点击第一个选项，即可查看文件是否上传成功。不要自己创建output目录，如果自己创建了output目录会导致程序运行失败，也可以改一个没有碰到过的命令。那么最后，可以去HDFS的ui查看统计结果，结果存放
大数据新视界 --大数据大厂之 Hadoop MapReduce 优化指南：释放数据潜能，引领科技浪潮
本文深入剖析 Hadoop MapReduce 优化方法。阐述其基础原理，包括编程模型、分布式计算流程等。在优化策略上，涵盖数据输入输出优化、代码优化，如选择合适压缩算法、合理分区、优化函数等，并给出示例代码。性能调优针对数据倾斜、内存溢出、任务并行度不合理等问题给出解决方案及对比。探讨与 Spar
Apache Storm实时流处理的核心技术
Apache Storm 是一个流处理引擎，它可以持续处理不断到来的数据流（streams）。Storm 允许用户构建拓扑（Topology）来定义数据流的路径以及处理的逻辑。在这种拓扑中，数据从源（Spout）开始流入，通过一系列的处理节点（Bolt）进行转换或处理，最终得到输出结果。Storm
Apache Doris介绍
Apache Doris 如今在中国乃至全球范围内都拥有着广泛的用户群体，截止目前，Apache Doris 已经在全球超过 4000 家中大型企业的生产环境中得到应用，在中国市值或估值排行前 50 的互联网公司中，有超过 80% 长期使用 Apache Doris，包括百度、美团、小米、京东、字节
Spark高级用法-数据源的读取与写入
使用read和write实现数据导入导出读取mysql数据库的原始数据表在将读取到的数据导入数仓中。
Apache Seatunnel Zeta引擎-启动脚本分析
引擎的集群模式启动的第一步是执行脚本，所以先来学习下这个脚本。
hadoop_core-site.xml配置实例
hadoop3.2.3的高可用集群core-site.xml配置实例。
大数据开发工程师必懂的Hive调优与实战保姆指南
一、数据仓库的定义与传统数据仓库的挑战数据仓库是什么呢？简单来说，它是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，主要目的是支持管理决策过程。在传统的数据仓库环境中，随着数据量不断地增长，单节点的关系型数据仓库逐渐暴露出一些问题。当处理海量数据时，它们会面临性能瓶颈和扩展性的难题。想
Git常用操作
Git 是一个强大的版本控制系统，用于管理代码仓库，追踪历史变更以及协作开发。
基于大数据的二手房价数据可视化系统
【2025最新】基于大数据+大屏可视化+Python+Django+Vue+MySQL的二手房价数据分析及可视化系统。
【重磅升级】基于大数据的股票量化分析与预测系统
本项目利用 Python 网络爬虫技术从某财经网站网站实时采集A股各大指数、个股的 K线数据、公司简介、财务指标、机构预测、资金流向、龙虎榜等数据，并进行 KDJ、BOLL等技术指标的计算和收益率的量化计算，构建股票数据分析与预测系统，深入挖掘板块热点、资金流向、市场估值等，并利用 Tensorfl
数仓表命名规范
格式举例：ods_mysql_bu_user_order_di，表示数据仓库中的ods层表，来源为mysql数据库，属于数据域bu，包含用户和订单信息，按天进行分区。- 层级：数据仓库中表的层级，包括：ods、dwd、dwc、dwb、dws、ads、dm、app、dim、tmp。格式举例：dws_h
全院级、流程化的医院安全不良事件管理系统源码——等级医院评审工作的辅助工具
冰山理论”指出“每件严重不良事件背后可能隐藏着10件轻微的不良事件”“存在30件未造成伤害的差错可能存在600件引发意外的异常事件”没有一件不良事件应该被忽视！一项研究也指出95%医生曾目睹错误的发生，61%的医务人员认为医疗错误是常规医疗工作的一部分，而错误的85%是由不当的系统造成的，而非不良的
大数据与人工智能：基础与应用的多维思考
大数据与人工智能：基础与应用的多维思考
如何用AI智能剪辑一键成片？免费工具，1分钟教会你落地操作！
你现在不去学习，不去努力，一年后，三年后，五年后，你可能还是停留在过去的时代。当你深入到AI领域的时候，你就会发现，我们现在每天花大量时间去做的事情，还没有AI，几分钟做出来的效果好。事实上，结合之前我给大家讲的思路，直接购买，或是下载旅游风景素材，接下来，可以在这里直接导入进去自动剪辑即可。下面就
