（超详细）Spark on Yarn安装配置
（超详细）Spark on Yarn安装配置，附有详细步骤，详细代码，注意事项提示
Hadoop 集群
可以访问的 web 页面全部绑定了 127.0.0.1。禁止外部访问，需要访问可以使用 nginx 反向代理 增加鉴权之后暴露出去。如果不需要可以替换 IP。
Why choose Flink for real-time processing
Why choose Flink[1] Streaming data more truly reflects our lifestyle (real-time chat);[2] Traditional data architecture is based on limited data sets
信息系统项目管理师024：大数据（2信息技术发展—2.2新一代信息技术及应用—2.2.3大数据）
①采用MPP架构的新型数据库集群，通过列存储、粗粒度索引等多项大数据处理技术和高效的分布式计算模式，实现大数据存储：②围绕Hadoop衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，通过扩展和封装Hadoop来实现对大数据存储、分析的支撑：③基于集成的服务器、存储设备、操作系统、数
她看了这篇文章后竟让霸总怒甩八百万——Spark？？
Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。Hadoop的核心组件是HDFS、MapReduce。MapReduce是一个分布式运算程序的编程框架，其核心功能为把用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上
【Spark Graphx 系列】Pregel PeriodicCheckpointer原理场景示例源码详解
[【Spark Graphx 系列】Pregel PeriodicCheckpointer原理场景示例源码详解]
Flink 大数据 学习详情
flink提交作业和执行任务，需要几个关键组件：客户端（client）：代码由客户端获取并作转换，之后提交给 jobManagerJobManager：就是flink集群里的“管事人”，对作业进行中央调度管理；
Flink 资源管理
在Flink中，资源管理是一个核心组件，它负责分配和管理计算资源，以确保任务能够高效、稳定地运行。资源管理的目标高效性：确保任务能够充分利用可用的计算资源，达到最佳的处理性能。稳定性：在资源不足或任务失败时，能够优雅地处理并恢复任务，保持系统的稳定运行。资源管理的组件：由Flink Master（也
spark大数据技术与应用
但是，如果计算过程中涉及数据交换，Spark 也是会把 shuffle 的数据写磁盘的！有一个误区，Spark 是基于内存的计算，所以快，这不是主要原因，要对数据做计算，必然得加载到内存，Hadoop 也是如此，只不过 Spark 支持将需要反复用到的数据给 Cache 到内存中，减少数据加载耗时，
HBase 进阶
每一个 region 维护着 startRow 与 endRowKey，如果加入的数据符合某个 region 维护的rowKey 范围，则该数据交给这个 region 维护。那么依照这个原则，我们可以将数据所要投放的分区提前大致的规划好，以提高 HBase 性能。1）手动设定预分区2）生成 16 进
spark 数据序列化和内存调优（翻译）
由于大多数Spark计算的内存性质，Spark程序可能会被集群中的任何资源瓶颈：CPU、网络带宽或内存。大多数情况下，如果数据能放在内存，瓶颈是网络带宽，但有时，您还需要进行一些调整，例如以序列化形式存储RDD，以减少内存使用。本指南将涵盖两个主要主题：数据序列化，这对良好的网络性能至关重要，也可以
【大数据】Flink SQL 语法篇（五）：Regular Join、Interval Join
Join 其实在我们的数仓建设过程中应用是非常广泛的。离线数仓可以说基本上是离不开 Join 的。那么实时数仓的建设也必然离不开 Join，比如日志关联扩充维度数据，构建宽表；日志通过 ID 关联计算 CTR。
大数据的智慧水务信息共享数据中心的研究与应用
上海安科瑞电气股份有限公司 胡冠楠咨询家：“Acrelhgn”，了解更多产品资讯摘要：大数据技术与水务产业深度融合是我国智慧水务发展的必然趋势。 结合新时代背景下的水务工作开展的情 况，重点结合自身从事水务管理工作的实践经验，多角度分析了智能水务信息共享数据中心的应用中注意要点， 并结合具体的水务业
Spark Streaming 计算窗口的理解
spark streaming 窗口操作
大数据集群管理软件 CDH、Ambari、DataSophon 对比
DataSophon也是个类似的管理平台，只不过与智子不同的是，智子的目的是锁死人类的基础科学阻碍人类技术爆炸，而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。
中等职业学校大数据课程建设方案
泰迪智能科技中等职业学校大数据课程建设方案
大数据技术学习-部署Hadoop完全分布式
本篇文章是本人基于一学期的Hadoop大数据技术原理与应用学习后的总结和感悟，内容包含了配置虚拟机和基于完全分布式模式部署Hadoop
尾矿库安全监测系统的主要内容和平台
尾矿库安全监测系统是保障尾矿库安全运行的重要手段，通过对尾矿库进行实时监测，可以及时发现潜在的安全隐患，为采取相应的措施提供科学依据。通过对变形因素、相关因素及诱因因素信息的相关分析处理，对灾变体的稳定状态和变化趋势做出判断，同时揭示滑坡、泥石流、崩塌的空间分布规律，对未来可能发生灾害的地段（点）做
Flink——芒果TV的实时数仓建设实践
Flink——芒果TV的实时数仓建设实践
Spark 核心API
这两个函数是 PairRDDFunctions 的匿名类中的函数，从 PairRDDFunctions 的名称中可以知道，PairRDDFunctions 是真的键值对的，也就是说 RDD 中的数据是键值对的时候，我们可以调 PairRDDFunctions 的函数，scala 这个功能好像类的被动
