数据开发/数仓工程师上手指南(三)数仓构建流程
定义关键绩效指标与业务用户和管理层讨论，确定需要在数据仓库中跟踪的KPI。常见KPI招标项目数：总数、按月分布等。投标公司数：总数、每项目投标公司数等。中标率：按项目、按公司等。平均投标时间：从公告发布到投标截止的时间。评标时间：从投标截止到评标完成的时间。定义维度和构建总线矩阵（Bus Matri
Hadoop 中的大数据技术：调优篇（2）
HDFS默认情况下，一个文件有3个副本，这虽然提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop 3.x引入了纠删码机制，通过计算方法，可以节省大约50%的存储空间。
基于Hadoop平台的电信客服数据的处理与分析④项目实现：任务16：数据采集/消费/存储
数据生产”的程序启动后，会持续向callLog.csv文件中写入模拟的通话记录。接下来，我们需要将这些实时的数据通过Flume采集到Kafka集群中，然后提供给HBase消费。：是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类
CDH 6.3.1 史上最全安装手册
因项目需要CDH，经过十来次的重复安装，反复踩坑、填坑、验证，终于了今日的成功。
交易积累-MACD
MACD（Moving Average Convergence Divergence，即移动平均收敛发散指标）是由Gerald Appel于1970年代后期发明的一种趋势跟踪动量指标。由于MACD结合了趋势跟踪和动量指标的特点，它是许多交易者和分析师在市场分析中的重要工具之一。：通常选取12日指数移
云端数据挖掘：释放大数据潜力的智能钥匙
随着大数据时代的到来，数据已经成为企业和组织最宝贵的资源之一。然而，如何有效利用这些数据，挖掘出有价值的信息和洞察，成为了一个挑战。云服务提供了一种灵活、可扩展的解决方案，允许用户在云端进行数据分析和处理。本文将详细介绍如何使用云服务进行数据分析，并提供一些示例代码，以帮助读者更好地理解和应用这一技
大数据-85 Spark 集群 RDD创建 RDD-Action Key-Value RDD详解 RDD的文件输入输出
上节完成了SparkRDD的创建，从集合、文件、RDD创建 RDD的方式，并且详细介绍了 Transformation的操作内容。本节研究Spar的RDD的Action、Key-Value RDD。都需要先把文件当做普通文件来读取数据，然后通过将每一行进行解析实现对CSV的提取。通过 objectF
基于Spark的商品推荐系统设计与实现
在数字化时代的浪潮下，大数据已经渗透到社会的各个领域，特别是在电子商务领域，商品信息的丰富性和用户需求的个性化使得传统的推荐方法难以满足现代商业的需求。它通过计算用户之间的相似度或商品之间的相似度，找到与目标用户兴趣相似的其他用户或与目标商品相似的其他商品，然后根据这些相似用户或商品的评分和偏好，为
ESP32+SX1302=目前市场上最低成本LORAWAN网关=成本低于300元
进行数据交互，其中设备发往服务器的通道称为上行通道，服务器发往设备的通道。设备在上电和配置信息更改时，会发送配置信息。信号的地方，可以获取到经纬度和海拔，说明。测试以太网，将设备接入路由器，设备能以。至此，各硬件功能都验证完成，测试通过。设备支持命令行进行配置，请使用。设备支持命令行进行配置，请使用
大数据ETL开发之图解Kettle工具（入门到精通）
XML可扩展标记语言eXtensible MarkupLanguage，由W3C组织发布，目前推荐遵守的是W3C组织于2000年发布的XML1.0规范。XML用来传输和存储数据，就是以一个统一的格式，组织有关系的数据，为不同平台下的应用程序服务。
企业中的几种快速传输大文件的使用方法，你GET到了吗
FileLink遵循国家和行业的相关法规和标准，保障了文件交换的合法性和合规性。同时，它还支持多种文件交换策略，如文件有效期、下载次数、转发权限、水印设置等，满足了不同文件的安全需求和业务需求。FileLink跨网文件交换系统因其高效、安全、便捷的特性，在企业文件交换领域中脱颖而出，成为许多用户和企
在CentOS7部署Hadoop
Hadoop部署安装教程
大数据之路 读书笔记 Day8 数据存储
大数据之路 读书笔记 Day8 数据存储
尚硅谷电商实时数仓笔记-《二》数仓建模概述
数仓建模概述
【Bigdata】Molap和Rolap的差异
数据存储：MOLAP 使用多维数据立方体和专有数据格式，ROLAP 使用关系数据库和标准SQL。查询性能：MOLAP 具有更高的查询性能，而 ROLAP 的查询性能相对较低但可以处理更大的数据集。扩展性：ROLAP 具有更高的扩展性，能够处理大规模数据并支持动态数据更新。MOLAP 在处理大规模数据
地方招商之变：告别税收引商，产业链招商成新引擎！
8月1日，我国实施《公平竞争审查条例》，标志着地方“税收奖补”式招商引资模式日暮途穷。地方招商引资模式正在向基于数字化基础的“产业链招商”模式转型，产业链招商通过补链强链、供应吸附、资源共聚等方式能够有效提高招商质量和效率，促进产业集群，降低产业风险，帮助区域提升产业链水平、完整度和竞争力，保障和促
DRAM组件级故障预测模型，如何提升系统可靠性？-2
通过决策树分类器，能够对99%的报告错误的行列进行分类，并基于影响的列、行、Bank、行列、模块数量，错误地址间的距离，以及是否报告了明确的故障进行判断。相反，当模拟较弱的ECC（只能纠正2-DQ错误）时，预测的故障数为870次，接近观测值，考虑到研究系统中采取了Page-offline和DIMM替
人力资源管理系统：企业数字化转型的关键工具
它涵盖了从招聘、培训、绩效评估到薪酬管理的全流程，能够帮助企业实现人力资源的数字化转型。Workday的HRMS提供了人才管理、薪资处理、福利管理以及全球合规等功能，其灵活的架构允许企业根据自身需求定制工作流和报表，极大地提升了HR团队的工作效率和决策能力。文章介绍了多款人力资源管理系统，包括Zoh
Flink 之 滚动窗口/滑动窗口/会话窗口/OVER窗口
数据处理方式流式计算：数据是连续不断地到达的，OVER窗口函数会在数据流中实时地计算窗口结果。每当新数据到达时，窗口计算会实时更新。批计算：数据是一次性读取并处理的，OVER窗口函数会在整个数据集上一次性计算窗口结果。所有数据都读取完毕后，窗口计算才会开始。计算延迟流式计算：适用于需要低延迟、实时更
Hive SQL ——窗口函数源码阅读
Hive SQL ——窗口函数源码阅读
