推荐系统模型发展简史
嘿，记得给“机器学习与推荐算法”添加星标互联网出现不久，推荐系统就诞生了，相关技术在学术界和工业界得到了广泛的研究和应用。目前，推荐系统已经成为最成功的网络应用之一，通过推荐不同种类的内容来为数十亿人服务，包括新闻资讯、视频、电子商务产品、音乐、电影、书籍、游戏、朋友、工作等。这些成功的案例证明，推
Unable to load native-hadoop library for your platform解决方法
Unable to load native-hadoop library for your platform解决方法
HIVE基本查询操作（二）——第1关：Hive排序
，好处是：执行了局部排序之后可以为接下去的全局排序提高不少的效率（其实就是做一次归并排序就可以做到全局排序了）。产生一个排序文件，他俩一般情况下会结合使用。（这个肯定是全局有序的，因为相同的。出来的数据是有序的，但是不能保证所有的数据是有序的，除非只有一个。端都会做排序，也就是说保证了局部有序（每个
JVM工具之jstat
JVM工具之jstat查询GC统计信息分析
hadoop调优
每个文件块大概占用150byte，如果一台服务器128G，能存储的文件块如下128 (G)* 1024(MB) * 1024(KB) * 1024(Byte) / 150 Byte = 9.1 亿。
Hbase简介
hbase的特点 hbase架构各个角色的功能 MemStore 刷盘 HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统
阿里云EMR集群搭建及使用
EMR是运行在阿里云平台上的一种大数据处理的系统解决方案。可以简单的理解为一个对标ambari的产品。EMR构建于云服务器ECS上，基于开源的Apache Hadoop和Apache Spark。可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR提供on ECS和o
hive3从入门到精通
拷贝hadoop/share/hadoop/common/lib目录中的 guava-27.0-jre.jar 到 hive/lib 目录。不要使用图形化 不然每次保存后3215行都会有个 特殊字符 如果产生删除即可 具体报错信息 后面有单独的描述。删除原有的 protobuf-java-2.5
SAP 物料分类账配置详解Part 1（ 基于SAP S/4HANA1909 版本）
本文将详细介绍：SAP 物料分类账配置要点 ，本系统使用的版本是： SAP S/4HANA1909 版本目录1 物料分类账的后台配置1.1 激活物料分类帐的评估区域1.2 分配货币类型并定义物料分类帐类型1.3 分配物料分类帐类型给评估范围1.5 定义材料分类帐组的变化类型1.6
制作报表原来可以这么简单—积木报表使用分享
在我们日常工作生活中，都会遇到需要做报表的情况；但是有时候我们费时费力做完以后，领导并不满意，那就来试试积木报表吧。下面呢，我们来分享一下积木报表使用的方法。如何实现分栏报表?在我们报表使用过程中，经常会用到将数据分成多栏进行展示的情况，这个时候就用到了分栏。1.效果展示2.设计步骤2.1创建一个名
Flink进阶篇-CDC 原理、实践和优化&采集到Doris中
Flink进阶篇-CDC 原理、实践和优化&采集到Doris中
Yarn增加新队列-----hive向Yarn提交任务后，Hadoop再次向Yarn提交任务阻塞
hive on spark搭建好后，任务提交会有问题，因为通过hive会话提交的任务一直存在且不会结束（除非关掉这个hive会话），根本原因是这些任务提交到了Yarn的同一个队列中，前面的任务没有执行完毕后面的任务不会执行，所以解决办法是增加一个Yarn队列，指定任务提交的队列，这样就不会出现任务的
flink 的 State
首先State是flink中的一个非常基本且重要的概念，本文将介绍什么是State ,如何使用State,State的存储和原理。以及State衍生的一些概念和应用。
【企业架构设计实战】6 数据架构
什么是数据架构？数据架构将业务需求转化为数据和系统需求，并寻求管理数据及其在企业中的流动。数据架构定义根据 The Open Group Architecture Framework (TOGAF)，数据架构描述了组织的逻辑和物理数据资产和数据管理资源的结构。它是企业架构的一个分支，包括管理组织中数
2023年4月各大学网络教育统考计算机应用基础考试复习题
2023年4月中央音乐学院计算机应用基础；其他各高校的计算机应用基础难度也同样不低，各高校的计算机单选题基本都维持在40-70道之间，单选题之外，还有操作题（目前各高校的操作题均为写出一步步的操作步骤，难度较大，可参考下图），计算机应用基础题量之多，根本不会给留多少时间让你思考，如果没有专业助考，自
工业大数据分析指南材料整理
工业大数据分析指南
python——spark入门
本文中，我们将首先讨论如何在本地机器上或者EC2的集群上设置Spark进行简单分析。然后，我们在入门级水平探索Spark，了解Spark是什么以及它如何工作（希望可以激发更多探索）。最后两节我们开始通过命令行与Spark进行交互，然后演示如何用Python写Spark应用，并作为Spark作业提交到
Spark SQL实战(07)-Data Sources
Spark SQL通过DataFrame接口支持对多种数据源进行操作。DataFrame可使用关系型变换进行操作，也可用于创建临时视图。将DataFrame注册为临时视图可以让你对其数据运行SQL查询。本节介绍使用Spark数据源加载和保存数据的一般方法，并进一步介绍可用于内置数据源的特定选项。lo
电商网站用户行为分析系统（前端展示大屏echarts+大数据hadoop存储系统）
我就是用的hadoop这个框架里面中的hdfs的一个重要的（分布式文件存储系统）来存储大量有需要用到的数据，它有一个很大的好处就是，存储的数据很安全，不会丢失，然后重点的就是数据的清洗和分析了，我主要用的是hive和hbase两种数据库来存储分析数据的，然后用mapreduce计算数据模型来将原始数
【比赛记录】国电投-光伏电站人工智能运维大数据处理分析比赛
深度学习与Xgbost在光伏电站人工智能运维大数据处理分析中的应用
