基于 Spark 的电商用户行为分析系统
基于Spark的电商用户行为数据分析
【入门学习大数据】安装基础设施 一 ：VMware & CentOS & 远程工具
boot容量给1G，swap容量给同之前选的内存大小相同（你设置过的自然记得起，没设置过的就是1G），剩下的都给根目录。有能上传：压缩包文件、软件及应用的安装文件，上传和下载速度还可以的网盘/快传，知道的话，可以告知一下我。看一下能否上网，顶栏有这个图标就行（图片是自动加水印的，我也不知道怎么去除，
Spark---创建DataFrame的方式
5、DataFrame是一个Row类型的RDD，df.rdd()/df.javaRdd()。3、DataFrame原生API可以操作DataFrame。4、注册成临时表时，表中的列默认按ascii顺序显示列。2、df.show()默认显示前20行数据。ErrorIfExists：如果存在就报错。1、
毕业设计大数据电商用户行为分析及可视化(源码+论文)
今天学长向大家介绍一个机器视觉的毕设项目，大数据电商用户行为分析及可视化(源码+论文)毕业设计 基于大数据淘宝用户行为分析。
Spark_spark shell退出方式
本文介绍了四种退出Spark Shell的方式：使用退出命令、使用Ctrl+D组合键、使用系统命令和结束Shell进程。这些方式都可以有效地退出Spark Shell，并释放资源。在使用Spark Shell时，我们可以根据实际需求选择合适的退出方式。遵循良好的退出习惯，可以提高工作效率，同时避免资
Spark搭建日志，记录一些踩过的坑
本文记录在搭建hadoop与Spark的standalone模式中踩过的坑，有一定的借鉴作用
【大数据】Redis介绍和使用
Redis（Remote Dictionary Server）是一个开源的基于内存的数据结构存储系统，它提供了丰富的数据结构（如字符串、哈希表、列表、集合、有序集合等），并支持多种操作（如读取、写入、删除、排序、计数等），具有高性能、持久化、复制、集群、事务等特性，被广泛应用于缓存、会话存储、消息队
【超全详解一文搞懂】Scala基础
Scala基础详解
sql server安装及使用全流程
再点击我接受许可条款，点击下一步，之后新出现的窗口会让你选择是否检查更新，大家可以根据自己的需要选择，默认是不检查更新，再点击下一步，这时会显示正在检查更新，如下图所示，不用管它，直接点击下一步。在下图所示的界面中，将我用红色矩形圈起来的地方进行修改，系统管理员的名称为sa，密码需要自己设定，一定不
Spark概述
结构化数据：即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。非结构化数据：不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。5.MapReduce和Spark的区别（1）Spark的速度比MapReduce
二次开发Flink-coGroup算子支持迟到数据通过测输出流提取
coGroup算子开窗到时间关闭之后，迟到数据无法通过测输出流提取，intervalJoin算子提供了api，因为join算子底层就是coGroup算子，所以Join算子也不行。flink版本 v1.17.1。
【知识整理】Git 使用实践问题整理
许多 Windows 上的编辑器会悄悄把行尾的换行（LF）字符转换成回车（CR）和换行（LF），或在用户按下 Enter 键时，插入回车（CR）和换行（LF）两个字符。Git 可以在你提交时自动地把回车（CR）和换行（LF）转换成换行（LF），而在检出代码时把换行（LF）转换成回车（CR）和换行（L
git基本操作以及遇到的问题
non-fast-forward：译为‘不能快速前进’，远程仓库更新了，你没有及时同步到本地，提交的时候添加了新的内容，提交的时候，然后检测到远程和本地不一样。连接到github仓库，公钥文件存放在C:/用户文件夹/.ssh/id_rsa.pub。先执行以上命令后，再重新执行push命令就会提示重新
最详细数据仓库项目实现：从0到1的电商数仓建设（数仓部分）
其中业务总线矩阵，就像是一个分析的笔记.后面还会有各个属性值和度量值的统计等// 见讲义中第四个讲义数仓的第5章。
【flink番外篇】11、Flink 并行度设置
系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和S
大数据报告检测到风险等级太高是怎么回事呢?
司法风险在大数据信用风险中算是比较特殊的风险了，主要是针对有官司记录，无论结案与否，是被告还是原告，都会体现在大数据报告中，形成不可逆的大数据信用风险，但是不同的放贷机构对这项风险的认定不同，但是对大数据的影响也是非常大的。关于查大数据检测到风险等级太高是怎么回事的全部介绍，如果你正想了解自身的大数
大数据之 Spark 常用的端口号
7077，这是 Spark 在 Standalone 模式下的主节点（Master）与 Worker 节点通信的服务端口，客户端提交应用时也会连接此端口。：18080，历史服务器提供已完成作业的持久化存储和查询功能，用户可以在此端口下查看过去运行过的所有 Spark 应用的相关统计信息。：默认为 8
mac搭建Hadoop环境流程
如果遇到 “Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.” 问题，则是hadoop配置 的环境变量没有设
【Hadoop大数据技术】——Hadoop概述与搭建环境（学习笔记）
随着大数据时代的到来，大数据已经在金融、交通、物流等各个行业领域得到广泛应用。而Hadoop就是一个用于处理海量数据的框架，它既可以为海量数据提供可靠的存储；也可以为海量数据提供高效的处理。
Git常用操作命令
git的常用命令，主要的就是六个，其他的忘记了回来查就行。
