【即时通信】openfire安装和配置讲解
这里选择spark_2_8_3.exe,它自带了一个jre运行环境,因为spark_2_8_3_online.exe默认是32位jre运行环境,64位机器需要指定一个32位jre,不推荐这种方式安装。登录的时候需要设置一下服务器信息,另外,如果登录失败,报certificate_unkown,需要设
使用Python开发spark
spark
基于前置搭建的 Hbase 环境上配置 Spark 开发环境
Spark 集群部署采用 yarn 模式进行资源调度管理,这样部署更加简单,因 Hadoop 在之前已经进行集群安装,Spark 是提交 jar 到 yarn 中进行运行,只需要在任意一台中安装 Spark 客户端即可,而又因为是集群模式可能导致作业在未安装 Spark 的节点上运行,推荐的做法是上
记安装pyspark遇到问题已经解决问题的全过程
Could not fetch URL https://pypi.org/simple/pip/: There was a problem confirm
Spark机器学习解析
Spark机器学习的介绍,以及对聚类、回归、协同过滤和分类的实践
RDD简介
RDD概念RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,是spark core的底层核心,它代表一个不可变、可分区、里面的元素可并行计算的集合。Dataset:就是一个集合,存储很多数据.Distributed:它内部的元素
详解RDD基本概念、RDD五大属性
RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD是spark core的底层核心。Dataset:RDD 可以不保存具体数据, 只保留创建自己的必备信息, 例如依赖和
RDD转换为DataFrame
spark官方提供了两种方法实现从RDD转换到DataFrame。第一种方法是利用反射机制来推断包含特定类型对象的Schema,这种方式适用于对已知的数据结构的RDD转换;第二种方法通过编程接口构造一个 Schema ,并将其应用在已知的RDD数据中。(一)反射机制推断Schema在Windows系
一百零六、Hive312的计算引擎由MapReduce(默认)改为Spark(亲测有效)
Hive312的计算引擎由MapReduce(默认)改为Spark
实验SparkSQL编程初级实践
实验SparkSQL编程初级实践-Spark SQL 基本操作-将RDD转换为DataFrame-利用DataFrame读写MySQL的数据
【大数据技术】Spark-SQL如何连接MySQL并进行读写数据
【大数据技术】spark SQL如何连接MySQL并读取数据
SparkCore对学生成绩的统计案例
SparkCore对学生成绩的统计案例根据数据文件对数据进行分析,完成如下功能:(1)查询学生成绩表中的前5名;(2)输出单科成绩为100分的学生ID;(3)输出每位学生所有科目的总成绩。
《Spark编程基础Scala版》第一章习题答案
在物理上HBase其实是按CF存储的,只是按照Row-key将相关CF中的列关联起来Hbase对数据的存储方式和数据结构进行的修改和规整(K-V形式),使其更加善于去处理大数据的场景,此在Hadoop MapReduce运行计算时能够提供更好的底层支持。因此,在许多企业实际应用中,Hadoop和Sp
【Spark实训】--竞赛网站访问日志分析
竞赛网站访问日志分析;1、过滤出访问次数在 50 次以上的用户记录 2、统计访问 50 次以上的用户主要访问的前 5 类网页 3. 合并部分网页 4.根据访问时间加入对应时段
Spark - 获取一定时间内的 Hdfs 全部文件并读取
Spark 读取一定范围内的 Hdfs 文件。
PySpark任务提交spark-submit参数设置一文详解
之前我们已经进行了pyspark环境的搭建以及经过jupyter notebook进行过开发以及实现了一系列的函数功能.但是一般我们跑spark都是在集群上面跑,只有测试一般在本地上测试,而且每个公司配置的spark集群的端口和设置的参数都有很大出入,故每种情况都有可能发生。所以一般任务提交的参数最
Spark - AUC、Accuracy、Precision、Recall、F1-Score 理论与实战
Spark AUC、Accuracy、Precision、Recall、F1-Score 理论与实战。
SpringBoot 接入 Spark
SpringBoot 接入 Spark
大数据 | Spark安装及性能测试
Spark On Yarn集群模式下的安装和基本测试
Spark连接Hive读取数据
从Hadoop环境搭建到Spark连接Hive的小白入门教程,一套流程走下来在多次的尝试中既可以熟悉linux命令行的应用,同时初步熟悉大数据技术。