hive on spark报错:没有发现类
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 7abab17
云计算复习索引
云计算考试复习索引，动态更新
ML之FE：RFM指标的简介、意义、应用之详细攻略
ML之FE：RFM指标的简介、意义、应用之详细攻略目录RFM指标的简介RFM指标的意义RFM指标的应用在众多的客户关系管理(CRM)的分析模型中，RFM模型是被广泛提到的。RFM模型是衡量客户价值和客户创利能力的重要工具和手段。该模型通过一个客户的近期交易行为、交易的总体频率以及交易金额三项指标来描
sql记录之表的创建与删除相关操作
SQL创建表与删除
Centos下安装Hadoop【历时三天亲测有效】
Centos6.8下安装Hadoop2.7，大致分为三个步骤：①虚拟机环境准备②安装JDK③安装Hadoop前提条件：具备Linux操作系统基础，并且已安装虚拟机。
Python 数据分析 —— Pandas ②
首先：读入 movie_data.xlsx查看一下前5行数据 在做数据分析时，原始数据往往会因为各种各样的原因产生各种数据格式问题。数据格式是我们非常需要注意的一点，数据格式错误往往会造成很严重的后果。并且，很多异常值在我们经过格式转换后才会发现，对我们规整数据，清洗数据有
互联网大厂数据分析面试常见问题及解法，建议收藏
从面试官的角度沉淀了一些常见的数据分析问题以及问题背后考察的能力，并为大家一一拆解背后的逻辑，助力大家拿offer！
Spark-Sql RewriteDistinctAggregates
spark sql 优化规则：RewriteDistinctAggregates
pandas筛选dataframe数据：筛选一个数据列的内容等于某一固定值，而且另一数据列的数值大于固定阈值的所有数据行
pandas筛选dataframe数据：筛选一个数据列的内容等于某一固定值，另一数据列的数值大于固定阈值的所有数据行
Elasticsearch与MySQL数据同步
方案一：同步调用基本步骤如下：方案二：异步通知流程如下：方案三：监听binlog流程如下：方式一：同步调用方式二：异步通知方式三：监听binlog导入项目完成对酒店数据的【增删改查】实现数据同步操作hotel-admin项目作为酒店管理的微服务。当酒店数据发生增、删、改时，要求对elasticsea
重学scala：scala函数式编程与高阶函数
谈到编程方式有指令式编程、过程化编程、函数式编程，函数式编程在使用时主要的思想就是把运算过程写成一些列嵌套的函数调用。把一组数据通过函数实现运算转化成另一组数据。函数式编程这种方式在我们将来开发Spark、Flink的业务代码时会大量使用。下面列出了一些我们经常使用的进行函数式编程的Iterable
【牛客刷题-SQL进阶挑战】NO4.多表查询
SQL每个人都要用，但是用来衡量产出的并不是SQL本身，你需要用这个工具，去创造其它的价值。
【牛客刷题-SQL进阶挑战】NO3.聚合分组查询
SQL每个人都要用，但是用来衡量产出的并不是SQL本身，你需要用这个工具，去创造其它的价值。
【牛客刷题-SQL进阶挑战】NO2.表与索引操作
SQL每个人都要用，但是用来衡量产出的并不是SQL本身，你需要用这个工具，去创造其它的价值。
flink 滚动窗口、滑动窗口、会话窗口、全局窗口
根据分配数据的规则，窗口的具体实现可以分为 4 类：滚动窗口（Tumbling Window）、滑动窗口（Sliding Window）、会话窗口（Session Window），以及全局窗口（Global Window） 滚动窗口有固定的大小，是一种的划分方式。窗口之间没有重叠，也不会有间隔
flink 控制窗口行为(触发器、移除器、允许延迟、将迟到的数据放入侧输出流)
触发器主要是用来控制窗口什么时候触发计算，执行窗口函数。基于 WindowedStream 用.trigger()方法，就可以传入一个自定义的窗口触发器（Trigger）。 Trigger 是窗口算子的内部属性，每个窗口分配器（WindowAssigner）都会对应一个默认的触发器；对于 Fl
flink 时间语义、水位线（Watermark）、生成水位线、水位线的传递
在flink中，当希望对数据按照时间窗口来进行收集计算时，时间的衡量标准就非常重要 如图：在事件发生之后，生成的数据被收集起来，首先进入分布式消息队列，然后被 Flink 系统中的 Source 算子读取消费，进而向下游的转换算子（窗口算子）传递，最终由窗口算子进行计算处理。 在这个过程中，
MapReduce经典案例—倒排索引
目录一、问题介绍（一）案例分析1. 倒排索引介绍2. 案例需求及分析(二)案例实现 1. Map阶段实现2. Combine阶段实现3. Reduce阶段实现4. Driver程序主类实现5. 效果测试二、完整代码 三、运行结果倒排索引是文档检索系统中最常用的数据结构，被广泛应用于全文搜索
一文通吃：从 ZooKeeper 一致性，Leader选举讲到 ZAB 协议与 PAXOS 算法（下）
上篇文章，我们介绍了ZooKeeper集群保证数据一致性和Zookeeper集群Leader选举，这边文章我们接着介绍ZAB协议和Paxos算法
elasticsearch设置为开机自启动服务
**摘要：**在es集群部署时，有时会因为系统原因导致服务终止，这时候就需要我们设置为开机自启动的系统服务
