Spark-Sql RewriteDistinctAggregates
spark sql 优化规则：RewriteDistinctAggregates
pandas筛选dataframe数据：筛选一个数据列的内容等于某一固定值，而且另一数据列的数值大于固定阈值的所有数据行
pandas筛选dataframe数据：筛选一个数据列的内容等于某一固定值，另一数据列的数值大于固定阈值的所有数据行
Elasticsearch与MySQL数据同步
方案一：同步调用基本步骤如下：方案二：异步通知流程如下：方案三：监听binlog流程如下：方式一：同步调用方式二：异步通知方式三：监听binlog导入项目完成对酒店数据的【增删改查】实现数据同步操作hotel-admin项目作为酒店管理的微服务。当酒店数据发生增、删、改时，要求对elasticsea
重学scala：scala函数式编程与高阶函数
谈到编程方式有指令式编程、过程化编程、函数式编程，函数式编程在使用时主要的思想就是把运算过程写成一些列嵌套的函数调用。把一组数据通过函数实现运算转化成另一组数据。函数式编程这种方式在我们将来开发Spark、Flink的业务代码时会大量使用。下面列出了一些我们经常使用的进行函数式编程的Iterable
【牛客刷题-SQL进阶挑战】NO4.多表查询
SQL每个人都要用，但是用来衡量产出的并不是SQL本身，你需要用这个工具，去创造其它的价值。
【牛客刷题-SQL进阶挑战】NO3.聚合分组查询
SQL每个人都要用，但是用来衡量产出的并不是SQL本身，你需要用这个工具，去创造其它的价值。
【牛客刷题-SQL进阶挑战】NO2.表与索引操作
SQL每个人都要用，但是用来衡量产出的并不是SQL本身，你需要用这个工具，去创造其它的价值。
flink 滚动窗口、滑动窗口、会话窗口、全局窗口
根据分配数据的规则，窗口的具体实现可以分为 4 类：滚动窗口（Tumbling Window）、滑动窗口（Sliding Window）、会话窗口（Session Window），以及全局窗口（Global Window） 滚动窗口有固定的大小，是一种的划分方式。窗口之间没有重叠，也不会有间隔
flink 控制窗口行为(触发器、移除器、允许延迟、将迟到的数据放入侧输出流)
触发器主要是用来控制窗口什么时候触发计算，执行窗口函数。基于 WindowedStream 用.trigger()方法，就可以传入一个自定义的窗口触发器（Trigger）。 Trigger 是窗口算子的内部属性，每个窗口分配器（WindowAssigner）都会对应一个默认的触发器；对于 Fl
flink 时间语义、水位线（Watermark）、生成水位线、水位线的传递
在flink中，当希望对数据按照时间窗口来进行收集计算时，时间的衡量标准就非常重要 如图：在事件发生之后，生成的数据被收集起来，首先进入分布式消息队列，然后被 Flink 系统中的 Source 算子读取消费，进而向下游的转换算子（窗口算子）传递，最终由窗口算子进行计算处理。 在这个过程中，
MapReduce经典案例—倒排索引
目录一、问题介绍（一）案例分析1. 倒排索引介绍2. 案例需求及分析(二)案例实现 1. Map阶段实现2. Combine阶段实现3. Reduce阶段实现4. Driver程序主类实现5. 效果测试二、完整代码 三、运行结果倒排索引是文档检索系统中最常用的数据结构，被广泛应用于全文搜索
一文通吃：从 ZooKeeper 一致性，Leader选举讲到 ZAB 协议与 PAXOS 算法（下）
上篇文章，我们介绍了ZooKeeper集群保证数据一致性和Zookeeper集群Leader选举，这边文章我们接着介绍ZAB协议和Paxos算法
elasticsearch设置为开机自启动服务
**摘要：**在es集群部署时，有时会因为系统原因导致服务终止，这时候就需要我们设置为开机自启动的系统服务
云计算复习
云计算复习纲要
创建Spark工程
期末小作业
关于hive中Map join 时大表left join小表的问题
关于hive中Map join 时大表left join小表的问题在hive中，（启用Map join时） 大表left join小表，加载从右向左，所以小表会加载进内存，存储成map键值对，通过大表驱动小表，来进行join，即大表中的join字段作为key 来获取value进行join。在MySQ
【Elasticsearch】- elasticsearch索引的创建、查询和删除
进入bin目录，双击elasticsearch.bat运行。Elasticsearch启动后会暴露两个端口：Postman是一个接口测试工具。在做接口测试的时候，Postman相当于一个客户端，它可以模拟用户发起的各类HTTP请求，将请求数据发送至服务端，获取对应的响应结果， 从而验证响应中的结果数
Debezium系列之：深入理解kafka connector在不同场景下的再平衡策略
Debezium系列之：深入理解kafka connector在不同场景下的再平衡策略
想进互联网行业该如何选择岗位？
想转行互联网不知道应该选择什么岗位？一篇文章教会你如何选择适合自己的岗位
flink-sql入es报错：Missing required options are document-type
我是在flink-sql创建es表的时候报的错，报错提示缺少对应的options，及document-type，我连忙去flink官方文档查找答案：https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/connectors/t
