flink 时间语义、水位线（Watermark）、生成水位线、水位线的传递
在flink中，当希望对数据按照时间窗口来进行收集计算时，时间的衡量标准就非常重要 如图：在事件发生之后，生成的数据被收集起来，首先进入分布式消息队列，然后被 Flink 系统中的 Source 算子读取消费，进而向下游的转换算子（窗口算子）传递，最终由窗口算子进行计算处理。 在这个过程中，
MapReduce经典案例—倒排索引
目录一、问题介绍（一）案例分析1. 倒排索引介绍2. 案例需求及分析(二)案例实现 1. Map阶段实现2. Combine阶段实现3. Reduce阶段实现4. Driver程序主类实现5. 效果测试二、完整代码 三、运行结果倒排索引是文档检索系统中最常用的数据结构，被广泛应用于全文搜索
一文通吃：从 ZooKeeper 一致性，Leader选举讲到 ZAB 协议与 PAXOS 算法（下）
上篇文章，我们介绍了ZooKeeper集群保证数据一致性和Zookeeper集群Leader选举，这边文章我们接着介绍ZAB协议和Paxos算法
elasticsearch设置为开机自启动服务
**摘要：**在es集群部署时，有时会因为系统原因导致服务终止，这时候就需要我们设置为开机自启动的系统服务
云计算复习
云计算复习纲要
创建Spark工程
期末小作业
关于hive中Map join 时大表left join小表的问题
关于hive中Map join 时大表left join小表的问题在hive中，（启用Map join时） 大表left join小表，加载从右向左，所以小表会加载进内存，存储成map键值对，通过大表驱动小表，来进行join，即大表中的join字段作为key 来获取value进行join。在MySQ
【Elasticsearch】- elasticsearch索引的创建、查询和删除
进入bin目录，双击elasticsearch.bat运行。Elasticsearch启动后会暴露两个端口：Postman是一个接口测试工具。在做接口测试的时候，Postman相当于一个客户端，它可以模拟用户发起的各类HTTP请求，将请求数据发送至服务端，获取对应的响应结果， 从而验证响应中的结果数
Debezium系列之：深入理解kafka connector在不同场景下的再平衡策略
Debezium系列之：深入理解kafka connector在不同场景下的再平衡策略
想进互联网行业该如何选择岗位？
想转行互联网不知道应该选择什么岗位？一篇文章教会你如何选择适合自己的岗位
flink-sql入es报错：Missing required options are document-type
我是在flink-sql创建es表的时候报的错，报错提示缺少对应的options，及document-type，我连忙去flink官方文档查找答案：https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/connectors/t
RabbitMQ入门
RabbitMQ入门
docker安装nginx、mq、mysql中间件安装部署 并且提交保存还原；
docker安装nginx、mq、mysql（去除groupby）中间件 并且提交镜像、导入打包之后的镜像文件
SpringBoot2.3.x整合ElasticSearch7.6.2 实现PDF,WORD全文检索
本文使用SpringBoot2.3.x + ElasticSearch7.6.2 实现对PDF,WORD进行全文检索实现了对文件内容快速搜索
开启第一天的编程学习
1.简单的自我介绍 本人本科双非学校，并且所学的专业和编程毫无关联。最后总结自己的优势，动手能力还是不错的，然后22上岸大数据应用专业，虽然一窍不通，但是拥有者对未来的美好憧憬，所以选择开启自己的编程之旅。虽然有些晚，但相信开始永远比观望要好很多。2.学习目标 其实开始的目标是学习pytho
远程控制工具ToDesk手机端测评，移动办公增强，pad变电脑
最近疫情在各地爆发，许多被迫居家隔离的办公人，使用远程控制软件ToDesk来辅佐远程办公。用来远程操控公司电脑，远程查看文件、下载文档、远程打印、远程终端等等，保证了疫情下的工作开展和任务完成。但是这个远程控制软件可不止有远控功能，在需要将手机上的文件资料放到电脑上大屏展现时，也可以使用它的投屏功能
全站最硬核 百万字强肝RocketMq源码 火热更新中~（一百一十二）NameSrv的作用及高性能顺序写盘
Namesrv就是一个注册中心，存储当前集群所有Brokers信息、Topic跟Broker的对应关系。Namesrv用于存储Topic、Broker关系信息，功能简单，稳定性高。多个Namesrv之间相互没有通信，单台Namesrv宕机不影响其他Namesrv与集群；即使整个Namesrv集群宕机
SpringBoot集成ElasticSearch实现聚合查询
Java集成ElasticSearch实现聚合查询
初探StarRocks V2.1.3之踩坑记录
当前项目中，数据部分整体采用Hive/SparkSQL+ES+HBase的架构，Hive/SparkSQL用于离线分析，ES+HBase用于实时查询。当业务规模不是那么庞大的时候，这套架构多少显得有点重。于是寻求一种轻量级解决方案，既满足离线分析的需求，又满足明细查询的需求。首先想到的是支持流批一体
大数据综合项目--网站流量日志数据分析系统(详细步骤和代码)
文章目录前言：基本概述Sqoop概述什么是SqoopFlume概述什么是Flume为什么需要flumeHIve概述什么是Hive系统背景：模块开发数据采集使用Flume搭建日志采集系统数据预处理实现数据预处理数据仓库开发数据导出日志分析系统报表展示前言：提示：这里简述我使用的版本情况：ubuntu1
