大数据ClickHouse（十一）：MergeTree系列表引擎之AggregatingMergeTree
向表中插入排序字段相同的数据进行分区聚合时，数据按照建表指定的聚合字段进行合并，其他的非聚合字段会保留最初的那条数据，新插入的数据对应的字段值会被舍弃。查询数据时，如果正常语句查询，aggregateFunction类型的列不会正常显示数据，针对以上的数据需要使用sumMerge来展示数据。对于Ag
大数据ClickHouse（十）：MergeTree系列表引擎之SummingMergeTree
并且数据的汇总条件是预先明确的，即GROUP BY的分组字段是确定的，可以使用该表引擎。
大数据Apache Druid（五）：Druid批量数据加载
点击“Query”，查询数据，我们可以看到数据中按照指定的小时，所有维度相同的数据自动进行了聚合操作，这里datasource“mydruid_testdata”中存储的数据是预聚合之后的数据，如果有相同维度数据，原来“原子性”数据查询不到了。如果不希望预聚合，可以在步骤中将“rollup”设置关闭
大数据异常处理之蓝屏，断电导致mysql异常
大数据异常处理之蓝屏，断电导致mysql异常
Elasticsearch：从 Elastic Stack 中的时间戳谈开去
时间戳，也就是 timestamp， 它在许多的事件中，特别是时序数据中是一个不可少的字段。它记录事件或文档的时间。在我们对数据可视化时，也是非常重要的一个字段。针对时序时间，在我们对数据创建 index patterns 或者 date views 时，我们需要选择时间戳的字段。...
RabbitMQ
RabbitMQ简介，RabbitMQ模型架构 ，RabbitMQ发送消息的顺序，RabbitMQ消息丢失，判断时否成功发送消息。交换机分类，延迟队列和 死信队列
大数据Apache Druid（四）：使用Imply进行Druid集群搭建
Imply基于Druid进行了一些组件的开发，是Druid的集成包，提供开源版本和商业版本，类似CDH一样，使安装Druid简化了部署，Imply也是Druid团队开发。我们可以使用Imply安装Druid，在Imply的官网https://imply.io进行下载，经过测试这个版本在提交加载数据任
Hudi async/inline compaction
hudi compaction分析
集群模式执行Spark程序(第七弹)
打包成功标志： 显示BUILD SUCCESS，可以看到target目录下的2个jar包。读取数据文件,RDD可以简单的理解为是一个集合，集合中存放的元素是String类型。在pom.xml文件中添加所需插件。#先将解压的两个jar包复制出来。把结果数据保存到HDFS上。...
【大数据】用VMware搭建自己的虚拟机
【大数据】用VMware搭建自己的虚拟机
【云原生】一篇打通微服务架构，nacos + gateway + Redis + MySQL + docker
微服务项目从0到1框架搭建
kafka 使用thrift序列化对象
而解决这个问题的办法就是采用第三方的支持跨语言的序列化/反序列化框架，所谓的跨语言， 意思就是说，不管你是什么语言生成的对象，那你存入kafka的时候 用我的序列化协议，我帮你序列化， 当你从kafka中获取数据的时候， 也请用我来反序列化。kafka存储的实际上不是python对象也不是ja
HDFS-学习日记
在尚大的学习的学习笔记。。。
大数据Apache Druid（三）：Druid集群搭建
由于将Segment和索引数据存放在HDFS中，Druid需要连接HDFS，需要Hadoop中相关配置文件，在node3“/software/apache-druid-0.21.1/conf/druid/cluster/_common”目录下创建目录“hadoop-xml”，将Hadoop中core
Linux —— 生产消费者模型
目录 一、生产者消费者模型1. 生产者消费者模型的概念2.生产者消费者模型的特点3.生产者消费者模型的优点二、基于BlockQueue的生产者消费者模型1.基于阻塞队列的生产者消费者模型概述2.模拟实现基于阻塞队列的生产者消费者模型1.单生产者与单消费者2.多生产者与多消费者......
【SQL解析】- SQL血缘分析实现篇01
SQL血缘解析实战hive血缘解析presto血缘解析表血缘解析字段血缘解析血缘解析生产实践gudusoft血缘解析sqlflow血缘解析druid血缘解析antlr血缘解析
Kafka的数据可靠与数据重复
kafka数据重复及数据可靠性问题
【微服务】异步通讯实现ES数据同步
玩过Elasticsearch(下面统称ES)的小伙伴都知道ES是一个十分强悍的搜索引擎，但是在之前学习的过程中一直都是通过手敲DSL语句把数据导入进去，这多少有点不优雅。那么到底能不能做到在我们数据库发生变更时，ES中的数据也随之改变，即做到两者数据同步呢？答案理所应当的可以！...
亚马逊科技Build On-【AIoT视频识别 学习心得】
在居家安防监控领域，基于实时视频的移动检测，发现监控环境中人、宠物、包裹等的出现，并且能实时地将检测结果通知给身处任何地方的用户是其重要的应用场景之一。但在这一场景的技术实现中面临如下的挑战：一是基于摄像头的视频检测通知，存在大量由于风、雨、移动的车等并非用户关注的事件误报，严重影响用户的使用体验。
HIVE优化和数据倾斜、合并小文件
HIVE优化和数据倾斜、合并小文件
