大数据异常处理之蓝屏，断电导致mysql异常
大数据异常处理之蓝屏，断电导致mysql异常
Elasticsearch：从 Elastic Stack 中的时间戳谈开去
时间戳，也就是 timestamp， 它在许多的事件中，特别是时序数据中是一个不可少的字段。它记录事件或文档的时间。在我们对数据可视化时，也是非常重要的一个字段。针对时序时间，在我们对数据创建 index patterns 或者 date views 时，我们需要选择时间戳的字段。...
RabbitMQ
RabbitMQ简介，RabbitMQ模型架构 ，RabbitMQ发送消息的顺序，RabbitMQ消息丢失，判断时否成功发送消息。交换机分类，延迟队列和 死信队列
大数据Apache Druid（四）：使用Imply进行Druid集群搭建
Imply基于Druid进行了一些组件的开发，是Druid的集成包，提供开源版本和商业版本，类似CDH一样，使安装Druid简化了部署，Imply也是Druid团队开发。我们可以使用Imply安装Druid，在Imply的官网https://imply.io进行下载，经过测试这个版本在提交加载数据任
Hudi async/inline compaction
hudi compaction分析
集群模式执行Spark程序(第七弹)
打包成功标志： 显示BUILD SUCCESS，可以看到target目录下的2个jar包。读取数据文件,RDD可以简单的理解为是一个集合，集合中存放的元素是String类型。在pom.xml文件中添加所需插件。#先将解压的两个jar包复制出来。把结果数据保存到HDFS上。...
【大数据】用VMware搭建自己的虚拟机
【大数据】用VMware搭建自己的虚拟机
【云原生】一篇打通微服务架构，nacos + gateway + Redis + MySQL + docker
微服务项目从0到1框架搭建
kafka 使用thrift序列化对象
而解决这个问题的办法就是采用第三方的支持跨语言的序列化/反序列化框架，所谓的跨语言， 意思就是说，不管你是什么语言生成的对象，那你存入kafka的时候 用我的序列化协议，我帮你序列化， 当你从kafka中获取数据的时候， 也请用我来反序列化。kafka存储的实际上不是python对象也不是ja
HDFS-学习日记
在尚大的学习的学习笔记。。。
大数据Apache Druid（三）：Druid集群搭建
由于将Segment和索引数据存放在HDFS中，Druid需要连接HDFS，需要Hadoop中相关配置文件，在node3“/software/apache-druid-0.21.1/conf/druid/cluster/_common”目录下创建目录“hadoop-xml”，将Hadoop中core
Linux —— 生产消费者模型
目录 一、生产者消费者模型1. 生产者消费者模型的概念2.生产者消费者模型的特点3.生产者消费者模型的优点二、基于BlockQueue的生产者消费者模型1.基于阻塞队列的生产者消费者模型概述2.模拟实现基于阻塞队列的生产者消费者模型1.单生产者与单消费者2.多生产者与多消费者......
【SQL解析】- SQL血缘分析实现篇01
SQL血缘解析实战hive血缘解析presto血缘解析表血缘解析字段血缘解析血缘解析生产实践gudusoft血缘解析sqlflow血缘解析druid血缘解析antlr血缘解析
Kafka的数据可靠与数据重复
kafka数据重复及数据可靠性问题
【微服务】异步通讯实现ES数据同步
玩过Elasticsearch(下面统称ES)的小伙伴都知道ES是一个十分强悍的搜索引擎，但是在之前学习的过程中一直都是通过手敲DSL语句把数据导入进去，这多少有点不优雅。那么到底能不能做到在我们数据库发生变更时，ES中的数据也随之改变，即做到两者数据同步呢？答案理所应当的可以！...
亚马逊科技Build On-【AIoT视频识别 学习心得】
在居家安防监控领域，基于实时视频的移动检测，发现监控环境中人、宠物、包裹等的出现，并且能实时地将检测结果通知给身处任何地方的用户是其重要的应用场景之一。但在这一场景的技术实现中面临如下的挑战：一是基于摄像头的视频检测通知，存在大量由于风、雨、移动的车等并非用户关注的事件误报，严重影响用户的使用体验。
HIVE优化和数据倾斜、合并小文件
HIVE优化和数据倾斜、合并小文件
Hive时间日期函数一文详解+代码实例
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive中的表示纯逻辑表，只有表的定义等，即表的元数据（存储于MySQL中）。本质就是Hadoop的目录/文件，这种设计方式实现了元数据与数据存储分离。Hive本身不存储数据，它完全依赖HDFS
一文速学-HiveSQL解析JSON数据详解+代码实战
JSON文件存储格式十分常见，在各个数据库中以及业务场景都有关于该文件的处理方式。但是有时候处理JSON文件在不同的数据库处理方法也不同，掌握一些高效的函数可以大大简化我们处理JSON数据格式的效率。面对一些复杂的存储形式，例如JSON数组存储这种就必须采取一定的处理方式，下面是处理HiveSQL解
大数据Apache Druid（一）：Druid简单介绍和优缺点
Druid（德鲁伊）是一个分布式的、支持实时多维 OLAP 分析、列式存储的数据处理系统，支持高速的实时数据读取处理、支持实时灵活的多维数据分析查询。在Druid数十台分布式集群中支持每秒百万条数据写入，对亿万条数据读取做到亚秒到秒级响应。此外，Druid支持根据时间戳对数据进行预聚合摄入和聚合分析
