大数据ClickHouse（十）：MergeTree系列表引擎之SummingMergeTree
并且数据的汇总条件是预先明确的，即GROUP BY的分组字段是确定的，可以使用该表引擎。
大数据Apache Druid（五）：Druid批量数据加载
点击“Query”，查询数据，我们可以看到数据中按照指定的小时，所有维度相同的数据自动进行了聚合操作，这里datasource“mydruid_testdata”中存储的数据是预聚合之后的数据，如果有相同维度数据，原来“原子性”数据查询不到了。如果不希望预聚合，可以在步骤中将“rollup”设置关闭
hbuilder x配置 配置使用 vue-cli和微信开发者工具
开启服务微信开发者工具-设置-安全设置-服务端口开启 在HBuilder x 中设置挂起 在微信小程序中 cli打开（2）安装vue4.5.15版本下载运行项目所需要的sass插件 创建项目选择默认模板运行小程序命令 将demo项目中的dist/dev/mp-weixin文件夹通过微信开发者工具
MongoDB数组查询
在数组元素上指定复合条件时，您可以指定查询，使得单个数组元素满足这些条件或数组元素的任意组合满足条件。使用点表示法，您可以在数组的特定索引或位置指定元素的查询条件。算符对数组元素指定多个条件，以使至少一个数组元素满足所有指定条件，条件之间的关系是。例如，以下选择数组标签具有 3 个元素的文档。数组包
大数据异常处理之蓝屏，断电导致mysql异常
大数据异常处理之蓝屏，断电导致mysql异常
Elasticsearch：从 Elastic Stack 中的时间戳谈开去
时间戳，也就是 timestamp， 它在许多的事件中，特别是时序数据中是一个不可少的字段。它记录事件或文档的时间。在我们对数据可视化时，也是非常重要的一个字段。针对时序时间，在我们对数据创建 index patterns 或者 date views 时，我们需要选择时间戳的字段。...
大数据Apache Druid（四）：使用Imply进行Druid集群搭建
Imply基于Druid进行了一些组件的开发，是Druid的集成包，提供开源版本和商业版本，类似CDH一样，使安装Druid简化了部署，Imply也是Druid团队开发。我们可以使用Imply安装Druid，在Imply的官网https://imply.io进行下载，经过测试这个版本在提交加载数据任
Hudi async/inline compaction
hudi compaction分析
大数据Apache Druid（三）：Druid集群搭建
由于将Segment和索引数据存放在HDFS中，Druid需要连接HDFS，需要Hadoop中相关配置文件，在node3“/software/apache-druid-0.21.1/conf/druid/cluster/_common”目录下创建目录“hadoop-xml”，将Hadoop中core
【SQL解析】- SQL血缘分析实现篇01
SQL血缘解析实战hive血缘解析presto血缘解析表血缘解析字段血缘解析血缘解析生产实践gudusoft血缘解析sqlflow血缘解析druid血缘解析antlr血缘解析
Kafka的数据可靠与数据重复
kafka数据重复及数据可靠性问题
HIVE优化和数据倾斜、合并小文件
HIVE优化和数据倾斜、合并小文件
Hive时间日期函数一文详解+代码实例
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive中的表示纯逻辑表，只有表的定义等，即表的元数据（存储于MySQL中）。本质就是Hadoop的目录/文件，这种设计方式实现了元数据与数据存储分离。Hive本身不存储数据，它完全依赖HDFS
一文速学-HiveSQL解析JSON数据详解+代码实战
JSON文件存储格式十分常见，在各个数据库中以及业务场景都有关于该文件的处理方式。但是有时候处理JSON文件在不同的数据库处理方法也不同，掌握一些高效的函数可以大大简化我们处理JSON数据格式的效率。面对一些复杂的存储形式，例如JSON数组存储这种就必须采取一定的处理方式，下面是处理HiveSQL解
大数据Apache Druid（一）：Druid简单介绍和优缺点
Druid（德鲁伊）是一个分布式的、支持实时多维 OLAP 分析、列式存储的数据处理系统，支持高速的实时数据读取处理、支持实时灵活的多维数据分析查询。在Druid数十台分布式集群中支持每秒百万条数据写入，对亿万条数据读取做到亚秒到秒级响应。此外，Druid支持根据时间戳对数据进行预聚合摄入和聚合分析
抖音 iOS 推荐 Feed 容器化总结
动手点关注干货不迷路????背景抖音 Feed 容器在推荐、关注、同城、朋友等多个场景中使用，每个场景都有自身的逻辑和业务，最终汇总在 FeedViewController 中，随着业务的迭代，代码越来越臃肿，面临如下的问题：容器类(FeedViewController) 有 10000+行，还有十
大数据ClickHouse（九）：MergeTree系列表引擎之ReplacingMergeTree
以上MergeTree不能对相同主键的数据进行去重，ClickHouse提供了ReplacingMergeTree引擎，可以针对同分区内相同主键的数据进行去重，它能够在。值得注意的是，ReplacingMergeTree只是在一定程度上解决了数据重复问题，由于自动分区合并机制在后台定时执行，所以Re
Hive DML常见操作
Hive DML常见操作
1-第一篇入住博客自我介绍
对于数据科学专业而言，掌握计算机知识以及编程应用尤其重要，而计算机和数据科学相关的课程包括（我们已学和在学的）：Linux，sql数据库，数据科学导论，统计学导论，计算机操作原理，大数据技术原理与应用，数据结构与算法，python程序设计，C语言，HBase数据库，Hadoop，Spark算法，机器
HiveServer2 报错 OutOfMemoryError 解决思路
HiveServer2 报错 OutOfMemoryError 解决思路
