大数据-177 Elasticsearch Query DSL - 聚合分析 &指标聚合 & 桶聚合

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

• Hadoop（已更完）
• HDFS（已更完）
• MapReduce（已更完）
• Hive（已更完）
• Flume（已更完）
• Sqoop（已更完）
• Zookeeper（已更完）
• HBase（已更完）
• Redis （已更完）
• Kafka（已更完）
• Spark（已更完）
• Flink（已更完）
• ClickHouse（已更完）
• Kudu（已更完）
• Druid（已更完）
• Kylin（已更完）
• Elasticsearch（正在更新…）

章节内容

上节我们完成了如下的内容：

• Filter DSL
• 查询排序
• 结果高亮
• 批量操作

聚合介绍

Elasticsearch 的聚合分析是一种强大的功能，允许用户在查询数据的同时对其进行统计分析、分组计算和排序，类似于 SQL 中的 GROUP BY 和 COUNT() 等操作。聚合分析包括两个主要类别：指标聚合和桶聚合。在聚合的基础上，你还可以进行嵌套聚合，将多个聚合组合在一起，从而构建复杂的分析查询。

聚合分析是数据库中的重要的功能特性，完成对一个查询的数据集中数据的聚合计算，如：找出某个字段（或计算表达式的结果）的最大值、最小值、计算和、平均值等。Elasticsearch作为搜索引擎兼数据库，同样提供了强大的聚合分析能力。
对一个数据集求最大、最小、和、平均值等指标的聚合，在ES中称为指标聚合metric，而关系型数据库中除了有桶聚合函数外，还可以对查询出的数据进行分组GROUP BY，再在组上进行指标聚合，在ES中GROUP BY称为分桶，桶聚合Bucketing
Elasticsearch聚合分析语法，在查询请求体中aggregations节点，按如下语法定义聚合分析：

"aggregations":{"<aggregation_name>":{<!--聚合的名字 -->"<aggregation_type>":{<!--聚合的类型 --><aggregation_body><!--聚合体：对哪些字段进行聚合 -->}[,"meta":{[<meta_data_body>]}]?<!--元 -->[,"aggregations":{[<sub_aggregation>]+}]?<!--在聚合里面在定义子聚合 -->}}

说明：aggregatations 也可以简写做：aggs

指标聚合

max min sum avg

指标聚合 (Metrics Aggregations)
指标聚合的主要功能是计算某个字段的数值统计结果。常见的指标聚合包括求和、平均值、最大值、最小值、计数等。它们通常用于返回单个数值结果。

常用的指标聚合包括：

• avg：计算数值字段的平均值。
• sum：计算数值字段的总和。
• min：返回数值字段的最小值。
• max：返回数值字段的最大值。
• value_count：计算某个字段的值的数量。
• stats：返回字段的统计信息，包括最小值、最大值、平均值、总和和数量。
• extended_stats：比 stats 聚合提供更详细的统计信息，如标准差和方差。

查询最贵的

# price的最大值 
POST/book/_search
{"size":0,"aggs":{"max_price":{"max":{"field":"price"}}}}

执行结果如下图所示：

price大于100的

# 使用 _count 计算数量
POST/book/_count
{"query":{"range":{"price":{"gt":100}}}}

执行结果如下：

统计字段有值

# 通过聚合的方式 统计 price 有值的
POST/book/_search
{"size":0,"aggs":{"book_nums":{"value_count":{"field":"price"}}}}

执行结果如下图所示：

去重计数

# agg 聚合 去重数量
POST/book/_search?size=0{"aggs":{"price_count":{"cardinality":{"field":"price"}}}}

执行的结果如下图所示：

统计计数

stats 可以统计好几个值：

• max
• min
• count
• avg
• sum

# stats
POST/book/_search?size=0{"aggs":{"price_stats":{"stats":{"field":"price"}}}}

运行结果如下图所示：

扩展统计

Extended Stats，高级统计，比stats多4个统计结果：

• 平方和
• 方差
• 标准差
• 平均值加/减两个标准差的区间

# extended stats
POST/book/_search?size=0{"aggs":{"price_stats":{"extended_stats":{"field":"price"}}}}

占比百分位

Percentiles 占比百分位对应的值统计

# 占比百分位
POST/book/_search?size=0{"aggs":{"price_percents":{"percentiles":{"field":"price"}}}}

执行结果如下图所示：

当然，我们也可以指定分位值：

# 指定分位值
POST/book/_search?size=0{"aggs":{"price_percents":{"percentiles":{"field":"price","percents":[75,99,99.9]}}}}

运行结果如下图：

统计值小于等于指定值的文档占比

统计price小于100和200的文档的占比

POST/book/_search?size=0{"aggs":{"gge_perc_rank":{"percentile_ranks":{"field":"price","values":[100,200]}}}}

运行结果如下图所示：

桶聚合

Bucket Aggregations，桶聚合。
它执行的是对文档分组的操作（与SQL中的GROUP BY类似），把满足相关特性的文档分到一个桶里，即桶分，输出结果往往是一个包含多个文档的桶（一个桶就是一个GROUP）

• bucket 一个数据分组
• metric 对一个数据分组执行的统计

桶聚合的目的是根据某些条件对文档进行分组，每个组称为一个“桶”。每个桶包含符合特定条件的文档集合，可以对每个桶进一步执行其他聚合分析（如指标聚合或嵌套的桶聚合）。

常见的桶聚合包括：

• terms：按某个字段的不同值进行分组（类似 SQL 的 GROUP BY）。
• range：根据数值范围对字段进行分组。
• date_histogram：基于时间字段按固定时间间隔分组。
• histogram：基于数值字段按固定间隔分组。
• filter：根据查询条件过滤文档。
• filters：根据多个查询条件将文档分为多个不同的桶。
• geo_distance：基于地理位置和距离的范围来分组。

POST/book/_search
{"size":0,"aggs":{"group_by_price":{"range":{"field":"price","ranges":[{"from":0,"to":200},{"from":200,"to":400},{"from":400,"to":1000}]},"aggs":{"average_price":{"avg":{"field":"price"}}}}}}

执行的结果如下图所示：

我们也可以实现having的效果：

POST/book/_search
{"size":0,"aggs":{"group_by_price":{"range":{"field":"price","ranges":[{"from":0,"to":200},{"from":200,"to":400},{"from":400,"to":1000}]},"aggs":{"average_price":{"avg":{"field":"price"}},"having":{"bucket_selector":{"buckets_path":{"avg_price":"average_price"},"script":{"source":"params.avg_price >= 200 "}}}}}}}

执行结果如下图所示：