Hive窗口函数

在 Apache Hive 中，窗口函数是一种特殊类型的函数，它允许你在查询中对分区数据执行复杂的分析。窗口函数在标准 SQL 中可用，Hive 作为 Apache Hadoop 的一个组件，也支持这些功能。以下是一些常见的窗口函数以及如何在 Hive 中使用它们的示例。

窗口函数的类型

1. 聚合函数（Aggregate Functions）：如 SUM、AVG、MAX、MIN 等，用于对窗口内的数据进行计算。
2. 排名函数（Ranking Functions）：如 RANK、DENSE_RANK、ROW_NUMBER 等，用于为窗口内的数据行分配排名。
3. 分析函数（Analytic Functions）：如 LAG、LEAD、FIRST_VALUE、LAST_VALUE 等，用于访问窗口内的相关行。

语法

窗口函数的基本语法如下：

function_name(expression) OVER (
  [PARTITION BY partition_expression]
  [ORDER BY order_expression [ASC|DESC]]
  [window_frame])

• function_name 是窗口函数的名称。
• expression 是要应用窗口函数的列或表达式。
• PARTITION BY 子句用于定义分区，窗口函数将在每个分区内分别执行。
• ORDER BY 子句用于定义排序规则，这将决定行在窗口内的顺序。
• window_frame 定义了窗口的大小和边界。

示例

考虑一个销售表

sales

，包含如下列：

• product_id：产品 ID。
• sale_date：销售日期。
• sales_amount：销售金额。

我们想要计算每个产品按日期的累积销售金额。

SELECT product_id, sale_date, sales_amount,
       SUM(sales_amount) OVER (PARTITION BY product_id ORDER BY sale_date) AS cumulative_sales
FROM sales;

在这个查询中，

SUM(sales_amount)

是一个窗口函数，它计算每个产品 ID 分区内按销售日期排序的销售金额的累积和。

窗口框架（Window Frame）

窗口框架定义了窗口函数计算的行范围。它可以是以下形式：

• ROWS BETWEEN start_bound AND end_bound：定义基于当前行的偏移量。
• RANGE BETWEEN start_bound AND end_bound：定义基于当前值的范围。

例如，要计算移动平均，你可以使用以下查询：

SELECT product_id, sale_date, sales_amount,
       AVG(sales_amount) OVER (PARTITION BY product_id ORDER BY sale_date
                                ROWS BETWEEN 6 PRECEDING AND CURRENT ROW) AS moving_avg
FROM sales;

这个查询计算了每个产品 ID 的 7 天移动平均销售金额，即包括当前行和前 6 天的数据。

注意事项

• 窗口函数在处理大数据集时可能非常耗时，因为它们需要对每个窗口进行计算。
• 确保你的查询设计得当，以便利用窗口函数的优势，并避免不必要的计算。