Hive SQL判断一个字符串中是否包含字串的N种方式及其效率

背景

这是个常见需求，某个表tab中，需要判断某个string类型的字段中，哪些数据含有一个子串。以下给出6种方案，并给出效率对比。

可以使用regexp_extract(subject, pattern, index)函数来提取字符串中匹配指定正则表达式的字串。要判断一个字符串中是否包含字串"ABCD;"，可以使用如下代码：

SELECTCASEWHEN regexp_extract(subject,'ABCD;',0)!=''THEN'包含'ELSE'不包含'ENDAS is_contain
FROM
  your_table;

其中，subject是要判断的字符串，'ABCD;‘是要匹配的字串，0表示从整个匹配结果中获取整个字串。如果返回的字串不为空，则说明匹配到了，即包含字串’ABCD;’，否则不包含。你需要将your_table替换为你实际使用的表名或子查询。

使用instr(str, substr)函数来实现，使用类似下面的代码：

SELECTCASEWHEN instr(subject,'ABCD;')>0THEN'包含'ELSE'不包含'ENDAS is_contain
FROM
  your_table;

subject是要判断的字符串，'ABCD;'是要匹配的字串。instr(str, substr)函数返回字串substr在str中第一次出现的位置，如果找不到则返回0。通过判断返回的位置是否大于0来判断是否包含指定字串。

使用locate(substr, str)函数。该函数会返回匹配到的子串的位置，如果未找到则返回0。相比于instr函数，locate函数更快。

你可以使用如下代码来实现：

SELECTCASEWHEN locate('ABCD;', subject)>0THEN'包含'ELSE'不包含'ENDAS is_contain
FROM
  your_table;

在这里，subject是要检查的字符串，'ABCD;'是要匹配的字串。通过判断locate函数返回的位置是否大于0，即可判断字符串中是否包含了指定的字串。

使用like运算符来判断字符串中是否包含特定的字串。这种方式比使用函数更高效。你可以使用以下代码来实现：

SELECTCASEWHEN subject LIKE'%ABCD;%'THEN'包含'ELSE'不包含'ENDAS is_contain
FROM
  your_table;

在这里，subject是要判断的字符串，'%ABCD;%'是要匹配的字串模式。%是通配符，表示可以匹配任意字符。如果字符串中存在字串"ABCD;"，那么LIKE运算符会返回true，否则返回false。

使用正则表达式的RLIKE操作符。这个操作符可以直接在正则表达式中进行匹配，而无需使用额外的函数调用。以下是如何使用RLIKE操作符进行判断的示例代码：

SELECTCASEWHEN subject RLIKE'.*ABCD;.*'THEN'包含'ELSE'不包含'ENDAS is_contain
FROM
  your_table;

在这里，subject是待判断的字符串，'.ABCD;.'是匹配的正则表达式。.*表示匹配任意字符的零或多次重复。如果字符串中存在字串"ABCD;"，RLIKE操作符将返回true，否则返回false。

使用Hive的内置函数strpos(s, substr)，它返回子串在原始字符串中第一次出现的位置，如果找不到则返回0。相比较前面提到的方法，使用strpos函数可以更高效地判断字符串中是否包含特定字串。以下是使用strpos函数判断字符串是否包含字串的示例代码：

SELECTCASEWHEN strpos(subject,'ABCD;')>0THEN'包含'ELSE'不包含'ENDAS is_contain
FROM
  your_table;

在上述代码中，subject是要检查的字符串，'ABCD;'是要匹配的字串。通过判断strpos函数返回的位置是否大于0，就可以确定字符串是否包含指定的字串。

在计算效率方面，使用LIKE运算符进行字符串匹配是最高效的方式。LIKE运算符可以直接在字符串中进行模式匹配，不需要额外的函数调用或正则表达式解析过程，因此性能相对较高。

相比之下，使用正则表达式的RLIKE操作符需要对正则表达式进行解析和匹配，所以性能略低于直接使用LIKE运算符。

而使用strpos、instr和locate等函数进行字符串匹配，内部实现可能会涉及字符串扫描和模式匹配等操作，所以性能相对较低。

综上所述，从计算效率角度上来说，使用LIKE运算符是最高效的方式。在处理大量数据时，使用LIKE运算符可以获得更好的性能。

从计算效率的角度，按照效率高到效率低的顺序，可以将上面提到的6种方式，按照计算效率高到计算效率低进行排序：

标签： hive sql hadoop

本文转载自: https://blog.csdn.net/u011668104/article/details/135109485
版权归原作者 qiaoqiao2332 所有，如有侵权，请联系我们删除。