【Hive】函数（UDF篇）

UDF函数可以直接应用于select语句，对查询结构做格式化处理输出内容。自定义UDF需要继承org.apache.hadoop.hive.ql.UDF,实现evaluate函数。

自定义udf函数步骤：

• 1.继承UDF类
• 2.重写evaluate方法
• 3.把项目打成jar包
• 4.hive中执行命令add jar /home/jrjt/dwetl/PUB/UDF/udf/GetProperty.jar;
• 5.创建函数create temporary function get_pro as 'jd.Get_Property'//jd.jd.Get_Property为类路径;

永久udf函数创建：

• 1、hdfs dfs -put udftimestamp.jar /udf/
• 2、add jar hdfs://nameservice1:8020/udf/udftimestamp.jar;
• 3、CREATE FUNCTION dm_lots.udftimestamp AS 'mytimestamp.MyUDFTimestamp' using jar 'hdfs://nameservice1:8020/udf/udftimestamp.jar';

删除udf函数

drop function dm_lots.udftimestamp;

查看udf函数

show functions

例1：日志切割

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
 
 
public class SalaryUDF extends UDF{
    public Text evaluate(Text salaryText){
        //1.if salary is null
        if (salaryText == null) {
            return null;
        }
        
        String salaryStr = salaryText.toString();
        
        //2.if salary is not double type
        double salary = 0.0;
        try {
            salary = Double.valueOf(salaryStr);
        } catch (NumberFormatException e) {
            e.printStackTrace();
            return null;
        }
        
        Text text = new Text();
        
        //3.panduan salary return string 
        if (salary > 10000) {
            text.set("you are rich");
            return text;
        }else if (salary <= 10000 && salary > 5000) {
            text.set("income is normal");
            return text;
        }else {
            text.set("income is pool");
            return text;
        }
    }
}

例2：日期转化

package com.rainbow.udf;
 
import java.text.SimpleDateFormat;
import java.util.Date;
 
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
 
 
public class TestDate extends UDF{
      private SimpleDateFormat inputdateFormat = new SimpleDateFormat("dd/MM/yyyy:HH:mm:ss",locale.ENLISH);
      private SimpleDateFormat outputdateFormat = new SimpleDateFormat("yyyy/MM/dd HH:mm:ss");
       public Text exvaluate(Text input){
         Text output = new Text();
       if(null==input){
         return null;
    }
       if(null==input.toString()){
         return null;
    }
       try {
          String inputDate=input.toString().trim();
          Date perseDate = inputdateFormat.parse(inputDate);
          String outputDate = outputdateFormat.format(perseDate);
          output.set(outputDate);
    }catch(Exception e){
        e.printStackTrace();
        return output;
    }
           return output;
    }
}

打jar包
上传到hdfs
CREATE FUNCTION [db_name.]function_name AS class_name [USING JAR|FILE|ARCHIVE'file_uri' [, JAR|FILE|ARCHIVE'file_uri'] ];

【Hive】Hive常用函数（UDF篇）

Hive的函数分为三类，分别是UDF、UDAF、UDTF，简单区分这三类函数就是，UDF是单行输入，单行输出；UDAF是多行输入，单行输出；UDTF是单行输入，多行或多列输出。

另：**所有的hive函数，都可以使用

desc function 函数名

查看使用方法，若想查看更详细的使用方法，则可以使用

desc function extended 函数名

**

UDF

字符串类

返回值类型用法描述stringconcat(string|binary A, string|binary B...)拼接多个字符串stringconcat_ws(string SEP, string A, string B...)拼接多个字符串并按指定分隔符拼接stringconcat_ws(string SEP, array)另一种用法，可以直接拼接数组的元素 (as of Hive 0.9.0)stringdecode(binary bin, string charset)从 (one of 'US-ASCII', 'ISO-8859-1', 'UTF-8', 'UTF-16BE', 'UTF-16LE', 'UTF-16'). 中指定解码格式，解码二进制 (As of Hive 0.12.0.)stringelt(N int,str1 string,str2 string,str3 string,...)示例：elt(2,'hello','world') 返回 'world'.binaryencode(string src, string charset)从 (one of 'US-ASCII', 'ISO-8859-1', 'UTF-8', 'UTF-16BE', 'UTF-16LE', 'UTF-16'). 指定编码格式，编码字符串. (As of Hive 0.12.0.)intfield(val T,val1 T,val2 T,val3 T,...)示例： field('world','say','hello','world') 返回 3. 否则返回 0intfind_in_set(string str, string strList)示例：find_in_set('ab', 'abc,b,ab,c,def') 返回 3，参数是null返回null，没找到返回 0stringget_json_object(string json_string, string path)示例：get_json_object('{"name":"zs","id":"2"}','$.id') 返回 2
get_json_object('{"name":"zs","id":"2"}','$.name') 返回 zsintinstr(string str, string substr)示例：instr('substr', 'str') 返回 4，
instr('substr', 'astr') 返回 0
参数带null返回nullintlength(string A)返回字符串长度stringlower(string A) lcase(string A)字符串转小写，示例：lower('fOoBaR') 返回 'foobar'.stringlpad(string str, int len, string pad)字符串左补齐，示例：lpad('str', 5, '0') 返回 00str
lpad('str', 2, '0') 返回 st
参数带null返回nullstringltrim(string A)字符串去空格 ，示例：ltrim(' foobar ') 返回 'foobar '.stringregexp_extract(string subject, string pattern, int index)字符串则模板提取，示例：regexp_extract('foothebar', 'foo(.?)(bar)', 2) 返回 barstringregexp_replace(string INITIAL_STRING, string PATTERN, string REPLACEMENT)字符串正则替换，示例：regexp_replace("foobar", "oo|ar", "") 返回 'fb.'stringrepeat(string str, int n)重复字符串，示例：repeat('str', 2) 返回 strstrstringreplace(string A, string OLD, string NEW)字符串替换，示例：replace("ababab", "abab", "Z")返回 "Zab".stringreverse(string A)字符串翻转stringrpad(string str, int len, string pad)字符串右补齐stringrtrim(string A)字符串去空格 示例：rtrim(' foobar ') results in ' foobar'.stringspace(int n)返回一个 n 个空格的字符串arraysplit(string str, string pat)指定分隔符分割字符串，返回数组mapstr_to_map(text[, delimiter1, delimiter2])指定两个分隔符分割字符串，返回map，默认元素分隔符 ',' 默认键值分隔符 ':'stringsubstr(string|binary A, int start) substring(string|binary A, int start)字符串截取 示例：substr('foobar', 4) 返回 'bar'stringsubstr(string|binary A, int start, int len) substring(string|binary A, int start, int len)字符串截取，另一种用法 示例：substr('foobar', 4, 1) 返回 'b'stringsubstring_index(string A, string delim, int count)字符串截取，示例： substring_index('www.apache.org', '.', 2) 返回'www.apache'.stringtranslate(string|char|varchar input, string|char|varchar from, string|char|varchar to)字符串替换，可做到字符级别，示例：translate('abcdeab', 'abc', 'olcc') 返回 olcdeolstringtrim(string A)字符串去空格 示例：trim(' foobar ') 返回 'foobar'stringupper(string A) ucase(string A)字符串转大写 示例 upper('fOoBaR') 返回 'FOOBAR'.
日期类
返回值类型用法描述stringfrom_unixtime(bigint unixtime[, string format])Unix时间戳（秒）转格式化日期bigintunix_timestamp(string date)格式为uuu MM-dd HH:MM:ss的时间字符串转换为Unix时间戳（秒）bigintunix_timestamp(string date, string pattern)指定时间格式转换为Unix时间戳（秒）pre 2.1.0: string2.1.0 on: dateto_date(string timestamp)返回字符串的日期 示例： to_date("1970-01-01 00:00:00") = "1970-01-01".intyear(string date)返回年份，示例：year("1970-01-01 00:00:00") = 1970, year("1970-01-01") = 1970.intquarter(date/timestamp/string)返回季度，示例：quarter('2015-04-08') = 2. (as of Hive 1.3.0).intmonth(string date)返回月份，示例：month("1970-11-01 00:00:00") = 11, month("1970-11-01") = 11.intday(string date) dayofmonth(date)返回日期，示例： day("1970-11-01 00:00:00") = 1, day("1970-11-01") = 1.inthour(string date)返回小时，示例：hour('2009-07-30 12:58:59') = 12, hour('12:58:59') = 12.intminute(string date)返回分钟intsecond(string date)返回秒数intweekofyear(string date)返回日期在对应年份的周数，示例： weekofyear("1970-11-01 00:00:00") = 44, weekofyear("1970-11-01") = 44.intextract(field FROM source)支持的第三个参数 date格式, timestamp格式, interval 或 一个date或timestamp的格式字符串. 支持的第一个参数: day, dayofweek, hour, minute, month, quarter, second, week and year.
示例：select extract(month from "2016-10-20") 返回 10.
select extract(hour from "2016-10-20 05:06:07")返回 5.
select extract(dayofweek from "2016-10-20 05:06:07") 返回 5.
select extract(month from interval '1-3' year to month) 返回 3.
select extract(minute from interval '3 12:20:30' day to second) 返回 20.intdatediff(string enddate, string startdate)计算日期差值，示例： datediff('2009-03-01', '2009-02-27') = 2.pre 2.1.0: string2.1.0 on: datedate_add(date/timestamp/string startdate, tinyint/smallint/int days)日期增加天数，示例： date_add('2008-12-31', 1) = '2009-01-01'.Prior to Hive 2.1.0 (HIVE-13248)pre 2.1.0: string2.1.0 on: datedate_sub(date/timestamp/string startdate, tinyint/smallint/int days)日期减少天数，示例： date_sub('2008-12-31', 1) = '2008-12-30'.Prior to Hive 2.1.0 (HIVE-13248)timestampfrom_utc_timestamp({any primitive type} ts, string timezone)将UTC时间戳转换为指定时区的timestamp格式 (as of Hive 0.8.0).示例： from_utc_timestamp(2592000.0,'PST'), from_utc_timestamp(2592000000,'PST') and from_utc_timestamp(timestamp '1970-01-30 16:00:00','PST') 返回 timestamp 1970-01-30 08:00:00.datecurrent_date返回当前的日期 (as of Hive 1.2.0)timestampcurrent_timestamp返回当前的时间 (as of Hive 1.2.0)stringadd_months(string start_date, int num_months, output_date_format)日期增加月数，示例：add_months('2009-08-31', 1) 返回 '2009-09-30'.
add_months('2017-12-31 14:15:16', 2, 'YYYY-MM-dd HH:mm:ss') 返回 '2018-02-28 14:15:16'.stringlast_day(string date)返回日期所在月的最后一天 (as of Hive 1.1.0). 示例：last_day('2022-10-01') 返回 2022-10-31stringnext_day(string start_date, string day_of_week)返回日期下一周的星期几日期，示例： next_day('2015-01-14', 'TU') = 2015-01-20.stringtrunc(string date, string format)返回指定格式的日期值(as of Hive 1.2.0). 支持的格式: MONTH/MON/MM, YEAR/YYYY/YY. 示例： trunc('2015-03-17', 'MM') = 2015-03-01.doublemonths_between(date1, date2)返回两个日期之间的月数，示例：months_between('1997-03-30', '1997-10-30') = 7stringdate_format(date/timestamp/string ts, string fmt)格式化日期，支持的格式 https://docs.oracle.com/javase/8/docs/api/java/time/format/DateTimeFormatter.html. 示例： date_format('2015-04-08', 'y') = '2015'
集合类
返回值类型用法描述intsize(Map)返回Map的元素个数intsize(Array)返回数组的的元素个数arraymap_keys(Map)以数组的形式返回，Map的所有keyarraymap_values(Map)以数组的形式返回，Map的所有valuebooleanarray_contains(Array, value)如果数组包含对应值的元素返回true，否则返回falsearraysort_array(Array)将数组元素按升序排序后返回
条件类
返回值类型用法描述Tif(boolean testCondition, T valueTrue, T valueFalseOrNull)对一个返回值是boolean类型的表达式进行判断，如果返回值是true就返回 第二个值，其它情况返回第三个值booleanisnull( a )判空，null值返回true，否则返回falsebooleanisnotnull ( a )判非空，非null值返回true，否则返回falseTnvl(T value, T default_value)两个值，如果第一个值是null则返回第二个值，否则返回第一个值 (as of HIve 0.11).TCOALESCE(T v1, T v2, ...)上面函数的多值情况，如果前面值为null则取后面的值，可以一直判断下去直到取到非null值TCASE a WHEN b THEN c [WHEN d THEN e] [ELSE f] ENDcase when的一种写法，建议必加elseTCASE WHEN a THEN b [WHEN c THEN d]* [ELSE e] ENDcase when的一种写法，建议必加else，推荐Tnullif( a, b )相当于CASE WHEN a=b THEN NULL else a (as of Hive 2.3.0)voidassert_true(boolean condition)表达式结果是true则返回null，否则报错 (as of Hive 0.8.0). 示例： select assert_true (2<1)，报错信息：java.io.IOException: org.apache.hadoop.hive.ql.metadata.HiveException: ASSERT_TRUE(): assertion failed.
Hive官网UDF