GenericUDF使用详解
大数据开发中总会遇到某些特殊或复杂的数据处理场景,靠Hive自带的函数堆叠也无法实现功能,这时候就需要我们自己去实现可以在Hive中嵌入的自定义数据处理函数——UDF函数。
前面关于UDF我们已经介绍过很多了,以及常见问题进行了总结
Hive实战之UDF分词
Hive实战之UDF IP 解析
Hive实战之UDF SQL 解析
21.Hive实战之UDF 复杂JSON 处理
22.Hive实战之UDF汉字首字母
还有我们后面的实战优化篇里面介绍的一个批量请求的调用中介绍的
4.UDAF批量调用外部请求
整个过程中我们又的是使用的UDF 接口,有的使用的是GenericUDF ,而且我们不清楚的看到UDF 接口已经被废弃了。
UDF函数按照继承类可以分为2种,一个是UDF,一个是GenericUDF,GenericUDF的开发会比UDF复杂一些,所以我们一般在以下几种场景下考虑使用GenericUDF:
版权归原作者 不二人生 所有, 如有侵权,请联系我们删除。