文章目录

• 一、字符串函数
• 二、数值函数
• 三、日期函数
• 四、其余常用函数
• 五、窗口函数
• • 5.1、语法
  • 5.2、常用窗口函数
• 六、自定义函数
• • 6.1、自定义UDF函数
  • 6.2、自定义UDTF函数
  • 6.3、将自定义函数导入hive中
  • • 6.3.1、将项目打成jar包
    • 6.3.2、将jar包传入hive目录
    • 6.3.3、在hive中加载jar包
    • 6.3.4、设置函数

• 查看内置函数

show functions;

示例：

• 查看内置函数用法

desc function 函数名;

示例：

• 查看内置函数详细信息

desc function extended abs;

示例：

一、字符串函数

Hive字符串函数用于处理字符串类型的数据，包括截取、拼接、替换、转换大小写等操作。下面列举Hive中常用的字符串函数:

二、数值函数

Hive数值函数用于处理数字类型的数据，包括加减乘除、求绝对值、取余数、四舍五入、向上取整、向下取整等操作。下面列举Hive中常用的数值函数：

三、日期函数

Hive提供了许多日期和时间函数，以下是一些常用的：

四、其余常用函数

• stack(n, v1, v2, …, vn)：

stack()函数在将多个列合并成一个列时，会将每个值都放在一个单独的行中。这意味着，输出结果的行数将是输入列数的n倍。如果需要将多个列按行合并到一个列中，可以考虑使用concat()函数或其他字符串函数。

五、窗口函数

• Hive窗口函数（Window Functions）是Hive中一种强大的分析函数，它们提供了一种在一组行中计算聚合值的方式。与常规聚合函数不同的是，窗口函数在查询结果中可以添加额外的列，这些列的值可以基于聚合函数的结果计算。
• 在Hive中，窗口函数使用OVER子句来指定要计算的行集合。在OVER子句中，可以指定窗口的边界条件（如窗口的大小、窗口的起始位置、窗口的结束位置等），以及要应用的聚合函数。一旦指定了OVER子句，Hive就会将结果集划分成指定的窗口，并计算每个窗口的聚合值。

5.1、语法

 ([expression]) OVER ([PARTITION BY partition_expression, ...][ORDER BY sort_expression [ASC | DESC], ...][ROWS BETWEEN frame_start AND frame_end]
)

其中， 是窗口函数的名称，expression 是要进行聚合计算的列或表达式。OVER子句中可以使用以下参数：

• PARTITION BY：指定分组列，用于将结果集划分成不同的分组，每个分组内部进行聚合计算。
• ORDER BY：指定排序列，用于将每个分组内的行进行排序。
• ROWS BETWEEN：指定窗口的边界条件，即要计算的行集合。常见的窗口类型包括：
  • UNBOUNDED PRECEDING：窗口从分组的第一行开始。
  • CURRENT ROW：窗口从当前行开始。
  • UNBOUNDED FOLLOWING：窗口从分组的最后一行结束。
  • PRECEDING：窗口向前移动指定行数。
  • FOLLOWING：窗口向后移动指定行数。
  • BETWEEN AND ：指定窗口的起始位置和结束位置，其中 和 可以是以上任何类型。

5.2、常用窗口函数

六、自定义函数

创建maven项目，导入依赖

junitjunit3.8.1testorg.apache.hivehive-exec3.1.2org.apache.hadoophadoop-client3.1.3org.apache.hivehive-jdbc3.1.3

6.1、自定义UDF函数

UDF(User-Defined-Function) 一进一出，继承了org.apache.hadoop.hive.ql.exec.UDF类，并复写了evaluate方法。

示例：将两个字符串传入，合到一起并全部转换成小写。

package org.example.udf;import org.apache.hadoop.hive.ql.exec.UDF;/*** @program: hivefunction* @interfaceName LowerUDF* @description:* @author: 太白* @create: 2023-02-24 14:08**/
public class LowerUDF extends UDF {public String evaluate(final String txt,final String txt2){String res = txt + ", " + txt2;return res.toLowerCase();}public static void main(String[] args) {LowerUDF lowerUDF = new LowerUDF();System.out.println(lowerUDF.evaluate("aaa", "BBBBB"));}
}

6.2、自定义UDTF函数

UDTF(User-Defined Table-Generating Functions)一进多出，继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF。

示例：将list转{“aa,bb,cc”,“3,4,1”}转换成map前面与后面一一对应。

package org.example.udtf;import com.google.common.collect.Lists;
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;import java.util.ArrayList;
import java.util.LinkedList;/*** @program: hivefunction* @interfaceName ArrayToMapUDTF* @description:* @author: 太白* @create: 2023-02-25 08:49**/public class ArrayToMapUDTF extends GenericUDTF {@Overridepublic StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {ArrayList colName = Lists.newArrayList();colName.add("key");colName.add("value");LinkedList resType = Lists.newLinkedList();resType.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);resType.add(PrimitiveObjectInspectorFactory.javaIntObjectInspector);//        返回内容为列名和列的数据类型return ObjectInspectorFactory.getStandardStructObjectInspector(colName, resType);}private Object[] obj = new Object[2];@Overridepublic void process(Object[] args) throws HiveException {if (args != null && args.length==2) {String[] keys = args[0].toString().split(",");String[] values = args[1].toString().split(",");for (int i = 0; i < keys.length; i++) {String key = keys[i];Integer value = 0;if (values.length>=i+1)value = Integer.valueOf(values[i]);obj[0] = key;obj[1] = value;forward(obj);}}else {return;}}@Overridepublic void close() throws HiveException {}
}

6.3、将自定义函数导入hive中

6.3.1、将项目打成jar包

6.3.2、将jar包传入hive目录

传入hive的lib目录下

6.3.3、在hive中加载jar包

add jar /opt/soft/hive312/lib/…jar;

6.3.4、设置函数

创建临时函数
create temporary function 函数名 as ‘引用路径’;
创建函数
create function 函数名 as ‘引用路径’;