0


Hive之set参数大全-15

指定 HiveServer2 使用的认证方式

hive.server2.authentication

是 Hive 中的一个参数,用于指定 HiveServer2 使用的认证方式。该参数决定了 HiveServer2 如何进行用户身份验证。

以下是设置

hive.server2.authentication

参数的一般规则:

SET hive.server2.authentication=<authentication_method>;

其中,

<authentication_method>

是认证方式的标识符。不同的 Hive 版本支持不同的认证方式。

例如,如果要将 HiveServer2 的认证方式设置为使用 Kerberos 认证,可以使用以下命令:

SET hive.server2.authentication=KERBEROS;-- NONE

常见的认证方式包括:

  • NOSASL:无认证,不建议在生产环境中使用。
  • LDAP:使用 LDAP 进行用户身份验证。
  • KERBEROS:使用 Kerberos 进行用户身份验证。
  • PAM:使用 Pluggable Authentication Modules (PAM) 进行身份验证。

请注意,不同的认证方式可能需要额外的配置。如果使用 Kerberos 认证,还需要配置相关的 Kerberos 参数,如

hive.server2.authentication.kerberos.principal

hive.server2.authentication.kerberos.keytab

这样的设置只对当前会话有效,当会话结束后,设置将重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 Hive 服务以使更改生效。

确保在设置参数时了解其对系统行为的影响,并根据实际需求选择适当的认证方式。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.authentication

参数的更详细信息。

配置 LDAP 认证时指定群组类的参数

在 Hive 中,

hive.server2.authentication.ldap.groupClassKey

是用于配置 LDAP 认证时指定群组类的参数。LDAP(轻量级目录访问协议)是一种用于访问和维护分布式目录信息服务的协议,而 Hive 可以使用 LDAP 进行用户身份验证。

以下是设置

hive.server2.authentication.ldap.groupClassKey

参数的一般规则:

SET hive.server2.authentication.ldap.groupClassKey=<group_class_key>;

其中,

<group_class_key>

是用于指定群组类的键。这个键通常是 LDAP 中用于表示群组的属性名称。

例如,如果 LDAP 中的群组属性为

groupOfNames

,则可以使用以下命令:

SET hive.server2.authentication.ldap.groupClassKey=groupOfNames;

请注意,这样的设置只对当前会话有效,当会话结束后,设置将重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 Hive 服务以使更改生效。

LDAP 认证的配置涉及多个参数,包括 LDAP 服务器地址、用户和群组的搜索基准等。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于 LDAP 认证相关参数的更详细信息。

配置 LDAP 认证时指定群组成员关系的参数

在 Hive 中,

hive.server2.authentication.ldap.groupMembershipKey

是用于配置 LDAP 认证时指定群组成员关系的参数。LDAP(轻量级目录访问协议)是一种用于访问和维护分布式目录信息服务的协议,而 Hive 可以使用 LDAP 进行用户身份验证。

以下是设置

hive.server2.authentication.ldap.groupMembershipKey

参数的一般规则:

SET hive.server2.authentication.ldap.groupMembershipKey=<group_membership_key>;

其中,

<group_membership_key>

是用于指定群组成员关系的键。这个键通常是 LDAP 中用于表示群组成员关系的属性名称。

例如,如果 LDAP 中的群组成员关系属性为

member

,则可以使用以下命令:

SET hive.server2.authentication.ldap.groupMembershipKey=member;

请注意,这样的设置只对当前会话有效,当会话结束后,设置将重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 Hive 服务以使更改生效。

LDAP 认证的配置涉及多个参数,包括 LDAP 服务器地址、用户和群组的搜索基准等。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于 LDAP 认证相关参数的更详细信息。

配置 LDAP 认证时指定用户的全局唯一标识符(GUID)的参数

在 Hive 中,

hive.server2.authentication.ldap.guidKey

是用于配置 LDAP 认证时指定用户的全局唯一标识符(GUID)的参数。LDAP(轻量级目录访问协议)是一种用于访问和维护分布式目录信息服务的协议,而 Hive 可以使用 LDAP 进行用户身份验证。

以下是设置

hive.server2.authentication.ldap.guidKey

参数的一般规则:

SET hive.server2.authentication.ldap.guidKey=<guid_key>;

其中,

<guid_key>

是用于指定用户的全局唯一标识符的键。这个键通常是 LDAP 中用于表示用户的唯一标识符属性的名称。

例如,如果 LDAP 中的用户唯一标识符属性为

objectGUID

,则可以使用以下命令:

SET hive.server2.authentication.ldap.guidKey=objectGUID;

请注意,这样的设置只对当前会话有效,当会话结束后,设置将重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 Hive 服务以使更改生效。

LDAP 认证的配置涉及多个参数,包括 LDAP 服务器地址、用户和群组的搜索基准等。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于 LDAP 认证相关参数的更详细信息。

配置在 HiveServer2 启动时是否清理悬挂的临时目录

在 Hive 中,

hive.server2.clear.dangling.scratchdir

是一个参数,用于配置在 HiveServer2 启动时是否清理悬挂的临时目录。悬挂的临时目录是指上一次 HiveServer2 进程异常退出或终止时未能清理的临时工作目录。

以下是设置

hive.server2.clear.dangling.scratchdir

参数的一般规则:

SET hive.server2.clear.dangling.scratchdir=<true_or_false>;

其中,

<true_or_false>

是布尔值,用于启用或禁用在 HiveServer2 启动时清理悬挂的临时目录。

例如,要启用清理悬挂的临时目录功能,可以使用以下命令:

SET hive.server2.clear.dangling.scratchdir=true;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

清理悬挂的临时目录可以确保系统不会积累未使用的临时文件,从而释放磁盘空间。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.clear.dangling.scratchdir

参数的更详细信息。

配置在客户端断开连接时是否关闭对应的 HiveServer2 会话

在 Hive 中,

hive.server2.close.session.on.disconnect

是一个参数,用于配置在客户端断开连接时是否关闭对应的 HiveServer2 会话。当客户端与 HiveServer2 建立连接后,如果客户端断开连接,HiveServer2 可以选择是保留还是关闭与该客户端关联的会话。

以下是设置

hive.server2.close.session.on.disconnect

参数的一般规则:

SET hive.server2.close.session.on.disconnect=<true_or_false>;

其中,

<true_or_false>

是布尔值,用于配置是否在客户端断开连接时关闭对应的 HiveServer2 会话。

例如,要启用在客户端断开连接时关闭对应的 HiveServer2 会话,可以使用以下命令:

SET hive.server2.close.session.on.disconnect=true;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

配置是否关闭对应的 HiveServer2 会话取决于具体的使用场景和需求。在某些情况下,可能希望保留会话状态以便后续重连,而在其他情况下可能希望及时释放资源。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.close.session.on.disconnect

参数的更详细信息。

配置在编译 Hive 查询时获取锁的超时时间

在 Hive 中,

hive.server2.compile.lock.timeout

是一个参数,用于配置在编译 Hive 查询时获取锁的超时时间。编译锁是为了确保同一时刻只有一个查询在编译,以避免竞争和冲突。

以下是设置

hive.server2.compile.lock.timeout

参数的一般规则:

SET hive.server2.compile.lock.timeout=<timeout_in_milliseconds>;

其中,

<timeout_in_milliseconds>

是超时时间的数值,以毫秒为单位。

例如,要将编译锁的超时时间设置为 10000 毫秒(即 10 秒),可以使用以下命令:

SET hive.server2.compile.lock.timeout=10000;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

调整编译锁的超时时间可以影响查询编译的等待时间。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.compile.lock.timeout

参数的更详细信息。

是否启用执行查询时使用特定用户身份的功能

在 Hive 中,

hive.server2.enable.doAs

是一个参数,用于配置是否启用执行查询时使用特定用户身份的功能。当启用

hive.server2.enable.doAs

时,HiveServer2 会尝试使用执行查询的用户身份来运行查询。

以下是设置

hive.server2.enable.doAs

参数的一般规则:

SET hive.server2.enable.doAs=<true_or_false>;

其中,

<true_or_false>

是布尔值,用于启用或禁用执行查询时使用特定用户身份的功能。

例如,要启用执行查询时使用特定用户身份的功能,可以使用以下命令:

SET hive.server2.enable.doAs=true;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

启用

hive.server2.enable.doAs

可以使得查询在执行时使用调用用户的身份,而不是 HiveServer2 进程的身份。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.enable.doAs

参数的更详细信息。

指定 HiveServer2 的全局初始化文件的位置

在 Hive 中,

hive.server2.global.init.file.location

是一个参数,用于指定 HiveServer2 的全局初始化文件的位置。全局初始化文件是一个包含 HiveServer2 启动时加载的全局配置设置的文件。

以下是设置

hive.server2.global.init.file.location

参数的一般规则:

SET hive.server2.global.init.file.location=<file_path>;

其中,

<file_path>

是全局初始化文件的路径。

例如,要将全局初始化文件设置为位于 “/path/to/global-init-file” 的文件,可以使用以下命令:

SET hive.server2.global.init.file.location=/path/to/global-init-file;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

全局初始化文件通常包含一些全局的配置设置,例如 Hive 元存储连接信息、认证设置等。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.global.init.file.location

参数的更详细信息。

配置在 HiveServer2 上执行的空闲查询的超时时间

在 Hive 中,

hive.server2.idle.operation.timeout

是一个参数,用于配置在 HiveServer2 上执行的空闲查询的超时时间。空闲查询是指在执行过程中没有活动的查询。

以下是设置

hive.server2.idle.operation.timeout

参数的一般规则:

SET hive.server2.idle.operation.timeout=<timeout_in_seconds>;

其中,

<timeout_in_seconds>

是空闲查询的超时时间,以秒为单位。

例如,要将空闲查询的超时时间设置为 600 秒(即 10 分钟),可以使用以下命令:

SET hive.server2.idle.operation.timeout=600;-- s:秒-- d:天

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

通过配置空闲查询的超时时间,可以自动释放系统资源,并避免长时间保持空闲的查询影响系统性能。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.idle.operation.timeout

参数的更详细信息。

是否启用检查空闲会话的查询的功能

在 Hive 中,

hive.server2.idle.session.check.operation

是一个参数,用于配置是否启用检查空闲会话的查询的功能。当启用

hive.server2.idle.session.check.operation

时,HiveServer2 会检查会话中所有查询的状态,如果所有查询都处于空闲状态,那么该会话将被认为是空闲的。

以下是设置

hive.server2.idle.session.check.operation

参数的一般规则:

SET hive.server2.idle.session.check.operation=<true_or_false>;

其中,

<true_or_false>

是布尔值,用于启用或禁用检查空闲会话的查询的功能。

例如,要启用检查空闲会话的查询的功能,可以使用以下命令:

SET hive.server2.idle.session.check.operation=true;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

启用检查空闲会话的查询可以帮助及时识别并释放处于空闲状态的会话,以释放系统资源。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.idle.session.check.operation

参数的更详细信息。

配置 HiveServer2 中空闲会话的超时时间

在 Hive 中,

hive.server2.idle.session.timeout

是一个参数,用于配置 HiveServer2 中空闲会话的超时时间。空闲会话是指在没有活动查询的情况下保持打开状态的会话。

以下是设置

hive.server2.idle.session.timeout

参数的一般规则:

SET hive.server2.idle.session.timeout=<timeout_in_seconds>;

其中,

<timeout_in_seconds>

是空闲会话的超时时间,以秒为单位。

例如,要将空闲会话的超时时间设置为 1800 秒(即 30 分钟),可以使用以下命令:

SET hive.server2.idle.session.timeout=1800;-- s:秒-- d:天

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

配置空闲会话的超时时间可以确保及时关闭长时间没有活动的会话,以释放系统资源。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.idle.session.timeout

参数的更详细信息。

配置是否在 HiveServer2 中启用查询执行过程中的进度更新

在 Hive 中,

hive.server2.in.place.progress

是一个参数,用于配置是否在 HiveServer2 中启用查询执行过程中的进度更新。当启用

hive.server2.in.place.progress

时,HiveServer2 会直接在查询执行过程中更新进度信息。

以下是设置

hive.server2.in.place.progress

参数的一般规则:

SET hive.server2.in.place.progress=<true_or_false>;

其中,

<true_or_false>

是布尔值,用于启用或禁用查询执行过程中的进度更新。

例如,要启用查询执行过程中的进度更新,可以使用以下命令:

SET hive.server2.in.place.progress=true;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

启用查询执行过程中的进度更新可以让用户实时监视查询的执行状态。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.in.place.progress

参数的更详细信息。

配置限制每个 IP 地址的连接数

在 Hive 中,

hive.server2.limit.connections.per.ipaddress

是一个参数,用于配置限制每个 IP 地址的连接数。该参数用于控制来自单个 IP 地址的并发连接数,以避免滥用或过度使用系统资源。

以下是设置

hive.server2.limit.connections.per.ipaddress

参数的一般规则:

SET hive.server2.limit.connections.per.ipaddress=<num_connections>;

其中,

<num_connections>

是允许的最大连接数。

例如,要将每个 IP 地址的最大连接数设置为 5,可以使用以下命令:

SET hive.server2.limit.connections.per.ipaddress=5;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

配置限制每个 IP 地址的连接数有助于防止某些恶意行为或资源耗尽的情况。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.limit.connections.per.ipaddress

参数的更详细信息。

配置限制每个用户的连接数

在 Hive 中,

hive.server2.limit.connections.per.user

是一个参数,用于配置限制每个用户的连接数。该参数用于控制单个用户的并发连接数,以避免滥用或过度使用系统资源。

以下是设置

hive.server2.limit.connections.per.user

参数的一般规则:

SET hive.server2.limit.connections.per.user=<num_connections>;

其中,

<num_connections>

是允许的最大连接数。

例如,要将每个用户的最大连接数设置为 3,可以使用以下命令:

SET hive.server2.limit.connections.per.user=3;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

配置限制每个用户的连接数有助于防止某些恶意行为或资源耗尽的情况。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.limit.connections.per.user

参数的更详细信息。

配置在 LLAP(Long-Lived and Process)执行引擎下同时执行的查询的最大数量

在 Hive 中,

hive.server2.llap.concurrent.queries

是一个参数,用于配置在 LLAP(Long-Lived and Process)执行引擎下同时执行的查询的最大数量。LLAP 是 Hive 的一种执行引擎,旨在提高查询性能。

以下是设置

hive.server2.llap.concurrent.queries

参数的一般规则:

SET hive.server2.llap.concurrent.queries=<num_queries>;

其中,

<num_queries>

是允许同时执行的查询的最大数量。

例如,要将 LLAP 引擎下允许同时执行的查询的最大数量设置为 10,可以使用以下命令:

SET hive.server2.llap.concurrent.queries=10;-- -1表示不限制

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

调整 LLAP 引擎下允许同时执行的查询的最大数量可以影响系统的并发性能。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.llap.concurrent.queries

参数的更详细信息。

配置是否启用 HiveServer2 记录查询操作的功能

在 Hive 中,

hive.server2.logging.operation.enabled

是一个参数,用于配置是否启用 HiveServer2 记录查询操作的功能。

以下是设置

hive.server2.logging.operation.enabled

参数的一般规则:

SET hive.server2.logging.operation.enabled=<true_or_false>;

其中,

<true_or_false>

是布尔值,用于启用或禁用查询操作的日志记录。

例如,要启用查询操作的日志记录功能,可以使用以下命令:

SET hive.server2.logging.operation.enabled=true;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

启用查询操作的日志记录可以帮助跟踪和审计系统中执行的查询。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.logging.operation.enabled

参数的更详细信息。

配置 HiveServer2 记录查询操作的详细程度

在 Hive 中,

hive.server2.logging.operation.level

是一个参数,用于配置 HiveServer2 记录查询操作的详细程度。该参数控制记录查询操作信息的日志级别。

以下是设置

hive.server2.logging.operation.level

参数的一般规则:

SET hive.server2.logging.operation.level=<log_level>;

其中,

<log_level>

是日志级别,可以是如下之一:

  • VERBOSE: 最详细的日志级别,记录所有查询操作的详细信息。
  • EXECUTION: 记录查询执行的信息。
  • PERF: 记录查询性能相关的信息。
  • INFO: 记录基本的查询信息。
  • ERROR: 只记录错误级别的信息。

例如,要将查询操作的日志级别设置为

VERBOSE

,可以使用以下命令:

SET hive.server2.logging.operation.level=VERBOSE;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

调整查询操作的日志级别可以影响系统的日志记录详细程度。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.logging.operation.level

参数的更详细信息。

配置 HiveServer2 记录查询操作日志的存储位置

在 Hive 中,

hive.server2.logging.operation.log.location

是一个参数,用于配置 HiveServer2 记录查询操作日志的存储位置。该参数指定了保存查询操作日志的目录路径。

以下是设置

hive.server2.logging.operation.log.location

参数的一般规则:

SET hive.server2.logging.operation.log.location=<log_directory_path>;

其中,

<log_directory_path>

是用于存储查询操作日志的目录路径。

例如,要将查询操作日志存储到 “/path/to/query/logs” 目录,可以使用以下命令:

SET hive.server2.logging.operation.log.location=/path/to/query/logs;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

将查询操作日志保存到指定目录可以帮助您组织和管理日志文件。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.logging.operation.log.location

参数的更详细信息。

配置 HiveServer2 使用长轮询(long polling)机制时的超时时间

在 Hive 中,

hive.server2.long.polling.timeout

是一个参数,用于配置 HiveServer2 使用长轮询(long polling)机制时的超时时间。长轮询是一种客户端与服务器之间进行通信的方式,客户端发起请求后,服务器会一直等待直到有新的数据可用或超时。

以下是设置

hive.server2.long.polling.timeout

参数的一般规则:

SET hive.server2.long.polling.timeout=<timeout_in_seconds>;

其中,

<timeout_in_seconds>

是长轮询的超时时间,以秒为单位。

例如,要将长轮询的超时时间设置为 60 秒,可以使用以下命令:

SET hive.server2.long.polling.timeout=60;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

长轮询超时时间的设置影响客户端与 HiveServer2 之间的通信响应时间。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.long.polling.timeout

参数的更详细信息。

配置 HiveServer2 在使用 Fair 调度器(Fair Scheduler)时,将任务分配到哪个队列

在 Hive 中,

hive.server2.map.fair.scheduler.queue

是一个参数,用于配置 HiveServer2 在使用 Fair 调度器(Fair Scheduler)时,将任务分配到哪个队列。

以下是设置

hive.server2.map.fair.scheduler.queue

参数的一般规则:

SET hive.server2.map.fair.scheduler.queue=<queue_name>;

其中,

<queue_name>

是 Fair 调度器中的队列名称。

例如,要将 HiveServer2 分配的任务放入 Fair 调度器中的队列 “myQueue”,可以使用以下命令:

SET hive.server2.map.fair.scheduler.queue=myQueue;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

使用 Fair 调度器时,将任务分配到不同的队列可以根据业务需求进行资源调度和优先级设置。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.map.fair.scheduler.queue

参数的更详细信息。

配置 HiveServer2 中的物化视图注册表的实现类

在 Hive 中,

hive.server2.materializedviews.registry.impl

是一个参数,用于配置 HiveServer2 中的物化视图注册表的实现类。物化视图注册表用于管理和存储物化视图的信息。

以下是设置

hive.server2.materializedviews.registry.impl

参数的一般规则:

SET hive.server2.materializedviews.registry.impl=<registry_impl_class>;

其中,

<registry_impl_class>

是物化视图注册表的实现类的完整类名。

例如,要将物化视图注册表的实现类设置为 “com.example.CustomMaterializedViewRegistry”,可以使用以下命令:

SET hive.server2.materializedviews.registry.impl=com.example.CustomMaterializedViewRegistry;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

物化视图注册表的实现类负责管理和维护物化视图的元数据信息。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.materializedviews.registry.impl

参数的更详细信息。

配置 HiveServer2 启动时的最大尝试次数

在 Hive 中,

hive.server2.max.start.attempts

是一个参数,用于配置 HiveServer2 启动时的最大尝试次数。该参数定义了在启动 HiveServer2 过程中允许的最大尝试次数,如果启动失败,则可以根据需要进行适当的调整。

以下是设置

hive.server2.max.start.attempts

参数的一般规则:

SET hive.server2.max.start.attempts=<max_attempts>;

其中,

<max_attempts>

是启动 HiveServer2 的最大尝试次数。

例如,要将 HiveServer2 启动的最大尝试次数设置为 3,可以使用以下命令:

SET hive.server2.max.start.attempts=3;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

调整 HiveServer2 启动的最大尝试次数可以在一些情况下帮助处理启动失败的问题。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.max.start.attempts

参数的更详细信息。

是否启用 HiveServer2 的指标(metrics)收集功能

在 Hive 中,

hive.server2.metrics.enabled

是一个参数,用于配置是否启用 HiveServer2 的指标(metrics)收集功能。指标收集用于监控和度量 HiveServer2 的性能和运行状况。

以下是设置

hive.server2.metrics.enabled

参数的一般规则:

SET hive.server2.metrics.enabled=<true_or_false>;

其中,

<true_or_false>

是布尔值,用于启用或禁用指标收集功能。

例如,要启用 HiveServer2 的指标收集功能,可以使用以下命令:

SET hive.server2.metrics.enabled=true;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

启用指标收集功能可以提供有关 HiveServer2 性能和系统健康状态的详细信息。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.metrics.enabled

参数的更详细信息。

配置 HiveServer2 操作日志清理的延迟时间

在 Hive 中,

hive.server2.operation.log.cleanup.delay

是一个参数,用于配置 HiveServer2 操作日志清理的延迟时间。操作日志包含了 HiveServer2 中执行的查询操作的信息。

以下是设置

hive.server2.operation.log.cleanup.delay

参数的一般规则:

SET hive.server2.operation.log.cleanup.delay=<delay_in_seconds>;

其中,

<delay_in_seconds>

是清理操作日志的延迟时间,以秒为单位。

例如,要将清理操作日志的延迟时间设置为 86400 秒(即 24 小时),可以使用以下命令:

SET hive.server2.operation.log.cleanup.delay=86400;-- s:秒

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

配置清理操作日志的延迟时间可以控制日志保留的时间,以节省存储空间。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.operation.log.cleanup.delay

参数的更详细信息。

配置 HiveServer2 会话中并行操作的最大数量

在 Hive 中,

hive.server2.parallel.ops.in.session

是一个参数,用于配置 HiveServer2 会话中并行操作的最大数量。该参数指定了在单个 HiveServer2 会话中允许的最大并行操作数量。

以下是设置

hive.server2.parallel.ops.in.session

参数的一般规则:

SET hive.server2.parallel.ops.in.session=<max_parallel_ops>;

其中,

<max_parallel_ops>

是允许的最大并行操作数量。

例如,要将 HiveServer2 会话中允许的最大并行操作数量设置为 5,可以使用以下命令:

SET hive.server2.parallel.ops.in.session=5;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

通过配置最大并行操作数量,可以控制在单个 HiveServer2 会话中允许同时执行的操作数量,以避免过度消耗系统资源。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.parallel.ops.in.session

参数的更详细信息。

配置 HiveServer2 在检查会话空闲状态的时间间隔

在 Hive 中,

hive.server2.session.check.interval

是一个参数,用于配置 HiveServer2 在检查会话空闲状态的时间间隔。该参数定义了 HiveServer2 多久检查一次会话的空闲状态,以决定是否关闭空闲的会话。

以下是设置

hive.server2.session.check.interval

参数的一般规则:

SET hive.server2.session.check.interval=<check_interval_in_seconds>;

其中,

<check_interval_in_seconds>

是检查会话空闲状态的时间间隔,以秒为单位。

例如,要将检查会话空闲状态的时间间隔设置为 300 秒(即 5 分钟),可以使用以下命令:

SET hive.server2.session.check.interval=300;-- h:小时

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

调整检查会话空闲状态的时间间隔可以影响系统及时关闭空闲会话以释放资源。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.session.check.interval

参数的更详细信息。

配置 HiveServer2 在多次尝试启动失败后休眠的时间间隔

在 Hive 中,

hive.server2.sleep.interval.between.start.attempts

是一个参数,用于配置 HiveServer2 在多次尝试启动失败后休眠的时间间隔。该参数定义了在重新尝试启动 HiveServer2 之前的等待时间。

以下是设置

hive.server2.sleep.interval.between.start.attempts

参数的一般规则:

SET hive.server2.sleep.interval.between.start.attempts=<sleep_interval_in_seconds>;

其中,

<sleep_interval_in_seconds>

是休眠的时间间隔,以秒为单位。

例如,要将在多次启动尝试失败后的休眠时间间隔设置为 60 秒,可以使用以下命令:

SET hive.server2.sleep.interval.between.start.attempts=60;-- s:秒

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

调整启动失败后的休眠时间间隔可以在系统启动时处理一些异常情况。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.sleep.interval.between.start.attempts

参数的更详细信息。

配置是否启用 HiveServer2 的动态服务发现支持

在 Hive 中,

hive.server2.support.dynamic.service.discovery

是一个参数,用于配置是否启用 HiveServer2 的动态服务发现支持。启用动态服务发现可以使 HiveServer2 自动注册和发现服务,以提高系统的可伸缩性和灵活性。

以下是设置

hive.server2.support.dynamic.service.discovery

参数的一般规则:

SET hive.server2.support.dynamic.service.discovery=<true_or_false>;

其中,

<true_or_false>

是布尔值,用于启用或禁用动态服务发现支持。

例如,要启用 HiveServer2 的动态服务发现支持,可以使用以下命令:

SET hive.server2.support.dynamic.service.discovery=true;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

启用动态服务发现可以在分布式环境中帮助 HiveServer2 更好地适应服务的动态变化。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.support.dynamic.service.discovery

参数的更详细信息。

配置 HiveServer2 中表类型的映射关系

在 Hive 中,

hive.server2.table.type.mapping

是一个参数,用于配置 HiveServer2 中表类型的映射关系。该参数允许你映射 HiveServer2 中的表类型到底层存储系统中的相应表类型。

以下是设置

hive.server2.table.type.mapping

参数的一般规则:

SET hive.server2.table.type.mapping=<mapping_string>;

其中,

<mapping_string>

是表类型映射的字符串表示。映射的格式通常是

hive_table_type:underlying_storage_table_type

例如,要将 HiveServer2 中的 MANAGED_TABLE 类型映射到底层存储系统中的 ORC 格式表,可以使用以下命令:

SET hive.server2.table.type.mapping=MANAGED_TABLE:ORC;-- CLASSIC

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

配置表类型映射可以帮助 HiveServer2 与底层存储系统的特定表类型进行适配。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.table.type.mapping

参数的更详细信息。

配置 HiveServer2 是否在启动时初始化默认的 Tez 会话

在 Hive 中,

hive.server2.tez.initialize.default.sessions

是一个参数,用于配置 HiveServer2 是否在启动时初始化默认的 Tez 会话。Tez 是 Hive 中用于执行查询的执行引擎之一。

以下是设置

hive.server2.tez.initialize.default.sessions

参数的一般规则:

SET hive.server2.tez.initialize.default.sessions=<true_or_false>;

其中,

<true_or_false>

是布尔值,用于启用或禁用初始化默认的 Tez 会话。

例如,要启用在 HiveServer2 启动时初始化默认的 Tez 会话,可以使用以下命令:

SET hive.server2.tez.initialize.default.sessions=true;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

初始化默认的 Tez 会话可以提高查询执行的效率,但根据实际情况,您可能需要根据特定的需求进行适当的配置。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.tez.initialize.default.sessions

参数的更详细信息。

配置是否启用 HiveServer2 Tez 队列访问控制检查

在 Hive 中,

hive.server2.tez.queue.access.check

是一个参数,用于配置是否启用 HiveServer2 Tez 队列访问控制检查。该参数影响 HiveServer2 与 Tez 之间的队列访问控制。

以下是设置

hive.server2.tez.queue.access.check

参数的一般规则:

SET hive.server2.tez.queue.access.check=<true_or_false>;

其中,

<true_or_false>

是布尔值,用于启用或禁用 Tez 队列访问控制检查。

例如,要启用 HiveServer2 Tez 队列访问控制检查,可以使用以下命令:

SET hive.server2.tez.queue.access.check=true;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

启用 Tez 队列访问控制检查可以确保只有具有相应权限的用户可以访问指定的 Tez 队列。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.tez.queue.access.check

参数的更详细信息。

配置 HiveServer2 中的 Tez 会话的生命周期

在 Hive 中,

hive.server2.tez.session.lifetime

是一个参数,用于配置 HiveServer2 中的 Tez 会话的生命周期。该参数定义了 Tez 会话的最大生存期,即 Tez 会话在空闲一段时间后是否会被终止。

以下是设置

hive.server2.tez.session.lifetime

参数的一般规则:

SET hive.server2.tez.session.lifetime=<lifetime_in_seconds>;

其中,

<lifetime_in_seconds>

是 Tez 会话的最大生存期,以秒为单位。

例如,要将 Tez 会话的最大生存期设置为 3600 秒(即 1 小时),可以使用以下命令:

SET hive.server2.tez.session.lifetime=3600;-- h:小时SET hive.server2.tez.session.lifetime=1h;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

调整 Tez 会话的最大生存期可以影响系统资源的利用效率。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.tez.session.lifetime

参数的更详细信息。

配置 HiveServer2 中 Tez 会话生命周期的抖动(jitter)

在 Hive 中,

hive.server2.tez.session.lifetime.jitter

是一个参数,用于配置 HiveServer2 中 Tez 会话生命周期的抖动(jitter)。抖动是指在确定会话生命周期时引入的一些随机性,以避免所有会话同时终止。

以下是设置

hive.server2.tez.session.lifetime.jitter

参数的一般规则:

SET hive.server2.tez.session.lifetime.jitter=<jitter_percentage>;

其中,

<jitter_percentage>

是抖动的百分比,表示在计算会话生命周期时允许的最大随机偏移百分比。

例如,要将 Tez 会话生命周期的抖动设置为 10%,可以使用以下命令:

SET hive.server2.tez.session.lifetime.jitter=10;-- h:小时-- 如果定义为小时,表示到时间后终止会话

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

引入抖动可以帮助分散 Tez 会话的终止时间,以防止它们同时终止,从而更有效地利用系统资源。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.tez.session.lifetime.jitter

参数的更详细信息。

配置是否允许 Tez 会话使用自定义队列

在 Hive 中,

hive.server2.tez.sessions.custom.queue.allowed

是一个参数,用于配置是否允许 Tez 会话使用自定义队列。该参数影响在 HiveServer2 中执行的 Tez 会话是否可以选择使用自定义的队列。

以下是设置

hive.server2.tez.sessions.custom.queue.allowed

参数的一般规则:

SET hive.server2.tez.sessions.custom.queue.allowed=<true_or_false>;

其中,

<true_or_false>

是布尔值,用于启用或禁用 Tez 会话使用自定义队列。

例如,要允许 Tez 会话使用自定义队列,可以使用以下命令:

SET hive.server2.tez.sessions.custom.queue.allowed=true;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

允许 Tez 会话使用自定义队列可以为用户提供更灵活的资源管理选项。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.tez.sessions.custom.queue.allowed

参数的更详细信息。

配置 HiveServer2 中初始化 Tez 会话的线程数

在 Hive 中,

hive.server2.tez.sessions.init.threads

是一个参数,用于配置 HiveServer2 中初始化 Tez 会话的线程数。该参数定义了并发初始化 Tez 会话的线程数。

以下是设置

hive.server2.tez.sessions.init.threads

参数的一般规则:

SET hive.server2.tez.sessions.init.threads=<number_of_threads>;

其中,

<number_of_threads>

是并发初始化 Tez 会话的线程数。

例如,要将初始化 Tez 会话的线程数设置为 5,可以使用以下命令:

SET hive.server2.tez.sessions.init.threads=5;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

通过配置并发初始化 Tez 会话的线程数,可以加快 Tez 会话的启动过程,特别是在有大量并发请求时。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.tez.sessions.init.threads

参数的更详细信息。

配置 HiveServer2 中每个默认队列允许的 Tez 会话数量

在 Hive 中,

hive.server2.tez.sessions.per.default.queue

是一个参数,用于配置 HiveServer2 中每个默认队列允许的 Tez 会话数量。该参数定义了在 HiveServer2 中为每个默认队列同时运行的 Tez 会话的最大数量。

以下是设置

hive.server2.tez.sessions.per.default.queue

参数的一般规则:

SET hive.server2.tez.sessions.per.default.queue=<max_sessions>;

其中,

<max_sessions>

是每个默认队列允许的 Tez 会话数量。

例如,要将每个默认队列允许的 Tez 会话数量设置为 10,可以使用以下命令:

SET hive.server2.tez.sessions.per.default.queue=10;

请注意,这样的设置只对当前 HiveServer2 会话有效,当 HiveServer2 重新启动时,设置将被重置为默认值。如果您希望永久性地更改配置参数,可以在 Hive 的配置文件中进行修改,并需要重新启动 HiveServer2 服务以使更改生效。

通过配置每个默认队列允许的 Tez 会话数量,可以控制在系统中同时运行的 Tez 会话的数量,以更好地管理系统资源。确保在设置参数时了解其对系统行为的影响,并根据实际需求进行适当的配置。查阅您使用的 Hive 版本的文档,以获取关于

hive.server2.tez.sessions.per.default.queue

参数的更详细信息。

标签: hive 数据仓库

本文转载自: https://blog.csdn.net/m0_49620121/article/details/135873911
版权归原作者 OnePandas 所有, 如有侵权,请联系我们删除。

“Hive之set参数大全-15”的评论:

还没有评论