开源模型应用落地-工具使用篇-SLB（二）

一、前言

通过学习"开源模型应用落地"系列文章，我们成功地建立了一个完整可实施的AI交付流程。现在，我们要引入负载均衡，以提高我们的AI服务的性能和故障转移能力。本文将详细介绍如何使用腾讯云的负载均衡技术来将我们的AI服务部署为一个集群。

二、术语

2.1、负载均衡

负载均衡（Load Balancing）是一种技术，旨在在计算机、网络或其他资源上均匀分配工作负载，以提高系统的性能、可靠性和可扩展性。

在计算机网络中，负载均衡通常用于分配网络流量或请求到多个服务器上，以避免单个服务器过载而导致性能下降或系统故障。通过将工作负载分发到多个服务器上，负载均衡确保每个服务器都能够处理适量的请求，从而提高整个系统的响应能力。

2.2、硬件负载均衡

是一种使用专门的物理设备（硬件负载均衡器）来实现负载均衡的技术。与软件负载均衡相比，硬件负载均衡器是一种专用硬件设备，具有更高的处理能力和性能。

硬件负载均衡器通常位于网络中央位置，作为服务器和客户端之间的中间层。其主要功能是在多个服务器之间分发网络流量或请求，以确保负载均衡和高可用性。

硬件负载均衡器具有以下特点和优势：

• 高性能：硬件负载均衡器通常具有专门的硬件加速器和优化算法，能够处理大量的网络流量和请求，提供快速响应和高吞吐量。
• 可扩展性：通过添加更多的服务器和负载均衡器，硬件负载均衡器可以轻松扩展以适应不断增长的流量和负载需求。
• 可靠性：硬件负载均衡器通常具有冗余和故障转移机制，以确保在单个负载均衡器故障时仍然保持系统的可用性。
• 安全性：硬件负载均衡器可以提供一些安全功能，如防火墙、DDoS（分布式拒绝服务攻击）防护等，以增强系统的安全性。
• 管理和监控：硬件负载均衡器通常提供简单易用的管理界面和丰富的监控工具，使管理员能够轻松配置和监控负载均衡器的性能和状态。

2.3、软件负载均衡

是一种使用软件来实现负载均衡的技术。它在计算机系统中通过运行在普通服务器上的负载均衡软件来分发工作负载，以实现请求的均衡分配和系统性能的提升。

软件负载均衡通常采用以下几种方式来实现：

• 软件负载均衡器：通过在一组服务器上运行负载均衡软件，该软件可以基于特定的算法（如轮询、最小连接等）将请求分发到不同的服务器上。负载均衡软件可以动态地监测服务器的负载情况，并根据负载情况进行动态调整，以实现负载均衡。
• 反向代理服务器：反向代理服务器是一种位于客户端和服务器之间的服务器，它接收来自客户端的请求，并代表客户端向后端服务器发送请求。反向代理服务器可以使用负载均衡算法将请求分发到多个后端服务器上，以实现负载均衡。
• 虚拟IP（VIP）或虚拟服务器：通过使用虚拟IP或虚拟服务器，多个服务器可以共享同一个IP地址或域名，客户端的请求将被分发到这些服务器中的一个。这种方式可以通过软件来实现负载均衡，将请求分发到不同的服务器上。

2.4、负载均衡算法

负载均衡可以使用多种算法来决定如何分配工作负载。常见的负载均衡算法包括：

1. 轮询（Round Robin）：按照顺序将请求依次分发到每个服务器，确保每个服务器都有机会处理请求。
2. 最少连接（Least Connection）：将请求分配给当前连接数最少的服务器，以确保负载更均衡。
3. IP哈希（IP Hash）：根据客户端的IP地址将请求分发到特定的服务器，以确保相同IP地址的请求始终被分配到同一台服务器上。
4. 加权轮询（Weighted Round Robin）：给每个服务器分配一个权重值，根据权重值决定分发请求的比例，使处理能力更强的服务器获得更多的请求。
5. 动态负载均衡：根据服务器的实时负载情况动态地调整请求的分发策略，以适应不同负载情况下的最佳性能。

2.5、SLB

是负载均衡（Server Load Balancing）的缩写，是一种网络技术和架构，用于将请求或流量分发到多个服务器上，以实现负载均衡和提高系统的性能、可靠性和可扩展性。

SLB通常由一个负载均衡器（Load Balancer）和多个后端服务器（Backend Servers）组成。负载均衡器是位于客户端和后端服务器之间的中间设备，它接收来自客户端的请求并根据特定的算法将请求分发到后端服务器上。负载均衡器还监视后端服务器的状态和负载情况，并根据配置策略动态调整请求分发，以实现负载均衡。

三、使用方式

3.1、架构示意图

这里的SLB部署在内网，位于业务服务和AI服务的中间，作为AI服务的入口，为AI服务提供集群化部署的能力

3.2、进入腾讯云控制台入口

访问地址：https://cloud.tencent.com/

点击右上角 -》控制台

3.3、按需选择登录方式

3.4、进入负载均衡管控界面

在搜索框输入“SLB”或者“负载均衡”，点击“负载均衡”入口

3.5、按需选择实例

建议跟云服务器处于一样的实例下面

3.6、新建实例

3.7、选择配置

计费模式：建议选择按量计费，成本会更低

地域：建议跟云服务器实例一致

网络类型：此处部署在内网（PS：App的入口处网络类型是公网）

所属网络：可以复用已有的网络或新建网络

实例规格：选择共享性即可满足（共享型负载均衡实例每分钟并发连接数50,000，每秒新建连接数5,000，每秒查询数5,000）

所属项目：默认项目或者自定义均可

标签和实例名：按需设置

勾选服务协议后点击立即购买

3.8、配置监听器

在实例管理列表中，选择刚刚购买的实例，点击操作中的配置监听器菜单

按需配置“HTTP/HTTPS监听器”或者“TCP/UDP/TCP SSL/QUIC监听器”

此处接入AI服务，选择TCP监听器

点击新建 -》填写基本配置（PS：8999是对外服务的端口地址）

配置健康检查（PS：9999是AI服务的端口）

高级选项可以根据实际业务情况进行调整

配置会话保持（PS：AI服务是无状态的，不需要保持会话）

点击“提交”按钮完成监听器配置

3.9、调用

完成监听器配置之后，可以在“实例管理”列表处查看到SLB对应的VIP，并修改测试页面的连接信息，调整为VIP和对应的监听端口

3.10、监控

在“实例管理”列表处 -》选择对应的SLB实例 -》选择“监控”

四、附带说明

4.1、本篇以腾讯云的负责均衡服务作为掏砖引玉的入门介绍，对于其他的云服务商，也是大致的流程

4.2、建议开启删除保护，避免出现误操作的情况

4.3、公网类型的SLB（即网络入口），建议接入Web应用防火墙

4.4、在日志中心可以查询具体的访问日志信息以及仪表盘的大盘信息