无缝集成：基于FastAPI实现AI模型服务与nacos的完美融合

1 场景介绍

当我们使用python构建AI模型算法的过程中，经常会遇到如下的问题：

• 这个模型如何提供给其他微服务调用（比如JAVA构建的微服务）？
• 这个模型如何做到多个服务节点的负载均衡？
• 这个模型如何做到服务的备份与故障转移？

本项目通过一个实际的例子，展示如何基于FastAPI实现AI模型服务与nacos的完美融合，从而实现AI模型服务与其他微服务的互通、负载均衡、以及故障转移。本项目实现以下四个目标：

• 基于sklearn构建了一个kmeans算法模型
• 基于FastApi将模型通过发布成api接口
• 基于nacos的sdk，将api接口发布到nacos注册中心，供java等其它微服务调用，实现服务发现、负载均衡、故障转移
• 基于nacos的sdk，将nacos作为配置中心，实时同步nacos中的配置变化，作为构建模型时的参数

服务接口的输入参数：{"points":[[x1,y1],[x2,y2],[x3,y3],......,[xn,yn]]}

服务接口的输出：{"results": [center1,center1,center2,......,centerx]}

输出每个point值对应的center编号

1.1 FastAPI介绍

FastAPI是一个现代的，快速（高性能）python web框架。基于标准的python类型提示，使用python3.6+构建API的Web框架。

FastAPI的主要特点如下：

• 快速：非常高的性能，与NodeJS和Go相当（这个要感谢Starlette和Pydantic），是最快的Python框架之一。
• 快速编码：将开发速度提高约200%到300%。
• 更少的bug：减少大约40%的开发人员人为引起的错误。
• 直观：强大的编辑器支持，调试时间更短。
• 简单：易于使用和学习。减少阅读文档的时间。
• 代码简洁：尽量减少代码重复。每个参数可以声明多个功能，减少程序的bug。
• 健壮：生产代码会自动生成交互式文档。
• 基于标准：基于并完全兼容API的开放标准：OpenAPI和JSON模式。

1.2 Nacos介绍

Nacos 是一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。Nacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据及流量管理。

Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。 Nacos 是构建以“服务”为中心的现代应用架构 (例如微服务范式、云原生范式) 的服务基础设施

Nacos 支持如下核心特性：

• 服务发现： 支持 DNS 与 RPC 服务发现，也提供原生 SDK 、OpenAPI 等多种服务注册方式和 DNS、HTTP 与 API 等多种服务发现方式。
• 2）服务健康监测： Nacos 提供对服务的实时的健康检查，阻止向不健康的主机或服务实例发送请求。
• 3）动态配置服务： Nacos 提供配置统一管理功能，能够帮助我们将配置以中心化、外部化和动态化的方式管理所有环境的应用配置和服务配置。
• 4）动态 DNS 服务： Nacos 支持动态 DNS 服务权重路由，能够让我们很容易地实现中间层负载均衡、更灵活的路由策略、流量控制以及数据中心内网的简单 DNS 解析服务。
• 5）服务及其元数据管理： Nacos 支持从微服务平台建设的视角管理数据中心的所有服务及元数据，包括管理服务的描述、生命周期、服务的静态依赖分析、服务的健康状态、服务的流量管理、路由及安全策略、服务的 SLA 以及最首要的 metrics 统计数据。

2 代码实现

2.1 构建一个kmeans的机器学习算法

from sklearn.cluster import KMeans

class SklKMeans:
    def __init__(self, clusters):
        self.model = KMeans(n_clusters=clusters, random_state=9)

    def fit(self, inputs):
        y_pred = self.model.fit_predict(inputs)
        return y_pred

基于sklearn实现，clusters作为入参，聚类的中心点个数。

实际模型初始化是，这个参数是从nacos配置中心同步过来的。

2.2 基于FastApi将kmeans的机器学习算法发布成api接口

资源地址为：'/api/skl-kmeans'

访问参数为：{points:[ [1,2],[2,3],[3,5],[4,6],[8,8],[10,11],[12,12],[12,15],[10,12]]}

返回结果为：{ "results": [1, 1, 1, 1, 2, 0, 0, 0, 0]}

默认聚类中心点的个数：3

from fastapi import APIRouter
from pydantic import BaseModel
from skl_kmeans import SklKMeans
import settings
import numpy as np

router = APIRouter()

class ClusterRequest(BaseModel):
    points: list

@router.post('/api/skl-kmeans')
async def api_skl_kmeans(req: ClusterRequest):
    try:
        model = SklKMeans(settings.clusters)
        response = model.fit(np.asarray(req.points))
        response = {"results": response.tolist()}
    except Exception as ex:
        response = None
    return response

2.3 将FastApi接口注册到nacos注册中心

服务注册到nacos，服务名称为“skl-kmeans”，服务端口为9999，心跳间隔为30s

import nacos
from net_utils import net_helper

class NacosHelper:
    service_name = None
    service_port = None
    service_group = None

    def __init__(self, server_endpoint, namespace_id, username=None, password=None):
        self.client = nacos.NacosClient(server_endpoint,
                                        namespace=namespace_id,
                                        username=username,
                                        password=password)
        self.endpoint = server_endpoint
        self.service_ip = net_helper.get_host_ip()

    def register(self):
        self.client.add_naming_instance(self.service_name,
                                        self.service_ip,
                                        self.service_port,
                                        group_name=self.service_group)

    def unregister(self):
        self.client.remove_naming_instance(self.service_name,
                                           self.service_ip,
                                           self.service_port)

    def set_service(self, service_name, service_port, service_group):
        self.service_name = service_name
        self.service_port = service_port
        self.service_group = service_group

    async def beat_callback(self):
        self.client.send_heartbeat(self.service_name,
                                        self.service_ip,
                                        self.service_port)

    def load_conf(self, data_id, group):
        return self.client.get_config(data_id=data_id, group=group, no_snapshot=True)

    def add_conf_watcher(self, data_id, group, callback):
        self.client.add_config_watcher(data_id=data_id, group=group, cb=callback)

nacos必备的参数有endpoint、namespace_id，group_name, username, password, data_id

nacos_endpoint = '192.168.1.238:8848'
nacos_namespace_id = '1bc91fa5-37e3-4269-8e41-3f4e4efb7633'
nacos_group_name = 'DEFAULT_GROUP'
nacos_username = 'nacos'
nacos_password = 'nacos'
nacos_data_id = 'skl-kmeans'

service_name = 'skl-kmeans'
service_port = 9999
beat_interval = 30

application.include_router(api_skl_kmeans.router, tags=['skl-kmeans'])

nacos = NacosHelper(nacos_endpoint, nacos_namespace_id, nacos_username, nacos_password)
nacos.set_service(service_name, service_port, nacos_group_name)
nacos.register()

@application.on_event('startup')
def init_scheduler():
    scheduler = AsyncIOScheduler()
    scheduler.add_job(nacos.beat_callback, 'interval', seconds=beat_interval)
    scheduler.start()

2.4 将nacos作为配置中心，启动时读取配置，并实时监控配置变化

配置中心中的配置文件data_id为“skl-kmeans”，项目启动时，强制同步一次配置；更改配置文件时，程序能够自动监控配置文件变化，并自动更新到内存中。

service_name = 'skl-kmeans'
service_port = 9999
beat_interval = 30

nacos_endpoint = '192.168.1.238:8848'
nacos_namespace_id = '1bc91fa5-37e3-4269-8e41-3f4e4efb7633'
nacos_group_name = 'DEFAULT_GROUP'
nacos_username = 'nacos'
nacos_password = 'nacos'
nacos_data_id = 'skl-kmeans'

def load_config(content):
    yaml_config = yaml.full_load(content)
    clusters = yaml_config['clusters']
    settings.clusters = clusters

def nacos_config_callback(args):
    content = args['raw_content']
    load_config(content)

# 注册配置变更监控回调
nacos.add_conf_watcher(nacos_data_id, nacos_group_name, nacos_config_callback)

# 启动时，强制同步一次配置
data_stream = nacos.load_conf(nacos_data_id,nacos_group_name)
load_config(data_stream)

2.5 在nacos中创建配置文件

配置文件的data_id为skl-kmeans

内容为：

2.6 启动服务

查看skl-kmeans算法服务在nacos的注册情况

已经注册成功，下面通过postman调用（也可以通过java微服务调用），构造请求参数points，实现points的聚类

{"points":[[1,2],[2,3],[3,5],[4,6],[8,8],[10,11],[12,12],[12,15],[10,12]]}

{
    "results": [
        1,
        1,
        1,
        1,
        2,
        0,
        0,
        0,
        0
    ]
}

动态调整nacos中的clusters参数，将3个中心点改为4个中心点，调整完成，kmeans算法已经自动同步了配置变化。通过postman再次调用接口，返回结果已经聚类到4个点

从而说明kmeans算法能够实时监控nacos中配置的变化，实现动态聚类

3 完整代码下载

代码地址：完整code