Spring AI Alibaba: 支持国产大模型的Spring ai框架

总计30万奖金，Spring AI Alibaba 应用框架挑战赛开赛

点此了解

Spring AI ：java做ai应用的最好选择

过去，Java在AI应用开发方面缺乏一个高效且易于集成的框架，这限制了开发者快速构建和部署智能应用程序的能力。

Spring AI正是为解决这一问题而生，它提供了一套统一的接口，使得AI功能能够以一种标准化的方式被集成到现有的Java项目中。

此外，Spring AI与原有的Spring生态系统完美兼容，这意味着已经熟悉Spring框架的开发者可以无缝过渡到使用AI技术，无需学习全新的工具或语言。

同时，Spring AI也充分利用了Java面向对象编程的优势，允许开发者通过熟悉的编程模式来操作复杂的AI模型和算法，从而加速了从概念验证到生产环境的整个过程。

Spring AI极大地简化了在Java平台上构建智能应用的过程，促进了AI技术在更广泛场景中的应用。

Spring AI 框架的关键功能组件介绍

* 模型（Model）

一句话说明：模型是Spring AI的基础组件，能够执行各种自然语言处理任务，如文本生成、分类、翻译等。
输入输出举例：

输入：“请写一篇关于环保的文章。”
输出：“环境保护是我们共同的责任。随着工业化进程的加速，环境问题日益严峻……”

* 提示词模板（Prompt Template）

一句话说明：通过预定义好的结构化格式来帮助快速构建复杂的指令或请求。
输入输出举例：

输入模板：“{角色}在{地点}做{活动}。”
参数：角色：孙悟空、地点：花果山、活动：七十二变
具体实例化后输入：“孙悟空在花果山练习七十二变。”

* 嵌入（Embedding）

一句话说明：将文本转换为数值向量表示形式，便于进行相似度计算或其他数学运算。
输入输出举例：

输入：“今天天气真好！”
输出：一个高维空间中的向量，例如[0.1, 0.5, -0.3, ...]

* 结构化输出（Structured Output）

一句话说明：使AI生成的内容遵循特定的数据结构，便于后续处理或分析。
输入输出举例：

输入：“列出我接下来一周的日程安排。”
输出：{"Monday": "Meeting at 9AM", "Tuesday": "Dinner with friends at 7PM", ...} ，系统会自动转换为对应Java的pojo对象。

* 检索增强生成（RAG）

一句话说明：结合外部知识库的信息来提高回答的质量和准确性。
输入输出举例：

输入：“告诉我关于太阳系的一些有趣事实。”
输出：“太阳系由八大行星组成，其中水星是最小也是最接近太阳的行星。土星以其壮观的环系统而闻名……”

* 函数调用（Function Calling）

一句话说明：允许AI根据需要直接调用外部API或函数完成特定任务。
输入输出举例：

输入：“查询北京今天的天气情况。”
输出：调用了天气API并返回了结果，如“今天北京晴朗，气温介于10°C到20°C之间。”

* 向量存储

一句话说明：用于保存大量文本嵌入向量，并支持高效检索相似文档。
输入输出举例：

输入：一段描述某种技术的文章。
输出：找到与该文章主题相近的其他文章列表。

Spring AI Alibaba：阿里云支持的智能应用开发框架

Spring AI Alibaba是阿里巴巴推出的一个专注于人工智能应用开发的框架，它基于Spring生态系统构建，旨在简化AI应用程序的开发流程。通过集成阿里云的强大算力和丰富的机器学习模型库，Spring AI Alibaba为开发者提供了一个高效、易用的平台来创建智能服务。其核心优势在于能够无缝对接国产大模型，如通义千问等，支持快速部署与调优；同时，该框架还强调了安全性、稳定性和可扩展性，使得企业级AI解决方案的实现变得更加简单快捷。此外，Spring AI Alibaba提供了详尽的文档和社区支持，帮助开发者轻松上手并充分利用阿里云资源进行创新。

通义千问 Qwen 介绍：目前国内开源领域最好的大模型

该模型在MMLU、TheoremQA、GPQA ( MMLU GPQA都是claude和openai最喜欢的客观评测指标，在同维比较）等基准测评中超越了Llama 3 70B，在Hugging Face开源大模型排行榜Open LLM Leaderboard上登上榜首。

通义整体的能力也在国内属于绝对的第一梯队，我们实测下来，在结合rag的情况下，指令遵从能力等都完全满足要求。

使用Spring AI Alibaba开发聊天应用的详细指南

要基于Spring AI Alibaba实现一个支持流式返回的聊天API，首先需要确保你的开发环境已经配置好Java以及Maven。接下来，我们将通过几个步骤来构建这个应用：创建项目结构、添加依赖项、配置应用程序、编写服务层逻辑、设置控制器以处理HTTP请求，并最终测试我们的API。

接下来，需要添加必要的Maven仓库和项目依赖项。由于Spring AI Alibaba的某些版本尚未提交到Maven中央仓库，因此还需指定额外的仓库地址。

Maven仓库配置

在

pom.xml

中添加如下仓库定义：

<repositories>
    <repository>
        <id>sonatype-snapshots</id>

        <url>https://oss.sonatype.org/content/repositories/snapshots</url>

        <snapshots>
            <enabled>true</enabled>

        </snapshots>

    </repository>

    <repository>
        <id>spring-milestones</id>

        <name>Spring Milestones</name>

        <url>https://repo.spring.io/milestone</url>

        <snapshots>
            <enabled>false</enabled>

        </snapshots>

    </repository>

    <repository>
        <id>spring-snapshots</id>

        <name>Spring Snapshots</name>

        <url>https://repo.spring.io/snapshot</url>

        <releases>
            <enabled>false</enabled>

        </releases>

    </repository>

</repositories>

添加依赖

在

pom.xml

中加入对Spring AI Alibaba的支持依赖以及Spring Boot的依赖声明：

<parent>
    <!-- Spring Boot Starter Parent -->
    <dependency>
        <groupId>org.springframework.boot</groupId>

        <artifactId>spring-boot-starter-parent</artifactId>
        <version>3.3.4</version>
        <relativePath />
    </parent>

    <!-- Spring AI Alibaba Starter -->
    <dependency>
        <groupId>com.alibaba.cloud.ai</groupId>

        <artifactId>spring-ai-alibaba-starter</artifactId>

        <version>1.0.0-M2</version>

    </dependency>

    
    <!-- Other dependencies as needed -->
</dependencies>

4. 设置应用属性

在项目的

application.properties

文件中配置之前获取的API Key和其他可能需要的参数：

spring.ai.dashscope.api-key=${AI_DASHSCOPE_API_KEY}

同时，确保你已经在系统环境变量中设置了

AI_DASHSCOPE_API_KEY

，或者直接替换

${AI_DASHSCOPE_API_KEY}

为实际值。

5. 编写Controller以支持CORS和流式响应

现在我们来编写一个Controller类，它将处理GET请求、启用CORS，并使用Flux作为输出类型。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.http.MediaType;
import org.springframework.web.bind.annotation.*;
import reactor.core.publisher.Flux;

@RestController
@RequestMapping("/ai")
@CrossOrigin(origins = "*")  // 允许所有来源跨域访问
public class ChatController {

    private final ChatClient chatClient;

    @Autowired
    public ChatController(ChatClient.Builder builder) {
        this.chatClient = builder.build();
    }

    @GetMapping(value = "/steamChat", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> steamChat(@RequestParam String input) {
        return chatClient.prompt()
                         .user(input)
                         .stream()
                         .content();
    }
}

这里使用了

@CrossOrigin

注解允许来自任何源的请求访问此端点。注意路径设置为

/steamChat

，并且通过

produces

指定了响应类型为文本事件流（Text Event Stream, 即SSE）。

chatClient.prompt().user(input).stream().content()

这行代码负责根据用户输入调用AI服务，并以流的形式返回结果。

6. 测试API

现在可以通过发送POST请求到

/api/chat

来测试这个聊天API。你可以使用Postman或者其他工具来进行测试，记得设置Content-Type为

application/json

并将消息作为JSON字符串发送。

以上就是基于Spring AI Alibaba构建一个简单的聊天API的所有步骤。请根据实际需求调整代码细节，并参考阿里云官方文档获取更多关于如何使用其SDK的信息。

标签：机器学习

本文转载自: https://blog.csdn.net/whisperzzza/article/details/143000074
版权归原作者 沈询-阿里 所有，如有侵权，请联系我们删除。