使用Java+Qwen+SearXNG构建本地AI搜索问答

背景介绍

前段时间，我们使用SerpAPI+Qwen实现了网络搜索问答（参考：https://blog.csdn.net/weixin_44455388/article/details/137340000?spm=1001.2014.3001.5501），拓展大模型的网络搜索能力，但存在一个问题就是SerpAPI每月只能使用100次的免费调用。

前两天在GitHub上看到一个名叫FreeAskInternet的框架（参考：https://blog.csdn.net/weixin_44455388/article/details/137683895?spm=1001.2014.3001.5501），调用SearXNG搜索(本地运行)在多个搜索引擎上进行搜索，可以实现完全免费、私人和本地运行的搜索聚合器。

作为一个Java程序员，博主借鉴FreeAskInternet的思路，使用Java+Qwen+SearXNG构建了本地AI搜索问答，相比原来使用SerpAPI，使用上将不受限制。

SearXNG介绍

SearXNG 是一个免费的互联网元搜索引擎，它聚合了来自各种搜索服务和数据库的结果，但摆脱了隐私追踪 —— 用户行为既不会被引擎跟踪也不会被分析。

我们可以选择搭建一个自己的搜索引擎，也可以网络找一个可以使用的站点。SearXNG的搭建也非常简单，可以采用docker进行部署，这里我就不详细展开了，大家感兴趣的可以自行去搜索教程。我这里是找的国内可用的站点。

实现思路

整体思路与FreeAskInternet框架相似：

1. 首先是后台调用SearXNG搜索(本地运行)在多个搜索引擎上进行搜索。
2. 抓取搜索结果链接内容并传递给LLM，让LLM根据该内容作为参考回答用户问题。
3. 将答案以流式传输。

SearXNG提供了查询API，参考：Search API — SearXNG Documentation (2024.4.13+1746eecf2)

代码实现

• 构建SearXAPI对象，实现查询方法：

/**
 * 搜索
 * @param question
 * @return
 */publicStringsearch(String question){OkHttpClient client =newOkHttpClient.Builder().connectTimeout(60,TimeUnit.SECONDS).writeTimeout(60,TimeUnit.SECONDS).readTimeout(60,TimeUnit.SECONDS).build();Request request =newRequest.Builder()//format设置为html需要采用正则匹配中文，可以根据站点的支持情况设置为json.url(url+"?q="+ question +"&format=html").addHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0").build();try(Response response = client.newCall(request).execute()){if(!response.isSuccessful()){thrownewOpenAIChatException("Failed to fetch data from SearXNG: "+ response);}StringBuilder stringBuilder =newStringBuilder();String content = response.body().string();//匹配中文字符String regex ="[\\u4e00-\\u9fa5]";Pattern pattern =Pattern.compile(regex);Matcher matcher = pattern.matcher(content);while(matcher.find()){
            stringBuilder.append(content.charAt(matcher.start()));}return stringBuilder.toString();}catch(Exception e){
        e.printStackTrace();thrownewOpenAIChatException("Failed to fetch data from SearXNG: "+ e.getMessage());}}

SearXNG的查询接口需要传入

q

和

format

两个参数。

q

就是你要查询的具体内容，

format

是返回的格式，可以选择html、json、csv、rss。最优选择肯定是json，但因为我网上找的站点，没有开放json响应的权限，因此选择json格式会出现403 forbidden错误，因此我这里就选择的html，然后在html代码中匹配中文字符。

• 构建WebSearchChain对象，并实现查询方法：

/**
 * 基于SearXNG搜索
 * @param question
 * @return
 */publicStringsearchFromSearX(String question){SearxApi searxApi =newSearxApi(searxUrl);String search = searxApi.search(question);LOG.info("Web 搜索结果:{}",search);return search;}

• 测试效果：

之前借鉴LangChain的思路，封装了一个Java版的框架，因此实际使用的时候简单调用一下以下几行代码就可以了。

/**
 * 网络搜索问答，拓展网络搜索能力
 * 使用SearXNG进行搜索，没有使用限制
 */publicstaticvoidtest8(){String prompt ="吴亦凡犯了什么事";OpenAIChat openAIChat =OpenAIChat.builder().endpointUrl("http://192.168.xx.xx:9997/v1").model("Qwen1.5-14B-Chat").build().init();//查询站点WebSearchChain webSearchChain =WebSearchChain.fromSearXNG("http://xxxxxxx.com");String searchResult = webSearchChain.searchFromSearX(prompt);Flux<String> stringFlux = openAIChat.streamChatWithChain("112233","你是一个AI助手", searchResult, prompt);
    stringFlux.subscribe();}

通过以下截图，可以看到我们使用网络搜索的内容实现了AI大模型的搜索问答：

欢迎关注我的微信公众号，一起交流一起进步。