0
0

【AIGC】AI如何匹配RAG知识库：混合检索

在这里插入图片描述

混合搜索

引言

RAG作为减少模型幻觉和让模型分析、回答私域相关知识最简单高效的方式，我们除了使用之外可以尝试了解其是如何实现的。在实现RAG的过程中，最重要的是保证召回的知识的准确性，不然会极大影响LLM的能力，而混合检索是一个重要的方法去提高召回RAG的准确性。

单检索的局限性

拿最常用的关键词检索举例，它通过匹配用户输入的关键词与文档中的关键词来返回相关结果。然而，关键词检索存在以下几个明显的局限性：

  • 语义缺失：关键词检索无法理解词语之间的语义关系。例如，用户搜索“狗”时，系统可能无法理解“犬”与“狗”是同义词，从而导致相关文档被遗漏。
  • 多义词问题：关键词检索无法处理多义词。例如，“苹果”既可以指水果，也可以指科技公司。如果用户搜索“苹果”，系统无法确定用户指的是哪一种含义，从而返回不相关的结果。在这里插入图片描述

单检索例子

比如下面这段代码，我们使用text1去在text2和text3中匹配最符合的文档：

  1. defmain():"""
  2.     主函数，用于测试和演示
  3.     """
  4.     text1 ='把商品发到闲鱼'
  6.     text2 ='我想将商品挂到闲鱼'
  8.     text3 ='我想找闲鱼问下商品'# calculate_tfidf_similarity: 通过两个文本TF-IDF相似度计算相似度
  9.     tfidf_similarities2 = calculate_tfidf_similarity(text1, text2)
  11.     tfidf_similarities3 = calculate_tfidf_similarity(text1, text3)print(f"\n匹配句子1得分:{tfidf_similarities2[0]} \n\n匹配句子2得分: {tfidf_similarities3[0]} \n\n")

获取到的结果：

  1. 匹配句子2得分:0.8164965809277259 
  3. 匹配句子3得分:0.8164965809277259

可以看到我们肉眼可见的text1与text2更匹配，但因为三个句子中都包含商品和闲鱼，所以两个句子都匹配到了0.8164965809277259，我们但从关键词匹配根本无法分辨召回哪个文本更好，但是关键词检索并不是一无是处，对很多文档的检索都有关键功能，而在需要保留关键词检索的同时又能分辨这种句子，我们就需要引入语义检索，让他们两种方法工作达到混合检索的功能。
在这里插入图片描述

混合检索

混合检索（Hybrid Retrieval）是一种结合了多种检索方法的策略，旨在提高检索结果的质量和多样性。通过结合不同检索方法的优势，混合检索可以更好地满足用户的需求，并提供更准确、更全面的检索结果。

拆解实现

下面我们来尝试同时引入关键词检索和语义检索。

  1. defmain():"""
  2.     主函数，用于测试和演示
  3.     """
  4.     text1 ='把商品发到闲鱼'
  6.     text2 ='我想将商品挂到闲鱼'
  8.     text3 ='我想找闲鱼问下商品'# 通过两个文本TF-IDF相似度计算相似度
  9.     tfidf_similarities2 = calculate_tfidf_similarity(text1, text2)
  11.     tfidf_similarities3 = calculate_tfidf_similarity(text1, text3)# 通过两个文本的嵌入相似度计算相似度
  12.     embedding_similarities2 = calculate_similarity(text1, text2)
  14.     embedding_similarities3 = calculate_similarity(text1, text3)print(f"\n\n语义搜索句子1 {embedding_similarities2[0]} \n\n语义搜索句子2: {embedding_similarities3[0]}")

我们先看看语义检索的效果：

  1. 语义搜索句子1 ('我想将商品挂到闲鱼', 0.8553742925917707) 
  3. 语义搜索句子2: ('我想找闲鱼问下商品', 0.6846143988983046)

好的，很明显可以看到在关键词的比较相似的情况下，我们使用语义搜索可以清晰地分出哪个句子更符合我们的需求。接下来我们来将两个搜索结合起来，并进行加权计算得分（让用户可以根据自己需要决定是语义搜索得分更高还是关键词搜索得分更高），从而得到最终的检索结果。

  1. defmain():"""
  2.     主函数，用于测试和演示
  3.     """
  4.     text1 ='把商品发到闲鱼'
  6.     text2 ='我想将商品挂到闲鱼'
  8.     text3 ='我想找闲鱼问下商品'# 通过两个文本TF-IDF相似度计算相似度
  9.     tfidf_similarities2 = calculate_tfidf_similarity(text1, text2)
  11.     tfidf_similarities3 = calculate_tfidf_similarity(text1, text3)
  13.     embedding_similarities2 = calculate_similarity(text1, text2)
  15.     embedding_similarities3 = calculate_similarity(text1, text3) 
  16.     
  17.     Semantic_Proportio =0.8
  19.     Word_Proportion =0.2# 根据传进来的权重计算最终得分
  20.     final_score2 = calculate_final_score(embedding_similarities2[0][1], tfidf_similarities2[0], Semantic_Proportio, Word_Proportion)
  22.     final_score3 = calculate_final_score(embedding_similarities3[0][1], tfidf_similarities3[0], Semantic_Proportio, Word_Proportion)print(f"最终语句1得分: {final_score2} \n\n最终语句2得分: {final_score3}")

结果：

  1. 最终语句1得分: 0.8475987502589617 
  3. 最终语句2得分: 0.7109908353041888

ok，可以看到我们通过混合检索的方式，可以更准确地找到与用户输入最相关的文档，从而提高检索结果的质量和准确性。
在这里插入图片描述

完整代码

关键词检索和语义检索的详细实现之前我的文章已经提过了，这里不在赘述，直接贴完整代码。注意把key换成qwen中你自己的key

  1. import dashscope
  2. from http import HTTPStatus
  3. import numpy as np
  4. import jieba
  5. from jieba.analyse import extract_tags
  6. import math
  8. # 初始化dashscope，替换qwen的api key
  9. dashscope.api_key ='sk-xxxx'defembed_text(text):"""
  10.     使用dashscope API获取文本的嵌入向量
  11.     :param text: 输入的文本
  12.     :return: 文本的嵌入向量，如果失败则返回None
  13.     """
  14.     resp = dashscope.TextEmbedding.call(
  15.         model=dashscope.TextEmbedding.Models.text_embedding_v2,input=text)if resp.status_code == HTTPStatus.OK:return resp.output['embeddings'][0]['embedding']else:print(f"Failed to get embedding: {resp.status_code}")returnNonedefcosine_similarity(vec1, vec2):"""
  16.     计算两个向量之间的余弦相似度
  17.     :param vec1: 第一个向量
  18.     :param vec2: 第二个向量
  19.     :return: 余弦相似度
  20.     """
  21.     dot_product = np.dot(vec1, vec2)
  22.     norm_vec1 = np.linalg.norm(vec1)
  23.     norm_vec2 = np.linalg.norm(vec2)return dot_product /(norm_vec1 * norm_vec2)defcalculate_similarity(text1, text2):"""
  24.     计算两个文本之间的相似度
  25.     :param text1: 第一个文本
  26.     :param text2: 第二个文本，可以包含多个句子，用逗号分隔
  27.     :return: 每个句子的相似度列表，格式为 (句子, 相似度)
  28.     """
  29.     embedding1 = embed_text(text1)if embedding1 isNone:return[]
  31.     similarities =[]
  32.     sentences =[sentence.strip()for sentence in text2.split(',')if sentence.strip()]for sentence in sentences:
  33.         embedding2 = embed_text(sentence)if embedding2 isNone:continue
  34.         similarity = cosine_similarity(embedding1, embedding2)
  35.         similarities.append((sentence, similarity))return similarities
  37. defextract_keywords(text):"""
  38.     提取文本中的关键词
  39.     :param text: 输入的文本
  40.     :return: 关键词列表
  41.     """return extract_tags(text)defcosine_similarity_tfidf(vec1, vec2):"""
  42.     计算两个TF-IDF向量之间的余弦相似度
  43.     :param vec1: 第一个TF-IDF向量
  44.     :param vec2: 第二个TF-IDF向量
  45.     :return: 余弦相似度
  46.     """
  47.     intersection =set(vec1.keys())&set(vec2.keys())
  48.     numerator =sum(vec1[x]* vec2[x]for x in intersection)
  49.     sum1 =sum(vec1[x]**2for x in vec1)
  50.     sum2 =sum(vec2[x]**2for x in vec2)
  51.     denominator = math.sqrt(sum1)* math.sqrt(sum2)return numerator / denominator if denominator else0.0defcalculate_tfidf_similarity(text, text2):"""
  52.     计算两个文本之间的TF-IDF相似度
  53.     :param text: 第一个文本
  54.     :param text2: 第二个文本，可以包含多个文档，用竖线分隔
  55.     :return: 每个文档的TF-IDF相似度列表
  56.     """
  57.     documents =[doc for doc in text2.split('|')if doc.strip()]
  58.     query_keywords = extract_keywords(text)
  59.     documents_keywords =[extract_keywords(doc)for doc in documents]
  61.     query_keyword_counts ={kw: query_keywords.count(kw)for kw inset(query_keywords)}
  62.     total_documents =len(documents)
  63.     all_keywords =set(kw for doc in documents_keywords for kw in doc)
  64.     keyword_idf ={kw: math.log((1+ total_documents)/(1+sum(1for doc in documents_keywords if kw in doc)))+1for kw in all_keywords}
  66.     query_tfidf ={kw: count * keyword_idf.get(kw,0)for kw, count in query_keyword_counts.items()}
  67.     documents_tfidf =[{kw: doc.count(kw)* keyword_idf.get(kw,0)for kw inset(doc)}for doc in documents_keywords]return[cosine_similarity_tfidf(query_tfidf, doc_tfidf)for doc_tfidf in documents_tfidf]defcalculate_final_score(embedding_similarity, tfidf_similarity, w1=0.5, w2=0.5):"""
  68.     计算最终得分，结合语义相似度和TF-IDF相似度
  69.     :param embedding_similarity: 语义相似度
  70.     :param tfidf_similarity: TF-IDF相似度
  71.     :param w1: 语义相似度的权重
  72.     :param w2: TF-IDF相似度的权重
  73.     :return: 最终得分
  74.     """return w1 * embedding_similarity + w2 * tfidf_similarity
  76. defmain():"""
  77.     主函数，用于测试和演示
  78.     """
  79.     text1 ='把商品发到闲鱼'
  80.     text2 ='我想将商品挂到闲鱼'
  81.     text3 ='我想找闲鱼问下商品'
  83.     tfidf_similarities2 = calculate_tfidf_similarity(text1, text2)
  84.     tfidf_similarities3 = calculate_tfidf_similarity(text1, text3)
  86.     embedding_similarities2 = calculate_similarity(text1, text2)
  87.     embedding_similarities3 = calculate_similarity(text1, text3)
  89.     Semantic_Proportio =0.8
  90.     Word_Proportion =0.2
  92.     final_score2 = calculate_final_score(embedding_similarities2[0][1], tfidf_similarities2[0], Semantic_Proportio, Word_Proportion)
  93.     final_score3 = calculate_final_score(embedding_similarities3[0][1], tfidf_similarities3[0], Semantic_Proportio, Word_Proportion)print(f"最终语句1得分: {final_score2} \n\n最终语句2得分: {final_score3}")if __name__ =='__main__':
  94.     main()

总结

混合检索技术通过结合关键词检索和语义检索的优势，实现了多路召回，从而提高了检索的准确性和全面性。掌握上面我们提到的混合检索，不仅你可以根据自己的实际情况去对多种检索方式的权重进行加权，还可以根据自己的实际情况去调整对应的召回策略，对我们自建RAG检索有着极大帮助，希望本文能对你有启示。

标签： 1024程序员节 AIGC 人工智能
本文转载自: https://blog.csdn.net/rekaf66/article/details/143199952
版权归原作者 智兔唯新 所有， 如有侵权，请联系我们删除。
登录后发布评论

“【AIGC】AI如何匹配RAG知识库：混合检索”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？