0


AI大模型探索之路-实战篇15: Agent智能数据分析平台之整合封装Tools和Memory功能代码

系列篇章💥

AI大模型探索之路-实战篇4:深入DB-GPT数据应用开发框架调研
AI大模型探索之路-实战篇5:探索Open Interpreter开放代码解释器调研
AI大模型探索之路-实战篇6:掌握Function Calling的详细流程
AI大模型探索之路-实战篇7:Function Calling技术实战自动生成函数
AI大模型探索之路-实战篇8:多轮对话与Function Calling技术应用
AI大模型探索之路-实战篇9:探究Agent智能数据分析平台的架构与功能
AI大模型探索之路-实战篇10:数据预处理的艺术:构建Agent智能数据分析平台的基础
AI大模型探索之路-实战篇11: Function Calling技术整合:强化Agent智能数据分析平台功能
AI大模型探索之路-实战篇12: 构建互动式Agent智能数据分析平台:实现多轮对话控制
AI大模型探索之路-实战篇13: 从对话到报告:打造能记录和分析的Agent智能数据分析平台
AI大模型探索之路-实战篇14: 集成本地Python代码解释器:强化Agent智能数据分析平台


目录


一、前言

在前面篇章中我们实现了Agent智能数据分析平台中的Tools和Memory相关代码落地实践,本文中我们将对这两大块功能代码进行整合封装。

二、Memory功能实现之在线云盘类封装

1、创建OpenAi客户端

  1. ## 导入依赖import openai
  2. import os
  3. import numpy as np
  4. import pandas as pd
  5. import json
  6. import io
  7. from openai import OpenAI
  8. import inspect
  9. import pymysql
  10. import tiktoken
  11. from docx import Document
  12. import matplotlib.pyplot as plt
  13. import seaborn as sns
  14. import tempfile
  15. import ast
  16. from IPython.display import display, Markdown, Code
  17. import shutil
  18. import copy
  19. from openai import APIConnectionError,AuthenticationError
  20. openai.api_key = os.getenv("OPENAI_API_KEY")
  21. client = OpenAI(api_key=openai.api_key)

2、定义本地云盘文件目录创建方法

  1. import os
  2. defcreate_or_get_folder(folder_name):"""
  3. 根据项目创建云盘目录
  4. """
  5. base_path ="/root/autodl-tmp/iquery项目/iquery云盘"
  6. full_path = os.path.join(base_path, folder_name)# 如果目录不存在,则创建它ifnot os.path.exists(full_path):
  7. os.makedirs(full_path)print(f"目录 {folder_name} 创建成功")else:print(f"目录 {folder_name} 已存在")return full_path
  1. print(create_or_get_folder(folder_name ="测试函数"))

在这里插入图片描述

3、定义doc文档创建方法

  1. defcreate_or_get_doc(folder_name, doc_name):"""
  2. 创建或获取文件路径
  3. """
  4. base_path ="/root/autodl-tmp/iquery项目/iquery云盘"
  5. full_path_folder=os.path.join(base_path,folder_name)
  6. file_path_doc = os.path.join(base_path+"/"+folder_name,f'{doc_name}.doc')# 检查目录是否存在,如果不存在则创建ifnot os.path.exists(full_path_folder):
  7. os.makedirs(full_path_folder)# 检查文件是否存在if os.path.exists(file_path_doc):# 文件存在,打开并追加内容
  8. document = Document(file_path_doc)else:# 文件不存在,创建一个新的文档对象
  9. document = Document()# 保存文档
  10. document.save(file_path_doc)return file_path_doc
  1. create_or_get_doc(folder_name="测试函数",doc_name="数据分析")

在这里插入图片描述

4、定义文件内容追加方法

  1. defappend_content_in_doc(folder_name, doc_name, qa_string):""""
  2. 往文件里追加内容
  3. @param folder_name=目录名,doc_name=文件名,qa_string=追加的内容
  4. """
  5. base_path ="/root/autodl-tmp/iquery项目/iquery云盘"## 目录地址
  6. full_path_folder=base_path+"/"+folder_name
  7. ## 文件地址
  8. full_path_doc = os.path.join(full_path_folder, doc_name)+".doc"# 检查目录是否存在,如果不存在则创建ifnot os.path.exists(full_path_folder):
  9. os.makedirs(full_path_folder)# 检查文件是否存在if os.path.exists(full_path_doc):# 文件存在,打开并追加内容
  10. document = Document(full_path_doc)else:# 文件不存在,创建一个新的文档对象
  11. document = Document()# 追加内容
  12. document.add_paragraph(qa_string)# 保存文档
  13. document.save(full_path_doc)print(f"内容已追加到 {doc_name}")

测试

  1. my_dict ="天青色等烟雨,而我在等你"
  2. append_content_in_doc(folder_name="测试函数",doc_name="数据分析",qa_string=my_dict)

在这里插入图片描述

5、定义获取文件内容的方法

  1. ## 实现根据项目和文件获取文件内容的方法from docx import Document
  2. import os
  3. defget_file_content(folder_name, doc_name):"""
  4. 实现根据项目名和文件名获取文件内容的方法
  5. @param project_name:项目名,file_name:文件名
  6. @return 文件内容
  7. """# 构建文件的完整路径
  8. base_path ="/root/autodl-tmp/iquery项目/iquery云盘"
  9. file_path = os.path.join(folder_name, doc_name)
  10. full_path = os.path.join(base_path, file_path)+".doc"# 确保文件存在ifnot os.path.exists(full_path):return"文件不存在"try:# 加载文档
  11. doc = Document(full_path)
  12. content =[]# 遍历文档中的每个段落,并收集文本for para in doc.paragraphs:
  13. content.append(para.text)# 将所有段落文本合并成一个字符串返回return'\n'.join(content)except Exception as e:returnf"读取文件时发生错误: {e}"

测试

  1. get_file_content(folder_name="测试函数",doc_name="数据分析")

6、定义清理文件内容的方法

  1. from docx import Document
  2. defclear_content_in_doc(folder_name, doc_name):# 打开文档
  3. base_path ="/root/autodl-tmp/iquery项目/iquery云盘"
  4. file_path = os.path.join(base_path+"/"+folder_name,f'{doc_name}.doc')
  5. doc = Document(file_path)# 遍历每一个段落,设置其文本为空字符串for p in doc.paragraphs:for run in p.runs:
  6. run.text =''# 保存修改后的文档
  7. doc.save(file_path)print("文档内容清除完毕")

测试

  1. clear_content_in_doc(folder_name="测试函数",doc_name="数据分析")

7、定义获取文件列表的方法

  1. deflist_files_in_folder(folder_name):"""
  2. 列举当前文件夹的全部文件
  3. """
  4. base_path ="/root/autodl-tmp/iquery项目/iquery云盘"
  5. full_path = os.path.join(base_path,folder_name )
  6. file_names =[f for f in os.listdir(full_path)if os.path.isfile(os.path.join(full_path, f))]return file_names

测试

  1. list_files_in_folder(folder_name="测试函数")

8、定义文件重命名的方法

  1. defrename_doc(folder_name, doc_name, new_name):"""
  2. 修改指定的文档名称
  3. """
  4. base_path ="/root/autodl-tmp/iquery项目/iquery云盘"
  5. file_path = os.path.join(base_path+"/"+folder_name,f'{doc_name}.doc')
  6. new_file_path = os.path.join(base_path+"/"+folder_name,f'{new_name}.doc')# 重命名文件
  7. os.rename(file_path, new_file_path)return new_name

测试

  1. rename_doc(folder_name="测试函数",doc_name="数据分析",new_name="数据可视化分析报告")

9、定义删除文件的方法

  1. defdelete_all_files_in_folder(folder_name):"""
  2. 删除某文件夹内全部文件
  3. """# 定义要删除的目录路径
  4. base_path ="/root/autodl-tmp/iquery项目/iquery云盘"
  5. full_path = os.path.join(base_path,folder_name)# 遍历整个目录for filename in os.listdir(full_path):# 构造文件或者文件夹的绝对路径
  6. file_path = os.path.join(full_path, filename)try:# 如果是文件,则删除文件if os.path.isfile(file_path)or os.path.islink(file_path):
  7. os.unlink(file_path)# 如果是文件夹,则删除文件夹elif os.path.isdir(file_path):
  8. shutil.rmtree(file_path)print("文件已清除完毕")except Exception as e:print('Failed to delete %s. Reason: %s'%(file_path, e))

测试

  1. delete_all_files_in_folder(folder_name ="测试函数")

10、定义追加图片的方法

  1. from docx import Document
  2. import matplotlib.pyplot as plt
  3. import os
  4. import tempfile
  5. defappend_img_in_doc(folder_name, doc_name, img):""""
  6. 往文件里追加图片
  7. @param folder_name=目录名,doc_name=文件名,img=图片对象,数据类型为matplotlib.figure.Figure对象
  8. """
  9. base_path ="/root/autodl-tmp/iquery项目/iquery云盘"## 目录地址
  10. full_path_folder=base_path+"/"+folder_name
  11. ## 文件地址
  12. full_path_doc = os.path.join(full_path_folder, doc_name)+".doc"# 检查目录是否存在,如果不存在则创建ifnot os.path.exists(full_path_folder):
  13. os.makedirs(full_path_folder)# 检查文件是否存在if os.path.exists(full_path_doc):print(full_path_doc)# 文件存在,打开并追加内容
  14. document = Document(full_path_doc)else:# 文件不存在,创建一个新的文档对象
  15. document = Document()# 追加图片# 将matplotlib的Figure对象保存为临时图片文件with tempfile.NamedTemporaryFile(delete=False, suffix='.png')as tmpfile:
  16. img.savefig(tmpfile.name,format='png')# 将图片插入到.docx文档中
  17. document.add_picture(tmpfile.name)# 保存文档
  18. document.save(full_path_doc)print(f"图片已追加到 {doc_name}")
  1. import matplotlib.pyplot as plt
  2. # 创建一个图形
  3. fig, ax = plt.subplots()
  4. ax.plot([1,2,3,4,5])

在这里插入图片描述

  1. append_img_in_doc(folder_name="测试函数",doc_name="数据分析",img=fig)

在这里插入图片描述

11、定义一个云盘文件操作类

  1. classCloudFile():"""
  2. 用于操作云盘文件
  3. """def__init__(self,
  4. project_name,
  5. part_name,
  6. doc_content =None):# 项目名称,即项目文件夹名称
  7. self.project_name = project_name
  8. # 项目某部分名称,即项目文件名称
  9. self.part_name = part_name
  10. # 项目文件夹ID# 若项目文件夹ID为空,则获取项目文件夹ID
  11. folder_path=create_or_get_folder(folder_name=project_name)# 创建时获取当前项目中其他文件名称列表
  12. self.doc_list = list_files_in_folder(folder_name=project_name)
  13. file_path = create_or_get_doc(folder_name=project_name,
  14. doc_name=part_name)# 项目文件具体内容,相当于多轮对话内容
  15. self.doc_content = doc_content
  16. # 若初始content不为空,则将其追加入文档内if doc_content !=None:
  17. append_content_in_doc(folder_name=project_name,
  18. doc_name=part_name,
  19. dict_list=doc_content)defget_doc_content(self):"""
  20. 根据项目某文件的文件ID,获取对应的文件内容
  21. """
  22. self.doc_content = get_file_content(folder_name=self.project_name, doc_name=self.part_name)return self.doc_content
  23. defappend_doc_content(self, content):"""
  24. 根据项目某文件的文件ID,追加文件内容
  25. """
  26. append_content_in_doc(folder_name=self.project_name,
  27. doc_name=self.part_name,
  28. dict_list=content)defclear_content(self):"""
  29. 清空某文件内的全部内容
  30. """
  31. clear_content_in_doc(folder_name=self.project_name, doc_name=self.part_name)defdelete_all_files(self):"""
  32. 删除当前项目文件夹内的全部文件
  33. """
  34. delete_all_files_in_folder(folder_name=self.project_name)defupdate_doc_list(self):"""
  35. 更新当前项目文件夹内的全部文件名称
  36. """
  37. self.doc_list = list_files_in_folder(folder_name=self.project_name)defrename_doc(self, new_name):"""
  38. 修改当前文件名称
  39. """
  40. self.part_name = rename_doc_in_drive(folder_name=self.project_name, doc_name=self.part_name,
  41. new_name=new_name)

本地存储测试

  1. c1 = CloudFile(project_name='测试项目', part_name='测试文档1')

在这里插入图片描述

三、Memory功能实现之消息工具类封装

1、定义消息管理类

  1. classMessageManager():"""
  2. MessageManager,用于创建Chat模型能够接收和解读的messages对象。该对象是原始Chat模型接收的\
  3. messages对象的更高级表现形式,MessageManager类对象将字典类型的list作为其属性之一,同时还能\
  4. 能区分系统消息和历史对话消息,并且能够自行计算当前对话的token量,并执能够在append的同时删\
  5. 减最早对话消息,从而能够更加顺畅的输入大模型并完成多轮对话需求。
  6. """def__init__(self,
  7. system_content_list=[],
  8. question='你好。',
  9. tokens_thr=None,
  10. project=None):
  11. self.system_content_list = system_content_list
  12. # 系统消息文档列表,相当于外部输入文档列表
  13. system_messages =[]# 除系统消息外历史对话消息
  14. history_messages =[]# 用于保存全部消息的list
  15. messages_all =[]# 系统消息字符串
  16. system_content =''# 历史消息字符串,此时为用户输入信息
  17. history_content = question
  18. # 系统消息+历史消息字符串
  19. content_all =''# 输入到messages中系统消息个数,初始情况为0
  20. num_of_system_messages =0# 全部信息的token数量
  21. all_tokens_count =0
  22. encoding = tiktoken.encoding_for_model("gpt-3.5-turbo")# 将外部输入文档列表依次保存为系统消息if system_content_list !=[]:for content in system_content_list:
  23. system_messages.append({"role":"system","content": content})# 同时进行全文档拼接
  24. system_content += content
  25. # 计算系统消息token
  26. system_tokens_count =len(encoding.encode(system_content))# 拼接系统消息
  27. messages_all += system_messages
  28. # 计算系统消息个数
  29. num_of_system_messages =len(system_content_list)# 若存在最大token数量限制if tokens_thr !=None:# 若系统消息超出限制if system_tokens_count >= tokens_thr:print("system_messages的tokens数量超出限制,当前系统消息将不会被输入模型")# 删除系统消息
  30. system_messages =[]
  31. messages_all =[]# 系统消息个数清零
  32. num_of_system_messages =0# 系统消息token数清零
  33. system_tokens_count =0
  34. all_tokens_count += system_tokens_count
  35. # 创建首次对话消息
  36. history_messages =[{"role":"user","content": question}]# 创建全部消息列表
  37. messages_all += history_messages
  38. # 计算用户问题token
  39. user_tokens_count =len(encoding.encode(question))# 计算总token
  40. all_tokens_count += user_tokens_count
  41. # 若存在最大token限制if tokens_thr !=None:# 若超出最大token限制if all_tokens_count >= tokens_thr:print("当前用户问题的tokens数量超出限制,该消息无法被输入到模型中")# 同时清空系统消息和用户消息
  42. history_messages =[]
  43. system_messages =[]
  44. messages_all =[]
  45. num_of_system_messages =0
  46. all_tokens_count =0# 全部messages信息
  47. self.messages = messages_all
  48. # system_messages信息
  49. self.system_messages = system_messages
  50. # user_messages信息
  51. self.history_messages = history_messages
  52. # messages信息中全部content的token数量
  53. self.tokens_count = all_tokens_count
  54. # 系统信息数量
  55. self.num_of_system_messages = num_of_system_messages
  56. # 最大token数量阈值
  57. self.tokens_thr = tokens_thr
  58. # token数计算编码方式
  59. self.encoding = tiktoken.encoding_for_model("gpt-3.5-turbo")# message挂靠的项目
  60. self.project = project
  61. # 删除部分对话信息defmessages_pop(self, manual=False, index=None):defreduce_tokens(index):
  62. drop_message = self.history_messages.pop(index)
  63. self.tokens_count -=len(self.encoding.encode(str(drop_message)))if self.tokens_thr isnotNone:while self.tokens_count >= self.tokens_thr:
  64. reduce_tokens(-1)if manual:if index isNone:
  65. reduce_tokens(-1)elif0<= index <len(self.history_messages)or index ==-1:
  66. reduce_tokens(index)else:raise ValueError("Invalid index value: {}".format(index))# 更新messages
  67. self.messages = self.system_messages + self.history_messages
  68. # 增加部分对话信息defmessages_append(self, new_messages):# 若是单独一个字典,或JSON格式字典iftype(new_messages)isdictortype(new_messages)is openai.types.chat.chat_completion_message.ChatCompletionMessage:
  69. self.messages.append(new_messages)
  70. self.tokens_count +=len(self.encoding.encode(str(new_messages)))# 若新消息也是MessageManager对象elifisinstance(new_messages, MessageManager):
  71. self.messages += new_messages.messages
  72. self.tokens_count += new_messages.tokens_count
  73. # 重新更新history_messages
  74. self.history_messages = self.messages[self.num_of_system_messages:]# 再执行pop,若有需要,则会删除部分历史消息
  75. self.messages_pop()# 复制信息defcopy(self):# 创建一个新的 MessageManager 对象,复制所有重要的属性
  76. system_content_str_list =[message["content"]for message in self.system_messages]
  77. new_obj = MessageManager(
  78. system_content_list=copy.deepcopy(system_content_str_list),# 使用深复制来复制系统消息
  79. question=self.history_messages[0]["content"]if self.history_messages else'',
  80. tokens_thr=self.tokens_thr
  81. )# 复制任何其他需要复制的属性
  82. new_obj.history_messages = copy.deepcopy(self.history_messages)# 使用深复制来复制历史消息
  83. new_obj.messages = copy.deepcopy(self.messages)# 使用深复制来复制所有消息
  84. new_obj.tokens_count = self.tokens_count
  85. new_obj.num_of_system_messages = self.num_of_system_messages
  86. return new_obj
  87. # 增加系统消息defadd_system_messages(self, new_system_content):
  88. system_content_list = self.system_content_list
  89. system_messages =[]# 若是字符串,则将其转化为listiftype(new_system_content)==str:
  90. new_system_content =[new_system_content]
  91. system_content_list.extend(new_system_content)
  92. new_system_content_str =''for content in new_system_content:
  93. new_system_content_str += content
  94. new_token_count =len(self.encoding.encode(str(new_system_content_str)))
  95. self.tokens_count += new_token_count
  96. self.system_content_list = system_content_list
  97. for message in system_content_list:
  98. system_messages.append({"role":"system","content": message})
  99. self.system_messages = system_messages
  100. self.num_of_system_messages =len(system_content_list)
  101. self.messages = system_messages + self.history_messages
  102. # 再执行pop,若有需要,则会删除部分历史消息
  103. self.messages_pop()# 删除系统消息defdelete_system_messages(self):
  104. system_content_list = self.system_content_list
  105. if system_content_list !=[]:
  106. system_content_str =''for content in system_content_list:
  107. system_content_str += content
  108. delete_token_count =len(self.encoding.encode(str(system_content_str)))
  109. self.tokens_count -= delete_token_count
  110. self.num_of_system_messages =0
  111. self.system_content_list =[]
  112. self.system_messages =[]
  113. self.messages = self.history_messages
  114. # 清除对话消息中的function消息defdelete_function_messages(self):# 用于删除外部函数消息
  115. history_messages = self.history_messages
  116. # 从后向前迭代列表for index inrange(len(history_messages)-1,-1,-1):
  117. message = history_messages[index]## 这儿估计有问题if message.get("function_call")or message.get("role")=="function":
  118. self.messages_pop(manual=True, index=index)

2、测试-查看消息管理器

  1. msg1 = MessageManager()
  2. msg1.system_messages

在这里插入图片描述

3、测试-追加消息

  1. msg1.history_messages

在这里插入图片描述

  1. msg1.messages_append({"role":"user","content":"你好,有什么可以帮你?"})
  2. msg1.history_messages

在这里插入图片描述

4、测试-删除消息

  1. msg1.messages_pop(manual=True, index=-1)
  2. msg1.history_messages

在这里插入图片描述

5、添加背景知识

  1. # 数据字典文件withopen('/root/autodl-tmp/iquery项目/data/数据字典/iquery数据字典.md','r', encoding='utf-8')as f:
  2. data_dictionary = f.read()
  1. # 数据分析报告编写专家文档withopen('/root/autodl-tmp/iquery项目/data/业务知识/本公司数据分析师业务介绍.md','r', encoding='utf-8')as f:
  2. da_instruct = f.read()
  1. msg2 = MessageManager(system_content_list=[data_dictionary, da_instruct])
  2. msg2.system_messages

输出
在这里插入图片描述

四、Tools功能之函数封装

1、获取表结构基本信息(工具函数)

定义一个SQL工具函数,用于获取表结构信息,作为大模型生成SQL的背景知识

  1. ## mysql hive sparksqldefsql_inter(sql_query, g='globals()'):"""
  2. 用于获取iquery数据库中各张表的有关相关信息,\
  3. 核心功能是将输入的SQL代码传输至iquery数据库所在的MySQL环境中进行运行,\
  4. 并最终返回SQL代码运行结果。需要注意的是,本函数是借助pymysql来连接MySQL数据库。
  5. :param sql_query: 字符串形式的SQL查询语句,用于执行对MySQLiquery数据库中各张表进行查询,并获得各表中的各类相关信息
  6. :param g: g,字符串形式变量,表示环境变量,无需设置,保持默认参数即可
  7. :returnsql_queryMySQL中的运行结果。
  8. """
  9. mysql_pw ="iquery_agent"
  10. connection = pymysql.connect(
  11. host='localhost',# 数据库地址
  12. user='iquery_agent',# 数据库用户名
  13. passwd=mysql_pw,# 数据库密码
  14. db='iquery',# 数据库名
  15. charset='utf8'# 字符集选择utf8)try:with connection.cursor()as cursor:# SQL查询语句
  16. sql = sql_query
  17. cursor.execute(sql)# 获取查询结果
  18. results = cursor.fetchall()finally:
  19. connection.close()return json.dumps(results)
  1. sql_inter(sql_query='SELECT COUNT(*) FROM user_demographics;', g=globals())

2、提取SQL数据到python变量(辅助函数)

定义一个辅助函数,用于将查询到的记录提取保存到本地python变量中

  1. defextract_data(sql_query,df_name,g='globals()'):"""
  2. 用于借助pymysql,将MySQL中的iquery数据库中的表读取并保存到本地Python环境中。
  3. :param sql_query: 字符串形式的SQL查询语句,用于提取MySQL中iquery数据库中的某张表。
  4. :param df_name: 将MySQL数据库中提取的表格进行本地保存时的变量名,以字符串形式表示。
  5. :param g: g,字符串形式变量,表示环境变量,无需设置,保持默认参数即可
  6. :return:表格读取和保存结果
  7. """
  8. mysql_pw ="iquery_agent"
  9. connection = pymysql.connect(
  10. host='localhost',# 数据库地址
  11. user='iquery_agent',# 数据库用户名
  12. passwd=mysql_pw,# 数据库密码
  13. db='iquery',# 数据库名
  14. charset='utf8'# 字符集选择utf8)globals()[df_name]= pd.read_sql(sql_query, connection)return"已成功完成%s变量创建"% df_name
  1. extract_data(sql_query ='SELECT * FROM user_demographics;',
  2. df_name ='user_demographics_df',
  3. g =globals())

在这里插入图片描述

从python变量中取出数据查看

  1. user_demographics_df.head()

在这里插入图片描述

3、python代码解释器(工具函数)

  1. defpython_inter(py_code,g='globals()'):"""
  2. 用于对iquery数据库中各张数据表进行查询和处理,并获取最终查询或处理结果。
  3. :param py_code: 字符串形式的Python代码,用于执行对iquery数据库中各张数据表进行操作
  4. :param g: g,字符串形式变量,表示环境变量,无需设置,保持默认参数即可
  5. :return:代码运行的最终结果
  6. """# 添加图片对象,如果存在绘图代码,则创建fig对象
  7. py_code = insert_fig_object(py_code)
  8. global_vars_before =set(globals().keys())try:exec(py_code,globals())except Exception as e:returnstr(e)
  9. global_vars_after =set(globals().keys())
  10. new_vars = global_vars_after - global_vars_before
  11. if new_vars:
  12. result ={var:globals()[var]for var in new_vars}returnstr(result)else:try:returnstr(eval(py_code,globals()))except Exception as e:return"已经顺利执行代码"

检查图形对象,赋值给fig(方便通过全局变量fig进行统一的绘图对象操作)

  1. definsert_fig_object(code_str,g='globals()'):"""
  2. 为图片创建fig对象
  3. :param g: g,字符串形式变量,表示环境变量,无需设置,保持默认参数即可
  4. """#print("开始画图了")global fig
  5. # 检查是否已存在 fig 对象的创建if'fig = plt.figure'in code_str or'fig, ax = plt.subplots()'in code_str:return code_str # 如果存在,则返回原始代码字符串# 定义可能的库别名和全名
  6. plot_aliases =['plt.','matplotlib.pyplot.','plot']
  7. sns_aliases =['sns.','seaborn.']# 寻找第一次出现绘图相关代码的位置
  8. first_plot_occurrence =min((code_str.find(alias)for alias in plot_aliases + sns_aliases if code_str.find(alias)>=0), default=-1)# 如果找到绘图代码,则在该位置之前插入 fig 对象的创建if first_plot_occurrence !=-1:
  9. plt_figure_index = code_str.find('plt.figure')if plt_figure_index !=-1:# 寻找 plt.figure 后的括号位置,以确定是否有参数
  10. closing_bracket_index = code_str.find(')', plt_figure_index)# 如果找到了 plt.figure(),则替换为 fig = plt.figure()
  11. modified_str = code_str[:plt_figure_index]+'fig = '+ code_str[plt_figure_index:closing_bracket_index +1]+ code_str[closing_bracket_index +1:]else:
  12. modified_str = code_str[:first_plot_occurrence]+'fig = plt.figure()\n'+ code_str[first_plot_occurrence:]return modified_str
  13. else:return code_str # 如果没有找到绘图代码,则返回原始代码字符串

图形绘制代码测试

  1. import matplotlib.pyplot as plt
  2. # 数据
  3. categories =['Category 1','Category 2','Category 3','Category 4']
  4. values =[4,7,1,8]# 创建 Figure 对象
  5. fig, ax = plt.subplots()# Axes 对象 ax 上创建条形图
  6. ax.bar(categories, values)# 添加标题和标签
  7. ax.set_title('Bar Chart Example')
  8. ax.set_xlabel('Categories')
  9. ax.set_ylabel('Values')# 显示图表
  10. plt.show()

在这里插入图片描述

insert_fig_object方法测试

  1. code_string ="""
  2. import matplotlib.pyplot as plt
  3. # 数据
  4. categories = ['Category 1', 'Category 2', 'Category 3', 'Category 4']
  5. values = [4, 7, 1, 8]
  6. # 创建 Figure 对象
  7. fig, ax = plt.subplots()
  8. # 在 Axes 对象 ax 上创建条形图
  9. ax.bar(categories, values)
  10. # 添加标题和标签
  11. ax.set_title('Bar Chart Example')
  12. ax.set_xlabel('Categories')
  13. ax.set_ylabel('Values')
  14. # 显示图表
  15. plt.show()
  16. """
  1. print(insert_fig_object(code_str = code_string, g=globals()))

在这里插入图片描述

  1. python_inter(py_code = code_string, g=globals())

在这里插入图片描述

  1. 查看fig对象

在这里插入图片描述

4、function函数信息生成器(辅助函数)

定义一个用于生成function calling 函数信息的,辅助函数(为了保证稳定性,实践使用是最好手工编写,避免大模型生成的结构体不太稳定)

  1. defauto_functions(functions_list):"""
  2. Chat模型的functions参数编写函数
  3. :param functions_list: 包含一个或者多个函数对象的列表;
  4. :return:满足Chat模型functions参数要求的functions对象
  5. """deffunctions_generate(functions_list):# 创建空列表,用于保存每个函数的描述字典
  6. functions =[]# 对每个外部函数进行循环for function in functions_list:# 读取函数对象的函数说明
  7. function_description = inspect.getdoc(function)# 读取函数的函数名字符串
  8. function_name = function.__name__
  9. system_prompt ='以下是某的函数说明:%s'% function_description
  10. user_prompt = '根据这个函数的函数说明,请帮我创建一个JSON格式的字典,这个字典有如下5点要求:\
  11. 1.字典总共有三个键值对;\
  12. 2.第一个键值对的Key是字符串name,value是该函数的名字:%s,也是字符串;\
  13. 3.第二个键值对的Key是字符串description,value是该函数的函数的功能说明,也是字符串;\
  14. 4.第三个键值对的Key是字符串parameters,value是一个JSON Schema对象,用于说明该函数的参数输入规范。\
  15. 5.输出结果必须是一个JSON格式的字典,只输出这个字典即可,前后不需要任何前后修饰或说明的语句' % function_name
  16. response = client.chat.completions.create(
  17. model="gpt-3.5-turbo",
  18. messages=[{"role":"system","content": system_prompt},{"role":"user","content": user_prompt}])
  19. json_function_description=json.loads(response.choices[0].message.content.replace("```","").replace("json",""))
  20. json_str={"type":"function","function":json_function_description}
  21. functions.append(json_str)return functions
  22. max_attempts =4
  23. attempts =0while attempts < max_attempts:try:
  24. functions = functions_generate(functions_list)break# 如果代码成功执行,跳出循环except Exception as e:
  25. attempts +=1# 增加尝试次数print("发生错误:", e)if attempts == max_attempts:print("已达到最大尝试次数,程序终止。")raise# 重新引发最后一个异常else:print("正在重新运行...")return functions

5、function函数调用辅助类

负责承接外部函数调用时相关功能支持。
类属性包括外部函数列表、外部函数参数说明列表、以及调用方式说明三项。

  1. classAvailableFunctions():"""
  2. 外部函数类,主要负责承接外部函数调用时相关功能支持。类属性包括外部函数列表、外部函数参数说明列表、以及调用方式说明三项。
  3. """def__init__(self, functions_list=[], functions=[], function_call="auto"):
  4. self.functions_list = functions_list
  5. self.functions = functions
  6. self.functions_dic =None
  7. self.function_call =None# 当外部函数列表不为空、且外部函数参数解释为空时,调用auto_functions创建外部函数解释列表if functions_list !=[]:
  8. self.functions_dic ={func.__name__: func for func in functions_list}
  9. self.function_call = function_call
  10. if functions ==[]:
  11. self.functions = auto_functions(functions_list)# 增加外部函数方法,并且同时可以更换外部函数调用规则defadd_function(self, new_function, function_description=None, function_call_update=None):
  12. self.functions_list.append(new_function)
  13. self.functions_dic[new_function.__name__]= new_function
  14. if function_description ==None:
  15. new_function_description = auto_functions([new_function])
  16. self.functions.append(new_function_description)else:
  17. self.functions.append(function_description)if function_call_update !=None:
  18. self.function_call = function_call_update
  1. af = AvailableFunctions(functions_list=[sql_inter, extract_data, python_inter])
  2. af.functions_list

在这里插入图片描述

  1. af.functions_dic

在这里插入图片描述

  1. af.function_call

在这里插入图片描述

  1. af.functions

输出:

  1. [{'type':'function','function':{'name':'sql_inter','description':'用于获取iquery数据库中各张表的有关相关信息,核心功能是将输入的SQL代码传输至iquery数据库所在的MySQL环境中进行运行,并最终返回SQL代码运行结果。','parameters':{'type':'object','properties':{'sql_query':{'type':'string','description':'字符串形式的SQL查询语句,用于执行对MySQL中iquery数据库中各张表进行查询,并获得各表中的各类相关信息。'},'g':{'type':'string','description':'g,字符串形式变量,表示环境变量,无需设置,保持默认参数即可。'}},'required':['sql_query','g']}}},{'type':'function','function':{'name':'extract_data','description':'用于借助pymysql,将MySQL中的iquery数据库中的表读取并保存到本地Python环境中。','parameters':{'type':'object','properties':{'sql_query':{'type':'string','description':'字符串形式的SQL查询语句,用于提取MySQL中iquery数据库中的某张表。'},'df_name':{'type':'string','description':'将MySQL数据库中提取的表格进行本地保存时的变量名,以字符串形式表示。'},'g':{'type':'string','description':'g,字符串形式变量,表示环境变量,无需设置,保持默认参数即可'}},'required':['sql_query','df_name']}}},{'type':'function','function':{'name':'python_inter','description':'用于对iquery数据库中各张数据表进行查询和处理,并获取最终查询或处理结果。','parameters':{'$schema':'http://-schema.org/draft-07/schema#','type':'object','properties':{'py_code':{'type':'string','description':'字符串形式的Python代码,用于执行对iquery数据库中各张数据表进行操作'},'g':{'type':'string','description':'g,字符串形式变量,表示环境变量,无需设置,保持默认参数即可'}},'required':['py_code','g']}}}]

三、结语

本文中我们封装落地了Agent智能数据分析平台中的Tools和Memory相关代码,下一篇章中我将落地实践Agent智能数据分析平台的核心模块Plan,探索发掘人类意图,优化整个决策流程。

在这里插入图片描述

🎯🔖更多专栏系列文章:AIGC-AI大模型探索之路

😎 作者介绍:我是寻道AI小兵,资深程序老猿,从业10年+、互联网系统架构师,目前专注于AIGC的探索。
📖 技术交流:建立有技术交流群,可以扫码👇 加入社群,500本各类编程书籍、AI教程、AI工具等你领取!
如果文章内容对您有所触动,别忘了点赞、⭐关注,收藏!加入我,让我们携手同行AI的探索之旅,一起开启智能时代的大门!


本文转载自: https://blog.csdn.net/xiaobing259/article/details/139428677
版权归原作者 寻道AI小兵 所有, 如有侵权,请联系我们删除。

“AI大模型探索之路-实战篇15: Agent智能数据分析平台之整合封装Tools和Memory功能代码”的评论:

还没有评论