用Python+ChatGPT批量生成论文概述

用Python+ChatGPT批量生成论文概述

做算法研究离不开阅读大量论文。从海量论文中找到需要的论文往往耗费算法团队不少的精力。

ChatGPT官方例子中有一个“TL;DR”摘要生成，非常适合生成论文摘要。

于是我用python+GPT-3 API开发了一个工具，可以直接从arxiv地址生成论文概述。实现步骤如下：

文章目录

下载论文

第一步，我们要先拿到论文正文。

从arxiv上下载论文非常简单，如果你知道论文编号（比如2302.08996），那么论文的pdf下载地址为：

https://arxiv.org/pdf/[论文编号].pdf

。我们只需要发起网络请求即可将论文下载到本地。

我这里使用

requests

库发起网络请求，你可以使用任何你喜欢库完成论文下载。

defdownload_paper(paper_id:str, file_name: Optional[str]=None)-> Optional[str]:""" 根据论文id将论文下载到本地

    Parameters
    -----------
    paper_id: str
        论文id
    file_name: Optional[str]
        本地文件名，如果为空则用论文id做文件名

    Returns
    -------
    result: Optional[str]
        论文下载结果。成功则返回本地文件路径，失败则返回None
    """
    paper_url =f"https://arxiv.org/pdf/{paper_id}.pdf"ifnot file_name:
        file_name =f"{paper_id}.pdf"

    res = requests.get(url=paper_url)if res.status_code ==200:withopen(file_name,"wb")as f:
            f.write(res.content)return file_name
    returnNone

pdf转文本

ChatGPT只接受文本输入，所以拿到论文后，我们需要将pdf格式的论文转换为纯文本。这里给大家推荐一个好用的pdf转文本库——

pdfplumber

。

pdfplumber

使用非常简单，只要打开文件，即可通过

pdfplumber.pages

获取到每一页pdf内容。然后调用

pdfplumber.Page

类的

extract_text()

方法就能提取页面的文本。示例代码如下：

defpdf2txt(file_name:str| pdfplumber.PDF, page_start:int, page_end:int)->str:"""

    Parameters
    -----------
    file_name: str | pdfplumber.PDF
        pdf文件路径或pdfplumber.PDF实例
    page_start: int
        要转换的起始页页码
    page_end: int
        要转换的结束页页码

    Returns
    -------
    content: str
        转换后的文本
    """
    content =""ifisinstance(file_name,str):
        pages = pdfplumber.open(file_name).pages
    elifisinstance(file_name, pdfplumber.PDF):
        pages = file_name.pages
    else:raise AttributeError("需要传入pdf路径或PDF对象")for page in pages[page_start:page_end]:
        content += page.extract_text()return content

上面的代码会逐页提取给定pdf文档指定页码范围内的内容并返回。

用GPT-3生成概述

有了文本，我们就可以用ChatGPT来生成概述了。

首先我们导入

openai

库，并配置好参数：

import openai

openai.api_key ="YOUR_API_KEY"

TLDRParameter ={"model":"text-davinci-003","max_tokens":2048,"temperature":0.3,"top_p":1.0,"frequency_penalty":0.0,"presence_penalty":0.0,"stop":["\n\n"]}

tldr_tag ="\n\n tl;dr:"# 给ChatGPT明确的文本补全意图

这里的

tldr_tag

需要稍微解释一下，这段字符串会添加在我们论文文本的末尾，用于提示ChatGPT我们要做的是上面文本的摘要。为了让ChatGPT能够将论文内容和我们给出的提示区分开来，在参数中我们设置了

stop

，用于告诉ChatGPT输入到哪里结束。

输出概述

ChatGPT对输入长度是有限制的，因此我们不能一次性将整个论文内容输入进去，需要一页一页得输入并生成每一页的概述。

pages = pdfplumber.open(file_name).pages
for p in pages:
    content = p.extract_text()+ tldr_tag
    response = openai.Completion.create(prompt=content,**TLDRParameter)print(f"Page1 {index +1}:\n")print(response["choices"][0]["text"])print("\n\n")

集成测试

将上面的代码集成到一起，我们就可以得到一个完整可用的论文概述工具

import requests
import pdfplumber
import openai
from typing import Optional

openai.api_key ="YOUR_API_KEY"

TLDRParameter ={"model":"text-davinci-003","max_tokens":2048,"temperature":0.3,"top_p":1.0,"frequency_penalty":0.0,"presence_penalty":0.0,"stop":["\n"]}

tldr_tag ="\ntl;dr:"defdownload_paper(paper_id:str, file_name: Optional[str]=None)-> Optional[str]:""" 根据论文id将论文下载到本地

    Parameters
    -----------
    paper_id: str
        论文id
    file_name: Optional[str]
        本地文件名，如果为空则用论文id做文件名

    Returns
    -------
    result: Optional[str]
        论文下载结果。成功则返回本地文件路径，失败则返回None
    """
    paper_url =f"https://arxiv.org/pdf/{paper_id}.pdf"ifnot file_name:
        file_name =f"{paper_id}.pdf"

    res = requests.get(url=paper_url)if res.status_code ==200:withopen(file_name,"wb")as f:
            f.write(res.content)return file_name
    returnNoneif __name__ =='__main__':
    file_name = download_paper('2302.08996')
    pages = pdfplumber.open(file_name).pages
    for index, page inenumerate(pages):
        content = page.extract_text()+ tldr_tag
        response = openai.Completion.create(prompt=content,**TLDRParameter)print(f"Page {index +1}:\n")print(response["choices"][0]["text"])print("\n\n")

我用最新发出的2302.08996做测试，输出如下：

Page 1:

 We employ meta reinforcement learning to model short-duration trading in financial markets as a sequential decision-making problem. We incorporate symbolic features based on frequently occurring patterns in price series to improve the performance of our meta-RL algorithm. Preliminary results on real data indicate that meta-RL and logical features are more effective than vanilla RL or primary price features alone.

Page 2:

 Meta-learning techniques, such as Inductive Logic Programming (ILP) and RL2, can be used to train a trading agent on a new task with limited data.

Page 3:

 We propose a meta-RL agent that can rapidly adapt to new reward patterns. We use PPO to train the agent and an LSTM agent. We also use hand-crafted features and learned logical features to augment the agent's neural network model. Results show that the agent outperforms vanilla reinforcement learning.

Page 4:

上面每一页的输出都很好地概括了该页的核心内容，其中第四页为空是因为这一页绝大部分内容是参考文献，ChatGPT也很聪明的没有返回概述。

总结

试用了一天，我认为模型对论文总结得很棒，用这个工具读起论文来效率大增。尽管它永远可能取代实际阅读整篇论文的重要过程，但却可以作为探索发现更广泛有趣科学的工具。

这篇文章更多的是一个概念的证明，如果想大规模用于生产还有很多细节要处理，比如pdf转换的文本的格式，按页转换文本带来得章节错位等问题。然而，我觉得这些问题都可以解决。在ChatGPT的加持下，我认为我们比以往任何时候都更高效地处理更多科学信息。