ChatGPT 是如何构建的

当 OpenAI 在 2022 年 11 月发布 ChatGPT 时它并没有预料到这个 AI 聊天机器人会取得难以想象的成功。OpenAI 内部将之视为研究预览，旨在收集公众的反馈消除部分缺陷。参与开发 ChatGPT 的科学家 Liam Fedus 说，我们不想将其夸大为一次巨大的基础性突破。MIT 科技评论采访了 OpenAI 的科学家以及联合创始人 John Schulman，揭示 ChatGPT 的开发过程和技术细节，介绍 ChatGPT 是如何构建的。自去年 11 月以来，OpenAI 已经多次更新了 ChatGPT，主要是通过对抗性训练阻止用户诱骗聊天机器人绕过限制——这种做法被称为越狱。
对于 ChatGPT 的巨大成功，OpenAI 团队也有几分感到不解，因为 ChatGPT 使用的技术都不是新的，ChatGPT 使用了微调版的 GPT-3.5，而 GPT-3.5 是 2020 年发布的 GPT-3 的更新版，OpenAI 在 2022 年 1 月发布了微调版 GPT-3.5 的预览。相关 API 也早就发布了，不过这些都不是面向公众的。