简要概述💡

gpt3（Generative Pre-trained Transformer 3）是一种自回归语言模型，使用深度学习生成类人文本。它是OpenAI创建的GPT-n系列中的第三代语言预测模型。GPT-3是GPT-2模型体系结构的扩展和扩展版本——它包含了修改的初始化、预规范化和可逆标记化，并且在许多NLP任务中在zero-shot, one-shot和few-shot设置中表现出强大的性能。

GPT-3是如何在所有的小模型中占据主导地位，并且在几乎所有的NLP任务中都获得了巨大的收益。它是基于对一个大数据集进行预训练，然后对特定任务进行微调的方法。现在的人工智能系统在不同语言任务之间切换时，在性能上有一定的局限性，但是GPT-3在不同语言任务之间切换非常灵活，在性能上非常高效。

GPT-3使用了1750亿个参数，这是迄今为止模型训练中使用的参数最多的一个。它带来了一些有趣的思路，例如告诉我们如果我们可以扩大语言模型的训练，它可以显著改善任务无关的、few-shot的性能，使其可以与之前的SOTA方法相媲美，甚至更好。

使用GPT-3🗝️

GPT-3的访问是以API的形式提供的。由于模型的庞大，OpenAI社区决定不发布带有1750亿参数的整个模型。目前的人工智能系统是为一个用例而设计的，而GPT-3被设计成任务无关的，并提供了一个通用的“文本输入，文本输出”界面，为用户提供了灵活性，可以在几乎任何语言任务上尝试它。

该API的设计方式是，一旦您为其提供了apt文本输入，它将在OpenAI服务器的后端处理它，并返回完成的文本，试图匹配您给它的模式。目前的深度学习系统需要大量的数据来实现SOTA性能，而API需要一些示例来为下游任务做好准备。

API的设计非常简单和直观，使机器学习团队更有生产力。以API的形式发布GPT-3的目的是让数据团队专注于机器学习研究，而不是担心分布式系统的问题。

数据隐私/使用条款🔐

GPT-3通过一个开放的API公开了它的高级语言模型，它允许用户以培训提示的形式向GPT-3提供培训数据，该模型使用训练提示得出适当的结果。对于个人账户，语言模型通常将培训数据存储为其在线学习功能的一部分，以便使模型在运行中更好地运行，这在使用GPT-3用于涉及高度机密数据的用例时造成了麻烦。对于希望使用GPT-3创建特定领域应用程序的公司来说，数据隐私一直是最大的担忧。

简单地说，它的核心“语言模型所做的就是根据之前的单词序列预测下一个单词。”“OpenAI设计了不同的技术，将语言模型(GPT-3)从这个简单的任务转换为更有用的任务，如回答问题、文档摘要、上下文特定的文本生成等。对于语言模型，最好的结果通常是在特定领域的数据上进行“微调”。GPT-3使用了微调的微型版本，它允许您通过提供几个示例来调整模型，使其模拟特定的行为。

在收到很多来自世界各地的企业利益使用这个非常强大的语言模型,OpenAI想出了公司账户,允许企业用户签署一个特殊的谅解备忘录(MoU)和数据隐私协议(DPA) OpenAI克服数据泄漏和数据隐私问题。

企业关心的问题：

OpenAI公开的GPT-3 API端点不应该保留或保存作为模型微调/训练过程一部分提供给它的任何训练数据。任何第三方都不能通过向暴露的API端点提供任何类型的输入来提取或访问作为培训提示的一部分显示给模型的数据。

OpenAI回应：

对于数据保存的部份，GPT-3的设计方式是带有默认的“数据保留”时间段，该时间段要求模型将数据保留一段时间，以检测/防止滥用API功能（对于我们的ToU第3节中提到的内容。对于将专门为公司设计的自定义数据隐私协议，可以基于双方之间的相互同意来灵活设置保留窗口，然后再从OpenAI系统中清除数据。对于泄漏数据部分，只需创建数据和模型孤岛即可轻松解决。OpenAI只会简单地隔离数据，因此无论保留时间长短，第三方都将无法通过提供任何GPT-3 API的输入来访问或提取您的数据。 这两个请求/请求均由OpenAI独立处理，保留期仅适用于OpenAI，不适用于第三方。通过创建数据孤岛，无论保留窗口如何，第三方都将永远无法访问数据。

尽管人工智能显示出了很大的潜力，但打算构建人工智能模型的组织需要为数据隐私安全法规做好准备。GPT 3虽然只是在条款和使用上尽量避免了数据隐私的问题。但是作为一个完美的方案还是有很大的改善空间，目前也没有发现其他的更好的解决方案，如果你有更好的想法，欢迎留言。