从认知智能的角度认识ChatGPT的不足

OpenAI的ChatGPT带来了一些令人欣喜的成果，但是从认知智能的角度来看，也有很多不足。今天我就来为大家说一说。首先我会为大家简单介绍人工智能，认知智能，然后再分析ChatGPT的能力和不足，最后分享目前优秀的学术论文以便让想了解原理的朋友获得深刻的认识。

什么是认知智能？

人工智能是完整地感知、认知、决策和执行整个过程的人工处理机制。

关于人工智能的详细范畴，先请大家看一些信息。首先我们来看ACM和IEEE-CS联合工作组正在制定的人工智能知识模块及知识点。

图片来源：中国人工智能学会。中国人工智能知识点全景图：迈向“智能+”时代蓝皮书。表4 ACM和IEEE-CS联合工作组正在制定的人工智能知识模块及知识点。2022年8月

更具体地，来看看《人工智能引论》知识点模块结构。

图片来源：中国人工智能学会。中国人工智能知识点全景图：迈向“智能+”时代蓝皮书。图6《人工智能引论》知识点模块结构2022年8月

大家可以看到知识表达与推理、搜索探寻与问题求解是主要的模块。

接下来我和大家说说认知能力。认知能力是指人脑加工、储存和提取信息的能力，即人们对事物的构成、性能与他物的关系、发展的动力、发展方向以及基本规律的把握能力。它是人们成功地完成活动最重要的心理条件。知觉、记忆、注意、思维和想象的能力都被认为是认知能力。思维包括直觉、形象思维、抽象思维、灵感思维，人的思维活动包括分析与综合、比较与分类、抽象与概括，具体化与系统化等内容。具体来说，包括理解、思考和推理。

人工智能发展经历了以下的阶段，简单来说如下

1 计算智能：能存会算。这个大家都有体会了。计算机能帮助我们存储数据并计算数据。

2 感知智能：能听会说、能看会认，例如大家熟知的人脸识别，语音识别等等。

3 认知智能：理解、思考和推理。例如理解提出的问题，并经过思考分析综合过程，给出合适的回答。

目前我们正在进入认知智能阶段。认知智能（计算）是技术及产品的中枢神经系统，其感知人、物、事件、环境，并进行数据分析与决策。认知智能的关键特征是对人类智能的模拟、对模糊数据与问题的高效处理、对不确定数据与问题的高效处理。

认知智能的特点

图片为我本人绘制。内容来自于https://www.techtarget.com/searchenterpriseai/definition/cognitive-computing

更一般地，我们从强弱人工智能的角度来看，强人工智能具备推理和解决问题的能力有知觉和自我意识，弱人工智能解决单一、特定的工作问题，不能具备推理和解决问题的能力。

有兴趣，大家还可以进一步了解认知智能和情感智能的区别。

图片来源：https://thinkpsych.com/blog/cognitive-vs-emotional-intelligence/

ChatGPT的能力

图片来源：https://openai.com/blog/chatgpt/

Yao Fu等于2022年12月在How doesGPT Obtain its Ability? Tracing Emergent Abilities of Language Models to theirSources这篇文章里总结了ChatGPT背后的GPT-3和GPT-3.5的能力，并解释这些能力是如何产生的。

1语言生成能力+基本世界知识+语境中的学习是来自于预训练（`davinci'）。

2储存大量知识的能力来自175B参数的神经网络。

3遵循指令和归纳新任务的能力来自于规模化指令调整（davinci-instruct-beta）。

4进行复杂推理的能力可能来自于代码的训练（code-davinci-002）。

5产生中立、客观、安全和信息丰富的答案的能力来自与人类的一致性。具体来说。

如果是监督调整，产生的模型是 "text-davinci-002"。

如果是RLHF，产生的模型是"text-davinci-003"。

无论是监督还是RLHF，这些模型在很多任务上都无法超越code-davinci-002，这被称为the alignment tax。

6对话能力也来自RLHF（`ChatGPT'），具体来说，它是对上下文学习的权衡。

建立对话历史模型

增加信息量

拒绝模型知识范围之外的问题

如果想了解具体信息，可以收听以下我的音频。

ChatGPT是如何工作的？

GPT3和GPT3.5的能力是如何产生的？

ChatGPT的核心技术：语境学习1

关于语境学习In-contextlearning，可参考北京大学的QingxiuDong等写的一篇综述文章A Survey on In-contextLearning （作者为QingxiuDong , Lei Li , Damai Dai, Ce Zheng, Zhiyong Wu等） ,语境学习的核心思想是类比学习。

关于思维链Chainof Thought，可查看 FaithfulChain-of-Thought Reasoning

关于指令学习Instructiontuning，可查看打开模型Zero-Shot新范式：InstructionTuning和Training language models to followinstructions with human feedback

关于基于人类反馈的强化学习ReinforcementLearning from Human Feedback，可查看Illustrating Reinforcement Learningfrom Human Feedback (RLHF)。

ChatGPT的不足

Ali Borji在A Categorical Archive of ChatGPTFailures这篇文章里用具体的例子从推理、逻辑、事实错误、数学和算术、偏见和歧视、智慧和幽默、程序编码、句法结构、拼写和语法、自我意识、以及个性化十个方面指出了ChatGPT的不足。

大家可以听听我的音频。

从认知智能的角度看ChatGPT的不足（上）

从认知智能的角度看ChatGPT的不足（下）

ChatGPT能做什么和不能做什么

总之，ChatGPT可以如OpenAI的官网所说，完成信息性、中立的回应，并且拒绝不恰当的问题和超出其知识氛围的问题。该模型在逻辑和模棱两可的语句的混合含糊推理上可以做得非常好，但是不能做非常严格的推理：例如推导出严格的证明，要求在中间步骤中没有错误。

经过以上的总结，我们知道ChatGPT有一些初步的认知能力，例如可以理解一些简单的问题并且做出类人的表达，但是由于无法理解概念，缺乏个性化的表达，不能进行数学和一阶逻辑推理。所以并没有类人的认知智能。我个人认为要发展ChatGPT，只有情景学习、思维链、指令学习和基于人类反馈的强化学习是远远不够的，需要充分利用心理学、学习理论、脑科学、神经科学和认知科学的成果，而不是只局限在基于数学的算法这个层面。

参考资源

如果想了解基本原理，建议认真读完以下的文章，应该能收获不少。

• Stephen Wolfram，2023年2月14日What IsChatGPT Doing … and Why Does It Work? 中文版：ChatGPT 在做什么… 以及它为何发挥作用？

• How doesGPT Obtain its Ability? Tracing Emergent Abilities of Language Models to theirSources

• 赛尔笔记 | 浅析ChatGPT的原理及应用

• https://github.com/openai/following-instructions-human-feedback

• Ali Borji，ACategorical Archive of ChatGPT Failures 中文版：ChatGPT，不得不说的十大能力缺陷

• Ouyang, Long, et al. Training language models to followinstructions with human feedback

• Illustrating Reinforcement Learningfrom Human Feedback (RLHF)

大家也可以看看台湾大学李宏毅教授的解释视频

近日爆火的【ChatGPT】是怎么炼成的? GPT社会化的过程

欢迎留言，与我交流认知计算和认知智能的发展。