人工智能发展简史 | 梦开始的地方：M-P模型

人工智能梦开始的地方：M-P 模型

文章目录

1. 摘要

追溯人工神经网络的源头，是由神经生理学家麦卡洛克（Warren S. McCulloch）与自学成才的数学家皮茨（Walter Pitts）提出的神经网络逻辑演算模型。

1943年，McCulloch 和 Pitts 一同发表论文《神经活动内在思想的逻辑演算》（A logical calculus of the ideas immanent in nervous activity）（以下简称 M-P 论文），首次提出通过逻辑演算来解释神经机制如何实现心理功能。

人们将这篇论文中提出的神经网络模型，以作者姓氏首字母命名为“ M-P 模型”。M-P 模型不但是人工神经元网络的源头，而且也启发了计算机、控制论和人工智能等多个学科的开创，打开了现代信息科学殿堂的大门。

Warren McCulloch

Walter Pitts

2. 人脑中的神经元

M-P 模型是麦卡洛克和皮茨参考生物神经元的结构，总结的抽象的神经元模型。让我们先回到高中生物课本，简单了解一下人脑中的神经元。

• 一个神经元可以被大致分为两个部分：细胞体和突起。而突起又可以被分为树突和轴突。
• 一个神经元通常具有多个树突，主要用于接收传入信息。
• 大部分的神经元只有一个轴突，轴突末端分支出许多轴突末梢，这些末梢能够向其他多个神经元传递信息。
• 轴突末梢与其他神经元产生连接，从而传递信号。这个连接的位置在生物学上叫做“突触”。

3. M-P 模型

3.1. 结构

M-P 模型是一个包含输入，输出与计算功能的模型。

• 计算功能可以类比为细胞核，
• 输入可以类比为神经元的树突，
• 输出可以类比为神经元的轴突。

上图是一个经典的 M-P 模型：包含有3个输入，1个输出，以及2个计算功能。

3.2. 连接

在上图的 M-P 模型中，我们用有向箭头来表示“连接”。每个“连接”上都有一个“权值”，图中的每个有向箭头表示的都是值的加权传递。

参考上图，有向箭头可以这样理解：初端传递的信号大小为 a，经过端中间的加权 w 后，末端信号的大小就变成了 a * w。

经常被提到的神经网络的训练算法，核心就是让连接中权重的值调整到最佳，以使得整个网络实现好的预测效果。

3.3. 神经元计算

如果我们将上图 M-P 模型转换成计算公式的话，会发现输出 z 就是在输入和权值的线性加权值叠加了一个函数 g 的值。

在 M-P 模型中，这个函数 g 为 sgn 函数。

sgn 函数，全称为符号函数（Sign function）
在 M-P 模型中的 sgn 函数，当所有输入与对应的连接权重的乘积之和 s 大于阈值 h，则输出 y=1，否则输出 y=0

• 如果输入 s > h，那么 g(s) = 1
• 如果输入 s < h，那么 g(s) = 0

3.4. M-P 模型的拓展

• 将 sum 函数与 sgn 函数合并到一个圆圈里，代表神经元的内部计算
• 一个神经元可以引出多个代表输出的有向箭头，但值都是一样的

5. M-P 模型的影响

1943年发布的 M-P 模型，虽然简单，但已经建立了神经网络大厦的地基。但是，M-P 模型中，权重的值都是预先设置的，因此不能学习。

1949年心理学家 Hebb 提出了 Hebb 学习率，认为人脑神经细胞的突触（也就是连接）上的强度上可以变化的。于是计算科学家们开始考虑用调整权值的方法来让机器学习。这为后面的学习算法奠定了基础。

参考：

1. McCulloch-Pitts人工神经元模型80周年纪念：思想、方法与意义 - 缪青海，王雨桐，吕宜生，那晓翔 ，王飞跃
2. 神经网络简史（上）——从“极高的期待”到“极度的怀疑” - 知乎 - 人民邮电出版社
3. 神经网络浅讲：从神经元到深度学习 - 博客园 - 计算机中的潜意识
4. 全网最新！| 深度学习发展史（1943-2024编年体）（The History of Deep Learning）- CSDN - Hefin_H
5. 神经网络学习之一——M-P模型 - CSDN - Vechin-Huang