人工智能--布尔与辛顿的关系

本是古典何须时尚 2022-10-23 11:10 250阅读 0赞

![72edc3ddb63d564ec8dcfab0d96fc242.png][]

![943a4c6ef613b3548e89da35b5493c25.png][]

左：George Boole，右：Geoffrey Hinton

--------------------

布尔(George Boole)就是布尔代数那个布尔\[1,2\]，辛顿(Geoffrey Hinton)就是深度学习这个辛顿，布尔是辛顿的曾祖父。这篇小文是从布尔到辛顿的家族故事。

布尔1815年生于英国东部的林肯镇。布尔的父母约翰·布尔和玛丽·布尔结婚九年才生下布尔，随后又生了三个孩子。布尔的父亲是个补鞋匠，没钱让布尔接受正规教育。布尔自学了拉丁语、希腊语、法语和德语，不满16岁就到40英里外的一家循道宗小学当教师，开始研究数学。据布尔解释，主要原因是缺钱买书，而数学书看的时间可以更长一些。因为星期天做礼拜时还在看数学书，对神不敬，布尔工作了两年就被解雇了。

布尔19岁那年回到家乡创办自己的学校，担任校长15年，讲了无数的课，还做了大量公益活动，却没耽误研究英国和欧洲大陆最重要的数学文献，并在《剑桥数学期刊》(Cambridge Mathematical Journal)发了不少文章，这使他有机会与顶尖数学家交往。但是，因为没有正常学历，布尔在英国没有进入大学任职的机会。好在天无绝人之路，英国政府批准在爱尔兰新建三所皇后学院，位于科克市的皇后学院(今科克大学)同意聘任布尔为数学教授，这是1849年，布尔34岁。

布尔32岁那年出版《逻辑的数学分析》，搭起逻辑和代数之间的桥梁，七年后出版了更为完善的《思维的规则》(The Laws of Thought)，创立布尔逻辑和布尔代数，亚里士多德传统逻辑踏步了两千多年后，从此走上数理逻辑的快速路，为后来现代计算机的出现奠定了数学基础。

1857年，布尔42岁，当选英国皇家学会会士。

1864年11月底，布尔冒着大雨步行两英里走到学校，身着湿冷的衣服为学生们授课，由此患上肺炎。深爱他的妻子病急乱投医，迷信偏方：要治病，先重现病因，就把丈夫裹进被子，再浇上几桶冷水……没几天布尔就去世了。

布尔妻子原名玛丽·艾佛斯特(Mary Everest)，比他年少17岁，在数学上也很聪慧，1855年玛丽父亲去世，她和布尔结婚。玛丽的叔叔乔治·艾佛斯特曾任印度大地测量局总测量师，英国殖民者用于命名珠穆拉玛峰用的就是艾佛斯特(Everest)，这个姓被后人一直沿用到今天。玛丽一直活到20世纪。

布尔最小的女儿艾捷尔·丽莲·伏尼契(爱尔兰语Ethel Lilian Voynich)在布尔去世时才半岁，她的作品《牛虻》在俄罗斯和中国家喻户晓。伏尼契这个姓来自他的丈夫，一位来自西伯利亚的革命者，他在华沙的牢房时和艾捷尔目光交流，数年后逃到伦敦再次见到她，结为伴侣。

布尔的四女和三女各有成就。次女的长子是数学家，也当选了英国皇家学会会士。

布尔长女玛丽·爱伦(Mary Ellen)这一支更是名人辈出。爱伦和数学家Charles Howard Hinton结婚，生育四个孩子：George (1882–1943), Eric (\*1884), William (1886–1909)和Sebastian (1887–1923)。最小的儿子Sebastian生有两个孩子：William Howard Hinton (1919–2004)和Joan Chase Hinton (1921–2010)。哥哥William中文名韩丁，农学家、记者、马克思主义者，1945年来到中国，1953年回到美国，写过不少关于中国的书，其中最著名的是《翻身》，是他1948年在山西省潞城县张庄村亲历半年土改的经验写成的非纪实小说。妹妹Joan中文名寒春，芝加哥大学核物理研究所研究生，杨振宁的同学，曾在美国洛斯阿拉莫斯国家实验室做费米的助手，是参与了曼哈顿计划的极少数的女科学家之一，原子弹的巨大破坏让她放弃核物理，1948年追随丈夫阳早(Erwin Engst)来到延安，1949年在瓦窑堡结婚，随丈夫转行从事奶牛养殖工作，长期在北京农业机械化科学研究院工作，是北京第一位中国绿卡获得者，2010年去世。

玛丽·爱伦的长子George Hinton是个采矿工程师，管理位于墨西哥的一所银矿。1912年George生子Howard Everest Hinton。Howard是著名昆虫学家，1961年当选英国皇家学会会士。1938年，Howard和Margaret Clark结婚，1947年生杰佛瑞·艾佛斯特·辛顿(Geoffrey Everest Hinton)。

杰佛瑞·艾佛斯特·辛顿的中间名是他曾曾外祖母的姓，这是这个家族延续数代的传统。杰佛瑞如今已经是人工智能复兴的标志性人物、“深度学习教父”，这主要归功于他对神经网络近乎偏执的长期坚持。

杰佛瑞1970年在英国剑桥大学获得实验心理学学士学位，1978年在爱丁堡大学获得人工智能博士学位，一定意义上可以说是在追寻他曾曾祖父布尔的足迹。1985年，杰佛瑞作为主要贡献者之一提出将模拟退火算法应用到神经网络训练中，提出了玻尔兹曼(Boltzmann)机\[3\]，算法具有能够逃离极值的优点，但训练时间很长。1986年，他作为主要贡献者提出了多层前馈神经网络的学习算法\[4\](即BP算法，类似思想在之前多次提出)，从理论上证明了只含一个隐层的前馈网络可以在闭区间上一致逼近任意连续函数，掀起人工神经网络研究第二轮热潮。1998年，他当选英国皇家学会会士。神经网络热潮席卷全球十年后，几乎所有人都放弃了这个方向，但是杰佛瑞坚信这个方向是对的，又坚持十年，2006年发表论文，改进完善20年前的思路，提出深度信念网络 \[5\]，掀起了汹涌至今的人工神经网络第三次浪潮，人工智能因此而再度复兴。

从一身布衣的布尔奠定计算机数学基础，到辛顿执着神经网络四十年终引人工智能风骚，这个家族抱定信念、坚持到底的精神值得学习，值得深思。

参考文献

1. 马丁·戴维斯著，张卜天译. 逻辑的引擎. 湖南科学技术出版社，2007

2. MacHale D. George Boole: His Life and Work. Dublin: Boole Press, 1985.

3. David H. Ackley, Geoffrey E. Hinton, Terrence J. Sejnowski. A learning algorithm for boltzmann machines. Cognitive Science, 9(1):147-169, 1985.

4. David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams. Learning representations by back-propagating errors. Nature, Volume 323, Issue 6088, pp. 533-536 ,1986.

5. G. E. Hinton, R. R. Salakhutdinov. Reducing the dimensionality of data with neural networks. Science (313)5786:504-507, 2006.

\--黄铁军(北京大学信息科学技术学院教授，计算机科学技术系系主任)

--------------------

**接下来，单独说说布尔和他的布尔代数**

要说布尔代数，得先从布尔这个人说起。布尔出生于1815年，他父亲本身就对科学和数学很感兴趣，这可能也影响了小布尔。

与或非等逻辑的思想，从亚里士多德时代就有了。莱布尼茨和牛顿的微积分大约是在布尔出生前150年出现，莱布尼茨也曾试图将逻辑思想形式化，就是将它们用简洁的数学形式表达出来，但没有获得成功。之后一百多年，一直没人关注这个问题。

布尔出生的地方距离英国伦敦有200公里远，他第一次获得名声，是在14岁，因为他在本地报纸上发布了一首从希腊文翻译过来的诗。16岁时，他就在本地一所学校教书了，然后他就接触到了微积分的书，这时他可能已经开始思考数学和逻辑间的关系。

布尔没有上过大学，一生就是就是靠自己读书成才，19岁时他开始创业，自己开了一所小学，并且一直经营到30多岁，他这个事业很成功。他认为自己最重要的职业是学校教师，所以他对儿童教育是非常上心的，希望找到让孩子们理解和掌握复杂规律的方法。

23岁时，布尔开始自己发表一些数学方面的文章，主题是当时比较热门的微积分，但他并没有将自己当作数学家，他只是想将数学的思想形式化，更易于理解。这样他受到了其他学院派数学家的关注，也会有些交流。

布尔代数的起源，是一本书，名字叫做 *The Mathematical Anaysis of Logic*，《逻辑的数学分析》，出版于1847年，只有86页，作者是乔治-布尔。这时候他32岁，在之前，1843年，汉密尔顿已经发明了四元数代数，这个东西肯定对布尔有所启发。

起初布尔本人并不是对逻辑特别感兴趣，而是他的一个朋友，叫做奥古斯都-摩根，被这个问题纠缠住了，所以导致布尔也开始思考研究逻辑形式化的问题。

![32c502ae71e256974a43226f997a66d6.png][]

今天我们看这些，都是十分直接的，甚至都不用思考，但在那个时候，很多数学语句并没有像现在这么简洁易懂。布尔最初用的主要变量符号就是 x 和 y。

这本书是布尔出的第一本书。这时候他还在经营他的学校，并且在学校教书。但是他开始在数学界获得声誉，1849年，34岁的布尔被聘为Cork大学的第一位数学教授。

在Cork大学任教期间，他又出了一本他最著名的书，叫做 *An Investigation of the Laws of Thought*，《对思维规律的调研》。这本书出版于1854年，在这本书里他试图将人的思维形式化，也发展了第一本书里的逻辑数学体系，并且加入了一些现实的例子，比如上帝存在的证明，人的幸福计算等等。

![b1699f1cbd8b97b626929c7613c62ef0.png][]

我们现在接受的数学教育，比如代数，几何，微积分，概率论，大约都是200-300年前的东西，所以我们看那个时候的数学书，并不会觉得特别困难，但是如果要去看现在的数学论文，却非常困难，因为我们的数学教育已经与时下的数学研究完全脱节了，不清楚许多符号的约定意义。

![e78242600b18620a39db51ea6478d695.png][]

布尔在Cork 大学一直呆到49岁去世，死因是肺炎。他在那两本书后，再也没写过关于数学逻辑的内容，而是主要关注微分方程理论。他在活着的时候，给他带来最大名声的，是他的书 *A Treatise of Differential Equations*，《微分方程专论》，而不是布尔代数。

布尔40岁结婚，老婆比他小17岁，生有五个女儿，其中有些还在数学方面有所成绩。老婆名叫 Mary Boole，在布尔死后，还活了52年，到1916年去世。她出了一本书，*Philosophy and Fun of Algebra, Logic Taught by Love, The Preparation of the Child for Science and The Message of Psychic Science to the World*，直译过来，是《代数的哲学和趣味，用爱教授的逻辑，让孩子走上科学之路的准备，以及心灵科学对世界发出的消息》，真是好长啊。

布尔代数出现后许多年并没有什么实际的用处，但是在19世纪最后几十年，以及20世纪初，数学界突然流行起了形式化，代表人物有皮亚诺，希尔伯特，怀特海，罗素，以及后来的哥德尔和图灵，最后香农在开关网络中使用了布尔代数，使它有了实际的用途。

这是一个套路，数学研究里最前沿的东西，一般当下是完全用不到的，懂的人也很少，但过了50-200年之后，也许突然有个人看到了，它就可能在现实世界里发挥实际的用途，屡试不爽。

布尔代数是怎么出现的？前可追溯到亚里士多德的工具论，甚至更早，你要扯上中国的阴阳易也可以，最后是机缘巧合，对数学很感兴趣，同时以开学校、教书为业的布尔，将逻辑思想用一套数学符号表示出来了，并不复杂。只是到了今天，代数又发展了一百多年，所以看起来有些奇怪。

[72edc3ddb63d564ec8dcfab0d96fc242.png]: /images/20221023/3f52f9a1701d44298362d4205c55f91d.png
[943a4c6ef613b3548e89da35b5493c25.png]: /images/20221023/83aac37ef73d49b39e0d1fb314cc24a5.png
[32c502ae71e256974a43226f997a66d6.png]: /images/20221023/5bc4c36baf3f455ab41c153e5886a671.png
[b1699f1cbd8b97b626929c7613c62ef0.png]: /images/20221023/cd3253e3755c4afdae00162b4bc0fd90.png
[e78242600b18620a39db51ea6478d695.png]: /images/20221023/c715e368ddfe4d44a8a68eaf8a5e00fc.png