神经网络如何模拟任意函数？

柔光的暖阳◎ 2022-09-16 00:21 158阅读 0赞

‍

‍点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

来源：知乎—jerryjee

地址：https://zhuanlan.zhihu.com/p/396204813

**01**

**概述**

神经网络之所以强大，在于它强大的模拟能力。理论上，它可以以无限小的误差模拟任意函数。

也就是说，可以利用神经网络构建任意函数，得到任意算法。

这里使用一些可视化的样例，帮助大家获得一些直观的理解。

**02**

**一元函数的模拟**

**直线**

这个是最简单的情况，我们使用一个不带激活函数的神经元即可模拟。

![9e81ae85dbdee8d8d6b8a8c6bb855bf8.png][]

![51a1c45f138a2df66db5cea16688e110.png][]

通过调整    参数，即可模拟任意直线。

**阶跃函数Step Function**

![782ee711a3f90c46ae044915418e5b9e.png][]

我们使用一个带Sigmoid激活函数的神经元来模拟。

![3dd2c4e60642768bf1e2f8e943ee7eba.png][]

随着    参数继续增大，神经网络就会逐步逼近该函数。

**矩形脉冲函数**

![e569fa03c784bab6ecd4f8f69130738c.png][]

我们分成几步来模拟：

1. 使用1个神经元来模拟函数的左半部分。

![b9517bb2ddd7d39308201004480cdcdd.png][]

![76b2df1d9844a0d2114e9ffa020bbf65.png][]

2. 使用1个神经元来模拟函数的右半部分(上下颠倒)。

![fde823aa42e9d60110c11951fec8ae79.png][]

![67d9756e4bb1f94ffc4d4f3e880d26b1.png][]

3. 再使用一个神经元将前2步的图像进行合成

![fe18a8e82cfcbae27e337b6719d7b323.png][]

![607742311886abe96456c16fb0aee9cd.png][]

得到的结果很好地近似了目标函数。

**其它一元函数**

利用矩形脉冲函数，我们很容易近似其它任意函数，就像积分原理一样。

![196840d3e8f0613550c8f483871c8055.png][]

##     ##

**03**

**二元函数的模拟**

**平面**

这个是最简单的情况，我们使用一个不带激活函数的神经元即可模拟。

![8efbbec3b1645101400734c9533b420c.png][]

![a8e439112d0948eaa824b347e82d79f1.png][]

通过调整    参数，即可模拟任意平面。

**二元阶跃函数Step Function**

![9c55bcfa80dfbfc3456b8efe0341d2ef.png][]

我们使用一个带Sigmoid激活函数的神经元来模拟。

![3e769ccac4c42f1a0cf18037bbf34f69.png][]

**二元矩形脉冲函数**

![da6315e25d1bd0eebc5dcfbb966e5a47.png][]

与一元函数的情况类似，我们分步实现它：

1. 使用一个神经元来模拟函数的一个边缘

![b56e437cb2f9cd2a5de3ce958b5bd1d0.png][]

![36c7585f0b7ffe5729d2e4a04ac4dc51.png][]

2. 然后我们可以得到以下函数：

![8853aefb09877f4b991ed82ca5ce9391.png][]

3. 最后，可以合成以下函数

![bfebe0dda497696d5bdfaa9649b09515.png][]

最终的神经网络结构如下图所示：

![95bbd2e38b9b7a04efce00a05ecf5f1e.png][]

**其它二元函数**

利用二元矩形脉冲函数，我们很容易近似其它任意二元函数，就像积分原理一样。

n元函数的模拟

原理一样，自己想象！

**04**

**问题**

我们已经拥有了数字电路以及软件程序算法，为什么还需要神经网络？

构建与数字电路之上的软件程序也可以模拟任意函数，那为什么还要发明人工神经网络呢？

## **参考软件** ##

更多内容及可交互版本，请参考App：神经网络与深度学习

**猜您喜欢：**

[**等你着陆！【GAN生成对抗网络】知识星球！**][GAN]

[**CVPR 2021专题1：GAN的改进**][CVPR 2021_1_GAN]

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][_ _100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![24a9113182d4c281d0ff21fd220ef800.png][]

[9e81ae85dbdee8d8d6b8a8c6bb855bf8.png]: /images/20220828/284a34c0dde64964a8101ce8ba71e1cc.png
[51a1c45f138a2df66db5cea16688e110.png]: /images/20220828/83b25c1bf2e34a8481bf7f6434ccfdfc.png
[782ee711a3f90c46ae044915418e5b9e.png]: /images/20220828/b095154af0f849f19b445674690c9e16.png
[3dd2c4e60642768bf1e2f8e943ee7eba.png]: /images/20220828/aa55c2082f4d4a6aad70fa1e003134ce.png
[e569fa03c784bab6ecd4f8f69130738c.png]: /images/20220828/3b6b5de72a464adca00ce58ecb2d61f8.png
[b9517bb2ddd7d39308201004480cdcdd.png]: /images/20220828/60abe2ac3ad34dbb8a64d261100f67c5.png
[76b2df1d9844a0d2114e9ffa020bbf65.png]: /images/20220828/c44bcd6aa0884f6d9f55e44bbd59de87.png
[fde823aa42e9d60110c11951fec8ae79.png]: /images/20220828/535f3a550c3045288716480062dea19e.png
[67d9756e4bb1f94ffc4d4f3e880d26b1.png]: /images/20220828/7b8cc51e0e9f4fdf9f3499a5c2f02298.png
[fe18a8e82cfcbae27e337b6719d7b323.png]: /images/20220828/db8d9301e95f48ed8ac9e9b2fbf2424c.png
[607742311886abe96456c16fb0aee9cd.png]: /images/20220828/e981f37527bb48c09dcaf67bafef8cb8.png
[196840d3e8f0613550c8f483871c8055.png]: /images/20220828/43e0b75c1b3742919bd59d366d74e785.png
[8efbbec3b1645101400734c9533b420c.png]: /images/20220828/25deafee76dc407280e04812a226813c.png
[a8e439112d0948eaa824b347e82d79f1.png]: /images/20220828/1794d5b01ef34da88441789b3afedbf3.png
[9c55bcfa80dfbfc3456b8efe0341d2ef.png]: /images/20220828/1315e20d80ee4130abeb0b4c43dddc24.png
[3e769ccac4c42f1a0cf18037bbf34f69.png]: /images/20220828/5079309fc53b421e8572c469b179f55e.png
[da6315e25d1bd0eebc5dcfbb966e5a47.png]: /images/20220828/8e8de01a96cb45a09a7f95339ce44209.png
[b56e437cb2f9cd2a5de3ce958b5bd1d0.png]: /images/20220828/0fc80729fec5477d95ebda9a9fbd47bd.png
[36c7585f0b7ffe5729d2e4a04ac4dc51.png]: /images/20220828/3ace94f20e8a4344a53e337425fedaf4.png
[8853aefb09877f4b991ed82ca5ce9391.png]: /images/20220828/e200217a90c544ed82bd2da1ee50079f.png
[bfebe0dda497696d5bdfaa9649b09515.png]: /images/20220828/6720fa8c74224fa7b658079709c5034b.png
[95bbd2e38b9b7a04efce00a05ecf5f1e.png]: /images/20220828/81d7dbfc4985444bbf3f9ebe5f884634.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247493528&idx=1&sn=a6ad486ec02f36c97bc9a7c86f986765&chksm=fe2a4523c95dcc3526ebf62751f7a8f319082ed358f3a8c37e98188206f7d71daf2885028bf9&scene=21#wechat_redirect
[CVPR 2021_1_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247493902&idx=1&sn=14c01f114bd69bd6a94adf79296009c8&chksm=fe2a4bb5c95dc2a3c7ea2f02e430cd72ee4a200552cc74e323c0a3b6eac891c923e9b10d14ba&scene=21#wechat_redirect
[CVPR 2021 _ GAN_3D]: https://blog.csdn.net/moxibingdao/article/details/116773486
[CVPR 2021 _ _ _GAN]: https://blog.csdn.net/moxibingdao/article/details/115410691
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247491634&idx=1&sn=427cb6bfd6868662f2b5ae1ac37f6072&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&scene=21#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490911&idx=1&sn=671926492c3b36e3350db4963f7fcb16&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&scene=21#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490656&idx=2&sn=bbe156fef077f23263b57e506ad43314&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&scene=21#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490498&idx=1&sn=324cfbbde362a728aa5336f4b200f7a3&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&scene=21#wechat_redirect
[100_CVPR 2020_GAN]: https://blog.csdn.net/lgzlgz3102/article/details/107075585
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485709&idx=2&sn=55a51c98ab48f393ba305c082ba0e4fe&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&scene=21#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485091&idx=2&sn=f569d5d70c2e6c9cc567fbc5147787a4&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&scene=21#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485635&idx=2&sn=90608bce32fe353cf3c64b39e3406bc3&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&scene=21#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247484959&idx=2&sn=563999cc8d48498beed00270844ceec4&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247484929&idx=1&sn=523220858287ed3e6105919703c8e833&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&scene=21#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485195&idx=2&sn=e3387067db29d1759755c6c2ea96c870&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&scene=21#wechat_redirect
[_ _100_CVPR 2020_GAN]: https://blog.csdn.net/lgzlgz3102/article/details/114860515
[Link 2]: https://blog.csdn.net/Yong_Qi2015/article/details/111714078
[24a9113182d4c281d0ff21fd220ef800.png]: /images/20220828/f675dc8d78b24f55b3415559dd6b9db4.png