Differences
This shows you the differences between two versions of the page.
| Both sides previous revision Previous revision Next revision | Previous revision | ||
|
start:深度学习教程---从感知到深度网络 [2017/09/09 21:46] vanabel [自动编码器] |
start:深度学习教程---从感知到深度网络 [2019/06/27 22:37] (current) |
||
|---|---|---|---|
| Line 1: | Line 1: | ||
| - | ====== 深度学习教程──从感知到深度网络 ====== | + | ====== 深度学习教程──从感知器到深度网络 ====== |
| [[https://www.toptal.com/machine-learning/an-introduction-to-deep-learning-from-perceptrons-to-deep-networks|本文]]原作者是Java工程师**Ivan Vasilev**, 同时作者也开发了[[https://github.com/ivan-vasilev/neuralnetworks|Java深度学习库]], 大家可以去点赞. 这里我将根据我的理解, 作一记录. | [[https://www.toptal.com/machine-learning/an-introduction-to-deep-learning-from-perceptrons-to-deep-networks|本文]]原作者是Java工程师**Ivan Vasilev**, 同时作者也开发了[[https://github.com/ivan-vasilev/neuralnetworks|Java深度学习库]], 大家可以去点赞. 这里我将根据我的理解, 作一记录. | ||
| Line 157: | Line 157: | ||
| 在某种程度上，由于偏好这样更为简单的表示方法，我们也会尝试从一个更接近“真理”的意义上去学习数据。 | 在某种程度上，由于偏好这样更为简单的表示方法，我们也会尝试从一个更接近“真理”的意义上去学习数据。 | ||
| - | ==== 有限Boltzmann机 ==== | + | ===== 有限Boltzmann机 ===== |
| + | |||
| + | 下一个逻辑步骤是看看有限玻尔兹曼机[[wp>Restricted_Boltzmann_machine|Restricted Boltzmann machine]] (RBM)，一个可以从它自身输入来学习概率分布的随机生成神经网络。 | ||
| + | {{ :start:rbm.png?400 |RBM}} | ||
| + | RBMS由隐藏层(hidden layer)、可见层(visible layer)、以及偏置层（bias layer）所组成。不同于前馈神经网络，在可见层和隐层之间的连接是无向的（值可以同时从隐层传到可见层，反之亦然）同时还是全连接的（给定层的每个神经元都会和下一层的每个神经元相连接——如果我们允许任意层次的任意神经元来连接到其他任何层次，那么就是`玻尔兹曼机`(Boltzmann)（并非有限玻尔兹曼机(restricted Boltzmann)））。 | ||
| + | |||
| + | 标准的RBM有二进制隐藏元和可见元：即是说在伯努利分布下神经元的激活值为0或者1，但是这里也有其他非线性的变量。 | ||
| + | |||
| + | 研究者们知晓RBMs已经有一定的年月，但最近关于对比分歧无监督训练算法的介绍又重新挑起了研究者们的兴趣。 | ||