一起读懂传说中的经典:受限玻尔兹曼机(3)
2023-05-04 来源:飞速影视
如果这两层是更深网络的一部分,那么第一个隐藏层的输出会被传递到第二个隐藏层作为输入,从这里开始就可以有很多隐藏层,直到它们增加到最终的分类层。对于简单的前馈网络,RBM 节点起着自编码器的作用,除此之外,别无其它。
![一起读懂传说中的经典:受限玻尔兹曼机](http://fs.qqfile.top/re/aHR0cHM6Ly90MTIuYmFpZHUuY29tL2l0L2FwcD0yNSZhbXA7Zj1KUEVHJmFtcDtmbT0xNzMmYW1wO2ZtdD1hdXRvJmFtcDt1PTEzMTU4Njg3MTQsMzIwNDUwNTk0ND93PTY0MCZhbXA7aD0zNTImYW1wO3M9ODlBQTdDMzI0NUM4QzRFMjBDNDQ2MEQ3MDAwMEEwQjE1)
重建(Reconstruction)
但是在本文关于 RBM 的介绍中,我们会集中讨论它们如何以一种无监督的方式通过自身来重建数据,这使得在不涉及更深层网络的情况下,可见层和第一个隐藏层之间会存在数次前向和反向传播。
在重建阶段,第一个隐藏层的激活状态变成了反向传递过程中的输入。它们与每个连接边相同的权重相乘,就像 x 在前向传递的过程中随着权重调节一样。这些乘积的和在每个可见节点处又与可见层的偏置项相加,这些运算的输出就是一次重建,也就是对原始输入的一个逼近。这可以通过下图表达:
![一起读懂传说中的经典:受限玻尔兹曼机](/images/loading.gif)
因为 RBM 的权重是随机初始化的,所以,重建结果和原始输入的差距通常会比较大。你可以将 r 和输入值之间的差值看做重建误差,然后这个误差会沿着 RBM 的权重反向传播,以一个迭代学习的过程不断反向传播,直到达到某个误差最小值。
关于反向传播的更全面的解释请查看机器之心的文章:反向传播为何饱受质疑?(附完整的 BP 推导)。
正如你所看到的,在前向传递过程中,给定权重的情况下 RBM 会使用输入来预测节点的激活值,或者输出的概率 x:p(a|x; w)。
本站仅为学习交流之用,所有视频和图片均来自互联网收集而来,版权归原创者所有,本网站只提供web页面服务,并不提供资源存储,也不参与录制、上传
若本站收录的节目无意侵犯了贵司版权,请发邮件(我们会在3个工作日内删除侵权内容,谢谢。)
www.fs94.org-飞速影视 粤ICP备74369512号