受限玻尔兹曼机(Restricted Boltzmann Machine, RBM) 简介

  • 时间:
  • 浏览:0
  • 来源:uu快3开奖历史_uu快3玩法_注册

  为了防止式子-8的计算疑问,Hinton等人提出了一些高效的学习算法-CD(Contrastive Divergence),其基本思想如下图所示:

  

  式子-7中的前者比较好计算,只都都都能不能求vihj在详细数据集上的平均值即可,而后者涉及到v,h的详细2|v|+|h|种组合,计算量非常大(基本不可解)。

  大家希望最大化观测数据的似然函数P(v),P(v)可由式子-3求P(v,h)对h的边缘分布得到:

  受限玻尔兹曼机(Restricted Boltzmann Machine,简称RBM)是由Hinton和Sejnowski于1986年提出的一些生成式随机神经网络(generative stochastic neural network),该网络由一些可见单元(visible unit,对应可见变量,亦即数据样本)和一些隐藏单元(hidden unit,对应隐藏变量)构成,可见变量和隐藏变量都在二元变量,亦即其状态取{0,1}。整个网络是有一一一两个多二部图,必须可见单元和隐藏单元之间才会位于边,可见单元之间以及隐藏单元之间都在会有边连接,如下图所示:

                     (式子-2)

  4. Edwin Chen: Introduction to Retricted Boltzmann Machine  

  经过简化可必须得到:

  其中θ是RBM的参数{W, a, b}, W为可见单元和隐藏单元之间的边的权重,b和a分别为可见单元和隐藏单元的偏置(bias)。

  RBM的权重的学习算法:

    

  首先根据数据v来得到h的状态,但会 通过h来重构(Reconstruct)可见向量v1,但会 再根据v1来生成新的隐藏向量h1。将会RBM的特殊形状(层内无连接,层间有连接), 什么都有有在给定v时,各个隐藏单元hj的激活状态之间是相互独立的,反之,在给定h时,各个可见单元的激活状态vi也是相互独立的,亦即:

       (式子-4)

  重构的可见向量v1和隐藏向量h1什么都有有对P(v,h)的一次抽样,多次抽样得到的样本集合可必须看做是对P(v,h)的一些近似,使得式子-7的计算变得可行。

  其中Z(θ)是归一化因子,也称为配分函数(partition function)。根据式子-1,可必须将上式写为:

  1. R. Salakhutdinov. Deep Learning Tutorial.

  可必须通过随机梯度下降(stichastic gradient descent)来最大化L(θ),首先都都都能不能求得L(θ)对W的导数:

                       (式子-5)

  RBM是一些基于能量(Energy-based)的模型,其可见变量v和隐藏变量h的联合配置(joint configuration)的能量为:

  后者等于

  (式子-9)

1. RBM的学习目标-最大化似然(Maximizing likelihood)

  大家通过最大化P(v)来得到RBM的参数,最大化P(v)等同于最大化log(P(v))=L(θ):

     (式子-7)

  3. Wikipedia: Restricted Boltzmann Machine

       (式子-6)

  2. 张春霞, 姬楠楠, 王冠伟. 受限玻尔兹曼机简介.

  参考文献:

  (式子-1)

                           (式子-8)

  有了v和h的联合配置的能量本来我,大家就可必须得到v和h的联合概率:

    (式子-3)

2. RBM的学习辦法 -CD(Contrastive Divergence,对比散列)