ICCSA 2016 (early submission) に論文が受理されました

正田が筆頭著者の論文A Simple Stochastic Gradient Variational Bayes for Latent Dirichlet AllocationがICCSA 2016 (The 16th International Conference on Computational Science and Its Applications)という国際会議に受理されました。Early submissionのほうに投稿していたので、早い目に結果が出ています。

この論文では、decoderがLDAで、encoderがディリクレ事後分布に対応する部分だけdiagonal logistic normal（離散変数部分はそのまま）であるような変分AEについて議論しています。変分推定に際しては、連続変数の部分にSGVB (stochastic gradient variational Bayes)を使うことでgradientにrandomnessを持たせています（だから”stochastic gradient”）。

興味深いのは、この手法からrandomnessをなくす（乱数を0にする）と、CVB0の更新式から注目しているトークンの寄与を引くという計算を省いた更新式が出てくるところです。つまり、CVB0と類似性があるような更新式が得られたということです。