Bayesian Neural Network（BNN）

Introduction

一种将Bayes和NN结合的方法，用于量化NN的inference的不确定性，将NN的参数看作为一种符合某种distributed的一种变量，简单的结构如下图所示：

BNN的方法相对于传统的NN存在以下的区别：

• 传统的NN会去找到weight的参数，但是BNN找的是每一个参数的分布。
• estimator不一样，对哦于传统的NN，使用 maximum likelihood estimators （MLE），但是BNN要用maximum a posteriori (MAP，最大后验概率) 或者predictive distribution。
• 优化的方法不同，传统的NN一般会用基于梯度这一类的微分的方法，但是BNN会使用Markov Chain Monte Carlos（MCMC）、Variational Inference或者Normalizing Flows这一类的方法。

Statical Uncertainty & Epistemic Uncertainty

对于BNN两个重要的指标，Statical Uncertainty主要是指同一个model在多次的inference的时候，每一次都会因为参数的随机导致输出不一样，这个指标反应这种随机性导致的结果的不确定性。

Epistemic Uncertainty也被称为Systematic Uncertainty，表示在经过多次的训练，系统性能的变化。

Property

Advantages

• BNN具有非常好的Robust性质，可以很好地避免过拟合。
• 可以对于uncertainty进行量化。

Limitations

• 优化的方法很复杂，MCMC比梯度算法要复杂很多。
• 需要较长的时间收敛。

Reference

1. WONG, Yeung. 《Why You Should Use Bayesian Neural Network?》 Medium, 2021年10月29日. https://towardsdatascience.com/why-you-should-use-bayesian-neural-network-aaf76732c150.
2. 《Maximum Likelihood Estimation》. 收入 Wikipedia, 2022年8月14日. https://en.wikipedia.org/w/index.php?title=Maximum_likelihood_estimation&oldid=1104423043.