指数分布族和广义线性回归

指数分布族

1. 定义

指数分布族不是专指一种分布，而是一系列符合特征的分布的统称。常用的诸如正态分布，伯努利分布，指数分布，泊松分布，gamma分布都属于指数分布族。 $p(y;\theta) = b(y)exp(\eta(\theta)T(y) - A(\theta))$ 其中：

• b(y) - underlying measure

• T(y) - sufficient statistic

• A($\theta$) - log normalizer

通常情况下 $T(y) = y, A, b, T, \eta$ 给定的不同，就能得到不同的y的分布

其中的变量y和参数 $\theta$ 只在 $T(y)\eta(\theta)$ 中有联系，T(y)和 $\eta(\theta)$ 都是向量形式

2. 伯努利分布

伯努利分布的概率密度函数为： $p(y;\theta) = \theta^y(1 - \theta)^{1-y} = exp(ylog\theta + (1-y)log(1-\theta) = exp(log\frac{\theta}{1 - \theta}y + log(1-\theta))$ 对应指数分布族的概率密度函数可以发现：

• $b(y) = 1$

• $\eta(\theta) = log\frac{\theta}{1 - \theta}$

• $T(y) = y$

• $A(\theta) = -log(1 - \theta) = log(1 + e^{\eta(\theta)})$

3. 高斯分布

对于均值为 $\mu$ ，方差为 $\sigma$ 的高斯分布的概率密度函数为： $p(y;\mu, \sigma) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(y-\mu)^2}{2\sigma^2}} = \frac{1}{\sqrt{2\pi}}e^{\eta(\mu, \sigma)T(y) - log\sigma - \frac{\mu^2}{2\sigma^2}}$ 对应指数分布族的概率密度函数可以发现:

• $b(y) = \frac{1}{\sqrt{2\pi}}$
• $\eta(\sigma) = [\frac{\mu}{\sigma^2}, -\frac{1}{2\sigma^2}]$
• $T(y) = [y, y^2]$
• $A(\sigma) = \frac{\mu^2}{2\sigma^2} + log\sigma$

4. 其他指数分布

还有许多其他分布属于指数分布族，如：

• 多项式分布（multinomial），用来对多元分类问题进行建模；

• 泊松分布（Poisson），用来对计数过程进行建模，如网站的访客数量、商店的顾客数量等；

• 伽马分布（gamma）和指数分布（exponential），用来对时间间隔进行建模，如等车时间等；

• β分布（beta）和Dirichlet分布（Dirichlet），用于概率分布；

• Wishart分布（Wishart），用于协方差矩阵分布。

广义线性模型(GLM)

之前一直知道线性回归，逻辑回归都属于glm，其中线性回归假设服从高斯分布，逻辑回归假设服从伯努利分布，但是为什么要这样并不是非常清楚。

1. 三个假设

• 在给定自变量x和参数 $\theta$ 的情况下，因变量y服从指数分布族
• 给定x，最终目的是求出T(y)的期望E[T(y)|x]

• 自然参数 $\eta$ 可以表示为自变量x的线性关系，即 $\eta = \theta^T x$

广义线性模型通过拟合y的条件均值/期望(在x和参数 $\theta$ 给定的情况下)，并假设y符合指数分布族中的某种分布，从而扩展了标准线性模型

2. 高斯分布

对于高斯分布，y的均值为参数 $\mu$

根据上面的推导， $y = \mu = \eta = \theta^T x$ (假设 $\sigma = 1$ )

这就和线性回归对于y作高斯分布的假设相呼应，这里的link function是y=x为identity function

3. 伯努利分布

对于伯努利分布，y的均值为 $\phi$ ，就是指数分布族下的唯一参数

根据上面的推导， $\eta = log\frac{\phi}{1 - \phi} = \theta^T x$ 推导出 $y = \phi = \frac{1}{1 + e^{-\eta}} = \frac{1}{1 + e^{-\theta^T x}}$

这也就是逻辑回归的表达式，对应与逻辑回归下y作伯努利分布的假设，此时的link function为 $y = log \frac{x}{1 - x}$ ，就是大名鼎鼎的logit函数了。

4. GLM建模过程

总结一下GLM的建模过程。

• 根据问题在指数分布族中选择一种分布作为对y的假设

• 计算该分布下的 $\eta$ ，实际上 $\eta = \eta(w^T)$ ，其中 $w^T$ 为该分布的真实参数，而 $\eta$ 只是以 $w^T$ 为参数的一个link function
• 计算该分布的期望，将其用 $\eta$ 表示，例如上面伯努利分布时的 $y=\phi = \frac{1}{1+e^{-\eta}}$
• 根据GLM的假设替换 $\eta = \theta^T x$ 即得到GLM模型

将这些知识都串联起来，就能更好的理解不同回归模型下的前提假设及其link function的选择了。