本篇用于记录常用或易忘的概率论相关知识点。
随机变量的函数变换
主要内容参考此链接的课件
一维变换
定理
设随机变量$X$和$Y$满足$Y = g(X)$，且存在反函数$X = g^{-1}(Y) = h(Y)$，则有
$$
\begin{align*}
f_{Y}(y) &= f_{X}(x) \vert \frac{\mathrm{d} x}{\mathrm{d} y} \vert \\
&= f_{X}(h(y)) \vert h’(y) \vert
\end{align*}
$$
示例
随机变量$X$和$Y$满足线性关系$Y = aX + b$，其中$X$为高斯变量，$a, b$为常数，此时$Y$的概率密度函数则可以通过如下步骤计算得到。
此时
$$
f_{X}(x) = \frac{1}{\sqrt{2 \pi} \sigma_{X}} \exp \left[ -\frac{(x-\mu_{X})^2}{2 \sigma_{X}^2} \right]
$$
且有
$$
X = h(Y) = \frac{Y-b}{a}
$$
则：
$$
\begin{align*}
f_{Y}(y) &= f_{X}(h(y)) \vert h’(y) \vert \\
&= \frac{1}{\sqrt{2 \pi} \sigma_{X}} \exp \left[ -\frac{(\frac{y-b}{a}-\mu_{X})^2}{2 \sigma_{X}^2} \right] \vert \frac{1}{a} \vert \\
&= \frac{1}{\sqrt{2 \pi} \vert a \vert \sigma_{X}} \exp \left[ -\frac{(y-a \mu_{X} - b)^2}{2 a^2 \sigma_{X}^2} \right]
\end{align*}
$$
即：
$$
\begin{align*}
\mu_{Y} &= a \mu_{X} + b \\
\sigma_{Y}^2 &= a^2 \sigma_{X}^2
\end{align*}
$$
二维变换
定理
已知二维随机变量$(X_1,X_2)$的联合概率密度$f_{X}(x_1,x_2)$，以及二维随机变量$(Y_1,Y_2)$和$(X_1,X_2)$之间的关系为
$$
\begin{align*}
Y_1 &= g_1 (X_1, X_2) \\
Y_2 &= g_2 (X_1, X_2)
\end{align*}
$$
且反函数为
$$
\begin{align*}
X_1 &= h_1 (Y_1, Y_2) \\
X_2 &= h_2 (Y_1, Y_2)
\end{align*}
$$
那么二维随机变量$(Y_1,Y_2)$的概率密度函数$f_{Y}(y_1, y_2)$由下式给出：
$$
\begin{align*}
f_{Y}(y_1, y_2) &= f_{X}(x_1, x_2) \det(\mathbf{J}) \\
&= f_{X}(h_1 (y_1, y_2), h_2 (y_1, y_2)) \det(\mathbf{J})
\end{align*}
$$
其中$\det(\cdot)$表示行列式，$\mathbf{J}$表示雅可比矩阵(Jacobian Matrix)，由下式得到
$$
\begin{align*}
\mathbf{J} =
\begin{bmatrix}
\frac{ \partial x_1 }{ \partial y_1 } & \frac{ \partial x_1 }{ \partial y_2 } \\
\frac{ \partial x_2 }{ \partial y_1 } & \frac{ \partial x_2 }{ \partial y_2 }
\end{bmatrix}
\end{align*}
$$
示例
设$X,Y$是相互独立的高斯变量，均值相等为$0$，方差相等为$\sigma^2$，设$A, \Phi$为随机变量，且有
$$
\begin{cases}
X = A \cos \Phi \\
Y = A \sin \Phi
\end{cases}
$$
同时$A>0$，$0 \leq \Phi \leq 2 \pi$，则$(A,\Phi)$的概率密度$f_{(A,\Phi)}(a, \phi)$可以通过以下步骤计算得到：
首先有
$$
f_{(X,Y)}(x,y) = f_X(x) f_Y(y) = \frac{1}{2 \pi \sigma^2} \exp \left[ - \frac{x^2 + y^2}{2 \sigma^2} \right]
$$
$$
\det(\mathbf{J}) =
\begin{vmatrix}
\frac{ \partial x_1 }{ \partial y_1 } & \frac{ \partial x_1 }{ \partial y_2 } \\
\frac{ \partial x_2 }{ \partial y_1 } & \frac{ \partial x_2 }{ \partial y_2 }
\end{vmatrix}
=
\begin{vmatrix}
\cos \phi & -a \sin \phi \\
\sin \phi & a \cos \phi
\end{vmatrix}
= a
$$
于是有：
$$
\begin{align*}
f_{(A,\Phi)}(a, \phi) &= f_{(X,Y)}(x,y) \det(\mathbf{J}) \\
&= f_{(X,Y)}(a \cos \phi, a \sin \phi) \det(\mathbf{J}) \\
&= \frac{a}{2 \pi \sigma^2} \exp \left[ - \frac{a^2}{2 \sigma^2} \right]
\end{align*}
$$
信道模型和参数
主要内容参考此链接的教材
离散输入连续输出信道
假设信道输入符号选自一个有限的、离散的输入符号集$X \in \{a_1, a_2, \cdots, a_n\}$，而信道输出$Y \in \{b_1, b_2, \cdots, b_m\}$未经量化$(m \rightarrow \infty)$，这时的信道输出可以是实轴上的任意值，即$Y \in \{ -\infty, +\infty \}$，这样的信道模型称为离散时间无记忆信道。该信道的特性由离散输入$X$、连续输出$Y$以及条件概率密度函数$p_{Y}(y|X=a_i)$来决定。
这类信道中最重要的是一种加性高斯白噪声(Additive White Gaussion Noise, AWGN)信道，该类信道的输入和输出满足：
$$
Y = X + G
$$
其中，$G$是一个零均值、方差为$\sigma^2$的高斯随机变量。当$X=a_i$给定后，$Y$是一个均值为$a_i$，方差为$\sigma^2$的高斯随机变量，即有：
$$
p_{Y}(y|X=a_i) = \frac{1}{\sqrt{2 \pi} \sigma} \exp \left[ - \frac{(y-a_i)^2}{2 \sigma^2} \right]
$$
一般情况下的加性噪声信道
考虑$Y = X + N$，其中$N$是加性噪声。如果噪声和信号相互独立，则有
$$
p_{X,Y}(x,y) = p_{X,N}(x,n) = p_{X}(x)p_{N}(n)
$$
第一个等号的证明如下
考虑如下变换：
$$
\begin{cases}
x = x \\
y = x + n
\end{cases}
$$
则 $p_{X,N}(x,n) = p_{X,Y}(x,y) \det(\mathbf{J})$，其中
$$
\det(\mathbf{J}) =
\begin{vmatrix}
\frac{ \partial x }{ \partial x } & \frac{ \partial x }{ \partial n } \\
\frac{ \partial y }{ \partial x } & \frac{ \partial y }{ \partial n }
\end{vmatrix}
=
\begin{vmatrix}
1 & 0 \\
1 & 1
\end{vmatrix}
= 1
$$
因此$p_{X,N}(x,n) = p_{X,Y}(x,y)$。
则
$$
p_{Y}(y|x) = \frac{p_{X,Y}(x,y)}{p_{X}(x)} = \frac{p_{X,N}(x,n)}{p_{X}(x)} = p_{N}(n)
$$
