各个基础组件
Complex Convolution (复数卷积)
Activation (激活)
BatchNormalization (批量标准化)
- 实数的批量标准化
$
x = \frac{x - E(x)}{x.std()}
$
- 复数Batch Normalization
如果分别对实部和虚部进行标准化会导致分布为一个圆形，可能是一个椭圆，但是将此看作一个白化2d矢量，每一部分将按方差平方根进行缩放。通过x-E(x),然后乘一个2 X 2的协方差矩阵完成。
$
x = \frac{x - E(x)}{\sqrt{V} }
$
- E(x):x的均值
- V = 协方差矩阵
$\boldsymbol { V } = \left( \begin{array} { c c } { V _ { r r } } & { V _ { r i } } \\ { V _ { i r } } & { V _ { i i } } \end{array} \right) = \left( \begin{array} { c c } { \operatorname { Cov } ( \Re { x } , \Re { x } ) } & { \operatorname { Cov } ( \Re { x } , \Im { x } ) } \\ { \operatorname { Cov } ( \Im { x } , \Re { x } ) } & { \operatorname { Cov } ( \Im { x } , \Im { x } ) } \end{array} \right)
$
- Cov:协方差
根号V分之一的计算方法：
对于2*2矩阵A
$A = \left[ \begin{array} { l l } { a } & { b } \\ { c } & { d } \end{array} \right]$
1/A公式：
$\begin{aligned} \frac{1}{A} & = \frac { 1 } { | A | } \left[ \begin{array} { c c } { d } & { - b } \\ { - c } & { a } \end{array} \right] \\ & = \frac { 1 } { a d - b c } \left[ \begin{array} { c c } { d } & { - b } \\ { - c } & { a } \end{array} \right] \end{aligned}$
sqrt(A)公式：
$\sqrt{A} = \pm \frac { 1 } { \sqrt { \tau + 2 \delta } } \left( A + \delta I _ { 2 } \right) = \pm \frac { 1 } { \sqrt { \tau + 2 \delta } } \left[ \begin{array} { c c } { a + \delta } & { b } \\ { c } & { d + \delta } \end{array} \right]$
$\tau = \operatorname { trace } A = a + d$
$\delta = \pm \sqrt { \operatorname { det } A } = \pm \sqrt { a d - b c }$
所以，
$$\frac{1}{\sqrt(A)} = \frac{1}{\delta * \sqrt{\tau} - 2\delta}
\left[
\begin{array} { c c }
{ d + \delta } & { -b } \\
{ -c } & { a + \delta }
\end{array}
\right]$$
$$x=\frac{x-E(x)}
{\sqrt{V}} = \frac{1}
{ \delta * \sqrt { \tau } - 2 \delta }
\left[ \begin {array} { c c }
{ V _ { i i } + \delta } & { -V _ { ri } } \\
{ -V_{ ir } }&{ V_ { rr } + \delta }
\end{array}
\right]
(x-E(x))
$$
$$=\frac{1}
{\delta * \sqrt{\tau}-2\delta}
\left[\begin{array}{cc}
{V_{ii}+\delta}&{-V_{ri}}\\
{-V_{ir}}&{V_{rr}+\delta}
\end{array}\right] \left[\begin{array}{l}{x_{real}}\\{x_{image}}\end{array}\right]$$
参考：
Square root of a 2 by 2 matrix