考虑概率分布组成的线性空间,显然协方差是其中的一个bilinear form,而且显然是非退化的,所以它是一个内积。
由此可知协方差矩阵是关于协方差这个内积的Gram矩阵,自然是对称半正定的,而且它是正定的当且仅当所有涉及的概率分布都是线性无关的。
协方差矩阵,基本上向量 (X - μ) 与其转置相乘,然后求期望,而期望就是个加权平均而已。这样的东西,从线性代数上讲,基本上全是半正定的。
若两个随机变量X和Y相互独立,则E[(X-E(X))(Y-E(Y))]=0,因而若上述数学期望不为零,则X和Y必不是相互独立的,亦即它们之间存在着一定的关系。
协方差与期望值有如下关系:
Cov(X,Y)=E(XY)-E(X)E(Y)。
协方差的性质:
(1)Cov(X,Y)=Cov(Y,X);
(2)Cov(aX,bY)=abCov(X,Y),(a,b是常数);
(3)Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)。
由协方差定义,可以看出Cov(X,X)=D(X),Cov(Y,Y)=D(Y)。
参考资料来源:百度百科-协方差
参考资料来源:百度百科-协方差矩阵
这个其实,基本上,就是从协方差矩阵的定义来的。
协方差矩阵,基本上,就是向量 (X - μ) 与其转置相乘,然后求期望,而期望就是个加权平均而已。这样的东西,从线性代数上讲,基本上全是半正定的。
为了看清楚,我们一步一步来,见下图(一定要点击放大哦):
下图中,所谓的数学期望的线性性质,就是指 E(X+Y) = E(X) + E(Y) 与 X、Y 是否独立无关。
BTW:其实不用写这么罗索,用向量写很简洁,但我怕不放心,所以展开了。用向量写的话,这么几下就完了: