回归分析的变量是随机变量吗

系统运行过程中,随机变量有多个,如激励存在多种因素的影响、系统参数的变化等。这些随机变量之间可能是独立的,也有可能是相互有牵连的,牵连程度的强弱有所不同,需要进行相关性分析。相关性分析的目的是为了更好地了解系统以及系统随机变量的关联性,更正确地把握问题的关键。

相关性分析通常采用的是回归分析的统计方法。

1.单变量线性回归

假设要估计在自变量x与一个因变量y之间的相关性。设在y与x之间真实相关是线性关系,这里观察值y是随机变量,而x是数学变量。那么在给定x的值之下,y的期望值假设是:E=β₀+β₁x,式中β₀为一未知常数,是x取零时,y的值;β₁为斜率,即x变化一个单位所引起的y的变化,也是一个待定的未知常数。假设y的每一个观察值可用下式表示y=β₀+β₁x+e,式中e是均值为0,方差为c²的随机误差。假设存在n对观察值(x_i,y_i),i=1,2,…,n,通常采用最小二乘法来估计上式中的y_i。设:y_i=β₀+β₁x_i+ε_i(i=1,2,…,n),则ε_i=y_i-β₀-β₁x_i,这里假设ε是不相关的随机变量。随机变量偏差ε的平方和为(最小二乘法函数形式):L==。为了使L(偏差)极小,可求出和,并置它们为0,从而可以得到β₀,β₁的线性代数方程,即有:

　　转化为:nβ₀=y_i-β₁x_i,β₁=x_iy_i-β₀x_i

于是:β₀=-β₁,β₁=

最后得到:=x_i,=y_i

2.单变量线性回归的显著性检验

首先考虑β₁的均方误差:

在x_i处观测值y_i与回归值y_i之间的误差为均方误差,值为

　　MS_E==

　　也称为回归的剩余方差,它是误差方差的无偏估计量。

构造检验统计量t₀=服从自由度为n-2的t分布。

设定一个显著性水平α,当kengdiegt;t_α/2,n-2时,x、y是显著相关。

S_xx是x的自相关函数。

　　S_xx=E=-

3.多变量线性回归

　　X、Y变量可以是多种形式的变量,如X、Y为非线性变量。

假设y={y₁,y₂,…,y_m}^T由m个变量构成的向量,每一个向量观察值可用下式表示

　　y=b₀+b₁x+e

式中,e={e₁,e₂,…,e_m}^T是均值为0;

x={x₁,x₂,…,x_n}^T为n个影响观察值的控制变量;

b₀={b₁,b₂,…,b_m}^T为待求的相关系数(常数项);

b₁=[b_ij]为m'n阶的系数矩阵。

为了计算的方便将上述表达形式改写为:

　　y=xB+e

式中,e={e₁,e₂,…,e_m}^T;

x={1,,,…,}为n个影响观察值的控制变量;

B=[b₀,b₁]为n'(m+1)阶待求的系数矩阵。

用最小二乘法来估计上式中的y。设y_i=Bx_i+e_i,i=1,2,…,n,则e_i=y_i-Bx_i。假设e是不相关的随机变量,随机变量偏差e的平方和为(最小二乘法函数形式):

　　L=ε^Tε==

=y^Ty-y^TxB-B^Tx^Ty+B^Tx^TxB

=y^Ty-y^TxB-+xB

　　为了使L(偏差)极小,可求出,并置其为0,可得关于B的线性方程(组),

由解得B矩阵的各个分量。