[Stochastic Process] 12 - Covarience, Correlation, Correlation conefficeint (공분산, 상관, 상관계수)

공분산

 

 

 

 

 

$$Cov[X, Y]\;=\;2E[(X-\mu_X)(Y-\mu_Y)]$$

 

 

 

 

 

 

 

 

유도된 랜덤변수에 대한 공분산

 

 

 

 

 

 

$$\hat{X}\;=\;aX\;+\;b \;\\ \;\\ \hat{Y}\;=\;cY\;+\;d \;\\ \;\\$$

 

 

 

 

 

$$Cov[\hat{X}, \hat{Y}]\;=\;acCov[X,Y]$$

 

 

 

 

 

상관계수

 

 

 

 

 

$$\rho_{X,Y}\;=\;{Cov[X, Y] \over \sigma_X \sigma_Y}$$

 

 

 

 

 

 

$$1\;\le\;\rho_{X,Y}\;\le\;1$$

 

 

 

 

 

상관계수의 값에 따른 데이터의 분포

 

 

 

 

 

 

 

 

 

유도된 랜덤 변수에 대한 상관계수

 

 

 

 

 

$$\hat{X}\;=\;aX\;+\;b \;\\ \;\\ \hat{Y}\;=\;cY\;+\;d \;\\ \;\\$$

 

 

 

 

 

$$\rho_{\hat{X},\hat{Y}}\;=\;\rho_{X,Y}$$

 

 

 

 

 

 

상관

 

 

 

 

 

$$r_{X,Y}\;=\;E[XY]$$

 

 

 

 

 

 

 

상관과 공분산의 관계(중요)

 

 

 

 

 

 

$$Cov[X, Y]\;=\;r_{X,Y}\;-\;\mu_X \mu_Y$$

 

 

 

 

 

 

 

직교 랜덤 변수 (Orthogonal Random Variable)

 

 

 

 

 

$$r_{X, Y}\;=\;0 \;\\ \;\\ \;\\ \;\\$$

 

 

 

 

 

독립일 경우 공분산과 상관의 값 (중요)

 

 

 

 

 

 

$$r_{X,Y}\;=\;E[XY]\;=\;E[X]E[Y]$$

 

 

 

 

 

 

$$Cov[X, Y]\;=\;r_{X,Y}\;-\;\mu_X \mu_Y\;=\;0$$

 

 

 

독립인 경우 공분산이 0이다.

 

공분산이 0인 경우, X, Y가 서로 상관이 없다(uncorrelated) 라 한다.

 

 

 

 

 

Independent and Identically Distributed (IID)

 

다변수 랜덤 변수를 갖는 확률 함수가

 

각각의 랜덤 변수에 대해 독립이며, 또 동일한 분포를 가진다면 IID라 한다.

 

 

 

 

 

 

$$f_{X_1, X_2,\;\cdots ,X_n}(x_1, x_2, \cdots ,x_n)\;=\;f_X(x_1)f_X(x_2)\cdots f_X(x_n)$$