[Stochastic Process] 9 - Delta Function & Mixed Random Variable

 

Mixed Random Variable

혼합형 랜덤 변수는 쉽게 말해,

이산 랜덤 변수와 연속 랜덤 변수의 특징을 둘다 갖고 있는 확률 분포를 말한다.

 

그런데 지금까지 배운 것을 다시 생각해보면,

이산 확률 변수와 연속 확률 변수의 본질은 다르다.

 

이산 확률 변수에 대한 확률 함수를 나타내 보면, 함수값 자체가 확률을 의미하고, (확률 질량 함수)

연속 확률 변수에 대한 확률 함수를 보면, 기본적으로, 적분값이 확률이다. (확률 밀도 함수)

 

그리고 애초에 우리는 이산 확률 변수에 대해 공부할 때,

CDF와 P(x)만 공부했다.

PDF는 다루지 않았다.

그렇다면 이제 P(x)를 가지고 연속 확률 변수와 같이 통합을 해줘야 할 필요성이 생겼는데,

어떻게 하면 될까?

 

 

 

Delta Function

 

$$d_{\epsilon}\;=\;\begin{cases} 1/\epsilon & \mbox -\epsilon/2 \le x < \epsilon/2 \\ 0 & \mbox otherwise \end{cases}$$

 

 

 

이 때, 단위 충격 함수, delta function 의 정의는 다음과 같다.

 

$$\delta(x)\;=\;\lim_{\epsilon \rightarrow 0}d_\epsilon(x)$$

 

 

엄밀하게 본다면, 이 함수는 0에서 함수값을 갖지 않는다는 문제가 있다.

 

따라서 우리는 아주 작은 epsilon에서의 델타 함수를 가지고 사용하도록 하겠다.

 

위의 함수로 부터 델타 함수 안의 면적은 항상 1임을 알 수 있다.

 

$$\int_{-\infin}^{\infin}d_\epsilon(x)dx\;=\;\int_{-\epsilon}^\epsilon{1\over \epsilon}dx\;=\;1$$

 

따라서 델타 함수의 면전 역시 1이 될 것임을 알 수 있다.

 

$$\int_{-\infin}^{\infin}\delta(x)dx\;=\;\int_{-\infin}^{\infin} \lim_{\epsilon \rightarrow 0} d_\epsilon(x)dx\;=\;1$$

 

 

Sifting Attribute of Delta Function

델타 함수는 sifting 속성을 가진다.

 

모든 연속 델타 함수는 다음을 만족한다.

 

$$\int_{-\infin}^{\infin}g(x)\delta(x-x_0)dx\;=\int_{-\infin}^{\infin} g(x)\lim_{\epsilon \rightarrow 0}d_\epsilon(x)dx\;=\;\lim_{\epsilon \rightarrow 0}{1 \over \epsilon}\int_{x_0-\epsilon/2}^{x_0+\epsilon/2}g(x)dx\;=\;g(x_0)$$

 

맨 마지막 항은 평균항이므로 epsilon이 작아질 수록 g(x_0) 에 가까워 진다.

 

 

 

Unit Step Function

단위 계단 함수는, 델타함수와 밀접한 관련이 있다.

 

직관적으로 먼저 이해해 보면,

델타 함수는, 결국 특정 시점에서의 변화량을 측정한 함수이다.

 

그럼 시간이 지나면서 일어났는지 일어나지 않았는지 알려주는 함수는 무엇일까,

그게 step function 이다.

 

 

$$u(x)\;=\;\begin{cases} 0 & \mbox{}x <0\\ 1 & x \ge 0 \end{cases}$$

 

 

Relation between Delta function

 

$$\int_{-\infin}^x\delta(v)dv\;=\;u(x)$$

 

 

0에서의 정의가 여전히 미흡하지만,

직관적으로 이해하고 간다면 다음의 관계가 성립한다.

 

$$\delta(x)\;=\;{du(x) \over dx}$$

 

 

 

PDF of Binary Random Variable using Delta & Step Function

 

1. 우리는 CDF를 미분하면 PDF가 나온다는 사실을 안다.
2. 그리고 이산 확률 변수의 CDF가 계단 함수로 만들어 진다는 사실을 안다.

 

$$F_X(x)\;=\;\sum_{x_i\in S_X}P_X(x_i)u(x-x_i)\\$$

 

이산 확률 변수의 CDF는 다음과 같이 나타낼 수 있다.

이 식을 미분하면 이산 확률 변수에서의 PDF를 만들어낼 수 있다.

 

$$f_X(x)\;=\;\sum_{x_i \in S_X}P_X(x_i)\delta(x-x_i)$$

 

 

이 식을 그래프에 나타내 보면, 표본 공간 S_x에 있는 원소에서 값이 뛴다.

해당 포인트에서 함숫값은 무한대이고,

단위 충격에 대한 넓이값은 확률을 나타낸다.

이 표시를 수직 화살표를 그려서 표현한다.

그 위에 x1근처에서의 확률값을 각각 표시한다.

 

 

 

이 PDF를 가지고 기존의 이산확률 분포에서의 기댓값을 구해보면,

 

$$E[X]\;=\;\int_{-\infin}^{\infin}x\sum_{x_i \in S_X}P_X(x_i)\delta(x-x_i)dx$$

 

$$\sum_{x_i \in S_X}\int_{-\infin}^{\infin}xP_X(x_i)\delta(x-x_i)dx\;=\;\sum_{x_i \in S_X}x_iP_X(x_i)$$

 

 

델타 함수의 체질 속성을 사용할 경우,

기존에 배웠던 식과 동일하게 나오는 것을 알 수 있다.

 

 

 

 

CDF 분석하기

1. 이산 확률 변수인 경우 CDF는 불연속이다.
2. 연속 확률 변수인 경우 CDF는 연속이다.
3. 혼합형인 경우 CDF는 연속일수도 있고 불연속일 수도 있다.
4. 불연속인 지점에서 CDF가 도약한다면 , 그 지점에서 impulse가 있다고 생각할 수 있다.

 

CDF가 도약하는 것을 볼 때,

이것을 수학적으로 표현해 보자.

 

$$P[X=x_0]\;=\;q\\ \;\\ P_X(x_0)\;=\;q\\ \;\\ F_X(x_0^+)-F_X(x_0^{-})\;=\;q \\ \;\\ f_X(x_0)\;=\;q\delta(0)$$