완숙의 블로그

가설 검증 이진 가설의 검증 H0, H1 두개의 가능한 결론을 가진다. P[H0], P[H1] = 1 - P[H0] 두 확률은 사전 확률이라고 한다. 결과 관측되기 전에 얻어진 사전 확률 모델 지식이다. 정확도 측정 P[A1|H0] : False Alarm 0이라 생각했는데, 1이 나온 경우 P[A0|H1] : Missing 1이라 생각했는데 0이 나온 경우 이 두가지의 정확도를 측정하는 파라미터는, 표본집합 S가 어떻게 A0와 A1으로 나뉘느냐에 따라 값이 다르게 측정된다. 예를 들어 A0가 95%, A1이 5%를 차지하도록 기준점을 잡았다면, P_miss 값은 크게 측정이 되나, P_FA 값은 작게 측정이 될 것이다. 즉, 당연히 0이 많이 나오는 집합이라면, 놓치는 확률도 높을 것이다. 이렇게 직관..

표본 평균 표본 평균의 기댓값과 분산 파라미터 추정에 사용되는 부등식 마르코프 부등식 체비셰프 부등식 모델 파라미터의 점 추정 치우침이 없다, (no bias) 모든 갑들의 평균, 즉 큰 범위에서 보았을 때, r과 같다면, 치우침이 없다고 한다. R hat은 추정 수열이다. 평균제곱오차 (MSE) 만약 R hat이 치우침이 없는 추정, 즉, R hat의 평균이 r일때, 평균제곱오차는 R hat의 분산이다. 일관된 추정기 추정 수열 여러개의 값들이 어떤 하나의 값들로 모두 찍힌다면, 그것을 우리는 일관되다 한다. 수식으로 나타내면, 만약, R hat이 치우침이 없는 추정이라고 한다면, 위에 적은 MSE가 0으로 수렴함을 보이는 것과 동치이다. 모델 파라미터의 신뢰구간 추정 위에서, 점추정에 대해서 설명했다..

중심극한 정리 지금까지 우리는 n개의 랜덤 변수가 더해진 랜덤 변수에 대해 적률생성함수 를 통해, 이 랜덤변수가 어떤 분포인지 알아보았다. 그런데, n개의 독립인 랜덤변수들의 합의 CDF는 n이 무한이 증가할 수록 가우시안 CDF로 수렴한다. 이것이 중심극한 정리이며, 이 계산을 통해 우리는 효율적으로 계산할 수 있다. 그렇다면 어떤 분포를 따르는지가 중요한데, 다음의 정규화된 랜덤 변수에 의해 전개한다. 이 랜덤변수의 평균은 0, 표준편차는 1이다. 드 무아부르 라플라스 공식

랜덤변수 합의 기댓값과 분산 기댓값 분산 독립인 경우 적률 생성 함수(Moment Generating Function) 신호를 주파수 대역에서 알아보기 위해 하는 라플라스 변환과 유사하게, 여러개의 랜덤 변수에 대해 어떠한 특징을 파악하기 위해서 우리는 적률 생성함수라는 새로운 함수를 정의하고, 이 좌표계에서 분포의 특징을 파악한다. 이때 사용하는 것이 적률 생성함수(Moment Generating Function) 이다. 특히, 독립 랜덤 변수의 합을 분석할때 유용하다. n차 적률 구하기 유도된 랜덤 변수에 대한 MGF 독립인 경우의 MGF iid 인 경우의 MGF 독립 랜덤 변수의 합 분석

랜덤 벡터 앞서서 여러개의 랜덤 변수를 다뤄보았는데, 이제는 일반화하여, n개의 랜덤 변수를 다룰때의 표기법을 알아본다. 표본값 표기법의 변화 기댓값 벡터 랜덤 벡터의 상관 랜덤 벡터의 요소 i,j 와의 상관은, 다음과 같다. 모든 요소에 대해 상관을 계산하고, 벡터 표기법으로 표현하면 다음과 같다. 벡터 공분산 상관과의 관계 벡터 교차 상관 (cross-correlation) 벡터 교차 공분산 선형 관계가 있는 두 랜덤 벡터의 교차상관행렬과 교차공분산행렬 랜덤벡터 Y가 X와 선형적 관계가 있다고 하자.

결합 조건부 확률 모델 이산 일 때, 연속일 때, 결합 조건부 기댓값 0이 아닌 확률을 갖는 사건 B에 대해, 랜덤 변수 W가 다음의 관계를 가진다고 하자. 이 때 유도된 랜덤변수 W의 사건 B에 대한 조건부 기댓값은, 랜덤변수에 의한 조건 붙이기 이번에는 사건에 대해 조건부 확률을 구하는 것이 아닌, 하나의 랜덤 변수에 대한 조건부 확률 함수를 구해보자. 확률 밀도 함수에 대해서만 서술하겠다. 독립일 경우

사건에 의한 조건 붙이기 사건 B가 X의 집합에 속하는 집합일 때, 사건 B가 발생한 조건에서 X의 조건부 확률 모델은 다음과 같다. 이산 확률 변수 연속 확률 변수 전체를 분할한 사건들에 대한 정리 확률 시행 결과 전체를 분할한 사건들을 B1, B2...Bn이라 하자. 이 각각에 사건에 대한 조건부 확률 모델이 주어진다면, X의 확률 모델을 다음과 같이 얻어진다. 조건부 기댓값 전체를 분할한 상태에서 기댓값 정리 유도된 랜덤 변수의 조건부 기댓값 조건부 분산

공분산 유도된 랜덤변수에 대한 공분산 상관계수 상관계수의 값에 따른 데이터의 분포 유도된 랜덤 변수에 대한 상관계수 상관 상관과 공분산의 관계(중요) 직교 랜덤 변수 (Orthogonal Random Variable) 독립일 경우 공분산과 상관의 값 (중요) 독립인 경우 공분산이 0이다. 공분산이 0인 경우, X, Y가 서로 상관이 없다(uncorrelated) 라 한다. Independent and Identically Distributed (IID) 다변수 랜덤 변수를 갖는 확률 함수가 각각의 랜덤 변수에 대해 독립이며, 또 동일한 분포를 가진다면 IID라 한다.