확률변수의 평균과 분산(Mean and Variance of Random Variable)

Moment

확률변수에서 모멘트란 확률분포에 의해 대표값이 정해지도록 일반화시킨 통계량의 표현이다.

모멘트에는 크게 n차 모멘트($n^{th}$ order moment), n차 중심 모멘트($n^{th}$ order central moment)가 있다.

n차 모멘트

$$ E[X^n] = \sum_{k=1}^n x_k^n P(x_k) $$

이산 확률 변수일 경우, n차 모멘트는 확률 변수$X$가 취할 수 있는 모든 n제곱에 확률 질량 함수 값을 가중치로 곱하고 더한 값으로 정의된다. (쉽게 말하면 가중 합)

n차 모멘트는 $X^n$에 대한 기대값(평균)으로 생각할 수 있다.

$$ E[X^n] = \int_{-\infty}^{\infty} x^n f_X(x) dx $$

연속 확률 변수일 경우, 확률 변수$X$가 취할 수 있는 모든 n제곱에 확률 밀도 함수의 값을 가중치로 곱하고 모든 구간에 대하여 적분으로 정의된다.

마찬가지로, n차 모멘트는 $X^n$에 대한 기대값(평균)으로 생각할 수 있다.

n차 중심 모멘트

n차 중심 모멘트는 평균값을 중심으로 하는 n차 모멘트이다.

여기서 n = 2가 되면 우리가 잘 아는 분산이 된다.

$$ \sum_{k=1}^n (x_k - E[X])^n P(x_k) $$

이산 확률 변수일 경우, $(x_k - E[X])^n$의 가중 합으로 표현된다.

$$ \int_{-\infty}^{\infty} (x - E[X])^n f_X(x) dx $$

연속 확률 변수일 경우, $(x_k - E[X])^n$의 모든 구간에 대한 적분으로 표현된다.

평균과 분산

평균

$$ E[X] = \sum_{k=1} x_k P(x_k)\\ \\[1em] E[X] = \int_{-\infty}^{\infty} x f_X(x) dx $$

평균(기댓값)이란 한번 시행시 예상되는 확률변수의 기회 값이다.

확률 값으로 가중된 중간 정도의 값으로도 해석할 수 있다.

평균은 확률이 큰 값으로 치우친다.

분산

$$ \sum_{k=1}^n (x_k - E[X])^2 P(x_k)\\ \\[1em] \int_{-\infty}^{\infty} (x - E[X])^2 f_X(x) dx $$

분산이란 확률 변수가 주로 발생하는 범위의 정도를 의미한다.(산포도)

보통 평균값을 중심으로 발생한다.

표본 공간의 범위와는 다르다는 것에 주의해야한다.

아래는 분산을 기댓값으로 계산할 수 있도록 변형한 식이다.

$$ \begin{align*} & \sum_{k=1}^n (x_k-E[X])^2P(x_k)\\ & = \sum_{k=1}^n (x_k^2 - 2x_kE[X] + E[X]^2)P(x_k)\\ & = \sum_{k=1}^n x_k^2P(x_k) - 2E[X]\sum_{k=1}^n x_kP(x_k) + E[X]^2\sum_{k=1}^n P(x_k)\\ & = E[X^2] - 2E[X]E[X] + E[X]^2\\ & = E[X^2] - E[X]^2 \end{align*} $$

추정 및 예측에서 평균의 의미

$$ \text{Mean Squared Error} = \sum_{k=1}^n (x_k - \hat{x})^2 P(x_k) \\ \text{Minimum Mean Squared Error} = \sum_{k=1}^n (x_k - E[X])^2 P(x_k) $$

어떤 확률 변수를 예측할 때 예측값과 실제 값의 차이를 오차 혹은 에러라고 한다.

그중에는 평균 제곱 오차가 있는데 이때 평균 제곱 오차의 값을 최소로 하는 추정 값이 바로 평균이고, 최소 평균 제곱 오차의 값은 분산이 된다.

$$ \text{Mean Absolute Error} = \sum_{k=1}^n |x_k - \hat{x}| P(x_k) \\\text{Minimum Mean Absolute Error} = \sum_{k=1}^n |x_k - \text{median}(X)| P(x_k) $$

평균 절대 오차에 경우에는 예측값이 median(중앙값)일 때 최솟값을 가진다.

참고 자료

https://firemaster.tistory.com/11

https://www.youtube.com/watch?v=AmQYcjLivIU&list=PL4KjArv2DnjAaEjXXUJnVNeuli32JPQ-A&index=12&ab_channel=이상화의선형대수와확률이론$