Probability Distribution

measure space

---

• 가측 공간(Measureable Space): 어떠한 크기를 측정할 수 있는 집합이 정의된 공간

  \[(\Omega,\mathcal{F})\]
  • $\Omega$: 기저 집합
  • $\mathcal{F}$: 기저 집합의 시그마 대수로서 어떠한 크기를 측정할 수 있는 부분집합들의 모임
    • $A\subseteq\Omega\in\mathcal{F}$
    • $A\in\mathcal{F}\Rightarrow A^{C}\in\mathcal{F}$
    • $A_{1},A_{2},\cdots\in\mathcal{F}\Rightarrow\bigcup_{i}{A_{i}}\in\mathcal{F}$

• 보렐 공간(Borel Space): 가측 공간의 특수한 경우로서 기저 집합을 실수 공간으로 가지는 공간

  \[(\mathbb{R},\mathcal{B})\quad\mathrm{for}\quad\mathcal{B}(\mathbb{R}):=\sigma\left(\left\{(-\infty,x]\mid x\in\mathbb{R}\right\}\right)\]

• 측도 공간(Measure Space): 가측 공간 $(\Omega,\mathcal{F})$ 에 대하여 측도 함수 $\mu$ 가 정의된 공간

  \[(\Omega,\mathcal{F},\mu)\]

probability distribution

---

• 확률 공간(Probability Space): 표본 공간 위에 정의된 가측 공간에 대하여 확률의 크기를 부여하는 측도 함수 $P$ 가 정의된 공간

  \[\begin{aligned} (\Omega,\mathcal{F},P) \end{aligned}\]

  • $\Omega$: 표본 공간(Sample Space)으로서 무작위 실험으로 발생 가능한 결과들의 집합 (ex. 동전을 두 번 던지는 실험 결과)

    \[\Omega=\{HH,TT,HT,TH\}\]

  • $\mathcal{F}$: 사건(Event)으로서 표본 공간의 시그마 대수 (ex. 앞면이 한 번 이상 나오는 사건)

    \[\{HH,HT,TH\}\subset\sigma(\Omega)\]

  • $P$: 확률 측도(Probability Measure)로서 사건에 확률을 부여하는 측도

    \[P:\mathcal{F}\to[0,1]\quad\mathrm{s.t.}\quad P(\Omega)=1\]

• 확률 변수(Random Variable): 표본 공간 위에 정의된 가측 공간을 보렐 공간으로 사상하는 함수

  \[X:(\Omega,\mathcal{F})\to(\mathbb{R},\mathcal{B})\]

• 확률 분포(Probability Distribution): 확률 공간 $(\Omega,\mathcal{F},P)$ 위에 정의된 확률 변수 $X$ 가 유도하는 푸시포워드 측도(push-forward measure)

  \[\begin{gathered} P_{X}=P\circ X^{-1}:\mathcal{B}\to[0,1] \end{gathered}\]

• 푸시포워드 확률 공간(Push-forward Probability Space): 확률 변수 $X$ 에 의하여 유도된 새로운 확률 공간

  \[(\Omega,\mathcal{F},P)\xrightarrow{X}(\mathbb{R},\mathcal{B},P_{X})\]

functions

---

• Integral representation of probability distribution:

  \[P_{X}(B)=\int_{x\in B}{f(x)\mathrm{d}\mu(x)}\]
• 기준 측도(Reference Measure): 보렐 공간 $(\mathbb{R},\mathcal{B})$ 의 원소들에 대하여 그 기본 단위를 제공하는 측도

  • 연속 확률 분포(Continuous Distribtution): 르베그 측도(Lebesgue Measure)

    \[\begin{gathered} \mu(x):=x,\quad\mathrm{d}\mu(x)=\mathrm{d}x\\ \Downarrow\\ P_{X}(B)=\int_{x\in B}{f(x)\mathrm{d}x} \end{gathered}\]

  • 이산 확률 분포(Discrete Distribution): 카운팅 측도(Counting Measure)

    \[\begin{gathered} \mu(x):=\#x,\quad\mathrm{d}\mu(x)=1\\ \Downarrow\\ P_{X}(B)=\sum_{x\in B}{f(x)} \end{gathered}\]

• 누적 분포 함수(Cumulative Distribution Function): 확률 변수 $X$ 가 특정 값 $t$ 이하일 확률을 나타내는 함수

  \[F(t):=P_{X}(X\le t)=\int_{x\le t}{f(x)\mathrm{d}\mu(x)}\]

• 확률 분포 함수(Probability Distribution Function): 확률 변수가 특정 값을 가질 확률을 나타내는 함수로서, 기저 단위당 확률의 크기를 부여하는 함수

  \[f(x):=\frac{\mathrm{d}F}{\mathrm{d}\mu}(x)\]

moment

---

• 적률(moment): 확률 분포의 모양을 수치로 요약하는 값

  • 비중심 적률:

    \[\mathbb{E}\left[X^{k}\right] :=\int{x^{k}\mathrm{d}P_{X}(x)} =\int{x^{k}f(x)\mathrm{d}\mu(x)}\]

  • 중심 적률:

    \[\mathbb{E}\left[\left(X-\mathbb{E}[X]\right)^{k}\right] :=\int{(x-\mu)^{k}\mathrm{d}P_{X}(x)} =\int{(x-\mu)^{k}f(x)\mathrm{d}\mu(x)}\]

• 기대값(Expected Value): 1차 비중심 적률로서 분포의 위치를 나타냄

  \[\mathbb{E}\left[X\right] =\int{xf(x)\mathrm{d}\mu(x)}\]
  • $\mathbb{E}[\alpha]=\alpha$
  • $\mathbb{E}[\alpha X]=\alpha\mathbb{E}[X]$
  • $\mathbb{E}[\alpha X \pm \beta Y]=\alpha\mathbb{E}[X]\pm\beta\mathbb{E}[Y]$
  • $\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]\quad(\mathrm{s.t.}\;X\perp Y)$

• 분산(Variance): 2차 중심 적률로서 분포의 폭을 나타냄

  \[\mathrm{Var}\left[X\right] =\mathbb{E}\left[\left(X-\mu\right)^{2}\right] =\int{(x-\mu)^{2}f(x)\mathrm{d}\mu(x)}\]
  • $\mathrm{Var}[\alpha]=0$
  • $\mathrm{Var}[\alpha X]=\alpha^{2}\mathrm{Var}[X]$
  • $\mathrm{Var}[\alpha+X]=\mathrm{Var}[X]$
  • $\mathrm{Var}[\alpha X\pm\beta Y]=\alpha^{2}\mathrm{Var}[X]+\beta^{2}\mathrm{Var}[Y]\pm2\alpha\beta\mathrm{Cov}[X,Y]$

• 왜도(Skewness): 표준화된 3차 중심 적률로서 분포의 좌우 비대칭성을 나타냄

  \[\mathrm{Skew}\left[X\right] =\frac{1}{\sigma^{3}}\cdot\mathbb{E}\left[\left(X-\mu\right)^{3}\right] =\frac{1}{\sigma^{3}}\int{\left(x-\mu\right)^{3}f(x)\mathrm{d}\mu(x)}\]

• 첨도(Kurtosis): 표준화된 4차 중심 적률로서 분포 중심의 뾰족한 정도나 꼬리의 두터운 정도 등을 나타냄

  \[\mathrm{Kurt}\left[X\right] =\frac{1}{\sigma^{4}}\cdot\mathbb{E}\left[\left(X-\mu\right)^{4}\right] =\frac{1}{\sigma^{4}}\int{\left(x-\mu\right)^{4}f(x)\mathrm{d}\mu(x)}\]

MGF

---

• 적률 생성 함수(Moment Generating Function): 확률 측도 \(P_{X}\) 의 라플라스 변환으로서, \(P_{X}\) 의 표현 공간을 확률 도메인(probability domain) \((\mathbb{R},\mathcal{B})\) 에서 라플라스 도메인(laplace domain) \(\{t\in\mathbb{R}\mid\mathbb{E}[\exp{tX}]<\infty\}\) 으로 사상하는 함수

  \[\begin{aligned} M_{X}(t) =\mathbb{E}\left[\exp{tX}\right] =\int{\exp{tx}\cdot f(x)\mathrm{d}\mu(x)} \end{aligned}\]

• Taylor Series of the moment generating function:

  \[\begin{aligned} \exp{tX} &\approx\sum_{k=0}^{\infty}{\frac{(tX)^{k}}{k!}}\\ \\ \therefore M_{X}(t) &=\mathbb{E}\left[\exp{tX}\right]\\ &\approx\mathbb{E}\left[\sum_{k=0}^{\infty}{\frac{(tX)^{k}}{k!}}\right]\\ &=\sum_{k=0}^{\infty}{\frac{t^{k}}{k!}\mathbb{E}\left[X^{k}\right]} \end{aligned}\]

• $k$-th order derivatives:

  \[\begin{aligned} \frac{\mathrm{d}^{k}}{\mathrm{d}t^{k}}M_{X}(t) &=\sum_{n=k}^{\infty}{\frac{t^{n-k}}{(n-k)!}\mathbb{E}\left[X^{n}\right]} \end{aligned}\]

• the $k$-th derivative evaluated at $t=0$ is $k$-th moment:

  \[\begin{aligned} \frac{\mathrm{d}^{k}}{\mathrm{d}t^{k}}M_{X}(t)\vert_{t=0} &=\sum_{n=k}^{\infty}{\frac{0^{n-k}}{(n-k)!}\mathbb{E}\left[X^{n}\right]}\\ &=\frac{0^{k-k}}{(k-k)!}\mathbb{E}\left[X^{k}\right]+\underbrace{\frac{0^{k+1-k}}{(k+1-k)!}\mathbb{E}\left[X^{k+1}\right]+\frac{0^{k+2-k}}{(k+2-k)!}\mathbb{E}\left[X^{k+2}\right]+\cdots}_{=0}\\ &=\mathbb{E}\left[X^{k}\right] \end{aligned}\]