Logistic Regression Analysis

Prerequisite

---

• 승산(Odds) : 변수 $Y$ 가 반응할 가능성이, 반응하지 않을 가능성보다 몇 배 높은가

  $$\begin{array}{rl}\text{odds}(Y)& =\frac{P(Y=1)}{1-P(Y=1)}\end{array}$$

• 로짓(Logit; Logarithm Odds) : 승산에 로그를 취한 값

  $$\begin{array}{rl}\text{logit}(Y)& =\ln \text{odds}(Y)\\ & =\ln \frac{P(Y=1)}{1-P(Y=1)}\end{array}$$

• 승산비(Odds Ratio; OR) : 변수 $X$ 가 참일 때 $Y$ 가 반응할 가능성이, $X$ 가 거짓일 때 $Y$ 가 반응할 가능성보다 몇 배 높은가

  $$\begin{array}{rl}\text{OR}(Y\mid X)& =\frac{\text{odds}(Y\mid X=1)}{\text{odds}(Y\mid X=0)}\\ & =\left[\frac{P(Y=1\mid X=1)}{1-P(Y=1\mid X=1)}\right]/\left[\frac{P(Y=1\mid X=0)}{1-P(Y=1\mid X=0)}\right]\end{array}$$
  • $\text{OR}(Y\mid X)\approx 1$ : $X$ 의 단위 변동이 $Y$ 의 승산에 영향을 미치지 않음
  • $\text{OR}(Y\mid X)<1$ : $X$ 의 단위 변동이 $Y$ 의 승산과 음의 상관관계에 있음
  • $\text{OR}(Y\mid X)>1$ : $X$ 의 단위 변동이 $Y$ 의 승산과 양의 상관관게에 있음

Logistic Regression

---

• 로지스틱 회귀 모형(Logistic Regression) : 범주형 반응변수에 대한 회귀 모형

  

  $$P(y^{(i)}=1)=\frac{1}{1+\exp [-({\beta }_0+{\beta }_1\cdot x^{(i)})]}$$

Logistic Function

• 범주형 반응변수와 회귀식 간 범위 불일치 문제

  • 범주형 반응변수 $Y$ 의 공역

    $$y^{(i)}=\{\begin{array}{l}\begin{array}{rl}1& \text{true}\\ 0& \text{false}\end{array}\end{array}$$

  • 회귀식의 범위

    $$\begin{array}{r}f(x^{(i)})={\beta }_0+{\beta }_1\cdot x^{(i)}\in (-\mathrm{\infty },\mathrm{\infty })\end{array}$$

  • 반응변수 공역과 회귀식 범위 간 불일치

    $$\begin{array}{r}{y}^{(i)}\ne {\beta }_0+{\beta }_1\cdot x^{(i)}\end{array}$$

• 반응변수 재정의를 통한 공역 조정

  • 확률 변환

    $$Y\in \{0,1\}\to P(Y=1)\in [0,1]$$

  • 승산(odds) 변환

    $$Y\in \{0,1\}\to \text{odds}(Y)\in [0,\mathrm{\infty })$$

  • 로짓(logit) 변환

    $$Y\in \{0,1\}\to \text{logit}(Y)\in (-\mathrm{\infty },\mathrm{\infty })$$

• 로지스틱 회귀식 도출

  • 로짓 변환한 반응변수와 회귀식 연결

    $$\begin{array}{rl}\text{logit}(y^{(i)})& ={\beta }_0+{\beta }_1\cdot x^{(i)}\end{array}$$

  • 반응변수가 참일 확률에 대한 로지스틱 회귀식 도출

    $$\begin{array}{rl}P(y^{(i)}=1)& =\frac{1}{1+\exp [-({\beta }_0+{\beta }_1\cdot x^{(i)})]}\end{array}$$

${\beta }_1$ related to Log Odds Ratio

• Logistic Function

  $$\ln \frac{P(Y=1)}{1-P(Y=1)}={\beta }_0+{\beta }_1\cdot X$$

• $\text{if}X=1$

  $$\begin{array}{rl}\ln \frac{P(Y=1\mid X=1)}{1-P(Y=1\mid X=1)}& ={\beta }_0+{\beta }_1\times 1\\ & ={\beta }_0+{\beta }_1\end{array}$$

• $\text{if}X=0$

  $$\begin{array}{rl}\ln \frac{P(Y=1\mid X=0)}{1-P(Y=1\mid X=0)}& ={\beta }_0+{\beta }_1\times 0\\ & ={\beta }_0\end{array}$$

• ${\beta }_1$

  $$\begin{array}{rl}{\beta }_1& =({\beta }_0+{\beta }_1)-{\beta }_0\\ & =\ln \frac{P(Y=1\mid X=1)}{1-P(Y=1\mid X=1)}-\ln \frac{P(Y=1\mid X=0)}{1-P(Y=1\mid X=0)}\\ & =\ln \text{odds}(Y\mid X=1)-\ln \text{odds}(Y\mid X=0)\\ & =\ln \frac{\text{odds}(Y\mid X=1)}{\text{odds}(Y\mid X=0)}\\ & =\ln \text{OR}(Y\mid X)\end{array}$$

Maximum Liklihood Estimator

• Liklihood Function

  $$\begin{array}{rl}\mathcal{L}(\theta )& =\prod _{i:y=1}P(x_i\mid \theta )\cdot \prod _{j:y=0}1-P(x_j\mid \theta )\end{array}$$
  • $\prod _{i:y=1}P(x_i\mid \theta )$ : $\theta$ 조건부 $Y=1$ 인 관측치들이 발생할 확률
  • $\prod _{j:y=0}1-P(x_j\mid \theta )$ : $\theta$ 조건부 $Y=0$ 인 관측치들이 발생할 확률

• Maximum Liklihood Estimator

  $$\begin{array}{rl}\hat{\theta }& =\text{arg}\underset{\theta }{max}\mathcal{L}(\theta )\\ & =\text{arg}\underset{\theta }{max}\prod _{i:y=1}P(x_i\mid \theta )\cdot \prod _{j:y=0}1-P(x_j\mid \theta )\\ & =\text{arg}\underset{\theta }{max}\sum _{i:y=1}P(x_i\mid \theta )+\sum _{j:y=0}P(x_j\mid \theta )\end{array}$$