Eigen

고유값과 고유벡터

---

• 정의

  \[\begin{aligned} \begin{pmatrix} a_{11}&a_{12}&\cdots&a_{1n}\\ a_{21}&a_{22}&\cdots&a_{1n}\\ \vdots&\vdots&\ddots&\vdots\\ a_{n1}&a_{n2}&\cdots&a_{nn} \end{pmatrix} \begin{pmatrix} v_{1} \\ v_{2} \\ \vdots \\ v_{n} \end{pmatrix} = \lambda \begin{pmatrix} v_{1} \\ v_{2} \\ \vdots \\ v_{n} \end{pmatrix} \Leftrightarrow A_{n \times n} \overrightarrow{v} = \lambda \overrightarrow{v} \end{aligned}\]
  • 고유값(Eigen-Value; $\lambda$) : 정방행렬 $A$ 에 대하여 위 식을 만족하는 상수 $\lambda$
  • 고유벡터(Eigen-Vector; $\overrightarrow{v}$) : 정방행렬 $A$ 에 대하여 위 식을 만족하는 $\overrightarrow{0}$ 이 아닌 벡터 $\overrightarrow{v}$

• 기하학적 의미

  

  

  • 어떤 벡터 $\overrightarrow{v}$ 에 대하여 행렬 $A$ 로 선형변환했을 때, 그 방향은 변하지 않고 단지 크기만 변하는 경우
    • $\overrightarrow{v}$ : $A$ 의 고유벡터(Eigen-Vactor)
    • $\lambda$ : $A$ 의 고유값(Eigen-Value) 으로서 선형변환 전 크기 대비 선형변환 후 크기의 비율

  • Rotation Matrix 와 고유값

    \[A = \begin{pmatrix} \cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{pmatrix}\]
    • 행렬 $A$ 의 고유벡터는 $A$ 를 통해 선형변환했을 때, 그 방향은 변하지 않고 단지 크기만 변하는 벡터라고 정의함
    • 행렬 $A$ 가 Rotation Matrix 인 경우, 그 회전변환 각도 $\theta$ 가 $0^{\circ}, 180^{\circ}, 360^{\circ}$ 인 경우에만 고유벡터가 존재함
• 성질

  • 행렬 $A$ 의 고유값 $\lambda_{1},\lambda_{2},\cdots,\lambda_{n}$ 과 고유벡터 $\overrightarrow{v_{1}},\overrightarrow{v_{2}},\cdots,\overrightarrow{v_{n}}$ 에 대하여 다음이 성립함

    • $tr(A)=\displaystyle\sum_{i=1}^{n}\lambda_{i}$
    • $det(A)=\displaystyle\prod_{i=1}^{n}\lambda_{i}$
    • 행렬 $A$ 의 고유값 $\lambda_{i}=0$ 이면 $A$ 는 특이행렬임
    • 행렬 $A$ 의 고유값 $\lambda_{i} \ne \lambda_{j}\;(i \ne j)$ 이면 고유벡터들은 선형 독립임
    • 행렬 $A$ 의 고유값과 그 전치행렬 $A^{T}$ 의 고유값은 동일함
• 계산 방법

  • 고유방정식(Eigenvalue Equation) 혹은 특성방정식(Characteristic Equation)

    \[\begin{aligned} A \overrightarrow{v} &= \lambda \overrightarrow{v} \\ A \overrightarrow{v} - \lambda \overrightarrow{v} &= \overrightarrow{0} \\ \therefore (A-\lambda I)\overrightarrow{v} &= \overrightarrow{0} \end{aligned}\]
    • 행렬 $A$ 에 대하여 그 고유방정식 $(A-\lambda I)\overrightarrow{v} = \overrightarrow{0}$ 의 해 $\lambda$ 를 $A$ 의 고유값, $\overrightarrow{v}$ 를 $A$ 의 고유벡터라고 함

  • 해가 존재할 조건

    • 행렬 $A - \lambda I$ 에 대하여 그 역행렬이 존재하면 고유방정식의 해는 불능임

      \[\begin{aligned} \overrightarrow{v} &= (A - \lambda I)^{-1} \overrightarrow{0} \\ &= \overrightarrow{0} \end{aligned}\]

    • 행렬 $A$ 의 고유방정식 $(A - \lambda I)\overrightarrow{v} = \overrightarrow{0}$ 의 해가 존재하기 위해서는 행렬 $A - \lambda I$ 의 역행렬이 존재하지 않아야 함

      \[\left\lvert A - \lambda I \right\rvert = 0\]

행렬의 대각화

---

• 행렬의 대각화(Diagonalization)

  \[\begin{aligned} P^{-1}AP &= \Lambda \\ &= diag(a_{11},a_{22},\cdots,a_{nn}) \end{aligned}\]
  • 정방행렬 $A$ 에 대하여 $P^{-1}AP$ 가 대각행렬 $\Lambda$ 가 되도록 만드는 정방행렬 $P\;(\vert P \vert \ne 0)$ 가 존재하는 경우
  • 행렬 $A$ 를 대각화(Diagonalization) 할 수 있는 행렬이라고 함
  • 행렬 $P$ 가 행렬 $A$ 를 대각화시킨다고 표현함

• 대칭행렬의 대각화

  • 대칭행렬 $A\;(a_{ij}=a_{ji})$ 에 대하여 그 고유값이 $\lambda_1,\lambda_2,\cdots,\lambda_n$ 이고, 고유벡터가 $\overrightarrow{v_1},\overrightarrow{v_2},\cdots,\overrightarrow{v_n}$ 이라고 하자

  • 고유벡터 $\overrightarrow{v_{i^{\forall}}}, \overrightarrow{v_{j^{\forall}}}\;(i \ne j)$ 는 직교함

    \[\overrightarrow{v_i} \perp \overrightarrow{v_j}\]

  • 고유벡터들로 구성된 직교행렬 $P=\begin{bmatrix}\overrightarrow{v_1}&\overrightarrow{v_2}&\cdots&\overrightarrow{v_n}\end{bmatrix}$ 은 $A$ 를 그 고유값들로 구성된 대각행렬 $\Lambda$ 로 대각화시킴

    \[\begin{aligned} P^{-1}AP &= \Lambda \\ &= diag(\lambda_1,\lambda_2,\cdots,\lambda_n) \end{aligned}\]