행렬의 관점들

데이터의 표현 방법에서 보통 WXᵀ를 많이 애용한다고 했었는데, 가끔 보면 WᵀX 표현이 나올 때도 꽤 있습니다.

선형대수를 공부하다보면 행렬 곱을 다양한 관점으로 해석하여 기하학적으로 이해하는 부분이 많습니다.

그래서 본 포스팅에서는 행렬 곱을 바라보는 관점을 정리하고, 어떤 경우에 해당 관점으로 보는지 정리해보았습니다 :)

이해의 용이성을 위해 3*3 정사각행렬의 곱으로 이야기를 진행하겠습니다

$A B = C$

notation 규칙인 다음과 같이 하겠습니다

$\vec{r}$ 은 행 벡터를 의미하고, $\vec{c}$ 는 열 벡터를 의미합니다
각 벡터의 아랫 첨자는 두 개의 문자의 조합이며, 첫 번째 문자는 행렬을 의미하고 두 번째 문자는 인덱스를 의미합니다
${\vec{r}}_{A 2}$ 는 $A$ 행렬의 2번째 행 벡터를 의미합니다

1. 요소 관점 - 행 벡터와 열 벡터의 내적

가장 기본적인 방법은 $A$ 의 행 벡터와 $B$ 의 열 벡터를 내적한 스칼라 값이 행렬 $C$ 의 요소 값이 되는 것입니다

$C$ 의 i행, j열의 요소 값은 $A$ 의 i행, $B$ 의 j열을 내적한 스칼라 값입니다

내적의 개념을 사용하기 때문에 $C$ 의 특정 행이나 열의 값이 모두 0인 영 벡터인 경우 이러한 관점으로 해석하곤 합니다

$C$ 의 특정 열이 영 벡터인 경우

${\vec{c}}_{B 3}$ 가 $A$ 의 모든 행 벡터와 내적한 값이 0이므로, $B$ 의 3번째 열 벡터는 $A$ 의 모든 행 벡터와 orthogonal 합니다. 고유벡터 및 고유값의 공부할 때 Null Space에서 아래의 개념이 나옵니다

$C$ 의 특정 행이 영 벡터인 경우

${\vec{r}}_{A 2}$ 가 $B$ 의 모든 열 벡터와 내적한 값이 0이므로, $A$ 의 두 번째 행 벡터는 $B$ 의 모든 열 벡터와 orthogonal 합니다

2. 열 관점 - 열 벡터의 선형 결합

두 번째 관점은 $A$ 의 각 열 벡터를 $B$ 의 j번 째 열 벡터의 요소 값으로 선형 결합한 것이 $C$ 의 j번 째 열 벡터가 되는 것입니다

이러한 관점은 선형 회귀 식을 행렬 곱으로 표현할 때 많이 사용합니다

(샘플 수 * feature 수) 형태의 행렬 $A$ 와 각 feature에 대응하는 회귀 계수를 나타내는 열 벡터 $x$ 가 있고 각 샘플의 target 값을 나타내는 열 벡터 $b$ 가 있을 때 아래와 같이 표현할 수 있습니다. 우리가 구하고자 하는 것은 회귀 계수의 열 벡터인 $x$ 입니다

3. 행 관점 - 행 벡터의 선형 결합

세 번째 관점은 $B$ 의 각 행 벡터를 $A$ 의 i번 째 행 벡터의 요소 값으로 선형 결합한 것이 $C$ 의 i번 째 행 벡터가 되는 것입니다

이러한 관점은 가우스 소거법, LU 분해와 같이 행 간의 연산으로 행렬을 변환할 때 많이 사용합니다

Reference

#E5XP6X
행렬 곱의 여러 관점
https://everyday-tech.tistory.com/52

티스토리툴바