[인공지능을 위한 수학] 챕터3 정리

챕터3은 딥러닝하면 빠질 수 없는 선대와 관련된 내용이다.

 

 

내적

내적(점곱)의 정의는 벡터에서 서로 대응하는 성분끼리 곱한 다음이를 모두 더한 값이다. 표기는 $<a,b>$또는 $\vec{a}\cdot\vec{b}$를 사용한다. 추가적으로 내적은 두 벡터의 성분 개수가 같을때만 가능하다.

 

$$ <a,b> = a_{1}b_{1} + a_{2}b_{2} + a_{3}b_{3} + ... + a_{n}b_{n}  = \sum_{i=1}^{n}a_{i}b_{i} $$

 

위의 식을 응용하여 두벡터 a와b가 이루는 각$\theta$를 아래의 식으로 구할 수 있다

 

$$ <a,b> = \left \|a\right \| \left \|b\right \|cos\theta$$

$$ cos\theta = \frac{ <a,b>}{ \left \|a\right \| \left \|b\right \| }$$

 

위에서 구한 $\theta$는 벡터 a와b의 코사인 유사도라 칭하며 $cos(a,b)$로 표기한다. 코사인 유사도는 -1 ~ 1사이이며 -1일때는 두 벡터의 방향이 반대 0일때는 직교 1일때는 동일하다. 코사인 유사도는 데이터 특히 단어간의 유사도를 구하는데 쓰이며 비용함수로도 쓰이는데 사용시 거리함수가 아니라는 점을 주의해야한다.

 

직교

직교한 두 벡터 a와b의 각이 90도임을 의미하며 $cos90^{\circ}=0$이므로 내적시 0이 된다는 것을 알 수 있다.

 

행렬곱

행렬곱은 m개의 행벡터와 l개의 열벡터의 곱이라 볼 수 있다. 이는 m개의 n차원 행벡터와 l개의 n차워 열벡터의 내적과 동일하므로 결과적으로 m * l행렬의 모양이 된다.

 

역행렬

역행렬은 행렬곱의 결과가 단위행렬이 되게 하는 행렬이며 $A$의 역행렬은 $A^{-1}$로 표기한다.

$$ A A^{-1} = A^{-1}A = E$$

역행렬이 존재하기 위해서는 행렬식이0이 아니여야 한다는 조건이 있다. 행렬식은 $detA$로 표기한다.$ A = {\bigl(\begin{smallmatrix}a
 &b \\c
 & d
\end{smallmatrix}\bigr)}$에 대하여

 

  $$ \left | A \right | = detA = ad - bc$$

 

2*2행렬$ {\bigl(\begin{smallmatrix}a
 &b \\c
 & d
\end{smallmatrix}\bigr)}$에 대하여 역행렬을 구하는 식은 아래와 같다.

$$A^{-1} = \frac{1}{ad-bc}\bigl(\begin{smallmatrix}d
 &-b \\-c 
 & a
\end{smallmatrix}\bigr)$$

**크기가 3 이상인 행렬은 손계산 보다는 보통 컴퓨터로 계산하는게 편하다고 한다

 

 

선형변환

위의 내용은 기본이고 딥러닝을 배운다면 선형변환에 대한 개념만 제대로 잡아도 충분하다고 생각한다.

 

선형변환(Linear transformation)의 정의는 벡터에 행렬을 곱해 다른 벡터로 만드는 것이다. 다르게 표현하면 벡터의 특성을 유지한채 하나의 공간에서 다른 공간으로 변환하는것이다. 이 블로그에 예제를 살펴보면 더 쉽게 이해할 수 있다.

 

표준기저가 $e_{x}=\begin{pmatrix}
1\\0 

\end{pmatrix}$, $e_{y}=\begin{pmatrix}
0\\1 

\end{pmatrix}$인 벡터 $b_{1}= \begin{pmatrix}
3\\2 

\end{pmatrix}$  이 있다고 가정하자.

 

$A = \bigl(\begin{smallmatrix}-1
 &2 \\1
 & 1
\end{smallmatrix}\bigr)$인 행렬과 $b_{1}$의 곱은 각각 $e_{1}$과$e_{2}$를 $\begin{pmatrix}
-1\\1 \end{pmatrix} $과 $\begin{pmatrix}2\\1 \end{pmatrix} $로 이동시킨것과 동일하다.

 

즉 행렬곱의 결과는 $3e_{1} + 2e_{2}$로 동일하며 $e_{1}$과 $e_{2}$로 바뀐다고 볼 수 있으며 답은 $\begin{pmatrix}
1\\5 

\end{pmatrix}$ 이다. 행렬곱과 원소의 순서 차이만 있어 보이지만 이 링크의 영상을 보면 벡터의 변환이 어떤 의미를 가지는지 더 쉽게 이해할 수 있다.