[AI basis] Norm 에 대해 알아보자

선형대수에서 "Norm"은 벡터의 길이, 크기(magnitude)를 측정하는 함수를 의미한다.

 Norm의 입력은 "vector" 출력은 "단일 값"이다.

 이는 시각적으로 표현하면 원점에서 벡터까지 다양한 방법으로 측정할 수 있는 거리를 의미한다.

 

$$ L_p  = (\sum_i^n |x_i|^p)^{1/p}$$

 

이때 n은 벡터의 요소 수(차원)을 의미하고 p는 Norm의 차수를 의미한다.

Norm은 Norm의 차수 p에 따라 여러가지 이름으로 불리는데 대표적인 3가지를 소개하려고 한다.

바로 L2 Norm, L2 Norm, Maximum Norm이다.

 

1. L1 Norm (Manhatton Norm)

L1 Norm은 Norm의 차수가 1인 함수를 의미한다.

$$ L_1 = \sum_i^n |x_i| $$

L1 Norm을 칭하는 Manhatton Norm 역시 많이 쓰이는 용어이기 때문에 기억하면 좋다.

 

2. L2 Norm (Euclidean Norm)

L2 Norm은 Norm의 차수가 2인 함수를 의미한다.

$$ L_2 = (\sum_i^n |x_i|^2)^{1/2} $$

L2 Norm을 뜻하는 Euclidean Norm 역시 많이 쓰이는 용어이기 때문에 기억하면 좋다.

 

3. Maximum Norm 

Maixmum Norm은 Norm의 차수가 $\infty$ 인 함수이다. 차수가 무한대로 발산하면 아래와 같은 함수가 된다. 

$$ L_{\infty} = max( |x_1|, |x_2|, \cdots , |x_n|)$$

이는 벡터 성분의 최대값을 의미한다.