范数和正则化

概念

范数是具有“长度”概念的函数。在向量空间内，为所有的向量的赋予非零的增长度或者大小。不同的范数，所求的向量的长度或者大小是不同的。

举个例子，2维空间中，向量(3,4)的长度是5，那么5就是这个向量的一个范数的值，更确切的说，是欧式范数或者L2范数的值。

对于p-范数，如果

$$X=[x_1,x_2,...,x_n]$$

那么向量x的p-范数就是

$$||X||_p=(|x_1|^p+|x_2|^p+...+|x_n|^p)^\frac{1}{p}$$
当然用的最多的还是L1,L2范数

L1范数：

$$||X||_1=(|x_1|+|x_2|+...+|x_n|)$$

L2范数：

$$||X||_2=(|x_1|^2+|x_2|^2+...+|x_n|^2)^\frac{1}{2}$$

特别的，L0范数：指向量中非零元素的个数。无穷范数：指向量中所有元素的最大绝对值。

范数的意义

要更好的理解范数，就要从函数、几何与矩阵的角度去理解。
我们都知道，函数与几何图形往往是有对应的关系，这个很好想象，特别是在三维以下的空间内，函数是几何图像的数学概括，而几何图像是函数的高度形象化，
比如：$f(x)=x$就是一条直线。
但当函数与几何超出三维空间时，就难以获得较好的想象，于是就有了映射的概念，映射表达的就是一个集合通过某种关系转为另外一个集合。通常数学书是先说映射，然后再讨论函数，这是因为函数是映射的一个特例。
为了更好的在数学上表达这种映射关系，（这里特指线性关系）于是就引进了矩阵。这里的矩阵就是表征上述空间映射的线性关系。矩阵就是某种关系的集中表达。
于是，我们可以这样理解，一个集合（向量），通过一种映射关系（矩阵），得到另外一个几何（另外一个向量）。那么向量的范数，就是表示这个原有集合的大小。比如维度。
而矩阵的范数，就是表示这个变化过程的大小的一个度量。
那么说到具体几几范数，其不过是定义不同，一个矩阵范数往往由一个向量范数引出，我们称之为算子范数，其物理意义都如我上述所述。

• 0范数，
• 1范数，为绝对值之和。
• 2范数，就是通常意义上的模。
• 无穷范数，就是取向量的最大值。
• 
  具体怎么用，看不同的领域，看你来自计算机领域 用的比较多的就是迭代过程中收敛性质的判断，如果理解上述的意义，在计算机领域，一般迭代前后步骤的差值的范数表示其大小，常用的是二范数，差值越小表示越逼近实际值，可以认为达到要求的精度，收敛。

总结

范数就是度量向量的变化程度的。