定义
机器学习是一门研究如何通过计算手段， 利用经验提升自身性能的学科。
人工智能、机器学习与深度学习三者间的关系如图1-1所示
努力将通常由人类完成的智力任务自动化。
是一种新的编程范式， 传统编程范式如图 1-2 所示
机器学习的编程范式
机器学习的定义：在预先定义好的可能性空间中，利用反馈信号的指引来寻找输入数据的有用表示。
这个简单的想法可以解决相当多的智能任务，从语音识别到自动驾驶。
一个程序可以从经验E中学习，解决任务T, 达到性能度量值P, 当且仅当有了经验E过后，经过P评判，程序在处理T时性能有所提升。(Tom Mitchell, 1998)
机器学习可以分成两部分：根据是否有标签
* 监督式学习： 知道使用法则可以在输入与输出之间输出数据。
* 非监督式学习： 当不知道结果的时候
监督式学习算法可以分成
* 回归问题
* 分类问题
非监督式学习算法
聚类
对深度的定义
从数据中学习表示的一种数学框架，强调从连续的层中进行学习，这些层对应于越来越有意义的表示。
“深度学习”中的“深度”指一系列连续的表示层，数据模型中包含多少层，这被称为模型的深度(depth)。
图1-4， 一个数字分类的深度学习网络框架
深度学习： 学习数据表示的多级方法。
深度学习从数据中进行学习时有两个基本特征：
第一， 通过渐进的、逐层的方式进行越来越复杂的表示；
第二，对中间这些渐进的表示共同进行学习，每一层的变化都需要同时考虑上下两层的需要。
强化学习：
通过不断的试错进行学习
零基础入门人工智能AI是很难的，这里我建的了一个人工智能学习群:[672948930]，群里有我整理的一份关于pytorch、python基础，图像处理opencv自然语言处理、机器学习、数学基础等资源库，想学习人工智能或者转行到高薪资行业的，大学生都非常实用，无任何套路免费提供！还可以扫码加VX领取人工智能200G学习资料大礼包哦！
20世纪五十年代中后期，“连接主义”
20世纪五十年代至七十年代，人工智能研究处于推理期，典型代表，逻辑理论家，通用问题求解
20世纪七十年代中期，人工智能进入知识期
与此同时，基于逻辑的“符号主义”
机器学习研究划分为
* 从样例中学习
* 在问题求解和规划中学习
* 通过观察和发现学习
* 从指令中学习
20世纪80年代以来，被研究最广的为从样例中学习，涵盖了监督学习与无监督学习等。
20世纪90年代中期，统计学习，代表技术是支持向量机，与枋方法
21世纪初， 连接主义卷土重来，以深度学习为名的热潮，即有很多层的网络。
观察如下一组数据
| x = | -1 | 0 | 1 | 2 | 3 | 4 |
| y = | -3 | -1 | 1 | 3 | 5 | 7 |
发现规律： y = 2x - 1
如果使用传统方案编程， 很容易得出想要的结果y的值。
cal(int x) {
return 2 * x -1;
}
现在使用深度学习模型来计算出 y = 2x - 1 这个算法，即通过机器去观察这组数据，
得出这个算法。
cal (int x) {
深度学习模型
return y;
}为了能让该模型正常工作，在使用深度学习模型之前 ， 必须要使用样本数据来训练该模型。
2.1 环境搭建
mkdir src
python3 -m venv venv
pip install tensorflow
pip install numpy
pip install matplotlib2.2 代码coading
第一步，导入需要的包
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt第二步，设置训练模型数据
# set up training data
x = np.array([-1, 0, 1, 2, 3, 4], dtype=int)
y = np.array([-3, -1, 1, 3, 5, 7], dtype=int)
for i,c in enumerate(x):
print("x = {} , y = {}".format(c, y[i])运行结果：
x = -1 , y = -3
x = 0 , y = -1
x = 1 , y = 1
x = 2 , y = 3
x = 3 , y = 5
x = 4 , y = 7
第三步， 创建层
# step 1 build the layer
first_layer = tf.keras.layers.Dense(units=1, input_shape=[1])
# step 2 assemble layers into model
model = tf.keras.Sequential([first_layer])神经网络的核心组件是层， 所以创建模型中第一步就是构建层，层是一种数据过滤器。
每层过后就是更有用的信息。
不同的张量格式与不同的数据处理类型需要用到不同的层。
例如
简单的向量数据保存在形状为(samples, features)的 2D 张量中， 通常用密集连接层来处理
序列数据保存在形状为(samples, timesteps, features)的 3D 张量中， 通常用循环层（LSTM， recurrent Layer）来处理。
图像数据保存在4D张量中，通常用二维卷积层(Keras 的 Conv2D)来处理。
第四步： 编译模型
# complie the model
model.compile(loss='mean_squared_error',
optimizer=tf.keras.optimizers.Adam(1))编译模型需要三个参数：
* 损失函数(loss function)： 网络如何衡量在训练数据上的性能，具有多个输出的神经网络可能具有多个损失函数。
定义损失函数有一些指导原则：
对于二分类问题，使用二元交叉熵损失函数
对于多分类问题，可以用分类交叉熵损失函数
对于回归问题，可以用均方误差损失函数
对于序列学习问题，可以用联结主义 时序分类(CTC，connectionist temporal classification)损失函数，等等。
* 优化器(optimizer)： 基于训练数据和损失函数来更新网络的机器
* 在训练和测试过程中需要监控的指标（metric）
模型是由层构成的网络，深度学习模型是层构成的有向无环图。
常见的网络拓扑结构如下：
* 双分支(two-branch) 网络
* 多头(multihead)网络
* Inception 模块
第五步：训练模型
# train the model
print("start training the model")
history = model.fit(x, y, epochs=500, verbose=False)
print("Finished training the model")第六步：查看模型统计数据
# show training statistics
plt.xlabel('Epoch Number')
plt.ylabel("Loss Magnitude")
plt.plot(history.history['loss'])
plt.show()运行结果
解释一下过拟合(overfit)的概念：
机器学习模型在新数据上的性能往往比在训练数据上要差。
第七步：使用测试数据测试结果
# use the model predict values
print(model.predict([100]))运行结果
[[199.]]
第八步：查看模型权重信息
# show layer weights
print("These are the layer variables: {}".format(first_layer.get_weights()))运行结果
These are the layer variables: [array([[2.]], dtype=float32), array([-1.], dtype=float32)]
典型的Keras工作流程：
(1) 定义训练数据： 输入张量和目标张量， 有两种方法(Sequential , API function)
(2) 定义层组成的网络(或模型)， 将输入映射到目标
(3) 配置学习过程： 选择损失函数、优化器和需要监控的指标。
(4) 调用模型的fit方法在训练数据上进行迭代。
机器学习是将输入映射到目标，这一过程是通过观察许多输入与目标示例完成的。比如 x 与 y 值。
神经网络中每层对输入数据所做的具体操作保存在该层的权重中，其本质是一串数字，由其来进行参数化。
所以权重也被称为该层的参数。在这种情况下， 学习的意思就是找出该层的权重值，使得网络能够将每个示例
输入与其目标正确地一一对应。 流程如图3-1所示
图3-1 深度学习网络由权重来参数化
问题来了， 一个深度神经网络可能有数千万个参数，找到正确的取值是一项艰巨的任务。
神经网络中损失函数的定义
衡量预测值y' 与 预期值 之间的距离， 算出损失值。
图3-2 损失函数用来衡量网络输出的质量
例如如下一个线性回归的问题
图3-3 数据图表， 蟋蟀叫的声音次数与温度之间的关系
使用一根直线可以近似的描述这个每分钟叫声与温度之间的关系
事实上，虽然该直线并未精确无误地经过每个点，但针对我们拥有的数据，清楚地显示了鸣叫声与温度之间的关系。
只需运用一点代数知识，就可以将这种关系写下来，如下所示：
y = mx + b
其中： y 指的是温度（以摄氏度表示），即我们试图预测的值。 m 指的是直线的斜率。 x 指的是每分钟的鸣叫声次数，即输入特征的值。 b 指的是 y 轴截距。
其中：
y′ 指的是预测值（理想输出值）。 b 指的是偏差（y 轴截距）。在一些机器学习文档中，它称为 w0。 w1 指的是特征 1 的权重。权重与上文中用 m 表示的“斜率”的概念相同。 x1 指的是特征（已知输入项）。
下标 w1x1 是一个抽象概念， 可以用多个特征来表示更加复杂的模型。
例如有三个特征的模型可以采用以下方程来表示
y' = b + w1x1 + w2x2 + w3x3
损失值是一个数值，表示对于单个样本而言模型预测的准确程度。如果预测模型完全正确， 则损失值为0，
否则值越大，表示偏差越大。
训练模型的目标是从所有样本中找到一组平均损失“较小”的权重和偏差。
损失函数
(1) 平方损失 （L2损失）
定义如下：
(真实值 - 预测到的值)2 = （y - y'）2
(2) 均方误差损失（MSE）
其中：
(x,y) 指的是样本，其中 x 指的是模型进行预测时使用的特征集（例如，温度、年龄和交配成功率）。 y 指的是样本的标签（例如，每分钟的鸣叫次数）。 prediction(x) 指的是权重和偏差与特征集 x 结合的函数。 D 指的是包含多个有标签样本（即 (x,y)）的数据集。 N 指的是 D 中的样本数量。
比较两张图哪个均方误差较高
优化器的定义
深度学习利用这个操作值，使用优化器函数来进行对权重值进行微调。
优化器中使用了反向传播算法，是深度学习的核心算法, 一种利用梯度下降优化来训练一系列参数化运算链的方法。
图3-3 将损失值作为反馈信号来调节权重值
通过迭代方法降低损失， 不断的更新， 最终会得出一个越来越接近y的预期值。
对于回归问题产生的损失值是一个碗形，所以肯定可以找到一个损失最小的值。
但是通过该方法需要大量的计算资源，另一种方法叫做梯度下降法
梯度下降法来降低损失， 可以减少计算的次数
可以看到， 降低损失是由学习速率与执行的步骤决定的。
梯度下降法的第一个阶段是为 w1 选择一个起始值（起点）。起点并不重要；因此很多算法就直接将 w1 设为 0 或随机选择一个值。
然后，梯度下降法算法会计算损失曲线在起点处的梯度。简而言之，梯度是偏导数的矢量；
它可以了解哪个方向距离目标“更近”或“更远”。请注意，损失相对于单个权重的梯度就等于导数。
学习速率降低可能会导致学习时间过长。
随机梯度下降法（SGD）
包含随机抽样样本的大型数据集可能包含冗余数据。实际上，批量大小越大，出现冗余的可能性就越高。
一些冗余可能有助于消除杂乱的梯度，但超大批量所具备的预测价值往往并不比大型批量高。
如果我们可以通过更少的计算量得出正确的平均梯度，会怎么样？通过从我们的数据集中随机选择样本，我们可以通过小得多的数据集估算（尽管过程非常杂乱）出较大的平均值。
随机梯度下降法(SGD) 将这种想法运用到极致，它每次迭代只使用一个样本（批量大小为 1）。如果进行足够的迭代，SGD 也可以发挥作用，但过程会非常杂乱。“随机”这一术语表示构成各个批量的一个样本都是随机选择的。
小批量随机梯度下降法（小批量 SGD）是介于全批量迭代与 SGD 之间的折衷方案。小批量通常包含 10-1000 个随机选择的样本。小批量 SGD 可以减少 SGD 中的杂乱样本数量，但仍然比全批量更高效。
图4-1 深度学习软件栈与硬件栈
TensorFlow API 层次
零基础入门人工智能AI是很难的，这里我建的了一个人工智能学习群:[672948930]，群里有我整理的一份关于pytorch、python基础，图像处理opencv自然语言处理、机器学习、数学基础等资源库，想学习人工智能或者转行到高薪资行业的，大学生都非常实用，无任何套路免费提供！还可以扫码加VX领取人工智能200G学习资料大礼包哦！
