深度学习框架Pytorch——学习笔记（九） 基础知识补充

由于基础知识不牢固，又学习了一下其他入门学习资料。
pytorch中文手册   
https://github.com/zergtant/pytorch-handbook 

入门基础补充

相比之前学过的东西，一些常用的东西做了下补充。

任何以“_” 结尾的操作，其结果都会替换原变量。
torch.view与numpy的reshape类似。 x.view(-1, 8) 等。
如果Tensor中只有一个元素，使用 .item()得到python数据类型的数值。

cpu转GPU类型

.to()方法 或者 .cuda() 方法
device = torch.device("cuda") 选择设备
x = x.to(device)

如果Tensor中属性 .requires_grad为True，将跟踪该张量的操作。
为防止跟踪(不求梯度),可以包装在 with torch.no_grad()

"torch.nn"只支持小批量输入。 [s Sample, nChannls, hHeight, wWidth]

数据一般情况是先转为numpy，后转为Tensor。
python常用数据工具

图像使用  pillow， opencv
音频使用  scipy， librosa
文本可以使用 os和Cython来加载，或者使用NLTK或Spacy处理 

多GPU训练
使用nn.DataParalle 来包装模型
if torch.cuda.device_count()>1:
model = nn.DataParalle(model)
model.to(device)
会自动分配数据

欠拟合

修改网络结构，如增加隐藏层数目
训练更长的时间
寻找合适的网络结构，使用更大的nn网络

过拟合
使用更多的数据，数据融合
正则化
寻找合适的网络，dropout

卷积神经网络 （分类，回归）

组成

卷积层 一个核代表一个特征 下一层特征宽度计算 ns=(n-f+2p)/s +1
激活函数 非线性变换，过滤无用信息
池化层 减低复杂度 下一层特征宽度计算 ns=(n-f)/2+1
dropout 防止过拟合的一种方法
全连接层 作为输出层使用(有时也用1 * 1 的卷积进行输出)，需要将输入过来的数据压扁，变成一维的向量。如果进行分类，就使用softmax作为输出。如果是回归，直接使用linear输出。

循环神经网络 （翻译，语音，生成描述）

相当于同一个神经网络的多次赋值。
将网络的输出保存在一个记忆单元中，这个记忆单元和下一次的输入一起进入神经网络中。我们可以看到网络在输入的时候会联合记忆单元一起作为输入，网络不仅输出结果，还会将结果保存到记忆单元中。