After 剖析我的反向传播算法,我了解到它占用了我 60% 的计算时间。
在开始研究并行替代方案之前,我想看看是否还有什么可以做的。
The activate(const double input[])
函数被分析为只花费约 5% 的时间。
这gradient(const double input)
函数实现如下:
inline double gradient(const double input) { return (1 - (input * input)); }
有问题的训练函数:
void train(const vector<double>& data, const vector<double>& desired, const double learn_rate, const double momentum) {
this->activate(data);
this->calculate_error(desired);
// adjust weights for layers
const auto n_layers = this->config.size();
const auto adjustment = (1 - momentum) * learn_rate;
for (size_t i = 1; i < n_layers; ++i) {
const auto& inputs = i - 1 > 0 ? this->outputs[i - 1] : data;
const auto n_inputs = this->config[i - 1];
const auto n_neurons = this->config[i];
for (auto j = 0; j < n_neurons; ++j) {
const auto adjusted_error = adjustment * this->errors[i][j];
for (auto k = 0; k < n_inputs; ++k) {
const auto delta = adjusted_error * inputs[k] + (momentum * this->deltas[i][j][k]);
this->deltas[i][j][k] = delta;
this->weights[i][j][k] += delta;
}
const auto delta = adjusted_error * this->bias + (momentum * this->deltas[i][j][n_inputs]);
this->deltas[i][j][n_inputs] = delta;
this->weights[i][j][n_inputs] += delta;
}
}
}
}
这个问题可能更适合https://codereview.stackexchange.com/ https://codereview.stackexchange.com/.
如果你想训练/使用神经网络,你就无法避免 O(n^2) 算法。但它非常适合矢量运算。例如,通过巧妙地使用 SSE 或 AVX,您可以以 4 或 8 个块的形式处理神经元,并使用乘加而不是两个单独的指令。
如果您使用现代编译器并仔细重新制定算法并使用正确的开关,您甚至可以让编译器为您自动向量化循环,但您的里程可能会有所不同。
对于 gcc,使用 -O3 或 -ftree-vectorize 激活自动矢量化。当然,您需要一个支持向量的 cpu,例如 -march=core2 -mssse4.1 或类似的,具体取决于目标 cpu。如果您使用 -ftree-vectorizer-verbose=2 您会得到详细的解释,循环未矢量化的原因和位置。看一下http://gcc.gnu.org/projects/tree-ssa/vectorization.html http://gcc.gnu.org/projects/tree-ssa/vectorization.html .
当然更好的是直接使用编译器内在函数。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)