我用tensorflow来训练LSTM语言模型，代码来自here https://github.com/tensorflow/models/blob/master/tutorials/rnn/ptb/ptb_word_lm.py.
根据文章here http://www.wildml.com/2015/10/recurrent-neural-network-tutorial-part-4-implementing-a-grulstm-rnn-with-python-and-theano/，看来如果我使用预训练的word2vec，效果会更好。
使用 word2vec 和 GloVe 等词嵌入是提高模型准确性的流行方法。使用 word2vec 或 GloVe 学习的低维向量不是使用 one-hot 向量来表示我们的单词，而是带有语义意义 - 相似的单词具有相似的向量。使用这些向量是预训练的一种形式。
所以，我想用word2vec重做训练，但我对如何做到这一点有点困惑。
嵌入代码如下：
with tf.device("/cpu:0"):
embedding = tf.get_variable(
"embedding", [vocab_size, size], dtype=data_type())
inputs = tf.nn.embedding_lookup(embedding, input_.input_data)
我如何更改此代码以使用预训练的word2vec?
None
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
