matlab有些代码不运行#NeuralTalk
该项目包含用于学习多模式递归神经网络的Python
+
numpy源代码,这些神经网络使用句子描述图像。
最近在一篇文章中介绍了这方面的工作,并且在过去几个月中,该领域一直是研究界发表的多篇学术论文的主题。
该代码当前实现和提出的模型。
两种模型均拍摄图像并使用递归神经网络(LSTM或RNN)预测其句子描述。
概述
该项目的管道如下所示:
输入是使用Amazon
Mechanical
Turk收集的图像和5个句子描述的数据集。
特别是,此代码库是针对,和数据集设置的。
在训练阶段,将图像作为输入馈送到RNN,并要求RNN根据神经网络的隐藏层介导的当前单词和先前上下文来预测句子的单词。
在此阶段,通过反向传播训练网络的参数。
在预测阶段,将一组让步图像传递给RNN,RNN一次生成一个单词的句子。
用BLEU评分评估结果。
该代码还包括用于以HTML可视化结果的实用程序。
依存关系
Python
2.7
,
numpy
/
scipy的现代版本,
perl
(如果要进行BLEU分数评估),
argparse模块。
这些大多数都可以通过pip
2023-02-15 07:48:54
38.9MB
系统开源
1