当前卷积神经网络结构未能充分考虑RGB图像和深度图像的独立性和相关性, 针对其联合检测效率不高的问题, 提出了一种新的双流卷积网络。将RGB图像和深度图像分别输入到两个卷积网络中, 两个卷积网络结构相同且权值共享, 经过数次卷积提取各自独立的特征后, 在卷积层根据最优权值对两个卷积网络进行融合；继续使用卷积核提取融合后的特征, 最后通过全连接层得到输出。相比于以往卷积网络对RGB-D图像采用的早期融合和后期融合方法, 在检测时间相近的情况下, 双流卷积网络检测的准确率和成功率分别提高了4.1%和3.5%。

时序行为检测是指在一段未分割的长视频中，检测出其中包含的若干行为片段的起止时间和类别.针对该项任务，提出基于双流卷积神经网络的行为检测模型.首先使用双流卷积神经网络提取视频的特征序列，然后使用TAG （Temporal Actionness Grouping）生成行为提议，为了构建高质量的行为提议，将行为提议送入边界回归网络中修正边界，使之更为贴近真实数据，再将行为提议扩展为含有上下文信息的三段式特征设计，最后使用多层感知机对行为进行识别.实验结果表明，本算法在THUMOS 2014数据集和ActivityNet v1.3数据集获得较好的识别率.