在作业现场的安全管理中, 对于非施工人员围栏跨越的监管一直是必不可少的. 但目前施工场地普遍存在作业面广、施工人员管理困难等问题, 导致人工监察的方式效率低下. 而基于视频的人体行为检测技术作为计算机视觉领域重要的研究热点, 在公共安全监控方面有着广泛应用. 因此针对传统人工监察的不足, 结合当前计算机视觉技术, 提出一种智能化的围栏跨越违规检测与识别方法. 该方法通过监控不断获取视频帧, 以视频帧组成的剪辑作为输入, 使用三维卷积和二维卷积分别提取时序和空间特征, 将两部分特征融合后进行分类和边界框回归. 最后通过设置对比试验以验证此方法效果, 实验结果表明, 该方法具有一定的泛化性.