关键词： 掘进机   视觉矫正   图像处理   坐标转换   定位定姿   SINS定位  

摘要： 掘进机定位定姿技术作为掘进机自动化和无人化的基础,亟需深入研究。当前方法以SINS定位传感器信号为基础,完成定位定姿。但是,矿井下的传感信号极易受到现场环境干扰,导致单一的定位方法无法精准获取掘进机传感信号,会直接影响后续的坐标精度,导致纯捷联惯导系统中存在累积误差。提出基于视觉坐标误差校准的煤矿井下掘进机自动化定位定姿方法。通过采集掘进机工作位姿图像,利用图像处理和计算机视觉技术,针对纯捷联惯导系统中的累积误差问题,建立了坐标系之间的转换关系,,并确定掘进机自身坐标系。根据初始位置坐标和相关坐标系定义,结合四元数方法构建一个自动化的定姿定位模型;通过建立的模型,获取掘进机工作状态的位姿角和位置更新方程,用于实时计算和更新掘进机位置和位姿,实现煤矿井下掘进机自动化定位定姿。实验结果表明:利用视觉定位开展煤矿井下掘进机自动化定位定姿时,捷联惯导系统的累积误差在俯仰角上得到有效抑制,x和y方向上的平均定位误差为12.08 cm和19.77 cm,比单纯SINS定位效果更好。

关键词： 目标检测   双波段   决策级融合   卷积神经网络  

摘要： 红外目标检测在军事领域和民用领域发挥着重要的作用,得到了广泛的研究,但对于利用双波段图像对目标进行检测的研究较少。为了充分发挥双波段图像在目标检测性能上的优势,对红外双波段图像的检测结果进行深入分析,提出了一种基于多特征的红外双波段目标检测融合算法。本文提出的融合算法,利用基于深度学习的多特征融合网络对双波段图像的检测结果进行处理,充分挖掘目标的特征信息,自适应地选择单波段的检测结果作为输出,得到最终的决策级融合检测结果。实验结果表明:与使用单波段图像进行目标检测相比,本文提出的基于多特征的红外双波段融合算法,可以有效利用不同波段的信息,提高检测性能,充分发挥红外目标探测设备的优势。

关键词： 视频显著目标检测   时空特征   深度学习  

摘要： 视频显著目标检测作为计算机视觉领域广泛关注的研究方向之一,其旨在定位和分割出视频中最显著的目标或区域。现有视频显著目标检测方法主要通过构建深度神经网络来从动态视频序列中提取时空特征进行显著性预测。对基于深度学习的视频显著目标检测方法进行全面梳理,阐述了视频显著目标检测的基本概念及应用场景;对基于深度学习的视频显著目标检测方法进行了分类,并按类别进行深入的分析和讨论;对视频显著目标检测领域的权威基准测试数据集及评价指标进行介绍,并在这些基准数据集上对最先进的模型进行了定量和定性实验对比分析和讨论;总结了视频显著目标检测面临的挑战,对其未来发展方向进行了展望。

关键词： 轨道缺陷检测   SAM   多任务   图像分割   目标检测  

摘要： 轨道缺陷检测是保障轨道交通安全运维的关键任务,现有的基于机器视觉的检测方法主要针对轨道图像进行分割,存在模型时间复杂度高、背景噪点干扰大、分割效果不佳等问题.针对以上问题,提出一种改进Segment Anything Model (SAM)的多任务图像分割模型(Multi-Task Advanced SAM,MASAM),有效地提高了训练效率和缺陷分割准确率.首先,通过目标检测模块来确定缺陷目标范围,获取目标边界坐标;其次,将目标边界坐标转换为稀疏嵌入;最后,将稀疏嵌入与SAM模型中Image Encoder模块处理后的图像特征向量输入Mask Decoder,得到缺陷掩膜预测结果 .实验结果表明,在多任务轨道缺陷检测中,MASAM模型的预测效率和准确率均优于其他模型.

关键词： 图像处理   表格图像结构识别   图卷积网络   特征融合   注意力机制   矩阵分解   双分支网络  

摘要： 针对表格图像很难精确从文档中提取出表格结构的问题,提出一种融合图卷积网络的双分支识别网络模型。以ResNet+FPN为主干网络,引入矩阵分解头代替注意力机制重整全局特征。设计一个双分支网络以获取表格单元格间空间位置和逻辑邻接信息。以GCN感知单元格间连接关系辅助输出位置信息和逻辑邻接关系。实验结果表明,在多个数据集上相比基线模型F1指标平均提升10.6%,F(beta=0.5)指标提升18.6%。在TableGraph-24K数据集上,相比最近的TGRNet模型在F1指标上提升3.1%,F(beta=0.5)指标平均提升2.9%。

关键词： 深度学习   YOLOv5   图像融合   目标检测   行人目标  

摘要： 目标检测指对图像内的物体类型进行识别并且定位。一阶段目标检测算法从深层网络输出的特征图中获得分类信息与目标位置信息,然而深层特征由于经过长距离卷积与下采样处理而缺乏空间信息。针对该问题,参考语义分割的思想,通过将骨干网络中的浅层特征与上采样得到的深层特征结合的方法,对一阶段目标检测YOLOv5算法进行改进,利用骨干网络ResNet-50可以对特征图信息进行有效提取。在残差块中引入注意机制,对浅层特征提取阶段进行有效选择对象信息,并且可以将更多的权重分配给小的和弱的对象,以改善特征表达准确探测小物体的能力。另外,根据行人检测的数据特点,对预选框的生成方式和损失函数进行改进。采用INRIA和Caltech这2个数据集进行实验,结果表明,提出的改进模型在检测效果与检索速度方面均有所提升。

关键词： OpenMV视觉模块   乒乓球追踪与收集   PID控制   图像处理   乒乓球收集结构  

摘要： 针对当前乒乓球收集小车存在的收集结构成本较高、图像算法复杂问题,设计并实现了一种基于STM32与OpenMV的乒乓球收集小车。提出了一种新型乒乓球收集结构,包含由饮料瓶、塑料管制作的收集臂和纸盒制作的收集盒,大大降低了收集结构的制作成本。OpenMV内置丰富的图像算法,可有效降低软件开发难度。OpenMV依据乒乓球的Lab颜色阈值识别黄色乒乓球,获取其中心点坐标,并通过单目测距原理测得乒乓球与小车之间距离。设计了一种基于状态机的乒乓球追踪与收集算法,STM32将OpenMV从串口发来的乒乓球位置信息输入其中,得到运动指令,并使用PID算法将车轮转速调整到指令要求。通过上述控制算法,小车逐渐靠近乒乓球,并调整到合适位置,此时,舵机驱动收集臂完成收集。经测试,小车可适应多种地面及光照情况,乒乓球收集成功率94.47%。在室内有灯光环境下,小车可在5~156 cm距离内自主发现和收集乒乓球,收集时间在26.04 s以内。

关键词： 钢轨夹板接头螺栓   螺栓松动   余量不足   深度学习   目标检测   RegNet  

摘要： 鉴于当前钢轨夹板接头螺栓故障检测所面临的复杂环境及识别精度不足的挑战,提出一种基于图像识别技术的新型螺栓缺失与余量不足故障检测算法。以YOLOv5作为核心检测模型,精准定位图像中的螺栓检测区域。同时,对RegNet进行了优化改进,将颜色特征与形态特征作为浅层特征输入,并结合包含深层特征的模板图像,共同构成二分类的输入数据。通过采集数据集并进行实验验证,结果表明,所提出的算法在螺栓缺失和余量不足检测上的识别精度达到了99.63%,相较于VGG、RegNet、Ef fcientNet、MobileNet等传统模型,其准确率最大提升达4.26%,最小提升为2.98%。在螺栓余量不足或缺失的情况下,所提出的算法能在满足实时检测要求的同时,准确检测出螺栓的故障状态。

关键词： 残骸搜寻   无人机   目标检测   深度学习   数据仿真  

摘要： 飞行器残骸的可靠回收对于飞行试验数据的完整获取及型号后续的攻关研制具有重要意义。为保证飞行试验的安全性,飞行器试验的落区地点一般为无人区,且飞行器实际落点往往与理论落点有所偏差,残骸目标特性复杂、散布区域大,仅依靠人力完成对飞行器残骸的搜寻十分困难。针对飞行器落区残骸回收的难点问题,依托无人机平台搭载光学载荷的手段,开展融合数据仿真与深度学习算法的飞行器残骸搜寻技术研究,重点介绍了残骸搜寻的目标检测算法、数据仿真策略及应用效果。经实际测试,提出的智能搜寻方案效果良好,在多次任务中顺利完成飞行器残骸的快速定位,保障了飞行试验任务的圆满成功。

关键词： 历史建筑   石材外饰面   典型损伤分类体系   目标检测   图像分割技术  

摘要： 上海市历史建筑中石材的类型众多,具有重要的历史文化价值。当前,石材外饰面的外观质量检测仍依赖于目测,缺少对石材损伤类型较为全面的认识。为此,结合国内外岩石劣化专业术语标准,调研、分析了上海市外滩37栋历史建筑的石材外饰面的现有典型损伤类型、成因和相应特征,面向石材损伤智能化识别应用,建立了历史建筑石材外饰面典型损伤分类体系,形成了历史建筑石材外饰面典型外观损伤的图像识别方法,并对目标检测和图像分割技术在损伤图像分类工作中的应用进行了探索,可为后续开展类似损伤识别提供借鉴。