关键词： 多模态融合   糖尿病视网膜病变   机器学习   计算机视觉   人工智能  

摘要： 目的:融合计算机视觉和临床结构化数据,探讨多模态模型在糖尿病视网膜病变(DR)转诊中的应用。方法:纳入苏州大学理想眼科医院和苏州市立医院就诊的糖尿病患者,收集眼底照片及临床资料,根据临床指南相关标准,将患者分为DR无需转诊组和需转诊组。以EfficientNetV2S作为后骨框架进行迁移学习,构建计算机视觉模型α;并融合计算机视觉模型α的输出以及患者临床结构化数据,使用H2O的AutoML平台,建立多模态模型β,判断糖尿病患者是否需要DR转诊。结果:视觉分类模型α在内部验证集中,准确度为0.918,敏感度为1.000,特异度为0.891,ROC曲线下面积(AUC)为0.946;在外部测试集中,准确度为0.879,敏感度为1.000,特异度为0.831,AUC为0.918。基于XGBoost算法的多模态模型β在内部验证集准确度为0.965,特异度为0.953,敏感度为1.000,AUC为0.977;在外部测试集中,其准确度为0.985,特异度为0.986,敏感度为0.983,AUC为0.984。SHAP特征可视化结果,可以观察到基于XGBoost算法的最佳模型中,排名靠前的变量在二分类结局患者中的分布。其中,空腹血糖、胰岛素、谷草转氨酶、收缩压及三酰甘油与DR转诊呈正相关,而高密度脂蛋白与DR转诊呈负相关。结论:相比单模态模型,基于计算机视觉和结构化数据的多模态融合模型判断DR患者转诊的准确性显著提高。

关键词： 遥感影像   神经网络架构搜索   目标检测   特征分离卷积   最大熵   多尺度熵   渐进式进化  

摘要： 针对传统神经网络架构搜索需要耗费大量时间用于超网训练,搜索效率较低,搜索得到的模型无法高效解决遥感影像中多尺度目标检测困难、背景复杂度高的问题,本文提出采用多尺度熵神经网络架构搜索的方法进行遥感影像目标检测。首先,在搜索空间的基础模块中加入特征分离卷积以代替残差模块中的常规卷积,减少遥感影像中由于背景复杂度高而造成的信息间干扰,提高网络模型在复杂背景下的检测性能;然后,引入最大熵原理,计算搜索空间中每个候选网络的多尺度熵,将多尺度熵与特征金字塔网络相结合,以兼顾遥感影像大、中、小目标的检测;最后,在不进行参数训练的情况下利用渐进式进化算法搜索得到多尺度熵最大的网络模型用于目标检测任务,在保证模型检测精度的同时,提升网络搜索效率。本文方法在RSOD、DIOR和DOTA数据集上的平均检测精度均值分别达到93.1%、75.5%和73.6%,网络搜索时间为8.1 h。试验结果表明,与当前基准方法相比,本文方法能够显著提升网络的搜索效率,在目标检测任务中更好地结合了不同尺度下的特征并解决了影像背景复杂度高的问题。

关键词： 稻瘟病检测   目标检测   Mask R-CNN   现场可编程门阵列  

摘要： 针对基于图像的稻瘟病现场检测技术依赖先验知识且受制于算力与田间网络状况,无法实现自适应实时检测的问题,提出一种可利用现场可编程门阵列(Field programmable gate array,FPGA)加速的Mask R-CNN(Mask region-based convolutional neural network)稻瘟病高通量自适应快速识别模型。首先将骨干网络改进为MobileNetV2,利用其倒残差模块降低计算量,提高模型并行处理能力;随后增加用于稻瘟病多尺度特征融合的特征金字塔网络模块,使模型具备多尺度自适应处理能力;最后由全卷积网络(Fully convolutional network,FCN)分支输出稻瘟病病斑的实例分割,同时使用交叉熵损失函数完成稻瘟病的定位与分类。稻瘟病实测数据集对模型的验证结果表明:当输入为全高清图像时,模型平均推理时间减少至85 ms,相较GPU服务器、同级别GPU边缘计算平台,速度分别提高86.2%、63.0%。在交并比为0.6时,准确率可达98.0%,病斑捕获能力平均提升21.2%。提出的Mask R-CNN自适应快速识别模型能够在田间恶劣网络状况下实现稻瘟病的快速现场检测,具有更好的抗噪能力和鲁棒性能,为水稻病害实时检测、察打一体提供了高效实时的片上系统方案。

关键词： 图像处理   非均匀雾霾图像   层级权值交互   频域信息   拉普拉斯先验  

摘要： 针对非均匀雾霾图像去雾过程中细节丢失和雾霾残留,导致图像质量受损的问题,提出一种基于层级权值交互和拉普拉斯先验的非均匀去雾方法。首先,在基准网络中引入层级权值交互模块,以自适应地调整权值,在不同尺度上对特征图进行加权融合。同时,使用全感受野聚合模块丰富感受野,让模型更全面地理解图像内容信息。然后,引入频域信息分支,使用小波函数将图像分解为低频和高频分量,低频部分包含整体结构信息,高频部分提供局部细节信息,两者共同提高了图像的清晰度。最后,引入拉普拉斯损失重建图像,恢复图像的细节特征,提高生成图像的质量。实验结果表明,相比原始算法,所提算法在4个数据集上的峰值信噪比(PSNR)分别提高了0.8 dB、1.54 dB、1.14 dB和0.23 dB,并在测试集上取得了较优的去雾效果。

关键词： 深度学习   遥感图像   目标检测   EfficientDet   多尺度特征融合   特征增强模块   Dynamic ReLU  

摘要： 针对遥感图像目标检测中小目标检测精度低、目标密集和尺度形态多样等问题,在轻量化网络EfficientDet-D0目标检测算法的基础上,在加权双向特征金字塔网络(BiFPN)进行特征融合时加入小尺度以及高一级尺度的中间信息,对BiFPN网络进行重构,充分利用不同尺度信息,提高多尺度目标检测精度;同时在BiFPN中加入融合空洞卷积和快速归一化融合方法的特征增强模块,补强因特征图缩放所丢失的特征信息,进一步提高检测精度;另外,采用参数动态的Dynamic ReLU激活函数对原始网络中的参数静态的Swish激活函数进行改进。改进EfficientDet算法在不影响轻量化特点的前提下,对公开数据集Pascal VOC的目标检测平均精度均值(mAP)相较于原始算法提升11.9个百分点,亦优于其他目标检测算法。针对遥感图像数据集RSOD,通过Imgaug数据增强库对已有的936幅遥感图像数据集进行数据增广,利用改进模型进行迁移学习,未进行数据增广和增广后的目标检测结果分别为88.38%和96.78%,证明所提算法可以满足实际应用中对遥感图像目标的检测要求。

关键词： 表面缺陷检测   计算机视觉   金属表面缺陷   自动化检测  

摘要： 针对平面及三维结构金属材料的工业表面缺陷检测,概述了视觉检测技术的基本原理和研究现状,并总结出视觉自动检测系统的关键技术包括光学成像技术、图像预处理技术与缺陷检测器.首先介绍了如何根据检测对象的光学特性选择合适的二维、三维光学成像技术;其次介绍了图像降噪、特征提取、图像分割和拼接等预处理技术的重要作用;然后根据缺陷检测器的实现原理将其分为模板匹配、图像分类、图像语义分割、目标检测和图像异常检测五类,并对其中的经典算法进行了归纳分析.最后,探讨了工业场景下金属表面缺陷检测技术实施中的关键问题,并对该技术的发展趋势进行了展望.

关键词： 目标检测   YOLOv5   注意力机制   损失函数   绿色柑橘  

摘要： 在复杂的自然环境中绿色柑橘生长形态各异,颜色与背景色相近,为有效识别绿色柑橘,提出一种基于混合注意力机制并改进YOLOv5模型的柑橘识别方法。首先,改进YOLOv5的网络结构,在主干网络中添加混合注意力机制,即在主干网络中的第2层嵌入SE(squeeze and excitation)注意力,第11层嵌入CA(coordinate attention)注意力;其次,改进网络模型特征融合结构,将YOLOv5模型Concat特征融合操作的下层分支放在模型C3模块之前,再与另一条上层分支进行特征融合;最后,改进模型分类损失函数,将YOLOv5模型的分类损失函数改成Varifocal Loss函数,加强绿色柑橘特征信息的提取,提高绿色柑橘检测精度。根据自然环境和柑橘自身的特点,对自建数据集进行分类,设计3组不同分类场景下柑橘的对比试验以验证其有效性。试验结果表明,改进后的YOLOv5-SC模型准确率为91.74%,平均精度为95.09%,F1为89.56%,在自然环境下对绿色柑橘的识别具有更高的准确率和更好的鲁棒性,为绿色水果智能采摘提供技术支持。

关键词： 计算机视觉   青光眼   辅助诊断   深度学习  

摘要： 青光眼是一类视神经损伤疾病,青光眼筛查工作对眼科医师的诊断水平有很高的要求。为帮助医生更好地观察青光眼病理特征,提高医生的主观诊断效率和准确率,本文应用计算机视觉辅助诊断算法增强视网膜图像,并使用神经网络构建图像的分类识别模型。实验结果显示,所构建的神经网络对视网膜图像分类的准确率为92.05%。

关键词： 位移测量   动力识别   非接触测量   计算机视觉   变分模态分解  

摘要： 位移是衡量结构舒适性与安全性的一个关键参数,但传统接触式方法测量效率低、成本高且难以精确测量稠密测点位移。为解决以上问题,提出了基于计算机视觉与自适应变分模态分解的结构多测点位移和振动特性非接触测量方法。该方法利用高速摄像机获取冲击力锤作用下悬臂梁振动图像,通过有标靶和无标靶特征检测算法,获取结构在冲击载荷下的动态位移曲线,进一步提出了基于变分模态分解和希尔伯特变换的结构振动频率、阻尼比高精度识别方法。所提出方法利用悬臂梁非接触振动测量试验进行了验证,结果表明:通过圆心检测算法和图像特征检测算法提取位移的最大测量误差分别为0.093 mm和0.046 mm,证明了图像特征检测算法的位移提取精度更高;同时,利用变分模态分解方法对测量的位移信号进行了分离并识别结构振动特征,采用圆心检测和图像特征提取算法获取位移识别的固有频率、阻尼比基本一致。研究成果可为突发事件下桥梁结构多点位移高精度监测与振动特性识别提供一种新的方法,具有成本低、使用方便和测点布设灵活等优势。

关键词： 目标检测   Detection Transformer   棉花幼苗   杂草检测  

摘要： 基于深度学习的目标检测技术在棉花幼苗与杂草检测领域已取得一定进展。论文提出了基于改进Detection Transformer的棉花幼苗与杂草检测模型,以提高杂草目标检测的准确率和效率。首先,引入了可变形注意力模块替代原始模型中的Transformer注意力模块,提高模型对特征图目标形变的处理能力。提出新的降噪训练机制,解决了二分图匹配不稳定问题。提出混合查询选择策略,提高解码器对目标类别和位置信息的利用效率。使用Swin Transformer作为网络主干,提高模型特征提取能力。通过对比原网络,论文提出的模型方法在训练过程中表现出更快的收敛速度,并且在准确率方面提高了6.7%。