关键词： 计算机视觉   深度学习   说话人脸生成   音频驱动   数字人  

摘要： 随着人工智能的快速发展,语音驱动的说话人脸生成技术因其在公共安全、医疗、电影娱乐、虚拟数字人等领域的广泛应用而受到越来越多的关注。该技术旨在根据给定的目标人脸和音频,生成自然的说话人脸视频。在过去五年中,研究人员提出了许多创新方法,以解决该领域中的不同问题,推动了这一领域的发展。本文对当前说话人脸生成领域的发展进行了系统梳理和总结,以期为学术界提供有价值的资源。此外,详细介绍了常用的数据集及多项用于评估模型性能的评价指标,为该领域的研究提供了更全面的理解和认识。最后,我们总结了该领域未来的发展趋势,并鼓励更多研究者在这一领域进行持续创新,为技术进步贡献力量。

关键词： 仪表识别   均值滤波   Hough检测   图像处理  

摘要： 指针仪表识别并读数是油气生产领域日常巡检的重要任务,但基于深度学习的指针式仪表读数识别需要针对每个项目专门进行模型训练,不具有普遍适应性,工程实施成本高。基于图像处理和深度学习算法,采用Python语言设计了一种适用于油气生产领域的指针式仪表识别系统。首先,通过巡检机器人采集生产现场巡检的数据集;其次,对巡检机器人原搭载的模型采用Python语言进行改进,并使用均值滤波除去图像噪点、Hough检测对图像特征的捕捉与分析来实现仪表的自动检测与读数;最后,通过Python代码调用tkinter实现GUI人机交互界面,达到批量识别现场仪表数据的目的。现场试验结果表明:改进后的模型准确率较高,解决了原模型识别“死点”问题,平均精度达到95%,该模型现场实测运行的误差变异系数控制在0.05以内,可以满足现场巡检需求,具有较好的油气田领域仪表识别应用价值。

关键词： 苹果   目标检测   图像增强   阴影去除   EnlightenGAN   YOLO v5m  

摘要： 自然光照下阴影会降低采摘机器人视觉系统对苹果目标的准确感知能力,导致采摘效率低。本研究采用EnlightenGAN算法进行图像增强,以实现阴影的去除和苹果目标检测精度的提升。首先通过图像光照归一化处理得到自正则化注意力图,达到图像阴影检测的目的,再采用注意力引导的U-Net作为生成器骨干网络得到增强后的图像,然后通过全局-局部判别器来比对图像信息,最终在生成器和判别器的对抗中达到图像质量增强的效果。为了进一步检验该方法的阴影去除效果,分别采用EnlightenGAN、Zero_DCE、Adaptive_GAMMA、RUAS等算法在MinneApple公共数据集上进行试验验证。结果表明,EnlightenGAN算法均方误差较Zero_DCE、Adaptive_GAMMA、RUAS算法分别降低19.21%、59.47%、67.42%,峰值信噪比增加6.26%、34.55%、47.27%,结构相似度提高2.99%、23.21%、68.29%。同时,在对果园拍摄的苹果图像进行标注后,将其送入YOLO v5m目标检测网络进行苹果检测训练。并对EnlightenGAN算法增强前后的苹果图像进行了测试,图像增强前后检测精确率分别为97.38%、98.37%,召回率分别为74.74%、91.37%,F1值分别为84%、94%,精确率、召回率和F1值分别提升1.02%、22.25%、11.90%。为证明模型有效性,对不同数据集进行了试验,结果表明EnlightenGAN算法增强后的目标检测精确率、召回率和F1值较无增强算法及Zero_DCE、Adaptive_GAMMA、RUAS算法有显著提升。由此可知,将EnlightenGAN算法应用于苹果采摘机器人的视觉系统,可以有效克服果园图像光照不均以及存在阴影的影响,提升果实目标检测性能。该研究可为自然条件下复杂光照环境中的果实检测提供借鉴。

关键词： MobileNetV3-SSD   图像处理   特征投影   钢筋绑扎识别  

摘要： 针对传统人工钢筋绑扎过程中操作效率低、成本高等问题,将深度学习技术应用于钢筋绑扎节点检测,提出一种融合深度学习与特征投影曲线的钢筋绑扎节点检测方法.首先,通过原始数据采集和增强构建3300幅图像的钢筋绑扎节点数据集,基于TensorFlow深度学习框架构建MobileNetV3-SSD钢筋绑扎节点识别模型,实现钢筋已绑扎/未绑扎节点的自动识别及分类,初步提取预测框区域图像;然后,对提取的未绑扎节点预测框区域进行图像预处理,提出一种由控制因子α与特征投影曲线相结合的节点定位方法实现未绑扎节点精确定位;最后,通过性能测试实验对方法评估,并根据评价指标确定识别模型与定位方法的最优阈值.实验结果表明,采用MobileNetV3-SSD钢筋绑扎节点识别模型的宏精确率和宏召回率分别为95.40%和96.70%;采用特征投影曲线定位方法的定位准确率达90.45%,平均相对误差为6.15%;所提方法可实现快速、非接触的智能化检测,具有良好的鲁棒性和应用价值.

关键词： 计算机视觉   图像校正   任意位姿圆柱曲面   透视投影失真   位姿估计  

摘要： 机器视觉是检测圆柱物体表面缺陷的重要手段,正对圆柱物体拍摄图像的透视投影失真易于校正但拍摄条件十分苛刻,倾斜状态是圆柱物体视觉检测的常态。针对任意位姿圆柱物体表面透视投影导致的失真变形问题,提出一种基于圆柱曲面位姿估计的图像校正方法。该方法在提取圆柱图像两侧边线的基础上,利用圆柱半径和系统成像参数估计圆柱曲面与相机之间的位姿关系,通过建立的圆柱曲面位姿变步长优化迭代算法,实现圆柱曲面位姿精确计算。在此基础上,构建圆柱曲面细分网格点与原始图像像素坐标点的对应关系,然后将曲面展开为平面,建立展开的细分网格点与校正图像像素坐标点的对应关系,从而创建校正图像像素坐标点与原始图像像素坐标点的映射关系,对原始图像进行重采样得到校正图像。实验结果表明,圆柱曲面位姿估计的平均距离误差为0.3 mm、平均角度误差为0.60°;表面贴有棋盘格圆柱物体的图像相邻角点的平均距离标准差从校正前的12.2 pixels降至校正后的0.8 pixels;校正后的实际场景图像能有效识别出圆柱曲面上的文字,圆柱曲面上缺陷的测量误差不超过0.1 mm。校正后的圆柱物体图像消除了圆柱曲面倾斜投影失真和“近大远小”透视变形,验证了提出方法的有效性。

关键词： 图像处理   亚像素边缘检测   板材测量   视觉测量  

摘要： 因像素级边缘检测精度低,导致板材的测量存在较大的误差。为此,提出了一种基于亚像素边缘检测的板材高精度测量方法。该方法假设物体边缘穿过的像素单元灰度值是不连续的,在各个边缘像素单元的矩形邻域内建立模型,准确计算出边缘的亚像素位置。通过张正友标定法校准相机,将图像坐标系与世界坐标系建立联系,计算出圆形PVC板材的直径。实验结果表明,在合成圆位置检测方面,半径的均方误差为0.034 1,检测精度较高。在实际图像测量方面,板材直径的均方误差为0.018 6,验证了该方法具有较高的稳定性和精度。

关键词： 全空域   航天测控   目标跟踪   校相  

摘要： 随着我国航天测控(Tracking Telemetry and Command, TT&C)领域的不断发展,面向全空域相控阵TT&C的工程应用越来越多,传统TT&C系统中的校相及跟踪方法无法适应新的工程应用。针对目前全空域相控阵TT&C系统中校相及目标跟踪方法与传统TT&C系统不通用的问题,结合工程实践应用,介绍了全空域相控阵TT&C系统中的校相及目标跟踪方法。实践表明,所提方法具有良好的目标跟踪能力,可满足工程需要。

关键词： 图像处理   儿童肺炎   CT图像分割   U-Net   图卷积网络   Transformer   先验图学习  

摘要： 提出了一种融合先验式图卷积与Transformer的U型网络(GTU-Net)。该网络通过将图卷积和Transformer有机结合,从像素到块逐级建立网络所需的局部-全局信息。在此过程中,为应对低特异性导致背景无关组织干扰性强的客观挑战,在图卷积前设计了一种新型的图邻接矩阵构造方法,即先验图学习。该方法通过监督学习的方式学习标签中潜藏的像素级类别及位置先验信息,从而更精确地刻画出不同特征的类间及类内关系,进一步增强图卷积网络的局部推理能力。实验结果表明,GTU-Net在私有儿童肺炎计算机断层扫描(CT)数据集上的Dice相似系数、杰卡德系数、敏感性、马修斯相关系数和平均表面距离指标相较性能最优的Transformer对比网络分别提升了1.82%、2.91%、1.33%、1.85%和0.0268 pixel,同时也在2个公有新型冠状病毒感染CT数据集上取得了较好的表现,这有效验证了其良好的泛化性。

关键词： 三维目标检测   RGB体素特征   视锥变换   半监督学习   KITTI数据集  

摘要： 基于LiDAR、可见光等多模态传感器的高精度三维目标检测是自动驾驶领域的关键技术。为了提高目标检测的精度和方位感知能力,降低模型对于标注数据的依赖,结合视锥变换方法优化了三维点云方向特征提取策略,提出了一种基于视锥变换和半监督学习架构的三维目标检测技术。具体而言,基于通道注意力模块优化视锥体对远距离目标的感知能力,提出了RGB体素模块提升遮挡目标的识别精度。首先通过深度网络从RGB图像中提取纹理信息,将其与激光雷达的距离信息融合,以保持三维空间特征的完整性。其次,通过特征融合模块提取体素空间特征的权重。最后,采用自适应伪标签方法降低对标注样本的依赖,并基于群体投票方法进一步降低误报率。实验结果表明,该方法在KITTI数据集上取得了令人满意的成果,行人和车辆目标检测的准确率分别达到了56.30%和75.88%。该研究为未来在复杂的场景中实现高效的三维目标检测提供了思路,并为进一步优化自动驾驶的多模态数据融合技术奠定了基础。

关键词： 遥感技术   图像处理   教学创新   应用能力  

摘要： “遥感图像处理及应用”课程作为重要的遥感专业课程,面临着一系列挑战和问题。课程涉及跨学科内容,从遥感技术、地理信息系统到数字图像处理,具有实践性和创新性,但存在教材内容滞后、教学方式单一、思政要素融合不足等问题。为解决这些问题,依照课程章节设计了改进措施。在理论教学部分运用案例分析法、学生讨论法、选项提问法提高学生学习效率,在实验教学部分利用流程图法、现场演示法、思维发散法覆盖专业应用实验,以及引用多元化教学模式完善线上教学内容。通过不断的课程完善和教学方法创新,旨在培养专业领域遥感技术应用人才,推动遥感技术的发展与创新。