本文基于Wang等2023年发表于《Journal of Manufacturing Processes》的研究论文,从科研逻辑出发拆解该研究的技术方法、学术创新与研究价值,挖掘可复用的研究思路和领域研究缺口,为焊接质量在线监测领域的课题研究提供参考。
【论文基础索引】
论文标题:On-line defect recognition of MIG lap welding for stainless steel sheet based on weld image and CMT voltage: Feature fusion and attention weights visualization(基于焊缝图像和CMT电压的不锈钢薄板MIG搭接焊接缺陷在线识别:特征融合与注意力权重可视化)
核心作者:Jie Wang(第一作者)、Zhifen Zhang*(通讯作者),均隶属于西安交通大学航空动力系统与等离子体技术国家重点实验室
发表期刊/会议:Journal of Manufacturing Processes
发表时间:2023
卷期/页码:108 (2023) 430–444
核心标签:多源信息融合、MIG焊接、焊接缺陷识别、在线监测、混合CNN模型
一、论文核心背景与问题
本研究围绕不锈钢薄板MIG搭接焊接的在线缺陷识别展开,其研究逻辑起点紧密贴合焊接制造领域的行业刚需与现有研究的核心痛点,所有分析均基于论文原文引言与研究背景部分,核心内容如下:
(1)行业/学术核心痛点
① 焊接是现代制造的核心连接技术,MIG焊接因生产效率高、自动化程度高广泛应用于不锈钢、铝合金焊接,但焊接过程受热变形、平台振动、搭接不均等因素影响,易在搭接接头产生烧穿、焊偏、宽度不均等缺陷,严重影响焊接质量;
② 传统焊接质量检测为离线方式(如超声波、磁粉检测),存在检测周期长、成本高的问题,无法满足现代制造的在线监测需求;
③ 现有焊接缺陷识别多基于单一传感器信息,识别精度和复杂条件下的抗干扰能力不足,而多源信息融合技术虽能弥补该缺陷,但深度学习模型融合多源信息时的特征挖掘机制不明、不同信息的直接互补性不清;
④ 深度学习模型在焊接缺陷识别中虽有强判别能力,但可解释性差,且Grad-CAM可视化技术在焊接缺陷识别模型的解释与可视化中鲜有报道。
(2)现有主流研究的进展与关键局限性
论文原文明确指出现有研究的3个核心局限性,均为单一技术路线或方法的固有问题:
① 单一传感器技术的固有缺陷:声学传感器易受工业现场背景噪声干扰;电流-电压传感器仅能反映焊接过程的有限信息;视觉传感器易受焊接烟尘、强弧光干扰,且在飞溅严重时难以识别焊接过渡状态;
② 多传感器融合的核心挑战:多传感器技术虽能提供更全面的焊接信息,但信息的冗余/互补性增加了模型计算负担,且不同类型传感器的信息融合方法尚未得到有效解决;
③ 深度学习模型的可解释性缺失:CNN等深度学习模型在焊接缺陷识别中已得到应用,但模型为“黑箱”,输入与输出的关联难以理解,且针对焊接缺陷的模型可视化与解释研究几乎空白。
(3)论文提出的核心解决思路
针对上述局限性,论文提出熔池图像与电压信号特征融合的混合CNN模型,实现不锈钢薄板MIG搭接焊接缺陷的在线精准识别,核心思路为:
① 采用同步触发装置实现熔池图像与焊接电压信号的同步采集与数据匹配,解决多源异构数据的时间一致性问题;
② 对电压信号进行短时傅里叶变换(STFT),将一维时序电压信号转化为二维时频谱图,实现与熔池图像的统一输入格式,便于CNN模型处理;
③ 设计并行CNN特征提取层的混合模型,对熔池图像和电压时频谱图分别提取特征,融合前保证二者特征维度一致并做归一化,避免单一信息的绝对优势;
④ 利用混淆矩阵分析模型识别性能,结合Grad-CAM可视化技术分析模型注意力权重,结合TSNE降维分析特征融合效果,解释模型的特征挖掘机制与信息互补性。
(4)论文最终实现的核心效果与贡献
论文通过实验验证了所提方法的有效性,核心量化结果与贡献如下:
① 混合CNN模型对起弧、正常、焊偏、烧穿、宽度不均五种焊接状态的平均识别精度达98.87% ,显著高于VOL_LSTM、STFT_CNN、CCD_CNN等单一传感器模型;
② 模型能精准识别焊接过程中难以检测的过渡状态(如起弧到正常、正常到烧穿),解决了单一视觉模型对过渡状态识别能力不足的问题;
③ 通过Grad-CAM可视化揭示了模型的注意力分配机制,明确了熔池图像与电压信号的互补性规律,弥补了焊接领域深度学习模型可解释性的空白;
④ 为多源传感器技术的焊接过程质量监测提供了方法指导,研究成果可拓展至电弧增材制造监测领域。


二、核心技术方法拆解
本研究的技术方法形成了“实验平台搭建→多源数据采集与预处理→信号转换→模型构建→验证与可视化”的完整技术闭环,以下按实验平台与设计→核心实施步骤→关键技术细节的逻辑深度拆解。
(一)实验平台与设计
实验平台的设计围绕 “多源数据同步采集、缺陷可控生成、实验结果可复现” 展开,与同领域研究相比,其核心设计思路体现在传感器的精准选型、缺陷的定向生成、验证方案的严谨性,具体细节如下:
1. 硬件架构设计逻辑
实验平台分为三大模块,各模块的选型与参数均为适配MIG搭接焊接的在线监测需求,避免了通用设备的不适配问题:
焊接系统:Fronius TPS400I焊接电源+KUKA KR22R1610机器人+焊枪,通过焊接电源设置电流、送丝速度等参数控制焊接状态,机器人保证焊接轨迹的精准性;
运动与控制系统:通过示教器预设焊枪的移动速度、焊接角度等参数,实现焊接轨迹的精准控制,为焊偏缺陷的定向生成提供基础;
多传感器采集系统:视觉传感器(XVC-1000专业焊接相机)+电压传感器(HIOKI 8847A记录仪),分别实现熔池图像和电压信号的采集,通过同步触发装置实现二者的时间同步。



2. 变量控制与缺陷生成的科学依据
为获取不同焊接状态的多源数据,设计变参数MIG焊接实验,通过定向调整焊接参数实现缺陷的可控生成,避免了自然缺陷的随机性带来的数据集质量问题,具体规则:
正常状态:低电流、无焊偏条件下获取;
烧穿缺陷:提高焊接电流或通过焊偏增加单位面积热输入实现;
焊偏缺陷:提前调整机器人轨迹,使焊丝中心偏离搭接线3mm实现;
宽度不均缺陷:采用双脉冲方法,通过送丝速度的高低交替(高脉冲快、低脉冲慢)实现;
起弧状态:焊接初始阶段的自然状态,与其他状态组合形成完整焊接过程。
实验共设计12组搭接焊接实验,分别在1.2m/min和1.5m/min两种焊接速度下各开展6组,实验材料为Q235不锈钢薄板(250501.8mm),保证了数据集的多样性与代表性。

3. 数据集构建与验证方案的严谨性
数据集构建:获取五种焊接状态的熔池图像及对应电压数据,电压信号按4000个数据点为一个数据块与单张熔池图像匹配(电压采样频率200kHz,相机50Hz,时间同步性严格匹配);熔池原始图像为12801024,裁剪为512512的核心区域,剔除无效背景信息,减少模型计算负担。
验证方案:为保证实验结果的可靠性,模型训练与测试重复10次,每次将数据集按70%训练集、30%测试集划分;固定随机种子(1-10) 控制实验变量,确保不同模型的输入一致;基于Pytorch框架,在Intel(R) Core(TM) i5-13600KF CPU+Nvidia 4070Ti GPU的硬件环境下训练,设置批次8、学习率0.0001,保证训练过程的一致性。

不同熔池状态下的电压数据:(a)电弧电压数据;(b) 图像数据的弧形;(c) 正常电压数据;(d) 正常图像数据;(e)焊接偏置电压数据;(f) 焊接偏置图像数据;(g) 烧穿电压数据;(h) 烧穿图像数据;(i) 不均匀宽度电压数据;(j) 图像数据宽度不均。
(二)核心实施步骤
将论文的方法论转化为可复现的步骤化执行流程,每一步明确解决目标与上下游逻辑关联,形成完整技术闭环:

多源异构信号同步采集
解决目标:实现熔池图像与电压信号的时间同步,为后续融合提供基础;
执行细节:通过同步触发装置控制XVC-1000焊接相机(50Hz)与HIOKI 8847A电压记录仪(200kHz)同步采集,相机拍摄熔池图像,电压记录仪采集焊接过程的电压时序信号。
多源数据预处理与匹配
解决目标:剔除无效信息,实现多源数据的一一对应;
执行细节:① 熔池图像:将12801024的原始图像裁剪为512512的熔池核心区域;
② 电压数据:按4000个数据点为一个数据块进行切片,每个数据块对应单张熔池图像,形成“图像-电压数据块”的匹配对。电压信号的时频转换与图像化
解决目标:将一维电压时序信号转化为二维图像格式,与熔池图像统一输入CNN模型;
执行细节:对每个电压数据块执行STFT,将其转化为二维时频矩阵,再转换为512*512的时频谱图;剔除10kHz以上的无效高频频段,仅保留0-10kHz的有效频谱信息,减少噪声干扰。混合CNN模型的构建与训练
解决目标:实现熔池图像与电压时频谱图的特征融合与焊接状态分类;
执行细节:① 输入层:将熔池图像和时频谱图压缩至128*128,保证输入维度一致;
② 并行特征提取层:采用3层CNN对两类图像分别提取特征;
③ 特征融合层:将提取的特征展平为一维,拼接后保证二者特征维度均为7200维,做归一化处理;
④ 分类层:通过3层线性回归层实现五种焊接状态的分类;
⑤ 模型训练:按上述超参数训练模型,重复10次获取平均精度。模型性能验证与对比分析
解决目标:验证所提混合模型的优越性,对比单一传感器模型的性能差异;
执行细节:训练6种不同模型(VOL_LSTM、STFT_CNN、CCD_CNN1/2、CCD_VGG16、HYB_CNN),对比各模型的分类精度、模型参数、浮点运算量,利用混淆矩阵分析模型对焊接过渡状态的识别能力。模型可解释性分析
解决目标:解释混合模型的特征挖掘机制与注意力分配规律,明确多源信息的互补性;
执行细节:① 利用Grad-CAM可视化模型对熔池图像和电压时频谱图的注意力权重;
② 采用TSNE降维方法,分析模型全连接层的特征融合效果,验证模型的自适应特征提取能力。
(三)关键技术细节
拆解论文原文明确披露的可直接复用的技术参数与方法,包括传感器选型、数据处理算法、模型超参数等,所有量化指标与论文原文完全一致:
1. 传感器核心参数与选型依据
(1)视觉传感器(XVC-1000焊接相机)
镜头:50mm长焦镜头(相比常规25mm镜头,可远距离拍摄,减少飞溅对镜头的污染,避免相机过热);
滤光片:960±10nm窄带滤光片(过滤焊接强弧光,仅保留熔池的有效光学信息,使熔池几何形状清晰,与背景对比度提升);
安装位置:镜头距熔池300mm,与水平成40°;焊枪与垂直成10°(保证熔滴充分填充搭接位置,同时相机能清晰拍摄熔池);
图像分辨率:原始12801024,裁剪后512512,最终输入模型时压缩至128*128。
(2)电压传感器(HIOKI 8847A记录仪)
采样频率:实验中设200kHz(设备最高支持5MHz,适配焊接电压的快速变化);
数据匹配规则:4000个电压数据点对应1张熔池图像(200kHz/50Hz=4000,时间同步严格匹配)。
2. 数据处理核心算法与参数
(1)短时傅里叶变换(STFT)
为挖掘电压信号的频率变化特征,STFT的参数经优化后确定,具体为:
窗长:256;窗型:汉宁窗;步长:50;
转换结果:将4000点的一维电压信号转化为1851*69的二维时频矩阵;
频段筛选:仅保留0-10kHz的频谱信息,剔除高频无效噪声。

通过 FFT 变换的频谱用于电压信号

通过 STFT 将电压信号转换为时频图像
(2)数据归一化与维度匹配
为避免单一信息在融合中占据绝对优势,做两项关键处理:
特征维度一致:融合前保证熔池图像和电压时频谱图的特征维度均为7200维;
归一化:对并行CNN提取的特征做归一化处理,消除不同信号的量纲影响。
3. 混合CNN模型的超参数设计
并行特征提取层为模型核心,共3个卷积层,均采用ReLU激活函数,前两层卷积后进行下采样,减少模型计算量,具体参数见表1:
表1 混合CNN并行特征提取层的核心参数

4. 对比模型的核心参数
为验证所提模型的优越性,设计6种对比模型,核心参数如下:
VOL_LSTM:LSTM处理原始电压信号,隐藏层数量1,隐藏层维度128;
CCD_CNN1:带下采样的CNN处理熔池图像,结构与并行特征提取层一致;
CCD_CNN2:无下采样的CNN处理熔池图像,其余结构与CCD_CNN1一致;
STFT_CNN:同CCD_CNN1结构,处理电压时频谱图;
CCD_VGG16:经典VGG16模型,处理熔池图像;
HYB_CNN:所提混合CNN模型,融合熔池图像与电压时频谱图特征。
三、学术创新与研究价值
本研究的创新点紧密围绕现有研究的局限性展开,无杜撰对比研究,所有创新点均为论文原文明确提出;研究价值从学术理论补全和实际落地潜力两个维度分析。
(一)差异化学术创新
本研究的3大核心创新点均对应解决了现有研究的核心局限性,实现了“方法创新→性能提升→机制解释”的三重突破,具体如下:
1. 提出熔池图像与电压信号特征融合的混合CNN模型,解决了单一传感器识别精度低、抗干扰性差的问题
针对单一传感器(视觉/电压)的固有缺陷,首次将熔池图像(直观反映焊接质量特征)与电压信号(快速响应焊接状态变化)进行深度融合,通过并行CNN特征提取+维度匹配+归一化的融合方法,避免了多源信息融合的计算负担与信息冗余问题。实验结果表明,混合模型平均识别精度达98.87%,相比单一视觉模型CCD_CNN1(95.51%)提升3.36%,相比单一电压模型STFT_CNN(80.40%)提升18.47%,显著提升了焊接缺陷的识别精度与抗干扰能力。
2. 揭示了多源信息在焊接缺陷识别中的互补性规律,解决了多源融合特征挖掘机制不明的问题
通过混淆矩阵分析与10次重复实验,证明了电压信息的引入能有效提升模型对焊接过渡状态的识别能力(如起弧到正常、正常到烧穿),弥补了单一视觉模型在飞溅/烟尘干扰下对过渡状态识别能力不足的问题;同时通过TSNE降维分析,验证了模型对多源特征的自适应融合与提取能力,明确了“视觉图像主导焊接稳态识别,电压信号主导焊接过渡状态识别”的互补性规律。

不同熔融状态的降维特征:(a)完全连接的 1 层;(b)完全连接的 2 层;(c)完全连接的 3 层
3. 首次将Grad-CAM技术应用于焊接缺陷识别模型的可视化,解决了深度学习模型可解释性差的问题
针对焊接领域深度学习模型“黑箱”的问题,首次将Grad-CAM可视化技术应用于熔池图像和电压时频谱图的注意力权重分析,实现了两项关键突破:
① 挖掘了熔池图像的敏感区域:混合模型的注意力不仅聚焦熔池中心,还覆盖熔池边缘与搭接位置,能更好地区分烧穿、焊偏等缺陷,而单一视觉模型的注意力仅聚焦局部区域,易受过渡状态干扰;
② 揭示了电压信号的频率敏感区间:混合模型的注意力主要分布在电压信号的2-9kHz频段,该频段的频率变化能精准反映焊接状态变化,而单一电压模型的注意力仅聚焦0-1kHz的主频率段,无法捕捉有效频率变化。 本创新填补了Grad-CAM技术在焊接缺陷识别模型解释中的应用空白。

CD_CNN1 模型的 CAM 可视化结果:(a)正常状态熔池图像;(b)正常状态下的 CAM;(c)烧穿熔池图像

CCD_CNN1 和 HYB_CNN 模型的 CAM 可视化结果:(a)弧形图像;(b)CCD_CNN1 下弧形图像的 Grad-CAM 结果;(c)HYB_CNN 下弧形图像的 Grad-CAM 结果;(d)烧穿图像;(e)CCD_CNN1 下烧穿图像的 Grad-CAM 结果;(f)HYB_CNN 下烧穿图像的 Grad-CAM 结果;(g)焊缝偏差图像;(h)CCD_CNN1 下焊缝偏差图像的 Grad-CAM 结果;(i)HYB_CNN 下焊缝偏差图像的 Grad-CAM 结果;(j)不均匀宽度图像;(k)CCD_CNN1 下不均匀宽度图像的 Grad-CAM 结果;(l)HYB_CNN 下不均匀宽度图像的 Grad-CAM 结果

STFT_CNN 和 HYB_CNN 模型的 Grad-CAM 可视化结果:(a)STFT_CNN 下电弧的 Grad-CAM 结果;(b)电弧的时间频谱图;(c)HYB_CNN 下电弧的 Grad-CAM 结果;(d)STFT_CNN 下烧穿的 Grad-CAM 结果;(e)烧穿的时间频谱图;(f)HYB_CNN 下烧穿的 Grad-CAM 结果;(g)STFT_CNN 下焊缝偏斜的 Grad-CAM 结果;(h)焊缝偏斜的时间频谱图;(i)HYB_CNN 下电弧的 Grad-CAM 结果;(j)STFT_CNN 下焊缝宽度不均的 Grad-CAM 结果;(k)焊缝宽度不均的时间频谱图;(l)HYB_CNN 下焊缝宽度不均的 Grad-CAM 结果
(二)研究价值
1. 学术理论补全
① 完善了多源异构信息在焊接缺陷在线识别中的融合机制,明确了视觉图像与电压信号的互补性规律,为后续多源传感器(如电流、声学、红外)的融合研究提供了理论参考;
② 建立了焊接电压信号的时频分析方法,揭示了焊接状态变化与电压信号频率分量(1-10kHz)的关联规律,为焊接电信号的特征挖掘提供了新方法;
③ 构建了焊接领域深度学习模型的可解释性分析框架(Grad-CAM+TSNE),为后续焊接缺陷识别模型的设计与解释提供了通用方法。
2. 实际落地潜力
本研究的方法与模型具有极强的工业工程可实现性,核心支撑为论文原文的量化结果与实验设计:
① 高精度与实时性兼顾:混合模型平均识别精度达98.87%,且模型的浮点运算量远低于VGG16等深层网络(VGG16的浮点运算量为混合模型的272倍),单张图像推理时间满足工业在线监测的实时性要求;
② 实验平台的工程适配性:研究所采用的传感器(XVC-1000焊接相机、HIOKI 8847A电压记录仪)均为工业级设备,安装方式与采集参数可直接适配工业现场的MIG焊接生产线;
③ 研究成果的可拓展性:论文明确指出,该方法可拓展至电弧增材制造监测领域,同时也可适配激光焊接、GTAW焊接等其他焊接方式的在线监测,为智能制造中的多源传感器在线监测提供了通用框架。
四、研究启发与缺口挖掘
本部分从可复用技术与思路和研究缺口与切入思路两个维度展开,可复用内容均为论文原文明确披露的、可直接迁移的方法;研究缺口基于论文的研究边界(如实验场景、缺陷类型、验证环境)合理推导,每个缺口配套可执行的切入思路。
(一)可复用技术与思路
本研究的多个方法和设计逻辑可直接复用于焊接质量监测及其他工业在线监测领域(如增材制造、机械故障诊断),每个内容明确适配场景、复用方式与注意事项:
1. 多源异构信号的同步采集与匹配方法
适配场景:需要融合一维时序信号(如电流、电压、声学)与二维视觉图像(如熔池、工件表面、设备状态)的工业在线监测研究;
复用方式:通过同步触发装置实现不同传感器的时间同步,根据传感器采样频率的比例,将时序信号按固定数据块与图像进行匹配;对图像进行核心区域裁剪,剔除无效背景信息;
注意事项:需根据传感器的采样频率合理设置数据块大小,确保时序信号与图像的时间同步性;图像裁剪需通过实验验证,保留能反映研究对象核心特征的区域。
2. 一维时序信号的时频转换与图像化方法
适配场景:将一维工业时序信号融合至CNN等视觉模型的研究,如基于电流/声学信号的焊接缺陷识别、基于振动信号的机械故障诊断;
复用方式:对一维时序信号执行STFT,将其转化为二维时频矩阵,再转换为与视觉图像一致的维度,实现统一输入格式;根据信号特征剔除无效高频频段,减少噪声干扰;
注意事项:需根据信号的频率特征优化STFT的窗长、窗型和步长(如焊接电压信号采用汉宁窗、窗长256);频段筛选需通过FFT分析验证,保留能反映状态变化的有效频段。
3. 多源特征融合的CNN模型设计方法
适配场景:多源视觉/时序信息融合的分类/识别模型设计,如多图像融合、图像-时序信号融合的缺陷识别;
复用方式:采用并行CNN特征提取层对不同源信息分别提取特征;融合前保证不同源特征的维度一致,并做归一化处理,避免单一信息的绝对优势;根据信息的特征复杂度设计匹配的卷积层结构;
注意事项:下采样的使用需兼顾特征保留与计算量控制,避免过度下采样导致特征丢失。
4. 深度学习模型的可解释性分析框架
适配场景:焊接、增材制造、机械故障诊断等工业领域的深度学习模型研究;
复用方式:结合Grad-CAM可视化模型对输入数据的注意力权重,挖掘敏感区域/频段;结合TSNE降维分析模型的特征融合效果,验证模型的自适应特征提取能力;
注意事项:需针对不同的输入数据类型(如熔池图像、电压时频谱图)调整Grad-CAM的可视化参数,确保注意力权重的准确性。
(二)研究缺口与切入思路
本研究的实验与验证均存在明确的研究边界,基于该边界推导的4个研究缺口均为领域内的关键待解决问题,每个缺口配套极简可执行的切入思路:
1. 研究缺口:模型的泛化性未覆盖多材料、多焊接方式、多接头形式
论文仅验证了Q235不锈钢薄板的MIG搭接焊接场景,未覆盖铝合金、钛合金等其他焊接材料,GTAW、激光焊接等其他焊接方式,以及对接、角接等其他焊接接头形式,模型的泛化性未得到验证。
切入思路:拓展实验数据集,加入铝合金、钛合金等材料,GTAW、激光焊接等方式,对接/角接等接头形式的焊接多源数据,优化混合CNN的特征提取层,提升模型的跨场景泛化能力。
2. 研究缺口:缺陷识别的覆盖范围有限,未包含常见焊接缺陷
论文仅识别了烧穿、焊偏、宽度不均三类缺陷,未覆盖焊接生产中常见的气孔、夹渣、未熔合等缺陷,无法满足工业现场的全面缺陷识别需求。
切入思路:设计实验定向生成气孔、夹渣、未熔合等缺陷,获取对应的熔池图像与电压信号数据,扩充模型的分类标签;优化模型的特征提取层,挖掘各类缺陷的特异性特征(如气孔对应的熔池气泡特征、电压信号的突变特征)。
3. 研究缺口:模型未验证工业现场的强干扰环境适应性
论文的实验在实验室可控环境下开展,未考虑工业现场的强电磁干扰、大量焊接烟尘、高速焊接等复杂条件,模型的工业现场抗干扰性未得到验证。
切入思路:搭建工业现场模拟实验平台,引入强电磁、烟尘、飞溅等干扰因素,获取复杂环境下的焊接多源数据;采用数据增强(如图像加噪、频谱变换)和抗干扰算法(如小波去噪、特征筛选),优化模型以提升复杂环境下的鲁棒性。
4. 研究缺口:模型为离线训练,未实现端到端的在线更新
论文的模型为离线训练后在线识别,无法适配焊接过程中焊接参数(如电流、送丝速度)的动态变化,当焊接参数调整时,模型的识别精度可能下降。
切入思路:结合联邦学习、增量学习等轻量化学习方法,设计端到端的在线更新混合CNN模型,实现焊接过程中模型的动态迭代与优化,适配焊接参数的实时变化。
五、论文完整逻辑链梳理
本研究的科研逻辑遵循 “提出问题→分析问题→设计方案→实验验证→得出结论→展望应用” 的经典学术研究路径,所有环节紧密衔接,无逻辑断层,完整逻辑链如下:
针对现代制造中MIG焊接在线质量监测的刚需,以及单一传感器识别精度低、多源信息融合特征挖掘机制不明、深度学习模型可解释性差的核心问题,首先通过文献综述分析了声学、电流电压、视觉等单一传感器的局限性,以及多传感器融合和深度学习在焊接领域的研究现状;
随后设计了包含焊接系统、运动控制系统、多传感器采集系统的实验平台,通过变参数实验定向生成烧穿、焊偏、宽度不均等缺陷,实现了起弧、正常、焊偏、烧穿、宽度不均五种焊接状态的熔池图像和电压信号的同步采集与预处理;
接着对电压信号做STFT时频转换,将其转化为与熔池图像格式统一的时频谱图,设计了并行CNN特征提取的混合模型,通过维度匹配和归一化实现多源特征的有效融合;
然后通过10次重复的训练测试,对比6种不同模型的精度、参数规模和浮点运算量,利用混淆矩阵验证了混合模型对焊接过渡状态的识别能力;
再通过Grad-CAM可视化模型的注意力权重,结合TSNE降维分析特征融合效果,揭示了多源信息的互补性规律和模型的注意力分配机制;
最终得出混合CNN模型可实现98.87%的高识别精度,且能有效识别焊接过渡状态、注意力分配机制更合理的结论,为多源传感器技术的焊接过程质量监测提供了方法指导,并将研究成果拓展至电弧增材制造监测领域。
【个人思考衔接】
▢ 对论文方法的疑问与验证思路:
▢ 可直接复用在自身课题的内容:
▢ 拟拓展的研究方向: