本文基于Xu等2024年发表于《Journal of Manufacturing Processes》的研究论文,从科研逻辑出发拆解该研究的问题提出、技术方法、学术创新与研究缺口,提炼可复用的技术思路与课题切入方向,为焊接智能化监测领域的硕博生研究提供深度参考。
【论文基础索引】
论文标题:Online welding status monitoring method of T-joint double-sided double arc welding based on multi-source information fusion(基于多源信息融合的T型接头双面双弧焊接在线状态监测方法)
核心作者:Fengjing Xu(上海交通大学材料科学与工程学院);Qiang Wang*(上海交通大学材料科学与工程学院);Huajun Zhang**(上海交通大学材料科学与工程学院、上海振华港口机械有限公司)
发表期刊/会议:Journal of Manufacturing Processes
发表时间:2024年
卷期/页码:124 (2024) 1485–1505
DOI:https://doi.org/10.1016/j.jmapro.2024.06.059
核心标签:焊接状态监测、多源信息融合、集成学习、视觉传感、电弧传感
一、论文核心背景与问题
本研究围绕T型接头双面双弧(DSDA)焊接的在线状态监测展开,其研究逻辑起点紧扣行业生产需求与学术研究空白,核心内容如下:
① 行业/学术核心痛点
中厚板T型接头是海洋工程、造船、汽车加工等领域的核心焊接结构,传统单弧多层多道焊工序复杂(需预热、清根、翻面),而DSDA焊接虽能简化工序、提升焊接效率与接头力学性能(晶粒细化、降低残余应力),但存在两大核心监测难题:
一是双面成形特性导致内部缺陷(未焊透、焊漏等)难以实时检测,传统离线/破坏性检测大幅降低生产自动化与效率;
二是T型结构限制焊枪可达性与姿态,焊枪偏摆、装配间隙变化易引发焊接缺陷,且现有监测方法无法适配DSDA焊接的双弧耦合特性。
② 现有主流研究的进展与关键局限性
论文原文明确指出现有焊接状态监测研究的3点核心局限性,均为该研究的直接突破目标:
研究对象聚焦单弧焊接,针对T型接头DSDA焊接的在线监测研究极少,缺乏适配其异步焊接工艺与结构约束的专属方法;
单一传感技术(视觉、电弧、声传感)各有缺陷,视觉传感易受弧光/飞溅干扰、声传感易受环境噪声影响、电弧传感信息维度不足,无法全面表征复杂的DSDA焊接非线性过程;
多源信息融合研究多针对对接/搭接接头,且存在特征冗余、模型精度与实时性难以兼顾的问题,传统投票类融合模型泛化能力差,难以满足工业在线监测要求。
③ 核心解决思路
提出融合焊接电流、电弧电压、电弧声、熔池图像四类多源信号的T型接头DSDA焊接在线监测全流程框架,通过“轻量化数据预处理→多源特征精准提取→Fisher评分特征选优→堆叠策略集成学习建模”的技术路线,实现焊接状态的高精度、实时识别,利用多源信号的冗余性与互补性弥补单一传感的不足。
④ 核心效果与贡献(量化结果)
本研究通过实验验证实现了多项核心性能突破,为DSDA焊接在线监测奠定了技术基础:
熔池ROI检测:轻量化YOLO-L模型精度98.76%,参数量/GFLOPs较原始YOLOv5降低80%/85%,推理时间71.4ms,满足实时检测要求;
状态识别:堆叠集成学习模型准确率98.538% ,较单一基础分类器(KNN/RF/LightGBM)最高提升6.47%,较传统投票融合方法提升3.38%以上;
实时性:单样本全流程处理时间约50ms,稳定焊接过程中可在3个连续处理样本内即时检测缺陷;
多源融合验证:移除任一信号源模型精度均显著下降,其中电弧声信号缺失精度降幅最大(7.70%),验证了多源融合的必要性。


二、核心技术方法拆解
本研究的技术方法形成了 “信号采集-预处理-特征提取-特征选优-建模识别” 的完整技术闭环,所有设计均围绕DSDA焊接的工艺特点与工业实时性要求展开,以下按实验平台与设计→核心实施步骤→关键技术细节三层逻辑深度拆解。
(一)实验平台与设计
实验设计的核心亮点是适配DSDA焊接的异步工艺与T型结构约束,硬件架构与数据集构建均遵循“工业可落地、变量可控制、验证可复现”原则,具体设计如下:
硬件架构 由机器人DSDA焊接系统和多源信息采集系统组成,无定制化高端设备,适配工业现场改造:
焊接系统:2台Fanuc焊接机器人+控制柜+焊机,采用异步DSDA焊接策略(一侧先起弧,另一侧后起弧,双焊枪同速移动,固定弧距30mm),保证T型接头根部焊接质量;
采集系统:Hall传感器(采集电流/电压,采样率10000Hz)、双麦克风(采集两侧电弧声,采样率10000Hz)、工业相机(采集熔池图像,帧率15-20Hz),DAQ卡实现模数转换,自研软件实现多源信号同步采集,以200ms为单个数据处理单元。 相机布置于焊接后方,可同时捕捉前后熔池的正反面视图,解决T型结构熔池可视化难题。



实验变量与工件设计
工件:Q345中厚钢板(300×100×30mm),45°K型坡口,为海洋工程/港口机械常用母材;
焊接参数:GMAW直流焊接,电流140-230A、电压18-28V、速度16-30cm/min,保护气为20%CO₂+80%Ar(流量18L/min),焊枪角度20-50°、装配间隙0-3mm,参数范围覆盖工业实际生产区间。
数据集与标签标注
焊接状态:定义5类典型状态(0类无缺陷、1类未焊透、2类焊漏、3类焊偏、4类咬边),每类状态均有定量标注标准(如未焊透$p_t<0.9p_s$、焊漏$g>0$、咬边$r_1/r_2>0.05h$),避免主观标注误差;
数据集:熔池图像数据集5000张,按7:3划分训练/测试集,通过改变焊接/装配参数生成各类状态样本,保证数据集的多样性与代表性。

验证方案 采用多维度对比验证体系,确保各技术模块的性能可验证、可对比:
模块级验证:熔池检测模型(YOLO-L vs 原始YOLOv5 vs YS模型)、特征提取网络(所提模型 vs VGGNet/ResNet/MobileNet);
模型级验证:基础分类器(KNN/RF/LightGBM) vs 传统融合模型(平均投票/多数投票) vs 所提堆叠集成模型;
机制级验证:逐一移除多源信号中的一类,测试模型精度变化,明确各信号源的重要性。

(二)核心实施步骤
本研究的方法论可转化为6个可复现的执行步骤,各步骤上下游逻辑紧密,解决目标明确,形成完整的在线监测技术流程:

步骤1:多源信号同步采集
通过自研软件触发DAQ卡与工业相机,实现电流/电压/电弧声(10000Hz)与熔池图像(15-20Hz)的同步采集,以200ms为一个处理单元,保证多源信号的时间对齐。
步骤2:数据预处理(解决“信号噪声与熔池ROI难提取”问题)
熔池ROI检测:基于轻量化YOLO-L模型实现双熔池ROI自动检测,引入弧起弧时间阈值$T_{th}$和识别置信度阈值$C_{th}$解决漏检问题(漏检时沿用前一帧检测框位置),输出熔池ROI区域;

波形信号去噪:电流/电压信号滤波去除高频电磁干扰,电弧声信号采用谱门控去噪法去除直流分量与双弧互干扰,保留原始时频特征。

步骤3:多源特征提取(解决“单源信号信息维度不足”问题)
针对四类信号的特性设计专属提取方法,共提取58维初始特征:
熔池图像:基于改进CNN(MBN+CABN模块)提取9维深度特征,模型推理时间21.75ms,识别准确率98.63%;
焊接电流:提取RMS、方差、STD等8维时域统计特征;

电弧电压:提取VH、偏度、RMS等5维时域统计特征;

电弧声:融合时域特征(ZCR、短时能量等)与频域特征(5频段能量/STD+12维MFCC),共提取18维特征。




步骤4:Fisher评分特征选优(解决“特征冗余导致模型效率低”问题)
基于Fisher评分对58维特征进行重要性排序(评分越高,特征类间距离越大、类内距离越小,判别性越强),通过3个基础分类器验证不同维度特征的识别性能,最终选取前40维最优特征(维度压缩31%),经t-SNE降维验证,40维特征形成的样本簇具有良好可分性。


步骤5:堆叠集成学习建模(解决“单一模型泛化能力差”问题)
构建基于Stacking策略的集成学习模型,分为两级学习器:
0级基础学习器:选取KNN、RF、LightGBM三种异质学习器(原理互补,避免同质性误差),通过交叉验证生成新特征集;

1级元学习器:以微调SVM作为元学习器,对新特征集进行分类,避免模型过拟合。

步骤6:在线监测与实验验证
将训练完成的模型部署至DSDA焊接实验平台,以50ms/样本的处理速度实现焊接状态实时识别,通过3组工业级实验验证模型的精度、鲁棒性与实时性,分析缺陷识别的误检/漏检原因。
(三)关键技术细节(可直接复用)
本研究披露了多项可直接迁移至其他焊接监测或智能制造研究的核心技术细节,包括模型设计、特征提取、去噪方法等,所有参数与规范均与论文原文完全一致:
轻量化YOLO-L模型设计规范 以YOLOv5为基线,核心改造为用MobileNet的深度可分离卷积和逆残差模块替换原Focus、C3、SPPF结构,移除冗余计算单元;模型性能:精度98.76%、MAP97.94%、推理时间71.4ms,较原始YOLOv5参数量降80%、GFLOPs降85%、推理时间降49%。
电弧声谱门控去噪法实施步骤 ① 去除电弧声信号的直流分量;② 用IIR滤波器平滑信号谱图;③ 基于典型噪声信号的统计特征计算掩码;④ 对目标信号谱图进行掩码操作,去除双弧互干扰;该方法可保留原始时频特征,适配多声源工业场景。
熔池CNN特征提取器核心改进 以MobileNet为基线,替换为MBN(多尺度融合瓶颈) 和CABN(坐标注意力瓶颈) 模块,提升特征提取的精度与可解释性:
MBN:移除残差连接,通过1×1、3×3、5×5卷积核实现多尺度特征融合,输出为各分支特征和,丰富空间尺度信息;
CABN:引入坐标注意力(CA)模块,沿横纵坐标编码特征通道,捕捉熔池的空间位置信息,解决传统注意力丢失坐标信息的问题。


40维最优多源特征组成(按Fisher评分排序) 最终选取的特征为研究提供了直接的特征复用参考:电流8维($C{RMS}$、$C{varience}$、$C{STD}$等)、电压5维($V_H$、$V{skewness}$、$V{RMS}$等)、电弧声18维(MFCC-2/6/12、$S{f\ energy}$、ZCR等)、熔池9维(WP-12/6/8等)。
堆叠集成学习模型的核心设计
基础学习器:KNN(无参模型,抗异常值)、RF(集成树模型,特征筛选能力强)、LightGBM(梯度提升模型,非线性拟合能力优);
交叉验证:采用m折交叉验证训练基础学习器,生成新特征集作为元学习器输入,避免过拟合;
元学习器:微调SVM为元学习器,利用其小样本分类优势提升模型泛化能力。


工业级实时性参数 电流/电压/电弧声采样率10000Hz,熔池图像帧率15-20Hz,单样本处理单元200ms,全流程处理时间约50ms,熔池ROI检测推理时间71.4ms,均满足工业在线监测的实时性要求(一般要求≤100ms)。
三、学术创新与研究价值
本研究的创新并非单一技术点的改进,而是针对DSDA焊接监测的全流程体系创新,所有创新均直接解决现有研究的局限性;研究价值则从学术理论补全和实际落地潜力两个维度体现,全程以论文原文量化结果为支撑。
(一)差异化学术创新
本研究的创新点与【论文核心背景与问题】中提及的3点现有研究局限性一一对应,无杜撰对比研究,所有突破均为论文原文明确提出:
填补T型接头DSDA焊接在线监测的研究空白 针对“现有研究聚焦单弧焊接,缺乏DSDA焊接专属监测方法”的局限性,首次构建了适配T型接头DSDA焊接异步工艺与结构约束的多源信息融合在线监测框架,定义了5类DSDA焊接典型缺陷的定量标注标准,为该研究方向提供了首个可复现的实验与方法论参考。
实现多源信号的高效融合与特征互补 针对“单一传感信息维度不足、易受干扰”的局限性,创新融合焊接电流、电弧电压、电弧声、熔池图像四类信号,通过定量实验明确了各信号源的重要性(电弧声>电压>电流>熔池图像),利用信号间的冗余性与互补性实现了DSDA焊接过程的全面表征,解决了单一传感无法精准识别复杂焊接缺陷的问题。
突破“精度-实时性-可解释性”的三重平衡难题 针对“多源融合研究特征提取效率低、模型精度与实时性难以兼顾”的局限性,提出两项核心技术创新:
设计轻量化YOLO-L模型,在保证熔池ROI检测精度(98.76%)的前提下,大幅降低模型计算量,满足工业有限计算资源下的实时检测要求;
提出融合MBN和CABN的CNN熔池特征提取器,不仅实现98.63%的特征识别精度,还通过Grad-CAM可视化验证了深度特征与焊接缺陷形成机理的匹配性(如未焊透特征聚焦熔池头尾尖锐边缘),提升了深度学习模型的可解释性,解决了焊接视觉传感“黑箱”问题。

提出高精度的异质堆叠集成学习建模方法 针对“传统集成学习(投票)精度低、易过拟合”的局限性,构建基于Stacking策略的异质集成学习模型,通过“基础学习器交叉验证生成新特征+SVM元学习器分类”的方式,实现98.538%的识别准确率,较单一基础学习器最高提升6.47%,较传统投票融合方法提升3.38%以上,解决了传统融合模型泛化能力差的问题。
(二)研究价值
1. 学术理论补全
完善了DSDA焊接的监测理论体系,首次系统研究了T型接头DSDA焊接过程中多源信号的特征规律,明确了电弧声信号在DSDA焊接状态识别中的核心作用,为多源传感在复杂焊接工艺中的应用提供了理论依据;
提出了 “轻量化视觉检测+深度特征可视化” 的焊接视觉传感新范式,通过Grad-CAM将深度特征与焊接缺陷形成机理关联,提升了焊接视觉传感的可解释性,为焊接图像的特征提取提供了新思路;
建立了 “多源特征提取-Fisher评分选优-堆叠集成建模” 的通用化多源信息融合框架,为切削、3D打印等其他复杂制造过程的状态监测提供了可复用的学术范式。
2. 实际落地潜力
本研究的所有设计均围绕工业可落地展开,无高端定制化设备,量化结果验证了其在工业生产中的适配性:
硬件改造成本低:实验平台基于商用Fanuc焊接机器人和通用传感器(Hall传感器、麦克风、工业相机)构建,所提方法无需对现有焊接设备进行大规模改造,可直接适配海洋工程、造船、港口机械等行业的中厚板T型接头焊接场景;
实时性与精度满足工业要求:单样本处理时间约50ms,稳定焊接过程中可即时检测缺陷,识别准确率98.538%,误检/漏检仅出现在状态过渡阶段,完全满足工业生产的质量控制要求;
工程化落地支撑充足:上海振华港口机械有限公司作为合作单位,为该技术的工程化测试与落地提供了实际工业场景,缩短了实验室研究到工业应用的转化周期。
四、研究启发与缺口挖掘
本研究为焊接智能化监测领域的课题研究提供了大量可复用的技术与思路,同时基于论文的研究边界(实验约束、验证场景、模型适用条件)可推导出明确的研究缺口与切入方向,所有内容均不脱离论文原文,拒绝空泛描述。
(一)可复用技术与思路(明确适配场景+注意事项)
本研究披露的方法、框架、设计逻辑可直接迁移至其他智能制造研究方向,以下为核心可复用内容:
轻量化YOLO模型的改造思路
适配场景:工业场景中有限计算资源下的实时视觉检测(如焊接、切削、装配的在线视觉监测);
复用方式:将YOLO系列模型的核心结构替换为MobileNet的深度可分离卷积和逆残差模块,移除冗余计算单元;
注意事项:需根据检测目标的复杂度调整卷积核尺度和模块数量,避免过度轻量化导致检测精度下降。
多源信号的特征提取与选优流程
适配场景:所有复杂制造过程的多源信息融合研究(如切削状态监测、3D打印质量监测、激光焊接监测);
复用方式:单源信号针对性提取特征(时域/频域/深度特征)→Fisher评分进行重要性排序→基础模型验证最优特征维度;
注意事项:Fisher评分仅考虑单特征判别性,未考量特征间的关联性,可结合互信息法进一步优化。
异质堆叠集成学习的建模策略
适配场景:小样本、多类别、非线性的制造过程状态识别问题;
复用方式:选择原理互补的异质基础学习器→交叉验证生成新特征集→以SVM/逻辑回归为元学习器避免过拟合;
注意事项:基础学习器的数量需适度,过多会增加模型复杂度,降低实时性。
工业声传感的谱门控去噪法
适配场景:存在多声源互干扰的工业声传感监测场景(如电弧焊接、激光焊接、机床切削);
复用方式:通过谱图掩码操作去除干扰声源,保留目标信号的时频特征;
注意事项:需提前采集典型噪声信号的统计特征,保证掩码计算的准确性。
深度学习模型的Grad-CAM可视化方法
适配场景:所有基于深度学习的焊接视觉监测研究;
复用方式:通过可视化深度特征的关注区域,验证特征与缺陷形成机理的匹配性,提升模型可解释性;
注意事项:需结合焊接工艺的缺陷形成机理进行专业解读,避免单纯的视觉特征分析。
(二)研究缺口与切入思路(缺口+可执行切入方向)
本研究的实验验证与模型设计存在明确的研究边界,基于此推导的5个研究缺口均为论文原文未覆盖的内容,每个缺口配套1句极简可执行的切入思路,直接服务于课题设计:
研究缺口:模型仅验证了固定参数下的焊接状态识别,未考虑DSDA焊接动态变参数(焊接速度、焊枪角度实时变化)的工业场景,适应性不足; 切入思路:构建动态变参数DSDA焊接数据集,引入LSTM提取多源信号的时序特征,优化集成学习模型以适配变参数场景。
研究缺口:状态过渡阶段存在误检/漏检,因信号特征响应存在延迟,现有模型未考虑特征的时序关联性; 切入思路:将单时间单元的特征提取改为时序序列特征提取(如1s时间窗口),构建时空融合模型(CNN+LSTM),提升过渡阶段的识别精度。
研究缺口:实验仅针对Q345钢的GMAW直流DSDA焊接,未验证方法对其他母材/焊接方法的适配性; 切入思路:选取铝合金、不锈钢等典型工程材料,搭建TIG/MIG-DSDA焊接实验平台,验证多源特征的通用性,对模型进行轻量化微调。
研究缺口:仅实现焊接状态的在线识别,未构建“识别-预警-调控”的闭环系统,缺乏缺陷主动抑制能力; 切入思路:基于监测模型的识别结果,建立焊接参数(电流/电压/速度)与缺陷状态的映射关系,设计PID算法实现焊接参数的实时自适应调控。
研究缺口:熔池ROI检测仅验证了30mm固定弧距的工况,未考虑不同弧距/焊枪角度的影响,模型鲁棒性有待提升; 切入思路:构建20-40mm弧距、10-60°焊枪角度的熔池图像数据集,通过数据增强与迁移学习优化YOLO-L模型,提升工况适应性。
五、论文完整逻辑链梳理
针对中厚板T型接头DSDA焊接双面成形导致缺陷难检测、现有监测方法聚焦单弧焊接且传感源有限的行业与学术痛点,论文首先通过文献分析明确了现有焊接监测研究的三大核心局限性——缺乏DSDA焊接专属监测方法、单一传感技术信息维度不足、多源融合的特征提取与建模精度/实时性难以兼顾,同时分析了视觉、电弧、声传感的各自优势与缺陷,提出融合焊接电流、电弧电压、电弧声、熔池图像四类多源信号的核心解决思路;
随后设计了适配DSDA异步焊接工艺的实验平台,构建了包含5类定量标注焊接状态的数据集,从数据预处理、特征工程、模型构建三个维度设计了全流程在线监测方法,即通过轻量化YOLO-L模型解决熔池双ROI实时检测问题、针对不同信号源设计专属特征提取方法、经Fisher评分选优解决特征冗余问题、构建基于堆叠策略的异质集成学习模型实现高精度分类;
接着通过多维度对比实验验证了各技术模块的性能——熔池检测模型的精度/速度对比、特征提取网络的性能对比、分类模型的精度对比、多源信号的重要性验证,同时通过工业级实验验证了方法的实时性和鲁棒性,分析了误检/漏检的原因;
最后得出核心结论,所提多源信息融合方法实现了98.538%的焊接状态识别准确率,单样本处理时间约50ms,满足工业在线实时监测要求,多源信号的互补性是提升识别精度的关键,其中电弧声信号的重要性最高,该方法为T型接头DSDA焊接的在线质量监测奠定了技术基础。
【个人思考衔接】
▢ 对论文方法的疑问与验证思路:
▢ 可直接复用在自身课题的内容:
▢ 拟拓展的研究方向: