本文基于Dai等2025年发表在《Journal of Manufacturing Processes》的点焊质量评估相关论文，从科研逻辑出发拆解其研究背景、技术方法、学术创新与研究缺口，提炼可复用的研究思路，为焊接质量评估领域的硕博生研究提供参考。
【论文基础索引】
论文标题：A multi-source heterogeneous information fusion network for comprehensive assessment of spot welding quality（一种基于多源异构信息融合网络的点焊质量综合评估方法）
核心作者：Wei Dai（中国船舶科学研究中心/深海技术科学太湖实验室）；Ding Tang*（上海交通大学机械系统与振动国家重点实验室，通讯作者）
发表期刊/会议：Journal of Manufacturing Processes
发表时间：2025
卷期/页码：135 (2025) 142–160
DOI：https://doi.org/10.1016/j.jmapro.2025.01.033
核心标签：多源异构信息融合；混合注意力机制；点焊质量评估；信息冗余；类别不平衡
一、论文核心背景与问题
本部分梳理论文的研究逻辑起点，明确行业/学术痛点、现有研究局限性、核心解决思路与最终实现效果。
（1）行业/学术核心痛点
① 汽车车身制造中电阻点焊（RSW）是核心工艺，车身含4000~6000个焊点，生产现场的板材表面状态、装配间隙等随机干扰易引发烧穿、冷焊、喷溅等缺陷，而传统预焊接参数优化+焊后人工离线抽检的方式检测效率低、覆盖不足，存在车身结构安全风险，无法满足现代化生产线的高效质量控制需求；
② 点焊过程具有强非线性、多变量耦合特征，现有单源传感器的质量评估方法仅能捕获部分质量信息，无法全面表征点焊质量属性，精度和鲁棒性均不足；
③ 点焊工业数据集存在严重的类别不平衡问题，正常样本占比超80%，烧穿、冷焊等缺陷样本极稀有，传统模型训练策略会导致模型偏向多数类，少数类缺陷漏检率高，而工业场景中缺陷漏检的成本远高于正常样本误判。
（2）现有主流研究的进展与关键局限性
论文原文明确现有研究的3个核心局限性，均为行业内主流方法的共性问题：
单源传感器方法的固有缺陷：动态电阻（DR）信号虽能反映焊点熔核形成的内部特征，但易受电极状态、板材表面干扰，稳定性差；视觉图像能表征焊点表面形貌，但易受光照、环境噪声影响，且无法反映内部冶金特征，二者单独使用均无法实现全面的质量评估；
多源异构融合方法的融合效率低：现有焊接领域的多源融合多采用简单特征拼接策略，忽略了高维特征空间的信息冗余问题，且多源数据的异构性（信号为1D时序、图像为2D矩阵）导致特征分布和噪声水平差异，关键语义特征易被冗余/噪声特征掩盖；
模型训练未适配工业数据的类别不平衡特性：传统交叉熵（CE）损失会使模型优先学习多数类正常样本的特征，对少数类缺陷的识别精度低、漏警率高，无法满足工业生产的高缺陷检测率要求。
（3）论文提出的核心解决思路
针对上述局限性，论文提出基于混合注意力机制的多源异构信息融合网络（MSHIFN） ，采用特征级融合策略整合点焊DR信号和视觉图像两类异构数据，核心设计思路为：
① 分模态特征提取：为DR信号设计通道注意力（SEM）、为视觉图像设计坐标注意力（CAM），分别提取二者的多尺度质量相关特征，提升特征判别性；
② 跨模态交互融合：基于多头注意力构建互注意力模块（MAM），实现信号与视觉特征的双向交互，缓解异构数据的语义鸿沟；
③ 冗余特征抑制：引入软注意力模块（SAM）的深度特征融合策略，自适应分配特征权重，抑制融合过程的信息冗余；
④ 类别不平衡缓解：采用Focal loss替代传统CE损失，降低易分类正常样本的权重，提升少数类缺陷样本对损失的贡献。
（4）论文最终实现的核心效果与贡献
论文在汽车生产线的4个不同焊接参数/板材组合的数据集上完成验证，核心量化效果与贡献如下：
精度显著提升：MSHIFN的Macro-F1分数显著优于单模态模型和简单拼接融合模型，如数据集a上Macro-F1达0.906，较简单拼接模型（0.875）提升0.031，较最优单模态模型提升0.011；各类缺陷的漏警率（MAR）和虚警率（FAR）均显著降低，有效解决了少数类缺陷漏检问题；
满足工业实时性：模型参数量仅约198.6 K，单样本平均推理时间101 ms，为轻量化模型，可适配工业在线检测场景；
鲁棒性优异：在4种不同板材厚度/材质、不同焊接参数的数据集上均表现出稳定性能，能适应汽车生产线的复杂工况；
方法论创新：提出了“分模态注意力提取-跨模态互注意力交互-软注意力深度融合”的多源异构融合框架，为焊接领域的多模态质量评估提供了可复用的技术路径。
二、核心技术方法拆解
本部分按实验平台与设计→核心实施步骤→关键技术细节的科研逻辑拆解论文的方法论，聚焦“为什么做、怎么做、能得到什么”，所有技术细节均为论文原文明确披露的可复现内容，未披露部分标注说明。
（1）实验平台与设计
论文的实验设计围绕工业实用性、验证严谨性展开，与同领域研究的核心差异在于构建了真实汽车生产线的多源异构数据集并设计了多维度的对比验证体系，核心设计细节如下：
① 硬件采集架构
搭建汽车生产线点焊集成数据采集与管理系统，集成电流/电压传感器采集焊接电参数并计算DR信号，工业相机采集点焊高分辨率视觉图像；系统将采集数据与车身标识、点焊ID、时间戳关联存储，实现点焊过程的全链路可追溯，为质量溯源提供数据支撑。
② 数据集构建与预处理
数据来源：采集4种不同焊接参数方案的点焊数据，涵盖4类板材组合（镀锌冷轧钢、热浸镀锌低碳冷轧钢、热成型钢）和厚度搭配（0.65mm+0.7mm、0.65mm+0.65mm、1.0mm+1.0mm、1.2mm+1mm），覆盖汽车车身焊接的典型工况；
缺陷定义：划定6类典型点焊缺陷（烧穿、冷焊、变形、边缘焊、喷溅、重叠），为工业现场的常见缺陷类型；
标签标注：通过人工视觉检测+定期超声检测的双重方式标注质量标签，结合表面质量与内部质量，解决单一检测方式的标注偏差问题；
数据预处理：对DR信号移除电流脉冲间冷却阶段的干扰峰值（依据预定义的电流脉冲时序参数），并采用巴特沃斯低通滤波器抑制主焊接阶段的高频噪声；对所有数据采用min-max归一化消除量纲影响；
数据集划分：按4:1划分为训练集和测试集，严格保持原始类别分布，避免因随机划分导致的少数类样本缺失；采用5折交叉验证确定模型最优超参数，提升验证结果的可靠性。
③ 验证方案设计
评估指标：针对类别不平衡数据集，摒弃单一准确率指标，采用漏警率（MAR）、虚警率（FAR）、Macro-F1分数作为核心评估指标，MAR反映缺陷漏检程度，FAR反映正常样本误判程度，Macro-F1为各类别F1分数的未加权平均值，能客观评估模型对少数类缺陷的识别能力；
对比模型：设计5类对比模型，全面验证MSHIFN各模块的有效性，包括单模态模型（1D CNN+SEM、2D CNN+CAM）、基于MSHIFN的单模态变体（M3、M4）、简单拼接融合模型（M5），所有模型均采用Focal loss训练，保证对比的公平性。
（2）核心实施步骤
论文的MSHIFN为端到端的深度学习框架，无需人工设计特征，核心实施步骤形成“数据采集-预处理-特征提取-跨模态融合-深度融合-分类训练-性能验证”的技术闭环，每一步的解决目标与上下游逻辑如下：
步骤1：多源异构数据采集与预处理
解决目标：获取真实、干净的带标签多源数据；
执行动作：采集汽车生产线的DR信号和点焊视觉图像，对DR信号做干扰峰值移除+巴特沃斯低通滤波，对图像做标准化，构建6类缺陷的标注数据集，按4:1划分训练/测试集并保持类别分布。
步骤2：分模态多尺度特征提取
解决目标：针对异构数据的特性，精准提取各自的质量相关特征，抑制噪声；
执行动作：将DR信号输入信号特征学习模块（堆叠SEM+1D CNN+池化） ，实现通道特征的自适应重校准，提取信号多尺度特征；将视觉图像输入视觉特征学习模块（堆叠CAM+2D CNN+池化） ，实现空间特征的精准定位，提取图像多尺度特征；二者均结合残差连接，避免梯度消失。
步骤3：跨模态特征交互融合
解决目标：缓解信号-图像的异构语义差异，挖掘二者的内在关联特征；
执行动作：将分模态提取的中间特征图输入互注意力模块（MAM） ，基于多头注意力的QKV范式做双向引导学习：视觉引导信号时对视觉查询矩阵池化降维，信号引导视觉时对信号查询矩阵复制升维，实现维度匹配，结合残差连接输出跨模态关联特征。
步骤4：深度特征融合与冗余抑制
解决目标：抑制多源融合的信息冗余，保留关键质量相关语义特征；
执行动作：将跨模态融合后的特征经全局平均池化（GAP） 展平，输入软注意力模块（SAM） ，通过计算特征相关矩阵生成自适应权重，对信号-图像特征做加权融合，生成“信号-图像”联合特征表示，最大化抑制冗余与噪声。
步骤5：质量分类与模型训练
解决目标：实现点焊质量的精准分类，缓解类别不平衡问题；
执行动作：将联合特征输入全连接层分类器，通过softmax输出质量类别概率分布；采用Focal loss作为损失函数，使用Adam优化器+带预热的余弦学习率调度器训练模型，训练600个epoch，批量大小8，保存验证集最优参数。
步骤6：模型性能验证与分析
解决目标：验证MSHIFN的优越性，分析模型的优势与局限性；
执行动作：在4个不同焊接参数的测试集上，计算各模型的MAR、FAR、Macro-F1分数，对比分析单模态、简单融合与MSHIFN的性能差异；通过混淆矩阵、t-SNE特征可视化，分析模型对不同缺陷的识别能力与融合特征的判别性。
（3）关键技术细节
本部分拆解论文原文明确披露的可直接复用的技术参数、算法设计与实现细节，为同类研究提供技术参考：
① 数据预处理关键参数
DR信号：干扰峰值移除依据预定义的电流脉冲时序参数，巴特沃斯低通滤波器仅用于主焊接阶段的高频噪声抑制；
数据标准化：采用min-max归一化，将数据映射至[0,1]区间，消除量纲影响。
② 特征提取模块（SEM/CAM）实现细节
通道注意力模块（SEM） ：输入DR信号经1D CNN（Conv+BN+ReLU）生成特征图→全局平均池化（GAP）聚合通道信息→两层瓶颈结构的全连接层生成通道注意力权重→权重与原特征图逐通道相乘→残差连接输出，实现通道特征重校准；
坐标注意力模块（CAM） ：输入图像经2D CNN生成特征图→沿高度/宽度方向分别执行GAP，生成方向感知特征向量→向量拼接后经1×1卷积降维→拆分后恢复通道维度生成坐标注意力图→注意力图与原特征图逐元素相乘→残差连接输出，保留位置信息并实现空间特征精准定位。
③ 跨模态融合模块（MAM）实现细节
注意力机制：基于多头注意力，头数设为4，为论文经调优后的最优值；
QKV范式：信号与图像特征双向生成QKV矩阵，视觉引导信号时视觉为Q，信号为K/V，信号引导视觉时信号为Q，视觉为K/V；
维度匹配：视觉查询矩阵通过平均池化降维，信号查询矩阵通过复制升维，保证Q与K/V的维度一致；
梯度保护：所有交互过程均结合残差连接，避免梯度消失/爆炸。
④ 深度融合模块（SAM）实现细节
特征拼接：将GAP展平后的信号特征与图像特征按维度拼接；
权重生成：计算拼接特征的内积得到相关矩阵→经softmax归一化生成注意力权重分数，反映特征间的关联程度；
加权融合：对拼接特征按权重分数加权求和，生成最终的联合特征表示，自适应抑制冗余特征。
⑤ 模型训练超参数（经5折交叉验证优化）
优化器：Adam，初始学习率1e-3，β1=β2=0.9；
学习率调度：带预热的余弦调度，预热阶段学习率逐步提升至1e-3，后续按余弦函数衰减，最终稳定在1e-5，避免初始学习率过高导致的参数不稳定；
训练参数：epoch=600，batch size=8；
损失函数：Focal loss，γ为可调因子，通过调优适配点焊数据集的类别不平衡程度。
⑥ 评估指标计算公式
$$
MAR=\frac{FN}{FN+TP} \quad FAR=\frac{FP}{FP+TP}
$$
$$
F1=\frac{2*(precision*recall)}{precision+recall} \quad Macro-F1=\frac{1}{C}\sum_{i=1}^{C}F1_i
$$
其中，C为质量类别数，Macro-F1为各类别F1分数的未加权平均值，避免多数类样本对结果的主导。
⑦ 模型性能关键参数
参数量：约198.6 K，为轻量化深度学习模型；
推理速度：单样本平均推理时间101 ms，满足工业在线实时检测的需求。
三、学术创新与研究价值
本部分从差异化学术创新和研究价值两个维度展开，创新点严格对应论文原文提出的核心贡献与现有研究的局限性，研究价值结合论文量化结果，从学术理论与工业落地双维度分析，无主观夸大。
（1）差异化学术创新
论文的创新点为针对性解决现有研究的核心局限性，且所有创新点均已通过实验验证有效性，为焊接质量评估领域的方法学创新，核心差异化创新点如下（对应论文原文3大核心贡献）：
创新点1：堆叠式通道-坐标注意力的分模态多尺度特征提取策略，解决了单源特征提取无法适配异构数据特性、易受噪声干扰的问题
现有焊接质量评估方法多采用普通CNN提取特征，未针对DR信号（1D时序）和视觉图像（2D空间）的异构特性设计专用提取模块，特征判别性低。本研究首次将通道注意力（SEM） 与坐标注意力（CAM） 分别应用于点焊信号和图像的特征提取，SEM实现信号通道特征的自适应重校准，CAM保留图像位置信息并实现空间特征精准定位，结合残差连接和池化层，充分挖掘二者的多尺度质量相关特征，有效抑制了噪声干扰，提升了单模态特征的判别性。
创新点2：基于多头注意力的互注意力模块（MAM） ，解决了跨模态融合中异构数据语义鸿沟大、无法实现双向交互的问题
现有焊接领域的多源融合多为单向特征传递或简单拼接，忽略了信号与图像特征的内在关联，无法缓解异构数据的语义差异。本研究基于4头注意力的QKV范式设计MAM，实现信号-图像特征的双向引导学习，通过池化/复制的方式解决异构特征的维度差异，在多抽象层级实现跨模态信息交换，有效衰减了异构数据的语义鸿沟，挖掘了二者的互补性特征，为多源异构数据的交互融合提供了新方法。
创新点3：软注意力（SAM）深度融合+Focal loss的组合策略，同时解决了多源融合的信息冗余问题和数据集的类别不平衡问题
这是本研究的双重技术突破： ① 针对信息冗余问题，提出SAM深度融合策略，通过计算特征相关矩阵生成自适应注意力权重，对拼接特征做加权融合，最大化保留质量相关的语义信息，抑制冗余和噪声，解决了简单拼接导致的关键特征被掩盖的问题； ② 针对类别不平衡问题，采用Focal loss替代传统CE损失，通过调节γ因子抑制易分类的正常样本权重，提升难分类的少数类缺陷样本对损失的贡献，有效降低了缺陷的漏警率（MAR），满足工业生产的高缺陷检测率要求。
（2）研究价值
① 学术理论补全
为点焊质量评估领域填补了信号-图像异构数据的特征级融合理论空白，提出的“分模态注意力提取-跨模态互注意力交互-软注意力深度融合”框架，明确了多源异构融合的技术路径，为激光焊接、电弧焊接等其他焊接工艺的多源融合质量评估提供了理论参考；
验证了混合注意力机制在焊接多源异构数据处理中的有效性，首次将通道、坐标、互、软注意力有机结合应用于点焊质量评估，揭示了注意力机制对提升特征判别性、缓解语义差异、抑制信息冗余的作用机理，丰富了焊接领域的深度学习特征处理理论；
完善了类别不平衡工业焊接数据的模型训练体系，提出的Focal loss+带预热余弦学习率的训练策略，为解决工业焊接数据中正常样本占比过高、缺陷样本稀缺的问题提供了可复用的理论方法。
② 实际落地潜力
论文的研究成果完全基于汽车生产线的真实数据与工况，具备极强的工业落地性，核心体现为：
轻量化+高实时性：模型参数量仅198.6 K，单样本推理时间101 ms，可直接部署在汽车生产线的嵌入式设备上，实现点焊质量的在线实时评估，替代传统的离线人工抽检，大幅提升检测效率；
强鲁棒性+广适配性：在4种不同板材组合、不同焊接参数的数据集上均表现出稳定的性能，能适应汽车生产线的复杂工况，无需针对不同工艺重新训练模型，降低了工业应用的成本；
高检测精度+低漏检率：有效降低了烧穿、冷焊等少数类缺陷的MAR和FAR，解决了工业现场最关注的缺陷漏检问题，能有效规避车身焊接的结构安全风险，提升汽车车身的制造质量；
产线无缝集成：数据采集系统可与现有汽车生产线的焊接设备、工业相机无缝集成，无需大规模改造产线，具备大规模推广应用的潜力。
四、研究启发与缺口挖掘
本部分从可复用技术与思路和研究缺口与切入思路两个维度展开，可复用内容为论文原文明确披露的、可迁移至其他研究场景的方法，研究缺口优先基于论文的讨论/局限性/未来展望部分，每个缺口配套可执行的切入思路，直接服务于课题研究设计。
（1）可复用技术与思路
论文的方法论具有极强的跨场景迁移性，可直接复用至工业质量评估、多模态故障诊断、多传感器数据融合等领域，以下为核心可复用内容，明确适配场景、复用方式、注意事项：
1. 分模态注意力特征提取框架
适配场景：存在信号-图像/多模态异构数据的工业质量评估/故障诊断场景（如激光焊接、电弧焊接、机械加工表面检测、设备多模态故障诊断）；
复用方式：针对不同模态数据的特性，为时序信号设计通道注意力模块，为视觉图像设计坐标注意力模块，结合残差连接构建分模态特征提取分支，搭配CNN+池化层实现多尺度特征提取；
注意事项：需根据数据的模态特性调整注意力模块的参数（如通道数、池化方式），并对数据做针对性预处理以消除噪声干扰。
2. 基于多头注意力的跨模态互注意力融合方法
适配场景：需要实现异构特征双向交互融合的研究场景（如多模态故障诊断、跨模态目标检测、多传感器数据融合）；
复用方式：基于QKV范式，根据异构特征的维度差异采用池化/复制的方式进行维度匹配，设置多头注意力实现多抽象层级的特征交互，结合残差连接避免梯度消失；
注意事项：注意力头数需根据特征维度调优，过多头数会增加计算量，过少则无法充分捕获跨模态关联。
3. 软注意力深度融合策略（SAM）
适配场景：多源特征融合中存在信息冗余、关键特征被噪声掩盖的场景（如多传感器数据融合、多模态分类、多视图目标检测）；
复用方式：将各模态特征展平后拼接，计算特征内积得到相关矩阵，经softmax生成自适应权重，对特征进行加权求和实现融合；
注意事项：需对特征做归一化处理，避免特征量纲差异导致的权重分配偏差。
4. 类别不平衡数据集的模型训练策略
适配场景：工业领域存在严重类别不平衡的分类任务（如工业缺陷检测、设备故障诊断、产品质量分级）；
复用方式：采用Focal loss替代传统交叉熵损失，调节γ因子关注难分类样本；结合带预热的余弦学习率调度器优化模型训练，避免初始学习率过高导致的参数不稳定；
注意事项：γ因子需根据数据集的不平衡程度调优，不平衡程度越高，γ因子需适当增大。
5. 工业焊接多源数据的采集与预处理方法
适配场景：各类焊接工艺的过程数据采集与预处理；
复用方式：集成电参数传感器和工业相机采集多源数据，对时序焊接信号采用峰值移除+低通滤波预处理，对数据做min-max归一化，按类别分布划分训练/测试集并采用k折交叉验证；
注意事项：滤波算法的选择需根据信号的噪声类型确定，标签标注需结合多种检测方式保证真实性。
（2）研究缺口与切入思路
论文在讨论与结论部分明确了自身的研究局限性，同时结合模型的验证边界，可挖掘出4个核心研究缺口，每个缺口均配套极简可执行的课题切入思路，为后续研究提供方向：
缺口1：少数类缺陷样本量极少，模型泛化能力不足
具体问题：点焊数据集中烧穿、冷焊等少数类缺陷样本量极稀有，模型难以学习到足够的判别特征，导致此类缺陷的识别精度较低（如数据集c上烧穿的识别精度仅55.6%），且异构数据的语义鸿沟进一步加剧了该问题；
切入思路：结合生成式数据增强（GAN/SD） 和小样本学习（Few-Shot Learning） ，扩充少数类缺陷的样本量，同时通过小样本算法提升模型对稀缺样本的特征学习能力。
缺口2：模型未考虑工业现场的复杂工况与传感器噪声
具体问题：模型仅在4种固定焊接参数的数据集上验证，未考虑电极磨损、板材表面油污、焊接电流波动等工业复杂工况，此类工况会导致数据噪声大幅增加，模型性能可能显著下降；
切入思路：构建包含电极磨损、板材污染、参数波动等复杂工况的点焊数据集，引入域自适应学习（Domain Adaptation） 方法，提升模型对未知复杂工况的泛化能力。
缺口3：端到端模型的融合特征可解释性不足
具体问题：MSHIFN为端到端的深度学习框架，融合特征的物理意义不明确，无法解释模型对某一质量类别的判定依据，不利于工业现场的故障溯源与焊接工艺优化；
切入思路：结合可解释人工智能（XAI） 方法（如Grad-CAM、LIME），可视化模型的注意力区域和关键判别特征，挖掘融合特征与点焊熔核形成、缺陷产生的物理关联，提升模型的可解释性。
缺口4：未考虑工业现场的模态缺失场景
具体问题：研究假设DR信号和视觉图像均能有效采集，未考虑工业现场传感器故障、数据传输中断等导致的模态缺失场景，此时模型无法正常工作；
切入思路：设计鲁棒的多模态融合模型，引入模态补全或模态自适应学习方法，使模型在单一模态数据可用时仍能保持较好的质量评估性能。
五、论文完整逻辑链梳理
本文的研究逻辑遵循 “发现问题-分析问题-设计方案-实验验证-得出结论” 的经典科研范式，完整逻辑链为：
针对汽车生产线电阻点焊质量评估中，单源传感器方法精度和鲁棒性不足、多源异构融合存在信息冗余、工业数据集类别不平衡导致少数类缺陷漏检率高的核心痛点，论文首先分析了点焊过程的强非线性、多变量耦合特性，明确了DR信号和视觉图像的互补性与各自局限性，同时梳理了现有多源融合方法和模型训练策略的核心问题；
随后设计了基于混合注意力机制的多源异构信息融合网络（MSHIFN），采用特征级融合策略，通过分模态的通道-坐标注意力模块提取多尺度质量相关特征，基于多头注意力的互注意力模块实现信号-图像的双向跨模态交互，结合软注意力模块的深度融合策略抑制信息冗余，并采用Focal loss缓解数据集的类别不平衡问题；
接着搭建了汽车生产线点焊多源异构数据采集系统，构建了4种不同焊接参数/板材组合的标注数据集，设计了单模态、简单拼接融合等多组对比实验，采用MAR、FAR、Macro-F1分数作为评估指标，在测试集上全面验证MSHIFN的性能；
最后通过实验结果证实MSHIFN在点焊质量评估的精度、鲁棒性和实时性上均显著优于现有方法，明确了模型的核心创新点与局限性，并提出了基于数据增强、小样本学习、可解释AI、域自适应学习的未来研究方向，为焊接质量评估的多源异构融合研究提供了可复用的方法论与实验依据。
【个人思考衔接】
▢ 对论文方法的疑问与验证思路：
▢ 可直接复用在自身课题的内容：
▢ 拟拓展的研究方向：