本文基于Gao等2024年发表的《Method for monitoring and controlling penetration of complex groove welding based on online multi-modal data》展开深度解读，从研究背景、技术方法、学术创新、研究启发等维度拆解论文的科研逻辑与技术细节，提炼可复用的研究思路与落地方向，为焊接智能制造领域的课题研究提供参考。
【论文基础索引】
论文标题：Method for monitoring and controlling penetration of complex groove welding based on online multi-modal data（基于在线多模态数据的复杂坡口焊接熔透监控与控制方法）
核心作者：第一作者Peng Gao；通讯作者Jun Lu（lujunchenhao@njust.edu.cn）、Zhuang Zhao（zhaozhuang@njust.edu.cn）；所属机构为南京理工大学江苏省光谱成像与智能感知重点实验室、洛阳理工学院智能制造学院
发表期刊/会议：Journal of Intelligent Manufacturing（智能制造领域期刊）
发表时间：2024
卷期/页码：35:1247–1265
核心标签：复杂坡口焊接、熔透监控、多模态数据、深度学习、模糊PID控制
一、论文核心背景与问题
本模块严格基于论文引言与研究背景部分，梳理研究逻辑起点、行业痛点、现有研究局限性、核心解决思路及量化成果，明确研究的核心价值与定位。
1. 行业/学术核心痛点
工业机器人焊接中，手工打磨误差和焊件热变形导致坡口角度无法保持恒定，易出现未熔透/过熔透缺陷，严重降低焊接质量（如核工业管道焊接的气密性、承重性要求无法满足）；熔透量是熔透状态的核心表征，但焊接过程中难以直接获取；现有研究未关注坡口角度动态变化对熔透状态的核心影响，成为复杂坡口焊接熔透控制的关键瓶颈。
2. 现有主流研究的进展与关键局限性
论文原文明确指出现有研究的3个核心局限性，均为领域内未解决的关键问题：
局限性1：熔透监控多基于单模态熔池视觉数据，单源数据无法精准表征复杂焊接状态，未结合坡口角度这一关键影响因素，预测精度不足；
局限性2：激光焊缝跟踪技术仅用于焊缝位置定位，未与熔池形态建立关联，无法为熔透预测提供有效几何特征信息；
局限性3：研究多针对定角度坡口，未涉及同一条焊缝中坡口角度突变/渐变的复杂场景，且仅停留在熔透状态监控，未实现“监控-预测-控制”的闭环管理。
3. 论文提出的核心解决思路
针对上述局限性，论文构建 “多模态数据采集-特征提取-融合预测-模糊PID控制” 的一体化技术体系，核心思路为：
搭建主被动协同视觉系统，同步采集激光线图像（坡口几何特征）和熔池图像（熔透状态特征），实现多模态数据的在线获取；
采用深度学习模型分别提取坡口角度（ERFNet+在线难例挖掘OHEM）和熔池多尺度特征（改进DenseNet+空洞空间金字塔池化ASPP）；
对坡口角度特征与熔池特征进行重构融合，建立多模态数据到背面熔宽的映射关系，实现熔透状态的精准预测；
以预测背面熔宽与目标值的偏差为输入，设计模糊PID控制算法，通过调节焊接电流改变热输入，实现复杂坡口焊接背面熔宽的自适应闭环控制。
4. 论文最终实现的核心效果与贡献
论文通过实验验证了方法的精度、实时性与实用性，核心量化成果如下：
预测精度：复杂坡口背面熔宽预测均方误差（MSE）优于0.28mm，较未加入坡口角度信息的模型降低57% ；
实时性：模型整体运行时间小于0.015s，满足工业在线监控的时间要求；
控制精度：模糊PID控制结果的MSE不超过0.11mm，平均绝对误差（MAE）≤0.27mm，平均绝对百分比误差（MAPE）≤8.68%，实现定角度、突变角度、渐变角度三类复杂坡口的熔透稳定控制。
焊接结果： a 30° 无控制， b 30° 有控制， c 45° 无控制， d 45° 有控制
宽度比较
焊接结果： a) 无控制的 30°–45°， b) 有控制的 30°–45°
宽度比较
二、核心技术方法拆解
本模块按实验平台与设计→核心实施步骤→关键技术细节的逻辑，深度拆解论文可复现的技术方法，明确“设计原因-执行方式-实验结果”，避免单纯罗列内容，突出科研设计的科学性。
（一）实验平台与设计
论文的实验平台设计围绕 “多模态数据精准采集、变量科学控制、数据集合理构建、验证方案全面性” 展开，与同领域研究相比，核心创新在于主被动协同视觉系统的硬件搭配和复杂坡口场景的变量设计，具体细节如下：
1. 硬件架构设计与选型依据
硬件分为主被动协同视觉系统和焊接系统，所有参数均为论文原文披露，设计核心为“避免弧光干扰、保证数据实时性、实现特征精准采集”：
主动视觉系统（坡口特征采集） ：450nm蓝线激光+Basler 1920-155um工业相机+12mm Computar镜头；相机与焊枪平行（便于标定），激光与焊接位置间距30mm（平衡实时性与弧光干扰），相机垂直向下距钢板150mm，激光与相机夹角40°；配备450nm窄带滤光片，过滤弧光干扰。
被动视觉系统（熔池特征采集） ：与主动视觉同型号相机/镜头；配备850nm高通滤光片（避免电弧特征光谱干扰），相机与焊枪夹角60°，距焊缝150mm，截取熔池中后段图像（去除弧光核心区域干扰）。
焊接系统：Fronius CMT advanced 4000R直流气体金属电弧焊（GMAW）设备；母材为5mm厚304不锈钢，坡口根部钝边1mm；焊丝为1.2mm不锈钢焊丝，保护气为Ar+O2，焊接速度7mm/s，以焊接电流为核心调控变量（匹配电压实现热输入调节）。
2. 变量控制与实验场景设计
为模拟工业生产中复杂坡口的实际情况，论文设计三类焊接钢板场景，实现坡口角度变量的梯度化控制，覆盖工业常见工况：
定角度坡口：30°、45°单一角度，验证模型在基础场景的精度；
突变角度坡口：30°→45°、45°→30°，验证模型对角度突变的响应能力；
渐变角度坡口：30°逐步过渡至45°、45°逐步过渡至30°，验证模型对角度连续变化的适配性。
3. 数据集构建与标签标注规则
数据集构建遵循 “大样本、分训练测试、去不稳定数据” 原则，标签标注采用高精度三维扫描技术，保证真值的准确性：
数据采集：共采集12道焊缝的多模态数据（激光线图像+熔池图像），其中9道为训练集（21873组），3道为测试集（5484组）；去除引弧/熄弧阶段的不稳定数据，每组分约2000张有效图像；
标签标注：采用FreeScan Trak三维激光扫描仪扫描焊接件背面，经焊缝校正→基础平面确定→3D点云投影2D平面→外轮廓提取→宽度曲线拟合步骤，将背面熔宽真值与图像精准对齐，作为回归模型的标签。
4. 验证方案设计
采用分层验证策略，从“特征提取精度→预测模型精度→控制算法效果”逐步验证，覆盖模型与算法的全链路，评价指标均为领域通用指标：
激光线分割模型：以交并比（IoU）、平均交并比（MIoU）为指标，对比主流分割模型的性能；
背面熔宽预测模型：以MSE为核心指标，对比改进模型与原始DenseNet的效果；
模糊PID控制算法：以MAE、MSE、MAPE为指标，验证三类坡口场景下的控制精度。
（二）核心实施步骤
论文的技术方法形成 “数据采集-特征提取-融合预测-闭环控制-结果验证” 的完整技术闭环，共6个核心步骤，每一步均有明确的解决目标和上下游逻辑关联，可直接复现：
步骤1：多模态数据同步采集与对齐
解决目标：获取坡口几何特征和熔池状态特征的原始数据，消除采集位置差带来的时序偏差；
执行方式：通过主被动协同视觉系统同步采集激光线图像（坡口区域，超前焊接位置30mm）和熔池图像（熔池中后段），结合焊接速度（7mm/s）和相机拍摄速度，实现两类数据的时序对齐；同时记录焊接电流、电压等工艺参数。
步骤2：坡口角度的提取与计算
解决目标：从激光线图像中精准提取坡口特征点，计算实际坡口角度；
执行方式：① 预处理：将坡口特征点扩展为11×11像素块，降低单像素分割的难度；② 分割：采用ERFNet+OHEM模型进行像素级分割，提取特征点的二维图像坐标；③ 标定：通过线结构光标定（交比不变性+三角投影）将二维坐标转换为三维世界坐标；④ 计算：利用余弦定理将三维特征点转换为实际坡口角度。
步骤3：熔池多尺度特征的提取
解决目标：去除熔池图像的弧光干扰，提取能表征熔透状态的多尺度特征；
执行方式：① 预处理：截取熔池中后段图像，去除弧光核心区域；② 特征提取：采用改进DenseNet（加入1×3/3×1卷积核）提取基础特征，结合ASPP模块实现多尺度特征提取；③ 特征降维：经池化层、线性层将高维特征转换为低维熔池特征向量。
步骤4：多模态数据的重构与融合预测
解决目标：融合坡口角度的几何特征与熔池的视觉特征，建立背面熔宽的预测模型；
执行方式：① 维度统一：将坡口角度特征转换为128维特征向量，与熔池特征向量保持维度一致；② 特征融合：通过向量积将两类特征融合为128×128二维特征（表征特征间的相关性）；③ 回归预测：将二维特征展平为一维，经两层线性层回归得到背面熔宽的预测值。
步骤5：基于模糊PID的背面熔宽闭环控制
解决目标：将预测背面熔宽稳定在目标值（3mm），实现熔透状态的自适应控制；
执行方式：① 偏差计算：计算预测值与目标值的偏差e(t)和偏差变化率ec(t)；② 模糊PID调节：将e(t)和ec(t)作为输入，动态修正PID参数（Kp=15，Ki=0.1，Kd=0）；③ 工艺参数调控：根据PID输出结果调节焊接电流，通过热输入公式$q=\frac{\eta U I}{v}$改变热输入，实现背面熔宽的调节。
步骤6：实验验证与结果反馈
解决目标：验证模型与算法的精度、实时性与实用性；
执行方式：通过三维激光扫描仪获取背面熔宽的实际值，与预测值/控制值对比，计算MAE、MSE、MAPE等指标；针对三类坡口场景分别验证，形成结果反馈。
（三）关键技术细节
本部分拆解论文原文明确披露的可直接复用的技术细节，包括模型结构、超参数、核心算法、标定方法等，所有参数与公式均与论文原文一致，未披露内容标注为「论文原文未披露该核心细节」：
1. 激光线分割：ERFNet+OHEM模型
模型结构：ERFNet采用Encoder-Decoder架构（共23层），1-16层为编码层（含Non-bottleneck-1D和Downsampler结构），17-23层为解码层（反卷积上采样）；Non-bottleneck-1D将3×3卷积拆分为3×1+1×3卷积，在保证精度的同时减少参数；Downsampler通过“最大池化+卷积”融合特征，保留细节信息。
Non-bottleneck-1D
Downsampler
OHEM改进：加入在线难例挖掘解决正负样本不平衡问题，损失函数为：
$$
L_{OHEM}= -\frac{1}{OHEM(N)} \sum_{l=1}^{L} w_{l} \sum_{n=1}^{OHEM(N)} g_{ln} log \left(s_{ln}\right)+\left(1-g_{ln}\right) log \left(1-s_{ln}\right)
$$训练超参数：RTX TITAN显卡，Adam优化器，1000轮训练，批大小24，初始学习率0.001，权重衰减0.01，图像尺寸512×512；
实验结果：MIoU达0.8073，单样本处理时间0.0143s，优于DDR、BiSeg、PSP等主流分割模型。
2. 熔池特征提取：改进DenseNet+ASPP模块
DenseNet改进：在DenseLayer中加入1×3/3×1卷积核，训练时分别提取横竖特征，测试时融合为3×3卷积核，无额外计算量但提升特征提取能力；
ASPP模块：包含1×1卷积、3个不同扩张率的空洞卷积、ASPP池化，通过多尺度空洞卷积获取不同感受野的特征，实现熔池特征的全面提取；
训练超参数：RTX TITAN显卡，Adam优化器，150轮训练（5轮线性预热），批大小32，初始学习率0.001，图像尺寸512×512；
实验结果：单样本处理时间0.0145s，融合后的预测模型MSE较原始DenseNet降低57%。
DenseLayer 结构： a 原始结构， b 我们的训练结构， c 我们的测试结构
ASPP模块结构
3. 多模态特征融合：向量积融合方法
核心逻辑：将坡口角度的低维几何特征与熔池的高维视觉特征转换为相同维度（128维），通过向量积实现特征融合，既保留两类特征的独立信息，又表征特征间的相关性；
执行步骤：角度特征→128维向量→与熔池特征向量做向量积→128×128二维特征→展平为一维→线性层回归；
实验结果：融合后模型总MSE为0.1653mm，复杂坡口（渐变角度）预测MSE≤0.28mm。
4. 模糊PID控制：参数设计与解模糊方法
核心参数：经实验试凑确定基础PID参数$K_p=15$，$K_i=0.1$，$K_d=0$；
解模糊方法：采用加权平均法，解模糊公式为：
$$
K_{d f u z z y}=\frac{\sum_{i} \sum_{j}\left[\sqrt{M_{e}(i, j) M_{e_{c}}(i, j)} r(i, j)\right]}{\sum_{i} \sum_{j} \sqrt{M_{e}(i, j) * M_{e_{c}}(i, j)}}
$$动态修正公式为$K(n)=K(n-1)+\beta * K_{d f u z z y}$；
控制逻辑：以偏差e(t)和偏差变化率ec(t)为输入，通过模糊规则动态修正PID参数，调节焊接电流改变热输入，实现背面熔宽的稳定控制。
5. 线结构光标定：交比不变性+自由平面标定靶
核心方法：采用基于交比不变性的自由平面标定靶方法，结合线结构光与相机的三角投影关系；
执行步骤：通过标定板求解特征点的三维相机坐标→空间平面拟合→得到线结构光的平面方程→实现二维图像坐标到三维世界坐标的转换；
优势：步骤简单、精度高、成本低，满足工业现场的标定需求。
三、学术创新与研究价值
本模块从差异化学术创新和研究价值两个维度展开，差异创新严格对应论文原文提及的现有研究局限性，结合论文中的定向对比研究（如模型性能对比、方法效果对比）拆解核心突破；研究价值从学术理论和实际落地两方面，以论文量化成果为支撑，避免主观夸大。
（一）差异化学术创新
论文的创新点均为针对现有研究局限性的定向突破，且通过与经典模型/方法的对比验证了创新的有效性，核心差异创新如下：
1. 首次将焊缝跟踪技术与熔透监控深度融合，填补坡口角度影响熔透的研究空白
现有研究（Chen et al.2021、Nomura et al.2020）仅基于熔池视觉数据进行熔透监控，完全忽略坡口角度动态变化对熔透状态的核心影响；论文首次将激光焊缝跟踪技术从“位置定位”拓展至“坡口角度提取”，建立了坡口角度-熔池特征-背面熔宽的映射关系，明确了坡口角度对熔透状态的影响机制，填补了复杂坡口熔透预测的理论空白。
2. 构建主被动协同视觉系统，实现焊接领域几何+视觉的多模态数据融合
现有多模态研究（Lv et al.2017、Wu et al.2017）仅融合视觉+声学/电流参数，未结合坡口几何特征；论文设计的主被动协同视觉系统，通过主动视觉提取坡口几何特征（角度）、被动视觉提取熔池视觉特征，实现了两类核心特征的在线同步采集；并提出向量积融合方法，解决了低维几何特征与高维视觉特征的有效融合问题，为焊接领域多模态数据融合提供了新方法。
3. 首次实现复杂坡口（突变/渐变角度）熔透的“监控-预测-控制”闭环
现有研究多针对定角度坡口（Chen and Wu2009），且仅停留在熔透监控阶段，未实现闭环控制；论文覆盖定角度、突变角度、渐变角度三类复杂坡口场景，构建了从多模态数据采集、特征提取、融合预测到模糊PID控制的完整闭环，实现了复杂坡口焊接熔透的在线实时控制，突破了现有研究的场景限制。
4. 改进深度学习模型，在保证实时性的同时提升特征提取与预测精度
针对焊接场景中弧光、飞溅的干扰，论文对经典模型进行针对性改进：① ERFNet加入OHEM解决样本不平衡，激光线分割MIoU达0.8073，单样本处理时间0.0143s；② DenseNet加入1×3/3×1卷积核，结合ASPP模块实现多尺度熔池特征提取，预测模型运行时间0.0145s；③ 融合模型总运行时间＜0.015s，满足工业在线监控的实时性要求，解决了“精度与实时性难以兼顾”的行业难题。
（二）研究价值
1. 学术理论补全
完善了复杂坡口焊接熔透的影响机制理论，建立了坡口角度与熔透状态的定量关系，为后续复杂坡口焊接研究提供了理论基础；
提出了主被动协同视觉+多模态特征融合的熔透预测框架，拓展了机器视觉和深度学习在焊接智能制造中的应用边界；
实现了焊缝跟踪与熔透监控的技术融合，为焊接领域“感知-决策-控制”的一体化研究提供了新的科研思路。
2. 实际落地潜力
论文的方法基于通用GMAW工艺和工业级机器视觉设备，硬件成本可控，且所有量化成果均满足工业生产要求，落地潜力显著：
实时性适配：模型运行时间＜0.015s，模糊PID控制响应及时，可直接集成至工业机器人焊接系统，实现在线实时监控与控制；
工况覆盖全面：覆盖定、突变、渐变三类坡口场景，解决了工业生产中手工打磨误差和焊件热变形导致的坡口不稳定问题，有效避免未熔透/过熔透缺陷；
精度满足工业要求：控制结果MSE≤0.11mm，MAE≤0.27mm，可满足核工业管道、桥梁承重梁、船舶大型结构件等高端焊接领域的质量要求；
降本增效：可替代人工检测与焊接参数调节，降低人工成本，提升焊接质量的稳定性和生产效率。
四、研究启发与缺口挖掘
本模块严格基于论文原文的讨论/局限性/未来展望部分，结合研究边界推导，提炼可复用的技术与思路和明确的研究缺口+切入思路，拒绝空泛内容，直接服务于课题研究。
（一）可复用技术与思路
论文的方法、框架、设计逻辑可直接迁移至智能制造相关领域，以下为5个核心可复用内容，明确适配场景、复用方式与注意事项：
1. 主被动协同视觉系统的设计思路
适配场景：焊接、增材制造、零件检测等需要几何特征+目标特征融合的智能制造场景；
复用方式：主动视觉（线结构光/激光）提取几何特征，被动视觉提取目标视觉特征，根据场景优化传感器间距、夹角、滤光片参数；
注意事项：需平衡数据采集的实时性与抗干扰性，避免工业现场的弧光、粉尘、飞溅等干扰。
2. ERFNet+OHEM的像素级分割方法
适配场景：焊接焊缝跟踪、工业零件缺陷检测、复杂干扰下的视觉特征点提取等场景；
复用方式：保留ERFNet的轻量化架构和OHEM难例挖掘方法，根据场景调整特征块大小、训练超参数、分割类别；
注意事项：针对不同场景的干扰类型，搭配对应的滤光片/图像预处理方法，提升分割精度。
3. 改进DenseNet的卷积核设计方法
适配场景：智能制造领域的小样本图像特征提取、熔池/零件表面的多尺度特征提取；
复用方式：在经典卷积神经网络中加入1×3/3×1等非对称卷积核，训练时分别提取方向特征，测试时融合为常规卷积核，无额外计算量；
注意事项：根据任务需求调整卷积核组合，结合ASPP/SPP等模块提升多尺度特征提取能力。
4. 多模态特征的向量积融合方法
适配场景：多源异构数据融合的回归预测任务（如焊接熔透预测、增材制造成型质量预测）；
复用方式：将不同模态的特征转换为相同维度的特征向量，通过向量积实现特征融合，表征特征间的相关性；
注意事项：需对特征进行归一化/标准化处理，保证不同模态特征的分布一致性。
5. 模糊PID在焊接工艺参数的控制思路
适配场景：焊接熔池温度、焊缝宽度、熔透量等非线性、时变的焊接工艺参数闭环控制；
复用方式：将模型预测偏差/实际检测偏差作为模糊PID输入，动态修正PID参数，通过调节核心工艺参数（电流、速度、电压）实现控制；
注意事项：根据控制目标优化模糊规则和解模糊方法，结合工艺机理确定基础PID参数。
（二）研究缺口与切入思路
论文原文明确提出了研究局限性，同时基于实验场景、数据集、模型适用条件的研究边界，可推导出行业化落地的关键缺口；每个缺口均配套可执行的切入思路，明确课题设计方向：
1. 缺口1：角度突变（45°→30°）时控制算法存在延迟，易导致烧穿
论文原文提及：坡口角度从45°突变到30°时，模糊PID无法快速降低焊接电流，导致钢板烧穿；
切入思路：引入预测性控制算法，结合坡口角度的变化趋势（如通过激光线图像提前识别角度突变），提前调整焊接电流，提升控制的超前性。
2. 缺口2：仅融合两类多模态数据，未引入其他传感器信息
论文原文提及：未来可加入更多模态信息提升回归精度；
切入思路：融合声学传感器（电弧声）、电流电压传感器、温度传感器等数据，构建多源异构数据融合模型，提升复杂工况下的预测与控制精度。
3. 缺口3：实验仅基于5mm厚304不锈钢，模型泛化能力有限
研究边界：数据集仅包含304不锈钢一种母材、5mm一种厚度；
切入思路：拓展数据集至碳钢、铝合金等不同母材，以及2-10mm不同厚度，采用迁移学习优化模型，提升模型的跨母材/跨厚度泛化能力。
4. 缺口4：模糊PID控制规则为实验试凑，无自适应优化机制
论文原文提及：未来可采用更先进的控制策略提升控制精度；
切入思路：结合强化学习、遗传算法、粒子群算法等智能优化算法，对模糊PID的控制规则和基础参数进行自适应寻优，替代人工试凑。
5. 缺口5：激光线超前距离为固定值，未考虑焊接速度的动态变化
研究边界：激光线与焊接位置的间距固定为30mm，未针对不同焊接速度调整；
切入思路：建立焊接速度与激光线超前距离的匹配模型，根据焊接速度动态调整超前距离，保证数据对齐的准确性和控制的实时性。
6. 缺口6：模型未考虑极端焊接工况的干扰
研究边界：实验未涉及强飞溅、大坡口角度变化（＞45°）等极端工况；
切入思路：构建极端工况的数据集，采用图像增强技术（如随机裁剪、噪声添加、亮度调整）提升模型的鲁棒性，适配工业复杂现场。
五、论文完整逻辑链梳理
本文梳理论文 “提出问题→分析问题→设计方案→实验验证→得出结论” 的完整科研逻辑链：
论文首先针对工业生产中手工打磨误差和焊件热变形导致复杂坡口焊接熔透不稳定，且现有研究无法实现精准监控与控制的行业痛点，通过文献分析明确了现有研究存在单模态数据表征不足、忽略坡口角度核心影响、焊缝跟踪与熔透监控脱节、未实现复杂坡口闭环控制四大关键问题；
随后基于机器视觉和深度学习技术，设计了主被动协同视觉系统，实现激光线图像（坡口几何）和熔池图像（熔透状态）的多模态数据在线采集；
并提出了ERFNet+OHEM提取坡口角度、改进DenseNet+ASPP提取熔池特征的方法，通过向量积融合建立了多模态数据到背面熔宽的映射关系，实现熔透状态的高精度预测；
为实现熔透的闭环控制，设计了以预测偏差和偏差变化率为输入的模糊PID控制算法，通过调节焊接电流改变热输入，实现背面熔宽的自适应稳定控制；
接着设计了定角度、突变角度、渐变角度三类坡口的焊接实验，从激光线分割精度、背面熔宽预测精度、模糊PID控制效果三个维度进行分层验证，对比了经典模型与改进模型的性能，量化验证了方法的精度（预测MSE＜0.28mm，控制MSE≤0.11mm）与实时性（模型运行时间＜0.015s）；
最后得出结论，所提出的多模态数据融合方法可实现复杂坡口背面熔宽的高精度预测，结合模糊PID可实现精准闭环控制，所构建的监控与控制系统满足工业在线应用要求，可有效解决复杂坡口焊接的熔透不稳定问题，为焊接智能制造提供了新的方法与框架。
【个人思考衔接】
▢ 对论文方法的疑问与验证思路：
▢ 可直接复用在自身课题的内容：
▢ 拟拓展的研究方向：