从传统机器视觉到深度学习，一文速学线束端子外观缺陷智能检测

线束端子是线束上的重要组成部分，主要是通过线束剥线、压接接触件端子而形成。该过程是线束装配过程中最为关键的环节，线束剥线环节会出现长短不一、芯线散开等现象，接触件端子与线束压接过程中会出现未成功压接、压接不到位、芯线外漏等质量问题，进而较大程度地降低产品的可靠性。目前，市场上主要运用的是人工目视法进行检测，该方法存在漏检、检测效率不高、工作强度大等问题，而传统机器视觉技术存在缺陷特征难以量化和提取、缺陷图像识别能力弱等不足。近年来，随着机器视觉技术的快速发展，将传统机器视觉与深度学习相结合的线束端子外观缺陷检测技术已成为工业领域检测的一种新趋势。

✎整体架构设计

线束末端长度以及端子外观缺陷智能检测系统主要是由PLC控制模块、图像采集模块，以及智能检测算法三部分构成，整体架构见下图。整体运行流程：首先工作设备把线束末端固定在一个夹具中，运输至检测位置后位置传感器点亮，通过PLC触发光源控制器打开光源、触发相机进行图像采集并将图像传输至上位机中；接着上位机通过对应算法实现图像预处理、线束末端长度检测，以及线束端子外观缺陷检测，并将检测结果传回PLC中；最后PLC控制工业机器人抓取并按检测结果分选卸料。

✎基于机器视觉的线束末端尺寸检测

本系统使用的图像处理算法流程图见下图。首先通过算法检测线束外轮廓直边，计算出图像倾斜角度；接着利用旋转算子将图像整体旋转一定的角度使得线束水平放置；然后进行图像二值化、图像均值滤波、图像灰度增强等处理，并找出线束根部上、下拐点以及线束头部边缘直线；最后利用最小二乘法计算线束头部直线到线束根部拐点之间的距离，即为线束末端长度。

✎基于深度学习的线束末端缺陷检测

1、数据集的构建

根据现场检验人员的经验，结合实际拍摄的图像数据，搭建多分类模型，将采集到的图像数据按照不同的缺陷形式分类整理，人工标注标签，确定训练集、测试集和验证集的样本数量。本工作中将线束端子外端缺陷定义为：“正常(OK)”“未压接触件(WTG)”“压接触件短(TGD)”“线束散丝(SS)”4个类别，具体样本数据集图像见下图。

根据每一类样本总数量随机将每一类样本按照训练集(1)、验证集(2)、测试集(3) 分别为70%，15%，15%的比例划分数据集，数据集划分示意图见下图。

2、算法架构设计

线束末端缺陷检测运用的深度学习算法预测原理示意图见下图。首先采集到的线束末端图像经过两层卷积层，初步提取和学习线束末端缺陷的基本特征。然后进入最大池化层，该层主要是把前面提取的基本特征信息进行压缩。接着图像再经过3个卷积层，进一步学习和提取线束末端图像中的特征。最后传入最大池化层进行信息压缩，进入全连接层，将两维矩形特征压缩为一维特征向量，再通过Softmax(分类网络)把一维特征向量映射到具体的某一个分类。

3、学习效果评价

经过测试算法模型的学习效果见下图。识别准确率为99.33%，召回率为99.52%，Top-1错误率为0.67%；单张图像推理耗时5.6ms，预处理时间为1.83ms。

线束末端缺陷测试结果热力图见下图。模型均找到了各种缺陷的关键特征，其中图8(a)、图8(b)、图8(c)和图8(d)热力集中的特征分别表示为“正常”、“未压接触件”、“压接触件短”、“线束散丝”。

✎试验验证及数据分析

为了验证线束末端缺陷数据集构建的合理性以及算法的有效性，在实际生产设备上部署训练模型，同时人工在不同批次的线束中筛选出“正常(OK)”“未压接触件(WTG)”“压接触件短(TGD)”“线束散丝(SS)“的线束各100根，共5个批次，将其分别按批次放在设备上进行检测，记录并统计每种类型的线束数量，结果见下表。系统能够把不同类型缺陷的线束正确地识别出来，识别准确率达100%，满足客户生产使用需求。

本方法与传统的人工目识法相比，具有识别准确率高、稳定性强，以及良好的工业应用价值，为进一步线束生产线智能化建设提供了有益的尝试和必要的经验积累。