这是用户在 2024-7-19 1:24 为 https://app.immersivetranslate.com/pdf-pro/fa2dab6b-9ad2-4ba6-988d-5972b6ff5654 保存的双语快照页面,由 沉浸式翻译 提供双语支持。了解如何保存?
2024_07_18_3e7ee22c5bf793fe4063g

BAF-Detector:一种基于CNN的高效光伏电池缺陷检测器 重试    错误原因

苏斌怡 , 陈海勇 和钟周 , IEEE会员
苏斌怡 , 陈海勇 和钟周 , IEEE 会员

抽象 重试    错误原因

光伏 (PV) 电池电致发光 (EL) 图像的多尺度缺陷检测是一项具有挑战性的任务,因为该特征会随着网络的加深而消失。针对该问题,该文开发了一种基于注意力的自上而下和自下而上的架构来实现多尺度特征融合。这种架构称为双向注意力特征金字塔网络(BAFPN),可以使金字塔的所有层共享相似的语义特征。在BAFPN中,余弦相似度用于测量融合特征中每个像素的重要性。此外,该文还提出了一种新型目标检测器,称为BAF-Detector,它将BAFPN嵌入到Faster RCNN+FPN的区域建议网络中。BAFPN提高了网络对尺度的鲁棒性,因此所提检测器在多尺度缺陷检测任务中取得了良好的性能。最后,在大规模EL数据集上的实验结果表明,所提方法实现了3629张图像,其中2129张图像存在缺陷。 (F-测量), (mAP) 和 (IoU)在多尺度缺陷分类和检测结果方面,在原始光伏电池EL图像中。

索引术语-余弦非局部注意力、深度学习、特征金字塔网络 (FPN)、多尺度缺陷检测、光伏 (PV) 电池。

一、引言 重试    错误原因

多晶光伏(PV)电池缺陷将对发电效率产生严重的负面影响。此外,这些有缺陷的电池在发电过程中会产生大量热量,可能导致火灾和财产损失[1]。因此,基于计算机视觉的自动缺陷检测在光伏电池的制造过程中起着至关重要的作用。该工艺有利于大型光伏电站的安全高效运行。
稿件于2020年12月6日收到;2021 年 2 月 27 日修订;2021年3月20日接受。发布日期:2021 年 4 月 7 日;当前版本的日期为 2021 年 12 月 6 日。这项工作得到了国家重点研发计划2018YFB2100601资助,部分资助61872023和62073117资助。(通讯作者:周钟。
苏斌怡和周就职于北京航空航天大学计算机科学与工程学院虚拟现实技术与系统国家重点实验室,北京 100191 (电子邮件:Subinyi@buaa.edu.cn; zz@buaa.edu.cn).
陈海勇就职于河北工业大学人工智能与数据科学学院,天津 300130(电子邮件:haiyong.chen@hebut.edu.cn).
本文中一个或多个图形的彩色版本可在以下网址获得https://doi.org/10.1109/TIE.2021.3070507 重试    错误原因
数字对象标识符 10.1109/TIE.2021.3070507 重试    错误原因
图 1.光伏电池智能缺陷检测系统。 重试    错误原因
图 2.三张原始EL近红外图像,黄色框内有2个裂纹缺陷,绿色框中有1个手指中断缺陷,蓝色框中1个黑芯缺陷。
光伏电池缺陷检测旨在预测电致发光(EL)近红外图像中多尺度缺陷的类别和位置[2],[3]。由以下缺陷检测系统采集处理,集成漏电断路器等各种传感器,实现光伏电池安全高效的故障排除。如图1所示,该智能缺陷检测系统包含四个组件:电源子系统、图像采集子系统、图像处理子系统和分拣子系统。通过图像采集子系统,肉眼无法直接看到的光伏电池内部缺陷清晰呈现在我们面前,如图2所示。具有较高转换效率的晶体硅区域在感测图像中表现出更亮的发光。但是,缺陷显示为暗区,因为它们处于非活动状态并且不能发光。图2显示了三张原始EL近红外图像,在复杂背景干扰下具有三种缺陷:裂纹、手指中断和黑芯。裂纹缺陷主要包括线状和星状形状,呈现出随机的纹理分布和多尺度特征。手指中断缺损呈条状和垂直分布。黑核缺损呈斑点状,是EL图像中的一簇黑色区域。除缺陷外,脱位和四个母线也表现为暗区,有时可能与缺陷重叠。它使得光伏电池EL图像中的自动缺陷检测极其困难。
图 3.FPN的架构和提出的双向注意力FPN(BAFPN) 重试    错误原因
为了自动识别EL图像中的这些缺陷,已经提出了许多基于计算机视觉的常规方法[4],[5]来满足质量监测的迫切需求。手工制作的特征和基于数据的分类器[6],[7]通常是主要工具,它们使用特征描述符生成纹理、颜色、形状和光谱线索的特征向量,然后采用分类器实现缺陷检查。传统方法中的特征提取主要依赖于手动设计的描述符。这个过程需要专业知识和复杂的参数调整。此外,每种方法都针对特定的应用,泛化能力和鲁棒性较差。
最近,深度学习模型,特别是卷积神经网络(CNN),在工业应用中引起了极大的兴趣[8]-[15]。深度学习是一种数据驱动的方法。具有精度高、通用性广、可塑性强等优点。根据对大量样本的学习,可以得到数据集的具体特征表示。深度学习模型更健壮,泛化能力更强。然而,随着训练过程中网络的深化和下采样,微裂纹、手指中断等小缺陷的特征很容易消失。特征表示不佳将导致检测结果不佳。因此,在网络深化过程中保留这些小缺陷的特征对于提高多尺度缺陷检测任务的有效性至关重要。特征金字塔网络(FPN)[16]有可能解决这一具有挑战性的问题。如图3所示,浅层比深层包含更多的小缺陷特征,FPN从上到下集成了不同尺度的金字塔特征,对小缺陷检测非常有利。随后,提出了自下而上的路径增强(PA-Net)[17],[18],以增强整个特征层次结构,并在较低层中提供准确的定位信号。该方法缩短了下层和上层要素之间的信息路径。
受上述优秀著作[16]-[18]的启发,本文提出了BAFPN,这是一个可应用于金字塔特征融合的多尺度网络。与上述两种特征融合模块(FPN和PA-Net)不同,BAFPN创新性地采用了新颖的多头余弦非局部注意力模块来捕捉不同尺度的精细化信息,有利于自下而上的特征转移。此外,从原始特征到多头余弦非局部注意力模块的残余连接可以保证充分利用相同尺度的特征。最后,该文提出一种BAF-Detector,将BAFPN嵌入到Faster RCNN+FPN[16]的区域建议网络(RPN)中,以提高光伏电池EL图像中多尺度缺陷的检测效果。本文的主要贡献如下。
  1. 该文提出一种多头余弦非局部注意力模块,利用余弦函数计算特征相似度,可同时实现缺陷特征的突出和背景特征的抑制。 重试    错误原因
  2. 该文提出一种BAFPN来促进自下而上的特征传递,该过程是通过双向交叉尺度连接将多头余弦非局部注意力模块与自上而下和自下而上的FPN相结合而形成的。BAFPN提高了网络对尺度的鲁棒性,有利于多尺度缺陷检测。 重试    错误原因
  3. 该文提出一种称为BAF-Detector的目标检测器,它将BAFPN嵌入到Faster RCNN+FPN的RPN中。BAF-Detector显著提升了EL图像中多尺度缺陷的检测效果,可以满足光伏电池工业化生产的高质量要求。 重试    错误原因
本文的组织结构如下。第二节概述了相关工作。第三节详细介绍了所提出的方法。第四部分介绍了广泛的实验和消融研究。最后,第五节结束了本文。 重试    错误原因

A. 自动缺陷检测方法 重试    错误原因

手工制作的基于特征的算法通常提取图像特征,如颜色、纹理、形状和空间关系,以训练和测试判别分类器以识别缺陷。Demant等[4]集成了四个描述符特征来检测光致发光和EL图像中的微裂纹缺陷。该方法大大增强了对缺陷的特征表示能力。Su等[5]引入了一种新的基于梯度的描述符来提取EL图像中的缺陷梯度特征。他们还采用了相似性分析和聚类来捕获图像的全局信息。该方法在EL-2019数据集上取得了可喜的成果。尽管这些方法在特定情况下取得了可观的性能,但大多数方法都严重依赖专业知识,无法直接在不同应用程序之间转移。 重试    错误原因
目前,CNN已成为计算机视觉领域最热门的研究方向之一[8]-[11],[13],[15]。CNN模型在图像分类[8]、[11]、检测[15]、[19]、[20]、分割[21]、[22]和重建[23]等任务中取得了巨大成功。因此,应用CNN检测EL图像中的PV电池缺陷具有良好的前景。Deitsch等[24]提出了一种使用光CNN架构识别EL图像缺陷的新方法,这需要更少的计算能力和时间。Chen等[25]提出了一种具有注意力机制的弱监督CNN模型,用于完成PV电池图像中的表面缺陷分类和分割。 重试    错误原因
将所提出的BAF-DETECTOR与ReLATEd方法S进行比较 重试    错误原因
方法 重试    错误原因 缺陷类型 重试    错误原因 CNN模型 重试    错误原因 网络规模 重试    错误原因 分类 重试    错误原因 检波 重试    错误原因
Deitsch等[24] 重试    错误原因 内部 (EL) 重试    错误原因 VGG16型 重试    错误原因 无缺陷,无缺陷 重试    错误原因
Chen等[25] 重试    错误原因 表面 重试    错误原因 亚历克斯网 重试    错误原因 重试    错误原因 无缺陷,无缺陷 重试    错误原因 重试    错误原因
Du等人[26] 重试    错误原因 表面 重试    错误原因 谷歌网络 重试    错误原因 重试    错误原因
重试    错误原因
边缘破损、表面杂质、划痕、
热点、裂纹、大面积损坏
重试    错误原因
Han等人[13] 重试    错误原因 表面 重试    错误原因 RPN+UNet的 重试    错误原因 重试    错误原因 无缺陷,无缺陷 重试    错误原因 缺陷 重试    错误原因
Su等[15] 重试    错误原因 内部 (EL) 重试    错误原因 更快的 RPAN-CNN 重试    错误原因 重试    错误原因
重试    错误原因
裂缝,手指中断,
黑芯,无缺陷
重试    错误原因
裂缝,手指中断,
黑芯
本文 重试    错误原因 内部 (EL) 重试    错误原因 BAF-探测器 重试    错误原因 重试    错误原因
重试    错误原因
裂缝,手指中断,
黑芯,无缺陷
重试    错误原因
裂缝,手指中断,
黑芯
图 4.BAF-Detector与Su等[15]的比较。 重试    错误原因
Du等[26]在现有工业生产线中引入了一种基于CNN的算法,用于高效和创新的缺陷检测。该方法在Si-PV电池缺陷分类和检测任务中取得了成功。Han等[13]提出了一种基于深度学习的多晶硅片缺陷分割方法。该方法应用RPN生成底层缺陷盒,然后采用分割网络进行像素化缺陷区域划分。Su等[15]提出了一种新的区域建议注意力网络(RPAN)来检测原始PV电池EL图像中的缺陷。RPAN采用注意力机制对CNN提取的特征图进行细化,显著提升了分类和检测性能。然而,该方法对多尺度缺陷的检测效果并不理想,尤其是微裂纹,这激发了本研究的灵感。 重试    错误原因
所提出的BAF检测器与相关方法的比较如表I和图4所示。从表I中可以看出,Su等[15]最接近本文。Su等[15]与本文的区别在于,本文是多尺度网络,可以提高网络对尺度的鲁棒性。此外,图4显示了Su等[15]的定量演示和详细比较。BAF-Detector的平均精度(mAP)达到 参数编号少于更快的 RCNN 和更快的 RPAN-CNN。虽然参数数量大于 YOLOv3,但 mAP 值为 比它高。更多实验结果见表IV。 重试    错误原因

B. 基于CNN的探测器 重试    错误原因

基于CNN的检测器大致可分为以下两种类型:基于回归的方法(例如,Retinanet [27]和YOLOv3 [28])和基于区域的方法(例如,Faster RCNN [29]和Mask RCNN [30])。YOLOv3 是最流行的基于回归的算法。它将对象检测视为回归问题,然后预测对象的位置和类别。基于回归的方法检测速度快,但检测精度不尽如人意。对于基于区域的方法,许多候选提案首先由RPN生成,然后通过以下深度网络对这些提案进行进一步分类和回归。基于区域的方法具有较高的检测精度,但需要稍高的计算复杂度。光伏电池缺陷检测需要高检测精度,以防止缺陷电池进入下一个制造过程。因此,为了实现光伏电池EL图像中缺陷检测的高精度性能,该文提出一种基于区域的故障单元识别方法。 重试    错误原因

C. 注意机制

注意力模块判断输入CNN特征中每个像素的重要性。目标区域的像素重要性高于背景区域的像素重要性。因此,注意力模块可以通过大重量分配专注于学习目标区域。注意力模块作为一种嵌入式子网,已被广泛应用于各种任务[15],[31]-[34]Wang等[31]提出了一种非局部注意力模型来捕获对象的上下文信息,可以增强图像分割任务的特征表示能力。Shen等[32]在目标检测任务中采用通道注意力模型抑制背景噪声特征,引导多尺度特征融合。周等[33]应用视觉注意力模型和小波变换检测玻璃瓶底缺陷。Tang等[34]提出了一种新的空间注意力双线性CNN,用于检测铸件X射线图像中的缺陷。Su等[15]提出了一种新的互补注意力网络,该网络不仅可以抑制背景的噪声特征,而且可以聚焦PV电池EL图像中缺陷的空间位置。在本文中,与传统的非局部注意力模块相比,多头余弦非局部注意力模块可以更好地实现缺陷特征的突出显示和 重试    错误原因
图 5.所提出的多头余弦非局部注意力模块的架构。 表示元素加法和 表示矩阵乘法。 重试    错误原因
通过余弦相似度计算抑制背景特征。

三、研究方法

在本节中,我们首先介绍了所提出的多头余弦非局部注意力模块,然后详细介绍了所提出的BAF-Detector的架构,包括BAFPN模块。

A. 提出的多头余弦非局部注意力模块

多头余弦非局部注意力模块的流程图如图5所示。EL图像中缺陷和背景的判别特征表示对于故障识别至关重要。可以通过使用注意力模块来突出缺陷特征并同时抑制复杂的背景特征来实现。对于多头余弦非局部注意力模块,它依靠余弦特征相似性矩阵与原始输入特征相乘,实现有用的特征强调和扰动特征抑制。
如图5所示,多头余弦非局部注意力模块表示三个特征空间 , 输入到注意力模块中 分别是输入特征图的通道号、宽度和高度)。 是分别用于对每个头部进行重新加权的平衡系数,在本文中都等于 0.5。融合输入功能 定义为
功能 将转换为 通过维度变换,其中 表示先前特征图中的总位置编号。之后,转置 将与自身相乘以计算
图 6.所提出的BAF检测器B3层中的点积相似度图和余弦相似度图的可视化。
余弦相似度图 .原始非局部注意力模块[31]中的相似性计算定义为
哪里 是输入特征图中位置的索引 .这里 是点积相似度,将通过以下 softmax 操作对其进行归一化,形成注意力图。用于元素归一化的 SoftMax 表示元素的 exp 索引与所有元素的 exp 索引之和的比率。它对相似性映射的每一行执行,定义如下:
哪里 衡量以下因素的影响 第 个位置 第位置。对于非局部注意力模块的点积相似性计算存在一个问题,一旦分子的大多数 是大价值,分母 与分子相比,将非常大。然后 接近于零,则每个元素之间的差值 非常小。因此 不能用于使用该功能重新加权 哪里 卷积运算。为了解决这个问题,点相似性被余弦相似性所取代,这将限制所有元素 .在被softmax归一化后,这些元素适合保持它们的差异。余弦相似度矩阵定义为
哪里 是向量的范数 分别。注意到余弦相似性可以使非局部注意力获得更多的判别特征,这比点相似性在突出有用特征和抑制复杂背景特征方面取得了更好的性能,如图6所示。不难看出,余弦相似度图优于点积相似度图,无论是对缺陷特征的强调还是对复杂背景的抑制。此外,如图 7 所示,对比度、亮度和灰色直方图用于量化改进的效果。高对比度和低亮度表明缺陷特征被突出显示,复杂的背景特征被抑制。余弦相似度图的灰色直方图比点积相似度图更窄、更高,说明余弦相似度图的重要区域主要集中在缺陷上。
其中 分别是向量 的规范。如图 6 所示,余弦相似性可以使非局部注意力获得更多的判别特征,从而比点相似性获得更好的性能,突出有用的特征,抑制复杂的背景特征。不难看出,无论是强调缺陷特征还是抑制复杂背景,余弦相似图都优于点积相似图。此外,如图 7 所示,对比度、亮度和灰度直方图也可用于量化改进效果。高对比度和低亮度表示缺陷特征被突出,复杂背景特征被抑制。余弦相似性图的灰度直方图比点积相似性图更窄、更高,这说明余弦相似性图的重要区域主要集中在缺陷上。

图 7.点积相似度图和余弦相似度图的对比度、亮度和灰色直方图。
参考(3),采用softmax函数对相似度图进行归一化,形成注意力图,该图将与重维特征相乘 .最后,结果的维度将转换为 ,然后对输入要素执行逐个元素求和运算 .输出 的多头余弦非局部注意力模块定义为
从(5)可以推断出,所得到的特征 每个位置是所有位置和原始特征的特征的加权总和。相似的语义特征实现了互惠互利,提高了类内的紧凑性和语义一致性,在相似性图中呈现了高亮区域。代码可在以下网址获得。

B. 缺陷检测 B.缺陷检测

在本文中,我们使用更快的RCNN+FPN [16]作为基础检测器来检测EL近红外图像中的多尺度缺陷,如裂纹、手指中断和黑芯,同时将一种新的BAFPN集成到RPN中。我们首先介绍了所提出的BAFPN模块,然后说明了所提出的缺陷检测架构BAF-Detector的细节。
  1. 双向注意力FPN:为了获得更精细的金字塔层融合特征,通过双向交叉尺度连接,将新型多头余弦非局部注意力模块与自上而下和自下而上的FPN相结合,设计了一种新型的BAFPN。BAFPN可以完成金字塔层的信息特征聚合,提高网络对尺度的鲁棒性。在BAFPN中,多头余弦非局部注意力模块在特征细化中起着关键作用。
如图 8 所示,BAFPN 模块以不同的分辨率聚合多尺度特征。正式地,给出一个列表
多尺度特征 ( ,BAFPN块的目标是找到一个可以有效聚合不同特征的变换函数,并输出一个新的精细特征列表。自上而下和自下而上的特征融合过程定义为
其中 up 表示上采样,down 表示下采样,max pool 表示最大池化,conv 是特征过滤的卷积运算。 是提出的多头余弦非局部注意力模块的操作。通过自下而上的路径增强,在下层中丰富的纹理特征缩短了下层和最顶层特征之间的信息路径[17]。此外,两个中间层的输出( 通过注意力机制进行细化,在光伏电池EL图像缺陷检测任务中突出缺陷特征并抑制复杂的背景特征。注意力模块之所以只用在BAFPN的中间两层,一方面是因为多头余弦非局部注意力模块的计算负担很重。如果在FPN的每一层中都使用它,则会导致我们的服务器内存不足。另一方面,FPN的中间两层是有用的语义特征和纹理特征之间的折衷,那么使用注意力模块来细化这两层的特征将最大化。
其中,up 表示上采样,down 表示下采样,max pool 表示最大池化,conv 是用于特征过滤的卷积操作。 是提议的多头余弦非局部关注模块的操作。通过自下而上的路径增强,下层丰富的纹理特征缩短了下层与最上层特征之间的信息路径[17]。此外,中间两层( )的输出通过注意力机制进行细化,在光伏电池 EL 图像缺陷检测任务中将突出缺陷特征,抑制复杂的背景特征。之所以只在 BAFPN 的中间两层使用注意力模块,一方面是因为多头余弦非局部注意力模块的计算负担较重。如果在 FPN 的每一层都使用它,会导致我们的内存不足。另一方面,FPN 的中间两层是有用的语义特征和纹理特征之间的折中,那么使用注意力模块来完善这两层的特征将能获得最大的收益。
通过上述计算,输出是不同尺度融合后的特征。金字塔特征融合可以增加尺度方差的鲁棒性,我们金字塔的所有层都具有相似的语义特征。
  1. Defect Detection Architecture: As shown in Fig. 8, the architecture of the proposed BAF-Detector is divided into three parts: feature extraction, region proposal (BAFPN-RPN), and classification and detection. First, ImageNet-pretrained ResNet101 [35] is employed as the backbone network to extract the features of the EL image. Second, the multilevel features will be passed to the proposed BAFPN-RPN module, which will generate many region proposals that may contain a defect. Third, each proposal generated at different scale levels is mapped to the corresponding level features of ResNet101, next the region of interest will resize the mapped features to a fixed-size vector. Finally, two fully connected layers is appended before two output layers: cls-score layer outputs classification scores of object classes attach a "background" class, bbox-pred layer outputs the predicted positions of the bounding-box for the corresponding object classes. In BAF-Detector, each predicted head of BAFPN-RPN can be optimized to regression by the following loss function:
    缺陷检测架构:如图 8 所示,拟议 BAF-Detector 的架构分为三个部分:特征提取、区域建议(BAFPN-RPN)以及分类和检测。首先,采用经过 ImageNet 训练的 ResNet101 [35] 作为骨干网络来提取 EL 图像的特征。其次,将多级特征传递给 BAFPN-RPN 模块,该模块将生成许多可能包含缺陷的区域建议。第三,在不同尺度级别生成的每个建议都会映射到 ResNet101 的相应级别特征,接下来,感兴趣区域会将映射的特征调整为固定大小的向量。最后,在两个输出层之前附加了两个全连接层:cls-score 层输出 物体类别的分类分数,并附加一个 "背景 "类别;bbox-pred 层输出相应的 物体类别的边界框预测位置。在 BAF-Detector 中,BAFPN-RPN 的每个预测头可以通过以下损失函数进行优化回归:
Fig. 8. Architecture of the proposed BAFPN detector (BAF-Detector).
图 8.拟议的 BAFPN 检测器(BAF-Detector)的结构。
where is the index of an anchor box [29] in a minibatch and is the predicted probability of anchor box containing a defect. If the anchor box is predicted to contain a defect, the ground-truth label is 1 , otherwise is is a vector representing the four parameterized coordinates of the predicted bounding box, and is that of the ground-truth box associated with a defective anchor box. The term means the regression loss is activated only for defective anchor and is disabled otherwise . The outputs of the cls_score layer and bbox_pred layer consist of and , respectively. The classification loss is over two classes (defect or not defect). For the regression loss, we use where is the robust loss function (smooth L1) defined as follows:
其中, 是迷你批中锚点盒的索引[29], 是锚点盒 包含缺陷的预测概率。如果预测锚点框包含缺陷,则地面实况标签 为 1 ,否则 是表示预测边界框四个参数化坐标的向量, 是与缺陷锚点框相关联的地面实况框的坐标。术语 表示回归损失仅对缺陷锚 激活,否则 禁用。cls_score 层和 bbox_pred 层的输出分别为 。分类损失 是两个类别(缺陷或非缺陷)的 。对于回归损失,我们使用 ,其中 是鲁棒损失函数(平滑 L1),定义如下:
The term means the regression loss is activated only for defective anchor boxes and is disabled otherwise ). Referring to Faster RCNN+FPN, the two terms are normalized by and , and weighted by a balancing parameter , thus both cls and reg terms are roughly equally weighted.
项表示回归损失仅在有缺陷的锚点盒 中激活,否则将禁用 )。参照 Faster RCNN+FPN,这两个项通过 归一化,并通过平衡参数 加权,因此 cls 和 reg 项的权重大致相同。
For bounding box regression, the parameterizations of the four coordinates are defined as follows:
对于边界框回归,四个坐标的参数定义如下:
TABLE II 表 II
DATASET DISTRIBUTION 数据集分布
 数据集(EL 图像)
Dataset
(EL image)
 有缺陷的图像
Defective
image
Defect-free 无缺陷 Number of defects 缺陷数量
847 image 图像 Ck 重试    错误原因 Fr 重试    错误原因 Bc 重试    错误原因
Testing 测试 1282 1500 685 1249 272
Total 总计 2129 1500 1137 1841 523
Note: , and Bc: The number of crack defect, finger interruption defect, and black core defect, respectively.
注: 和 Bc:分别为裂纹缺陷、断指缺陷和黑芯缺陷的数量。
studies, are presented. To understand and show the improvement directly, the visualization of similarity map is used as a powerful tool to support experimental results.
介绍。为了直接理解和展示改进效果,相似性图的可视化被用作支持实验结果的有力工具。

A. Dataset A.数据集

We evaluate the experimental results of our proposed BAFDetector on our PV cell EL image dataset. In this dataset, 2129 EL defective images and 1500 defect-free images with raw resolution of are used to evaluate the classification and detection effectiveness of our proposed BAF-Detector. Table II shows the raw dataset distribution of training data and testing data. First, the dataset is divided into two types: defective images and defect-free images, which are used to evaluate the classification performance of the proposed model. Second, the dataset is divided in details according to the categories of the defect. The reason why we classify defects within three main categories, namely crack, finger interruption, and black core defect, is that these three kinds of defects occur frequently, and we can build a balanced dataset distribution, which is the key point that the deep learning model can be trained to achieve good performance. We use EL technology [2] to visualize the internal defects of PV cells. 2129 defective images are selected from 150000 samples of PV cell images. Among them, crack, finger interruption, and black core defects are the most frequent ones. Other types of defect occur rarely, which will cause an unbalanced distribution of the dataset. Therefore, this article mainly classifies these three types of defects.
我们在光伏电池 EL 图像数据集上评估了我们提出的 BAFDetector 的实验结果。在该数据集中,我们使用原始分辨率为 的 2129 幅 EL 缺陷图像和 1500 幅无缺陷图像来评估我们提出的 BAF 检测器的分类和检测效果。表 II 显示了训练数据和测试数据的原始数据集分布。首先,数据集分为两类:有缺陷图像和无缺陷图像,用于评估所提出模型的分类性能。其次,根据缺陷类别对数据集进行详细划分。我们之所以将缺陷分为三大类,即裂纹、断指和黑芯缺陷,是因为这三种缺陷出现的频率较高,我们可以建立一个均衡的数据集分布,这也是深度学习模型可以训练出良好性能的关键点。我们使用 EL 技术[2]来可视化光伏电池的内部缺陷。从 15 万张光伏电池图像样本中选取了 2129 张缺陷图像。其中,裂纹、断指和黑芯缺陷出现频率最高。其他类型的缺陷很少出现,这将导致数据集分布不均衡。因此,本文主要对这三类缺陷进行分类。
For the ground truth of different defects, a dataset annotation tool (LabelImg) is used to label the EL image dataset. It just needs a rectangular box to tightly surround the defect and do not need too much expert experience. The rectangular box will reflect the specific location and class of the defect. Moreover, annotations are saved as XML files in PASCAL VOC format. The standard PASCAL VOC format can ensure the fairness comparison between different detectors. It is very important for the validation of the performance of our proposed model.
为了获得不同缺陷的基本事实,我们使用数据集标注工具(LabelImg)对 EL 图像数据集进行标注。它只需要一个矩形框来紧紧围绕缺陷,不需要太多专家经验。矩形框将反映缺陷的具体位置和类别。此外,注释以 PASCAL VOC 格式保存为 XML 文件。标准的 PASCAL VOC 格式可以确保不同检测器之间的公平比较。这对验证我们提出的模型的性能非常重要。

B. Evaluation Metrics B.评估指标

The classification of our model is evaluated by the precision , recall (R), and F-measure (F). Moreover, average precision (AP), mean AP (mAP), and mean intersection over union (MIoU) are applied to assess defect detection results. Parameters number and frames per second (FPS) are the metrics used to
我们通过精度 、召回率 (R) 和 F 测量 (F) 来评估模型的分类效果。此外,平均精度 (AP)、平均 AP (mAP) 和平均交集大于联合 (MIoU) 也用于评估缺陷检测结果。参数数和每秒帧数(FPS)是用于评估缺陷检测结果的指标。

TABLE III 表 III
HyPERPARameteRs During BAF-DeteCtor Training and TESting
BAF-DeteCtor 培训和测试期间的水质参数
DECAY_STEP DECAY_FACTOR WEIGHT_DECAY MOMENTUM
Training 培训 15000,30000 10 0.0001 0.9
IMG_SHORT_SIDE_LEN IMG_MAX_LENGTH BASE_ANCHOR_SIZE_LIST BATCH_SIZE
600 1000 1
Testing 测试 SHOW_SCORE_THRSHOLD NMS_IOU_THRESHOLD
asses the time efficiency. The aforesaid metrics are defined as
评估时间效率。上述指标定义如下
where and are the number of defect images, which are predicted to be correct or not; represents the number of nondefect, which is misclassified; DetectionResult is the defect detected box of the detector; GroundTruth is the defect annotation box.
其中, 是预测为正确或不正确的缺陷图像的数量; 代表被错误分类的非缺陷图像的数量;DetectionResult 是检测器的缺陷检测框;GroundTruth 是缺陷注释框。

C. Implementation Details
C.实施细节

The experiments are conducted on a work station with a Intel Core i7-10 700 CPU and a NVIDIA GeForce RTX 2070 SUPER. The pretrained model on ImageNet is used to initialize the ResNet101, which can accelerate convergence of the network. The learning rate is set to 0.001 . The class number is set to 3 . Due to the limitation of the GPU memory, the batch size is set to 1 . The max iteration is fixed to 40000 which can ensure the fully loop through of the PV cell EL training data. In BAFPN-RPN, the stride of max pooling is 2. Moreover, a scale level is assigned with an anchor, which has three aspect ratios at each level. The anchors is defined to have areas of pixels on B2,B3,B4,B5,B6}, respectively [16], and anchors with different scales are responsible for predicting defects of different sizes. In the experiments, all input EL images are extended to three channels and resized to pixels. The detailed infor mation and hyperparameters of the BAF-Detector are presented in Table III, which can help the readers to better understand our method.
实验在配备英特尔酷睿 i7-10 700 CPU 和英伟达™(NVIDIA®)GeForce RTX 2070 超级显卡的工作站上进行。ResNet101 使用 ImageNet 上的预训练模型进行初始化,这可以加快网络的收敛速度。学习率设置为 0.001 。类数设置为 3。由于 GPU 内存的限制,批量大小设置为 1 。最大迭代次数固定为 40000 次,以确保光伏电池 EL 训练数据的完全循环。在 BAFPN-RPN 中,最大池化的步长为 2。 此外,一个刻度级别分配一个锚点,每个级别有三个长宽比 。锚点被定义为在 B2、B3、B4、B5、B6} 上分别有 像素的区域[16],不同尺度的锚点负责预测不同大小的缺陷。在实验中,所有输入的 EL 图像都扩展到三个通道,并调整为 像素。表 III 列出了 BAF-Detector 的详细信息和超参数,有助于读者更好地理解我们的方法。
Moreover, in multihead cosine nonlocal attention module, factors , and are employed to balance the importance of the three inputs. For example, as shown in Fig. 8, the inputs of the second multihead cosine nonlocal attention module (B3) are , and . The simple method to determine , and is , which shows that the three inputs are equally important [36], [37]. As for , we refer to the fact that when performing multiscale feature summation in FPN [16], the balance value of each input is 0.5 , thus we also select 0.5 .
此外,在多头余弦非局部注意模块中,还使用了因子 来平衡三个输入的重要性。例如,如图 8 所示,第二个多头余弦非局部注意模块(B3)的输入为 。确定 的简单方法是 ,这表明三个输入同样重要 [36], [37]。至于 ,我们参考了 FPN [16] 中进行多尺度特征求和时,每个输入的平衡值为 0.5,因此我们也选择 0.5。
TABLE IV 表 IV
EXPERIMENTAL RESULTS OF DIFFERENT DETECTORS ON OUR PV CELL EL IMAGE DATASET
不同探测器在光伏电池 EL 图像数据集上的实验结果
Detectors 探测器 Classification 分类 Detection 检测 Parameters 参数 FPS
YOLOv3 [15] 重试    错误原因 86.73 97.30 91.71 78.79 64.96 58.73 M 重试    错误原因 11.36
Faster RCNN [15] 重试    错误原因 93.53 96.04 94.77 83.11 68.22 260.50 M 重试    错误原因 6.41
Faster RPAN-CNN [15] 重试    错误原因 99.17 97.78 98.47 87.38 71.42 261.26 M 重试    错误原因 5.95
Our BAF-Detector 重试    错误原因 99.21 98.20 98.70 88.07 73.29 120.87 M 重试    错误原因 7.75
Fig. 9. Confusion matrix for the classification evaluation. Df represents defect-free. 重试    错误原因

D. Evaluation 重试    错误原因

The proposed BAF-Detector is compared with YOLOv3, Faster RCNN, and Faster RPAN-CNN in the classification and detection performance on the PV cell EL image dataset, which are presents in Table IV. 重试    错误原因
  1. Classification Evaluation: In terms of the defective images classification results, the proposed BAF-Detector achieves a better performance than other detectors on each quantitative evaluation metric, such as precision ), recall ), and F-measure ). The high recall rate of the proposed BAF-Detector ensures that the defective PV cell is not easy to be missed during the intelligent manufacturing process, which is essential to the high-quality production of PV cells. 重试    错误原因
As shown in Fig. 9, the confusion matrix is reported to evaluate the classification performance of the PV cell. The confusion matrix is given for the three types of defects: crack, finger interruption, and black core. In confusion matrix, 11 crack defects are misclassified as defect-free, which accounts for of the total number of the crack defects. 13 finger interruption defects are misclassified as defect-free, which accounts for of the total number of finger interruption defects. Moreover, all black core defects are classified correctly. The proposed CNN model makes less prediction error, a small proportion of defects are misclassified as defect-free. It is not hard to see that BAFDetector achieves a good classification performance of PV cell defects. 重试    错误原因
  1. Detection Evaluation: In terms of the proposed model in defect detection performance, mAP and MIoU are employed to evaluate the quantitative comparisons. Table IV shows the detection results of regression-based detector (YOLOv3) and region-based detectors (the others) with same training and testing EL image dataset. With embedding the proposed BAFPN block into RPN in Faster RCNN+FPN, the BAF-Detector outperforms other detectors in the defect detection effects 重试    错误原因
The curves of dot-product similarity and cosine similarity used in our proposed BAF-Detector are shown in Fig. 10. The area enclosed by the curve, the horizontal axis (recall), and the 重试    错误原因
Fig. 10. P/R curves of different similarity calculation methods for three types of defects. 重试    错误原因
vertical axis (precision) is equal to the value of the AP for each type of defect. The dotted line represents precision recall. The intersection of it and the curve represents the balance point (red dot). The larger the value of the balance point, the better the effect of the corresponding detection method. As can be seen from Fig. 10, comparing with dot-product similarity and cosine similarity used in BAF-detector, cosine similarity achieves better quantitative results. 重试    错误原因
Moreover, as can be seen from Fig. 10, the AP value of the black core defect is close to . This is due to the large scale and simple texture of the black core defect, which presents a black cluster area. The detection result of finger interruption defect is relatively good, due to the sharp contrast and the fixed shape. The crack defect is hard to be detected, because of various scales, different shapes, and the complex background disturbance. 重试    错误原因
The similarity map of the multihead cosine nonlocal attention module can be viewed as a feature visualization tool, which can help explain the effectiveness of the BAFPN. As shown in Fig. 8, B 3 and B4 belong to BAFPN, if the cosine similarity maps of B3 and B4 include the small defect feature, it illustrates that BAFPN is effective to boost the small defect feature transfer, and prevent the feature vanishment as the network deepens. Fig. 11 shows some intermediate and final detection results. As can be seen, the similarity maps of low layer B3 or deep layer B4 in BAFPN retain the informative features of multiscale defects during the network deepens. At the same time, the noise background features are suppressed. Thus, we can conclude that the BAFPN boosts the bottom-up feature transfer as the network deepens. It enables the BAF-Detector to better detect multiscale defects in EL images. Moreover, the contrast of the low-level similarity map in B3 layer is higher than that of the high-level similarity map in B4 layer, and the brightness is opposite, which shows that multihead cosine nonlocal attention achieves better performance in higher resolution features that contains much more textural and spatial information. 重试    错误原因
Fig. 11. Visualization of intermediate and final detection results. The first row is the input, the second row is the similarity map of B4 layer, the third row is the similarity map of B3 layer, and the fourth row is the output. The orange value represents the contrast and brightness of each similarity map. 重试    错误原因
  1. Overall Evaluation: From aforementioned classification and detection evaluation of the proposed BAF-Detector, we can conclude that the proposed BAF-Detector outperforms other detectors in the EL image defect classification and detection performance. The reason is that the fusion strategy (BAFPN) can employ the proposed multihead cosine nonlocal attention module and the top-down bottom-up FPN to highlight target feature, suppress complex background feature, and better guide pyramidal feature fusion, which is very beneficial for multiscale defect classification and detection tasks under complex background interference in PV cell EL image dataset. 重试    错误原因
  2. Time-Efficiency Evaluation: The results of FPS is the average of 1282 testing defective EL image, which is conducted on a work station with a GPU. As we can see from Table IV, the FPS of a detector is inversely proportional to the parameter number. Our BAF-Detector achieves 7.75 FPS. Although our method is not the fastest, but it outperforms other detectors in defect inspection accuracy that is essential to the industrial production. 重试    错误原因

E. Ablation Studies 重试    错误原因

  1. Effect of Attention Module: To confirm the effectiveness of the proposed multihead cosine nonlocal attention module, the strategy of add or replace the attention module is employed for ablation studies. As illustrated in Table V, by comparing two similarity calculation methods of nonlocal (dot-product) and cosine nonlocal (cosine), it can be demonstrated that cosine similarity outperforms dot-product similarity in the PV cell defect inspection task. The visualization of similarity maps are shown in Fig. 6. For the second row of the comparisons, defect 重试    错误原因
    TABLE V 重试    错误原因
Ablation Studies of The Proposed BAF-Detector on Our PV CeLL EL IMAGE DATASET WITH DIFFERENT COMPONENTS 重试    错误原因
FPN Attention 重试    错误原因 Classification 重试    错误原因 Detection 重试    错误原因 Parameters 重试    错误原因 FPS
MIoU(%) 重试    错误原因
top-down 自顶向下 94.62 96.72 95.66 85.21 70.53 115.11 M 重试    错误原因
7.81
top-down 自顶向下 (dot-product,mt)
(点积,mt)
95.87 97.42 96.64 86.97 71.54 115.37 M 重试    错误原因 7.78
top-down 自顶向下 cosine,mt)  余弦,mt) 96.18 97.86 97.01 87.14 72.56 115.37 M 重试    错误原因 7.79
top-down+bottom-up 自上而下+自下而上 95.13 97.07 96.09 85.67 72.32 119.87 M 重试    错误原因 7.75
top-down+bottom-up 自上而下+自下而上 (dot-product,mt)
(点积,mt)
98.58 97.91 98.24 87.69 72.58 120.87 M 重试    错误原因 7.69
top-down+bottom-up 自上而下+自下而上 cosine, mt
余弦,mt
99.21 98.20 98.70 88.07 73.29 120.87 M 重试    错误原因 7.68
Note: : Addition operation is used to replace the attention module. Mt: Middle two scale levels, attention modules are used in the middle two levels of FPN. : Not use attention module. : Use attention module
注: :加法操作用于替换注意力模块。Mt:中间两级刻度,注意模块用于 FPN 的中间两级。 :不使用注意模块。 :使用注意模块
regions can be highlighted more clearly by cosine similarity map, and the background is more fully suppressed. Moreover, the performance of adding attention module is better than removing it.
通过余弦相似图,区域可以更清晰地突出,背景也被更充分地抑制。此外,添加注意力模块的效果优于去除注意力模块。
  1. Effect of BAFPN: Ablation studies are employed to verify the effectiveness of the proposed BAFPN. The ablation experiments are evaluated by changing the structure of the FPN (top-down, top-down+bottom-up). The effect of the top-down bottom-up FPN with attention module (BAFPN) can be seen in the last two rows in Table V. By comparing the proposed BAFPN with other structures, we find that BAFPN achieves a better performance than the experimental results of the first four rows, which illustrates that the BAFPN block outperforms others in terms of multiscale defect detection. Moreover, as illustrated in the first three rows and the last three rows, FPN with top-down+bottom-up performs better than FPN with topdown under the condition of consistent attention modules. Take mAP column as an example, top-down+bottom-up architecture achieves , and improvement comparing with top-down architecture, respectively. It verifies that bidirectional multiscale feature fusion is better than a single direction. However, BAFPN has more parameters than original FPN, which slightly increases computational burdens.
    BAFPN 的效果:采用消融研究来验证所提议的 BAFPN 的有效性。通过改变 FPN 的结构(自上而下、自上而下+自下而上)对消融实验进行评估。通过将所提出的 BAFPN 与其他结构进行比较,我们发现 BAFPN 的性能优于前四行的实验结果,这说明 BAFPN 块在多尺度缺陷检测方面优于其他模块。此外,如前三行和后三行所示,在注意力模块一致的条件下,自上而下+自下而上的 FPN 性能优于自上而下的 FPN。以 mAP 列为例,"自上而下+ 自下而上 "结构与 "自上而下 "结构相比,分别实现了 的改进。这验证了双向多尺度特征融合优于单向多尺度特征融合。不过,BAFPN 比原始 FPN 多了 个参数,略微增加了计算负担。

V. CONCLUSION V.结论

In this article, a novel multihead cosine nonlocal attention module was proposed to highlight the defect feature and suppress the complex background feature. The novel attention module was also used to construct an efficient multiscale feature fusion block BAFPN, which combines with RPN in Faster RCNN+FPN to form a defect detection model BAF-Detector. The multiscale defects in PV cell EL image were effectively detected under the disturbance of the complex background. The proposed BAF-Detector outperformed other detectors in each quantitative metric, which demonstrated that our proposed deep learning model has certain advantages in defect inspection, and provided a practical solution for research and applications of PV cell defect detection
本文提出了一种新颖的多头余弦非局部注意力模块,以突出缺陷特征并抑制复杂的背景特征。该模块还被用于构建高效的多尺度特征融合模块 BAFPN,并与 Faster RCNN+FPN 中的 RPN 结合形成缺陷检测模型 BAF-Detector。在复杂背景的干扰下,光伏电池 EL 图像中的多尺度缺陷被有效检测出来。所提出的 BAF-Detector 在各项定量指标上都优于其他检测器,这表明我们提出的深度学习模型在缺陷检测方面具有一定的优势,为光伏电池缺陷检测的研究和应用提供了一种切实可行的解决方案。
There were also some limitations for our BAF-Detector. For example, the feature balance factors , and in attention module were set mutually, which takes time and efforts. In the future, adaptive methods will be researched to automatically determine these factors.
我们的 BAF-Detector 也有一些局限性。例如,注意力模块中的特征平衡因子 是相互设定的,这需要花费时间和精力。今后,我们将研究自动确定这些因素的自适应方法。

APPENDIX 附录

Here are some details for the intelligent defect detection system. First, the intelligent defect detection system needs to be grounded to prevent harm caused by current leakage, and the leakage circuit breaker is also employed to ensure the safe and efficient operation of the system. Second, it is necessary to ensure that the image acquisition conditions do not change, which is necessary to the normal and long-term operation of the proposed algorithm. Please refer to Su et al. [5] for the image acquisition conditions.
以下是智能缺陷检测系统的一些细节。首先,智能缺陷检测系统需要接地,以防止漏电流造成的危害,同时还要采用漏电断路器,以确保系统安全高效地运行。其次,需要确保图像采集条件不发生变化,这对所提算法的正常和长期运行是必要的。图像采集条件请参考 Su 等人的文章[5]。

REFERENCES 参考文献

[1] A. H. Herraiz, A. P. Marugan, and F. P. G. Marquez, "Photovoltaic plant condition monitoring using thermal images analysis by convolutional neural network-based structure," Renewable Energy, vol. 153, no. 1, pp. 334-348, Feb. 2020.
[1] A. H. Herraiz, A. P. Marugan, and F. P. G. Marquez, "Photovoltaic plant condition monitoring using thermal images analysis by convolutional neural network-based structure," Renewable Energy, vol. 153, no. 1, pp.
[2] T. Fuyuki and A. Kitiyanan, "Photographic diagnosis of crystalline silicon solar cells utilizing electroluminescence," Appl. Phys. A, Solids Surf., vol. 96, no. 1, pp. 189-196, Jul. 2009
[2] T. Fuyuki 和 A. Kitiyanan,"利用电致发光对晶体硅太阳能电池进行照相诊断",《应用物理学》,固体表面,第 96 卷,第 1 期,第 189-196 页,2009 年 7 月。
[3] M. Dhimish and V. Holmes, "Solar cells micro-crack detection technique using state-of-the-art electroluminescence imaging," J. Sci.: Adv. Mater Devices, vol. 4, no. 4, pp. 499-508, Oct. 2019.
[3] M. Dhimish 和 V. Holmes,"利用最先进的电致发光成像技术检测太阳能电池微裂缝",J. Sci:Adv. Mater Devices, vol. 4, no.4,第 499-508 页,2019 年 10 月。
[4] M. Demant et al., "Microcracks in silicon wafers I: Inline detection and implications of crack morphology on wafer strength," IEEE J. Photovolt., vol. 6, no. 1, pp. 126-135, Jan. 2016.
[4] M. Demant 等人,"硅晶片中的微裂纹 I:在线检测和裂纹形态对晶片强度的影响",《IEEE J. Photovolt》,第 6 卷,第 1 期,第 126-135 页,2016 年 1 月。
[5] B. Su, H. Chen, Y. Zhu, W. Liu, and K. Liu, "Classification of manufacturing defects in multicrystalline solar cells with novel feature descriptor,' IEEE Trans. Instrum. Meas., vol. 68, no. 12, pp. 4675-4688, Dec. 2019.
[5] B. Su, H. Chen, Y. Zhu, W. Liu, and K. Liu, "Classification of manufacturing defects in multicrystalline solar cells with novel feature descriptor,' IEEE Trans.Instrum.测量》,第 68 卷,第 12 期,第 4675-4688 页,2019 年 12 月。
[6] K. Firuzi, M. Vakilian, B. T. Phung, and T. R. Blackburn, "Partial discharges pattern recognition of transformer defect model by LBP HOG features," IEEE Trans. Power. Del., vol. 34, no. 2, pp. 542-550, Apr. 2019
[6] K. Firuzi、M. Vakilian、B. T. Phung 和 T. R. Blackburn,《利用 LBP HOG 特征对变压器缺陷模型进行局部放电模式识别》,IEEE Trans.Power.Del., vol. 34, no. 2, pp.
[7] Q. Luo, Y. Sun, P. Li, O. Simpson, L. Tian, and Y. He, "Generalize completed local binary patterns for time-efficient steel surface defect classification," IEEE Trans. Instrum. Meas., vol. 68, no. 3, pp. 667-679 Mar. 2019
[7] Q. Luo、Y. Sun、P. Li、O. Simpson、L. Tian 和 Y. He,"Generalize completed local binary patterns for time-efficient steel surface defect classification," IEEE Trans.Instrum.Meas.3, pp.
[8] F. C. Chen and M. R. Jahanshahi, "NB-CNN: Deep learning-based crack detection using convolutional neural network and Naive Bayes data fusion," IEEE Trans. Ind. Electron., vol. 65, no. 99, pp. 4392-4400, May 2018
[8] F. C. Chen 和 M. R. Jahanshahi,"NB-CNN:使用卷积神经网络和 Naive Bayes 数据融合进行基于深度学习的裂缝检测",IEEE Trans.Ind.电子学》,第 65 卷,第 99 期,第 4392-4400 页,2018 年 5 月
[9] C. Hu and Y. Wang, "An efficient convolutional neural network model based on object-level attention mechanism for casting defect detection on radiography images," IEEE Trans. Ind. Electron., vol. 67, no. 12, pp. 10922-10930, Dec. 2020
[9] C. Hu 和 Y. Wang,"基于对象级关注机制的高效卷积神经网络模型,用于射线照相图像上的铸造缺陷检测",IEEE Trans.Ind.电子学》,第 67 卷,第 12 期,第 10922-10930 页,2020 年 12 月。
[10] P. Sassi, P. Tripicchio, and C. A. Avizzano, "A smart monitoring system for automatic welding defect detection," IEEE Trans. Ind. Electron., vol. 66 no. 12, pp. 9641-9650, Dec. 2019.
[10] P. Sassi、P. Tripicchio 和 C. A. Avizzano,"用于自动焊接缺陷检测的智能监控系统",IEEE Trans.Ind.电子》,第 66 卷第 12 期,第 9641-9650 页,2019 年 12 月。
[11] M. W. Akram, G. Li, Y. Jin, X. Chen, and A. Ahmad, "CNN based automatic detection of photovoltaic cell defects in electroluminescence images," Energy, vol. 189, no. 10, pp. 1-15, Dec. 2019
[11] M. W. Akram、G. Li、Y. Jin、X. Chen 和 A. Ahmad,"基于 CNN 的电致发光图像中光伏电池缺陷自动检测",《能源》,第 189 卷,第 10 期,第 1-15 页,2019 年 12 月。
[12] H. Chen, Y. Pang, Q. Hu, and K. Liu, "Solar cell surface defect inspection based on multispectral convolutional neural network," J. Intell. Manuf. vol. 31, no. 2, pp. 453-468, Dec. 2020.
[12] H. Chen, Y. Pang, Q. Hu, and K. Liu, "Solar cell surface defect inspection based on multispectral convolutional neural network," J. Intell.31, no. 2, pp.
[13] H. Han et al., "Polycrystalline silicon wafer defect segmentation based on deep convolutional neural networks," Pattern Recognit. Lett., vol. 130 no. 2, pp. 234-241, Feb. 2020
[13] H. Han 等人,"基于深度卷积神经网络的多晶硅片缺陷分割",《Pattern Recognit.Lett., vol. 130 no. 2, pp.
[14] X. Wei, S. Jiang, Y. Li, C. Li, L. Jia, and Y. Li, "Defect detection of pantograph slide based on deep learning and image processing technology," IEEE Trans. Intell. Transp., vol. 21, no. 3, pp. 947-958, Mar. 2020
[14] X. Wei、S. Jiang、Y. Li、C. Li、L. Jia 和 Y. Li,"基于深度学习和图像处理技术的受电弓滑轨缺陷检测",IEEE Trans.Intell.Transp.3, pp.
[15] B. Su, H. Chen, P. Chen, G. Bian, K. Liu, and W. Liu, "Deep learning-based solar-cell manufacturing defect detection with complementary attention network," IEEE Trans. Ind. Informat., vol. 17, no. 6, pp. 4084-4095, Jun. 2021.
[15] B. Su、H. Chen、P. Chen、G. Bian、K. Liu 和 W. Liu,"基于深度学习的互补注意力网络太阳能电池制造缺陷检测",IEEE Trans.Ind.Informat.,第 17 卷,第 6 期,第 4084-4095 页,2021 年 6 月。
[16] T. Lin, P. Dollar, R. Girshick, K. He, B. Hariharan, and S. Belongie "Feature pyramid networks for object detection," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Apr. 2017, pp. 2117-2125
[16] T. Lin、P. Dollar、R. Girshick、K. He、B. Hariharan 和 S. Belongie "用于物体检测的特征金字塔网络",《Proc. IEEE Conf.Comput.Pattern Recognit.Pattern Recognit.,2017 年 4 月,第 2117-2125 页
[17] S. Liu, L. Qi, H. Qin, J. Shi, and J. Jia, "Path aggregation network for instance segmentation," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 8759-8768.
[17] S. Liu, L. Qi, H. Qin, J. Shi, and J. Jia, "Path aggregation network for instance segmentation," in Proc.Comput.Pattern Recognit.Pattern Recognit.,2018 年 6 月,第 8759-8768 页。

[18] M. Tan and Q. V. Le, "EfficientNet: Rethinking model scaling for convolutional neural networks," in Proc. Int. Conf. Mach. Learn., Jun. 2019, pp. 10691-10700.
[18] M. Tan 和 Q. V. Le,"EfficientNet:Rethinking model scaling for convolutional neural networks," in Proc.Conf.机器。Learn.,2019 年 6 月,第 10691-10700 页。
[19] X. Zhang, Y. Hao, H. Shangguan, P. Zhang, and A. Wang, "Detection of surface defects on solar cells by fusing multi-channel convolution neural networks," Infrared Phys. Technol., vol. 108, no. 4, pp. 127-132, Apr. 2020.
[19] X. Zhang, Y. Hao, H. Shangguan, P. Zhang, and A. Wang, "Detection of surface defects on solar cells by fusing multi-channel convolution neural networks," Infrared Phys.4,第 127-132 页,2020 年 4 月。
[20] J. Liu, C. Wang, H. Su, B. Du, and D. Tao, "Multistage GAN for fabric defect detection," IEEE Trans. Image Process., vol. 29, no. 12, pp. 3388-3400, Dec. 2020
[20] J. Liu, C. Wang, H. Su, B. Du, and D. Tao, "Multistage GAN for fabric defect detection," IEEE Trans.图像处理》,第 29 卷,第 12 期,第 3388-3400 页,2020 年 12 月。
[21] T. Nakazawa and D. V. Kulkarni, "Anomaly detection and segmentation for wafer defect patterns using deep convolutional encoder-decoder neural network architectures in semiconductor manufacturing," IEEE Trans. Semicond. Manuf., vol. 32, no. 2, pp. 250-256, May 2019
[21] T. Nakazawa 和 D. V. Kulkarni,"在半导体制造中使用深度卷积编码器-解码器神经网络架构进行晶圆缺陷模式的异常检测和分割",IEEE Trans.Semicond.Manuf.》,第 32 卷,第 2 期,第 250-256 页,2019 年 5 月
[22] J. Fu et al., "Dual attention network for scene segmentation," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2019, pp. 3141-3149.
[22] J. Fu 等人,"用于场景分割的双重注意力网络",《Proc. IEEE Conf.Comput.Pattern Recognit.Pattern Recognit.,2019 年 6 月,第 3141-3149 页。
[23] B. Su, L. Yu, and W. Yang, "Event-based high frame-rate video reconstruction with a novel cycle-event network," in Proc. IEEE Int. Conf. Image Process., Oct. 2020, pp. 86-90
[23] B. Su, L. Yu, and W. Yang, "Event-based high frame-rate video reconstruction with a novel cycle-event network," in Proc.Conf.图像处理》,2020 年 10 月,第 86-90 页
[24] S. Deitsch et al., "Automatic classification of defective photovoltaic module cells in electroluminescence images," Sol. Energy, vol. 185, no. 2, pp. 455-468, Feb. 2019.
[24] S. Deitsch 等人,"电致发光图像中缺陷光伏组件电池的自动分类",《太阳能》,第 185 卷,第 2 期,第 455-468 页,2019 年 2 月。能源》,第 185 卷,第 2 期,第 455-468 页,2019 年 2 月。
[25] H. Chen, Q. Hu, B. Zhai, H. Chen, and K. Liu, "A robust weakly supervised learning of deep Conv-Nets for surface defect inspection," Neural Comput. Appl., vol. 32, no. 15, pp. 11229-11244, Mar. 2020
[25] H. Chen, Q. Hu, B. Zhai, H. Chen, and K. Liu, "A robust weakly supervised learning of deep Conv-Nets for surface defect inspection," Neural Comput.应用》,第 32 卷,第 15 期,第 11229-11244 页,2020 年 3 月。
[26] B. Du, Y. He, Y. He, J. Duan, and Y. Zhang, "Intelligent classification of silicon photovoltaic cell defects based on eddy current thermography and convolution neural network," IEEE Trans. Ind. Informat., vol. 16, no. 10, pp. 6242-6251, Oct. 2020
[26] B. Du、Y. He、Y. He、J. Duan 和 Y. Zhang,"基于涡流热成像和卷积神经网络的硅光伏电池缺陷智能分类",IEEE Trans.Ind.16, no. 10, pp.
[27] T. Lin, P. Goyal, R. Girshick, K. He, and P. Doll1r, "Focal loss for dense object detection," IEEE Trans. Pattern Anal. Mach. Intell., vol. 42, no. 2, pp. 318-327, Feb. 2020.
[27] T. Lin、P. Goyal、R. Girshick、K. He 和 P. Doll1r,"密集物体检测的焦点损失",IEEE Trans.Pattern Anal.机器。Intell.》,第 42 卷,第 2 期,第 318-327 页,2020 年 2 月。
[28] J. Redmon and A. Farhadi, "YOLOv3: An incremental improvement," 2018, arXiv:1804.02767 重试    错误原因
[29] S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards real-time object detection with region proposal networks," IEEE Trans. Pattern Anal. Mach. Intell., vol. 39, no. 6, pp. 1137-1149, Jun. 2017.
[29] S. Ren、K. He、R. Girshick 和 J. Sun,"Faster R-CNN:Towards real-time object detection with region proposal networks," IEEE Trans.Pattern Anal.Mach.Intell., vol. 39, no. 6, pp.
[30] K. He, G. Gkioxari, P. Dollár, and R. Girshick, "Mask R-CNN," IEEE Trans. Pattern Anal. Mach. Intell., vol. 42, no. 2, pp. 386-397, Feb. 2020.
[30] K. He、G. Gkioxari、P. Dollár 和 R. Girshick,"Mask R-CNN",IEEE Trans.Pattern Anal.Mach.Intell.》,第 42 卷,第 2 期,第 386-397 页,2020 年 2 月。
[31] X. Wang, R. Girshick, A. Gupta, and K. He, "Non-local neural networks," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Dec. 2018, pp. 7794 7803
[31] X. Wang, R. Girshick, A. Gupta, and K. He, "Non-local neural networks," in Proc. IEEE Conf.Comput.Vis.Pattern Recognit.,2018 年 12 月,第 7794 7803 页
[32] Z. Shen et al., "Improving object detection from scratch via gated feature reuse," in Proc. Brit. Mach. Vis. Conf., Sep. 2019, pp. 171-182.
[32] Z. Shen 等人,"Improving object detection from scratch via gated feature reuse," in Proc. Brit.Mach.Vis.Conf.,2019 年 9 月,第 171-182 页。2019年9月,第171-182页。
[33] C. 周, M. Wu, and S. K. Lam, “SSA-CNN: Semantic self-attention CNN for pedestrian detection”, in Proc. IEEE Conf. Comput.Vis. Pattern Recognit.,2019 年 2 月,第 7804-7814 页。
[34] Z. Tang、E. Tian、Y. Wang、L. Wang 和 T. Yang,“使用空间注意力双线性卷积神经网络检测铸件中的无损缺陷”,IEEE Trans. Ind. Informat.,第 17 卷,第 1 期,第 82-89 页,2021 年 1 月。
[35] K. He,X. Zhang,S. 任和J. Sun,“图像识别的深度残差学习”,在Proc. IEEE Conf. Comput。Vis. Pattern Recognit.,2016 年 12 月,第 770-778 页
[36] S. Bhojanapalli 等人,“多头注意力模型中的低秩瓶颈”,载于 Proc. Int. Conf. Mach. Learn.,2020 年 2 月,第 864-873 页。
[37] B. Su、H. Chen、K. Liu 和 W. Liu,“RCAG-Net:用于光伏农场热点缺陷检测的残差通道注意门网络”,IEEE Trans. Instrum。测量, 2021, 待出版, doi: 10.1109/TIM.2021.3054415
苏斌怡分别于2017年和2020年获得河北工业大学智能科学与技术学士学位和控制工程硕士学位。他目前正在中国北京航空航天大学攻读计算机科学与技术博士学位
他目前的研究兴趣包括计算机视觉和模式识别、机器学习和人工智能以及工业图像缺陷检测。
陈海勇于2005年获得哈尔滨理工大学检测技术与自动化硕士学位,2008年获得中国科学院自动化研究所控制科学与工程博士学位。
他目前是中国天津河北工业大学人工智能与数据科学学院的教授。他还是光伏电池图像处理和自动化生产设备领域的专家。他目前的研究兴趣包括图像处理、机器人视觉和模式识别。
周钟(IEEE会员)于1999年获得中国南京大学材料物理学学士学位,并于2005年获得中国北京航空航天大学计算机科学与技术博士学位。
现任北京航空航天大学虚拟现实技术与系统国家重点实验室教授、博士生导师。他的主要研究兴趣包括虚拟现实、增强现实、混合现实、计算机视觉和人工智能。
周博士是ACM和CCF的成员。

× 重试    错误原因
图片将完成下载 重试    错误原因