2024, Vol. 31 
2. 浙江海洋大学水产学院，浙江 舟山 316022
2. School of Fisheries, Zhejiang Ocean University, Zhoushan 316022, China
大黄鱼(Larimichthys crocea)是中国四大海水鱼之一，同时也是中国东海地区主要经济鱼类[1], 2021年中国大黄鱼总产量达25万t。市场上消费者更偏向于选购体型精瘦、尾柄修长的大黄鱼[2]。长期以来，大黄鱼表型参数测量依赖人工使用皮尺及其他测量工具对鱼体进行测量，且对尾柄处参数的测量关注较少。人工测量的方法耗时耗力，易受到测量者经验、习惯等主观性因素和外部环境的影响，同时在测量过程中会对鱼体造成一定程度的损伤[3]。相比于人工测量的方式，自动化测量具有稳定、高效的优势，目前大多数学者认为全自动化的设备与方法是解决人工测量的各种问题最有效的途径。因此，需要设计开发一套速度快、精度高、非接触式、多参数的大黄鱼表型参数测量的方法。
近年来，计算机视觉技术越来越多应用在渔业养殖业的各个领域[4]，如监测鱼类行为并研究鱼类生活习性[5]、测量鱼类性状指标[6]、计算鱼群中鱼体个数[7]以及鱼种类识别[8]等研究中。针对鱼类表型参数的测量，学者们也开展了许多研究，目前在鱼类形态指标识别上大多数采用最小外接矩形、霍夫变换、图像细化等方法。Costa等[9]对水下的金枪鱼进行图像采集后使用Sobel算子进行边缘检测，之后采用图像二值化、腐蚀、膨胀等形态学方法对采集到的图片进行处理，进而获得鱼体轮廓图像并对全长进行计算。杨杰超等[10]通过中值滤波、背景减法等图像处理操作增加了提取鱼体轮廓的准确率，并在二值图像上对大黄鱼轮廓线和包络线进行几何计算，得到大黄鱼的4个测量值。上述测量方法在应对光照不足，图像噪声复杂方面表现较弱，且可测量的参数较少。随着深度学习技术的进步，卷积神经网络(convol-utional neural networks, CNN)的出现克服了传统图像处理技术中人工挑选特征带来的弊端，以其能够自主学习、自动提取图像特征的优势，在目标检测、图像分割领域表现优异。基于卷积神经网络的算法主要有单阶段和双阶段。单阶段检测框架不需要候选框而直接对图像进行预测，检测速度快，但检测精度低；双阶段方法首先对图像提取候选框，然后基于候选区域做二次修正得到检测点结果，极大提高了检测精度。Ellacuria等[11]使用双阶段的深度学习卷积神经网络Mask-RCNN分离出鳕的鱼体轮廓并进行鱼头长度测量进而推导到鱼体全长测量，这种方法在应对多个待测目标时具有很好的效果。Labao等[12]设计了152层的全卷积残差网络(ResNet-FCN)对图像中的鱼类实现了基于弱标签的图像分割，训练了可以仅依靠颜色分割鱼体的模型，为视觉测量提供了新思路。本研究以深度学习技术与图像处理技术为基础，进行大黄鱼表型参数测量的研究。
本研究提出一种基于改进Mask-RCNN的大黄鱼表型参数无接触测量方法。在自主搭建的大黄鱼表型参数测量平台上采集图像并制作数据集，训练改进的Mask-RCNN模型，替换模型主干网络后在模型中引入混合注意力机制并与Point Rend结合，成功获取大黄鱼去鳍图像。之后设计算法定位关键点，依据关键点位置完成对大黄鱼表型参数测量。与原始Mask-RCNN算法进行对比，分析验证本研究方法在大黄鱼表型参数测量中的优势，并设计实验验证本研究方法对于不同体型的大黄鱼表型参数测量精度，以期验证模型对目标体型范围大黄鱼的有效性。
1 材料与方法大黄鱼表型参数测量流程如图1所示，首先构建采集系统获取大黄鱼图像，并利用图像处理技术与改进的Mask-RCNN模型对图像分别进行处理获得完整轮廓与去鳍轮廓。关键点定位规则可以在轮廓信息中自动寻找到关键点并计算表型参数。
10-1174-12-F001.jpg "点击查看原图") |
图1 大黄鱼图像获取与处理流程 Fig. 1 Larimichthys crocea image acquisition and processing flow chart |
实验在浙江海洋大学国家海洋设施养殖工程技术研究中心进行，实验所用的大黄鱼采购自浙江省舟山市农贸市场，数量为50条，全长分布在27.8 ~31.2 cm，体重分布在481~576 g。自主设计并搭建大黄鱼表型参数测量系统(图2)，将Canon 77 D相机固定于相机支架后垂直立于待测区域上方25 cm，大黄鱼通过传动装置进入待测区域。图像拍摄完成后，使用游标卡尺对每条大黄鱼进行手工测量，在人工实测过程中，测量位置与选定的关键点位置一致，实际测量其每个表型参数各3次，取3次测量结果的平均值作为实测值，实测结果用于后续算法与系统的性能评估。
10-1174-12-F002.jpg "点击查看原图") |
图2 图像采集设备示意图 Fig. 2 Diagram of the image acquisition equipment |
本实验中共采集了1076张大黄鱼图像，使用数据集标注工具LabelMe对大黄鱼图像进行去鳍鱼体标注[13](图3)。用LabelMe标签点标记不包含鱼鳍的鱼体边缘轮廓，以生成标签。然后，标注将图像分为两部分，内部是目标鱼体，外部是背景。标签和标记点坐标等所有标记信息都保存到原始图像对应的.json文件中。最后，使用LabelMe软件将.json文件转换为COCO格式的数据集。标注完成后对数据集进行数据增强，预先设定数据变更规则包括：几何变换(平移、旋转、对称变换)、调整图像亮度，添加随机噪声[14-16]。原始数据集经过处理后得到包含4228张大黄鱼图像的数据集。将数据集按照训练集与测试集7∶1∶2的比例分为3部分，分别用作模型的训练、预测、验证[17]。
10-1174-12-F003.jpg "点击查看原图") |
图3 大黄鱼图像数据集标注示意图 Fig. 3 Sketch of data set annotation of Larimichthys crocea image |
本研究中使用改进的实例分割网络Mask-RCNN对大黄鱼图像进行检测与分割[18]。相较于Faster-RCNN[19], Mask-RCNN是一种更先进的实例分割算法，具有目标检测和实例分割两大功能，能够精确地检测目标并准确地分割目标。但Mask-RCNN网络的低层特征与高层特征融合过程冗长且缺乏对重点特征信息的关注。在生成掩膜时，Mask-RCNN网络的侧重点是ROI中所有点，降低了对目标边缘的分割的关注，增加了边界预测的损失。本研究提出一种基于改进的Mask RCNN去除鱼鳍分割方法，算法改进主要分为两部分：第一，采用MobileNetV2网络替换原始的骨干网络以提高检测速度，MobileNetV2网络是由google团队在2018年提出的轻量化网络，通过引入线性瓶颈层和倒残差结构提高网络的表征能力，本研究使用轻量化网络MobileNetV2作为改进的Mask-RCNN模型的主干网络，以此来减少网络模型的参数量和计算量，使网络模型获得更好表现。第二，在Mask-RCNN网络中引入CBAM (convolutional block attention module)注意力机制，注意力机制能有效提升图像内容筛选、目标检索等图像处理能力[20]。为了解决Mask-RCNN网络中低层信息利用不充分的问题，并抑制无关信息的干扰，更好提取目标特征，在主干特征提取网络中加入混合注意力模块CBAM[21]；引入Point Rend算法替换Mask-RCNN中原有全卷积网络的上采样过程以提升掩膜边缘的分割准确性，提高鱼体边缘的分割精度。(图4)
10-1174-12-F004.jpg "点击查看原图") |
图4 改进的Mask-RCNN网络结构 Fig. 4 Improved Mask-RCNN network structure |
Mask-RCNN通过全卷积网络结构FCN进行掩膜分割任务，FCN层中的掩膜分割处在低分辨率下(28 pixel×28 pixel)，在进行上采样过程中，会损失部分信息导致掩膜边界位置分割不准确，使得最终表型参数测量出现误差。为了解决在Mask-RCNN中边缘分割不够精细的问题，本研究引入Point Rend优化边缘分割效果(图5)。Point Rend是由Kirillov等[22]提出的一种高精度图像分割模块。Point Rend对掩码边缘的点采用多层感知机单独处理，其他部分的像素点采用直接插值的方法。这种做法对Mask-RCNN的掩码预测分支进行了进一步的改进[23]。有效减少了上采样边界误差，提升了边界分割精度。
10-1174-12-F005.jpg "点击查看原图") |
图5 Point Rend模块MLP表示多层感知机. Fig. 5 Point Rend moduleMLP stands for multilager perceptro |
图像分割过程中，采用固定阈值分割的方法不适用于背景复杂的图像，不同的光照条件、大黄鱼个体差异都会导致分割结果出现误差。虽然采取人工选定阈值的方法可以根据不同情况设定不同的阈值以保证分割结果，但分割效率达不到实际应用的要求。本研究使用自适应动态阈值分割的方法二值化处理图像[24]，与全局阈值方法OTSU算法[25]计算图像全局阈值不同，自适应动态阈值分割使得图像二值化的阈值可以由算法自动获取，不同亮度、对比度、纹理的局部图像区域将会拥有相对应的局部阈值，此方法能够有效克服光照条件不同、个体颜色差异导致的分割不充分问题。在二值化后的图像上使用Canny算子边缘检测算法获得大黄鱼边缘图像，并进行连通域检测[26]，所用图像大小为1080 pixel×608 pixel，将连通面积小于120 pixel×120 pixel (实际面积约10 cm2)的部分标记为干扰区域并剔除。轮廓提取完成后，将获取到的轮廓叠加显示在原图中(如图6d所示)，可以看出大黄鱼图像通过图像处理方法后所获得的图像平滑、鱼类边缘信息保持良好，可以准确地提取出大黄鱼整体的轮廓信息。
10-1174-12-F006.jpg "点击查看原图") |
图6 大黄鱼鱼体轮廓提取流程 Fig. 6 Larimichthys crocea body contour extraction flow chart |
本研究中大黄鱼的关键点位置参考大黄鱼外形性状研究[27]，利用类似研究[28]中对大黄鱼形态指标定义选取本研究的大黄鱼表型参数关键点。本研究共选择了6个表型参数，参数的编号与定义如表1所示。关键点定位依靠预先设定规则自动定位，以大黄鱼轮廓图像左上角为原点建立坐标系，分别沿X轴与Y轴，对轮廓图像上的所有像素点进行遍历(图7)，寻找符合定位规则的像素点确定为关键点，关键点定位规则、编号与生物学定义如表2所示。使用训练完成的改进Mask-RCNN网络模型实现大黄鱼整体轮廓提取和去尾鳍、背鳍的轮廓提取，运用本研究提出的大黄鱼表型参数测量关键点定位方法，在每幅图像中定位到所有关键点，并获取关键点坐标。
|
表1 大黄鱼图像参数定义 Tab. 1 Larimichthys crocea image parameter definition |
10-1174-12-F007.jpg "点击查看原图") |
图7 大黄鱼形态指标 Fig. 7 Larimichthys crocea morphological indicators |
|
|
表2 大黄鱼图像关键点定义 Tab. 2 Key points definition of the Larimichthys crocea image |
已知7个关键点坐标，利用欧式距离公式可以计算出6个表型参数的像素长度，6个表型参数分别为大黄鱼全长、体长、体高、尾柄尾鳍距、尾柄高、尾鳍长。欧式距离公式如下所示，式中p为点(x1, y1)与点(x2, y2)之间的欧氏距离。
| $p = \sqrt {{{({x_2} - {x_1})}^2} + {{({y_2} - {y_1})}^2}} $ |
相机位置固定，拍摄位置固定，经过标定后，可以获取实际拍摄区域中图像像素和实际长度的比例参数，公式如下所示：
| $\theta = \frac{a}{b}$ |
| ${P_{{\rm{real }}}} = p*\theta $ |
式中，θ为图像像素与实际长度的换算比例，a为拍摄区域即图像的实际长度，b为图像的像素长度。Preal为计算出的表型参数实际长度。
2 实验结果与分析 2.1 模型训练所采用深度学习机硬件环境配置为6核、4.60 GHz运行主频率CPU、16 GB的RAM、Nvidia GTX 3090 GPU和Ubuntu 18.04操作系统，结合 CUDA 10.1、cuDNN 7加速模型训练。利用Python 3.6语言编写代码于PyTorch开源框架下进行模型的训练和预测。模型训练时超参数设置：批处理大小为8；初始学习率设为0.01；权重衰减系数为0.0001；共训练180个epoch。训练结束之后选取精度最高的权重作为最终模型。图8为模型训练过程中loss变化情况。
10-1174-12-F008.jpg "点击查看原图") |
图8 改进Mask-RCNN损失函数变化曲线 Fig. 8 Improved Mack-RCNN loss function curve |
为了客观评价模型分割效果，本研究选取准确率(precision)、平均精度(mAP)作为评价指标。表3为混淆矩阵。
|
|
表3 混淆矩阵 Tab. 3 Confusion matrix |
准确率的定义如下所示，它体现了模型对负样本的区分能力，表示在模型识别为正类的样本中，真正为正类的样本所占的比例。
| ${\rm{ Precision }} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FP}}}}$ |
Recall为召回率，表示模型正确识别的样本数量占总的正确样本数量的比值。召回率公式如下所示：
| ${\rm{ Recall }} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}}$ |
mAP是所有Precision-Recall曲线下面积的均值，公式如下所示：
| ${\rm{mAP}} = \int_{\;0}^{\;1} P (r){\rm{d}}r$ |
为了验证MobileNetV2网络、CBAM注意力机制、Point Rend模块这3种改进策略对模型性能的提升效果，在测试集下进行了消融实验，在原模型的基础上依次添加改进方式进行参数对比以评估每种方法对原始网络的优化效果。不同模型测试结果如表4所示。
|
|
表4 消融实验结果 Tab. 4 Ablation test results |
由表4可知，使用MobileNetV2替换了Mask-RCNN原始主干网络ResNet101后的Model 2尽管在检测精度上不及原模型，但是其模型体积与平均检测时间大幅度减少，模型体积减小了约62.30%，单张图片推理时间从155.7 ms缩短到57.8 ms，表明更换的骨干网络可以有效降低复杂度，实现模型的整体轻量化，提升模型的推理速度，为模型部署在移动端设备上提供了有利条件。而添加混合注意力机制CBAM后的Model 3，模型准确率、平均检测精度相较于Model 2分别提高了0.49、2.09个百分点，在不增加计算量的同时一定程度上弥补了Model 2在更换轻量化主干网络后检测精度上带来的损失，分析出现以上结果的原因是由于加入了CBAM模块后，模型考虑了不同通道中的像素信息，同时也关注到了同一通道中不同位置的像素信息，使得大黄鱼纹理特征提取相对完整，导致了模型在鱼体分割过程中具有更好的表征能力。最终的Model 4在Model 3的基础上加入了Point Rend模块，模型准确率、平均检测精度分别提高了1.98、0.46个百分点，使用Point Rend取代原网络头后模型的边缘细节特征提取能力得到了增强，提高了检测精度。消融实验证明本研究所提出的基于改进Mask-RCNN模型的大黄鱼去鳍分割模型设计合理，能够充分体现各模块的优势，可以有效地提升分割模型性能。
分别使用替换主干网络后的Model 2与最终Model 4在对同一幅图像进行测试评估。结果如图9所示，替换主干网络后的Model 2预测出的大黄鱼头部位置出现了明显缺失、在尾柄附近以及背鳍末端出现了将背景和鱼鳍像素点识别为鱼体的情况，最终的改进模型Model 4对边缘的分割更精确，减少了矩形边缘的出现并且大幅降低了错误识别与漏检的概率。综合主观的视觉效果与客观的定量评价证明了本研究方法的可行性和有效性。
10-1174-12-F009.jpg "点击查看原图") |
图9 模型改进前后分割结果对比 Fig. 9 Comparison of segmentation results before and after model improvement |
在相同的数据集下，集中训练了Mask-RCNN、Segnet、Unet++模型，从准确率、检测精度以及检测时间与本研究所提出的改进算法进行对比，以验证改进算法的性能，实验结果如表5所示。
|
|
表5 不同算法在大黄鱼数据集中检测结果 Tab. 5 Detection results of different algorithms in Larimichthys crocea dataset |
由表5可知，本研究改进后的模型检测时间最短，在检测速度这一指标上，改进模型平均每张图的检测速度为70.5 ms，与Mask-RCNN、Segnet、Unet++相比分别提升了85.2 ms、41.5 ms、15.1 ms。改进模型的准确率为87.94%，与Mask-RCNN相比低了0.69个百分点，与Segnet、Unet++模型相比准确率分别增加了6.28个百分点、5.11个百分点；改进模型的平均检测精度为83.21%，与Mask-RCNN相比降低了1.72个百分点，与Segnet、Unet++模型相比准确率分别增加了3.28个百分点、2.09个百分点；综合对比所有模型，改进模型具备良好的检测精度和检测速度，能够满足大黄鱼表型参数高效测量。
2.3 表型参数测量结果本研究中使用决定系数R2、均方根误差RMSE评估测量误差。下式中ESS为模型测量值($\hat y$)与人工测量值均值($\bar y$)的误差程度，TSS为人工测量值(yi)与其均值的误差，R2反映了人工测量值与数学期望的偏差程度。RMSE表示预测值与实际值的标准偏差，对数据中的异常值较为敏感。
| ${R^2} = \frac{{{\rm{ESS}}}}{{{\rm{TSS}}}} = \frac{{\sum\limits_{i = 1}^n {{{(\hat y - \bar y)}^2}} }}{{\sum\limits_{i = 1}^n {{{({y_i} - \bar y)}^2}} }}$ |
| ${\rm{RMSE}} = \sqrt {\frac{1}{m}\sum\limits_{i = 1}^m {{{({y_i} - {{\hat y}_i})}^2}} } $ |
大黄鱼表型参数测量实验中使用图像处理技术与形态学操作与本研究模型提取大黄鱼轮廓，通过算法在融合图像中自动定位关键点坐标，之后计算出大黄鱼体尺参数信息并与人工实测结果进行比较验证本方法的测量效果。人工测量数据与系统测量数据使用SPSS软件进行分析处理，结果如表6所示。6个参数的平均相对误差为4.04%。其中尾柄尾鳍距与尾柄高的误差最大，平均相对误差分别为5.93%、5.09%，均方根误差分别为2.37 mm、1.12 mm。经分析，导致误差的主要原因是模型分割结果在尾鳍与鱼体连接处的分割结果不准确或错误识别导致。且由于成年大黄鱼全长一般在31.0 cm~38.0 cm之间，尾柄长度与高度数值一般在40 mm、15 mm左右，在同一测量条件下，长度较小的尾柄长度与高度两个参数相较于体长、全长必然会表现出较大误差。大黄鱼体高参数的测量结果最好，由于大黄鱼图像中外围轮廓清晰、背景简单，因此通过边缘检测及轮廓提取可以完整地识别出大黄鱼体高，最终的检测结果误差较小，平均相对误差为2.53%，均方根误差为1.95 mm。体长与全长两个参数的测量平均相对误差分别为3.34%、3.58%，均方根误差分别为7.92 mm、9.01 mm。这两处参数的测量误差主要由模型分割结果在鱼嘴、尾鳍与鱼体连接处部分分割不平滑导致，且人工测量时标准不一致、采样环境有差异，这两者最终都会导致测量结果出现误差。
|
|
表6 表型参数测量误差 Tab. 6 Phenotypic parameters measured results |
大黄鱼6个参数人工测量值与检测值的对照情况如图10所示，人工测量值和系统检测值拟合决定系数R2均不小于0.95，各参数检测精度较高，证明了本研究方法具有可行性。
10-1174-12-F010.jpg "点击查看原图") |
图10 大黄鱼表型参数测量值与实测值对比a. 全长；b. 体长；c. 尾柄尾鳍距；d. 尾柄高；e. 体高；f. 尾鳍长.. Fig. 10 Comparison between measured and actual phenotypic parameters of Larimichthys croceaa. Total length; b. Body length; c. Tail handle length; d. Caudal peduncle height; e. Body height; f. Caudal fin length. |
为了验证本研究的大黄鱼表型参数测量系统对不同生长阶段大黄鱼的适应性，在舟山桃花岛大黄鱼养殖基地内分别于2021年12月、2022年4月、2022年8月取不同大小的大黄鱼为实验对象进行实验，共获取468幅图像。其中2021年12月组大黄鱼全长在17.0 cm~21.2 cm之间，共有133幅图像，称为16月龄样本。2022年4月组大黄鱼全长在23.6 cm~31.7 cm之间，共有179幅图像，称为20月龄样本。2022年8月组大黄鱼全长在30.1 cm~37.3 cm之间，共有156幅图像，称为24月龄样本。使用本研究方法对3组大黄鱼图像进行测量，不同生长阶段的大黄鱼各个参数测量结果的平均绝对百分比误差如图11所示。其中体长、全长两项参数的测量误差随大黄鱼的生长逐渐减小，这是由于幼时大黄鱼鳍与鱼体连接处差异不明显，不易识别，随着大黄鱼体型变大，这些特征更易检测与定位。且幼鱼个体之间体型差异较大，随着生长阶段的变化，成年大黄鱼个体之间差异减小，更利于参数计算。尾柄尾鳍距与尾柄高两项参数测量误差随大黄鱼体型变大而增加，经分析是由于鱼体平放时，体型较大的大黄鱼体厚也更大，尾柄处会向下弯曲。各项参数的测量误差随着体型的不同有所波动，但不同体型大小的大黄鱼各项参数平均绝对百分比误差不超过7%，说明本研究方法面对这3组大黄鱼均能较好地测量出表型参数。
10-1174-12-F011.jpg "点击查看原图") |
图11 不同生长阶段测大黄鱼表型参数测量误差 Fig. 11 Measurment error of phenotypic parameters of Larimichthys crocea at different growth stages |
计算机视觉技术作为一项速度快、稳定性高、无接触的检测方法，已被逐渐用于水产动物视觉属性的测量中，基于计算机视觉技术的鱼类表型参数测量步骤一般有三步：1. 获取图像并进行预处理；2. 轮廓提取以及特征点标定；3. 使用预设的几何计算方法获取测量值。图像分割技术作为轮廓提取以及关键点定位的前提，可以分为传统分割方式与基于深度学习的分割两种。传统的鱼体分割方式主要包括阈值分割、最小矩形法、背景差分法等。在国内相关大黄鱼表型参数测量研究中，传统的鱼体分割方式已经实现对大黄鱼表型参数的自动测量，但其一般具有对像素在空间分布的关注度较低、对噪声敏感、难以区分相似的背景前景等问题。本研究引入深度学习分割方法，通过注意力机制改进模型通道和空间聚焦能力，提高了模型分割准确率，能更好满足大黄鱼研究的实际需要。李艳君等[29]基于机器视觉对鱼类进行体长和体宽进行测量，两个参数相对误差分别为4.7%和9.2%。Monkman等[30]使用卷积神经网络CNN对鱼体进行自动的基于目标检测的体长测量，检测出鱼体所在位置后提取轮廓进行体长测量，平均体长测量精度达到93%。王禹莎等[31]基于Mask-RCNN对大黄鱼体长、体高进行测量，平均相对误差均小于4%，本研究预测的精度与以往研究基本一致，但可测量参数更多。深度学习是一种数据驱动的学习方法，高质量的数据集是保证算法性能的基础。目前存在训练集数据量较少，数据集获取难度大的问题，一定程度上制约了基于深度学习的鱼类表型参数测量的发展。数据种类较少或差异性较小的数据集更是会限制所拟合模型的预测泛用性。周佳龙等[32]使用平面图像与深度图对红鳍东方鲀的全长进行估算，但其所采集的数据仅包含18.7 cm~23.0 cm与32.6 cm~40.2 cm两个区间，该方法对其他长度的红鳍东方鲀测量效果无法直接判断。本研究中对不同体型大小的大黄鱼进行了实验，但仍需扩大数据集，以期涵盖幼鱼至成鱼区间。
高效便捷一直是研究者所关注的重要评价指标，基于机器视觉的半自动化鱼体测量研究中，需要人工进行一部分操作，不能将所有任务交给计算机完成，大多数的半自动系统依赖人工使用鼠标在屏幕中点击特征点，利用其位置信息进行参数测量。余心杰等[33]设计的半自动化的大黄鱼形态参数快速检测系统，对大黄鱼图片进行分割、滤波处理后显示在计算机中，由人工手动选取点位进行参数测量。这种方法虽然误差较小、能够随意选择需要测量的部位，但每次测量都需要人工使用鼠标选择测量点，待测目标数量过大的情况下，会增加操作人员负担，大幅度降低测量效率。从结果上看，本研究对原始Mask-RCNN模型进行改进以及自动定位关键点可以有效减少测量时间、提高检测效率。
除了表型参数外，鱼类体色、表面纹理、表面积、体积、身体弧度等同时也是研究鱼类表型信息与反映养殖环境与鱼体健康状况的重要依据。齐月[34]利用机器视觉技术对血鹦鹉鱼体色进行评价，完成按照体色进行血鹦鹉鱼分级的目标。同时二维图像具有所展示信息有限，无法获取更多详细信息的缺点。三维视觉作为一项多融合多交叉技术，相比于二维图像，三维点云具有可以反映完整几何信息的优势，可呈现关于对象清晰且完备的结构特征。Liao等[35]使用三维扫描仪获取鱼类点云数据，通过数据预处理与分割完成鱼类的三维表型提取。下一步研究方向可以在算法内添加更丰富的大黄鱼视觉属性检测功能，以及进行立体视觉的鱼体三维重构等研究。
4 结论(1)本研究提出一种大黄鱼去鳍鱼体分割模型与关键点定位方法，从减少模型检测时间、提高检测精度这两个方面对原始Mask-RCNN模型进行了改进，实现了大黄鱼掩膜边缘的精细提取与关键点定位。
(2)设计表型参数测量算法，通过图像处理技术与形态学操作提取大黄鱼轮廓并定位关键点用于参数测量，测量值在6个参数上与人工实测值有4.04%的平均相对误差，测量结果稳定、精度较高。不同生长阶段大黄鱼表型参数测量的结果与人工测量值的平均绝对百分比误差均小于7%，证明本研究方法适用于17.0 cm~37.7 cm的大黄鱼。
本研究所提出的方法仍有不足之处，图像采集便捷性仍有待提升，图像质量需要提高，边缘阴影导致了误差的增大。后期研究中也可以根据计算鱼的体型曲线数据，进一步优化表型参数测量算法。
| [1] |
Zhou T, Chen B H, Ke Q, et al. Development and evaluation of a breeding array for genomic selection of large yellow croaker (Larmichthys crocea)[J]. Journal of Fishery Sciences of China, 2022, 29(1): 41-48. [周涛，陈葆华，柯巧珍，等. “宁芯2 号”大黄鱼基因组育种芯片的开发及验证[J]. 中国水产科学，2022, 29(1): 41-48.].》Google Scholar
|
| [2] |
Zhang W B, Ma R, Sun R J, et al. Research advance in evaluation indexes for fish quality[J]. Feed Industry, 2017, 38(24): 1-10. [张文兵，马睿，孙瑞健，等. 养殖鱼类品质评价指标体系的研究进展[J]. 饲料工业，2017, 38(24): 1-10.].》Google Scholar
|
| [3] |
Chen G, Sun P, Shang Y. Automatic fish classification system using deep learning[C]//2017 IEEE 29th International Conference on Tools with Artificial Intelligence (ICTAI). November 6-8, 2017, Boston, MA, USA. IEEE, 2017: 24-29..》Google Scholar
|
| [4] |
Antonucci F, Costa C. Precision aquaculture: A short review on engineering innovations[J]. Aquaculture International, 2020, 28(1): 41-57..》Google Scholar
|
| [5] |
Yang D H Research on swimming tracking of medaka based on computer vision[D]. Shanghai: Shanghai Ocean University. 2019. [杨东海. 基于计算机视觉的青鳉鱼游泳跟踪方法研究[D]. 上海：上海海洋大学，2019.].》Google Scholar
|
| [6] |
Fernandes A F A, Turra E M, de Alvarenga É R, et al. Deep Learning image segmentation for extraction of fish body measurements and prediction of body weight and carcass traits in Nile Tilapia[J]. Computers and Electronics in Agriculture, 2020, 170: 105274..》Google Scholar
|
| [7] |
Liu S J, Tu X Y, Tian C F, et al. Research on the counting system of fish suction pump based on machine vision[J]. Fishery Modernization, 2020, 47(5): 45-51. [刘世晶，涂雪滢，田昌凤，等. 基于机器视觉的吸鱼泵过鱼量计数系统试验研究[J]. 渔业现代化，2020, 47(5): 45-51.].》Google Scholar
|
| [8] |
Li L, Hong J Q. Identification of fish species based on image processing and statistical analysis research[C]//2014 IEEE International Conference on Mechatronics and Automation. August 3-6, 2014, Tianjin, China. IEEE, 2014: 1155-1160..》Google Scholar
|
| [9] |
Costa C, Loy A, Cataudella S, et al. Extracting fish size using dual underwater cameras[J]. Aquacultural Engineering, 2006, 35(3): 218-227..》Google Scholar
|
| [10] |
Yang J C, Xu J C, Lu W R, et al. Computer vision-based body size measurement and weight estimation of large yellow croaker[J]. Journal of Chinese Agricultural Mechanization, 2018, 39(6): 66-70. [杨杰超，许江淳，陆万荣，等. 基于计算机视觉的大黄鱼体尺测算与体质量估测[J]. 中国农机化学报，2018, 39(6): 66-70.].》Google Scholar
|
| [11] |
Ellacuria A, Catalan I A, Lisani J L, et al. Fish size estimation from instance segmentation results obtained with a deep convolutional network[C]//2022 International Conference of the Catalan Association for Artificial Intelligence (CCIA), 2019..》Google Scholar
|
| [12] |
Labao A B, Naval P C Jr. Weakly-labelled semantic segmentation of fish objects in underwater videos using a deep residual network[M]//Lecture Notes in Computer Science. Cham: Springer International Publishing, 2017: 255-265..》Google Scholar
|
| [13] |
Russell B C, Torralba A, Murphy K P, et al. LabelMe: A database and web-based tool for image annotation[J]. International Journal of Computer Vision, 2008, 77(1): 157-173..》Google Scholar
|
| [14] |
El Hameed Mokhtar S A, Elnemr H A. A comparative study of data mining approaches for bag of visual words based image classification[J]. Journal of Computer Science, 2018, 14(1): 53-66..》Google Scholar
|
| [15] |
Zhou Y B, Ye J M, Du Y J, et al. New improved optimized method for medical image enhancement based on modified shark smell optimization algorithm[J]. Sensing and Imaging, 2020, 21(1): 20..》Google Scholar
|
| [16] |
Hines G D. Real-time Retinex image enhancement: Algorithm and architecture optimizations. [D].The College of William and Mary.,2006.》Google Scholar
|
| [17] |
Giménez-Gallego J, González-Teruel J D, Jiménez-Buendía M, et al. Segmentation of multiple tree leaves pictures with natural backgrounds using deep learning for image-based agriculture applications[J]. Applied Sciences, 2019, 10(1): 202..》Google Scholar
|
| [18] |
He K M, Gkioxari G, Dollár P, et al. Mask R-CNN[C]//2017 IEEE International Conference on Computer Vision (ICCV). October 22-29, 2017, Venice, Italy. IEEE, 2017: 2980-2988..》Google Scholar
|
| [19] |
Girshick R. Fast R-CNN[J]. Computer Science, 2015.》Google Scholar
|
| [20] |
Mnih V, Heess N, Graves A, et al. Recurrent models of visual attention[J]. Advances in Neural Information Processing Systems, 2014, 3..》Google Scholar
|
| [21] |
Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module[M]//Lecture Notes in Computer Science. Cham: Springer International Publishing, 2018: 3-19..》Google Scholar
|
| [22] |
Kirillov A, Wu Y X, He K M, et al. PointRend: Image segmentation as rendering[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). June 13-19, 2020, Seattle, WA, USA. IEEE, 2020: 9796-9805..》Google Scholar
|
| [23] |
Sui H G, Huang L H, Liu C X. Detecting building façade damage caused by earthquake using CBAM-improved MASK R-CNN[J]. Geomatics and Information Science of Wuhan University, 2020, 45(11): 1660-1668. [眭海刚，黄立洪，刘超贤. 利用具有注意力的Mask R-CNN检测震害建筑物立面损毁[J]. 武汉大学学报(信息科学版), 2020, 45(11): 1660-1668.].》Google Scholar
|
| [24] |
Ju Z Y, Xue Y J, Zhang W X, et al. Algorithm for detecting pomegranate disease spots based on Prewitt operator with adaptive threshold[J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(8): 135-142. [巨志勇，薛永杰，张文馨，等. 自适应阈值Prewitt的石榴病斑检测算法[J]. 农业工程学报，2020, 36(8): 135-142.].》Google Scholar
|
| [25] |
Bhandari A K, Kumar A, Singh G K. Modified artificial bee colony based computationally efficient multilevel thresholding for satellite image segmentation using Kapur's, Otsu and Tsallis functions[J]. Expert Systems with Applications, 2015, 42(3): 1573-1601..》Google Scholar
|
| [26] |
He L F, Chao Y Y, Suzuki K. Two efficient label-equivalence-based connected-component labeling algorithms for 3D binary images[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2122-2134..》Google Scholar
|
| [27] |
Wu Y Y, Tao W B, Li L H, et al. Morphological structure and quality characteristics of cultured Larimichthys crocea in Ningde[J]. Journal of Fisheries of China, 2019, 43(6): 1472-1482. [吴燕燕，陶文斌，李来好，等. 宁德地区养殖大黄鱼形态组织结构与品质特性[J]. 水产学报，2019, 43(6): 1472-1482.].》Google Scholar
|
| [28] |
Chen W. Studies on morphological and genetic sexual differences of large yellow croaker (Larimichthys crocea)[D]. Xiamen: Jimei University.2014[谌微. 大黄鱼雌雄形态及遗传差异的研究[D]. 厦门：集美大学，2014.].》Google Scholar
|
| [29] |
Li Y J, Huang K W, Xiang J. Measurement of dynamic fish dimension based on stereoscopic vision[J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(21): 220-226. [李艳君，黄康为，项基. 基于立体视觉的动态鱼体尺寸测量[J]. 农业工程学报，2020, 36(21): 220-226.].》Google Scholar
|
| [30] |
Monkman G G, Hyder K, Kaiser M J, et al. Using machine vision to estimate fish length from images using regional convolutional neural networks[J]. Methods in Ecology and Evolution, 2019, 10(12): 2045-2056..》Google Scholar
|
| [31] |
Wang Y S, Wang J Y, Xin R, et al. Application of computer vision in morphological and body weight measurements of large yellow croaker (Larimichthys crocea) [J] Journal of fisheries of China, 2023, 47(1): 019516 [王禹莎，王家迎，辛瑞，等. 基于计算机视觉的大黄鱼体尺、体重性状表型测量装置开发和应用[J]. 水产学报，2023, 47(1): 019516.].》Google Scholar
|
| [32] |
Zhou J L, Ji B M, Ni W Q, et al. Non-contact method for the accurate estimation of the full-length of Takifugu rubripes based on 3D pose fitting[J]. Transactions of the Chinese Society of Agricultural Engineering, 2023, 39(4): 154-161. [周佳龙，季柏民，倪伟强，等. 基于三维姿态拟合的非接触式红鳍东方鲀全长精准估算方法[J]. 农业工程学报，2023, 39(4): 154-161.].》Google Scholar
|
| [33] |
Yu X J, Wu X F, Wang J P, et al. Rapid detecting method for Pseudosciaena crocea morphological parameters based on the machine vision[J]. Journal of Integration Technology, 2014, 3(5): 45-51. [余心杰，吴雄飞，王建平，等. 基于机器视觉的大黄鱼形态参数快速检测方法[J]. 集成技术，2014, 3(5): 45-51.].》Google Scholar
|
| [34] |
Qi Y. Research on the Shape Evaluation Model of Blood parrot fish based on Machine Vision Technology[D]. Tianjin: Tianjin Agricultural University 2019 [齐月. 基于机器视觉技术的血鹦鹉鱼外形评价模型研究[D]. 天津：天津农学院，2019].》Google Scholar
|
| [35] |
Liao Y H, Zhou C W, Liu W Z, et al. 3DPhenoFish: Application for two- and three-dimensional fish morphological phenotype extraction from point cloud analysis[J]. Zoological Research, 2021, 42(4): 492-501..》Google Scholar
|