鱼类产卵场空间分布调查是研究鱼类产卵繁殖活动受人类活动影响^[1-2]、产卵场生境适宜性^[3]的基础。在不同年份，鱼类的产卵场分布随着水温、流速、水深、河道底质等生境条件的改变而改变^[4]，因而产卵场分布的调查工作有较强的时效性，在大区域范围内，快速而科学地进行鱼类产卵场分布调查是该项工作的挑战之一。当前不少研究工作中，采取了纯人工调查的方式^[5-6]。人工调查方式的优势是可以进行各种鱼类产卵量等的同步调查，但是一般时效性较低，需耗费大量的人力物力。同时，一些学者针对不同鱼类产卵的适宜条件进行了研究^[7-9]，这些研究为通过环境因子去定位鱼类的产卵场提供了可能，但是一些环境因子很难使用简单的数字去描述，这也是通过环境因子准确定位潜在产卵场的难点之一。

人工智能的快速发展，为各行各业带来了变革，深度学习技术也已经在渔业现代化中有深入的研究与应用，如基于水下图片、视频的鱼类检测、分类与分割(语义分割，从图像中提取鱼类掩码)^[10-13]，鱼类行为检测^[14]以及基于DNA条形码进行鱼类物种鉴别^[15]等方面的研究。Yang等^[16]对深度学习在渔业方面的应用进行了总结，应用领域包括鱼类识别、物种分类、行为分析、摄食决策、大小或生物量估算、水质预测、捕捞水平和产量预测、渔船管理等。而深度学习在鱼类产卵地调查方面的应用和研究还相对较少。深度学习技术具有良好的场景识别和分割能力，能够进行复杂环境的表达，为深度学习在鱼类产卵场调查中的应用提供了可能。

遥感探测技术是进行大范围地表环境调查的最有效手段，随着遥感技术的发展，目前已经可以获得海量的亚米级卫星影像(地面分辨率能达到1 m以下的卫星遥感影像)或利用无人机获取精细的地表环境特征。高精度的遥感影像能够从细节上重现鱼类产卵场及其周边的环境特征，例如一条河流流速的缓急程度可能暗含在河流及河道的形态中，因而，本研究尝试将遥感和深度学习技术相结合，进行鱼类产卵场的识别。为降低调查中人类活动的干扰，本研究将研究区域选择在青海湖的入湖支流泉吉河，以青海湖唯一的经济鱼类青海湖裸鲤的产卵场为调查对象。研究中，首先基于无人机影像，以及实地调查工作，建立了少量青海湖裸鲤产卵场样本；然后，基于这些样本，进行了Unet-NestedUnet模型的训练；最后，采用未经过训练区域的影像对模型进行了验证。

2019年，通过实地调查，在已探明泉吉河河道中青海湖裸鲤的产卵场分布后，采用四轴旋转翼大疆精灵Phantom4 RTK无人机对60 km的泉吉河河道和青海湖裸鲤产卵场进行航测(图1)，使用系统自带控制软件平台规划飞行任务，影像传感器有效像素为2000万，照片储存格式为JPEG，照片最大分辨率为4864×3648，精度为垂直方向1.5 cm，水平方向1 cm。河道航拍时，飞行高度设定为150 m，航向和旁向重叠率分别设定为70%和80%，相机镜头俯仰角为–90°垂直向下进行拍摄，采用SfM摄影测量方法的Pix4D mapper软件处理得到正射影像，处理后影像分辨率约为0.22 m，影像覆盖泉吉河流域主要河道(图1)。对青海湖裸鲤产卵场进行实地调查，并在确认的产卵场处作地面标识，供航拍记录，产卵场航拍时飞行高度设定为50 m，航向重叠率、旁向重叠率、相机俯仰角的参数设置与河道航拍一致，航拍结束后，采用SfM摄影测量方法的Pix4D mapper软件处理得到数字正射影像，处理后影像分辨率约为0.015 m，对航拍记录的产卵场进行人工矢量化，再经过栅格化为0.22 m，以作为标签数据。

图1

图1 　样本数据以及数据集划分 Fig. 1 　Data and data set division

本次实地调查到研究区内的青海湖裸鲤产卵场共77个。产卵场主要分布在中下游河段，调查结果显示青海湖裸鲤野外自然产卵场的底质以卵石夹砂为主，大小不同的卵石中分布有不同粒径的细砂，产卵场分布的水深在5~50 cm之间，在高分辨率的无人机航拍影像上，能清晰地反映研究区域河段浅水区的底质状况。同时，调查显示，青海湖裸鲤产卵需求的流速在0.02~1.08 m/s之间，河道的宽度、弯曲度等局部形态特征与流速之间存在关联，这些特征在影像上均有所体现。样本集的制作中，以使得训练集中包含尽可能多不同特征的样本为原则，将研究区划分为训练集、验证集和测试集，其中训练集含有产卵场54个，验证集含有产卵场8个，测试集含有产卵场15个。

UNet模型是一种编码器-解码器结构的深度学习模型，最早提出时是被应用在医学影像的分割中^[17]，其最重要的特点之一是在训练样本相对较少的情况下，也可以取得较高的精度，UNet模型及其改进版本目前仍然被广泛应用于各项研究中^[18-21]。

NestedUnet模型最早由Zhou等^[22]提出，是在UNet结构基础上，改进原Unet模型的跳跃连接部分得到，其特点是将多个不同深度的Unet连接到一起，可以由模型自适应地选择不同深度的Unet的特征值，这一特点有助于模型更好地识别目标对象的边缘以及较小的目标^[23]。

已有的研究表明，链式连接两个Unet网络，能够提升目标分割的精度^[24]，因此，本研究建立了Unet-NestedUnet链式结构模型(图2)，来进行青海湖裸鲤产卵场的识别工作，模型中使用的Unet和NestedUnet均为经过缩放的轻量级版本，通道深度均为[16, 32, 64, 128, 256]层。

图2

图2 　Unet-NestedUnet模型详细结构图 Fig. 2 　Detailed structure diagram of Unet-NestedUnet model

与如支持向量机、最大熵等普通机器学习模型相比，深度学习模型可以进行端到端的学习，自动地进行高层次的特征提取，无需做专门的特征工程。在众多深度学习模型中，UNet系列模型常常被用来进行医学影像分割，能在样本较少的情况下进行建模。基于Vision Transformer的深度学习模型在很多数据集中性能超过了基于卷积的模型，但这建立在训练数据非常充足的前提下。本研究中，产卵场调查工作较为困难，所获取的真实产卵场样本较为有限，因此，选择了UNet系列模型及其组合进行青海湖裸鲤产卵场的识别。

考虑到产卵场分布于河道内，样本在空间分布上是稀疏的，采用常用的遥感影像切块方式，不仅会包含大量的空白数据，而且无法保证能全面描述产卵场的周边环境；而采用随机裁剪方式，又无法保证能涵盖所有的样本特征。因此，本研究设计了一种沿河道中心线的采样方式。首先，沿着中心线按小于等于影像分辨率×模型输入切片大小(该项研究中取 1024)的距离生成锚点，如图3所示，再获取锚点在影像上的行列位置，以该位置为中心，同步选择影像和标签上模型输入切片大小范围内的数据值，输出生成一组样本数据，若锚点距离影像边界小于模型输入切片大小，则采用0在对应侧边界进行填充，样本名称对应于锚点的唯一序号，训练集、验证集和测试集样本可以通过样本名称对应的序号进行分割，生成样本时，记录对应的锚点ID、列起始值、行起始值、左填充列数、右填充列数、上填充行数和下填充行数，以便快速地生成大区域的预测结果。部分样本影像如图4所示，样本可以相对较为完整地保留河道局部区域的信息。

图3

图3 　通过锚点确定样本范围 Fig. 3 　Determining the sample range through the anchor points

图4

图4 　沿河道采样方法采集影像示例 Fig. 4 　Examples of image acquisition by sampling method along the river

在批量生成样本的同时，依据标签判断样本中是否含有产卵场，对含有产卵场的样本进行增强处理，增强方式为以 50%概率采用均匀分布生成0.75~1.5之间的gamma值对图片亮度进行调整，再采用均匀分布生成10~350之间的角度值对图像进行旋转，两种随机方式组合可以尽可能地减少产生重复的增强样本，图5为一组样本增强结果的示例。最终生成训练样本约807组、验证样本56组，测试组不作样本增强处理，共计23组样本。

图5

图5 　样本增强示例a为样本增强后原始影像；b为样本增强后标签. Fig. 5 　Image enhancement examplesa. The original images after sample enhancement; b. The labels after sample enhancement.

产卵场识别本质上是两类图像(产卵场和非产卵场)分割问题，交并比损失函数是语义分割中常用的损失函数之一，一般而言，相对于交叉熵函数，其能在语义分割任务中使模型收敛更快，其计算公式如下所示。

式中，${\rm{mio}}{{\rm{u}}_{{\rm{loss}}}}$为平均交并比损失；W为图像宽度；H为图像高度；${y_p}$为模型输出经过softmax函数的结果；${y_t}$为one-hot形式的label;${\rm{Mea}}{{\rm{n}}_{{\rm{class}}}}$表示不同类别均值。

模型训练采用了Adam优化算法，初始学习率设置为0.0005，批次大小设置为2，训练步数设置为200步，训练中采用余弦策略进行学习率的动态调整，学习率衰减计算如下式所示。

式中，${\rm{learnRat}}{{\rm{e}}_{{\rm{min}}}}$为最小学习率，设置为1e–7; ${\rm{learnRat}}{{\rm{e}}_{{\rm{max}}}}$为最大学习率，即初始值0.0005;${\rm{Epoch}}$为当前模型运行步数；${\rm{maxEpoch}}$为最大学习步数，研究中为200。

训练过程中，本研究采用回调函数，同步记录了模型训练和验证精度，结果如图6所示。模型在前13步，验证精度显著上升，此后进入平稳的震荡阶段，模型在第51步验证交并比达到最大值，因模型验证精度无显著上升，于第60步停止训练，取第51步的模型为最优模型，此时，模型的验证交并比精度约为0.648，像素精度约为0.985，模型的训练交并比精度约为0.870，像素精度约为0.996，模型在测试集上的交并比精度约为0.569，像素精度约为0.973。由于真实训练样本较少，各产卵场之间本身存在特征差异等因素制约了模型的精度；另一方面，不同于土地利用解译中的地物斑块和图像分割中的对象，产卵场没有明确的界限，即使调查也无法完全确认其边界，故相较于土地利用解译或图像分割，产卵场识别的交并比精度也相对较低。

图6

图6 　Unet-NestedUnet训练和验证精度 Fig. 6 　Training and verification accuracy of Unet-NestedUNet

为评估UNet-NestedUNet模型在产卵场识别中的性能，本研究将UNet-NestedUNet与同结构的Unet模型和NestedUNet模型进行了对照评估。其中，为抵消UNet-NestedUNet参数量带来的优势，将UNet和NestedUNet均进行放大，卷积核通道数均取[32, 64, 128, 256, 512]，模型参数如表1所示，UNet-NestedUNet在参数量和计算量上要远小于放大后的NestedUNet模型，与放大后的UNet模型参数量相当。

表1

表1 　不同模型参数量和计算量对照表 Tab. 1 　Comparison table of parameter quantity and calculation quantity of different models 模型 model 参数量/M number of parameters 浮点运算次数/G FLOPs UNet 6.29 409 NestedUNet 9.16 1110 UNet-NestedUNet 3.87 381

表1 　不同模型参数量和计算量对照表 Tab. 1 　Comparison table of parameter quantity and calculation quantity of different models

三种模型均进行了多次运行测试，并记录在验证集上表现最佳的模型，最佳模型前60步的验证IOU，如图7所示，UNet-NestedUNet模型在验证集上的IOU精度最高，其次为NestedUNet模型，UNet模型精度最低；在测试集上三个模型也表现出相同的趋势，UNet-NestedUNet模型在测试集上的IOU精度约为0.569, NestedUNet模型IOU精度约为0.550, UNet模型在测试集上的IOU精度约为0.545。

图7

图7 　不同模型验证精度对比 Fig. 7 　Comparison of verification accuracy of different models

总体测试中，模型共识别到标识到77个产卵场中的61个，在测试区15个产卵场中(如图8所示)，完全无覆盖的产卵场仅1处，覆盖较少的产卵场有3处，同时，模型将不少人工未标识的区域标记为产卵场，这其中包括模型的误判和一些可能人工未标记未注意到的较小的适宜区域，测试区涵盖了平直河段产卵场、分叉河段产卵场和弯曲河段产卵场，具有较强的代表性，模型在平直河段、分叉河段和弯曲河段的性能没有展现出显著的差异。测试结果显示，模型对水深较为敏感，识别的产卵场均位于浅水区域，但由于影像上水流形成的波纹呈现出白色与灰褐色相间的特征，在影像上与浅滩区域较为相似，导致模型容易产生误判；另一方面，仅仅依靠河道形态，模型无法精确地判别青海湖裸鲤繁殖所需的流速，这导致模型无法很好地区分出产卵场准确的界限以及难以排除一些流速不符合条件的区域。

图8

图8 　测试区结果 Fig. 8 　Result of the test area

从本研究的测试结果来看，采用少量样本的深度学习模型可以在一定程度上辅助进行青海湖裸鲤产卵场识别工作。而从对识别区域的分割效果上来看，模型能够识别到大部分人工调查后标识的区域，但也会将很多未标识的区域判定为产卵场，这可能与样本数量较少有关，在获取更多样本的同时，还要考虑到不同区域成像的时相^[25]、光照条件^[26]等因素的影响以及样本精度的影响^[27]。在不同时相、不同光照条件下的影像上，同一地物的特征存在差别，因而，在训练样本不充足的情况下，一些特征比较相近的地物，在不同时相、光照条件的影像上，特征空间可能有所重叠，从而使模型出现误判，这种情况下，可以加入多时相、不同光照条件下的样本进行模型的训练。但也有研究认为，多时相的样本可能导致语义分割模型的泛化性能下降^[28]，通过对抗网络的色彩迁移使不同时相的色彩一致，可以有效地缓解这一问题。

高质量的训练样本是深度学习进行语义分割的基本保障^[29]，与遥感影像上边界清晰的地物目标有所差别，产卵场边界一般难以非常精确地确定，不同研究者对同一产卵场划定的边界也难以一致，这有可能导致模型识别的产卵场边界与实际情况出现偏差，甚至导致模型的误判。当前，深度学习在鱼类产卵场识别中的应用并不多见，获取高质量的训练数据还比较困难，因而，各种鱼类产卵场高质量的训练数据库构建也是未来进一步推进该项研究的基础工作之一。

目前训练数据量较为有限，一定程度上制约了模型的性能，模型直接应用到青海湖裸鲤产卵场识别中，尚不成熟，但可以作为辅助人工判读和辅助野外调查的手段进行应用，在实际应用中进一步累积样本，是增强模型性能最直接的方法。相较于普通分类算法，深度学习能够自动提取影像低层次特征至高层次的特征并进行融合，但需要大量的样本支持；普通分类算法一般仅考虑单个像素的属性进行划分，缺乏范围视野，需要具有人工提取相应特征属性的经验，且单独使用机器学习时，影像分割结果更为破碎化，但机器学习所需样本量相对较小。两者结合使用，也是减少深度学习样本需求量的重要方向。

深度学习技术在语义分割领域已经有深入的应用，鱼类产卵场的识别与图像的语义分割有一定的相似之处。本研究在产卵场识别中仅采用了航拍影像，主要是因为研究区域河流较浅，高精度的航拍影像能够较为精细地描述河流包括底质的整个水流断面特征，因而模型可以直接辅助进行青海湖产卵场的识别工作。很多鱼类对产卵场水体的物理、化学特征有所要求^[30]，如果这些物理、化学特征较难从深度学习模型输入影像中推断，那么在深度学习模型输入中引入能反映这些物理、化学特征的因子，则有助于更有效地建模。例如，很多鱼类在选择产卵场时，对流速要求较高，而在一些较宽的河流和较深的水域，很难从局部影像上推断河流流速的缓急程度，可以通过二维或三维水动力模型模拟河流流速在空间上的分布，流速分布结果可作为深度学习模型的一个输入。再如一些鱼类对产卵场的水深有所要求，对于河道结构长期稳定的水体而言，水深可以通过水位和水下高程来确定，其中，水位可以通过附近水文站获取，水下高程可以通过水下地形调查获取，对于深度小于5 m的区域，可通过无人机搭载激光雷达进行测量，如ASTRALiTe的edge^TM。因而，这也使得在不增加调查工作量的前提下，将深度学习应用到鱼类产卵场的识别中成为可能。

深度学习模型广泛应用于各行各业，因而，模型和技术的更新较快，将一些在图像、视频分割等领域的先进模型应用到鱼类产卵场的识别中，并评估这些模型的适应性，也是一项必要的工作。