A Data-Driven Deep Learning Model for Weekly Sea Ice Concentration Prediction of the Pan-Arctic During the Melting Season

发表于

论文地址：researchgate

摘要

作者提出了一个名叫 SICNet 的网络，采用编码器-解码器框架，结合全卷积网络（FCNs），可以以高精度预测未来一周的 SIC。同时，设计了一个时空注意力模块（TSAM）以帮助 SICNet 从 SIC 序列中捕捉时空依赖性。

模型的预测方法为递归预测，同时采用二进制准确性（BACC）指标来衡量预测的海冰范围（SIE）的准确性。

当前基于深度学习的 SIC 预测还有以下 3 个问题：

  • 现有的模型中很不有用于泛北极每日 SIC 的像素级预测模型。
  • 预测的准确性可以进一步提高
  • 纯粹的卫星衍生 SIC 能否支持泛北极每日 SIC 的每周预测

为了解决以上问题，作者提出了纯数据驱动的模型，叫 SICNet，基于全卷积网络，可以输出与输入图像大小相同的图像，而不仅仅是预定义窗口的中心网格。SICNet 采用了编码器-解码器结构。

同时，构建了一个时空注意力模块，将其集成到 SICNet 中，这有助于模型准确捕捉时空依赖关系。

贡献

  • SICNet 比现有的模型更轻量
  • 仅以 SIC 作为输入，SICNet 在七天前的 SIC 预测中将平均绝对误差降低到 3%以下。
  • SICNet 比现有基于深度学习的模型表现更佳
  • SICNet 在递归预测方面比异常持续表现更好
  • SICNet 效果更好

模型的数据

每日 SIC 数据来自美国国家冰雪数据中心（NSIDC）。

SIC数据的空间分辨率为25公里，采用北极立体投影。我们关注覆盖320×224网格（北纬90°至北纬45°，东经180°至西经180°）的核心区域。时间覆盖范围为33年，从1988年到2020年。由于北极航行活动主要在夏季进行，我们重点预测从4月1日至9月30日的融化季节的SIC，每年共183天。实验数据集包含6039天。

以下是四个 SIC 示例：

模型架构

SICNet 采用编码器-解码器结构，包括五个模块：输入，编码器，解码器，拼接和输出。

首先，编码器从历史 SIC 序列中捕获不同尺度的时空依赖关系，并形成降尺度的时空特征图。其次，解码器逐级恢复降尺度的时空特征图的尺度，直到输出序列与输入序列大小相同，以实现泛北极SIC的像素级预测。最后，由编码器和解码器捕获的中间时空图拼接在一起，形成多尺度的时空依赖关系。

同时，为了增强捕获的时空依赖表示，提出了一个TSAM（时空注意模块）单元，并将TSAM集成到编码器和解码器单元中。

模型的输入

模型使用过去七天的历史 SIC 来预测接下来的几天。所以，输入是前七天的 SIC 序列，如图 2 a 所示。

设当前是第 $T$ 天，则 $X_i$ 是第 $i$ 天的 SIC，其空间形状为 $320224$，所以，对于模型的输入来说，就是 $320224*7$ 的 SIC 序列。

编码器设计

编码器的目标是从历史 SIC 序列中捕获时空依赖关系。编码器包含一个 $CNN_{TSAM}$ 块，8 个 $ResNet_{TSAM}$ 块，4 个最大池化层，可以从图 2 b 所见。

一个 $CNN_{TSAM}$ 块是一个 CNN 层叠加 TSAM，其结构如图 3 a 所示。

一个 $ResNet_{TSAM}$ 块是一个集成了 TSAM 块的残差 CNN 单元。一个 ResNet 单元包含两个堆叠的 CNN 层，并有一个快捷连接将输入和第二个 CNN 层的输出连接在一起。TSAM 堆叠在 ResNet 内部的第二个 CNN 层上，如图 3 b 所示。

编码器有五个阶段，第一个阶段是一个 $CNN_{TSAM}$ 块，剩下的四个阶段中，每个阶段包含两个 $ResNet_{TSAM}$ 块。在五个阶段之间有两个 $22$ 卷积核的最大池化层。每个最大池化层之后，特征图的大小减半、一个阶段中的卷积核数量分别为 C*2,C*4,C*6,C*8,C*10。C 为输入序列中的通道数，为 $7$。编码后，输入的序列的形状（$3202247$）会被转换为特征图形状 $2014*(C*10)$

解码器的设计

解码器的目标是恢复降尺度的时空特征图以进制像素级预测。

解码器有 4 个 $ResNet_{TSAM}$ 块和 4 个上采样层，如图 2 c 所示。$ResNet_{TSAM}$ 块与编码器中的结构相同。4 个上采样层将 $2014$ 的网格放大到其原始大小：$320224$。四个 $Resnet_{TSAM}$ 块中的卷积核数量（从下到上）分别为 $C8,C6,C4,C2$。C 为输入序列中的通道数，$7$。解码步骤后，降尺度的特征图形状为 （$2014(C10)$），被重新缩放为特征图形状为 $320224*(C*2)$。

拼接

对于 SIC 预测，时间上的空间依赖存在于不同的空间尺度。比如：北极中心网格的SIC变化很小，而北极盆地边缘海的SIC变化很大。

不同区域的SIC的时空依赖存在于不同的尺度上，尤其是在融化季节。不同尺度的空间依赖被编码到不同层次的特征图中。使用四个拼接来融合多尺度的空间依赖，以连接由相同层次的编码器和解码器捕获的特征图，如图2(d) 所示。

输出

解码器输出的特征图被输入到由一个CNN层和 N 个1 × 1卷积核组成的输出模块中。N 是预测的SIC序列的长度，为 $7$。一个sigmoid层对卷积输出进行非线性激活，以预测每个网格的SIC。sigmoid函数输出所有在 [0, 1] 之间的值，与SIC的范围相同。输出的形状为320 × 224 × 7，这是从 X + 1 到 X + 7 的泛北极SIC预测，

TSAM 设计

CBAM 已经证明了，注意力在感知中起着至关重要的作用。图 3 c 展示了 CBAM 的详细结构。给定一张图，通道注意力有助于优化显著特征。

CBAM 是为计算机视觉任务设计的，比如图像分类与分割。对于分类任务，提取的特征图中的通道通常代表不同类别的特征表示。CBAM 使用 MLP 来生成通道注意力权重。它可以提取任意两个通道之间的全局依赖关系，而不是通道序列之间的顺序依赖关系。但是，输入 SIC 捕获的特征通道包含时间依赖关系，而原始 CBAM 中的 MLP 无法捕获时间依赖关系与顺序依赖关系。为了解决这个问题，提出了一个时间注意力模块来替换 CBAM 中原始的通道注意力模块，形成了 TSAM。

TSAM 有两个过程，时间与空间注意力模块，其结构如图 3 d 所示。时间注意力模块采用时间卷积网络（TCN）来提取特征通道中的时间依赖关系。TCN 使用一个一维全卷积网络架构，其中每个隐藏层的长度与输入层相同，并添加长度为 [卷积核大小-1] 的零填充以保持后续层的长度与前一层相同。

提取序列依赖关系的关键点是不能从未来泄漏到过去，所以使用因果卷积来实现，其中时间 $t$ 的输出仅与上一层中时间 $t$ 及更早的元素进行卷积。因此，因果卷积只能回顾历史，大小与网络深度成线性关系，限制了被建模序列的长度。TCN 使用膨胀卷积来解决上述限制。

以下 a 图是一个膨胀因子 $d=1,2,4$ 和因果卷积滤波器大小 $k=3$ 的 TCN 示例。

当 d=1 时，膨胀卷积就等于常规卷积。较大的膨胀使得顶层隐藏 TCN 层代表更广泛的输入满园，从而有效的了感受长度。

SICNet 中的 TCN 模块如图 4 b 所示。所有的参数都是通道实验确定的。

模型评估

作者将 33 年的数据分为训练集，验证集与测试集：1988-2013 用于训练，2014-2015 用于验证，2016-2020 用于测试。

SICNet在测试数据上的MAE、MAPE和NSE如表I所示。

图5(a)-(e)中展示了五年内MAE、预测值和真实值的时间分布。所有非陆地区域每天的MAE、预测值和真实值（从4月8日到9月29日）都是空间平均的。SIC预测在预测期内与真实值高度一致。融化趋势、最小点以及从融化到冻结的逆转趋势都被SICNet准确拟合。MAE范围为0.97%到5.63%，周期为七天。

图6展示了2019年9月2日至8日的细节。总体而言，预测值与NSIDC数据一致，如图6(a)和(b)所示。前三天，大多数地区的残差在（-10%，10%）范围内。接下来的四天，差异逐渐增加，但大多数情况下残差仍在（-20%，20%）范围内，如图6(c)和(d)所示。结果，SICNet在中心区域高估了SIC，而在北冰洋边缘海域低估了SIC ，见图6(c)。图7展示了与图6相似的趋势。前三天大多数地区的残差范围约为（-10%，10%），如图7(c)和(d)所示。最后四天，大多数地区的残差在（-20%，20%）范围内，北冰洋边缘海域有一些高估值。

在所有三个指标中，SICNet优于CNN和LSTM模型。

理论上，CNN和LSTM模型应该比SICNet更好地拟合测试数据。然而，在实践中，SICNet表现优于其他两个模型。这种现象是因为SICNet在不同层次上捕捉并融合了空间和时间依赖性。

虽然CNN模型也捕捉了空间和时间依赖性，但没有融合不同层次的相关性。LSTM模型仅捕捉时间依赖性，但无法捕捉空间依赖性。

消融实验

TSAM 的有效性

对比了三种模型：

  • 不带任何注意力机制的 SICNet 模型（$SICNet_{noat}$）
  • 带有经典 CBAM 模型（$SICNet_{CBAM}$）
  • 带有 TSAM 模型（$SICNet_{TSAM}$）

结果如下：

可以看到，$SICNet_{CBAM}$ 在所有三个指标上均优于 $SICNet_{noat}$，而 $SICNet_{TSAM}$ 在所有三个指标上均优于 $SICNet_{CBAM}$。

作者使用了显著性检验，来确定三个比较模型的预测 SIC 是否存在统计显著差异。

三个模型的预测通过成对组合进行测试，结果如下所示：

由于所有三个 p 值均小于 0.05，所以三个预测结果之间的差异是显著的，TSAM 带来的改进也是显著的。

作者还探讨了三个比较模型之间 MAE 差异的时间和空间分布。每晶的 MAE 差异如下：

红色/蓝色线分别代表MAE差异（$SICNet_{noat}$ 与 $SICNet_{TSAM}$）/（$SICNet_{noat}$ 与 $SICNet_{CBAM}$）。灰色虚线是零差异的基线。

高于零基线的点意味着被减模型（$SICNet_{CBAM}$ 或 $SICNet_{TSAM}$）的MAE小于 $SICNet_{noat}$ 的MAE。

可以知道：在北极的大多数区域，$SICNet_{TSAM}$ 取得的MAE比 $SICNet_{noat}$ 和 $SICNet_{CBAM}$ 更小。因此，与不带任何注意力机制的模型和经典CBAM机制相比，所提出的TSAM可以有效减少SIC预测中的误差。

讨论

SIC 衍生辅助输入对预测的影响

作者衍生了两种辅助数据：SIC_Anom（SIC 异常值）与 SIC_Last_Year（与预测期一致的去年的 SIC 序列），并将这两种数据逐一加入模型输入、

结果如下表与图 10 a所示：

可以看到：

  • SIC和SIC_Anom作为输入的误差与仅用SIC相同。
  • 加入了去年的 SIC 只会增加预测误差，所以，这对每周预测没有贡献。

输入长度对预测的影响

将输入从 7 天变化到 28 天，输出保持 7 天不变，其它的设置不变。结果如下表与图 10 b所示：

可以看到，预测误差随着输入的长度的增加而增加，NSE（Nash-Sutcliffe Efficiency，纳什效率系数）系数减少。图 10 b 也能说明，MAE 也出现了类似的趋势。

递归预测：每周到每月

通过递归地预测多周的 SIC 序列，可以看到以下的结果：

MAE和MAPE（Mean Absolute Percentage Error，平均绝对百分比误差）随着递归步骤的增加而增加，NSE相应减少。无论是数值模型还是统计模型，预测性能通常随着预测长度的增加而下降。然而，在四周（28天）的预测长度下，最大MAE为4.20%，仍然相对较小。

为了更好的评估模型在递归预测中的表现，作者基于预测的 SIC 计算海冰边缘，并采用BACC（Balanced Accuracy，平衡准确率）指标来衡量预测和实际冰缘的接近程度。

其定义公式如下：

$$
BACC = (1-\frac{IIEE}{活跃网格单元区域面积} * 100%)
$$
其中，IIEE 定义为所有局部 SIC（Sea Ice Edge，海冰边缘）被高估或低估区域的总和。可以将 BACC 看成是 IIEE 的归一化版本。活跃网格单元区域是1988-2020年观察到的最大每日SIE（SIC大于15%）。

作者使用异常持久性（Persist）方法作为基准来比较模型。选择8月26日至9月22日，共四周（28天），作为评估模型性能的时期。零递归步骤、一个递归步骤和三个递归步骤的预测通过BACC指标进行评估。

其结果如图 11 所示：

作者绘制了两个模型（persist 与 SICNet）的预测 SIC（SIC>15%），结果如下所示：

与Persist的SIE相比，SICNet的SIE与NSIDC观察到的SIE更一致。在第二和第三步预测中，SICNet的优势更加明显。对于第三步预测，四年（2016-2019年）的平均BACC值比Persist高2.82%，如图12(d)、(h)、(l)和(p)所示。基于上述分析，SICNet在递归预测中表现良好，2016-2019年第28天的平均BACC值超过90%（90.17%）。

极端情况下的性能

作者探讨了 SICNet 在三个情况下的表现：即最小SIE值：2007年9月、2012年和2020年。

零递归步骤和三递归步骤的BACC如图13(a)和(b)所示。预测的SIE误差（SIEE），即预测的海冰面积减去观察到的海冰面积，如图13(c)和(d)所示。

对于三个小SIE的情况，随着递归步骤的增加，BACC下降，SIEE增加，SICNet的优势变得越来越明显，如图13(b)和(d)所示。

总体来说， SICNet在22-24天预测中表现出显著优势