本文深入探讨了pytorch d-linear模型在时间序列预测中常见的输出形状与目标数据不匹配问题。通过分析模型架构和数据处理流程，揭示了模型多通道输出与单通道目标之间的差异，并提供了使用`torch.sum`对模型输出进行聚合以匹配目标形状的有效解决方案，同时讨论了相关的设计考量和最佳实践。
引言：D-Linear模型及其时间序列预测应用
D-Linear模型是一种用于时间序列预测的深度学习架构，其核心思想是将时间序列分解为趋势（Trend）和季节性（Seasonal）两部分，然后分别使用独立的线性模型进行预测，最后将两部分预测结果相加得到最终输出。这种分解-预测的策略旨在更好地捕捉时间序列的复杂模式。在PyTorch中实现D-Linear模型时，正确处理数据形状是确保模型正常运行和训练的关键。
D-Linear模型架构解析
D-Linear模型由几个关键模块组成：
moving_avg (移动平均模块):该模块用于计算时间序列的移动平均，以提取其趋势成分。它通过对输入序列进行填充（为了处理边界效应）后，应用一维平均池化（nn.AvgPool1d）来实现。输入x的形状通常为 [Batch, Sequence Length, Channel]。为了应用AvgPool1d，它会将x的维度重排为 [Batch, Channel, Sequence Length]，池化后再重排回来。
class moving_avg(nn.Module): def __init__(self, kernel_size, stride): super(moving_avg, self).__init__() self.kernel_size = kernel_size self.avg = nn.AvgPool1d(kernel_size=kernel_size, stride=stride, padding=0) def forward(self, x): # 填充操作以处理边界 front = x[:, 0:1, :].repeat(1, (self.kernel_size - 1) // 2, 1) end = x[:, -1:, :].repeat(1, (self.kernel_size - 1) // 2, 1) x = torch.cat([front, x, end], dim=1) # 维度重排以适应AvgPool1d (Batch, Channel, Length) x = self.avg(x.permute(0, 2, 1)) # 维度重排回 (Batch, Length, Channel) x = x.permute(0, 2, 1) return x
series_decomp (序列分解模块):此模块利用moving_avg将原始时间序列分解为趋势和残差（季节性）两部分。
class series_decomp(nn.Module): def __init__(self, kernel_size): super(series_decomp, self).__init__() self.moving_avg = moving_avg(kernel_size, stride=1) def forward(self, x): moving_mean = self.moving_avg(x) # 提取趋势 res = x - moving_mean # 计算残差（季节性） return res, moving_mean
Model (D-Linear主模型):这是D-Linear的核心，它接收原始序列，通过series_decomp进行分解，然后对季节性部分和趋势部分分别应用线性层进行预测。
individual 参数: 如果为 True，则为每个输入通道（enc_in）创建独立的线性层；如果为 False，则所有通道共享同一组线性层。线性层: Linear_Seasonal 和 Linear_Trend 将 seq_len 长度的序列映射到 pred_len 长度的预测。输出: 模型的最终输出是季节性预测和趋势预测的和。关键在于，模型会为每个输入通道（enc_in）生成一个 pred_len 长度的预测。因此，如果输入是 [Batch, seq_len, enc_in]，那么模型的输出将是 [Batch, pred_len, enc_in]。
class Model(nn.Module): def __init__(self, seq_len, pred_len, individual, enc_in, kernel_size=25): super(Model, self).__init__() # ... (初始化代码省略) ... def forward(self, x): # x: [Batch, Input length, Channel] seasonal_init, trend_init = self.decompsition(x) # 维度重排，使线性层处理 (Batch, Channel, Length) seasonal_init, trend_init = seasonal_init.permute(0, 2, 1), trend_init.permute(0, 2, 1) if self.individual: # 为每个通道独立预测 seasonal_output = torch.zeros([seasonal_init.size(0), seasonal_init.size(1), self.pred_len], dtype=seasonal_init.dtype).to(seasonal_init.device) trend_output = torch.zeros([trend_init.size(0), trend_init.size(1), self.pred_len], dtype=trend_init.dtype).to(trend_init.device) for i in range(self.channels): seasonal_output[:, i, :] = self.Linear_Seasonal[i](seasonal_init[:, i, :]) trend_output[:, i, :] = self.Linear_Trend[i](trend_init[:, i, :]) else: # 共享线性层 seasonal_output = self.Linear_Seasonal(seasonal_init) trend_output = self.Linear_Trend(trend_init) x = seasonal_output + trend_output # 最终输出重排回 [Batch, Output length, Channel] return x.permute(0, 2, 1)
数据准备与训练设置
在时间序列预测任务中，数据通常需要进行序列化、划分和标准化。
序列生成: create_sequence 函数用于从原始数据帧中创建输入序列（seq_len）和对应的目标序列（pred_len）。值得注意的是，此函数仅提取了一个目标列（target_column）的预测值。
def create_sequence(data, seq_len, pred_len): sequences = [] targets = [] for i in range(len(data) - seq_len - pred_len + 1): sequence = data.iloc[i:i + seq_len].values # 提取所有特征作为输入 target = data.iloc[i + seq_len:i + seq_len + pred_len][target_column].values # 仅提取目标列作为输出 sequences.append(sequence) targets.append(target) return np.array(sequences), np.array(targets)
假设原始数据帧 df 有 C 列（enc_in），那么 sequences 的形状将是 [N_samples, seq_len, C]。而 targets 的形状将是 [N_samples, pred_len]，因为我们只预测了一个目标列。
数据划分与标准化: 数据被划分为训练集、验证集和测试集，并使用 StandardScaler 进行标准化。
DataLoader创建: PyTorch的 DataLoader 用于批量加载数据，方便训练。
# ... (数据划分、标准化、Tensor转换代码省略) ...train_dataset = TensorDataset(train_data_tensor, train_target_tensor)train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)# 模型初始化model = Model(seq_len=seq_len, pred_len=pred_len, individual=individual, enc_in=df.shape[1], kernel_size=kernel_size)optimizer = optim.Adam(model.parameters(), lr=0.001)criterion = nn.MSELoss() # 均方误差损失
在这里，enc_in 被设置为 df.shape[1]，即原始数据帧的列数（所有特征数），这决定了模型输出的通道数。
核心问题：模型输出与目标形状不匹配
在训练循环中，当尝试计算损失时，会遇到以下错误：
ima.copilot
腾讯大混元模型推出的智能工作台产品，提供知识库管理、AI问答、智能写作等功能
317 查看详情 
Using a target size (torch.Size([4, 3])) that is different to the input size (torch.Size([4, 3, 5])). This will likely lead to incorrect results due to broadcasting. Please ensure they have the same size.RuntimeError: The size of tensor a (5) must match the size of tensor b (3) at non-singleton dimension 2
这个错误清晰地指出了问题所在：
模型输出 outputs 的形状是 [Batch, pred_len, enc_in]。例如，[4, 3, 5] 表示批大小为4，预测长度为3，有5个通道的预测。目标 targets 的形状是 [Batch, pred_len]。例如，[4, 3] 表示批大小为4，预测长度为3，但只有一个通道（目标列 ‘A’）。
nn.MSELoss 要求输入 input 和目标 target 的形状完全一致，或者至少能够通过广播机制进行匹配。然而，这里的 [4, 3, 5] 和 [4, 3] 在第三个维度上不兼容，导致 RuntimeError。模型为每个输入特征（通道）都生成了预测，但我们的目标只有一个特定的特征。
解决方案：聚合模型输出的通道维度
为了解决形状不匹配问题，我们需要将模型输出的 enc_in 维度（即通道维度）聚合起来，使其与目标形状相匹配。最直接的方法是将所有通道的预测值求和，从而得到一个单一的预测序列。
overall_predictions = torch.sum(model_output, dim=2)
torch.sum(model_output, dim=2) 会沿着第三个维度（索引为2，即 Channel 维度）进行求和。如果 model_output 的形状是 [Batch, pred_len, Channel]，那么 overall_predictions 的形状将变为 [Batch, pred_len]，这与 targets 的形状完全一致。
修正后的训练循环
将上述聚合操作应用于模型输出，可以修正训练循环：
for epoch in range(num_epoch): model.train() for inputs, targets in train_loader: optimizer.zero_grad() outputs = model(inputs) # outputs 形状: [Batch, pred_len, enc_in] # 聚合模型输出的通道维度 aggregated_outputs = torch.sum(outputs, dim=2) # aggregated_outputs 形状: [Batch, pred_len] loss = criterion(aggregated_outputs, targets) # 现在形状匹配 loss.backward() optimizer.step() # 验证和测试阶段也需要同样的聚合操作 model.eval() with torch.no_grad(): val_inputs = val_data_tensor val_targets = val_target_tensor val_outputs = model(val_inputs) val_aggregated_outputs = torch.sum(val_outputs, dim=2) val_loss = criterion(val_aggregated_outputs, val_targets) with torch.no_grad(): test_inputs = test_data_tensor test_targets = test_target_tensor test_outputs = model(test_inputs) test_aggregated_outputs = torch.sum(test_outputs, dim=2) test_loss = criterion(test_aggregated_outputs, test_targets) print(f'EPOCH: {epoch + 1}') print(f'TRAINING LOSS {loss.item()}') print(f'VALIDATION LOSS {val_loss.item()}') print(f'TEST LOSS {test_loss.item()}')
注意事项与最佳实践
聚合方法的选择:
torch.sum(…, dim=2): 这是当前问题的解决方案，它假设所有通道的预测对最终目标都有贡献，并且可以简单地通过求和来组合。这适用于当目标是所有输入特征的某种综合结果时。torch.mean(…, dim=2): 也可以使用求平均值来聚合。这在某种程度上可以看作是对所有通道预测的一种平滑或平均贡献。选择特定通道: 如果模型实际上是为每个输入特征预测其自身的未来值，而你的目标只是其中一个特定特征（例如，只预测 ‘A’ 列），那么更准确的做法是从模型输出中选择对应目标特征的通道。例如，如果 ‘A’ 列是第0个特征，则可以使用 outputs[:, :, 0]。这要求在模型设计时，输出通道的顺序与输入特征的顺序保持一致。额外的线性层: 如果聚合逻辑更复杂，或者希望模型学习如何组合这些通道的预测，可以在D-Linear模型的 forward 方法的末尾添加一个 nn.Linear 层，将 enc_in 维度的输出映射到1个维度。例如：self.final_linear = nn.Linear(self.channels, 1)，然后在 forward 中 x = self.final_linear(x)。这允许模型学习最佳的通道组合权重。
模型设计与目标对齐:在设计模型时，应始终确保模型的输出形状与任务的目标形状相匹配。如果任务是预测一个单变量时间序列，而模型内部机制导致了多通道输出，那么就需要在输出层或损失计算前进行适当的维度调整。
调试形状:在PyTorch中，经常使用 print(tensor.shape) 来检查张量在不同阶段的形状，这是调试形状不匹配问题的最有效方法。在遇到 RuntimeError 时，通过打印 outputs.shape 和 targets.shape 可以迅速定位问题。
通过理解D-Linear模型的内部工作原理，特别是其多通道输出的特性，并结合对目标数据形状的精确把握，我们可以有效地解决PyTorch中常见的形状不匹配问题，从而顺利进行模型训练。
以上就是PyTorch D-Linear模型输出形状与目标不匹配问题解析与解决方案的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/845650.html
微信扫一扫 
支付宝扫一扫 
