修复 PyTorch 模型加载错误：_pickle.UnpicklingError：无效的加载密钥，'x1f'

解决 PyTorch 模型检查点错误：无效的加载密钥

使用正确的文件处理和模型加载的 Python 后端解决方案

import os
import torch
import numpy as np
import timm
import zipfile
import io
# Device setup
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print('Device being used:', device)
# Correct method to load a corrupted or zipped model checkpoint
mname = os.path.join('./CDF2_0.pth')
try:
    # Attempt to open as a zip if initial loading fails
    if zipfile.is_zipfile(mname):
        with zipfile.ZipFile(mname) as archive:
            for file in archive.namelist():
                with archive.open(file) as f:
                    buffer = io.BytesIO(f.read())
                    checkpoints = torch.load(buffer, map_location=device)
    else:
        checkpoints = torch.load(mname, map_location=device)
    print("Checkpoint loaded successfully.")
except Exception as e:
    print("Error loading the checkpoint file:", e)
# Model creation and state_dict loading
model = timm.create_model('legacy_xception', pretrained=True, num_classes=2).to(device)
if 'state_dict' in checkpoints:
    model.load_state_dict(checkpoints['state_dict'])
else:
    model.load_state_dict(checkpoints)
model.eval()
print("Model loaded and ready for inference.")

替代解决方案：重新保存检查点文件

基于Python的修复损坏的检查点文件的解决方案

import os
import torch
# Device setup
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print('Device being used:', device)
# Original and corrected file paths
original_file = './CDF2_0.pth'
corrected_file = './fixed_CDF2_0.pth'
try:
    # Load and re-save the checkpoint
    checkpoints = torch.load(original_file, map_location=device)
    torch.save(checkpoints, corrected_file)
    print("Checkpoint file re-saved successfully.")
except Exception as e:
    print("Failed to fix checkpoint file:", e)
# Verify loading from the corrected file
checkpoints_fixed = torch.load(corrected_file, map_location=device)
print("Verified: Corrected checkpoint loaded.")

两种解决方案的单元测试

用于验证检查点加载和模型 state_dict 完整性的单元测试

import torch
import unittest
import os
import timm
class TestCheckpointLoading(unittest.TestCase):
    def setUp(self):
        self.device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
        self.model_path = './fixed_CDF2_0.pth'
        self.model = timm.create_model('legacy_xception', pretrained=True, num_classes=2).to(self.device)
    def test_checkpoint_loading(self):
        try:
            checkpoints = torch.load(self.model_path, map_location=self.device)
            if 'state_dict' in checkpoints:
                self.model.load_state_dict(checkpoints['state_dict'])
            else:
                self.model.load_state_dict(checkpoints)
            self.model.eval()
            self.assertTrue(True)
            print("Checkpoint loaded successfully in unit test.")
        except Exception as e:
            self.fail(f"Checkpoint loading failed with error: {e}")
if __name__ == '__main__':
    unittest.main()

有关 PyTorch 检查点加载问题的常见问题

1. 为什么我得到 _pickle.UnpicklingError 加载我的 PyTorch 模型时？
2. 此错误通常是由于检查点文件不兼容或损坏而发生。在保存和加载之间使用不同的 PyTorch 版本时也可能会发生这种情况。
3. 如何修复损坏的 PyTorch 检查点文件？
4. 你可以使用 zipfile.ZipFile() 检查文件是否是 ZIP 存档或重新保存检查点 torch.save() 修复后。
5. 的作用是什么 state_dict 在 PyTorch 中？
6. 这 state_dict 包含字典格式的模型权重和参数。始终保存并加载 state_dict 为了更好的便携性。
7. 如何在 CPU 上加载 PyTorch 检查点？
8. 使用 map_location='cpu' 论证中 torch.load() 将张量从 GPU 重新映射到 CPU。
9. PyTorch 检查点会因版本冲突而失败吗？
10. 是的，较旧的检查点可能无法在较新版本的 PyTorch 中加载。建议保存和加载时使用一致的 PyTorch 版本。
11. 如何检查 PyTorch 检查点文件是否损坏？
12. 尝试使用加载文件 torch.load()。如果失败，请使用类似工具检查文件 zipfile.is_zipfile()。
13. 保存和加载 PyTorch 模型的正确方法是什么？
14. 始终保存使用 torch.save(model.state_dict()) 并加载使用 model.load_state_dict()。
15. 为什么我的模型无法在其他设备上加载？
16. 当张量保存为 GPU 但加载到 CPU 上时，就会发生这种情况。使用 map_location 来解决这个问题。
17. 如何跨环境验证检查点？
18. 使用编写单元测试 unittest 检查不同设置（CPU、GPU、操作系统）上的模型加载情况。
19. 我可以手动检查检查点文件吗？
20. 是的，您可以将扩展名更改为 .zip 并使用以下命令打开它 17 号 或档案管理员检查内容。

克服 PyTorch 模型加载错误

加载 PyTorch 检查点有时会因文件损坏或版本不匹配而引发错误。通过验证文件格式并使用适当的工具，例如 压缩文件 或重新映射张量，您可以有效地恢复经过训练的模型并节省重新训练的时间。

开发人员应该遵循最佳实践，例如保存 状态字典 仅并跨环境验证模型。请记住，解决这些问题所花费的时间可确保您的模型保持功能性、可移植性并与任何部署系统兼容。 🚀