à¦¸à¦°à§à¦¬à¦¦à¦¾ à¦¬à§à¦¯à¦¬à¦¹à¦¾à¦° à¦à¦°à§ à¦¸à¦à¦°à¦à§à¦·à¦£ à¦à¦°à§à¦¨ torch.save(model.state_dict()) à¦à¦¬à¦ à¦²à§à¦¡ à¦¬à§à¦¯à¦¬à¦¹à¦¾à¦° à¦à¦°à§ model.load_state_dict().

PyTorch মডেল লোডিং ত্রুটি

Isanes Francois

শুক্রবার, ৩ জানুয়ারী, ২০২৫ ৬:১৪:১২ AM

কেন পাইটর্চ মডেল চেকপয়েন্টগুলি ব্যর্থ হয়: লোডিং ত্রুটির মধ্যে একটি গভীর ডুব

40টি মেশিন লার্নিং মডেলের উপর একটি পুরো মাস প্রশিক্ষণ ব্যয় করার কল্পনা করুন, শুধুমাত্র তাদের ওজন লোড করার চেষ্টা করার সময় একটি গোপন ত্রুটির সম্মুখীন হতে হবে: _pickle.Unpickling Error: অবৈধ লোড কী, 'x1f'. 😩 আপনি যদি PyTorch এর সাথে কাজ করেন এবং এই সমস্যাটি পান তবে আপনি জানেন এটি কতটা হতাশাজনক হতে পারে।

ত্রুটিটি সাধারণত ঘটে যখন আপনার চেকপয়েন্ট ফাইলের সাথে কিছু বন্ধ থাকে, হয় দুর্নীতির কারণে, একটি বেমানান ফর্ম্যাট বা এটি যেভাবে সংরক্ষণ করা হয়েছিল। একজন ডেভেলপার বা ডেটা সায়েন্টিস্ট হিসাবে, এই ধরনের প্রযুক্তিগত সমস্যাগুলির সাথে মোকাবিলা করার সময় আপনি যখন অগ্রগতি করতে চলেছেন ঠিক তখনই দেওয়ালে আঘাত করার মতো মনে হতে পারে।

গত মাসে, আমার পাইটর্চ মডেলগুলি পুনরুদ্ধার করার চেষ্টা করার সময় আমি একই রকম সমস্যার সম্মুখীন হয়েছিলাম। আমি PyTorch-এর কতগুলি সংস্করণ চেষ্টা করেছি বা আমি পরিবর্তন করেছি তা বিবেচনা না করেই, ওজনগুলি লোড হবে না। এক পর্যায়ে, আমি ফাইলটিকে জিপ সংরক্ষণাগার হিসাবে খোলার চেষ্টা করেছি, ম্যানুয়ালি পরিদর্শন করার আশায় - দুর্ভাগ্যবশত, ত্রুটিটি অব্যাহত ছিল।

এই নিবন্ধে, আমরা এই ত্রুটির অর্থ কী, কেন এটি ঘটে এবং—সবচেয়ে গুরুত্বপূর্ণ—আপনি কীভাবে এটি সমাধান করতে পারেন তা ভেঙে দেব। আপনি একজন শিক্ষানবিস বা একজন অভিজ্ঞ পেশাদার হোন না কেন, শেষ পর্যন্ত, আপনি আপনার PyTorch মডেলগুলির সাথে ট্র্যাকে ফিরে আসবেন। এর মধ্যে ডুব দেওয়া যাক! 🚀

আদেশ	ব্যবহারের উদাহরণ
zipfile.is_zipfile()	এই কমান্ডটি একটি প্রদত্ত ফাইল একটি বৈধ ZIP সংরক্ষণাগার কিনা তা পরীক্ষা করে। এই স্ক্রিপ্টের প্রেক্ষাপটে, এটি যাচাই করে যে দূষিত মডেল ফাইলটি আসলে একটি পাইটর্চ চেকপয়েন্টের পরিবর্তে একটি জিপ ফাইল হতে পারে।
zipfile.ZipFile()	একটি ZIP সংরক্ষণাগারের বিষয়বস্তু পড়া এবং বের করার অনুমতি দেয়। এটি সম্ভাব্য ভুল-সংরক্ষিত মডেল ফাইলগুলি খুলতে এবং বিশ্লেষণ করতে ব্যবহৃত হয়।
io.BytesIO()	বাইনারি ডেটা পরিচালনা করার জন্য একটি ইন-মেমরি বাইনারি স্ট্রীম তৈরি করে, যেমন জিপ আর্কাইভ থেকে পড়া ফাইল সামগ্রী, ডিস্কে সংরক্ষণ না করে।
torch.load(map_location=...)	একটি PyTorch চেকপয়েন্ট ফাইল লোড করে যখন ব্যবহারকারীকে CPU বা GPU-এর মতো একটি নির্দিষ্ট ডিভাইসে টেনসর রিম্যাপ করার অনুমতি দেয়।
torch.save()	একটি সঠিক বিন্যাসে একটি PyTorch চেকপয়েন্ট ফাইল পুনরায় সংরক্ষণ করে। দূষিত বা ভুল ফর্ম্যাট করা ফাইলগুলি ঠিক করার জন্য এটি অত্যন্ত গুরুত্বপূর্ণ৷
unittest.TestCase	পাইথনের অন্তর্নির্মিত ইউনিটটেস্ট মডিউলের অংশ, এই ক্লাসটি কোড কার্যকারিতা যাচাই এবং ত্রুটি সনাক্ত করার জন্য ইউনিট পরীক্ষা তৈরি করতে সহায়তা করে।
self.assertTrue()	যাচাই করে যে একটি ইউনিট পরীক্ষার মধ্যে একটি শর্ত সত্য। এখানে, এটি নিশ্চিত করে যে চেকপয়েন্ট ত্রুটি ছাড়াই সফলভাবে লোড হয়েছে।
timm.create_model()	নির্দিষ্ট টিম লাইব্রেরি, এই ফাংশনটি প্রাক-সংজ্ঞায়িত মডেল আর্কিটেকচার শুরু করে। এটি এই স্ক্রিপ্টে 'legacy_xception' মডেল তৈরি করতে ব্যবহৃত হয়।
map_location=device	torch.load() এর একটি প্যারামিটার যা ডিভাইসটি (CPU/GPU) নির্দিষ্ট করে যেখানে লোড করা টেনসরগুলি বরাদ্দ করা উচিত, সামঞ্জস্যতা নিশ্চিত করে৷
with archive.open(file)	একটি জিপ সংরক্ষণাগার ভিতরে একটি নির্দিষ্ট ফাইল পড়ার অনুমতি দেয়। এটি জিপ কাঠামোর মধ্যে ভুলভাবে সংরক্ষিত মডেল ওজন প্রক্রিয়াকরণ সক্ষম করে।

PyTorch চেকপয়েন্ট লোডিং ত্রুটি বোঝা এবং ঠিক করা

ভয়ঙ্কর সম্মুখীন হলে _pickle.Unpickling Error: অবৈধ লোড কী, 'x1f', এটি সাধারণত নির্দেশ করে যে চেকপয়েন্ট ফাইলটি হয় দূষিত বা একটি অপ্রত্যাশিত বিন্যাসে সংরক্ষণ করা হয়েছে। প্রদত্ত স্ক্রিপ্টগুলিতে, মূল ধারণাটি হল স্মার্ট পুনরুদ্ধার কৌশলগুলির সাথে এই জাতীয় ফাইলগুলি পরিচালনা করা। উদাহরণস্বরূপ, ফাইলটি ব্যবহার করে একটি ZIP সংরক্ষণাগার কিনা তা পরীক্ষা করা zipfile মডিউল একটি গুরুত্বপূর্ণ প্রথম ধাপ। এটি নিশ্চিত করে যে আমরা অন্ধভাবে একটি অবৈধ ফাইল লোড করছি না torch.load(). যেমন টুলস লিভারেজ করে zipfile.ZipFile এবং io.BytesIO, আমরা নিরাপদে ফাইলের বিষয়বস্তু পরিদর্শন এবং নিষ্কাশন করতে পারি। আপনার মডেলগুলিকে প্রশিক্ষণ দেওয়ার জন্য সপ্তাহ কাটানোর কল্পনা করুন, এবং একটি একক দূষিত চেকপয়েন্ট সবকিছু বন্ধ করে দেয়—আপনার এইগুলির মতো নির্ভরযোগ্য পুনরুদ্ধারের বিকল্প দরকার!

দ্বিতীয় স্ক্রিপ্টে, ফোকাস করা হয় চেকপয়েন্ট পুনরায় সংরক্ষণ এটি সঠিকভাবে লোড করা হয়েছে তা নিশ্চিত করার পরে। যদি আসল ফাইলটিতে ছোটখাটো সমস্যা থাকে তবে এখনও আংশিকভাবে ব্যবহারযোগ্য হয়, আমরা ব্যবহার করি torch.save() এটি ঠিক করতে এবং পুনরায় ফর্ম্যাট করতে। উদাহরণস্বরূপ, ধরুন আপনার নামে একটি দূষিত চেকপয়েন্ট ফাইল আছে CDF2_0.pth. পুনরায় লোড করে এবং একটি নতুন ফাইলের মতো সংরক্ষণ করে fixed_CDF2_0.pth, আপনি নিশ্চিত করুন যে এটি সঠিক PyTorch সিরিয়ালাইজেশন বিন্যাস মেনে চলে। এই সহজ কৌশলটি মডেলগুলির জন্য একটি জীবন রক্ষাকারী যা পুরানো ফ্রেমওয়ার্ক বা পরিবেশে সংরক্ষণ করা হয়েছিল, তাদের পুনরায় প্রশিক্ষণ ছাড়াই পুনরায় ব্যবহারযোগ্য করে তোলে।

উপরন্তু, একটি ইউনিট পরীক্ষার অন্তর্ভুক্তি আমাদের সমাধান নিশ্চিত করে নির্ভরযোগ্য এবং ধারাবাহিকভাবে কাজ করুন। ব্যবহার করে ইউনিট পরীক্ষা মডিউল, আমরা চেকপয়েন্ট লোডিংয়ের বৈধতা স্বয়ংক্রিয় করতে পারি, যা আপনার একাধিক মডেল থাকলে বিশেষত কার্যকর। আমাকে একবার একটি গবেষণা প্রকল্প থেকে 20 টিরও বেশি মডেলের সাথে মোকাবিলা করতে হয়েছিল এবং প্রতিটিকে ম্যানুয়ালি পরীক্ষা করতে দিন লাগত। ইউনিট পরীক্ষার সাথে, একটি একক স্ক্রিপ্ট কয়েক মিনিটের মধ্যে তাদের সকলকে যাচাই করতে পারে! এই অটোমেশন শুধুমাত্র সময় বাঁচায় না কিন্তু ত্রুটিগুলিকে উপেক্ষা করা থেকেও রক্ষা করে।

সবশেষে, স্ক্রিপ্টের গঠন ডিভাইস জুড়ে (CPU এবং GPU) এর সাথে সামঞ্জস্যতা নিশ্চিত করে মানচিত্র_অবস্থান যুক্তি এটি বিভিন্ন পরিবেশের জন্য নিখুঁত করে তোলে, আপনি মডেলগুলি স্থানীয়ভাবে চালাচ্ছেন বা ক্লাউড সার্ভারে। এটিকে চিত্রিত করুন: আপনি আপনার মডেলকে একটি GPU-তে প্রশিক্ষণ দিয়েছেন তবে এটি শুধুমাত্র CPU-র মেশিনে লোড করতে হবে। ছাড়া মানচিত্র_অবস্থান প্যারামিটার, আপনি সম্ভবত ত্রুটির সম্মুখীন হবেন। সঠিক ডিভাইসটি নির্দিষ্ট করে, স্ক্রিপ্টটি এই রূপান্তরগুলিকে নির্বিঘ্নে পরিচালনা করে, আপনার কঠোর-অর্জিত মডেলগুলি সর্বত্র কাজ করে তা নিশ্চিত করে। 😊

PyTorch মডেল চেকপয়েন্ট ত্রুটি সমাধান করা হচ্ছে: অবৈধ লোড কী৷

সঠিক ফাইল হ্যান্ডলিং এবং মডেল লোডিং ব্যবহার করে পাইথন ব্যাকএন্ড সমাধান

import os
import torch
import numpy as np
import timm
import zipfile
import io
# Device setup
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print('Device being used:', device)
# Correct method to load a corrupted or zipped model checkpoint
mname = os.path.join('./CDF2_0.pth')
try:
    # Attempt to open as a zip if initial loading fails
    if zipfile.is_zipfile(mname):
        with zipfile.ZipFile(mname) as archive:
            for file in archive.namelist():
                with archive.open(file) as f:
                    buffer = io.BytesIO(f.read())
                    checkpoints = torch.load(buffer, map_location=device)
    else:
        checkpoints = torch.load(mname, map_location=device)
    print("Checkpoint loaded successfully.")
except Exception as e:
    print("Error loading the checkpoint file:", e)
# Model creation and state_dict loading
model = timm.create_model('legacy_xception', pretrained=True, num_classes=2).to(device)
if 'state_dict' in checkpoints:
    model.load_state_dict(checkpoints['state_dict'])
else:
    model.load_state_dict(checkpoints)
model.eval()
print("Model loaded and ready for inference.")

বিকল্প সমাধান: চেকপয়েন্ট ফাইল পুনরায় সংরক্ষণ করুন

দূষিত চেকপয়েন্ট ফাইল ঠিক করতে পাইথন-ভিত্তিক সমাধান

import os
import torch
# Device setup
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print('Device being used:', device)
# Original and corrected file paths
original_file = './CDF2_0.pth'
corrected_file = './fixed_CDF2_0.pth'
try:
    # Load and re-save the checkpoint
    checkpoints = torch.load(original_file, map_location=device)
    torch.save(checkpoints, corrected_file)
    print("Checkpoint file re-saved successfully.")
except Exception as e:
    print("Failed to fix checkpoint file:", e)
# Verify loading from the corrected file
checkpoints_fixed = torch.load(corrected_file, map_location=device)
print("Verified: Corrected checkpoint loaded.")

উভয় সমাধানের জন্য ইউনিট পরীক্ষা

চেকপয়েন্ট লোডিং এবং মডেল স্টেট_ডিক্ট অখণ্ডতা যাচাই করার জন্য ইউনিট পরীক্ষা

import torch
import unittest
import os
import timm
class TestCheckpointLoading(unittest.TestCase):
    def setUp(self):
        self.device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
        self.model_path = './fixed_CDF2_0.pth'
        self.model = timm.create_model('legacy_xception', pretrained=True, num_classes=2).to(self.device)
    def test_checkpoint_loading(self):
        try:
            checkpoints = torch.load(self.model_path, map_location=self.device)
            if 'state_dict' in checkpoints:
                self.model.load_state_dict(checkpoints['state_dict'])
            else:
                self.model.load_state_dict(checkpoints)
            self.model.eval()
            self.assertTrue(True)
            print("Checkpoint loaded successfully in unit test.")
        except Exception as e:
            self.fail(f"Checkpoint loading failed with error: {e}")
if __name__ == '__main__':
    unittest.main()

কেন পাইটর্চ চেকপয়েন্টগুলি ব্যর্থ হয় এবং কীভাবে এটি প্রতিরোধ করা যায় তা বোঝা

একটি উপেক্ষিত কারণ _আচার। আনপিকলিং ত্রুটি যখন একটি PyTorch চেকপয়েন্ট একটি ব্যবহার করে সংরক্ষণ করা হয় তখন ঘটে পুরানো সংস্করণ লাইব্রেরির কিন্তু একটি নতুন সংস্করণ দিয়ে লোড করা হয়েছে, বা এর বিপরীতে। PyTorch আপডেটগুলি কখনও কখনও সিরিয়ালাইজেশন এবং ডিসিরিয়ালাইজেশন ফর্ম্যাটে পরিবর্তন আনে। এই পরিবর্তনগুলি পুরানো মডেলগুলিকে বেমানান করে তুলতে পারে, যার ফলে সেগুলি পুনরুদ্ধার করার চেষ্টা করার সময় ত্রুটি দেখা দেয়৷ উদাহরণস্বরূপ, PyTorch 1.6 এর সাথে সংরক্ষিত একটি চেকপয়েন্ট PyTorch 2.0 এ লোডিং সমস্যা সৃষ্টি করতে পারে।

আরেকটি গুরুত্বপূর্ণ দিক হল চেকপয়েন্ট ফাইলটি ব্যবহার করে সংরক্ষণ করা হয়েছে তা নিশ্চিত করা torch.save() একটি সঠিক রাষ্ট্র অভিধান সহ। যদি কেউ ভুলবশত একটি অ-মানক বিন্যাস ব্যবহার করে একটি মডেল বা ওজন সংরক্ষণ করে, যেমন তার পরিবর্তে একটি সরাসরি বস্তু state_dict, এটি লোড করার সময় ত্রুটি হতে পারে। এটি এড়াতে, সর্বদা শুধুমাত্র সংরক্ষণ করা সর্বোত্তম অনুশীলন state_dict এবং সেই অনুযায়ী ওজন পুনরায় লোড করুন। এটি চেকপয়েন্ট ফাইলটিকে লাইটওয়েট, পোর্টেবল এবং সামঞ্জস্যের সমস্যা কম রাখে।

অবশেষে, সিস্টেম-নির্দিষ্ট কারণগুলি, যেমন অপারেটিং সিস্টেম বা ব্যবহৃত হার্ডওয়্যার, চেকপয়েন্ট লোডিংকে প্রভাবিত করতে পারে। উদাহরণস্বরূপ, একটি লিনাক্স মেশিনে জিপিইউ টেনসর ব্যবহার করে সংরক্ষিত একটি মডেল সিপিইউ সহ একটি উইন্ডোজ মেশিনে লোড করার সময় দ্বন্দ্ব সৃষ্টি করতে পারে। ব্যবহার করে map_location পরামিতি, যেমন পূর্বে দেখানো হয়েছে, টেনসরগুলিকে যথাযথভাবে রিম্যাপ করতে সাহায্য করে। একাধিক পরিবেশে কাজ করা ডেভেলপারদের সবসময় শেষ মুহূর্তের বিস্ময় এড়াতে বিভিন্ন সেটআপে চেকপয়েন্ট যাচাই করা উচিত। 😅

PyTorch চেকপয়েন্ট লোডিং ইস্যুতে প্রায়শই জিজ্ঞাসিত প্রশ্ন

আমি কেন পাচ্ছি _pickle.UnpicklingError আমার PyTorch মডেল লোড করার সময়?
এই ত্রুটিটি সাধারণত একটি বেমানান বা দূষিত চেকপয়েন্ট ফাইলের কারণে ঘটে। সংরক্ষণ এবং লোড করার মধ্যে বিভিন্ন PyTorch সংস্করণ ব্যবহার করার সময়ও এটি ঘটতে পারে।
আমি কিভাবে একটি দূষিত PyTorch চেকপয়েন্ট ফাইল ঠিক করব?
আপনি ব্যবহার করতে পারেন zipfile.ZipFile() ফাইলটি একটি জিপ সংরক্ষণাগার কিনা তা পরীক্ষা করতে বা চেকপয়েন্টটিকে পুনরায় সংরক্ষণ করুন torch.save() এটি মেরামত করার পরে।
এর ভূমিকা কি state_dict পাইটর্চে?
দ state_dict একটি অভিধান বিন্যাসে মডেলের ওজন এবং পরামিতি রয়েছে। সর্বদা সংরক্ষণ এবং লোড state_dict ভাল বহনযোগ্যতার জন্য।
আমি কিভাবে একটি CPU এ একটি PyTorch চেকপয়েন্ট লোড করতে পারি?
ব্যবহার করুন map_location='cpu' মধ্যে তর্ক torch.load() GPU থেকে CPU-তে টেনসর রিম্যাপ করতে।
সংস্করণ দ্বন্দ্বের কারণে PyTorch চেকপয়েন্ট ব্যর্থ হতে পারে?
হ্যাঁ, PyTorch এর নতুন সংস্করণে পুরানো চেকপয়েন্ট লোড নাও হতে পারে। সংরক্ষণ এবং লোড করার সময় সামঞ্জস্যপূর্ণ PyTorch সংস্করণগুলি ব্যবহার করার পরামর্শ দেওয়া হয়।
একটি PyTorch চেকপয়েন্ট ফাইল দূষিত কিনা তা আমি কিভাবে পরীক্ষা করতে পারি?
ব্যবহার করে ফাইলটি লোড করার চেষ্টা করুন torch.load(). যদি এটি ব্যর্থ হয়, যেমন সরঞ্জামগুলির সাথে ফাইলটি পরিদর্শন করুন zipfile.is_zipfile().
PyTorch মডেল সংরক্ষণ এবং লোড করার সঠিক উপায় কি?
সর্বদা ব্যবহার করে সংরক্ষণ করুন torch.save(model.state_dict()) এবং লোড ব্যবহার করে model.load_state_dict().
কেন আমার মডেল একটি ভিন্ন ডিভাইসে লোড করতে ব্যর্থ হয়?
এটি ঘটে যখন টেনসরগুলি GPU-এর জন্য সংরক্ষণ করা হয় কিন্তু একটি CPU-তে লোড করা হয়। ব্যবহার করুন map_location এই সমাধান করতে।
আমি কিভাবে পরিবেশ জুড়ে চেকপয়েন্ট যাচাই করতে পারি?
ব্যবহার করে ইউনিট পরীক্ষা লিখুন unittest বিভিন্ন সেটআপে মডেল লোডিং পরীক্ষা করতে (CPU, GPU, OS)।
আমি কি চেকপয়েন্ট ফাইল ম্যানুয়ালি পরিদর্শন করতে পারি?
হ্যাঁ, আপনি এক্সটেনশনটিকে .zip-এ পরিবর্তন করতে পারেন এবং এটি দিয়ে খুলতে পারেন zipfile বা বিষয়বস্তু পরিদর্শন করতে সংরক্ষণাগার পরিচালকদের.

PyTorch মডেল লোডিং ত্রুটিগুলি কাটিয়ে ওঠা

PyTorch চেকপয়েন্ট লোড করা কখনও কখনও দূষিত ফাইল বা সংস্করণ অমিলের কারণে ত্রুটি নিক্ষেপ করতে পারে। ফাইল ফরম্যাট যাচাই করে এবং সঠিক টুলস ব্যবহার করে zipfile বা রিম্যাপিং টেনসর, আপনি দক্ষতার সাথে আপনার প্রশিক্ষিত মডেলগুলি পুনরুদ্ধার করতে পারেন এবং পুনরায় প্রশিক্ষণের ঘন্টা বাঁচাতে পারেন।

বিকাশকারীদের সংরক্ষণের মতো সর্বোত্তম অনুশীলন অনুসরণ করা উচিত state_dict শুধুমাত্র এবং পরিবেশ জুড়ে মডেল যাচাইকরণ. মনে রাখবেন, এই সমস্যাগুলি সমাধান করার জন্য যে সময় ব্যয় করা হয়েছে তা নিশ্চিত করে যে আপনার মডেলগুলি কার্যকরী, বহনযোগ্য এবং যেকোনো স্থাপনার সিস্টেমের সাথে সামঞ্জস্যপূর্ণ থাকবে। 🚀

পাইটর্চ লোডিং ত্রুটি সমাধানের জন্য উত্স এবং রেফারেন্স

এর বিস্তারিত ব্যাখ্যা torch.load() এবং PyTorch এ চেকপয়েন্ট হ্যান্ডলিং। সূত্র: পাইটর্চ ডকুমেন্টেশন
মধ্যে অন্তর্দৃষ্টি আচার ত্রুটি এবং সমস্যা সমাধান ফাইল দুর্নীতি. সূত্র: পাইথন অফিসিয়াল ডকুমেন্টেশন
জিপ ফাইলগুলি পরিচালনা করা এবং ব্যবহার করে সংরক্ষণাগারগুলি পরিদর্শন করা zipfile লাইব্রেরি সূত্র: পাইথন জিপফাইল লাইব্রেরি
ব্যবহার করার জন্য গাইড টিম প্রাক-প্রশিক্ষিত মডেল তৈরি এবং পরিচালনা করার জন্য লাইব্রেরি। সূত্র: timm GitHub সংগ্রহস্থল

PyTorch মডেল লোডিং ত্রুটি সংশোধন করা হচ্ছে: _pickle.Unpickling Error: অবৈধ লোড কী, 'x1f'