Hur man använder Git Filter-Repo för att ta bort blobbar

Hur man använder Git Filter-Repo för att ta bort blobbar
Hur man använder Git Filter-Repo för att ta bort blobbar
Mia Chevalier
Tisdag 21 maj 2024 07:13:43

Förstå Blob Stripping i Git

I Git kan det vara en utmaning att hantera stora filer, särskilt när de inte längre behövs i arbetskopian. Verktyg som BFG och Git Filter-Repo erbjuder lösningar för att ta bort dessa stora filer från ditt förvars historia. Det kan dock vara svårt att uppnå samma resultat med Git Filter-Repo som med BFG.

Den här artikeln utforskar hur man replikerar BFG-kommandot --strip-blobs-större-än med Git Filter-Repo. Vi kommer att ta itu med vanliga problem och tillhandahålla en steg-för-steg-guide för att säkerställa att du kan städa upp ditt arkiv effektivt utan att av misstag ta bort filer som fortfarande används.

Kommando Beskrivning
from git import Repo Importerar GitPython-bibliotekets Repo-klass för att interagera med Git-förvaret.
git_filter_repo import RepoFilter Importerar RepoFilter-klass från git-filter-repo för filtrering av förvarsblobbar.
repo = Repo(repo_path) Initierar ett Repo-objekt som pekar på den angivna förvarssökvägen.
RepoFilter(repo).filter_blobs(filter_large_blobs) Tillämpar en anpassad filterfunktion för att ta bort stora blobbar från förvaret.
git rev-list --objects --all Listar alla objekt i förvaret inklusive blobbar, träd och commits.
git cat-file --batch-check Ger detaljerad information om objekt, inklusive deras storlek.
xargs -n 1 git filter-repo --strip-blobs-bigger-than $SIZE_LIMIT Använder xargs för att applicera git filter-repo-kommando på varje stor klump som identifieras.

Hur de medföljande skripten fungerar

Python-skriptet använder GitPython-biblioteket för att interagera med Git-förvaret. Förvaret initieras med hjälp av from git import Repo och repo = Repo(repo_path), pekar på den angivna förvarssökvägen. Skriptet definierar sedan en filterfunktion filter_large_blobs(blob) för att identifiera blobbar större än 10 MB. Detta filter tillämpas med hjälp av RepoFilter(repo).filter_blobs(filter_large_blobs), som säkerställer att blobbar som överskrider storleksgränsen tas bort från förvarets historik.

Skalskriptet uppnår ett liknande mål med hjälp av Git-kommandon och skalverktyg. Den navigerar till förvarskatalogen med cd $REPO_PATH och listar alla objekt som använder git rev-list --objects --all. Varje objekt kontrolleras för sin storlek med git cat-file --batch-check. Objekt som är större än den angivna storleksgränsen filtreras och bearbetas med xargs att ansöka git filter-repo --strip-blobs-bigger-than $SIZE_LIMIT till varje identifierad stor klump. Denna metod tar effektivt bort stora blobbar från förvaret, vilket säkerställer en ren historik utan onödigt stora filer.

Använda Python för att filtrera Git Blobs efter storlek

Python-skript för att filtrera stora blobbar 

# Import necessary modules
import os
from git import Repo
from git_filter_repo import RepoFilter

# Define the repository path and size limit
repo_path = 'path/to/your/repo'
size_limit = 10 * 1024 * 1024  # 10 MB

# Initialize the repository
repo = Repo(repo_path)

# Define a filter function to remove large blobs
def filter_large_blobs(blob):
    return blob.size > size_limit

# Apply the filter to the repository
RepoFilter(repo).filter_blobs(filter_large_blobs)

Använda Shell Script för att identifiera och ta bort stora Git Blobs

Skalskript för blobhantering i Git 

#!/bin/bash

# Define repository path and size limit
REPO_PATH="path/to/your/repo"
SIZE_LIMIT=10485760  # 10 MB

# Navigate to the repository
cd $REPO_PATH

# List blobs larger than the size limit
git rev-list --objects --all |
git cat-file --batch-check='%(objectname) %(objecttype) %(objectsize) %(rest)' |
awk '$3 >= $SIZE_LIMIT {print $1}' |
xargs -n 1 git filter-repo --strip-blobs-bigger-than $SIZE_LIMIT

echo "Large blobs removed from the repository"

Utforska avancerade Git Filter-Repo-alternativ

Medan git filter-repo --strip-blobs-bigger-than är effektivt för att ta bort stora filer, finns det ytterligare alternativ för att anpassa din förvarsrensning. Du kan till exempel använda --path för att begränsa operationen till specifika filer eller kataloger. Detta gör att du bara kan rikta in dig på vissa områden i ditt förvar för borttagning av blobbar. Ett annat användbart alternativ är --invert-paths, som exkluderar specificerade sökvägar från operationen, vilket ger mer kontroll över vilka filer som förblir orörda.

Dessutom kan du kombinera --strip-blobs-bigger-than med --analyze för att förhandsgranska ändringarna innan du tillämpar dem. Detta hjälper till att undvika oavsiktliga raderingar genom att tillhandahålla en detaljerad rapport om vad som kommer att tas bort. Genom att använda dessa avancerade alternativ kan du förbättra flexibiliteten och precisionen i dina förvarsunderhållsuppgifter, vilket säkerställer en renare och mer effektiv projekthistorik.

Vanliga frågor om Git Filter-Repo

  1. Vad gör git filter-repo --strip-blobs-bigger-than do?
  2. Det tar bort blobbar som är större än den angivna storleken från förvarshistoriken.
  3. Hur gör --invert-paths arbete?
  4. Det utesluter specificerade sökvägar från att bearbetas av filtret.
  5. Kan jag förhandsgranska ändringar innan jag tillämpar dem?
  6. Ja, använder --analyze ger en detaljerad rapport över förändringarna.
  7. Hur riktar jag mig mot specifika filer eller kataloger?
  8. Använd --path möjlighet att begränsa operationer till specifika vägar.
  9. Vad är syftet med RepoFilter klass i Python?
  10. Det möjliggör tillämpning av anpassade filter på förvaret.
  11. Finns det ett sätt att ångra ändringar gjorda av git filter-repo?
  12. När ändringar väl har tillämpats kan de inte enkelt ångras. Säkerhetskopiera alltid ditt arkiv först.
  13. Vad gör git rev-list --objects --all do?
  14. Den listar alla objekt i arkivet, inklusive blobbar, träd och commits.
  15. Varför använda xargs med git filter-repo?
  16. xargs hjälper till att tillämpa kommandon på en lista med objekt, till exempel stora blobbar som identifierats för borttagning.

Sista tankar om Git Blob Management

Att effektivt hantera stora filer i ett Git-förråd är viktigt för att optimera prestanda och lagring. Att använda verktyg som BFG och Git Filter-Repo hjälper till att effektivisera denna process, även om var och en har unika kommandon och metoder. Genom att använda avancerade alternativ och förstå nyanserna i varje verktyg kan du säkerställa att ditt förråd förblir rent och effektivt. Kom alltid ihåg att säkerhetskopiera ditt arkiv innan du gör betydande ändringar för att undvika dataförlust. Genom att kombinera kunskap om dessa verktyg med strategisk planering kommer din versionskontroll avsevärt att förbättras.