Waarom GGUF naar SAFETENSORS converteren?
Door .gguf naar .safetensors te converteren, kunt u een model weer laden in Hugging Face Transformers of diffusers, het fine-tunen of op een andere manier opnieuw kwantiseren. GGUF is geoptimaliseerd voor llama.cpp-inferentie, terwijl .safetensors het standaard, pickle-vrije formaat is voor het PyTorch/HF-ecosysteem. Let op dat zeer recente GGUF-formaatrevisies niet altijd converteerbaar zijn.
Hoe GGUF naar SAFETENSORS te converteren
gguf_to_safetensors OPEN-SOURCE
Voer python gguf_to_safetensors.py --input model.gguf --output model.safetensors uit. Het staat standaard op F16; voeg --bf16 toe voor BF16-uitvoer.
GGUF2Safetensors OPEN-SOURCE
Zet GGUF-gewichten in het geheugen om naar PyTorch-tensoren en schrijft een Hugging Face-map met .safetensors shards, direct bruikbaar met Transformers.
gguf library + safetensors FREE
Laden met GGUFReader, roep gguf.quants.dequantize() aan per tensor, en gebruik dan safetensors.torch.save_file(). Volledige controle over dtype en sharding.
Over deze formaten
Een .gguf-bestand is een GGML Universal Format-bestand, de binaire container die wordt gebruikt door llama.cpp en gerelateerde tools om een groot taalmodel als één enkel bestand op te…
Open .GGUF details →Een .SAFETENSORS-bestand is een gegevensbestand dat wordt gebruikt door specifieke software.
Open .SAFETENSORS details →Kwaliteit & waar op te letten
- Het dequantiseren van een gekwantiseerde GGUF (Q4/Q5/etc.) is lossy - de
.safetensorszullen niet bit-voor-bit overeenkomen met het originele model. - Nieuwere GGUF-formaatversies kunnen mogelijk niet worden geconverteerd omdat de tooling achterloopt op wijzigingen in llama.cpp.
- De uitvoer is F16/BF16 (of F32), dus de bestandsgrootte neemt aanzienlijk toe vergeleken met de compacte gekwantiseerde GGUF.
Veelgestelde vragen
Is GGUF-naar-safetensors lossless?
Waarom mislukte de conversie van mijn recente GGUF?
Kan ik het resultaat laden in Hugging Face Transformers?
.safetensors), wat het doel is van GGUF2Safetensors.
