Hvorfor konvertere GGUF til SAFETENSORS?
Konvertering fra .gguf til .safetensors lar deg laste en modell tilbake i Hugging Face Transformers eller diffusers, finjustere den, eller re-kvantisere den på nytt. GGUF er optimalisert for llama.cpp-inferens, mens .safetensors er det standardiserte, «pickle-frie» formatet for PyTorch/HF-økosystemet. Merk at svært nylige GGUF-formatrevisjoner ikke alltid er konverterbare.
Hvordan konvertere GGUF til SAFETENSORS
gguf_to_safetensors OPEN-SOURCE
Kjør python gguf_to_safetensors.py --input model.gguf --output model.safetensors. Den bruker F16 som standard; legg til --bf16 for BF16-utdata.
GGUF2Safetensors OPEN-SOURCE
Oppskalerer GGUF-vekter til PyTorch-tensorer i minnet og skriver en Hugging Face-mappe med .safetensors-shards, som kan brukes direkte med Transformers.
gguf library + safetensors FREE
Last inn med GGUFReader, kall gguf.quants.dequantize() per tensor, og deretter safetensors.torch.save_file(). Full kontroll over dtype og sharding.
Om disse formatene
En .gguf-fil er en GGML Universal Format-fil, den binære beholderen som brukes av llama.cpp og relaterte verktøy for å lagre en stor språkmodell som en enkelt fil. Den inneholder…
Åpne .GGUF-detaljer →En .SAFETENSORS-fil er en datafil som brukes av spesifikk programvare.
Åpne .SAFETENSORS-detaljer →Kvalitet og hva du bør passe på
- Dekvantisering av en kvantisert GGUF (Q4/Q5/osv.) er «lossy» -
.safetensors-filen vil ikke samsvare med den originale modellen bit-for-bit. - Nyere GGUF-formatversjoner kan feile i konverteringen fordi verktøyene ligger bak endringene i llama.cpp.
- Utdata er F16/BF16 (eller F32), så filstørrelsen vokser betydelig sammenlignet med den kompakte kvantiserte GGUF-filen.
Ofte stilte spørsmål
Er GGUF-til-safetensors tapsfri (lossless)?
Hvorfor feilet min nylige GGUF-konvertering?
Kan jeg laste resultatet i Hugging Face Transformers?
.safetensors), noe GGUF2Safetensors er laget for.
