Varför konvertera GGUF till SAFETENSORS?
Genom att konvertera .gguf till .safetensors kan du ladda tillbaka en modell till Hugging Face Transformers eller diffusers, finjustera den eller omkvantisera den på ett annat sätt. GGUF är optimerad för llama.cpp-inferens, medan .safetensors är det standardiserade, pickle-fria formatet för PyTorch/HF-ekosystemet. Notera att mycket färska GGUF-formatrevisioner inte alltid är konverterbara.
Hur man konverterar GGUF till SAFETENSORS
gguf_to_safetensors OPEN-SOURCE
Kör python gguf_to_safetensors.py --input model.gguf --output model.safetensors. Den använder F16 som standard; lägg till --bf16 för BF16-utdata.
GGUF2Safetensors OPEN-SOURCE
Uppskalar GGUF-vikter till PyTorch-tensorer i minnet och skriver en Hugging Face-mapp med .safetensors-shards, som kan användas direkt med Transformers.
gguf library + safetensors FREE
Ladda med GGUFReader, anropa gguf.quants.dequantize() per tensor, sedan safetensors.torch.save_file(). Full kontroll över dtype och sharding.
Om dessa format
En .gguf-fil är en GGML Universal Format-fil, den binära behållare som används av llama.cpp och relaterade verktyg för att lagra en stor språkmodell som en enda fil. Den innehåller…
Öppna detaljer för .GGUF →En .SAFETENSORS-fil är en datafil som används av specifik programvara.
Öppna detaljer för .SAFETENSORS →Kvalitet & vad man bör tänka på
- Att dekvantisera en kvantiserad GGUF (Q4/Q5/etc.) är en förlustbringande process -
.safetensors-filen kommer inte att matcha originalmodellen bit för bit. - Nyare GGUF-formatversioner kan misslyckas med att konverteras eftersom verktygen ligger efter ändringar i llama.cpp.
- Utdata är F16/BF16 (eller F32), så filstorleken växer avsevärt jämfört med den kompakta kvantiserade GGUF-filen.
Vanliga frågor
Är GGUF-till-safetensors förlustfri?
Varför misslyckades min nyligen skapade GGUF med att konverteras?
Kan jag ladda resultatet i Hugging Face Transformers?
.safetensors), vilket är målet för GGUF2Safetensors.
