Warum GGUF in SAFETENSORS konvertieren?
Die Konvertierung von .gguf zu .safetensors ermöglicht es Ihnen, ein Modell wieder in Hugging Face Transformers oder Diffusers zu laden, es feinabzustimmen oder anders neu zu quantisieren. GGUF ist für die llama.cpp-Inferenz optimiert, während .safetensors das standardmäßige, Pickle-freie Format für das PyTorch/HF-Ökosystem ist. Beachten Sie, dass sehr aktuelle GGUF-Formatrevisionen nicht immer konvertierbar sind.
Wie man GGUF in SAFETENSORS konvertiert
gguf_to_safetensors OPEN-SOURCE
Führen Sie python gguf_to_safetensors.py --input model.gguf --output model.safetensors aus. Standardmäßig wird F16 verwendet; fügen Sie --bf16 für eine BF16-Ausgabe hinzu.
GGUF2Safetensors OPEN-SOURCE
Konvertiert GGUF-Gewichte im Arbeitsspeicher in PyTorch-Tensoren hoch und schreibt einen Hugging Face-Ordner mit .safetensors-Shards, der direkt mit Transformers verwendbar ist.
gguf library + safetensors FREE
Laden mit GGUFReader, Aufruf von gguf.quants.dequantize() pro Tensor, dann safetensors.torch.save_file(). Volle Kontrolle über Dtype und Sharding.
Über diese Formate
Eine .gguf-Datei ist eine GGML Universal Format-Datei, der binäre Container, der von llama.cpp und verwandten Tools verwendet wird, um ein großes Sprachmodell als einzelne Datei zu…
.GGUF-Details öffnen →Eine .SAFETENSORS-Datei ist eine Datendatei, die von bestimmter Software verwendet wird.
.SAFETENSORS-Details öffnen →Qualität & worauf zu achten ist
- Das Dequantisieren eines quantisierten GGUF (Q4/Q5/etc.) ist verlustbehaftet - die
.safetensors-Datei wird nicht Bit für Bit mit dem Originalmodell übereinstimmen. - Neuere GGUF-Formatversionen können bei der Konvertierung fehlschlagen, da die Tools hinter den Änderungen in llama.cpp zurückbleiben.
- Die Ausgabe erfolgt in F16/BF16 (oder F32), sodass die Dateigröße im Vergleich zum kompakten quantisierten GGUF erheblich ansteigt.
Häufig gestellte Fragen
Ist GGUF-zu-safetensors verlustfrei?
Warum ist die Konvertierung meines aktuellen GGUF fehlgeschlagen?
Kann ich das Ergebnis in Hugging Face Transformers laden?
.safetensors), was das Ziel von GGUF2Safetensors ist.