Warum GGUF in PTH konvertieren?
Benutzer konvertieren .gguf nach .pth, wenn sie ein Modell im PyTorch-Ökosystem feinabstimmen oder neu quantisieren möchten, aber nur den GGUF-Build besitzen. Ein GGUF speichert Metadaten (wie eine Konfiguration) plus Tensordaten (wie ein State-Dict), sodass das Mapping zurück zu einem PyTorch-State-Dict für unterstützte Architekturen möglich ist. Es ist ein Wiederherstellungspfad, kein verlustfreier.
Wie man GGUF in PTH konvertiert
gguf Python-Bibliothek + PyTorch OPEN-SOURCE
Installieren Sie gguf und torch, iterieren Sie dann über GGUFReader(path).tensors, führen Sie gguf.quants.dequantize() auf jedem aus und nutzen Sie torch.save(state_dict, „model.pth“). Sie müssen die GGUF-Tensornamen wieder auf die ursprünglichen Schlüssel des Modells ummappen.
gguf_to_safetensors, dann konvertieren OPEN-SOURCE
Führen Sie gguf_to_safetensors aus, um in eine .safetensors-Datei zu dequantisieren, laden Sie diese dann mit safetensors.torch.load_file und speichern Sie sie erneut über torch.save(), um eine .pth zu erhalten.
llama.cpp Reverse-Tooling FREE
Der gguf-Reader von llama.cpp macht die Tensoren zugänglich; skripten Sie den Dequantisierungsschritt und schreiben Sie ein PyTorch-State-Dict. Nur Architekturen, die llama.cpp vollständig unterstützt, lassen sich so umwandeln.
Über diese Formate
Eine .gguf-Datei ist eine GGML Universal Format-Datei, der binäre Container, der von llama.cpp und verwandten Tools verwendet wird, um ein großes Sprachmodell als einzelne Datei zu…
.GGUF-Details öffnen →Eine .pth-Datei ist zumeist eine Python-Pfadkonfigurationsdatei - eine winzige Klartextdatei, die Python mitteilt, welche zusätzlichen Verzeichnisse beim Start zum Modulsuchpfad hinzugefügt…
.PTH-Details öffnen →Qualität & worauf zu achten ist
- Quantisierte GGUF-Gewichte sind verlustbehaftet - die Dequantisierung liefert eine Annäherung, niemals die ursprünglichen FP16/FP32-Werte.
- Das Mapping der Tensornamen ist architekturspezifisch; nicht unterstützte Modelle werden nicht umgemappt und die Konvertierung schlägt fehl.
- Die ausgegebene
.pthist ein reines State-Dict ohne Modellklasse, daher benötigen Sie weiterhin den passenden PyTorch-Modellcode, um sie zu laden.
Häufig gestellte Fragen
Kann ich das Originalmodell exakt wiederherstellen?
Benötige ich eine GPU?
Warum erzeugt meine Konvertierung falsche Tensornamen?
Was ist besser, .pth oder .safetensors?
.safetensors ist sicherer beim Teilen (keine Ausführung von Pickle-Code) und lädt schneller, aber .pth ist das native PyTorch-State-Dict-Format für das Training.