Pourquoi convertir GGUF en SAFETENSORS ?
La conversion de .gguf en .safetensors vous permet de charger un modèle dans Hugging Face Transformers ou diffusers, de l'affiner (fine-tune) ou de le re-quantifier différemment. GGUF est optimisé pour l'inférence llama.cpp, tandis que .safetensors est le format standard sans « pickle » pour l'écosystème PyTorch/HF. Notez que les révisions très récentes du format GGUF ne sont pas toujours convertibles.
Comment convertir GGUF en SAFETENSORS
gguf_to_safetensors OPEN-SOURCE
Exécutez python gguf_to_safetensors.py --input model.gguf --output model.safetensors. Par défaut en F16 ; ajoutez --bf16 pour une sortie en BF16.
GGUF2Safetensors OPEN-SOURCE
Convertit les poids GGUF en tenseurs PyTorch en mémoire et écrit un dossier Hugging Face de fragments .safetensors, utilisable directement avec Transformers.
bibliothèque gguf + safetensors FREE
Chargez avec GGUFReader, appelez gguf.quants.dequantize() par tenseur, puis safetensors.torch.save_file(). Contrôle total sur le dtype et le partitionnement (sharding).
À propos de ces formats
Un fichier .gguf est un fichier au format universel GGML (GGML Universal Format), le conteneur binaire utilisé par llama.cpp et les outils associés pour stocker un grand modèle de langage…
Ouvrir les détails de .GGUF →Un fichier .SAFETENSORS est un fichier de données utilisé par un logiciel spécifique.
Ouvrir les détails de .SAFETENSORS →Qualité et points de vigilance
- La déquantification d'un GGUF quantifié (Q4/Q5/etc.) est destructive (lossy) - le
.safetensorsne correspondra pas au modèle original bit pour bit. - Les versions plus récentes du format GGUF peuvent échouer à la conversion car l'outillage accuse un retard sur les changements de llama.cpp.
- La sortie est en F16/BF16 (ou F32), la taille du fichier augmente donc considérablement par rapport au GGUF quantifié compact.
Foire aux questions
La conversion GGUF vers safetensors est-elle sans perte ?
Pourquoi mon GGUF récent a-t-il échoué à la conversion ?
Puis-je charger le résultat dans Hugging Face Transformers ?
.safetensors partitionnés), ce que GGUF2Safetensors permet de faire.