Perché convertire GGUF in SAFETENSORS?
Convertire .gguf in .safetensors consente di caricare nuovamente un modello in Hugging Face Transformers o diffusers, perfezionarlo (fine-tune) o ri-quantizzarlo in modo diverso. GGUF è ottimizzato per l'inferenza con llama.cpp, mentre .safetensors è il formato standard senza pickle per l'ecosistema PyTorch/HF. Nota che le revisioni molto recenti del formato GGUF non sono sempre convertibili.
Come convertire GGUF in SAFETENSORS
gguf_to_safetensors OPEN-SOURCE
Esegui python gguf_to_safetensors.py --input model.gguf --output model.safetensors. L'impostazione predefinita è F16; aggiungi --bf16 per l'output in BF16.
GGUF2Safetensors OPEN-SOURCE
Esegue l'upcast dei pesi GGUF in tensori PyTorch in memoria e scrive una cartella Hugging Face di shard .safetensors, utilizzabile direttamente con Transformers.
libreria gguf + safetensors FREE
Carica con GGUFReader, chiama gguf.quants.dequantize() per ogni tensore, quindi safetensors.torch.save_file(). Controllo completo su dtype e sharding.
Informazioni su questi formati
Un file .gguf è un file GGML Universal Format, il contenitore binario utilizzato da llama.cpp e strumenti correlati per memorizzare un modello linguistico di grandi dimensioni come file…
Apri dettagli .GGUF →Un file .SAFETENSORS è un file di dati utilizzato da software specifici.
Apri dettagli .SAFETENSORS →Qualità e a cosa prestare attenzione
- La dequantizzazione di un GGUF quantizzato (Q4/Q5/ecc.) è lossy: il file
.safetensorsnon corrisponderà al modello originale bit per bit. - Le versioni più recenti del formato GGUF potrebbero non essere convertite perché gli strumenti software sono in ritardo rispetto alle modifiche di llama.cpp.
- L'output è F16/BF16 (o F32), quindi la dimensione del file aumenta significativamente rispetto al GGUF quantizzato compatto.
Domande frequenti
La conversione da GGUF a safetensors è lossless?
Perché il mio recente GGUF non è stato convertito?
Posso caricare il risultato in Hugging Face Transformers?
.safetensors suddivisi), che è l'obiettivo di GGUF2Safetensors.