Por que converter GGUF para SAFETENSORS?
Converter .gguf para .safetensors permite carregar um modelo de volta no Hugging Face Transformers ou diffusers, ajustá-lo (fine-tune) ou re-quantizá-lo de forma diferente. GGUF é otimizado para inferência no llama.cpp, enquanto .safetensors é o formato padrão e livre de pickle para o ecossistema PyTorch/HF. Note que revisões muito recentes do formato GGUF nem sempre são conversíveis.
Como converter GGUF para SAFETENSORS
gguf_to_safetensors OPEN-SOURCE
Execute python gguf_to_safetensors.py --input model.gguf --output model.safetensors. O padrão é F16; adicione --bf16 para saída em BF16.
GGUF2Safetensors OPEN-SOURCE
Faz o upcast dos pesos GGUF para tensores PyTorch na memória e grava uma pasta Hugging Face de fragmentos .safetensors, utilizável diretamente com Transformers.
biblioteca gguf + safetensors FREE
Carregue com GGUFReader, chame gguf.quants.dequantize() por tensor e depois safetensors.torch.save_file(). Controle total sobre dtype e fragmentação (sharding).
Sobre estes formatos
Um arquivo .gguf é um GGML Universal Format File, o contêiner binário usado pelo llama.cpp e ferramentas relacionadas para armazenar um modelo de linguagem grande como um único arquivo. Ele…
Abrir detalhes de .GGUF →Um arquivo .SAFETENSORS é um arquivo de dados usado por um software específico.
Abrir detalhes de .SAFETENSORS →Qualidade e o que observar
- Dequantizar um GGUF quantizado (Q4/Q5/etc.) é um processo com perdas (lossy) - o
.safetensorsnão corresponderá ao modelo original bit a bit. - Versões mais recentes do formato GGUF podem falhar na conversão porque o ferramental costuma estar atrasado em relação às mudanças do llama.cpp.
- A saída é F16/BF16 (ou F32), portanto o tamanho do arquivo cresce significativamente em comparação ao GGUF quantizado compacto.
Perguntas frequentes
A conversão GGUF para safetensors é lossless?
Por que meu GGUF recente falhou ao converter?
Posso carregar o resultado no Hugging Face Transformers?
.safetensors fragmentados), que é o objetivo do GGUF2Safetensors.