¿Por qué convertir GGUF a SAFETENSORS?
Convertir .gguf a .safetensors te permite cargar un modelo de nuevo en Hugging Face Transformers o diffusers, realizar un ajuste fino (fine-tune) o volver a cuantizarlo de forma diferente. GGUF está optimizado para la inferencia en llama.cpp, mientras que .safetensors es el formato estándar sin pickle para el ecosistema PyTorch/HF. Ten en cuenta que las revisiones muy recientes del formato GGUF no siempre son convertibles.
Cómo convertir GGUF a SAFETENSORS
gguf_to_safetensors OPEN-SOURCE
Ejecuta python gguf_to_safetensors.py --input model.gguf --output model.safetensors. Por defecto usa F16; añade --bf16 para una salida en BF16.
GGUF2Safetensors OPEN-SOURCE
Eleva los pesos GGUF a tensores de PyTorch en memoria y escribe una carpeta de Hugging Face con fragmentos .safetensors, utilizable directamente con Transformers.
librería gguf + safetensors FREE
Carga con GGUFReader, llama a gguf.quants.dequantize() por cada tensor, y luego a safetensors.torch.save_file(). Control total sobre el dtype y la fragmentación.
Acerca de estos formatos
Un archivo .gguf es un archivo de formato universal GGML (GGML Universal Format), el contenedor binario utilizado por llama.cpp y herramientas relacionadas para almacenar un modelo de…
Abrir detalles de .GGUF →Un archivo .SAFETENSORS es un archivo de datos utilizado por un software específico.
Abrir detalles de .SAFETENSORS →Calidad y qué observar
- De-cuantizar un GGUF cuantizado (Q4/Q5/etc.) es un proceso con pérdida: los
.safetensorsno coincidirán bit a bit con el modelo original. - Las versiones más nuevas del formato GGUF pueden fallar al convertirse porque las herramientas suelen ir por detrás de los cambios en llama.cpp.
- La salida es F16/BF16 (o F32), por lo que el tamaño del archivo aumenta significativamente en comparación con el GGUF cuantizado compacto.
Preguntas frecuentes
¿Es la conversión de GGUF a safetensors sin pérdida?
¿Por qué falló la conversión de mi GGUF reciente?
¿Puedo cargar el resultado en Hugging Face Transformers?
.safetensors fragmentados), que es el objetivo de GGUF2Safetensors.
