Зачем конвертировать GGUF в SAFETENSORS?
Конвертация .gguf в .safetensors позволяет загрузить модель обратно в Hugging Face Transformers или diffusers, дообучить её или переквантовать по-другому. GGUF оптимизирован для инференса в llama.cpp, тогда как .safetensors является стандартным форматом без pickle для экосистемы PyTorch/HF. Обратите внимание, что самые последние ревизии формата GGUF не всегда поддаются конвертации.
Способы конвертации GGUF в SAFETENSORS
gguf_to_safetensors OPEN-SOURCE
Запустите python gguf_to_safetensors.py --input model.gguf --output model.safetensors. По умолчанию используется F16; добавьте --bf16 для вывода в BF16.
GGUF2Safetensors OPEN-SOURCE
Повышает точность весов GGUF до тензоров PyTorch в памяти и записывает папку Hugging Face с фрагментами .safetensors, пригодную для прямого использования с Transformers.
Библиотека gguf + safetensors FREE
Загрузите через GGUFReader, вызовите gguf.quants.dequantize() для каждого тензора, затем safetensors.torch.save_file(). Полный контроль над dtype и шардингом.
Об этих форматах
Файл .gguf - это файл формата GGML Universal Format, бинарный контейнер, используемый llama.cpp и сопутствующими инструментами для хранения больших языковых моделей в виде одного файла. Он…
Открыть детали .GGUF →Файл .SAFETENSORS - это файл данных, используемый специальным программным обеспечением.
Открыть детали .SAFETENSORS →Качество и на что обратить внимание
- Деквантование квантованного GGUF (Q4/Q5/и т.д.) происходит с потерями -
.safetensorsне будет побитово соответствовать оригинальной модели. - Новые версии формата GGUF могут не конвертироваться, так как инструментарий отстает от изменений в llama.cpp.
- Результат сохраняется в F16/BF16 (или F32), поэтому размер файла значительно увеличивается по сравнению с компактным квантованным GGUF.
Часто задаваемые вопросы
Является ли конвертация GGUF в safetensors побитово точной?
Почему мой недавний GGUF не конвертируется?
Могу ли я загрузить результат в Hugging Face Transformers?
.safetensors), на что и ориентирован GGUF2Safetensors.