Dlaczego konwertować GGUF na SAFETENSORS?
Konwersja .gguf na .safetensors pozwala na ponowne załadowanie modelu do Hugging Face Transformers lub diffusers, jego dostrojenie (fine-tune) lub ponowną kwantyzację w inny sposób. GGUF jest zoptymalizowany pod kątem inferencji w llama.cpp, podczas gdy .safetensors to standardowy, wolny od „pickle” format dla ekosystemu PyTorch/HF. Pamiętaj, że bardzo nowe rewizje formatu GGUF nie zawsze dają się skonwertować.
Jak przekonwertować GGUF na SAFETENSORS
gguf_to_safetensors OPEN-SOURCE
Uruchom python gguf_to_safetensors.py --input model.gguf --output model.safetensors. Domyślnie używa F16; dodaj --bf16 dla wyjścia w formacie BF16.
GGUF2Safetensors OPEN-SOURCE
Rzutuje wagi GGUF na tensory PyTorch w pamięci i zapisuje folder Hugging Face z fragmentami .safetensors, gotowy do bezpośredniego użycia z Transformers.
biblioteka gguf + safetensors FREE
Załaduj za pomocą GGUFReader, wywołaj gguf.quants.dequantize() dla każdego tensora, a następnie safetensors.torch.save_file(). Pełna kontrola nad dtype i dzieleniem na fragmenty (sharding).
O tych formatach
Plik .gguf to plik formatu GGML Universal Format, binarny kontener używany przez llama.cpp i powiązane narzędzia do przechowywania dużych modeli językowych w pojedynczym pliku. Zawiera on…
Otwórz szczegóły .GGUF →Plik .SAFETENSORS to plik danych używany przez określone oprogramowanie.
Otwórz szczegóły .SAFETENSORS →Jakość i na co uważać
- Dekwantyzacja skwantyzowanego GGUF (Q4/Q5/itp.) jest stratna - plik
.safetensorsnie będzie identyczny z oryginalnym modelem bit po bicie. - Nowsze wersje formatu GGUF mogą nie ulec konwersji, ponieważ narzędzia często nie nadążają za zmianami w llama.cpp.
- Wynik to F16/BF16 (lub F32), więc rozmiar pliku znacznie wzrasta w porównaniu do kompaktowego, skwantyzowanego GGUF.
Najczęściej zadawane pytania
Czy konwersja GGUF na safetensors jest bezstratna?
Dlaczego mój nowy plik GGUF nie chce się skonwertować?
Czy mogę załadować wynik w Hugging Face Transformers?
.safetensors), co jest celem narzędzia GGUF2Safetensors.
