Co to jest format pliku GGUF?
Plik .gguf to plik formatu GGML Universal Format, binarny kontener używany przez llama.cpp do przechowywania dużych modeli językowych. Georgi Gerganov i społeczność ggml wprowadzili go w sierpniu 2023 roku jako następcę starszych formatów GGML, GGMF i GGJT. Pojedynczy plik .gguf zawiera wagi modelu, tokenizer i każdy hiperparametr jako typowane metadane klucz-wartość, dzięki czemu do załadowania i uruchomienia modelu nie są potrzebne oddzielne pliki konfiguracyjne.
Format został zaprojektowany jako samowystarczalny, rozszerzalny i mapowalny w pamięci. Ponieważ metadane są przechowywane jako pary klucz-wartość w przestrzeniach nazw zamiast stałej listy, nowe pola mogą być dodawane bez psucia starszych czytników. Wagi są zazwyczaj kwantyzowane, od 2-bitowych do 8-bitowych, w tym kwantyzacje typu K, takie jak Q4_K_M, co pozwala na uruchamianie pokaźnych modeli na konsumenckich procesorach CPU i GPU. Każdy plik zaczyna się od czterobajtowego ciągu magicznego GGUF, po którym następuje numer wersji; obecna wersja to 3.
Bezpieczeństwo
RYZYKO: LOWGGUF is a data container for model weights and metadata, not an executable, so opening one does not run code by itself. The main practical risks are large file sizes and downloading models from untrusted sources; a malformed file could in theory exploit a bug in the loader, so use up-to-date inference tools and reputable model repositories.
Szczegóły formatu
w pigułce- Genome Graphical User Format - Rarely, .gguf has been used ad hoc by hobby projects for GUI layout data, unrelated to the machine-learning format described here.
Programy otwierające pliki GGUF
Windows6 apps
LM Studio
Freemium Browse, download and chat with .gguf models through a desktop GUI, with per-model quantization choices.
Ollama
Open-source Load a local .gguf file via a Modelfile and serve it for chat or API use with one command.
llama.cpp
Open-source Run inference directly on a .gguf model with llama-cli or llama-server, the reference implementation of the format.
GPT4All
Open-source Add a downloaded .gguf model to the local model folder and chat with it offline.
koboldcpp
Open-source Load a .gguf model for text generation and roleplay with a self-contained executable. 
macOS4 apps
LM Studio
Freemium Download and run .gguf models with Apple Silicon acceleration through a desktop GUI.
Ollama
Open-source Serve a local .gguf model via a Modelfile using Metal acceleration on Apple hardware. 
Linux4 apps
llama.cpp
Open-source Build from source and run .gguf models with CUDA, ROCm or CPU backends via llama-cli and llama-server.
text-generation-webui
Open-source Load .gguf models through the llama.cpp loader in a browser-based interface.
Hugging Face GGUF viewer
Darmowy Inspect a .gguf file's metadata, tensor list and quantization in the browser without downloading it. Szczegóły techniczne
specyfikacja| Encoding | Binary |
| Byte order | Little-endian by default; big-endian supported since version 3 |
| Container | Single-file container holding header, metadata key-value block, tensor info block and raw tensor data |
| Compression | None as a container; weights are stored using GGUF quantization schemes (Q2 through Q8, K-quants such as Q4_K_M, IQ variants, plus F16/BF16/F32) |
| Typical size | Roughly 0.5 GB to over 100 GB depending on parameter count and quantization level |
| Structure | Header (magic, version, tensor count, metadata count) then namespaced key-value metadata, then per-tensor info (name, dimensions, type, offset), then aligned raw tensor data. Default alignment is 32 bytes and must be a multiple of 8. |
| Integrity | No built-in checksum; the metadata block is self-describing and validated at load time |
| Platforms | Windows, macOS, Linux |
| Notes | A GGUF file is self-contained: it bundles the model weights, tokenizer and all hyperparameters as typed metadata, so no separate config files are needed. Metadata keys use lower_snake_case with period-separated namespaces and keys can be up to 65,535 bytes. Over 40 quantization types are supported. Large models can be sharded across multiple .gguf files with llama-gguf-split. |
| Wydano | August 2023 |
| Najnowsza wersja | Version 3 |
| Otwarty standard | Tak · bezpłatny (royalty-free) |
| Specyfikacja | github.com |
Konwersje GGUF
Pytania i odpowiedzi społeczności
pytania użytkownikówBrak pytań - bądź pierwszą osobą, która zapyta o pliki GGUF.
Najczęściej zadawane pytania
Jak otworzyć plik GGUF?
llama.cpp. Narzędzia te odczytują plik .gguf i pozwalają na czat z modelem. Dwukrotne kliknięcie pliku samo w sobie nic nie zrobi.Jaki program tworzy pliki GGUF?
llama.cpp, głównie convert_hf_to_gguf.py, który zamienia model Hugging Face na .gguf, a następnie opcjonalnie przez llama-quantize, aby zmniejszyć go do mniejszej kwantyzacji, takiej jak Q4_K_M.Co oznacza Q4_K_M w nazwie pliku GGUF?
Czy mogę przekonwertować plik GGUF z powrotem do oryginalnego modelu?
.safetensors lub PyTorch za pomocą skryptów społeczności, ale ponieważ większość plików GGUF jest kwantyzowana, konwersja jest stratna i nie przywraca dokładnie oryginalnych wag.Dlaczego mój plik GGUF jest tak duży?
.gguf przechowuje wszystkie wagi modelu w jednym pliku. Rozmiar pliku skaluje się wraz z liczbą parametrów i poziomem kwantyzacji, więc duży model w wyższej precyzji może z łatwością przekroczyć dziesiątki gigabajtów.
