Wat is het GGUF-bestandsformaat?
Een .gguf-bestand is een GGML Universal Format-bestand, de binaire container die door llama.cpp wordt gebruikt om een groot taalmodel op te slaan. Georgi Gerganov en de ggml-gemeenschap introduceerden het in augustus 2023 als de opvolger van de oudere GGML-, GGMF- en GGJT-formaten. Een enkel .gguf-bestand bevat de modelgewichten, de tokenizer en elke hyperparameter als getypeerde sleutel-waarde-metadata, zodat er geen aparte configuratiebestanden nodig zijn om het model te laden en uit te voeren.
Het formaat is gebouwd om onafhankelijk, uitbreidbaar en memory-mappable te zijn. Omdat metadata wordt opgeslagen als sleutel-waardeparen met namespaces in plaats van een vaste lijst, kunnen nieuwe velden worden toegevoegd zonder oudere lezers te breken. Gewichten zijn meestal gekwantiseerd, van 2-bit tot 8-bit en inclusief K-quants zoals Q4_K_M, waardoor aanzienlijke modellen op consumenten-CPUs en -GPUs kunnen draaien. Elk bestand begint met de vier-byte magic string GGUF, gevolgd door een versienummer; de huidige versie is 3.
Beveiliging & veiligheid
RISICO: LOWGGUF is a data container for model weights and metadata, not an executable, so opening one does not run code by itself. The main practical risks are large file sizes and downloading models from untrusted sources; a malformed file could in theory exploit a bug in the loader, so use up-to-date inference tools and reputable model repositories.
Formaatdetails
in een notendop- Genome Graphical User Format - Rarely, .gguf has been used ad hoc by hobby projects for GUI layout data, unrelated to the machine-learning format described here.
Programma's die GGUF-bestanden openen
Windows6 apps
LM Studio
Freemium Browse, download and chat with .gguf models through a desktop GUI, with per-model quantization choices.
Ollama
Open-source Load a local .gguf file via a Modelfile and serve it for chat or API use with one command.
llama.cpp
Open-source Run inference directly on a .gguf model with llama-cli or llama-server, the reference implementation of the format.
GPT4All
Open-source Add a downloaded .gguf model to the local model folder and chat with it offline.
koboldcpp
Open-source Load a .gguf model for text generation and roleplay with a self-contained executable. 
macOS4 apps
LM Studio
Freemium Download and run .gguf models with Apple Silicon acceleration through a desktop GUI.
Ollama
Open-source Serve a local .gguf model via a Modelfile using Metal acceleration on Apple hardware. 
Linux4 apps
llama.cpp
Open-source Build from source and run .gguf models with CUDA, ROCm or CPU backends via llama-cli and llama-server.
text-generation-webui
Open-source Load .gguf models through the llama.cpp loader in a browser-based interface.
Hugging Face GGUF viewer
Gratis Inspect a .gguf file's metadata, tensor list and quantization in the browser without downloading it. Technische details
diepe specificaties| Encoding | Binary |
| Byte order | Little-endian by default; big-endian supported since version 3 |
| Container | Single-file container holding header, metadata key-value block, tensor info block and raw tensor data |
| Compression | None as a container; weights are stored using GGUF quantization schemes (Q2 through Q8, K-quants such as Q4_K_M, IQ variants, plus F16/BF16/F32) |
| Typical size | Roughly 0.5 GB to over 100 GB depending on parameter count and quantization level |
| Structure | Header (magic, version, tensor count, metadata count) then namespaced key-value metadata, then per-tensor info (name, dimensions, type, offset), then aligned raw tensor data. Default alignment is 32 bytes and must be a multiple of 8. |
| Integrity | No built-in checksum; the metadata block is self-describing and validated at load time |
| Platforms | Windows, macOS, Linux |
| Notes | A GGUF file is self-contained: it bundles the model weights, tokenizer and all hyperparameters as typed metadata, so no separate config files are needed. Metadata keys use lower_snake_case with period-separated namespaces and keys can be up to 65,535 bytes. Over 40 quantization types are supported. Large models can be sharded across multiple .gguf files with llama-gguf-split. |
| Uitgebracht | August 2023 |
| Laatste versie | Version 3 |
| Open standaard | Ja · royaltyvrij |
| Specificatie | github.com |
GGUF conversies
Community V&A
gevraagd door gebruikersNog geen vragen - wees de eerste om iets te vragen over GGUF-bestanden.
Veelgestelde vragen
Hoe open ik een GGUF-bestand?
llama.cpp. Deze tools lezen het .gguf-bestand en laten u chatten met het model. Dubbelklikken op het bestand zal op zichzelf niets nuttigs doen.Welk programma maakt GGUF-bestanden?
llama.cpp-conversiescripts, voornamelijk convert_hf_to_gguf.py, dat een Hugging Face-model omzet in een .gguf, optioneel gevolgd door llama-quantize om het te verkleinen naar een lagere kwantisering zoals Q4_K_M.Wat betekent de Q4_K_M in een GGUF-bestandsnaam?
Kan ik een GGUF-bestand converteren naar het originele model?
.safetensors of PyTorch-gewichten met community-scripts, maar omdat de meeste GGUF-bestanden gekwantiseerd zijn, is de conversie lossy en herstelt deze niet de exacte originele gewichten.Waarom is mijn GGUF-bestand zo groot?
.gguf bevat elk modelgewicht in één bestand. De bestandsgrootte schaalt met het aantal parameters en het kwantiseringsniveau, dus een groot model met een hogere precisie kan gemakkelijk de tientallen gigabytes overschrijden.
