Was ist das GGUF-Dateiformat?
Eine .gguf-Datei ist eine GGML Universal Format-Datei, der binäre Container, der von llama.cpp zum Speichern eines großen Sprachmodells verwendet wird. Georgi Gerganov und die ggml-Community führten es im August 2023 als Nachfolger der älteren Formate GGML, GGMF und GGJT ein. Eine einzelne .gguf-Datei enthält die Modellgewichte, den Tokenizer und jeden Hyperparameter als typisierte Key-Value-Metadaten, sodass keine separaten Konfigurationsdateien erforderlich sind, um das Modell zu laden und auszuführen.
Das Format ist so konzipiert, dass es eigenständig, erweiterbar und speicherabbildbar (memory-mappable) ist. Da Metadaten als Key-Value-Paare mit Namensräumen anstelle einer festen Liste gespeichert werden, können neue Felder hinzugefügt werden, ohne ältere Leseprogramme zu beeinträchtigen. Die Gewichte sind in der Regel quantisiert, von 2-Bit bis zu 8-Bit, einschließlich K-Quants wie Q4_K_M, was es ermöglicht, beachtliche Modelle auf Consumer-CPUs und -GPUs auszuführen. Jede Datei beginnt mit dem vier Byte langen Magic-String GGUF, gefolgt von einer Versionsnummer; die aktuelle Version ist 3.
Sicherheit
RISIKO: LOWGGUF is a data container for model weights and metadata, not an executable, so opening one does not run code by itself. The main practical risks are large file sizes and downloading models from untrusted sources; a malformed file could in theory exploit a bug in the loader, so use up-to-date inference tools and reputable model repositories.
Formatdetails
kurz gefasst- Genome Graphical User Format - Rarely, .gguf has been used ad hoc by hobby projects for GUI layout data, unrelated to the machine-learning format described here.
Programme zum Öffnen von GGUF-Dateien
Windows6 apps
LM Studio
Freemium Browse, download and chat with .gguf models through a desktop GUI, with per-model quantization choices.
Ollama
Open Source Load a local .gguf file via a Modelfile and serve it for chat or API use with one command.
llama.cpp
Open Source Run inference directly on a .gguf model with llama-cli or llama-server, the reference implementation of the format.
GPT4All
Open Source Add a downloaded .gguf model to the local model folder and chat with it offline.
koboldcpp
Open Source Load a .gguf model for text generation and roleplay with a self-contained executable. 
macOS4 apps
LM Studio
Freemium Download and run .gguf models with Apple Silicon acceleration through a desktop GUI.
Ollama
Open Source Serve a local .gguf model via a Modelfile using Metal acceleration on Apple hardware. 
Linux4 apps
llama.cpp
Open Source Build from source and run .gguf models with CUDA, ROCm or CPU backends via llama-cli and llama-server.
text-generation-webui
Open Source Load .gguf models through the llama.cpp loader in a browser-based interface.
Hugging Face GGUF viewer
Kostenlos Inspect a .gguf file's metadata, tensor list and quantization in the browser without downloading it. Technische Details
technische Spezifikation| Encoding | Binary |
| Byte order | Little-endian by default; big-endian supported since version 3 |
| Container | Single-file container holding header, metadata key-value block, tensor info block and raw tensor data |
| Compression | None as a container; weights are stored using GGUF quantization schemes (Q2 through Q8, K-quants such as Q4_K_M, IQ variants, plus F16/BF16/F32) |
| Typical size | Roughly 0.5 GB to over 100 GB depending on parameter count and quantization level |
| Structure | Header (magic, version, tensor count, metadata count) then namespaced key-value metadata, then per-tensor info (name, dimensions, type, offset), then aligned raw tensor data. Default alignment is 32 bytes and must be a multiple of 8. |
| Integrity | No built-in checksum; the metadata block is self-describing and validated at load time |
| Platforms | Windows, macOS, Linux |
| Notes | A GGUF file is self-contained: it bundles the model weights, tokenizer and all hyperparameters as typed metadata, so no separate config files are needed. Metadata keys use lower_snake_case with period-separated namespaces and keys can be up to 65,535 bytes. Over 40 quantization types are supported. Large models can be sharded across multiple .gguf files with llama-gguf-split. |
| Veröffentlicht | August 2023 |
| Neueste Version | Version 3 |
| Offener Standard | Ja · lizenzgebührenfrei |
| Spezifikation | github.com |
GGUF-Konvertierungen
Community Q&A
von Nutzern gefragtNoch keine Fragen - stellen Sie die erste Frage zu GGUF-Dateien.
Häufig gestellte Fragen
Wie öffne ich eine GGUF-Datei?
llama.cpp. Diese Tools lesen die .gguf-Datei und lassen Sie mit dem Modell chatten. Ein Doppelklick auf die Datei allein wird nichts Nützliches bewirken.Welches Programm erstellt GGUF-Dateien?
llama.cpp-Konvertierungsskripten erstellt, hauptsächlich convert_hf_to_gguf.py, das ein Hugging Face-Modell in eine .gguf umwandelt, optional gefolgt von llama-quantize, um es auf eine kleinere Quantisierung wie Q4_K_M zu schrumpfen.Was bedeutet das Q4_K_M in einem GGUF-Dateinamen?
Kann ich eine GGUF-Datei in das Originalmodell zurückkonvertieren?
.safetensors oder PyTorch-Gewichte dequantisieren, aber da die meisten GGUF-Dateien quantisiert sind, ist die Konvertierung verlustbehaftet und stellt nicht die exakten Originalgewichte wieder her.Warum ist meine GGUF-Datei so groß?
.gguf enthält jedes Modellgewicht in einer Datei. Die Dateigröße skaliert mit der Anzahl der Parameter und der Quantisierungsstufe, sodass ein großes Modell bei höherer Präzision leicht mehrere zehn Gigabyte überschreiten kann.
