Vad är filformatet GGUF?
En .gguf-fil är en GGML Universal Format-fil, den binära behållare som används av llama.cpp för att lagra en stor språkmodell. Georgi Gerganov och ggml-communityn introducerade den i augusti 2023 som efterföljare till de äldre formaten GGML, GGMF och GGJT. En enskild .gguf-fil innehåller modellvikterna, tokenizern och varje hyperparameter som typad nyckel-värde-metadata, så inga separata konfigurationsfiler behövs för att ladda och köra modellen.
Formatet är byggt för att vara självförsörjande, utökningsbart och minnesmappningsbart. Eftersom metadata lagras som namnrymda nyckel-värde-par istället för en fast lista, kan nya fält läggas till utan att äldre läsare går sönder. Vikter är vanligtvis kvantiserade, från 2-bitars upp till 8-bitars och inkluderar K-quants som Q4_K_M, vilket gör att betydande modeller kan köras på konsument-CPU:er och GPU:er. Varje fil börjar med den fyra byte långa magiska strängen GGUF, följt av ett versionsnummer; den nuvarande versionen är 3.
Säkerhet & trygghet
RISK: LOWGGUF is a data container for model weights and metadata, not an executable, so opening one does not run code by itself. The main practical risks are large file sizes and downloading models from untrusted sources; a malformed file could in theory exploit a bug in the loader, so use up-to-date inference tools and reputable model repositories.
Formatdetaljer
i ett nötskalFULLSTÄNDIGT NAMNGGML Universal Format Fileäven känd som GGML Universal File, GGUF model
UTVECKLAREGeorgi Gerganov and the ggml/llama.cpp communitysedan August 2023
KATEGORIFiler med uppgifter
MIME-TYPapplication/octet-stream
TYPBinary
STANDARDÖppen · royaltyfri
Detta filtillägg används också av…
- Genome Graphical User Format - Rarely, .gguf has been used ad hoc by hobby projects for GUI layout data, unrelated to the machine-learning format described here.
MAGIC BYTES · FILSIGNATUR
OFFSET
00010203
HEX
47475546
ASCII
GGUF
First 4 bytes are the ASCII string GGUF (0x47 0x47 0x55 0x46), followed by a 4-byte version, 8-byte tensor count and 8-byte metadata count.
Program som öppnar GGUF-filer
Windows6 apps
LM Studio
Freemium Browse, download and chat with .gguf models through a desktop GUI, with per-model quantization choices.
Ollama
Öppen källkod Load a local .gguf file via a Modelfile and serve it for chat or API use with one command.
llama.cpp
Öppen källkod Run inference directly on a .gguf model with llama-cli or llama-server, the reference implementation of the format.
GPT4All
Öppen källkod Add a downloaded .gguf model to the local model folder and chat with it offline.
koboldcpp
Öppen källkod Load a .gguf model for text generation and roleplay with a self-contained executable. 
macOS4 apps
LM Studio
Freemium Download and run .gguf models with Apple Silicon acceleration through a desktop GUI.
Ollama
Öppen källkod Serve a local .gguf model via a Modelfile using Metal acceleration on Apple hardware.
llama.cpp
Öppen källkod Run .gguf models with llama-cli, built with Metal support for Apple Silicon. 
Linux4 apps
llama.cpp
Öppen källkod Build from source and run .gguf models with CUDA, ROCm or CPU backends via llama-cli and llama-server.
text-generation-webui
Öppen källkod Load .gguf models through the llama.cpp loader in a browser-based interface.
Web1 app
Hugging Face GGUF viewer
Gratis Inspect a .gguf file's metadata, tensor list and quantization in the browser without downloading it. Tekniska detaljer
djup specifikation| Encoding | Binary |
| Byte order | Little-endian by default; big-endian supported since version 3 |
| Container | Single-file container holding header, metadata key-value block, tensor info block and raw tensor data |
| Compression | None as a container; weights are stored using GGUF quantization schemes (Q2 through Q8, K-quants such as Q4_K_M, IQ variants, plus F16/BF16/F32) |
| Typical size | Roughly 0.5 GB to over 100 GB depending on parameter count and quantization level |
| Structure | Header (magic, version, tensor count, metadata count) then namespaced key-value metadata, then per-tensor info (name, dimensions, type, offset), then aligned raw tensor data. Default alignment is 32 bytes and must be a multiple of 8. |
| Integrity | No built-in checksum; the metadata block is self-describing and validated at load time |
| Platforms | Windows, macOS, Linux |
| Notes | A GGUF file is self-contained: it bundles the model weights, tokenizer and all hyperparameters as typed metadata, so no separate config files are needed. Metadata keys use lower_snake_case with period-separated namespaces and keys can be up to 65,535 bytes. Over 40 quantization types are supported. Large models can be sharded across multiple .gguf files with llama-gguf-split. |
| Släppt | August 2023 |
| Senaste version | Version 3 |
| Öppen standard | Ja · royaltyfri |
| Specifikation | github.com |
GGUF-konverteringar
Möjligt
.GGUF .SAFETENSORSGUIDE
Ja - du kan dekvantisera en GGUF till en mapp med .safetensors-shards, men en kvantiserad källa kan aldrig…
Hur man konverterar
.GGUF .ONNXGUIDE
Ja - men endast indirekt: du dekvantiserar GGUF tillbaka till PyTorch/safetensors-vikter med full precision…
Hur man konverterar
.GGUF .PTHGUIDE
Ja - du kan dekvantisera en GGUF tillbaka till en PyTorch .pth/.bin state dict, men endast för arkitekturer…
Hur man konverterar
Frågor & svar
frågat av användareInga frågor än - bli den första att fråga om GGUF-filer.
Vanliga frågor
Hur öppnar jag en GGUF-fil?
Använd en lokal LLM-körare som LM Studio, Ollama, Jan eller GPT4All, eller ladda den direkt med
llama.cpp. Dessa verktyg läser .gguf-filen och låter dig chatta med modellen. Att dubbelklicka på filen kommer inte att göra något användbart i sig.Vilket program skapar GGUF-filer?
De skapas av konverteringsskripten i
llama.cpp, främst convert_hf_to_gguf.py, som gör om en Hugging Face-modell till en .gguf, valfritt följt av llama-quantize för att krympa den till en mindre kvantisering som Q4_K_M.Vad betyder Q4_K_M i ett GGUF-filnamn?
Det är kvantiseringstypen. Q4 betyder ungefär 4-bitars vikter, K syftar på den blockbaserade K-quant-metoden och M är varianten för medelstorlek/kvalitet. Lägre siffror ger mindre filer och lägre kvalitet; F16 eller F32 är okvantiserade.
Kan jag konvertera en GGUF-fil tillbaka till originalmodellen?
Delvis. Du kan dekvantisera den till
.safetensors eller PyTorch-vikter med community-skript, men eftersom de flesta GGUF-filer är kvantiserade är konverteringen lossy och återställer inte de exakta originalvikterna.Varför är min GGUF-fil så stor?
En
.gguf innehåller varje modellvikt i en enda fil. Filstorleken skalas med antalet parametrar och kvantiseringsnivån, så en stor modell med högre precision kan lätt överstiga tiotals gigabyte.Är GGUF-filer säkra att ladda ner?
Formatet i sig innehåller inte körbar kod, så det är säkrare än pickle-baserade format. Ladda ändå bara ner modeller från pålitliga källor och håll din inferensprogramvara uppdaterad i händelse av buggar i inläsaren.
Referenser
1GGUF - Wikipediaen.wikipedia.org
2Official GGUF specification (ggml docs)github.com
