Hva er GGUF-filformatet?
En .gguf-fil er en GGML Universal Format-fil, den binære beholderen som brukes av llama.cpp for å lagre en stor språkmodell. Georgi Gerganov og ggml-fellesskapet introduserte den i august 2023 som etterfølgeren til de eldre formatene GGML, GGMF og GGJT. En enkelt .gguf-fil inneholder modellvektene, tokenizeren og alle hyperparametre som typede nøkkel-verdi-metadata, slik at ingen separate konfigurasjonsfiler er nødvendige for å laste og kjøre modellen.
Formatet er bygget for å være selvstendig, utvidbart og minne-mappbart. Fordi metadata lagres som navnerom-delte nøkkel-verdi-par i stedet for en fast liste, kan nye felt legges til uten å ødelegge for eldre lesere. Vekter er vanligvis kvantisert, fra 2-bit opp til 8-bit og inkluderer K-kvantifiseringer som Q4_K_M, noe som lar betydelige modeller kjøre på vanlige CPU-er og GPU-er. Hver fil starter med den fire-byte lange magiske strengen GGUF, etterfulgt av et versjonsnummer; gjeldende versjon er 3.
Sikkerhet og trygghet
RISIKO: LOWGGUF is a data container for model weights and metadata, not an executable, so opening one does not run code by itself. The main practical risks are large file sizes and downloading models from untrusted sources; a malformed file could in theory exploit a bug in the loader, so use up-to-date inference tools and reputable model repositories.
Formatdetaljer
i et nøtteskallFULLT NAVNGGML Universal Format Fileogså kjent som GGML Universal File, GGUF model
UTVIKLERGeorgi Gerganov and the ggml/llama.cpp communitysiden August 2023
KATEGORIDatafiler
MIME-TYPEapplication/octet-stream
TYPEBinary
STANDARDÅpen · royalty-fri
Denne filendelsen brukes også av…
- Genome Graphical User Format - Rarely, .gguf has been used ad hoc by hobby projects for GUI layout data, unrelated to the machine-learning format described here.
MAGIC BYTES · FILSIGNATUR
OFFSET
00010203
HEX
47475546
ASCII
GGUF
First 4 bytes are the ASCII string GGUF (0x47 0x47 0x55 0x46), followed by a 4-byte version, 8-byte tensor count and 8-byte metadata count.
Programmer som åpner GGUF-filer
Windows6 apps
LM Studio
Freemium Browse, download and chat with .gguf models through a desktop GUI, with per-model quantization choices.
Ollama
Åpen kildekode Load a local .gguf file via a Modelfile and serve it for chat or API use with one command.
llama.cpp
Åpen kildekode Run inference directly on a .gguf model with llama-cli or llama-server, the reference implementation of the format.
GPT4All
Åpen kildekode Add a downloaded .gguf model to the local model folder and chat with it offline.
koboldcpp
Åpen kildekode Load a .gguf model for text generation and roleplay with a self-contained executable. 
macOS4 apps
LM Studio
Freemium Download and run .gguf models with Apple Silicon acceleration through a desktop GUI.
Ollama
Åpen kildekode Serve a local .gguf model via a Modelfile using Metal acceleration on Apple hardware.
llama.cpp
Åpen kildekode Run .gguf models with llama-cli, built with Metal support for Apple Silicon. 
Linux4 apps
llama.cpp
Åpen kildekode Build from source and run .gguf models with CUDA, ROCm or CPU backends via llama-cli and llama-server.
Ollama
Åpen kildekode Register a local .gguf file with a Modelfile and serve it over the Ollama API.
text-generation-webui
Åpen kildekode Load .gguf models through the llama.cpp loader in a browser-based interface.
Web1 app
Hugging Face GGUF viewer
Gratis Inspect a .gguf file's metadata, tensor list and quantization in the browser without downloading it. Tekniske detaljer
dyp spesifikasjon| Encoding | Binary |
| Byte order | Little-endian by default; big-endian supported since version 3 |
| Container | Single-file container holding header, metadata key-value block, tensor info block and raw tensor data |
| Compression | None as a container; weights are stored using GGUF quantization schemes (Q2 through Q8, K-quants such as Q4_K_M, IQ variants, plus F16/BF16/F32) |
| Typical size | Roughly 0.5 GB to over 100 GB depending on parameter count and quantization level |
| Structure | Header (magic, version, tensor count, metadata count) then namespaced key-value metadata, then per-tensor info (name, dimensions, type, offset), then aligned raw tensor data. Default alignment is 32 bytes and must be a multiple of 8. |
| Integrity | No built-in checksum; the metadata block is self-describing and validated at load time |
| Platforms | Windows, macOS, Linux |
| Notes | A GGUF file is self-contained: it bundles the model weights, tokenizer and all hyperparameters as typed metadata, so no separate config files are needed. Metadata keys use lower_snake_case with period-separated namespaces and keys can be up to 65,535 bytes. Over 40 quantization types are supported. Large models can be sharded across multiple .gguf files with llama-gguf-split. |
| Utgitt | August 2023 |
| Siste versjon | Version 3 |
| Åpen standard | Ja · royalty-fri |
| Spesifikasjon | github.com |
GGUF-konverteringer
Mulig
.GGUF .SAFETENSORSGUIDE
Ja - du kan dekvantisere en GGUF til en mappe med .safetensors-shards, men en kvantisert kilde kan aldri…
Hvordan konvertere
.GGUF .ONNXGUIDE
Ja - men bare indirekte: du dekvantiserer GGUF tilbake til fullpresisjons PyTorch/safetensors-vekter og…
Hvordan konvertere
.GGUF .PTHGUIDE
Ja - du kan dekvantisere en GGUF tilbake til en PyTorch .pth/.bin state dict, men bare for arkitekturer som…
Hvordan konvertere
Spørsmål og svar fra fellesskapet
spurt av brukereIngen spørsmål ennå - vær den første til å spørre om GGUF-filer.
Ofte stilte spørsmål
Hvordan åpner jeg en GGUF-fil?
Bruk en lokal LLM-kjører som LM Studio, Ollama, Jan eller GPT4All, eller last den direkte med
llama.cpp. Disse verktøyene leser .gguf-filen og lar deg chatte med modellen. Å dobbeltklikke på filen vil ikke gjøre noe nyttig i seg selv.Hvilket program oppretter GGUF-filer?
De produseres av
llama.cpp-konverteringsskript, hovedsakelig convert_hf_to_gguf.py, som gjør en Hugging Face-modell om til en .gguf, eventuelt etterfulgt av llama-quantize for å krympe den til en mindre kvantisering som Q4_K_M.Hva betyr Q4_K_M i et GGUF-filnavn?
Det er kvantiseringstypen. Q4 betyr omtrent 4-bit vekter, K refererer til den blokkbaserte K-kvant-metoden, og M er varianten for middels størrelse/kvalitet. Lavere tall gir mindre filer og lavere kvalitet; F16 eller F32 er ukvantiserte.
Kan jeg konvertere en GGUF-fil tilbake til den opprinnelige modellen?
Delvis. Du kan dekvantisere den til
.safetensors eller PyTorch-vekter med fellesskapsskript, men fordi de fleste GGUF-filer er kvantiserte, er konverteringen «lossy» og gjenoppretter ikke de nøyaktige originale vektene.Hvorfor er GGUF-filen min så stor?
En
.gguf inneholder hver eneste modellvekt i én fil. Filstørrelsen skaleres med antall parametere og kvantiseringsnivået, så en stor modell med høy presisjon kan lett overstige ti-talls gigabyte.Er GGUF-filer trygge å laste ned?
Selve formatet inneholder ikke kjørbar kode, så det er tryggere enn pickle-baserte formater. Likevel bør du bare laste ned modeller fra pålitelige kilder og holde inferens-programvaren din oppdatert i tilfelle feil i lasteren.
Referanser
1GGUF - Wikipediaen.wikipedia.org
2Official GGUF specification (ggml docs)github.com
