Hvad er GGUF-filformatet?
En .gguf-fil er en GGML Universal Format-fil, den binære container, der bruges af llama.cpp til at gemme en stor sprogmodel. Georgi Gerganov og ggml-fællesskabet introducerede den i august 2023 som efterfølgeren til de ældre GGML-, GGMF- og GGJT-formater. En enkelt .gguf-fil indeholder modelvægtene, tokenizeren og alle hyperparametre som typede nøgle-værdi-metadata, så der kræves ingen separate konfigurationsfiler for at indlæse og køre modellen.
Formatet er bygget til at være selvstændigt, udvideligt og hukommelses-mappebart. Fordi metadata gemmes som navnerums-opdelte nøgle-værdi-par i stedet for en fast liste, kan nye felter tilføjes uden at ødelægge ældre læsere. Vægte er normalt kvantiserede, fra 2-bit op til 8-bit og inklusiv K-quants såsom Q4_K_M, hvilket lader betydelige modeller køre på forbruger-CPU'er og GPU'er. Enhver fil starter med den fire-byte magiske streng GGUF, efterfulgt af et versionsnummer; den nuværende version er 3.
Sikkerhed og tryghed
RISIKO: LOWGGUF is a data container for model weights and metadata, not an executable, so opening one does not run code by itself. The main practical risks are large file sizes and downloading models from untrusted sources; a malformed file could in theory exploit a bug in the loader, so use up-to-date inference tools and reputable model repositories.
Formatdetaljer
kort fortaltFULDSTÆNDIGT NAVNGGML Universal Format Fileogså kendt som GGML Universal File, GGUF model
UDVIKLERGeorgi Gerganov and the ggml/llama.cpp communitysiden August 2023
KATEGORIDatafiler
MIME-TYPEapplication/octet-stream
TYPEBinary
STANDARDÅben · royaltyfri
Dette filtypenavn bruges også af…
- Genome Graphical User Format - Rarely, .gguf has been used ad hoc by hobby projects for GUI layout data, unrelated to the machine-learning format described here.
MAGIC BYTES · FILSIGNATUR
OFFSET
00010203
HEX
47475546
ASCII
GGUF
First 4 bytes are the ASCII string GGUF (0x47 0x47 0x55 0x46), followed by a 4-byte version, 8-byte tensor count and 8-byte metadata count.
Programmer der åbner GGUF-filer
Windows6 apps
LM Studio
Freemium Browse, download and chat with .gguf models through a desktop GUI, with per-model quantization choices.
Ollama
Open-source Load a local .gguf file via a Modelfile and serve it for chat or API use with one command.
llama.cpp
Open-source Run inference directly on a .gguf model with llama-cli or llama-server, the reference implementation of the format.
GPT4All
Open-source Add a downloaded .gguf model to the local model folder and chat with it offline.
koboldcpp
Open-source Load a .gguf model for text generation and roleplay with a self-contained executable. 
macOS4 apps
LM Studio
Freemium Download and run .gguf models with Apple Silicon acceleration through a desktop GUI.
Ollama
Open-source Serve a local .gguf model via a Modelfile using Metal acceleration on Apple hardware. 
Linux4 apps
llama.cpp
Open-source Build from source and run .gguf models with CUDA, ROCm or CPU backends via llama-cli and llama-server.
text-generation-webui
Open-source Load .gguf models through the llama.cpp loader in a browser-based interface.
Web1 app
Hugging Face GGUF viewer
Gratis Inspect a .gguf file's metadata, tensor list and quantization in the browser without downloading it. Tekniske detaljer
dyb specifikation| Encoding | Binary |
| Byte order | Little-endian by default; big-endian supported since version 3 |
| Container | Single-file container holding header, metadata key-value block, tensor info block and raw tensor data |
| Compression | None as a container; weights are stored using GGUF quantization schemes (Q2 through Q8, K-quants such as Q4_K_M, IQ variants, plus F16/BF16/F32) |
| Typical size | Roughly 0.5 GB to over 100 GB depending on parameter count and quantization level |
| Structure | Header (magic, version, tensor count, metadata count) then namespaced key-value metadata, then per-tensor info (name, dimensions, type, offset), then aligned raw tensor data. Default alignment is 32 bytes and must be a multiple of 8. |
| Integrity | No built-in checksum; the metadata block is self-describing and validated at load time |
| Platforms | Windows, macOS, Linux |
| Notes | A GGUF file is self-contained: it bundles the model weights, tokenizer and all hyperparameters as typed metadata, so no separate config files are needed. Metadata keys use lower_snake_case with period-separated namespaces and keys can be up to 65,535 bytes. Over 40 quantization types are supported. Large models can be sharded across multiple .gguf files with llama-gguf-split. |
| Udgivet | August 2023 |
| Seneste version | Version 3 |
| Åben standard | Ja · royaltyfri |
| Specifikation | github.com |
GGUF-konverteringer
Muligt
.GGUF .SAFETENSORSGUIDE
Ja - du kan dekvantisere en GGUF til en mappe med .safetensors shards, men en kvantiseret kilde kan aldrig…
Sådan konverterer du
.GGUF .ONNXGUIDE
Ja - men kun indirekte: du dekvantiserer GGUF tilbage til fuld-præcision PyTorch/safetensors-vægte og…
Sådan konverterer du
.GGUF .PTHGUIDE
Ja - du kan dekvantisere en GGUF tilbage til en PyTorch .pth/.bin state dict, men kun for arkitekturer, som…
Sådan konverterer du
Fællesskabets Q&A
spurgt af brugereIngen spørgsmål endnu - vær den første til at spørge om GGUF-filer.
Ofte stillede spørgsmål
Hvordan åbner jeg en GGUF-fil?
Brug en lokal LLM-runner som LM Studio, Ollama, Jan eller GPT4All, eller indlæs den direkte med
llama.cpp. Disse værktøjer læser .gguf-filen og lader dig chatte med modellen. Dobbeltklik på filen vil ikke gøre noget nyttigt i sig selv.Hvilket program opretter GGUF-filer?
De produceres af
llama.cpp-konverteringsscripts, hovedsageligt convert_hf_to_gguf.py, som omdanner en Hugging Face-model til en .gguf, eventuelt efterfulgt af llama-quantize for at skrumpe den til en mindre kvantisering som Q4_K_M.Hvad betyder Q4_K_M i et GGUF-filnavn?
Det er kvantiseringstypen. Q4 betyder omtrent 4-bit vægte, K refererer til den blokbaserede K-quant-metode, og M er varianten for medium størrelse/kvalitet. Lavere tal giver mindre filer og lavere kvalitet; F16 eller F32 er ukvantiserede.
Kan jeg konvertere en GGUF-fil tilbage til den originale model?
Delvist. Du kan dekvantisere den til
.safetensors eller PyTorch-vægte med fællesskabs-scripts, men da de fleste GGUF-filer er kvantiserede, er konverteringen tabsgivende og gendanner ikke de nøjagtige originale vægte.Hvorfor er min GGUF-fil så stor?
En
.gguf indeholder alle modelvægte i én fil. Filstørrelsen skaleres med antallet af parametre og kvantiseringsniveauet, så en stor model ved høj præcision kan nemt overstige tivis af gigabytes.Er GGUF-filer sikre at downloade?
Selve formatet indeholder ikke eksekverbar kode, så det er sikrere end pickle-baserede formater. Download stadig kun modeller fra betroede kilder og hold din inferens-software opdateret i tilfælde af fejl i indlæseren.
Referencer
1GGUF - Wikipediaen.wikipedia.org
2Official GGUF specification (ggml docs)github.com
