Qu'est-ce que le format de fichier GGUF ?
Un fichier .gguf est un fichier au format universel GGML, le conteneur binaire utilisé par llama.cpp pour stocker un grand modèle de langage. Georgi Gerganov et la communauté ggml l'ont introduit en août 2023 comme successeur des anciens formats GGML, GGMF et GGJT. Un seul fichier .gguf contient les poids du modèle, le tokenizer et chaque hyperparamètre sous forme de métadonnées clé-valeur typées, de sorte qu'aucun fichier de configuration séparé n'est nécessaire pour charger et exécuter le modèle.
Le format est conçu pour être autonome, extensible et mappable en mémoire. Comme les métadonnées sont stockées sous forme de paires clé-valeur avec des espaces de noms au lieu d'une liste fixe, de nouveaux champs peuvent être ajoutés sans casser les anciens lecteurs. Les poids sont généralement quantifiés, de 2 bits à 8 bits, incluant des « K-quants » tels que Q4_K_M, ce qui permet à des modèles volumineux de s'exécuter sur des processeurs (CPU) et des cartes graphiques (GPU) grand public. Chaque fichier commence par la chaîne magique de quatre octets GGUF, suivie d'un numéro de version ; la version actuelle est la 3.
Sécurité et sûreté
RISQUE : LOWGGUF is a data container for model weights and metadata, not an executable, so opening one does not run code by itself. The main practical risks are large file sizes and downloading models from untrusted sources; a malformed file could in theory exploit a bug in the loader, so use up-to-date inference tools and reputable model repositories.
Détails du format
en bref- Genome Graphical User Format - Rarely, .gguf has been used ad hoc by hobby projects for GUI layout data, unrelated to the machine-learning format described here.
Programmes qui ouvrent les fichiers GGUF
Windows6 apps
LM Studio
Freemium Browse, download and chat with .gguf models through a desktop GUI, with per-model quantization choices.
Ollama
Open-source Load a local .gguf file via a Modelfile and serve it for chat or API use with one command.
llama.cpp
Open-source Run inference directly on a .gguf model with llama-cli or llama-server, the reference implementation of the format.
GPT4All
Open-source Add a downloaded .gguf model to the local model folder and chat with it offline.
koboldcpp
Open-source Load a .gguf model for text generation and roleplay with a self-contained executable. 
macOS4 apps
LM Studio
Freemium Download and run .gguf models with Apple Silicon acceleration through a desktop GUI.
Ollama
Open-source Serve a local .gguf model via a Modelfile using Metal acceleration on Apple hardware. 
Linux4 apps
llama.cpp
Open-source Build from source and run .gguf models with CUDA, ROCm or CPU backends via llama-cli and llama-server.
text-generation-webui
Open-source Load .gguf models through the llama.cpp loader in a browser-based interface.
Hugging Face GGUF viewer
Gratuit Inspect a .gguf file's metadata, tensor list and quantization in the browser without downloading it. Détails techniques
spécifications approfondies| Encoding | Binary |
| Byte order | Little-endian by default; big-endian supported since version 3 |
| Container | Single-file container holding header, metadata key-value block, tensor info block and raw tensor data |
| Compression | None as a container; weights are stored using GGUF quantization schemes (Q2 through Q8, K-quants such as Q4_K_M, IQ variants, plus F16/BF16/F32) |
| Typical size | Roughly 0.5 GB to over 100 GB depending on parameter count and quantization level |
| Structure | Header (magic, version, tensor count, metadata count) then namespaced key-value metadata, then per-tensor info (name, dimensions, type, offset), then aligned raw tensor data. Default alignment is 32 bytes and must be a multiple of 8. |
| Integrity | No built-in checksum; the metadata block is self-describing and validated at load time |
| Platforms | Windows, macOS, Linux |
| Notes | A GGUF file is self-contained: it bundles the model weights, tokenizer and all hyperparameters as typed metadata, so no separate config files are needed. Metadata keys use lower_snake_case with period-separated namespaces and keys can be up to 65,535 bytes. Over 40 quantization types are supported. Large models can be sharded across multiple .gguf files with llama-gguf-split. |
| Publié | August 2023 |
| Dernière version | Version 3 |
| Standard ouvert | Oui · libre de droits |
| Spécification | github.com |
Conversions GGUF
Q&R de la communauté
posées par les utilisateursPas encore de questions - soyez le premier à poser une question sur les fichiers GGUF.
Foire aux questions
Comment ouvrir un fichier GGUF ?
llama.cpp. Ces outils lisent le fichier .gguf et vous permettent de discuter avec le modèle. Double-cliquer sur le fichier ne fera rien d'utile en soi.Quel programme crée des fichiers GGUF ?
llama.cpp, principalement convert_hf_to_gguf.py, qui transforme un modèle Hugging Face en .gguf, éventuellement suivi de llama-quantize pour le réduire à une quantification plus petite telle que Q4_K_M.Que signifie le Q4_K_M dans un nom de fichier GGUF ?
Puis-je convertir un fichier GGUF vers le modèle original ?
.safetensors ou PyTorch avec des scripts communautaires, mais comme la plupart des fichiers GGUF sont quantifiés, la conversion est destructive et ne restaure pas les poids originaux exacts.Pourquoi mon fichier GGUF est-il si volumineux ?
.gguf contient tous les poids du modèle dans un seul fichier. La taille du fichier augmente avec le nombre de paramètres et le niveau de quantification, de sorte qu'un grand modèle à haute précision peut facilement dépasser des dizaines de gigaoctets.
