Por que converter GGUF para BIN?
Algumas pessoas assumem que um .bin mais antigo é necessário para uma ferramenta legada, mas o .bin GGML foi descontinuado em favor do GGUF, que corrigiu problemas de metadados e compatibilidade. Como as compilações atuais do llama.cpp abandonaram totalmente o carregamento de GGML, voltar atrás teria como alvo softwares que não existem mais.
Como converter GGUF para BIN
Use o arquivo GGUF diretamente FREE
Carregue o .gguf nas versões atuais do llama.cpp, Ollama, LM Studio ou KoboldCpp; todos eles leem GGUF nativamente, portanto, nenhum .bin é necessário.
Atualize a ferramenta que solicitou o .bin OPEN-SOURCE
Recompile ou atualize o ambiente de execução antigo para uma versão compatível com GGUF em vez de fazer o downgrade do modelo.
Re-quantize a partir dos pesos originais OPEN-SOURCE
Se você realmente precisa de um artefato antigo específico, volte aos pesos originais safetensors/PyTorch e faça a quantização novamente, em vez de converter o GGUF.
Sobre estes formatos
Um arquivo .gguf é um GGML Universal Format File, o contêiner binário usado pelo llama.cpp e ferramentas relacionadas para armazenar um modelo de linguagem grande como um único arquivo. Ele…
Abrir detalhes de .GGUF →Um arquivo BIN é, na maioria das vezes, uma cópia bruta, setor por setor, de um CD ou DVD que vem acompanhada de um arquivo de texto .cue correspondente que descreve as faixas. Monte-o com…
Abrir detalhes de .BIN →Qualidade e o que observar
- O suporte ao GGML
.binlegado foi removido do llama.cpp, portanto, mesmo que você produzisse um, ele não carregaria nas compilações atuais. - O GGUF armazena metadados mais ricos (tokenizador, arquitetura, hiperparâmetros) que o antigo formato
.binnão consegue conter, portanto, um downgrade perderia informações. - A extensão
.biné genérica; muitos arquivos.binnão são GGML, o que é outro motivo pelo qual o mapeamento não faz sentido.
Perguntas frequentes
Existe um conversor GGUF para GGML?
convert do llama.cpp apenas vão de GGML para GGUF, e esse caminho agora também está descontinuado.Por que o GGML .bin foi substituído pelo GGUF?
.bin possuía.