なぜ GGUF を ONNX に変換するのですか？
GGUF を .onnx に変換するのは、ONNX Runtime、DirectML、または GGUF を読み込めないその他のクロスプラットフォームアクセラレータでモデルを実行するためです。ONNX は標準的な計算グラフを必要とし、GGUF は llama.cpp 固有の量子化コンテナであるため、まず通常の PyTorch モデルを再構築してからエクスポートする必要があります。
GGUF から ONNX への変換方法
GGUF を safetensors に逆量子化する OPEN-SOURCE
ungguf ツールや gguf 読み取りスクリプトなどのコンバーターを使用して、.gguf を Transformers がロードできるフル精度の safetensors に戻します。
Optimum で ONNX にエクスポートする FREE
再構築されたモデルを Optimum で指定します。optimum-cli export onnx --model ./model-dir onnx-out/ を実行すると .onnx ファイルが書き出されます。
PyTorch で手動エクスポートする OPEN-SOURCE
サポートされていないアーキテクチャの場合は、PyTorch でモデルをロードし、自身で torch.onnx.export(model, dummy_input, "model.onnx") を呼び出します。
これらの形式について
品質と注意点
- 量子化された GGUF を逆量子化しても、量子化中に失われた精度を回復することはできません。また、複雑な量子化タイプ（IQ バリアントなど）は正しく変換されない可能性があります。
- 生成される ONNX はフル精度であるため、元のコンパクトな GGUF よりも数倍大きくなる可能性があります。
- Optimum が標準でサポートしているのは特定のアーキテクチャのみです。ニッチなモデルやカスタムモデルは、手動のエクスポート設定が必要になるか、失敗する可能性があります。
よくある質問
GGUF を直接 ONNX にエクスポートできますか？
いいえ。まず GGUF を PyTorch/safetensors モデルに変換し、それを ONNX にエクスポートする必要があります。
ONNX モデルは GGUF と同じくらい小さくなりますか？
いいえ。逆量子化によってフル精度に戻るため、後で再量子化しない限り、ONNX ファイルは通常はるかに大きくなります。
逆量子化によって元の精度は回復しますか？
いいえ。量子化は非可逆（lossy）であるため、復元された重みは量子化された GGUF と同じ誤差を保持します。
どのようなツールが必要ですか？
GGUF-to-safetensors コンバーターに加えて、Hugging Face Transformers と Optimum（または手動エクスポート用の PyTorch）が必要です。
