27B級を5.9GBに、3値量子化モデル公開

米国のPrismMLは9月17日、270億パラメータ級のマルチモーダル言語モデル「Ternary Bonsai 2 27B」を発表しました。Qwen3.8-27Bをベースに3値量子化を施したモデルで、元の規模と比べておよそ9分の1まで圧縮しながら、性能の98.2%を維持したとされています。モデルの重みはHugging Faceで公開され、ライセンスはApache License 2.0です。 3値量子化とは、モデル内部の数値の重みを基本的に3つの値だけで表す手法です。通常のモデルが16ビットや8ビットといった細かい数値で重みを保持するのに対し、表現を極端に絞り込むことで、必要なメモリと計算量を大きく減らせます。その代わり精度が落ちやすいという課題があり、圧縮率と性能のバランスをどこまで保てるかが研究の焦点になってきました。 今回のモデルは、そうした圧縮によってメモリ使用量を5.9GBに収めた点が特徴です。数十億〜数百億規模のモデルは、動かすために相応のGPUメモリを要求することが一般的で、それが利用の敷居になっていました。メモリの必要量が抑えられれば、より限られた計算資源でも大規模モデルを扱える可能性が広がります。 加えて、マルチモーダル対応であること、オープンウェイトとして公開されていることも注目点です。Apache License 2.0は商用利用を含めて比較的自由度の高い条件として知られており、研究用途だけでなく製品への組み込みを検討する開発者にとっても扱いやすい選択肢になります。 圧縮技術の進歩は、高性能なモデルを一部の大規模環境だけのものから、より多くの開発者が手の届くものへと変えていく流れの一つといえます。実際の精度や速度がどの程度実用的かは、公開された重みを使った検証が今後進むなかで明らかになっていくと考えられます。