量子化するとLLMは遅くなる？推論tokenが増えるReasoning Token Inflationを解説

LLM（大規模言語モデル）の重みをINT4などへ量子化すると、読み出すデータ量が減り、1トークン当たりの生成を速くできる場合があります。しかし、reasoning model（段階的な推論を生成するモデル）が答えまでに使うトークン自体を増やすと、総待ち時間は短くならない可能性があります。

2026年6月公開の論文Quantization Inflates Reasoning: Token Inflation as a Hidden Cost of Low-Bit Reasoning Modelsは、この見落としをreasoning-token inflation（量子化後に推論トークンが増える現象）として調べました。INT4やINT3のpost-training quantizationでも、最終回答の正確さを保ちながらChain of Thought（CoT、答えに至る推論列）が長くなる設定があったと報告しています。

大切なのは「量子化すると必ず遅くなる」という結論ではありません。accuracy（正確さ）、tokens/s（1秒当たりの生成トークン数）、生成トークン数、end-to-end latency（入力から回答完了までの総時間）を別々に測る必要がある、というのが本記事の要点です。

結論：量子化で「1トークン」は速くても、回答までが速いとは限らない

量子化モデルの速度は、少なくとも次の2段階に分けて考える必要があります。

1. 1トークンを生成する処理は速くなったか
2. 最終回答までに何トークン生成したか

1だけ改善しても、2が悪化すれば、高速化の効果は相殺されます。論文では、Qwen3-4BをBBHで評価した例がBF16で285秒、INT4で292秒でした。使用したW4A16 Marlin kernelは、batch size 1〜16でBF16より1.2〜1.4倍のtokens/sを出せるにもかかわらず、この評価全体ではINT4の方がわずかに長時間でした。

ただし、これは特定のモデル、benchmark、GPU、量子化設定での結果です。すべてのINT4モデルがBF16より遅いという意味ではありません。量子化の利点であるモデルサイズとメモリ帯域の削減も消えるわけではありません。

今回扱う論文

論文の主張は3点に整理できます。

• 低bitのPTQ（Post-Training Quantization、学習済みモデルを後から量子化する方法）は、正確さを大きく落とさなくてもCoTを長くする場合がある。
• 著者らは増加率を測るCTIR（CoT Token Inflation Ratio）を提案し、accuracyだけでは見えない計算量を評価した。
• 短く答えるpromptやrepetition penaltyは正確さとの交換になりやすく、reasoning dataを使うcalibrationやQATに改善の余地があった。

本記事は論文の図表を転載せず、実験条件と数値を必要な範囲で独自に整理します。

量子化の速度を2つに分ける

量子化は、BF16やFP16で保持していた重みをINT4などの少ないbit数で近似します。weight-only quantization（重みだけを低bit化する方式）なら、activation（各層を流れる中間値）はBF16やFP16のままにし、主に重みの容量とメモリ転送量を減らします。

これにより1トークン当たりのdecode（出力を1トークンずつ生成する処理）が速くなっても、総decode時間は生成量にも依存します。概念的には次の関係です。

\[
T_{decode} \approx N_{output} \times t_{token}
\]

• \(N_{output}\)：最終回答までに生成したトークン数
• \(t_{token}\)：1トークンを生成する平均時間

たとえば、量子化で1トークン当たり時間が20%短くなり、元の0.8倍になったとします。一方で、モデルが30%長く考えて生成トークン数が1.3倍になると、decode部分は 0.8 × 1.3 = 1.04 です。1トークンは速いのに、合計は4%長くなります。

この20%と30%は仕組みを理解するための仮の数値で、論文の実測結果ではありません。実際のend-to-end latencyにはprefill（入力をまとめて処理する工程）、tokenize、通信、batchingなども加わります。それでも「per-tokenの速さ」と「生成量」を分ける考え方は変わりません。

CTIRは「どれだけ長く考えるようになったか」を測る

論文はreasoning-token inflationを比較するために、CTIRを定義しました。ある評価データで、量子化モデルの平均CoT長を \(\bar{l}_q\)、BF16参照モデルの平均CoT長を \(\bar{l}_{BF16}\) とすると、次の式です。

\[
CTIR = \frac{\bar{l}_q – \bar{l}_{BF16}}{\bar{l}_{BF16}} \times 100\%
\]

CTIRは次のように読みます。

CTIRは速度向上率でも、費用増加率でもありません。トークン数の相対変化を示す指標です。hardwareやkernelが違えば、同じCTIRでも時間への影響は変わります。

accuracyとも別の軸です。正答したかどうかだけを見れば、短い推論で正答した場合と、同じ検討を繰り返してから正答した場合は同じ1点です。CTIRを併記すると、正答率に表れない生成量の変化を見つけられます。

実験条件：3モデル、5種類のPTQ、INT4とINT3

原論文は、規模と構造の異なる3つのopen modelを比較しました。

MoE（Mixture of Experts、入力ごとに一部のexpertだけを使う構造）も含めた点が特徴です。量子化は重みだけを対象にし、group size 128のINT4とINT3を使っています。

比較したPTQは次の5種類です。

GPTQの詳しい目的はGPTQ原論文、AWQはAWQ原論文で確認できます。本記事では手法間の優劣を一般化せず、同じ論文条件でCTIRがどう違ったかに絞ります。

reasoning taskはAIME25、GSM8K、GPQA-Diamond、BBH、LiveCodeBench、MBPPです。一般タスクとしてHellaSwag、PIQA、MMLU-Proも使っています。各benchmarkは100問、AIME25は全30問を評価し、vLLMでtemperature 0、NVIDIA H100 GPUを使用しました。

ここで「100問」は論文のサンプリング数です。GSM8KやMBPPなどの元データセット全件を評価したという意味ではありません。

結果：精度を保ってもreasoning tokenは増える

まずQwen3-4BのINT4を見ます。reasoning taskの平均accuracyはBF16が72.5%でした。

出典：Quantization Inflates Reasoning Table 1、Table 2を基に筆者作成。

AWQやParoQuantはこの標本の平均accuracyがBF16を少し上回りましたが、CTIRは正でした。小さなaccuracy差は問題の抽出や標本数の影響を受けるため、「量子化で能力が向上した」とは断定できません。ただし、少なくともaccuracyとCoT長が同じ方向へ動くとは限らないことが分かります。

INT3まで下げると差は大きくなりました。

出典：Quantization Inflates Reasoning Table 2を基に筆者作成。

小さいQwen3-4Bでは極端な増加もありますが、これを「INT3なら必ず3倍前後長くなる」と読んではいけません。同じINT3でもParoQuantとHQQには大きな差があり、Qwen3-30Bの増え方も異なります。論文から確認できるのは、bit幅だけでなく、モデル規模、量子化手法、taskによって増加量が変わったことです。

大きいモデルなら問題が消えるわけでもありません。Qwen3-30BのINT4 GPTQはreasoning平均accuracyがBF16の74.8%に対して74.6%と近い一方、CTIRは+3.7%でした。差は小さくても、大量requestを処理するservingでは生成stepの積み上げを無視できません。

増えたtokenの中身は「有用な追加思考」とは限らない

長く考えることで難問の正答率が上がるなら、追加tokenは一概に無駄とは言えません。そこで著者らは、単なる長さだけでなく推論列の中身も分析しました。

MBPP上でQwen3-4BとQwen3-30BのBF16とINT3 GPTQを比べると、量子化モデルの方が中間stepを多く生成する問題が多数でした。さらに各stepをsentence embedding（文の意味をベクトル化した表現）へ変換し、step同士のcosine similarity（ベクトルの近さ）を測っています。

その結果、量子化後は意味的に近いstepの反復が増える傾向がありました。論文の手動観察では、次のような挙動として現れています。

• いったん出した判断をもう一度確認する
• 解法を戻ってやり直す
• 直前とほぼ同じ計算や説明を繰り返す
• 正解を変えないまま検証stepだけ増やす

これは量子化誤差が「自己疑念を引き起こす」と因果的に証明した結果ではありません。観測されたのは、中間step数と意味的反復が増える傾向です。著者らは、低bit化による小さな摂動が、長いautoregressive generation（直前の出力を次の入力として反復する生成）で蓄積し得ると議論しています。

また付録では、BF16が正答した問題群の方がtoken inflationが強く安定していました。もともと失敗していた問題だけが長文化したのではなく、BF16には有効な解法経路がある問題でも、量子化モデルが同じ答えを保つために追加stepを使う場合があった、という分析です。

servingではTTFTとthroughputにも効く

内部推論を最終回答の前に生成するサービスでは、CoTが長くなるとTTFT（Time to First Token、最初の可視トークンが返るまでの時間）が伸びます。可視回答が短くても、利用者から見えない推論が先に走るなら待ち時間は増えます。

長い生成は、同時に次の負荷を増やします。

• decoding slotを占有するstep数
• KV cache（過去tokenのKey・Valueを保持するキャッシュ）の滞在時間
• 同じ時間内に処理できるrequest数

論文はQwen3-30B-A3B、H100、1k-token prompt、batch size 64でCoT budgetを制御するserving実験を行いました。CoT lengthを1.1倍にした条件では、p90の最初の可視tokenまでの時間が1,050秒から1,400秒へ増え、throughputは0.055から0.047 requests/sへ低下しました。

秒数が非常に大きいのは、長い内部推論とbatch 64を含む論文の制御条件です。一般的なchatの応答時間として受け取る値ではありません。この実験が示すのは、モデルやkernelを固定してもreasoning lengthが増えればtail latencyとserving capacityが悪化する、という関係です。

toolを複数回呼ぶagentでも、同様の問題がありました。BFCLv4-Multi-turnでQwen3-4BのGPTQ-INT4は、BF16に対してCoT tokenが13.3%増え、平均tool call数は7.56から7.85でした。Qwen3-30BのGPTQ-INT3はCoT tokenが23.5%増えましたが、tool call数は7.44から7.46とほぼ同じです。少なくともこの条件では、toolを多く呼んだから遅いのではなく、tool callの間に生成する推論が長くなっていました。

短くさせるだけでは解決しない

token inflationが問題なら、「短く答えて」と指示すればよいのでしょうか。論文が比較した緩和策には、明確なトレードオフがありました。

たとえばMBPPのQwen3-4B GPTQ-INT4では、重複を避けるpromptで平均CoT tokenが5,380から3,767へ減りました。一方、accuracyは90%から81%へ落ちています。INT3でも、試した簡潔化promptはtoken数を減らす一方で5〜11ポイントのaccuracy低下を伴いました。

calibration dataの選択は、より良い結果でした。Qwen3-4BのINT3 GPTQでWikiTextを使った設定から、対象BF16モデル自身が生成したMath-CoTへ変えると、accuracyは28%から65%、平均CoT長は30kから12kへ改善しています。一般文の分布だけでなく、量子化後に保ちたいreasoning trajectory（推論の進み方）を見せる意味があります。

QAT（Quantization-Aware Training、量子化を模擬しながら重みを適応させる学習）では、DiscQuantを評価しています。原論文側の実験でaccuracy 68%、平均CoT 9.5kとなり、BF16の73%、8.5kへ近づきました。比較したPTQ設定より両軸で良い一方、PTQにはない再学習コストが必要です。

したがって、promptで強制的に短くすることと、量子化後も元の推論経路を保つことは別です。前者はすぐ試せますが、正答へ必要なstepまで削る危険があります。

量子化モデルを選ぶときの評価チェックリスト

ここからは原論文を基にした筆者の実務上の整理です。量子化モデルの採用判断では、同じprompt、生成上限、batch条件で次を測ります。

最低限、BF16と量子化版についてaccuracy、平均出力token数、end-to-end latencyを同じ表に置くと、今回の見落としを減らせます。reasoning tokenを取得できるopen modelなら、可視回答とCoTを分けて集計します。

量子化calibrationそのものを詳しく知りたい場合は、SARQCによるLLM量子化calibrationも参考になります。学習時の量子化rolloutと高精度学習のずれは、AISによる量子化RL rolloutの補正で扱っています。

また、圧縮後に生成tokenが増える問題は量子化だけに限りません。Reasoning-Aware Compressionによる推論モデルの枝刈りでは、pruning（不要な重みをゼロにする圧縮）後の長文化を扱っています。量子化と枝刈りは別の圧縮方法ですが、「圧縮率だけで総時間を判断しない」という教訓は共通します。

この論文から言えないこと

結果を使う前に、適用範囲を確認しておきます。

• 主実験は3モデル、NVIDIA H100、weight-only PTQ、INT4とINT3に限られる。
• FP8、activation quantization、KV-cache quantization、CPU、NPU、スマートフォンへ同じCTIRを一般化できない。
• 多くのbenchmarkは100問、AIME25は30問で、小さなaccuracy差には標本の影響がある。
• CTIRは平均値であり、個々の問題ではCoTが短くなる場合もある。
• 中間stepとsemantic repetitionの増加は観測されたが、量子化誤差から長文化へ至る因果機構が完全に解明されたわけではない。
• 非公開APIでは内部reasoning tokenを直接取得できない場合がある。可視回答の長さだけを内部計算量と同一視できない。

「LLMの量子化は遅い」ではなく、「reasoning workloadでは、量子化後の生成量も測らないと速さを判断できない」が妥当な読み方です。

まとめ

Quantization Inflates Reasoning論文は、量子化モデルの評価にreasoning tokenという軸を加えました。

• 低bit PTQは、accuracyを大きく落とさなくてもCoTを長くする設定がある。
• 1トークン当たりの高速化は、生成token数の増加で相殺され得る。
• CTIRをaccuracyと併記すると、正答率だけでは見えないtest-time computeを比較できる。
• token inflationの強さは、bit幅、モデル、task、量子化手法で異なる。
• 簡潔化promptは正確さとの交換になりやすく、reasoning-awareなcalibrationやQATが有望だが、追加コストを伴う。

量子化モデルを導入するときは、モデル容量やtokens/sだけで選ばず、実際の用途で「何トークン考え、何秒で回答を終えるか」まで測ることが重要です。

参考資料

• Quantization Inflates Reasoning: Token Inflation as a Hidden Cost of Low-Bit Reasoning Models
• GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers
• AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
• DiscQuant: A Quantization Method for Neural Networks Inspired by Discrepancy Theory
• vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention