Kas

RAGとは何かを、文書のindexing、検索、context構築、LLM生成の流れから図解。Fine-tuningとの違い、vector検索、権限・鮮度、精度評価、よくある失敗と改善方法まで解説します。

vLLMとは何かを、PagedAttentionによるKV Cache管理、continuous batching、prefix cachingの違いから図解。メモリ容量の計算、OpenAI互換APIの起動例、導入時の測定項目も解説します。

Speculative Decodingの仕組みを図解。draft modelの候補生成、target modelの一括検証、samplingの受理・棄却、高速化条件と実測方法を解説します。

GQAとMQAの仕組みを図解。MHAとのhead構成の違い、KV Cache容量の計算、group数とgroup size、品質・速度のtrade-off、実装確認を解説します。

FlashAttentionの仕組みを図解。N×N中間行列、HBMとSRAM、online softmax、メモリ削減、KV Cacheとの違い、PyTorchでの確認方法を解説します。

LLMの量子化を図解。scaleとzero point、INT8・INT4、W4A16・W8A8、GPTQ・AWQの違いと、容量・速度・品質の測り方を解説します。

LLMのKV Cacheを図解。過去のKeyとValueを再利用する理由、prefillとdecode、メモリ使用量の計算、長いcontextでのボトルネックを解説します。

QLoRAの仕組みを、4-bit保存とBF16計算、LoRA更新に分けて解説。NF4、Double Quantization、Paged Optimizer、メモリ計算、実装・保存・評価の注意点まで整理します。

LoRAが更新差分を低ランク化する仕組みを数式と具体値で解説。rank・alpha・対象層、減るメモリと残るメモリ、保存・merge、QLoRAとの違いまで整理します。

DPOの仕組みを、選好ペア、参照モデル、4本のlog probability、betaから解説。RLHFとの違い、実装上の注意点、失敗要因と評価方法まで整理します。