AI技術・仕組み

GQAとMQAの仕組みを図解。MHAとのhead構成の違い、KV Cache容量の計算、group数とgroup size、品質・速度のtrade-off、実装確認を解説します。

FlashAttentionの仕組みを図解。N×N中間行列、HBMとSRAM、online softmax、メモリ削減、KV Cacheとの違い、PyTorchでの確認方法を解説します。

LLMの量子化を図解。scaleとzero point、INT8・INT4、W4A16・W8A8、GPTQ・AWQの違いと、容量・速度・品質の測り方を解説します。

LLMのKV Cacheを図解。過去のKeyとValueを再利用する理由、prefillとdecode、メモリ使用量の計算、長いcontextでのボトルネックを解説します。

QLoRAの仕組みを、4-bit保存とBF16計算、LoRA更新に分けて解説。NF4、Double Quantization、Paged Optimizer、メモリ計算、実装・保存・評価の注意点まで整理します。

LoRAが更新差分を低ランク化する仕組みを数式と具体値で解説。rank・alpha・対象層、減るメモリと残るメモリ、保存・merge、QLoRAとの違いまで整理します。

DPOの仕組みを、選好ペア、参照モデル、4本のlog probability、betaから解説。RLHFとの違い、実装上の注意点、失敗要因と評価方法まで整理します。

RLHFの仕組みを、選好データ、報酬モデル、PPO、KL制約から解説。4モデル構成、reward hacking、評価、DPOとの違いまで整理します。

LLMの指示チューニングを基礎から解説。SFTとの違い、chat template、loss mask、多タスクデータの混ぜ方、未見タスク評価、合成データの注意点が分かります。

LLMのFine-tuningを基礎から実務まで解説。SFTのloss mask、FullとPEFT、LoRA・QLoRA、RAGとの違い、データ設計、評価、運用を整理します。