自分が読んだAI関連の論文について、日本語解説していきます。
特に、AI（LLM, Diffusionモデルなど）を用いた画像処理（Denoiseや画像再構成、超解像などについての技術論文と
上記技術をエッジデバイスなどに搭載するために必要な縮小・軽量化（Quantization, LoRAなど）がメインになります。
AI関連論文 Patch Forcingとは？画像生成をパッチごとの難しさで適応的に進める仕組み
Patch Forcingとは、画像をパッチごとの難しさに応じて異なる速度で生成する適応サンプリング手法です。LTG sampler、difficulty head、dual-loop、look-aheadの仕組みを、Flow Matchingの数式とImageNet・Text-to-Imageの実験結果から解説します。
AI関連論文 学習率とは？DALS論文で見る最適化手法の進化と使い分け
学習率とは何か、SGD、cosine decay、AdamW、RAdam、LARS、Grokfast、DALSの違いを論文ベースで解説します。DALSが提案する層と学習フェーズに応じた最適化、scratch学習とfine-tuningでの使い分け、実験結果の読み方を整理します。
AI関連論文 Decoder-only Transformerとは？GPT系LLMの構造と生成の仕組みを理解する
Decoder-only Transformerは、GPT系LLMで使われる自己回帰型のTransformer構造です。GPT-2論文をもとに、次token予測、causal mask、Encoder-Decoderとの違い、GPT-2の設計、KV Cacheとの関係を初心者にも分かりやすく解説します。
AI関連論文 Positional Encodingとは？RoPEでLLMが語順を扱う仕組みをやさしく解説
Positional Encodingは、TransformerやLLMへtokenの順序情報を渡す仕組みです。RoFormer論文をもとに、sin/cos Positional Encoding、absolute positionとrelative positionの違い、RoPEの回転行列、Query/Keyへの適用、長文入力で位置を扱う効果を初心者にも分かりやすく解説します。
AI関連論文 【LLM解説シリーズ】Self-Attentionとは？Scaled Dot-Prod
Self-Attentionは、TransformerやLLMの中核となるAttention計算です。Attention Is All You Need論文をもとに、Query/Key/Value、Scaled Dot-Product Attention、Multi-Head Attention、causal mask、tensor形状、計算量を初心者にも分かりやすく解説します。
AI関連論文 【論文解説】LLMはなぜ日本文化に寄りがちなのか？CROQで見る文化・地域バイアス
LLMが文化に関する曖昧な質問へ答えるとき、どの国や地域を暗黙に選びやすいのかを調べた論文を解説します。CROQデータセット、LLM-as-a-judgeによる地域抽出、入力言語の影響、SFT後に強まる文化・地域バイアスを初心者にも分かりやすく整理します。
AI関連論文 【LLM解説シリーズ】Transformerとは？Attention Is All You Need論文からLLMの基本構造を理解する
Transformerは、Attentionを中心に系列を処理するLLMの基礎アーキテクチャです。Attention Is All You Need論文をもとに、Self-Attention、Multi-Head Attention、Positional Encoding、EncoderとDecoderの違いを初心者にも分かりやすく解説します。
AI関連論文 【LLM解説シリーズ】Attentionとは？Bahdanau Attention論文からLLMの「どこを見るか」を理解する
Attentionは、入力中の重要な情報を重み付きで参照する仕組みです。Bahdanauらの機械翻訳論文をもとに、固定長ベクトルの限界、soft alignment、context vector、Transformerとの違いを解説します。
AI関連論文 【LLM解説シリーズ】Embeddingとは？BERT論文からLLMが単語や文章をベクトルで表す仕組みを解説
Embedding（埋め込み）とは、 token IDをニューラルネットワークが扱えるベクトルへ変換する仕組みです。BERT論文をもとに、 token embedding、segment embedding、position embedding、 Masked Language Modeling、 文脈化Embeddingの考え方を解説します。
AI関連論文 Tokenizationとは？SentencePiece論文からLLMのトークン化を解説
Tokenization（トークン化）とは、文章をLLMが扱えるtoken IDの列に変換する処理です。SentencePiece論文をもとに、サブワード、BPE、Unigram、可逆なdetokenization、日本語LLMでの注意点を解説します。