OP4KSRとは?4K超解像をパッチ分割なし・1ステップで高速化する仕組み

OP4KSRが4K画像をパッチ分割せず1ステップで超解像する全体像

OP4KSRが4K画像をパッチ分割せず1ステップで超解像する全体像

4K画像を生成AIで超解像すると、巨大な中間特徴のためにGPUメモリと処理時間が急増します。

OP4KSRは、画像を小さな領域へ切らず、F16 VAE(縦横を16分の1に圧縮する画像エンコーダー)と1ステップ推論を組み合わせ、4096×4096画像をNVIDIA H20 1枚で5.75秒で生成する手法です。

ただし、高圧縮と1ステップ化は32 pixel周期の格子状アーティファクトを生むため、論文は2D-RoPEの周波数スケーリングと自己相関損失を組み合わせて抑制しています。

3文要約

OP4KSR論文の3文要約

OP4KSRは、F16 VAEで4K画像を小さなlatent(画像を圧縮した内部表現)へ変換し、画像全体をパッチ分割せずにUltraFluxを基盤とするDiffusion Transformerで処理する1ステップ超解像手法です。

圧縮は内部計算量を減らすためのもので、最終出力は4096×4096へ復号され、実験では競争力のある知覚品質を維持していますが、数学的な無損失圧縮ではなく、論文も細部欠落を限界として挙げています。

1ステップ化で目立つ32 pixel周期の格子模様に対し、RoPE Base Frequency Rescaling(RoPE基底周波数の再調整)で隣接tokenを区別し、Autocorrelation-based Periodicity Loss(自己相関に基づく周期性損失)で周期ピークを教師画像へ合わせます。

論文情報

OP4KSR論文のタイトル、著者、発表年、研究機関

項目 内容
論文タイトル OP4KSR: One-Step Patch-Free 4K Super-Resolution with Periodic Artifact Suppression
著者 Chengyan Deng, Pengbin Yu, Zhentao Chen, Wei Shen, Kai Zhang, Meng Li, Lunxi Yuan, Xue Zhou, Li Yu
研究機関 University of Electronic Science and Technology of China、OPPO AI Center、Nanjing University
発表年 2026年
論文版 arXiv v1、2026年5月13日投稿
論文リンク OP4KSR: One-Step Patch-Free 4K Super-Resolution with Periodic Artifact Suppression
コード・モデル 論文採択後に公開予定と記載

注記:論文の版について

本記事はarXiv v1を基にしています。査読や改訂によって、数値や設計が変わる可能性があります。

本記事の目的

本記事で理解するF16 VAE、RoPE、自己相関損失の関係

本記事では、次の因果関係を順に説明することで、論文の内容を解説して行きます。

  1. 4K超解像で、なぜ従来法が画像をパッチへ分割していたのか
  2. F16 VAEによる極端な圧縮が、なぜ画像全体の処理を可能にするのか
  3. 圧縮しても最終画像が4Kへ戻り、知覚品質を維持できるのはなぜか
  4. なぜ1ステップ化すると32 pixel周期の模様が現れるのか
  5. RoPEの基底周波数を10,000から100へ変えると、何が改善するのか
  6. 自己相関損失が、単なるぼかしではなく周期構造をどう抑えるのか

補足:RoPEの基礎

RoPEそのものの基本式と、LLMで位置差をAttentionへ入れる考え方は、Positional Encodingとは?RoPEでLLMが語順を扱う仕組みをやさしく解説で詳しく説明しています。

背景:4K超解像はなぜパッチ分割に頼るのか

従来のパッチ分割型4K超解像とOP4KSRの違い

Super Resolution(超解像)は、低解像度画像から高解像度画像を復元する処理です。

Diffusion(ノイズから画像を段階的に復元する生成手法)を使うReal-ISR(実世界画像の超解像)は、劣化した入力に自然な細部を補いやすい一方、高解像度になるほど計算負荷が増えます。

従来の4K向け手法は、入力画像を小さなパッチへ分け、各パッチを個別に超解像してから結合することが一般的でした。

観点 パッチ分割型 OP4KSRのパッチフリー型
GPUメモリ 1回に小領域だけ処理するため抑えやすい 高圧縮latentで画像全体を処理する
受容野 パッチ外の情報を直接見られない 画像全体の構造と意味を参照できる
意味の整合性 局所だけ見て、壁を動物の毛と誤認する可能性がある 全体文脈で局所の意味を判断しやすい
空間の整合性 パッチごとに鮮鋭化の強さが変わりやすい 連続領域を一括処理できる
境界 結合部に継ぎ目が出る可能性がある パッチ結合そのものがない
レイテンシ 多数のパッチと複数ステップで長い 1回のforwardで完了する

論文では、1024×1024入力を4096×4096へ拡大するSUPIRがH20で約1,644秒かかるのに対し、OP4KSRは5.75秒と報告しています。

補足:速度比較の条件

この速度差には、パッチ分割の有無だけでなく、サンプリングステップ数、バックボーン、VAE、実装条件の差も含まれます。

論文解説:OP4KSRを成立させる3つの設計

F16 VAE、1ステップFlux、周期アーティファクト抑制からなるOP4KSR

OP4KSRは、UltraFluxを基盤とするFlux系DiTです。

補足:Flux系DiTとは

Fluxは、画像のlatentをtoken列として扱うDiTベースのText-to-Imageモデルです。「Flux系」は、Fluxのアーキテクチャと、大規模な画像生成で獲得した知識を引き継ぐモデルを指します。

DiT(Diffusion Transformer)は、画像のlatentをtokenへ分割し、TransformerのSelf-Attentionでtoken間の関係を処理する生成モデルです。OP4KSRでは、画像全体のtokenを一括して処理するための基盤として使われます。

中心となる設計は、次の3つの技術ポイントに分けられます。

技術ポイント 解決する課題
F16 VAE:4K画像全体を扱うための圧縮 4Kの巨大な空間サイズとGPUメモリ
mid-timestep alignment:1ステップ超解像 反復型Diffusionの長い処理時間
RoPE周波数スケーリングと自己相関損失:周期アーティファクト抑制 32 pixel周期の格子模様

F16 VAE:4K画像全体を扱うための圧縮

F16 VAEが4K画像をlatentへ圧縮し最後に4Kへ復号する流れ

F16のFは、画像の縦横方向の空間圧縮率を表します。

4096×4096画像をF16 VAEへ入れると、DiTが扱う基本latentは縦横256×256になります。

さらに2×2の領域を1 tokenへpackするため、Transformerが見るtoken gridは128×128です。

\[ 4096 \times 4096 \xrightarrow{\mathrm{F16\ VAE}} 256 \times 256 \xrightarrow{2\times2\ \mathrm{packing}} 128 \times 128 \]

縦横が32分の1になるので、空間token数は元画像のpixel数に対して \(1/1024\) まで減ります。

この圧縮が、4K画像全体を実用的なGPUメモリで扱える理由です。

重要なのは、これはJPEGのように「圧縮した小さな画像を最終成果物として保存する」処理ではない点です。

DiTは圧縮latent上で高解像度画像に対応する特徴を予測し、最後にVAE decoderが4096×4096のpixel画像へ戻します。

そのため、最終出力の解像度が256×256や128×128へ落ちるわけではありません。

「影響しない」の意味 評価
最終画像のpixel寸法が小さくならない そのとおり。4096×4096へ復号する
圧縮しても比較手法と競争力のある知覚品質を保つ 論文の実験が支持している
圧縮前の全pixel情報を完全に保存する 誤り。VAEは不可逆な学習済み圧縮である
微細な高周波成分へ一切影響しない 論文は主張していない

したがって、「圧縮しても最終画質には影響しない」は、実用上は「内部表現を大幅に小さくしても、最終4K出力と競争力のある知覚品質を維持できる」と理解するのが正確です。

論文のLimitationsでは、極端な圧縮率によるphysical truncation(物理的な情報切り捨て)のため、細かなディテールの復元にはなお限界があると明記されています。

つまり、F16 VAEは無損失ではありません。

それでも、圧縮によって画像全体を一括処理でき、パッチ境界、意味の取り違え、領域ごとの復元強度の不一致を避けられるため、最終的な見た目では圧縮の不利を上回る利点が得られる、というのが論文の立場です。

mid-timestep alignment:1ステップ超解像

低解像度latentをmid-timestepへ合わせて1ステップで高解像度latentを予測する流れ

OP4KSRはFlow Matching(ノイズ分布と画像分布の間を連続的な流れとして学習する方法)を使います。

高解像度画像のlatentを \(z_{\mathrm{HR}}\)、ノイズを \(\epsilon\) とすると、中間状態は次式です。

\[ z_t = t z_{\mathrm{HR}} + (1-t)\epsilon \]

\(t=0\) はノイズ側、\(t=1\) は高解像度画像側です。

低解像度入力をVAEで符号化した \(z_{\mathrm{LR}}\) を、いきなりノイズ出発点へ入れると、学習済みのFluxが想定する分布とずれます。

そこで論文はOMGSRのlatent alignmentを採用し、\(t_{\mathrm{mid}}=0.3\) の中間位置へ \(z_{\mathrm{LR}}\) を対応付けます。

さらに \(\mathcal{L}_{\mathrm{vae}}\) で中間latentを低解像度latentへ整合させ、1回のforwardで高解像度latentを予測します。

多段の反復を1回へ縮めることで高速化できますが、反復処理が担っていた局所誤差の修正も失われます。

これが周期アーティファクトを悪化させる背景です。

RoPE周波数スケーリングと自己相関損失:周期アーティファクト抑制

16倍VAE圧縮と2×2 packingが32 pixel周期へ対応する関係

OP4KSRの初期モデルでは、水面、芝生、壁、顔など、滑らかで似た値が続く領域に格子状の模様が現れました。

基本周期は32 pixelです。

これは偶然ではなく、1 latent tokenが担当する元画像領域と一致します。

\[ 16\ \text{pixels/VAE latent} \times 2\ \text{latents/packed token} = 32\ \text{pixels/token} \]

論文は原因を2つに分けています。

原因 粒度 何が起きるか
RoPE phase collapse token間 隣接tokenの位置差が小さすぎて区別しにくい
intra-token blindness token内部 2×2 sub-pixelがchannelへ畳み込まれ、内部の位置を区別できない

滑らかな領域では隣接tokenの内容自体も似ています。

位置情報まで区別できないと、同じchannelパターンが隣のtokenでも繰り返され、unpackとVAE decodeを通じて32 pixel周期の格子として拡大されます。

複雑なテクスチャ領域では、隣接特徴がもともと異なるため対称性が崩れ、周期模様は相対的に現れにくくなります。

RoPEの周波数スケーリング:10,000から100へ変える意味

RoPE基底周波数を10000から100へ下げ隣接tokenの位相差を広げる仕組み

RoPE(Rotary Position Embedding、ベクトルを位置に応じて回転する位置表現)は、LLMだけでなく画像向けTransformerでも使われます。

画像では横方向と縦方向へ2D-RoPEを適用し、Attentionがtoken間の相対位置を見分けられるようにします。

各軸で隣接するtokenの、channel pair \(i\) における角度差は次式です。

\[ \Delta \phi_i = \theta^{-\frac{2i}{d}}, \qquad i \in \left\{0,1,\ldots,\frac{d}{2}-1\right\} \]

\(d\) は1軸に割り当てる特徴次元、\(\theta\) はRoPEの基底値です。

補足:論文中の「base frequency」という呼び方

論文はbase frequencyと呼んでいますが、式では \(\theta\) を小さくすると、\(i>0\) に対する \(\Delta\phi_i\) は大きくなります。

つまり「基底値を10,000から100へ下げる」ことで、多くのchannel pairでは隣接位置の回転角差が大きくなり、局所的にはより強い位置信号になります。

デフォルトの \(\theta=10{,}000\) では、多数の次元で \(\Delta\phi_i<5^\circ\) になります。

角度が小さいと、回転行列は次のように単位行列へ近づきます。

\[ \cos(\Delta\phi_i) \approx 1, \qquad \sin(\Delta\phi_i) \approx 0, \qquad R(\Delta\phi_i) \approx I \]

位置 \(m\) のQueryと隣接位置 \(m+1\) のKeyのAttention内積は、本来なら相対回転を含みます。

\[ \hat{q}_m^\mathsf{T}\hat{k}_{m+1} = q_m^\mathsf{T}R_{\Delta m=1}k_{m+1} \]

しかし \(R_{\Delta m=1}\approx I\) なら、次のように位置を入れていない内積とほぼ同じです。

\[ q_m^\mathsf{T}R_{\Delta m=1}k_{m+1} \approx q_m^\mathsf{T}k_{m+1} \]

補足:BF16精度の影響

BF16(16 bit浮動小数点形式)では小さな差が数値的に弱まりやすく、隣接tokenの識別がさらに難しくなる可能性があります。

RFR(RoPE Base Frequency Rescaling)は \(\theta\) を100へ下げ、\(5^\circ\) より大きい位置信号を持つ次元を、論文の28次元中8次元から15次元へ増やします。

設定 目的に合う距離 隣接tokenの区別 OP4KSRでの結果
\(\theta=10{,}000\) T2Iの大域構造を重視 多くの次元で位相差が小さい 高類似度領域が広い
\(\theta=100\) 128×128 latent gridの局所構造を重視 強い位相差を持つ次元が増える 高類似度領域が狭まる

補足:θ=100はOP4KSR向けの設定

RoPEの周波数は常に100がよいわけではありません。T2I事前学習で大域構造を捉える設定を、局所的な細部復元が重要な4K超解像へそのまま移したときに生じるミスマッチを補正しています。

intra-token blindness:token内部の2×2位置が消える

2×2 sub-pixelが1 tokenのchannelへ入り位置を共有する問題

RoPEはtoken同士の位置を区別しますが、1 tokenのchannel内部へpackされた2×2要素には別々の位置を与えません。

たとえば、左上、右上、左下、右下に対応する特徴を \(a_1,b_1,c_1,d_1\) とします。

これらは異なるchannelに格納されても、Transformer層では同じtoken位置を共有します。

channel番号そのものは「左上」「右下」という空間的意味を保証しません。

レベル RoPEで位置を区別できるか 問題
token \(1\) とtoken \(2\) 2D-RoPEで区別する phase collapseで差が弱くなる
token内の \(a,b,c,d\) 同じtoken位置を共有する 2×2内部の幾何を明示できない

unpack時にはchannelが決まった2×2配置へ戻されます。

そこでchannel間の偏りが隣接tokenごとに反復すると、同じ2×2パターンが敷き詰められます。

F16と2×2 packingを合わせたpixel空間では、この反復が32 pixel周期になります。

RFRはtoken間の区別を改善しますが、token内部の位置欠落を直接は解決しません。

そこで、pixel空間側から周期性を監視する自己相関損失が必要になります。

自己相関損失:周期アーティファクトをぼかさず抑える

予測画像と正解画像の自己相関を複数lagで合わせ周期ピークを抑える仕組み

自己相関(autocorrelation)は、画像と、その画像を一定距離だけずらしたものがどれだけ似ているかを測る量です。

横方向へ \(\Delta\) pixelずらす場合の概念式は、平均を引いた画素値 \(x’\) を使って次のように表せます。

\[ A_{h,c}(x,\Delta) \propto \sum_{u,v} x’_c(u,v)\,x’_c(u,v+\Delta) \]

縦方向なら、\(u\) を \(u+\Delta\) へずらします。

32 pixelごとに同じ格子が反復する画像は、\(\Delta=32\) で自己相関が不自然に大きくなります。

ただし、画像全体で自己相関を計算すると、局所的な格子模様が正常な領域の周波数成分に埋もれます。

OP4KSRは予測画像 \(\hat{x}_{\mathrm{HR}}\) と正解画像 \(x_{\mathrm{HR}}\) をそれぞれ \(Q=4\) 個の象限へ分け、象限ごとに自己相関を計算します。

さらに、周期32だけをゼロへ押し下げません。

対象lagを次の5個に広げます。

\[ K=\{8,16,24,32,40\} \]

最終的な自己相関周期性損失 \(\mathcal{L}_{\mathrm{AP}}\) は次式です。

\[ \mathcal{L}_{\mathrm{AP}} = \frac{1}{2QC|K|} \sum_{q=1}^{Q} \sum_{c=1}^{C} \sum_{\Delta\in K} \sum_{i\in\{h,v\}} \left( A_{i,c}^{q}(\hat{x}_{\mathrm{HR}},\Delta) – A_{i,c}^{q}(x_{\mathrm{HR}},\Delta) \right)^2 \]

\(C\) は画像channel数、\(i\) は水平・垂直方向、\(q\) は象限です。

正解画像側は計算グラフからdetachし、学習で変化しない目標として扱います。

ここで重要なのは、損失が「32 pixelの相関を小さくしろ」と命令していない点です。

レンガ、タイル、窓など、正解画像に本物の32 pixel周期が存在する可能性があります。

予測画像の自己相関を正解画像へ合わせれば、自然な周期は残し、モデル由来の余計な周期だけを減らせます。

損失設計 起こり得る結果
\(\Delta=32\) の相関だけを小さくする 本物の規則模様も消し、ぼかす可能性がある
pixelごとの差だけを見る 周期構造そのものを直接捉えにくい
複数lagで正解の自己相関へ合わせる 周辺の相関形状を保ちながら異常ピークを抑える
4象限で局所計算する 滑らかな一部領域に出る周期を検出しやすい

論文の2D FFT可視化では、RFRだけでも異常な周波数ピークは弱まりますが、周期構造は残ります。

RFRと \(\mathcal{L}_{\mathrm{AP}}\) を併用すると、異常ピークがさらに抑えられ、空間上の格子模様も目立たなくなります。

実験結果:5.75秒と知覚品質のトレードオフ

OP4KSRの推論時間、メモリ、知覚品質、アブレーション結果

論文は、専用の4KSR-Trainと3つの評価ベンチマークを構築しています。

データセット 用途 内容 枚数
4KSR-Train 学習 Web画像と実写を多段filterで選別 34,379
4KSR-Syn 合成劣化評価 GTあり、最大辺1024入力 82
4KSR-RealSquare 実劣化評価 1024×1024、正方形 92
4KSR-RealVary 実劣化評価 最大辺1024、複数aspect ratio 81

1024×1024入力から4096×4096出力を作るH20上の比較は、次のとおりです。

手法 推論時間 GPUメモリ 備考
SUPIR 1643.7秒 53.26GB multi-step、パッチ処理
DreamClear 1006.5秒 64.13GB multi-step
OMGSR 91.33秒 64.10GB Flux系one-step
OSEDiff 61.77秒 46.53GB one-step
OP4KSR 5.75秒 32.88GB one-step、patch-free

OP4KSRはOMGSRより約16倍、SUPIRより約280倍高速と論文は報告しています。

一方、アブレーションでは、RFRと \(\mathcal{L}_{\mathrm{AP}}\) を入れるほどPSNRは下がり、知覚品質指標は上がります。

構成 PSNR↑ LPIPS↓ MANIQA↑ MUSIQ↑ CLIPIQA↑
Base 25.32 0.2976 0.3691 52.94 0.5601
Base + RFR 24.64 0.3244 0.3908 54.73 0.5869
Base + \(\mathcal{L}_{\mathrm{AP}}\) 24.85 0.3150 0.3780 55.12 0.5920
RFR + \(\mathcal{L}_{\mathrm{AP}}\) 24.31 0.3297 0.3935 56.51 0.6135

PSNR(pixel単位の誤差に敏感な画質指標)だけを見るとBaseがよく見えます。

しかし論文では、Baseに目立つ格子模様があり、知覚品質は低いと分析しています。

この結果は、「pixel一致」と「人が自然に感じる見た目」が一致しないPerception-Distortion Trade-off(知覚品質と歪み指標のトレードオフ)を示します。

したがって、「F16圧縮しても画質へ影響しない」をPSNR不変という意味で読むべきではありません。

正確には、極端なlatent圧縮でも、パッチフリーによる大域整合性とアーティファクト抑制を組み合わせることで、比較手法に対して競争力のある最終知覚品質を実現しています。

高画質タスク・カメラへの応用

OP4KSRをカメラ、スマートフォン、写真修復へ応用する流れ

OP4KSRの設計は、スマートフォン撮影後の高解像度化、古い写真の修復、クラウド写真サービス、ゲーム用texture生成などへ応用できる可能性があります。

特に、パッチ境界を作らず画像全体を見る考え方は、顔、空、建物のような大きな意味構造を揃えるうえで有効です。

応用先 期待できる点 実用上の課題
スマートフォン写真 撮影後に全体整合性を保って4K化 32.88GBという評価時メモリは端末向けではない
クラウド写真補正 1枚5.75秒で大量処理を高速化 H20相当のGPUコストと待ち時間
顔写真・ポートレート パッチごとの質感差を避けやすい 生成priorによる本人性の変化を評価する必要がある
古い写真の修復 全体文脈から欠損細部を補える 本来存在しない細部を生成する可能性がある
Denoise・Demosaicとの統合 ISP(カメラ画像処理)全体を学習型に統合できる可能性 RAW入力、色再現、sensor noiseへの再学習が必要

カメラ内で使うには、F16 VAEだけでは不十分です。

DiT本体の量子化、蒸留、NPU対応、tileなしで動くメモリ計画、動画向けの時間方向整合性が必要になります。

関連情報:GPU・NPUのデータフロー

GPUとNPUで高解像度feature mapをどう流すかは、GPUの行列演算とTensor Coreの解説NPUのsystolic arrayとdataflowの解説も関連します。

よくある誤解

OP4KSR、F16 VAE、RoPE、自己相関損失に関する誤解と正しい理解

よくある誤解 正確な情報・解釈
F16は16 bit量子化を意味する ここでは主に縦横16倍のVAE空間圧縮を指す。BF16とは別概念
128×128へ圧縮するので最終画像も低解像度になる 128×128はpacked token gridであり、VAE decoderが4096×4096へ復号する
圧縮しても情報は完全に失われない VAEは不可逆。論文も細部のphysical truncationを限界として認めている
パッチフリーなので画像をtokenへ分けない 外部の推論patchへ分割しないという意味。DiT内部ではtoken化と2×2 packingを行う
RoPEの値を100にすれば全Transformerが改善する 4K SRのcompact latentと局所復元目的に合わせた設定。タスクごとに適値は異なる
RFRだけで周期模様を完全に消せる FFT分析ではRFR後も周期構造が残り、自己相関損失との併用が重要
自己相関損失は32 pixel周期をすべて消す 正解画像の複数lag自己相関へ合わせるため、自然な周期を残す設計
PSNRが低いので画質が必ず悪い BaseはPSNRが高くても格子模様が目立つ。知覚指標と目視も必要

限界と確認が必要な点

OP4KSRの細部復元、公開状況、評価環境に関する限界

OP4KSRには、次の制約があります。

  • 極端な圧縮により、細かな高周波情報が物理的に切り捨てられる可能性がある
  • 評価時の32.88GBは比較手法より小さいものの、一般的なPCやモバイルには依然大きい
  • v1時点ではコード、モデル、データセットが未公開で、再現性は今後の公開確認が必要
  • 実画像benchmarkにはGTがないため、no-reference指標だけで細部の正しさを断定できない
  • 1ステップ生成は高速だが、複数ステップでの反復修正を失う
  • 生成priorがもっともらしい細部を補うため、忠実な復元と創作的な補完を分けて評価する必要がある

特に、文字、顔の本人性、規則的な建築物、科学・医療画像では、見た目の自然さだけでなく入力との忠実性を個別に検証すべきです。

まとめ

OP4KSRの圧縮、RoPE周波数スケーリング、自己相関損失の要点

OP4KSRは、F16 VAEで4K画像を強く圧縮し、Flux系DiTが画像全体を1ステップで処理するpatch-free 4K超解像手法です。

圧縮は内部計算を軽くするためのもので、最終画像は4096×4096へ復号されます。

実験では競争力のある知覚品質を維持していますが、完全な無損失ではなく、細部復元には限界があります。

1ステップ化で生じる32 pixel周期の格子模様は、2つの粒度から説明できます。

token間では、RoPEの \(\theta=10{,}000\) が隣接位置の位相差を弱くし、token内部では、2×2 sub-pixelが同じ位置を共有します。

そこでRFRは \(\theta\) を100へ下げて局所位置の区別を強め、\(\mathcal{L}_{\mathrm{AP}}\) は複数lagの自己相関を正解画像へ合わせ、自然な模様を残しながら異常な周期だけを抑えます。

論文では、H20 1枚で4096×4096出力を5.75秒、32.88GBで生成し、速度と大域整合性の両立を示しています。

関連技術

OP4KSRとRoPE、Transformer、GPU、NPUの技術関係

技術 OP4KSRとの関係 関連記事
RoPE 2D位置表現の基底値を局所復元向けに再調整する Positional Encodingとは?RoPEでLLMが語順を扱う仕組みをやさしく解説
Transformer DiTが画像token間の大域関係を処理する Transformerとは?Attention Is All You Need論文から基本構造を解説
GPU 4K latentのAttentionと行列積を高速に実行する GPUはなぜ並列計算が速い?warpとTensor Coreを解説
NPU 将来の端末内超解像では演算とdataflow最適化が必要 NPUとは?systolic arrayとdataflowを解説

次に読むべき記事

OP4KSRの次に読むRoPE、DiT、VAE、超解像の記事

  1. Positional Encodingとは?RoPEでLLMが語順を扱う仕組みをやさしく解説
  2. Transformerとは?Attention Is All You Need論文からLLMの基本構造をやさしく解説
  3. Diffusion Transformerとは?DiTが画像をtokenとして処理する仕組み
  4. VAEとは?latent圧縮と画像復号の仕組み
  5. 自己相関とは?画像の周期アーティファクトを見つける方法

コメント

タイトルとURLをコピーしました