AI超解像度技術とは — 「失われた画素を推測して描き足す」技術
写真や映像を拡大すると輪郭がぼやけ、文字がにじみ、細部が溶けてしまう。これは拡大によって「無い画素」を埋めなければならないためだ。従来のソフトウェアは、隣り合う画素の色を平均して中間色を作る「バイキュービック法」などの内挿（補間）でこの穴を埋めてきたが、平均は本質的にぼかしであり、もともと存在しなかったディテール（毛穴、髪の一本一本、レンガの目地、文字の細い線）を取り戻すことはできない。
AI 超解像度（Super-Resolution、超解像）は、この「穴埋め」を平均ではなく学習による推測で行う技術である。考え方はこうだ。高解像度の写真を大量に用意し、それをわざと縮小・劣化させて低解像度版を作り、「低解像度→高解像度」という変換のペアをニューラルネットワークに何百万組と見せる。すると、ネットワークは「このようにぼやけた肌は、本来こういう質感だったはずだ」「このギザギザの輪郭は、本来こう滑らかな曲線だったはずだ」というパターンを学習する。学習済みモデルに新しい低解像度画像を入れると、過去に見たパターンに基づいて、最もそれらしいディテールを「描き足す」。
身近な応用例は多い。スマートフォンで撮った数年前の小さな写真を印刷用に引き伸ばす、ブルーレイ化されていない古いアニメや映像作品を 4K テレビ向けに高精細化する、ゲームのレトロなドット絵や低解像度テクスチャを現代のディスプレイ向けに作り直す、防犯カメラのぼやけたフレームを少しでも見やすくする、といった具合だ。注意すべきは、これが「拡大」だけの技術ではない点である。実写真には拡大とは別に、JPEG 圧縮のブロックノイズ、暗所撮影のザラつき（ノイズ）、手ブレやピンボケといった劣化が複合的に乗っている。実用的な超解像とは、拡大（アップスケーリング）とノイズ除去・劣化復元を同時にこなす「総合的な画像修復」を意味する。Real-ESRGAN が解こうとしているのは、まさにこの現実世界の複合劣化の問題である。
ただし「描き足す」という性質には原理的な限界がある。元画像に存在しない情報を、モデルは確率的に「もっともらしく創作」しているにすぎない。映画やドラマで「画像を強調しろ」と言うと潜在していた犯人の顔がくっきり現れる、いわゆる "CSI 効果" は誤解で、たとえば顔が元画像でわずか 30 画素しか映っていなければ、モデルは顔の構造をほぼ丸ごと発明することになり、実行のたびに別人の顔が出てくることすらある。この「忠実度（fidelity）と写実感（realism）のトレードオフ」は、後述するように現在の超解像技術の中心的な論点であり続けている。
Real-ESRGANとは — Tencent ARC 発、実世界向けに鍛え直されたOSS
Real-ESRGAN は、中国 Tencent の ARC Lab（Applied Research Center）と中国科学院・深圳先進技術研究院に所属する Xintao Wang（王鑫涛）、Liangbin Xie、Chao Dong、Ying Shan の各氏が中心となって開発した、画像・映像の汎用復元のための実用アルゴリズム群である。論文「Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data」は、コンピュータビジョンのトップ会議 ICCV のワークショップ（AIM 2021）で発表された。ソースコードは GitHub 上で BSD-3-Clause ライセンスの下に公開され、スター数は約 3.6 万に達する、画像復元 OSS の中でも屈指の存在だ。
名前が示すとおり、Real-ESRGAN は先行する ESRGAN（Enhanced Super-Resolution Generative Adversarial Networks、ECCV 2018 ワークショップ発表、知覚的超解像コンペ PIRM Challenge の優勝モデル）を実世界向けに作り直したものである。元の ESRGAN は、高解像度画像を単純な縮小（バイキュービックのダウンサンプリング）で劣化させた「きれいな」合成データで学習していた。そのため研究用ベンチマークでは美しい結果を出す一方、スマホ写真や古い動画のような「汚れ方が複雑な」実画像に対しては、ノイズを誤って強調したり破綻したりしやすいという弱点があった。
Real-ESRGAN の核心は、この「学習用の劣化と現実の劣化のギャップ」を埋めた点にある。Wang らは、参照用の高解像度画像（正解）が一切無い、いわゆる「ブラインド超解像」の設定で、現実に近い複雑な劣化を人工的に合成し、純粋な合成データだけでモデルを鍛えた。結果として、追加の実写ペアデータを集めずとも、汚れた JPEG、圧縮の効いた配信動画、古いアニメのソフトな線などに対して実用的に効く汎用モデルが得られた。「特別な前処理や撮影条件を必要とせず、手元の一枚をそのまま放り込めば、それなりに見られる結果が返ってくる」という扱いやすさこそが、Real-ESRGAN が研究室を越えて広く普及した最大の理由である。
具体的な使われ方も幅広い。画像生成 AI の Stable Diffusion 系ワークフローでは、生成した画像を高精細化する標準アップスケーラーとして AUTOMATIC1111 版 WebUI や ComfyUI に「R-ESRGAN 4x+」「R-ESRGAN 4x+ Anime6B」の名で組み込まれている。デスクトップでは、Real-ESRGAN を内部エンジンに据えた Upscayl のような無料 GUI アプリが、プログラミング知識のない一般ユーザーにワンクリックの超解像を届けている。古アニメのファン修復、同人・印刷物の入稿前の拡大、ゲーム MOD のテクスチャ作り直しなど、コミュニティ発の用途も厚い。
Real-ESRGAN を支える技術の中身
Real-ESRGAN が「現実の汚れ」に強い理由は、学習に使う劣化のモデル化にある。古典的な劣化モデルは、元画像にぼかし（ブラーカーネル）をかけ、縮小し、ノイズ（ガウス/ポアソン）を加え、最後に JPEG 圧縮をかける、という一本道で低解像度画像を作る。Real-ESRGAN はこれを一度で終わらせず、同じ劣化処理を二段重ねにする「高次（二次）劣化モデル（high-order degradation）」を採用した。現実の画像は、撮影時の劣化に加えて、編集・保存・再エンコード・配信といった複数の劣化が積み重なっている。二段重ねにすることで、こうした「劣化の上にさらに劣化が乗った」状態を近似できる。さらに、シャープな輪郭の周囲に生じるリンギングやオーバーシュート（縁取りのような偽の輪郭やにじみ）を再現するため sinc フィルタを導入し、JPEG 圧縮との適用順序をランダムに入れ替えることで、現実に起こりうる多様な劣化の組み合わせを学習時に大量生成している。
ネットワーク構造としては、画像を生成する側（生成器）には ESRGAN 譲りの RRDBNet（Residual-in-Residual Dense Block を積んだ畳み込みネットワーク）を使い、入力前に pixel-unshuffle で空間解像度をチャンネル方向に畳み込んで計算効率を上げている。一方、生成結果の良し悪しを判定する側（識別器）は、ESRGAN の VGG 型から U-Net 型へと刷新され、スペクトル正規化（spectral normalization）を併用している。U-Net 識別器は画像全体だけでなく画素単位のリアルさも評価できるため、複雑な劣化空間でも安定して学習が進み、テクスチャの再現が向上する。
この設計は GAN（敵対的生成ネットワーク）に基づくため、「平均的にぼやけた答え」ではなく「鋭く、それらしいディテール」を出す方向に最適化される。これが Real-ESRGAN の長所であり、同時に短所でもある。鋭さと引き換えに、平坦な領域に存在しない微細な質感を描き足したり、輪郭を過剰に強調したりする「もっともらしい嘘」を生むことがある。この性質は、後述するアニメ修復での評価や、拡散モデルとの比較を理解するうえで重要な鍵になる。
Real-ESRGANの導入方法 — 三つの入り口
Real-ESRGAN を試す道は、ユーザーの技術レベルに応じて大きく三つある。
最も手軽なのはオンラインデモを使う方法だ。Hugging Face Spaces や Replicate 上に公開されたデモに画像をアップロードすれば、環境構築なしに結果を確認できる。「自分の写真でどの程度効くのか」をまず見たい段階では、これで十分なことが多い。
次に、開発者やバッチ処理をしたい層向けの Python 経由のインストールがある。最も簡単には、パッケージ版を pip install realesrgan（公開版は v0.3.0）で導入する。ソースから動かす場合は、リポジトリを取得したうえで依存関係を入れ、開発モードでセットアップする流れになる。
git clone https://github.com/xinntao/Real-ESRGAN.git
cd Real-ESRGAN
pip install basicsr facexlib gfpgan # 学習・推論基盤、顔処理、顔復元
pip install -r requirements.txt
python setup.py develop
推論は付属の inference_realesrgan.py を呼ぶだけでよい。たとえば標準モデルで 4 倍に拡大し、写真内の顔も復元したい場合は次のように書く。
python inference_realesrgan.py -n RealESRGAN_x4plus -i inputs --outscale 4 --face_enhance
ここで -n は使用モデル、-i は入力フォルダ、--outscale は最終的な拡大倍率（任意倍率を指定可能）、--face_enhance は後述する GFPGAN を使った顔の高精細化を意味する。
三つ目が、最も実運用で広く使われている ncnn-vulkan 版（Real-ESRGAN-ncnn-vulkan）だ。これは Python も CUDA も不要で、Windows / Linux / macOS 向けのポータブル実行ファイルとして配布され、Vulkan に対応していれば Intel・AMD・NVIDIA のいずれの GPU でも動く。NVIDIA 製 GPU と CUDA 環境に縛られないため、ノート PC や非エンジニアの環境でも導入しやすく、前述の Upscayl をはじめ多くの GUI アプリがこのバイナリを内部エンジンとして同梱している。コマンド一行で動く軽量さから、サーバーレスや組み込み的な用途にも向く。
なお、Real-ESRGAN 本体の最新リリースは v0.3.0（2022 年 9 月 20 日）で、その後は大きなバージョン更新が止まっている。これは開発が放棄されたというより、汎用復元モデルとして「完成・安定」の段階に入り、研究上の最前線が後述の拡散モデルへ移ったことを反映している。導入時は枯れた安定版として扱える一方、最新の研究成果を取り込みたい場合は派生・後継プロジェクトを併用するのが実務的な判断になる。
Real-ESRGANの機能詳細 — モデルの使い分けが肝
Real-ESRGAN の実力は、用途別に用意された複数の学習済みモデルをどう使い分けるかで決まる。汎用の実写向けには、標準の RealESRGAN_x4plus（4 倍）と、控えめな倍率向けの RealESRGAN_x2plus（2 倍）がある。GAN による過剰なディテール付与を避け、画素忠実度（PSNR）を重視したい場合は、敵対的学習を外した RealESRNet_x4plus を選ぶ。
実務で重宝するのが、軽量かつ汎用の realesr-general-x4v3 だ。GPU メモリと処理時間の消費が小さく、-dn（denoise strength）オプションでノイズ除去の強さを連続的に調整できる。強くかければノイズと圧縮痕は消えるがディテールも失われ、弱くすればディテールは残るがノイズも残る——この匙加減を一つのモデルで調整できるため、写真の状態に応じた追い込みがしやすい。
アニメ・イラスト向けには専用モデルが分かれている。静止画には、ネットワークを 6 ブロックに絞って軽量化した RealESRGAN_x4plus_anime_6B、アニメ動画には超軽量の realesr-animevideov3 が用意されている。アニメ調の絵は、実写と違って平坦な塗りと明確な線で構成されるため、汎用モデルでは線の周囲に余計な質感やザラつきが出やすく、専用モデルがほぼ必須になる。
機能面では、推論コードがタイル分割処理（巨大画像を分割して省メモリで処理）、アルファチャンネル（透過）付き画像、グレースケール、16bit 画像、そして動画の各入力に対応している。拡大倍率は --outscale で任意に指定でき、--face_enhance を付けると、同じく Tencent ARC Lab が公開する顔復元 OSS の GFPGAN が呼び出され、風景の超解像とは別ロジックで顔だけを自然に作り直す。人物写真は顔の破綻が最も目につくため、この連携は実用上の価値が大きい。なお Real-ESRGAN は、学習基盤 BasicSR、顔ユーティリティ facexlib、顔復元 GFPGAN と同じ開発系譜にあり、これらを組み合わせた「画像復元のツールボックス」として設計されている。
アニメ修復における立ち位置を理解するには、先行する waifu2x との対比が分かりやすい。waifu2x は 2015 年に開発者 nagadomi 氏がアニメ静止画に特化して作った草分け的ツールで、2 倍拡大とノイズ除去を、線をほとんど崩さず保守的に行うのが持ち味だ。対して Real-ESRGAN は GAN による知覚的な鋭さを優先するため、線はくっきりする一方、塗りの平坦部に存在しない粒状感や擬似的な陰影を描き足してしまうことがある。「原画の意図への忠実さ」を重んじるなら waifu2x 系、「拡大後の見栄えのシャープさ」を重んじるなら Real-ESRGAN 系、という棲み分けが、コミュニティの比較検証ではおおむね共有されている。
GAN から拡散モデルへ — 超解像の最前線
Real-ESRGAN が GAN 系の到達点だとすれば、2023 年以降の研究の主役は拡散モデル（Diffusion Model）に移った。拡散モデルは、ノイズから徐々に画像を「生成」する過程を学習しており、画像生成 AI の躍進をそのまま超解像に持ち込める。代表格が SUPIR（Scaling-UP Image Restoration、CVPR 2024）である。興味深いことに、SUPIR の著者陣には Real-ESRGAN を生んだ Xintao Wang・Chao Dong 両氏が名を連ねており、GAN から拡散モデルへの世代交代を同じ研究者たちが先導している構図が見える。SUPIR は画像生成の大規模モデル Stable Diffusion XL（SDXL）を土台に、テキスト注釈付きの高品質画像 2,000 万枚で学習し、文章のプロンプトで復元の方向性を指示できる。著者らは SUPIR を基にしたオンラインツール SupPixel AI（suppixel.ai）も公開している。同系統では StableSR や DiffBIR なども実世界ブラインド復元で広く使われている。
拡散モデル系の強みは、強い劣化からでも豊かで写実的なディテールを「創造」できる点だ。だが、これは諸刃の剣でもある。劣化が激しい場面では、元画像に無いものをそれらしく作ってしまう「ハルシネーション（幻覚）」が顕在化しやすい。生成系超解像の幻覚をどう測り、どう抑えるかは活発な研究テーマで、2025 年には幻覚の度合いをスコア化しようとする「Hallucination Score」のような論文も現れている。SUPIR 自身も、生成の自由度を保ちつつ忠実度の破綻を抑える「復元誘導サンプリング（restoration-guided sampling）」を導入してこの問題に対処している。
学術コミュニティの温度感は、画像復元の主要コンペである NTIRE からも読み取れる。CVPR 2025 で開かれた第 10 回 NTIRE ワークショップの ×4 超解像チャレンジは、画素精度（PSNR）を競う復元トラックと、視覚的リアルさを競う知覚トラックに分かれていた。これは「数値上の正確さ」と「見た目の説得力」が別物であり、両者を同時に最適化できないという超解像の根本的なジレンマを、競技の構造そのものが追認していることを意味する。同じ NTIRE 2025 の実世界顔復元チャレンジでは SUPIR や StableSR といった拡散モデルが広く用いられ、アニメ領域でも APISR のように制作工程の特性を踏まえた専用研究が登場している。最前線は明確に「拡散ベース」だが、その代償としての幻覚と推論コストの重さが、依然として実用化の壁になっている。
商用化と資本の動き — 超解像はいま「買われる技術」になった
超解像・画像復元は、OSS の世界だけの話ではない。2026 年に入って、この分野は資本市場でも明確に「戦略技術」として位置づけられるようになった。象徴的なのが、2026 年 6 月 25 日に発表された Adobe による Topaz Labs の買収である。
Topaz Labs は米テキサス州ダラスに拠点を置く、AI 写真・映像高画質化ソフトの専業企業で、画像拡大の Gigapixel、写真補正の Topaz Photo、映像補正の Topaz Video を擁する。アップスケーリング、シャープ化、ノイズ除去、手ブレ補正、フレーム補間、フッテージ復元といった、Real-ESRGAN が OSS で担う領域を商用品質で束ねた存在で、Apple・Netflix・NASA を含む 100 万を超える顧客に使われ、テレビ番組カタログの高品質復元への貢献で 2025 年の技術・工学エミー賞（第 76 回）を受賞している。Adobe は買収を「確定的契約（definitive agreement）」として発表したが、買収額は開示していない。取引は規制当局の承認などを条件に 2026 年後半の完了を見込む。Adobe は Topaz の技術を Firefly、Firefly Services、および Photoshop・Lightroom・Premiere を含む Creative Cloud アプリに統合する方針で、サードパーティ製プラグインに頼らず高画質化を内蔵する狙いだとしている。注目点として、Adobe は Topaz が持つ Neurostream という、大規模 AI モデルをクラウドではなく消費者の手元のハードウェアでローカル実行する技術にも言及した。買収後も Topaz 製品は単体販売を続け、Topaz Labs CEO の Eric Yang 氏が引き続きチームを率いる。
もう一つの軸が、欧州発の Magnific AI だ。スペイン・ムルシア発のこのスタートアップは、単なる拡大ではなく細部を大胆に「創造的に作り直す」リイマジン型アップスケーリングで一躍注目を集め、ストック素材大手の Freepik が 2024 年 5 月に買収した（買収額は非開示）。Freepik はその後、画像・動画・音声生成を束ねる創作プラットフォームへと軸足を移し、2026 年 4 月 28 日には社名・ブランドを Magnific に統一した。同社は年間経常収益（ARR）2 億 3,000 万ドル（約 370 億円）に達するブートストラップ（外部資本に頼らない自己資金経営）の黒字企業として報じられている。
さらに広い文脈として、隣接する生成動画領域への資金流入が、画質処理全体への期待を押し上げている。動画生成スタートアップの Runway は、2026 年 2 月 10 日に General Atlantic 主導のシリーズ E で 3 億 1,500 万ドル（約 500 億円）を、53 億ドル（約 8,500 億円）の評価額で調達したと Bloomberg や TechCrunch が報じている。Luma AI も 40 億ドル（約 6,400 億円）規模の評価額で 9 億ドル（約 1,440 億円）のシリーズ C を調達したと伝えられる。AI 動画関連企業への世界の資金調達額は 2025 年に 30.8 億ドル（約 4,900 億円）と、2024 年の 15.8 億ドル（約 2,500 億円）からほぼ倍増した。Adobe は 2025 年 12 月に Runway とも提携を発表しており、生成（作る）と復元・高画質化（直す・磨く）の両輪を、大手が一体で囲い込もうとしている流れが鮮明だ。
シリコンバレーのエンジニアはどう見ているか
シリコンバレーのエンジニアや技術メディアにとって、Real-ESRGAN はもはや「派手な新技術」ではなく、空気のように使われる枯れたインフラ部品である。GitHub のスター数約 3.6 万、BSD ライセンス、CUDA に縛られない ncnn-vulkan 版という三拍子が示すとおり、「とりあえず最初に試す既定値」「依存に組み込んでおく安全牌」としての地位を確立している。最新リリースが 2022 年で止まっていることを、エンジニアは欠点ではなく「十分に枯れて壊れない」証拠として受け止める向きが強い。Stable Diffusion ワークフローの標準アップスケーラーとして、あるいは Upscayl のような GUI の心臓部として、本体が更新されなくても毎日大量に動き続けている。
技術的な評価軸として彼らが繰り返し指摘するのは、忠実度と写実感のトレードオフだ。Real-ESRGAN（GAN 系）は速く軽く、そこそこ鋭い結果を安定して返すが、平坦部に擬似的な質感を盛る癖がある。SUPIR などの拡散モデルは圧倒的にリッチな結果を出すが、推論が重く、強い劣化では幻覚で「別物」を作りかねない。医療・監視・報道・証拠といった、画像の真正性が問われる用途では「美しく嘘をつく」生成系はそもそも使えず、忠実度寄り・あるいは決定論的な手法が選ばれる——この「用途によって正解が真逆になる」という認識は、技術系メディアやコミュニティの比較記事で共通して語られている。実際、超解像をめぐる解説の多くは「2026 年でも万能ではなく、入力がモデルの学習分布から外れると結果は予測不能になる」と慎重なトーンで結ばれている。
もう一つの潮流が、Adobe による Topaz 買収で前景化した「オンデバイス（ローカル実行）」志向だ。Topaz の Neurostream に象徴されるように、クラウド送信のコスト・遅延・プライバシー懸念を避け、手元の GPU で大規模モデルを走らせる方向にエンジニアの関心が向いている。Real-ESRGAN の ncnn-vulkan 版が長く支持されてきたのも、まさにこのローカル完結・ハードウェア非依存という価値が早くから備わっていたからにほかならない。OSS の枯れた定番（Real-ESRGAN）と、商用の最前線（Topaz=Adobe、Magnific=Freepik）と、研究の最先端（拡散モデル）が、それぞれの役割で共存しているのが現在の見取り図である。
今後の動き — いつ、何が計測されるか
直近で最も注目される節目は、Adobe による Topaz Labs 買収の完了時期だ。Adobe は規制当局の承認などを条件に 2026 年後半（H2）の完了を見込んでおり、買収が実際にクローズし、Gigapixel/Topaz Video 系の技術が Photoshop・Lightroom・Premiere や Firefly に統合され始めるかどうかが、年内最大の観測ポイントになる。同時に、これが Adobe の生成（Firefly）と復元（Topaz）の垂直統合を完成させるなら、Topaz の OSS 的代替として Real-ESRGAN を組み込んできた中小ツール群が、改めて「無料の定番」としての存在感を増す可能性もある。
技術面では、拡散モデル系超解像の「重さ」と「幻覚」をいかに実用水準まで抑え込むかが、今後 1～2 年の主戦場になる。推論を一回または数回のステップで完了させる蒸留・一段化（one-step / few-step diffusion）の研究が進めば、拡散の品質をリアルタイムに近い速度で得られるようになり、動画超解像や配信・ゲームへのリアルタイム適用が現実味を帯びる。NTIRE をはじめとするコンペが復元トラックと知覚トラックを分けて競い続けている以上、「忠実度と写実感を両立させる」あるいは「用途に応じて両者を連続的に切り替える」アーキテクチャ（GAN と拡散のハイブリッドを含む）の提案が、CVPR・ICCV 系の主要会議で継続的に計測されていくはずだ。
社会実装の側では、生成・復元された画像の真正性をどう担保するかという問題が重みを増す。報道・司法・医療の現場で AI 超解像の結果が使われる場面が増えるほど、「どこまでが本物の情報で、どこからが AI の創作か」を区別する来歴情報（C2PA などのコンテンツ来歴標準）の付与が求められる。Real-ESRGAN のような OSS は、その透明性とローカル完結性ゆえに、こうした検証可能性の議論において引き続き基準点として参照されるだろう。派手な新モデルの発表が続く一方で、「速くて、軽くて、嘘をつかない」復元への需要は静かに、しかし確実に増していく——それが、この分野を追うエンジニアたちのおおむね一致した見立てである。