特開 2024-139071 映像超解像方法、プログラム及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024139071

(43)【公開日】2024-10-09

(54)【発明の名称】映像超解像方法、プログラム及び装置

(51)【国際特許分類】

   G06T 3/4053 20240101AFI20241002BHJP

   G06T 7/223 20170101ALI20241002BHJP

   H04N 7/01 20060101ALI20241002BHJP

【ＦＩ】

G06T3/40 730

G06T7/223

H04N7/01 170

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023049863

(22)【出願日】2023-03-27

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、国立研究開発法人情報通信研究機構「Ｂｅｙｏｎｄ ５Ｇ研究開発促進事業／低遅延でインタラクティブなゼロレイテンシー映像・Ｓｏｍａｔｉｃ統合ネットワーク」、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】899000068

【氏名又は名称】学校法人早稲田大学

(74)【代理人】

【識別番号】100180758

【弁理士】

【氏名又は名称】荒木 利之

(72)【発明者】

【氏名】甲藤 二郎

(72)【発明者】

【氏名】小松 蒔遠

(72)【発明者】

【氏名】孫 鶴鳴

(72)【発明者】

【氏名】勝山 裕

(72)【発明者】

【氏名】佐藤 俊雄

(72)【発明者】

【氏名】佐藤 拓朗

【テーマコード（参考）】

5B057

5C063

5L096

【Ｆターム（参考）】

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CD05

5B057DB02

5B057DB09

5B057DC01

5C063BA03

5C063CA05

5L096AA06

5L096CA04

5L096DA01

5L096EA03

5L096FA32

5L096GA19

5L096HA04

5L096KA04

(57)【要約】

【課題】超高フレームレート映像でも安定した特性改善を実現する映像超解像方法、プログラム及び装置を提供する。
【解決手段】映像超解像装置は、ダウンサンプリング器１３１、映像超解像器１３２～１３５、選択・平均器１３６を有する。ダウンサンプリング器１３１は、入力低解像度映像を複数のフレームレートに分割する。映像超解像器１３２～１３５は、それぞれ異なるフレームレートでトレーニングを行った映像超解像器を示し、低解像度映像の超解像を実行する。選択・平均器１３６は、映像超解像の結果として求められるオプティカルフローの大きさに応じて、映像超解像器を選択する。具体的には、オプティカルフローの値が０．５画素よりも小さい場合には、高フレームレートの映像超解像の結果は採用しないなどの選別を行う。最後に、選択した映像超解像結果の平均値を求め、最終的な高解像度映像を出力とする。
【選択図】図１０

【特許請求の範囲】

【請求項1】

入力映像からフレームレートの異なる画像群を作成するステップと、
当該作成した画像群毎に動き推定を行うステップと、
推定された動き量に基づいた一又は複数のフレームレートの画像群を選択するステップと、
前記選択した画像群に対して映像超解像を行った画像群の加重平均を行って高解像映像を生成するステップとを有する映像超解像方法。

【請求項2】

前記動き推定を行うステップは、前記画像群の画像内の領域単位、ブロック単位又は画素単位で動き推定を行い、
前記選択するステップは、前記画像群の画像内の領域単位、ブロック単位又は画素単位で推定された動き量に基づいた一又は複数のフレームレートを選択し、
前記高解像映像を生成するステップは、前記画像群の画像内の領域単位、ブロック単位又は画素単位で前記選択したフレームレートの画像群に対して映像超解像を行った画像群の加重平均を行って高解像映像を生成する請求項１に記載の映像超解像方法。

【請求項3】

コンピュータを、
入力映像からフレームレートの異なる画像群を作成する作成手段と、
当該作成した画像群毎に動き推定を行う推定手段と、
推定された動き量に基づいた一又は複数のフレームレートの画像群を選択する選択手段と、
前記選択した画像群に対して映像超解像を行った画像群の加重平均を行って高解像映像を生成する平均手段として機能させるための映像超解像プログラム。

【請求項4】

前記推定手段は、前記画像群の画像内の領域単位、ブロック単位又は画素単位で動き推定を行い、
前記選択手段は、前記画像群の画像内の領域単位、ブロック単位又は画素単位で推定された動き量に基づいた一又は複数のフレームレートを選択し、
前記生成手段は、前記画像群の画像内の領域単位、ブロック単位又は画素単位で前記選択したフレームレートの画像群に対して映像超解像を行った画像群の加重平均を行って高解像映像を生成する請求項３に記載の映像超解像プログラム。

【請求項5】

入力映像からフレームレートの異なる画像群を作成する作成手段と、
当該作成した画像群毎に動き推定を行う推定手段と、
推定された動き量に基づいた一又は複数のフレームレートの画像群を選択する選択手段と、
前記選択した画像群に対して映像超解像を行った画像群の加重平均を行って高解像映像を生成する平均手段とを有する映像超解像装置。

【請求項6】

前記推定手段は、前記画像群の画像内の領域単位、ブロック単位又は画素単位で動き推定を行い、
前記選択手段は、前記画像群の画像内の領域単位、ブロック単位又は画素単位で推定された動き量に基づいた一又は複数のフレームレートを選択し、
前記生成手段は、前記画像群の画像内の領域単位、ブロック単位又は画素単位で前記選択したフレームレートの画像群に対して映像超解像を行った画像群の加重平均を行って高解像映像を生成する請求項５に記載の映像超解像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像超解像方法、プログラム及び装置に関する。特に、入力映像の空間解像度を上げる映像超解像技術に関して、フレームレートの異なる画像群を作成し、作成した画像群毎に動き推定を行い、超解像に適した動き量の画像群を選択して映像超解像を行うことを特徴とする映像超解像方式及び装置に関する。さらに、上記映像超解像に関して、画像単位（フレーム単位）に加え、領域単位、ブロック単位、もしくは画素単位に画像群を選択することを特徴とする映像超解像方式及び装置に関する。また、本発明は特定の映像超解像手法に依存するものではなく、任意の映像超解像手法に適用できることも特徴とする。

【背景技術】

【0002】

映像信号に関する近年のトレンドとして、時間解像度の向上が挙げられる。ＩＴＵ－Ｒ ＢＴ．２０２０、及びそのＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）拡張版であるＩＴＵ－Ｒ ＢＴ．２１００では、４Ｋ／８Ｋ空間解像度の映像を規格化すると共に、時間解像度として最大１２０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）が規格化されており、さらに、４Ｋ解像度の２４０ｆｐｓ映像伝送システムも開発されている。この時間解像度の向上は、もともとは空間解像度の拡大に伴う動きの滑らかさやぼけの改善のために導入されたものであるが、高能率圧縮のためのフレーム蓄積時間が短くなるために、結果的に本研究開発が対象とする映像通信システムの低遅延化にも貢献する。

【0003】

また、スマートフォンやデジタルカメラにおいても、近年、スーパースローモーションと呼ばれる高速撮影モードの普及が進んでいる。現状、リアルタイムに１フレームの画像を取り出せるものではなく、機器内で圧縮ファイルを生成した後にダウンロードする形式ではあるが、最大フレームレートとして、１０８０Ｐ解像度の２４０ｆｐｓ（ＧｏＰｒｏ Ｈｅｒｏ９）、１０８０Ｐ解像度の９６０ｆｐｓ（Ｓｏｎｙ ＲＸ１００Ｖ）、７２０Ｐ解像度の７６８０ｆｐｓ（Ｈｕａｗｅｉ Ｐ４０ Ｐｒｏ ５Ｇ）などの製品が販売されている。

【0004】

破壊試験や燃焼解析等の特殊用途や研究開発用途を対象とした高速度カメラは以前から存在し、特に石川らは高速ビジョンシステムと称し、１０００ｆｐｓを超える撮像デバイスを用いた各種の高速画像処理システムの開発を行っている（例えば、非特許文献１）。ただし、空間解像度は比較的低解像度のものに限られ、その応用も、ロボットや工場用途に限定されていた。

【0005】

これが現在では、前述のように、放送・通信や民生品用途において、時間解像度の劇的な向上が図られている。これは、撮像系と演算系を分離した積層型ＣＭＯＳイメージセンサーの半導体技術の発展に追うところが大きく、半導体のオリンピックと呼ばれる国際会議ＩＳＳＣＣにおいて、２０１７年はソニーから２Ｋ解像度で９６０ｆｐｓの積層型イメージセンサーが、２０２１年はニコンから４Ｋ／ＨＤＲで１０００ｆｐｓの積層型イメージセンサーが、それぞれ発表されている（例えば、非特許文献２、非特許文献３）。図１３には、最近の民生用途のカメラとスマートフォン、及び、イメージセンサーの動向を示す。さらに、２０２１年には、韓国ＫＡＩＳＴから、ハイスピードカメラを用いて１０００ｆｐｓで撮影した４Ｋ映像のデータセットと、そのデータセットを用いたフレーム補間手法の提案が行われている（例えば、非特許文献４）。

【0006】

一方、超解像は、コンピュータビジョンに関するタスクの一つであり、与えられた低空間解像度の画像を高空間解像度の画像に変換することを目的としている。古くは、繰り返し演算によるＩＢＰ（Ｉｔｅｒａｔｉｖｅ Ｂａｃｋ Ｐｒｏｊｅｃｔｉｏｎ）法（例えば、非特許文献５）や、小パッチと大パッチを大量に学習する Ｅｘａｍｐｌｅ 法（例えば、非特許文献６）などが知られており、その一部は解像度変換技術として市販のテレビに組み込まれている。また、最近は、ＳＲＣＮＮ （Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）（例えば、非特許文献７）の提案以来、深層学習を用いた超解像手法が多数提案されており、毎年、ＮＴＩＲＥ（Ｎｅｗ Ｔｒｅｎｄｓ ｉｎ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ ａｎｄ Ｅｎｈａｎｃｅｍｅｎｔ）というワークショップでは、超解像の性能を競うコンペティションが開催されている。

【0007】

特に最近は、映像信号の超解像（映像超解像）に関する研究開発が活発に進められている（例えば、非特許文献８）。映像超解像において、上記のＳＲＣＮＮ等の静止画像の超解像手法をそのまま使うこともできるが、時間軸を加え、隣接するフレーム間のオプティカルフロー（動き推定）を求め、該当フレームの解像度変換時に参照することで、超解像の性能を高めることができる。

【0008】

しかし、映像超解像の研究開発は、現状、２４０ｆｐｓ以上の高フレームレート映像を対象とする報告は行われておらず、上記ＮＴＩＲＥワークショップで使用される共通映像データセットのフレームレートも、最大６０ｆｐｓに留まっている。また、２４０ｆｐｓや１０００ｆｐｓの映像データセットを用いた研究開発も、ボケ除去とフレーム内挿に留まっており、映像超解像に関する報告は行われていない。発明者は、２０２３年１月の国際学会で、独自の２４０ｆｐｓ映像データセットの作成と各種の映像処理応用に関する発表を行い、その中で、２４０ｆｐｓ映像の超解像に関する報告も行った（例えば、非特許文献９）。ただし、映像超解像に関する発表の要旨は、その他の映像処理とは異なり、映像超解像の場合は、フレームレートを上げても、必ずしもベストの特性が得られない、というものであった。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２０１０－１３４５８２号公報

【特許文献2】特開２０２３－５０５４８１号公報

【非特許文献】

【0010】

【非特許文献1】石川正俊: “超高速ビジョンの展望,” 日本ロボット学会誌, Vol.23, No.3, pp－274－277, Mar.2005.

【非特許文献2】S.Machida et al.: “A 2.1Mpixel organic－film stacked RGB－IR image sensor with electrically controllable IR sensitivity,” IEEE ISSCC 2017, Feb.2017.

【非特許文献3】T.Hirata et al.: “A 1－inch 17Mpixel 1000fps Block－Controlled Coded－Exposure Back－Illuminated Stacked CMOS Image Sensor for Computational Imaging and Adaptive Dynamic Range Control,” IEEE ISSCC 2021, Feb.2021.

【非特許文献4】H.Sim, J.Oh, and M.Kim: “XVFI: eXtreme Video Frame Interpolation,” IEEE ICCV 2021, Nov.2021.

【非特許文献5】M.Irani and and S.Peleg: “Improving resolution by image registration,” CVGIP, Vol.53, No.3, pp.231－239, May 1991.

【非特許文献6】W.T.Freeman, T.R.Jones and E.C.Pasztor: “Example－based super－resolution,” IEEE Computer Graphics and Applications, Vol.22, No.2, pp.56－65, Aug.2002.

【非特許文献7】C.Dong, C.C.Loy, K.He, and X.Tang: “Image Super－Resolution Using Deep Convolutional Networks,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.38, No.2, pp.295－307, June 2015.

【非特許文献8】H.Liu et al.: “Video super-resolution based on deep learning: a comprehensive survey,” Artificial Intelligence Review, Vol.55, pp.5981－6035, Apr.2022.

【非特許文献9】J.Shimizu et al.: “iPhone 240fps Video Dataset for Various Model Training Tasks,” IEEE ICCE 2023, Jan.2023.

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかし、特許文献１では、映像超解像のアルゴリズム提案を行っているが、フレームレートには何も言及していない。
また、特許文献２では、映像超解像を前提にした映像圧縮・復号方法の提案が行われているが、フレームレートには何も言及していない。
また、非特許文献１では、１０００ｆｐｓを超える映像の撮影と処理に言及しているが、空間解像度が低い映像が対象であり、また、映像超解像に関する報告は行われていない。
また、非特許文献２と非特許文献３は、２Ｋ解像度や４Ｋ解像度の１０００ｆｐｓイメージセンサーの開発に関する報告であり、映像超解像に関する報告は行われていない。
また、非特許文献４は、１０００ｆｐｓの映像データセットの作成とフレーム内挿に関する提案であり、映像超解像に関する報告は行われていない。
また、非特許文献５、非特許文献６、非特許文献７は、静止画像超解像に関する歴史的な論文であり、高フレームレート映像の超解像に関する報告は行われていない。
また、非特許文献８は、近年の映像超解像技術をまとめたサーベイ論文であるが、２４０ｆｐｓ以上の高フレームレート映像に対する超解像技術は何も言及していない。
また、非特許文献９は、発明者による国際学会論文であり、２４０ｆｐｓ映像の超解像の性能が十分に上がらない問題について言及している。
つまり、上記した従来の技術によると、２４０ｆｐｓ以上の高フレームレート映像の映像超解像を試みる場合、映像超解像が有効に機能しない場合が多い、という問題があった。

【0012】

従って、本発明の目的は、超高フレームレート映像でも安定した特性改善を実現する映像超解像方法、プログラム及び装置を提供することにある。

【課題を解決するための手段】

【0013】

本発明の一態様は、上記目的を達成するため、以下の映像超解像方法、プログラム及び装置を提供する。

【0014】

［１］入力映像からフレームレートの異なる画像群を作成するステップと、
当該作成した画像群毎に動き推定を行うステップと、
推定された動き量に基づいた一又は複数のフレームレートの画像群を選択するステップと、
前記選択した画像群に対して映像超解像を行った画像群の加重平均を行って高解像映像を生成するステップとを有する映像超解像方法。
［２］前記動き推定を行うステップは、前記画像群の画像内の領域単位、ブロック単位又は画素単位で動き推定を行い、
前記選択するステップは、前記画像群の画像内の領域単位、ブロック単位又は画素単位で推定された動き量に基づいた一又は複数のフレームレートを選択し、
前記高解像映像を生成するステップは、前記画像群の画像内の領域単位、ブロック単位又は画素単位で前記選択したフレームレートの画像群に対して映像超解像を行った画像群の加重平均を行って高解像映像を生成する前記［１］に記載の映像超解像方法。
［３］コンピュータを、
入力映像からフレームレートの異なる画像群を作成する作成手段と、
当該作成した画像群毎に動き推定を行う推定手段と、
推定された動き量に基づいた一又は複数のフレームレートの画像群を選択する選択手段と、
前記選択した画像群に対して映像超解像を行った画像群の加重平均を行って高解像映像を生成する平均手段として機能させるための映像超解像プログラム。
［４］前記推定手段は、前記画像群の画像内の領域単位、ブロック単位又は画素単位で動き推定を行い、
前記選択手段は、前記画像群の画像内の領域単位、ブロック単位又は画素単位で推定された動き量に基づいた一又は複数のフレームレートを選択し、
前記生成手段は、前記画像群の画像内の領域単位、ブロック単位又は画素単位で前記選択したフレームレートの画像群に対して映像超解像を行った画像群の加重平均を行って高解像映像を生成する前記［３］に記載の映像超解像プログラム。
［５］入力映像からフレームレートの異なる画像群を作成する作成手段と、
当該作成した画像群毎に動き推定を行う推定手段と、
推定された動き量に基づいた一又は複数のフレームレートの画像群を選択する選択手段と、
前記選択した画像群に対して映像超解像を行った画像群の加重平均を行って高解像映像を生成する平均手段とを有する映像超解像装置。
［６］前記推定手段は、前記画像群の画像内の領域単位、ブロック単位又は画素単位で動き推定を行い、
前記選択手段は、前記画像群の画像内の領域単位、ブロック単位又は画素単位で推定された動き量に基づいた一又は複数のフレームレートを選択し、
前記生成手段は、前記画像群の画像内の領域単位、ブロック単位又は画素単位で前記選択したフレームレートの画像群に対して映像超解像を行った画像群の加重平均を行って高解像映像を生成する前記［３］に記載の映像超解像装置。

【0015】

本願発明によれば、超高フレームレート映像でも安定した特性改善を実現することができる。

【図面の簡単な説明】

【0016】

【図1】図１は、映像超解像器の入出力を示すブロック図である。

【図2】図２は、最近の深層学習を用いた映像超解像装置の典型的な構成例を示す。

【図3】図３は、映像超解像の学習（トレーニング）の例を説明するための概略図である。

【図4】図４は、映像超解像の学習（トレーニング）の例を説明するための概略図である。

【図5】図５は、図４のトレーニングの完了後、推論ステップとして、フレームレートが異なる映像毎に映像超解像を実行する様子を説明するための概略図である。

【図6】図６は、フレームレート毎に高解像度映像を生成した場合の映像超解像の特性評価例を示すグラフ図である。

【図7】図７は、異なるフレーム間の動き量での映像超解像の原理を説明するための概略図である。

【図8】図８は、異なるフレーム間の動き量での映像超解像の原理を説明するための概略図である。

【図9】図９は、動き量毎の映像超解像の特性評価例を示すグラフ図である。

【図10】図１０は、本発明の第１の実施の形態に係る映像超解像装置の構成例を示すブロック図である。

【図11】図１１は、第１の実施の形態に係る映像超解像装置の映像超解像の結果の一例を示すグラフ図である。

【図12】図１２は、本発明の第２の実施の形態に係る映像超解像装置の構成例を示すブロック図である。

【図13】図１３は、最近の民生用途のカメラとスマートフォン、及び、イメージセンサーの動向を示す表である。

【発明を実施するための形態】

【0017】

図１は、映像超解像装置の入出力を示すブロック図である。

【0018】

映像超解像装置の映像超解像器１０１は、低解像映像を入力とし、高解像度映像を出力する。

【0019】

図２は、最近の深層学習を用いた映像超解像装置の典型的な構成例を示す（非特許文献８）。

【0020】

非特許文献８の映像超解像装置の映像超解像器１０１は、動き推定器１０２、特徴検出器１０３、再構成器１０４を有する。動き推定器１０２は、フレーム間のオプティカルフローの推定を行い、特徴検出器１０３はアテンション等の画像特徴量を検出する。再構成器１０４は、動き推定器１０２が求めたオプティカルフローと特徴検出器１０３が求めた画像特徴量を使用し、高解像度映像を生成する。

【0021】

図３及び図４は、それぞれ映像超解像の学習（トレーニング）の例を説明するための概略図である。

【0022】

図３では、フレームレートを考慮せずに映像超解像器１１１をトレーニングする。図４では、フレームレートの異なる映像毎のデータセットを作成し、映像超解像器１１２～１１８をトレーニングする。それぞれ、低解像度映像と高解像度映像（正解映像）のペアを用意し、映像超解像器のトレーニングを完了したのちに、推論（インファレンス）として、映像超解像器１１１～１１８は未知の低解像度映像を入力とし、高解像度映像を生成する。フレームレートが高いほどオプティカルフローの値は小さくなるため、通常は、図３の学習方式よりも、図４の学習方式の方が、より精度の高い映像超解像を実現できる。

【0023】

図５は、図４のトレーニングの完了後、推論ステップとして、フレームレートが異なる映像毎に映像超解像を実行する様子を説明するための概略図である。

【0024】

ここで、映像超解像器１２１は９６０ｆｐｓ映像群でトレーニングした映像超解像器を、映像超解像器１２２は４８０ｆｐｓ映像群でトレーニングした映像超解像器を、映像超解像器１２３は２４０ｆｐｓ映像群でトレーニングした映像超解像器を、映像超解像器１２４は３０ｆｐｓ映像群でトレーニングした映像超解像器を、それぞれ示している。

【0025】

図６は、フレームレート毎に高解像度映像を生成した場合の映像超解像の特性評価例を示すグラフ図である。

【0026】

フレームレートが６０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓ、４８０ｆｐｓ、９６０ｆｐｓの映像データセットと、フレームレートが６０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓ、４８０ｆｐｓ、９６０ｆｐｓの映像データセットでトレーニングした映像超解像器を用意し、入力とする低解像度映像のフレームレート（６０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓ、４８０ｆｐｓ、９６０ｆｐｓ）と、映像超解像器のトレーニングに用いたフレームレート（６０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓ、４８０ｆｐｓ、９６０ｆｐｓ）の全ての組合せについて高解像度映像を生成した場合のＰＳＮＲの比較を示す。

【0027】

この結果から、以下の傾向が読み取れる。
（１）フレームレート毎の結果としては、すべてのフレームレートについて、入力映像のフレームレートと映像超解像器のトレーニングに使用するフレームレートが一致している場合が最良のＰＳＮＲを示す。
（２）しかし、低フレームレートから高フレームレートまで、全体のＰＳＮＲとしては、６０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓとフレームレートが上がるにつれてＰＳＮＲが上がって行くが、さらに４８０ｆｐｓ、９６０ｆｐｓと上げていくとＰＳＮＲが下がって行く。

【0028】

非特許文献４では、フレームレートが上がるほどフレーム内挿の性能が上がることが示されているが、図６の結果は、映像超解像では、逆に性能が下がって行くことを示している。

【0029】

この現象を説明するために、図７と図８において映像超解像の基本的な原理を説明する。

【0030】

図７及び図８は、それぞれ異なるフレーム間の動き量での映像超解像の原理を説明するための概略図である。

【0031】

該当フレームの点線で示した円は半画素（０．５画素）位置の画素を示し、この画素の値を正確に推定することが超解像の目的となる。映像超解像の場合、動き推定によって、参照フレーム内に半画素ずれた画素が存在すれば、理想的な超解像が実現できる。また、図７と図８は片方向しか示していないが、参照フレームは過去方向、未来方向それぞれで利用可能なため、参照フレーム内に半画素ずれた画素が見つかる限り、動き推定によって映像超解像が適切に動作することが期待される。しかし、図７は動き量が非常に小さい場合であり、この場合は良好な超解像を実現できないことが予想される。フレームレートが高いほど、オプティカルフローの値は小さくなるため、２４０ｆｐｓ以上の高フレームレート映像では、図７のケースが多発することが予想される。一方、図８は、動き量がほぼ半画素の参照画素が見つかった場合であり、この場合は良好な超解像の実現が期待される。

【0032】

図９は、動き量毎の映像超解像の特性評価例を示すグラフ図である。

【0033】

図９は、９６０ｆｐｓ映像において、オプティカルフローの大きさと超解像のＰＳＮＲの関係を分布として示したものである。この結果から、上記の推測通り、オプティカルフローの値が０．５画素付近では良好なＰＳＮＲが得られている。一方で、オプティカルフローの値が小さい場合、及び、１画素を超える大きな値の場合には、映像超解像の効果は小さくなっていることがわかる。

【0034】

以上の考察を元に、第１の実施の形態を示す。

【0035】

［第１の実施の形態］
（映像超解像装置の構成）
図１０は、本発明の第１の実施の形態に係る映像超解像装置の構成例を示すブロック図である。

【0036】

映像超解像装置は、ダウンサンプリング器１３１、映像超解像器１３２～１３５、選択・平均器１３６を有する。ダウンサンプリング器１３１は、入力低解像度映像を複数のフレームレートに分割する。映像超解像器１３２～１３５は、それぞれ異なるフレームレートでトレーニングを行った映像超解像器を示し、低解像度映像の超解像を実行する。選択・平均器１３６は、映像超解像の結果として求められるオプティカルフローの大きさに応じて、映像超解像器を選択する。具体的には、オプティカルフローの値が０．５画素よりも小さい場合には、高フレームレートの映像超解像の結果は採用しないなどの選別を行う。最後に、選択した映像超解像結果の平均値を求め、最終的な高解像度映像を出力とする。

【0037】

図１１は、第１の実施の形態に係る映像超解像装置の映像超解像の結果の一例を示すグラフ図である。

【0038】

図１１は、９６０ｆｐｓの低解像度映像を入力とし、三つの方式で映像超解像を行った場合の、高解像度映像のＰＳＮＲの比較を示す。第一の手法（ｏｒｉｇｉｎａｌ）は９６０ｆｐｓでトレーニングした映像超解像器のみを用いる場合、第二の手法（ｆｐｓ ｅｎｓｅｍｂｌｅ）は図１０の選択・平均器１３６で選択を行わずに平均化のみを行う場合、第三の手法（ｆｐｓ ｅｎｓｅｍｂｌｅ ｗｉｔｈ ｓｅｌｅｃｔｉｏｎ）は図１０の選択・平均器１３６で選択と平均化のみを行う場合であり、第二・第三の手法によって、図６に示した映像超解像の問題を解決できていることがわかる。また、第二の手法と第三の手法の比較としては、オプティカルフローの小さ過ぎるフレームレートの結果を使用しないことで、ＰＳＮＲを改善できていることがわかる。

【0039】

（第１の実施の形態の効果）
上記した第１の実施の形態によれば、それぞれ異なるフレームレートでトレーニングを行った映像超解像器を用意し、オプティカルフローの大きさに応じて映像超解像器を選択するようにしたため、超高フレームレート映像でも安定した特性改善を実現することができる。

【0040】

なお、選択・平均器１３６は、一の映像超解像器を選択するだけでなく、複数の映像超解像器の加重平均を出力するものであってもよい。

【0041】

［第２の実施の形態］
図１２は、本発明の第２の実施の形態に係る映像超解像装置の構成例を示すブロック図である。

【0042】

映像超解像装置は、ダウンサンプリング器１３１、映像超解像器１３２～１３５、選択・平均器１３７を有する。

【0043】

図１０の第１の実施の形態との違いは、選択・平均器１３７であり、図２の動き推定器１０２の出力であるオプティカルフローに加え、特徴検出器１０３の出力である画像特徴量も使用し、画像内の領域単位、ブロック単位、もしくは画素単位に選択・平均化を実行することを特徴とする。

【0044】

（第２の実施の形態の効果）
上記した第２の実施の形態によれば、それぞれ異なるフレームレートでトレーニングを行った映像超解像器を用意し、オプティカルフローの大きさに応じて画像内の領域単位、ブロック単位、もしくは画素単位に映像超解像器を選択して、選択・平均化を実行するようにしたため、第１の実施の形態に比べて、画像の特徴量に基づいてさらに特性改善を実現することができる。

【0045】

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。

【0046】

また、上記実施の形態の各機能の全て又は一部は、プログラムで実現してもよいし、各機能専用のハードウエア、ＡＳＩＣ等のハードウエアによって実現してもよい。また、各機能をプログラムで実現した場合は、当該プログラムを不揮発性メモリ、ＣＤ－ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。

【0047】

また、各機能は、必ずしも一の装置上で実現する必要はなく、本発明の要旨を変更しない範囲内で、複数の装置上で分担して実現してもよい。

【産業上の利用可能性】

【0048】

上述したように、本発明によれば、映像信号の超解像を行うシステムにおいて、２４０ｆｐｓを超える超高フレームレート映像の良好な超解像を可能にする。

【符号の説明】

【0049】

１０１ ：映像超解像器
１０２ ：動き推定器
１０３ ：特徴検出器
１０４ ：再構成器
１１１－１１８：映像超解像器
１２１－１２４：映像超解像器
１３１ ：ダウンサンプリング器
１３２－１３５：映像超解像器
１３６、１３７：平均器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】