特表 2024-545535 ビデオの超解像化方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-09

(54)【発明の名称】ビデオの超解像化方法及び装置

(51)【国際特許分類】

   G06T 3/4053 20240101AFI20241202BHJP

   G06T 3/4046 20240101ALI20241202BHJP

   G06T 7/223 20170101ALI20241202BHJP

【ＦＩ】

G06T3/4053

G06T3/4046

G06T7/223

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024539756

(86)(22)【出願日】2023-03-17

(85)【翻訳文提出日】2024-07-03

(86)【国際出願番号】 CN2023082228

(87)【国際公開番号】W WO2023174416

(87)【国際公開日】2023-09-21

(31)【優先権主張番号】202210265124.7

(32)【優先日】2022-03-17

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520476341

【氏名又は名称】北京字節跳動網絡技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇 利明

(72)【発明者】

【氏名】ドォン，ハン

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CD05

5B057CE10

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5B057DC17

5B057DC36

5B057DC40

5L096AA02

5L096AA06

5L096CA04

5L096DA01

5L096HA02

5L096HA11

5L096KA04

5L096MA03

(57)【要約】

本開示の実施例は、ビデオの超解像化方法及び装置を提供し、画像処理技術分野に関する。この方法は、超解像化すべきビデオのｔ番目の画像フレームとｔ番目の画像フレームの近傍画像フレームをＮ個の画像ブロックにそれぞれ分解することと、Ｎ個の画像ブロックシーケンスを生成することであって、画像ブロックシーケンスにおける各画像ブロックがそれぞれ異なる画像フレームの同じ位置に位置することと、各画像ブロックシーケンスの運動パラメータを計算することであって、画像ブロックシーケンスの運動パラメータは、この画像ブロックシーケンスにおける各隣接する画像フレームの画像ブロックの間の運動パラメータを含むことと、各画像ブロックシーケンスの運動パラメータに基づいて各画像ブロックシーケンスに対応する超解像化ネットワークモデルを決定することと、対応する超解像化ネットワークモデルを採用して各画像ブロックシーケンスにおけるｔ番目の画像フレームの画像ブロックを超解像化し、ｔ番目の画像フレームの各超解像化画像ブロックを取得することと、ｔ番目の画像フレームの各超解像化画像ブロックに基づいてｔ番目の画像フレームの超解像化画像フレームを生成することとを含む。

【特許請求の範囲】

【請求項1】

ビデオの超解像化方法であって、
超解像化すべきビデオのｔ番目の画像フレームと前記ｔ番目の画像フレームの近傍画像フレームをＮ個の画像ブロックにそれぞれ分解することであって、ｔ、Ｎがいずれも正整数であることと、
前記ｔ番目の画像フレームと前記近傍画像フレームを分解して得られた画像ブロックに基づいて、Ｎ個の画像ブロックシーケンスを生成することであって、前記画像ブロックシーケンスにおける各画像ブロックがそれぞれ異なる画像フレームの同じ位置に位置することと、
各画像ブロックシーケンスの運動パラメータを計算することであって、いずれか一つの画像ブロックシーケンスの運動パラメータは、この画像ブロックシーケンスにおける各隣接する画像フレームの画像ブロックの間のオプティカルフローを表すために用いられることと、
各画像ブロックシーケンスの運動パラメータに基づいて各画像ブロックシーケンスに対応する超解像化ネットワークモデルを決定することと、
各画像ブロックシーケンスに対応する超解像化ネットワークモデルを採用して各画像ブロックシーケンスにおける前記ｔ番目の画像フレームの画像ブロックを超解像化し、前記ｔ番目の画像フレームの各超解像化画像ブロックを取得することと、
前記ｔ番目の画像フレームの各超解像化画像ブロックに基づいて前記ｔ番目の画像フレームの超解像化画像フレームを生成することとを含む、ビデオの超解像化方法。

【請求項2】

各画像ブロックシーケンスの運動パラメータを計算することは、
各画像ブロックシーケンスに対して、前記画像ブロックシーケンスにおける各隣接する画像フレームの画像ブロックの間のオプティカルフローを計算することと、
各対の隣接する画像フレームの画像ブロックの間のオプティカルフローに対して、各画素に対応するオプティカルフローの絶対値の平均値を計算し、前記隣接する画像フレームの画像ブロックの間の運動パラメータを取得することと、
前記画像ブロックシーケンスにおける各隣接する画像フレームの画像ブロックの間の運動パラメータに基づいて、前記画像ブロックシーケンスの運動パラメータを取得することとを含む、請求項１に記載のビデオの超解像化方法。

【請求項3】

前記ｔ番目の画像フレームの近傍画像フレームは、
ｔ－２番目の画像フレーム、ｔ－１番目の画像フレーム、ｔ＋１番目の画像フレーム及びｔ＋２番目の画像フレームを含む、請求項１に記載のビデオの超解像化方法。

【請求項4】

各画像ブロックシーケンスの運動パラメータに基づいて各画像ブロックシーケンスに対応する超解像化ネットワークモデルを決定することは、
各画像ブロックシーケンスに対して、前記画像ブロックシーケンスの第一の運動パラメータと第二の運動パラメータがいずれも予め設定された閾値よりも小さいかどうかを決定することであって、前記第一の運動パラメータは、前記ｔ番目の画像フレームの画像ブロックと前記ｔ－１番目の画像フレームの画像ブロックとの間の運動パラメータであり、前記第二の運動パラメータは、前記ｔ番目の画像フレームの画像ブロックと前記ｔ＋１番目の画像フレームの画像ブロックとの間の運動パラメータであることと、
前記第一の運動パラメータと前記第二の運動パラメータがいずれも前記予め設定された閾値よりも小さい場合に、前記画像ブロックシーケンスに対応する超解像化ネットワークモデルを第一の超解像化ネットワークモデルとして決定することと、
前記第一の運動パラメータ及び／又は前記第二の運動パラメータが前記予め設定された閾値以上である場合に、前記画像ブロックシーケンスの第三の運動パラメータと第四の運動パラメータがいずれも予め設定された閾値よりも小さいかどうかを決定することであって、前記第三の運動パラメータは、前記ｔ－２番目の画像フレームの画像ブロックと前記ｔ－１番目の画像フレームの画像ブロックとの間の運動パラメータであり、前記第四の運動パラメータは、前記ｔ＋１番目の画像フレームの画像ブロックと前記ｔ＋２番目の画像フレームの画像ブロックとの間の運動パラメータであることと、
前記第三の運動パラメータと前記第四の運動パラメータがいずれも前記予め設定された閾値よりも小さい場合に、前記画像ブロックシーケンスに対応する超解像化ネットワークモデルを第二の超解像化ネットワークモデルとして決定することと、
前記第三の運動パラメータ及び／又は前記第四の運動パラメータが前記予め設定された閾値以上である場合に、前記画像ブロックシーケンスに対応する超解像化ネットワークモデルを第三の超解像化ネットワークモデルとして決定することとを含む、請求項３に記載のビデオの超解像化方法。

【請求項5】

前記第一の超解像化ネットワークモデルは、単一フレームの超解像化ネットワークモデルであり、
前記第二の超解像化ネットワークモデルは、前記ｔ－１番目の画像フレームの画像ブロック、前記ｔ番目の画像フレームの画像ブロック及び前記ｔ＋１番目の画像フレームの画像ブロックに基づいて、前記ｔ番目の画像フレームの画像ブロックを超解像化するために用いられ、
前記第三の超解像化ネットワークモデルは、画像ブロックシーケンスにおけるすべての画像ブロックに基づいて前記ｔ番目の画像フレームの画像ブロックを超解像化するために用いられる、請求項４に記載のビデオの超解像化方法。

【請求項6】

前記第一の超解像化ネットワークモデルにより前記ｔ番目の画像フレームの画像ブロックを超解像化することは、
カスケード変形可能な畳み込みＰＣＤ整列モジュールにより前記ｔ番目の画像フレームの画像ブロックを処理して第一の特徴を取得することと、
特徴融合モジュールにより前記第一の特徴を処理し、チャンネル次元で複数の前記第一の特徴をスティッチングして得られる特徴である第二の特徴を取得することと、
再構築モジュールにより前記第二の特徴を再構築し、第一の画像ブロックを取得することと、
アップサンプリングモジュールにより前記第一の画像ブロックに対してアップサンプリングを行い、前記ｔ番目の画像フレームの画像ブロックに対応する超解像化画像ブロックを取得することとを含む、請求項５に記載のビデオの超解像化方法。

【請求項7】

前記第二の特徴は、チャンネル次元で五つの前記第一の特徴をスティッチングして得られる特徴である、請求項６に記載のビデオの超解像化方法。

【請求項8】

前記第二の超解像化ネットワークモデルにより前記ｔ番目の画像フレームの画像ブロックを超解像化することは、
ＰＣＤ整列モジュールにより前記ｔ－１番目の画像フレームの画像ブロック、前記ｔ番目の画像フレームの画像ブロック及び前記ｔ＋１番目の画像フレームの画像ブロックを処理し、第三の特徴を取得することであって、前記第三の特徴は、チャンネル次元で第四の特徴、第五の特徴及び第六の特徴をスティッチングして得られる特徴であり、前記第四の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ－１番目の画像フレームの画像ブロックと前記ｔ番目の画像フレームの画像ブロックを処理して得られる特徴であり、前記第五の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ番目の画像フレームの画像ブロックを処理して得られる特徴であり、前記第六の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ番目の画像フレームの画像ブロックと前記ｔ＋１番目の画像フレームの画像ブロックを処理して得られる特徴であることと、
特徴融合モジュールにより前記第三の特徴を処理し、第七の特徴を取得することであって、前記第七の特徴は、チャンネル次元で前記第四の特徴、前記第三の特徴及び前記第五の特徴をスティッチングして得られる特徴であることと、
再構築モジュールにより前記第七の特徴を再構築し、第二の画像ブロックを取得することと、
アップサンプリングモジュールにより前記第二の画像ブロックに対してアップサンプリングを行い、前記ｔ番目の画像フレームの画像ブロックに対応する超解像化画像ブロックを取得することとを含む、請求項５に記載のビデオの超解像化方法。

【請求項9】

前記第三の超解像化ネットワークモデルにより画像ブロックシーケンスにおける前記ｔ番目の画像フレームの画像ブロックを超解像化することは、
ＰＣＤ整列モジュールにより画像ブロックシーケンスにおけるすべての画像ブロックを処理し、第八の特徴を取得することであって、前記第八の特徴は、チャンネル次元で第九の特徴、第十の特徴、第十一の特徴、第十二の特徴及び第十三の特徴をスティッチングして得られる特徴であり、前記第九の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ－２番目の画像フレームの画像ブロックと前記ｔ－１番目の画像フレームの画像ブロックを処理して得られる特徴であり、前記第十の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ－１番目の画像フレームの画像ブロックと前記ｔ番目の画像フレームの画像ブロックを処理して得られる特徴であり、前記第十一の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ番目の画像フレームの画像ブロックを処理して得られる特徴であり、前記第十二の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ番目の画像フレームの画像ブロックと前記ｔ＋１番目の画像フレームの画像ブロックを処理して得られる特徴であり、前記第十三の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ＋１番目の画像フレームの画像ブロックと前記ｔ＋２番目の画像フレームの画像ブロックを処理して得られる特徴であることと、
特徴融合モジュールにより前記第八の特徴を処理し、第十四の特徴を取得することと、
再構築モジュールにより前記第十四の特徴を再構築し、第三の画像ブロックを取得することと、
アップサンプリングモジュールにより前記第三の画像ブロックに対してアップサンプリングを行い、画像ブロックシーケンスにおける前記ｔ番目の画像フレームの画像ブロックに対応する超解像化画像ブロックを取得することとを含む、請求項５に記載のビデオの超解像化方法。

【請求項10】

前記ｔ番目の画像フレームと前記近傍画像フレームを分解して得られた画像ブロックのうちの隣接する画像ブロックは、重なり領域を有し、前記ｔ番目の画像フレームの各超解像化画像ブロックに基づいて前記ｔ番目の画像フレームの超解像化画像フレームを生成することは、
前記ｔ番目の画像フレームの各超解像化画像ブロックをスティッチングし、スティッチング画像を生成することと、
前記スティッチング画像における各超解像化画像ブロックの重なり領域の各画素の画素値を、各超解像化画像ブロックにおける対応する画素の画素値の平均値として設定し、前記ｔ番目の画像フレームの超解像化画像フレームを生成することとを含む、請求項１に記載のビデオの超解像化方法。

【請求項11】

超解像化すべきビデオのｔ番目の画像フレームをＮ個の画像ブロックに分解することは、
一つの画像ブロックのサイズであるサンプリングウィンドウにより、前記ｔ番目の画像フレームの一番目の画素から始まり、予め設定されるステップサイズでスライドして前記ｔ番目の画像フレームの各位置をサンプリングし、サンプリングウィンドウの各サンプリング領域を一つの画像ブロックとし、Ｎ個の画像ブロックを得ることを含む、請求項１に記載のビデオの超解像化方法。

【請求項12】

ビデオの超解像化装置であって、
超解像化すべきビデオのｔ番目の画像フレームと前記ｔ番目の画像フレームの近傍画像フレームをＮ個の画像ブロックにそれぞれ分解するための画像分解モジュールであって、ｔ、Ｎがいずれも正整数である画像分解モジュールと、
前記ｔ番目の画像フレームと前記近傍画像フレームを分解して得られた画像ブロックに基づいて、Ｎ個の画像ブロックシーケンスを生成するためのシーケンス生成モジュールであって、前記画像ブロックシーケンスにおける各画像ブロックがそれぞれ異なる画像フレームの同じ位置に位置するシーケンス生成モジュールと、
各画像ブロックシーケンスの運動パラメータを計算するためのパラメータ計算モジュールであって、いずれか一つの画像ブロックシーケンスの運動パラメータは、この画像ブロックシーケンスにおける各隣接する画像フレームの画像ブロックの間のオプティカルフローを表すために用いられるパラメータ計算モジュールと、
各画像ブロックシーケンスの運動パラメータに基づいて各画像ブロックシーケンスに対応する超解像化ネットワークモデルを決定するためのモデル決定モジュールと、
各画像ブロックシーケンスに対応する超解像化ネットワークモデルを採用して各画像ブロックシーケンスにおける前記ｔ番目の画像フレームの画像ブロックを超解像化し、前記ｔ番目の画像フレームの各超解像化画像ブロックを取得するための画像超解像化モジュールと、
前記ｔ番目の画像フレームの各超解像化画像ブロックに基づいて前記ｔ番目の画像フレームの超解像化画像フレームを生成する画像生成モジュールとを含む、ビデオの超解像化装置。

【請求項13】

電子機器であって、
メモリとプロセッサとを含み、
前記メモリは、命令を記憶するために用いられ、
前記プロセッサは、前記命令を実行する時、請求項１から１１のいずれか１項に記載のビデオの超解像化方法を前記電子機器に実現させるために用いられる、電子機器。

【請求項14】

コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には命令が記憶されており、前記命令がプロセッサにより実行される時、請求項１から１１のいずれか１項に記載のビデオの超解像化方法を実現する、コンピュータ可読記憶媒体。

【請求項15】

コンピュータプログラム製品であって、前記コンピュータプログラム製品がコンピュータ上で運行される時、請求項１から１１のいずれか１項に記載のビデオの超解像化方法を前記コンピュータに実現させる、コンピュータプログラム製品。

【請求項16】

コンピュータプログラムであって、
命令を含み、前記命令がプロセッサにより実行される時、請求項１から１１のいずれか１項に記載のビデオの超解像化方法を前記プロセッサに実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本開示は、中国出願番号が２０２２１０２６５１２４．７であり、出願日が２０２２年０３月１７日の出願をベースとし、その優先権を主張し、この中国出願の開示内容は、ここでは全体として本開示に組み込まれる。

【0002】

［技術分野］
本開示は、画像処理の技術分野に関し、特に、ビデオの超解像化方法及び装置に関する。

【背景技術】

【0003】

ビデオの超解像技術は、ビデオ超解像化（超解像度）技術とも呼ばれ、低解像度のビデオから高解像度のビデオを復元する技術である。ビデオ超解像化業務は、現在、すでにビデオ画質の強化における重要な業務となっているため、ビデオ超解像化技術は、現在画像処理という分野の研究ホットスポットのうちの一つである。

【0004】

近年、深層学習技術の発展に伴い、深層学習ニューラルネットワークに基づくビデオ超解像化ネットワークモデルは、より良い超解像化効果及びより良いリアルタイム性を含む多くの突破を実現する。現在、主流のスライドウィンドウ型ビデオ超解像化ネットワークモデルは、いずれも、ビデオのほとんどの画像フレームがいずれも運動中にあり、ビデオにおける各画像フレームを超解像化する時、ビデオ超解像化ネットワークモデルが現在画像フレームを超解像化するために、その近傍画像フレームがいずれも大量の時間領域情報を提供できることを利用する。

【発明の概要】

【課題を解決するための手段】

【0005】

第一の態様によれば、本開示の実施例は、ビデオの超解像化方法を提供し、このビデオの超解像化方法は、
それぞれ超解像化すべきビデオのｔ番目の画像フレームと前記ｔ番目の画像フレームの近傍画像フレームをＮ個の画像ブロックに分解することであって、ｔ、Ｎがいずれも正整数であることと、
前記ｔ番目の画像フレームと前記近傍画像フレームを分解して得られた画像ブロックに基づいて、Ｎ個の画像ブロックシーケンスを生成することであって、前記画像ブロックシーケンスにおける各画像ブロックがそれぞれ異なる画像フレームの同じ位置に位置することと、
各画像ブロックシーケンスの運動パラメータを計算することであって、いずれか一つの画像ブロックシーケンスの運動パラメータは、この画像ブロックシーケンスにおける各隣接する画像フレームの画像ブロックの間のオプティカルフローを表すために用いられることと、
各画像ブロックシーケンスの運動パラメータに基づいて各画像ブロックシーケンスに対応する超解像化ネットワークモデルを決定することと、
各画像ブロックシーケンスに対応する超解像化ネットワークモデルを採用して各画像ブロックシーケンスにおける前記ｔ番目の画像フレームの画像ブロックを超解像化し、前記ｔ番目の画像フレームの各超解像化画像ブロックを取得することと、
前記ｔ番目の画像フレームの各超解像化画像ブロックに基づいて前記ｔ番目の画像フレームの超解像化画像フレームを生成することとを含む。

【0006】

第二の態様によれば、本開示の実施例は、ビデオの超解像化装置を提供し、このビデオの超解像化装置は、
超解像化すべきビデオのｔ番目の画像フレームと前記ｔ番目の画像フレームの近傍画像フレームをＮ個の画像ブロックにそれぞれ分解するための画像分解モジュールであって、ｔ、Ｎがいずれも正整数である画像分解モジュールと、
前記ｔ番目の画像フレームと前記近傍画像フレームを分解して得られた画像ブロックに基づいて、Ｎ個の画像ブロックシーケンスを生成するためのシーケンス生成モジュールであって、前記画像ブロックシーケンスにおける各画像ブロックがそれぞれ異なる画像フレームの同じ位置に位置するシーケンス生成モジュールと、
各画像ブロックシーケンスの運動パラメータを計算するためのパラメータ計算モジュールであって、いずれか一つの画像ブロックシーケンスの運動パラメータは、この画像ブロックシーケンスにおける各隣接する画像フレームの画像ブロックの間のオプティカルフローを表すために用いられるパラメータ計算モジュールと、
各画像ブロックシーケンスの運動パラメータに基づいて各画像ブロックシーケンスに対応する超解像化ネットワークモデルを決定するためのモデル決定モジュールと、
各画像ブロックシーケンスに対応する超解像化ネットワークモデルを採用して各画像ブロックシーケンスにおける前記ｔ番目の画像フレームの画像ブロックを超解像化し、前記ｔ番目の画像フレームの各超解像化画像ブロックを取得するための画像超解像化モジュールと、
前記ｔ番目の画像フレームの各超解像化画像ブロックに基づいて前記ｔ番目の画像フレームの超解像化画像フレームを生成するための画像生成モジュールとを含む。

【0007】

第三の態様によれば、本開示の実施例は、電子機器を提供し、この電子機器は、メモリとプロセッサとを含み、前記メモリは、コンピュータプログラムを記憶するために用いられ、前記プロセッサは、コンピュータプログラムを呼び出す時、第一の態様又は第一の態様のいずれか一つの選択的な実施形態に記載のビデオの超解像化方法を前記電子機器に実現させるために用いられる。

【0008】

第四の態様によれば、本開示の実施例は、コンピュータプログラムが保存されているコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムがコンピューティング機器により実行される時、第一の態様又は第一の態様のいずれか一つの選択的な実施形態に記載のビデオの超解像化方法を前記コンピューティング機器に実現させる。

【0009】

第五の態様によれば、本開示の実施例は、コンピュータプログラム製品を提供し、前記コンピュータプログラム製品がコンピュータ上で運行される時、第一の態様又は第一の態様のいずれか一つの選択的な実施形態に記載のビデオの超解像化方法を前記コンピュータに実現させる。

【図面の簡単な説明】

【0010】

ここで、図面は、明細書に組み込まれ且つ本明細書の一部を構成し、本開示に適合する実施例を示し、明細書とともに本開示の原理を解釈するために使用される。

【0011】

本開示の実施例又は関連技術における技術案をより明確に説明するために、以下は、実施例又は関連技術記述において使用される必要のある図面を簡単に紹介し、明らかに、当業者にとって、創造的な労力を払わない前提で、これらの図面に基づいて他の図面を得ることもできる。

【図1】本開示の実施例によるビデオの超解像化方法のステップフローチャートである。

【図2】本開示の実施例による画像フレームを分解して得られる画像ブロックの概略図である。

【図3】本開示の実施例による画像ブロックシーケンスの概略図である。

【図4】本開示の実施例による画像ブロック方式の概略図である。

【図5】本開示の実施例による超解像化方法を実現するモデルの概略図である。

【図6】本開示の実施例による適応型超解像化モジュールの概略図である。

【図7】本開示の実施例による第一の超解像化ネットワークモデルの概略図である。

【図8】本開示の実施例による第二の超解像化ネットワークモデルの概略図である。

【図9】本開示の実施例による第三の超解像化ネットワークモデルの概略図である。

【図10】本開示の実施例によるビデオの超解像化装置の概略図である。

【図11】本開示の実施例による電子機器のハードウェア構造概略図である。

【発明を実施するための形態】

【0012】

本開示の上記目的、特徴及び利点をより明瞭に理解することができるように、以下に本開示の方案をさらに記述する。説明すべきこととして、矛盾しない限り、本開示の実施例及び実施例における特徴は、互いに組み合わせられる可能である。

【0013】

以下の記述において本開示を十分に理解するために多くの具体的な詳細を説明するが、本開示は、ここで記述されていない他の方式で実施することもでき、明らかに、明細書における実施例は、本開示の一部の実施例にすぎず、すべての実施例ではない。

【0014】

説明すべきこととして、本開示の実施例の技術案を容易で明瞭に記述するために、本開示の実施例では、「第一」、「第二」などの文字を採用して、機能や作用が基本的に同じである同一項又は類似項を区別し、当業者であれば理解できるように、「第一」、「第二」などの文字は、数及び実行手順を限定するものではない。例えば、第一の特徴画像セットと第二の特徴画像セットは、ただ異なる特徴画像セットを区別するためのものにすぎず、特徴画像セットの順序などを限定するものではない。

【0015】

本開示の実施例では、「例示的」又は「例えば」などの用語は、例、例証又は説明として表すために用いられる。本開示の実施例では「例示的」又は「例えば」と記述される任意の実施例又は設計案は、他の実施例又は設計案に比べてより好ましいか、又はより優位性があると解釈されるべきではない。正確に言えば、「例示的」又は「例えば」などの用語を使用することは、関連概念を具体的な方式で示すことを意図する。なお、本開示の実施例の記述において、特に断りのない限り、「複数の」の意味は、二つ以上である。

【0016】

関連技術において、スライドウィンドウ型ビデオ超解像化ネットワークモデルは、いずれも、ビデオのほとんどの画像フレームがいずれも運動中にあり、ビデオにおける各画像フレームを超解像化する時、ビデオ超解像化ネットワークモデルが現在画像フレームを超解像化するために、その近傍画像フレームがいずれも大量の時間領域情報を提供できることを利用する。しかしながら、いくつかのビデオにおける一部の領域は、常に静止した物体又は背景であり、このようなビデオを超解像化する時、静止した物体又は背景による時間領域冗長情報により、近傍画像フレームを入力として採用すると、理想的なビデオ超解像化効果を取得できず、ひいては超解像化効果が単一の画像フレームに基づいて超解像化する超解像化効果に及ばないことが多い。以上をまとめると、ビデオに時間領域冗長情報が存在する時、どのようにビデオの超解像化効果を高めるかは、一つの早急に解決すべき課題である。

【0017】

そこで、本開示は、ビデオの超解像化効果を高めるためのビデオの超解像化方法及び装置を提供する。

【0018】

本開示の実施例は、ビデオの超解像化方法を提供し、図１に示すステップフローチャートを参照すると、本開示の実施例によるビデオの超解像化方法は、以下のようなステップＳ１１～Ｓ１６を含む。

【0019】

Ｓ１１：超解像化すべきビデオのｔ番目の画像フレームと前記ｔ番目の画像フレームの近傍画像フレームをＮ個の画像ブロックにそれぞれ分解する。

【0020】

ここで、ｔ、Ｎがいずれも正整数である。

【0021】

いくつかの実施例では、いずれか一つの画像フレームをＮ個の画像ブロックに分解する実現方式は、一つの画像ブロックのサイズであるサンプリングウィンドウにより、この画像フレームの一番目の画素から始まり、予め設定されるステップサイズでスライドしてこの画像フレームの各位置をサンプリングし、サンプリングウィンドウの各サンプリング領域を一つの画像ブロックとし、それによってこの画像フレームをＮ個の画像ブロックに分解することを含む。

【0022】

例示的には、図２に示すように、超解像化すべきビデオのｔ番目の画像フレームは、１０２４＊５１２個の画素を含み、サンプリングウィンドウのサイズが７２＊７２、ステップサイズが６４である時、超解像化すべきビデオのｔ番目の画像フレームを１６＊８個の画像ブロックに分解することができ、各画像ブロックは、７２＊７２個の画素を含み、且つ隣接する画像ブロックの間は重なり領域を有し、重なり領域の幅は、８つの画素である。

【0023】

Ｓ１２：前記ｔ番目の画像フレームと前記近傍画像フレームを分解して得られた画像ブロックに基づいて、Ｎ個の画像ブロックシーケンスを生成する。

【0024】

ここで、前記画像ブロックシーケンスにおける各画像ブロックがそれぞれ異なる画像フレームの同じ位置に位置する。

【0025】

例示的には、図３に示すように、前記ｔ番目の画像フレーム３３の近傍画像フレームがｔ－２番目の画像フレーム３１、ｔ－１番目の画像フレーム３２、ｔ＋１番目の画像フレーム３４及びｔ＋２番目の画像フレーム３５を含むことを例とする。各画像ライブラリシーケンスには５つの画像ブロックが含まれ、この５つの画像ブロックは、それぞれｔ－２番目の画像フレーム３１、ｔ－１番目の画像フレーム３２、ｔ番目の画像フレーム３３、ｔ＋１番目の画像フレーム３４及びｔ＋２番目の画像フレーム３５の画像ブロックであり、且つ同一画像ブロックシーケンスに位置する各画像ブロックの、それぞれの属する画像フレームにおける位置が同じである。

【0026】

Ｓ１３：各画像ブロックシーケンスの運動パラメータを計算する。

【0027】

ここで、いずれか一つの画像ブロックシーケンスの運動パラメータは、この画像ブロックシーケンスにおける各隣接する画像フレームの画像ブロックの間のオプティカルフローを表すために用いられる。

【0028】

例示的には、画像ブロックシーケンス

【数1】

は、ｔ－２番目の画像フレームの画像ブロック

【数2】

、ｔ－１番目の画像フレームの画像ブロック

【数3】

、ｔ番目の画像フレームの画像ブロック

【数4】

、ｔ＋１番目の画像フレームの画像ブロック

【数5】

及びｔ＋２番目の画像フレームの画像ブロック

【数6】

を含み、画像ブロックシーケンス

【数7】

の運動パラメータは、画像ブロック

【数8】

と画像ブロック

【数9】

との間のオプティカルフロー、画像ブロック

【数10】

と画像ブロック

【数11】

との間のオプティカルフロー、画像ブロック

【数12】

と画像ブロック

【数13】

との間のオプティカルフロー及び画像ブロック

【数14】

と画像ブロック

【数15】

との間のオプティカルフローを表すために用いられる。

【0029】

本開示の実施例の一つの選択的な実施形態としては、前記した、各画像ブロックシーケンスの運動パラメータを計算することは、各画像ブロックシーケンスに対して以下のようなステップａ～ステップｃを実行することを含む。

【0030】

ステップａ：前記画像ブロックシーケンスにおける各隣接する画像フレームの画像ブロックの間のオプティカルフローを計算する。

【0031】

以上のように、画像ブロックシーケンス

【数16】

は、ｔ－２番目の画像フレームの画像ブロック

【数17】

、ｔ－１番目の画像フレームの画像ブロック

【数18】

、ｔ番目の画像フレームの画像ブロック

【数19】

、ｔ＋１番目の画像フレームの画像ブロック

【数20】

及びｔ＋２番目の画像フレームの画像ブロック

【数21】

を含み、画像ブロック

【数22】

と画像ブロック

【数23】

との間のオプティカルフロー、画像ブロック

【数24】

と画像ブロック

【数25】

との間のオプティカルフロー、画像ブロック

【数26】

と画像ブロック

【数27】

との間のオプティカルフロー及び画像ブロック

【数28】

と画像ブロック

【数29】

との間のオプティカルフローを計算する。

【0032】

例示的には、密集逆探索（Ｄｅｎｓｅ Ｉｎｖｅｒｓｅ Ｓｅａｒｃｈ、ＤＩＳ）というオプティカルフローアルゴリズムに基づいて、前記画像ブロックシーケンスにおける各隣接する画像フレームの画像ブロックの間のオプティカルフローを計算することができる。

【0033】

ステップｂ：各対の隣接する画像フレームの画像ブロックの間のオプティカルフローに対して、各画素に対応するオプティカルフローの絶対値の平均値を計算し、前記隣接する画像フレームの画像ブロックの間の運動パラメータを取得する。

【0034】

画像ブロックシーケンス

【数30】

における隣接する画像フレームの画像ブロックの間の運動パラメータを、

【数31】

と表し、オプティカルフローアルゴリズムを

【数32】

と表し、各画素に対応するオプティカルフローの平均値を

【数33】

と表し、絶対値を｜．．．｜と表すと、

【数34】

例えば、画像ブロック

【数35】

と画像ブロック

【数36】

との間の運動パラメータは、以下のとおりであり、

【数37】

また例えば、画像ブロック

【数38】

と画像ブロック

【数39】

との間の運動パラメータは、以下のとおりであり、

【数40】

Ｓ１４：各画像ブロックシーケンスの運動パラメータに基づいて各画像ブロックシーケンスに対応する超解像化ネットワークモデルを決定する。

【0035】

本開示の実施例の一つの選択的な実施形態としては、前記ｔ番目の画像フレームの近傍画像フレームは、ｔ－２番目の画像フレーム、ｔ－１番目の画像フレーム、ｔ＋１番目の画像フレーム及びｔ＋２番目の画像フレームを含み、上記ステップＳ１４（各画像ブロックシーケンスの運動パラメータに基づいて各画像ブロックシーケンスに対応する超解像化ネットワークモデルを決定する）は、各画像ブロックシーケンスに対して以下のようなステップ１～ステップ５を実行することを含む。

【0036】

ステップ１：前記画像ブロックシーケンスの第一の運動パラメータと第二の運動パラメータがいずれも予め設定された閾値よりも小さいかどうかを決定する。

【0037】

ここで、前記第一の運動パラメータは、前記ｔ番目の画像フレームの画像ブロックと前記ｔ－１番目の画像フレームの画像ブロックとの間の運動パラメータであり、前記第二の運動パラメータは、前記ｔ番目の画像フレームの画像ブロックと前記ｔ＋１番目の画像フレームの画像ブロックとの間の運動パラメータである。

【0038】

ｔ番目の画像フレームの画像ブロック

【数41】

と前記ｔ－１番目の画像フレームの画像ブロック

【数42】

との間の運動パラメータを

【数43】

、ｔ＋１番目の画像フレームの画像ブロック

【数44】

と前記ｔ番目の画像フレームの画像ブロック

【数45】

との間の運動パラメータを

【数46】

、予め設定された閾値をγとすると、上記ステップ１において、

【数47】

がγよりも小さいかどうかをそれぞれ判断する。

【0039】

上記ステップ１において、前記第一の運動パラメータと前記第二の運動パラメータがいずれも前記予め設定された閾値よりも小さい場合に、以下のようなステップ２を実行する。

【0040】

ステップ２：前記画像ブロックシーケンスに対応する超解像化ネットワークモデルを第一の超解像化ネットワークモデルとして決定する。

【0041】

本開示の実施例の一つの選択的な実施形態としては、前記第一の超解像化ネットワークモデルは、単一フレームの超解像化ネットワークモデルである。

【0042】

上記ステップ１において、前記第一の運動パラメータ及び／又は前記第二の運動パラメータが前記予め設定された閾値以上である場合に、以下のようなステップ３を実行する。

【0043】

ステップ３：前記画像ブロックシーケンスの第三の運動パラメータと第四の運動パラメータがいずれも予め設定された閾値よりも小さいかどうかを決定する。

【0044】

ここで、前記第三の運動パラメータは、前記ｔ－２番目の画像フレームの画像ブロックと前記ｔ－１番目の画像フレームの画像ブロックとの間の運動パラメータであり、前記第四の運動パラメータは、前記ｔ＋１番目の画像フレームの画像ブロックと前記ｔ＋２番目の画像フレームの画像ブロックとの間の運動パラメータである。

【0045】

ｔ－２番目の画像フレームの画像ブロック

【数48】

と前記ｔ－１番目の画像フレームの画像ブロック

【数49】

との間の運動パラメータを

【数50】

とし、ｔ＋１番目の画像フレームの画像ブロック

【数51】

と前記ｔ＋２番目の画像フレームの画像ブロック

【数52】

との間の運動パラメータを

【数53】

とし、予め設定された閾値をγとすると、上記ステップ３において、

【数54】

がγよりも小さいかどうかをそれぞれ判断する。

【0046】

上記ステップ３において、前記第三の運動パラメータと前記第四の運動パラメータがいずれも前記予め設定された閾値よりも小さい場合に、以下のようなステップ４を実行する。

【0047】

ステップ４：前記画像ブロックシーケンスに対応する超解像化ネットワークモデルを第二の超解像化ネットワークモデルとして決定する。

【0048】

本開示の実施例の一つの選択的な実施形態としては、前記第二の超解像化ネットワークモデルは、前記ｔ－１番目の画像フレームの画像ブロック、前記ｔ番目の画像フレームの画像ブロック及び前記ｔ＋１番目の画像フレームの画像ブロックに基づいて、前記ｔ番目の画像フレームの画像ブロックを超解像化するために用いられる。

【0049】

上記ステップ３において、前記第三の運動パラメータ及び／又は前記第四の運動パラメータが前記予め設定された閾値以上である場合に、以下のようなステップ５を実行する。

【0050】

ステップ５：前記画像ブロックシーケンスに対応する超解像化ネットワークモデルを第三の超解像化ネットワークモデルとして決定する。

【0051】

本開示の実施例の一つの選択的な実施形態としては、前記第三の超解像化ネットワークモデルは、画像ブロックシーケンスにおけるすべての画像ブロックに基づいて前記ｔ番目の画像フレームの画像ブロックを超解像化するために用いられる。

【0052】

ｔ番目の画像フレームの画像ブロック

【数55】

と前記ｔ－１番目の画像フレームの画像ブロック

【数56】

との間の運動パラメータを

【数57】

とし、ｔ＋１番目の画像フレームの画像ブロック

【数58】

と前記ｔ番目の画像フレームの画像ブロック

【数59】

との間の運動パラメータを

【数60】

とし、ｔ－２番目の画像フレームの画像ブロック

【数61】

と前記ｔ－１番目の画像フレームの画像ブロック

【数62】

との間の運動パラメータを

【数63】

とし、ｔ＋１番目の画像フレームの画像ブロック

【数64】

と前記ｔ＋２番目の画像フレームの画像ブロック

【数65】

との間の運動パラメータを

【数66】

とし、予め設定された閾値をγとする。第一の超解像化ネットワークモデルが

【数67】

であり、第二の超解像化ネットワークモデルが

【数68】

であり、第三の超解像化ネットワークモデルが、

【数69】

であり、上記ステップ１～５を以下のように表すことができる。

【0053】

【数70】

Ｓ１５：各画像ブロックシーケンスに対応する超解像化ネットワークモデルを採用して各画像ブロックシーケンスにおける前記ｔ番目の画像フレームの画像ブロックを超解像化し、前記ｔ番目の画像フレームの各超解像化画像ブロックを取得する。

【0054】

具体的には、各画像ブロックシーケンスに基づいて前記ｔ番目の画像フレームの一つの超解像化画像ブロックを取得することができ、且つ合計Ｎ個の画像ブロックシーケンスを含むため、前記ｔ番目の画像フレームのＮ個の超解像化画像ブロックを取得することができる。

【0055】

Ｓ１６：前記ｔ番目の画像フレームの各超解像化画像ブロックに基づいて前記ｔ番目の画像フレームの超解像化画像フレームを生成する。

【0056】

本開示の実施例の一つの選択的な実施形態としては、前記ｔ番目の画像フレームと前記近傍画像フレームを分解して得られた画像ブロックにおける隣接する画像ブロックが重なり領域を有さない場合に、上記ステップＳ１６（前記ｔ番目の画像フレームの各超解像化画像ブロックに基づいて前記ｔ番目の画像フレームの超解像化画像フレームを生成する）は、
前記ｔ番目の画像フレームの各超解像化画像ブロックを前記ｔ番目の画像フレームの超解像化画像フレームとしてスティッチングすることを含む。

【0057】

本開示の実施例の一つの選択的な実施形態としては、前記ｔ番目の画像フレームと前記近傍画像フレームを分解して得られた画像ブロックのうちの隣接する画像ブロックが重なり領域を有する場合に、上記ステップＳ１６（前記ｔ番目の画像フレームの各超解像化画像ブロックに基づいて前記ｔ番目の画像フレームの超解像化画像フレームを生成する）は、
前記ｔ番目の画像フレームの各超解像化画像ブロックをスティッチングし、スティッチング画像を生成することと、
前記スティッチング画像における各超解像化画像ブロックの重なり領域の各画素の画素値を、各超解像化画像ブロックにおける対応する画素の画素値の平均値として設定し、前記ｔ番目の画像フレームの超解像化画像フレームを生成することと、を含む。

【0058】

例示的には、図４に示すように、図４における超解像化画像ブロック４１の開始画素列が第Ｐ列、超解像化画像ブロック４１の終止画素列が第Ｐ＋ｍ列、超解像化画像ブロック４２の開始画素列が第Ｐ＋ｎ列、超解像化画像ブロック４２の終止画素列が第Ｐ＋ｍ＋ｎ列であり、超解像化画像ブロック４１と超解像化画像ブロック４２をスティッチングする時、超解像化画像ブロック４１の領域４１１と超解像化画像ブロック４２の領域４２１と重なるため、重なり領域４００のいずれか一つの画素の画素値は、領域４１１と領域４２１におけるこの画素に対応する画素値の平均値である。例えば、重なり領域４００における画素（ｘ１，ｙ１）の画素値に対して、領域４１１における画素（ｘ１，ｙ１）の画素値と領域４１２における画素（ｘ１，ｙ１）の画素値の平均値である。

【0059】

図５に示すように、図５は、上記ビデオ超解像化方法を実現するためのビデオ超解像化ネットワークの構造概略図である。上記ビデオ超解像化方法を実現するためのビデオ超解像化ネットワークは、画像分解モジュール５１、シーケンス生成モジュール５２、冗長情報検出モジュール５３、適応型超解像化モジュール５４及び画像スティッチングモジュール５５を含む。

【0060】

ここで、画像分解モジュール５１は、ｔ－２番目の画像フレーム

【数71】

をＮ個の画像ブロック

【数72】

に分解し、ｔ－１番目の画像フレーム

【数73】

をＮ個の画像ブロック

【数74】

に分解し、ｔ番目の画像フレーム

【数75】

をＮ個の画像ブロック

【数76】

に分解し、ｔ＋１番目の画像フレーム

【数77】

をＮ個の画像ブロック

【数78】

に分解し、ｔ番目の画像フレーム

【数79】

をＮ個の画像ブロック

【数80】

に分解するために用いられる。

【0061】

シーケンス生成モジュール５２は、

【数81】

に基づいて、Ｎ個の画像ブロックシーケンス

【数82】

を生成するために用いられる。

【0062】

冗長情報監視モジュール５３は、各画像ブロックシーケンス

【数83】

の運動パラメータを計算し、各画像ブロックシーケンス

【数84】

の運動パラメータに基づいて、各画像ブロックシーケンスの超解像化ネットワークモデル

【数85】

を決定するために用いられる。

【0063】

適応型超解像化モジュール５４は、各画像ブロックシーケンスに対応する超解像化ネットワークモデルを含み、各画像ブロックシーケンスに対応する超解像化ネットワークモデルを採用して、各画像ブロックシーケンスにおける前記ｔ番目の画像フレームの画像ブロックを超解像化し、前記ｔ番目の画像フレームの各超解像化画像ブロック

【数86】

を取得するために用いられる。

【0064】

画像スティッチングモジュール５５は、前記ｔ番目の画像フレームの各超解像化画像ブロック

【数87】

に基づいて前記ｔ番目の画像フレームの超解像化画像フレーム

【数88】

を生成するために用いられる。

【0065】

本開示の実施例によるビデオの超解像化方法では、ｔ番目の画像フレーム画像を超解像化する時、まず超解像化すべきビデオのｔ番目の画像フレームと前記ｔ番目の画像フレームの近傍画像フレームをＮ個の画像ブロックにそれぞれ分解し、前記ｔ番目の画像フレームと前記近傍画像フレームを分解して得られた画像ブロックに基づいて、Ｎ個の画像ブロックシーケンスを生成し、そして各画像ブロックシーケンスの運動パラメータを計算し、各画像ブロックシーケンスの運動パラメータに基づいて各画像ブロックシーケンスに対応する超解像化ネットワークモデルを決定し、各画像ブロックシーケンスの運動パラメータに基づいて各画像ブロックシーケンスに対応する超解像化ネットワークモデルを決定し、各画像ブロックシーケンスに対応する超解像化ネットワークモデルを採用して各画像ブロックシーケンスにおける前記ｔ番目の画像フレームの画像ブロックを超解像化し、前記ｔ番目の画像フレームの各超解像化画像ブロックを取得し、及び前記ｔ番目の画像フレームの各超解像化画像ブロックに基づいて前記ｔ番目の画像フレームの超解像化画像フレームを生成する。本開示の実施例によるビデオの超解像化方法では、ｔ番目の画像フレーム画像を超解像化する時、各画像ブロックシーケンスの運動パラメータに基づいて各画像ブロックシーケンスに対応する超解像化ネットワークモデルを決定し、異なる場合に対して異なる超解像化ネットワークモデルを適応して採用して超解像化するため、本開示の実施例によるビデオの超解像化方法は、ビデオの超解像化効果を高めることができる。

【0066】

例示的には、図６に示すように、図５に示す適応型超解像化モジュール５４には第一の超解像化ネットワークモデル５４１、第二の超解像化ネットワークモデル５４２及び第三の超解像化ネットワークモデル５４３が含まれる。ここで、第一の超解像化ネットワークモデル５４１は、前記ｔ番目の画像フレームの画像ブロックを超解像化する時にｔ番目の画像フレームの画像ブロック

【数89】

を使用し、第二の超解像化ネットワークモデル５４２は、前記ｔ番目の画像フレームの画像ブロックを超解像化する時にｔ－１番目の画像フレームの画像ブロック、前記ｔ番目の画像フレームの画像ブロック及び前記ｔ＋１番目の画像フレームの画像ブロック

【数90】

を使用し、第三の超解像化ネットワークモデル５４３は、前記ｔ番目の画像フレームの画像ブロックを超解像化する時に、画像ブロックシーケンスにおけるすべての画像ブロック

【数91】

を使用する。

【0067】

本開示の実施例の一つの選択的な実施形態としては、図７に示す第一の超解像化ネットワークモデルのモデル構造概略図に示すように、第一の超解像化ネットワークモデルにより前記ｔ番目の画像フレームの画像ブロックを超解像化する実現方式は、以下のようなステップＩ～ステップＩＶを含む。

【0068】

ステップＩ：カスケード変形可能な畳み込み（Ｐｙｒａｍｉｄ Ｃａｓｃａｄｉｎｇ ａｎｄ Ｄｅｆｏｒｍａｂｌｅ Ｃｏｎｖｏｌｕｔｉｏｎｓ）ＰＣＤ整列モジュール７１により前記ｔ番目の画像フレームの画像ブロック

【数92】

を処理して第一の特徴T₁を取得する。

【0069】

図７に示すように、ＰＣＤ整列モジュール７１の入力は、二つの画像ブロックであるが、上記ステップＩにおいて、ＰＣＤ整列モジュールの入力は、一つの画像ブロック（ｔ番目の画像フレームの画像ブロック）のみを含むため、ｔ番目の画像フレームの画像ブロックを１回コピーし、元の画像ブロックとともに、ＰＣＤ整列モジュールの入力とすることができる。

【0070】

ステップＩＩ：特徴融合モジュール７２により前記第一の特徴を処理し、第二の特徴T₂を取得する。

【0071】

ここで、前記第二の特徴は、チャンネルの次元で五つの前記第一の特徴をスティッチングして得られる特徴である。当業者であればわかるように、第二の特徴は、チャンネル次元で複数の前記第一の特徴をスティッチングして得られる特徴であってもよく、ここでスティッチングするための第一の特徴の数を制限しない。

【0072】

即ち、第一の特徴の張量をC*H*Wすると、第二の特徴の張量は、5*C*H*Wである。ここで、Cが第一の特徴のチャンネル数、Hが第一の特徴の長さ、Wが第一の特徴の幅である。

【0073】

例示的には、図７に示すように、特徴融合モジュール７２は、時間注意力ユニット７２１、特徴コピーユニット７２２、特徴融合ユニット７２３及び空間注意力ユニット７２４を含んでもよい。ここで、特徴コピーユニット７２２は、第一の特徴を４回コピーし、元の第一の特徴をスティッチングするために用いられる。

【0074】

ステップＩＩＩ：再構築モジュール７３により前記第二の特徴T₂を再構築し、第一の画像ブロックB₁を取得する。

【0075】

ステップＩＶ：アップサンプリングモジュール７４により前記第一の画像ブロックB₁に対してアップサンプリングを行い、前記ｔ番目の画像フレームの画像ブロックに対応する超解像化画像ブロック

【数93】

を取得する。

【0076】

本開示の実施例の一つの選択的な実施形態としては、図８に示す第二の超解像化ネットワークモデルのモデル構造概略図に示すように、第二の超解像化ネットワークモデルにより前記ｔ番目の画像フレームの画像ブロックを超解像化する実現方式は、以下のようなステップｉ～ステップivを含む。

【0077】

ステップi：ＰＣＤ整列モジュール８１により前記ｔ－１番目の画像フレームの画像ブロック

【数94】

、前記ｔ番目の画像フレームの画像ブロック

【数95】

及び前記ｔ＋１番目の画像フレームの画像ブロック

【数96】

を処理し、第三の特徴T₃を取得する。

【0078】

ここで、前記第三の特徴T₃は、チャンネル次元で第四の特徴T₄、第五の特徴T₅及び第六の特徴T₆をスティッチングして得られる特徴であり、前記第四の特徴T₄は、前記ＰＣＤ整列モジュールにより前記ｔ－１番目の画像フレームの画像ブロック

【数97】

と前記ｔ番目の画像フレームの画像ブロック

【数98】

を処理して得られる特徴であり、前記第五の特徴T₅は、前記ＰＣＤ整列モジュールにより前記ｔ番目の画像フレームの画像ブロック

【数99】

を処理して得られる特徴であり、前記第六の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ番目の画像フレームの画像ブロック

【数100】

と前記ｔ＋１番目の画像フレームの画像ブロック

【数101】

を処理して得られる特徴である。

【0079】

図８に示すように、ＰＣＤ整列モジュール８１は、第一のＰＣＤ整列ユニット８１１、第二のＰＣＤ整列ユニット８１２、第三のＰＣＤ整列ユニット８１３及びスティッチングユニット８１４を含む。ここで、第一のＰＣＤ整列ユニット８１１は、前記ｔ－１番目の画像フレームの画像ブロック

【数102】

と前記ｔ番目の画像フレームの画像ブロック

【数103】

を処理し、第四の特徴T₄を取得するために用いられ、第二のＰＣＤ整列ユニット８１２は、ｔ番目の画像フレームの画像ブロック

【数104】

を処理し、第五の特徴T₅を取得するために用いられ、第三のＰＣＤ整列ユニット８１３は、前記ｔ番目の画像フレームの画像ブロック

【数105】

と前記ｔ＋１番目の画像フレームの画像ブロック

【数106】

を処理し、第五の特徴T₆を取得するために用いられ、スティッチングユニット８１４は、第四の特徴T₄、第五の特徴T₅及び第六の特徴T₆をスティッチングし、第三の特徴T₃を取得するために用いられる。

【0080】

ステップii：特徴融合モジュールにより８２により前記第三の特徴T₃を処理し、第七の特徴T₇を取得する。

【0081】

ここで、前記第七の特徴T₇は、前記第四の特徴T₄、前記第三の特徴T₃及び前記第五の特徴T₅をチャンネル次元でスティッチングして得られる特徴である。

【0082】

例示的には、図８に示すように、特徴融合モジュール８２は、時間注意力ユニット８２１、特徴コピーユニット８２２、特徴融合ユニット８２３及び空間注意力ユニット８２４を含んでもよい。ここで、特徴コピーユニット８２２は、前記第三の特徴T₃における前記第四の特徴T₄と第五の特徴T₅を1回コピーし、第三の特徴T₃をスティッチングするために用いられる。

【0083】

ステップiii：再構築モジュール８３により前記第七の特徴T₇を再構築し、第二の画像ブロックB₂を取得する。

【0084】

ステップiv：アップサンプリングモジュール８４により前記第二の画像ブロックB₂に対してアップサンプリングを行い、前記ｔ番目の画像フレームの画像ブロックに対応する超解像化画像ブロック

【数107】

を取得する。

【0085】

本開示の実施例の一つの選択的な実施形態としては、図９に示す第三の超解像化ネットワークモデルのモデル構造概略図に示すように、第三の超解像化ネットワークモデルにより画像ブロックシーケンスにおける前記ｔ番目の画像フレームの画像ブロックを超解像化することは、以下のようなステップ１～ステップ４を含む。

【0086】

ステップ１：ＰＣＤ整列モジュール９１により画像ブロックシーケンス

【数108】

におけるすべての画像ブロックを処理し、第八の特徴T₈を取得する。

【0087】

ここで、前記第八の特徴T₈は、チャンネル次元で第九の特徴T₉、第十の特徴T₁₀、第十一の特徴T₁₁、第十二の特徴T₁₂及び第十三の特徴T₁₃をスティッチングして得られる特徴であり、前記第九の特徴T₉は、前記ＰＣＤ整列モジュールにより前記ｔ－２番目の画像フレームの画像ブロック

【数109】

と前記ｔ－１番目の画像フレームの画像ブロック

【数110】

を処理して得られる特徴であり、前記第十の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ－１番目の画像フレームの画像ブロック

【数111】

と前記ｔ番目の画像フレームの画像ブロック

【数112】

を処理して得られる特徴であり、前記第十一の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ番目の画像フレームの画像ブロック

【数113】

を処理して得られる特徴であり、前記第十二の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ番目の画像フレームの画像ブロック

【数114】

と前記ｔ＋１番目の画像フレームの画像ブロック

【数115】

を処理して得られる特徴であり、前記第十三の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ＋１番目の画像フレームの画像ブロック

【数116】

と前記ｔ＋２番目の画像フレームの画像ブロック

【数117】

を処理して得られる特徴である。

【0088】

例示的には、図９に示すように、ＰＣＤ整列モジュール９１は、第一のＰＣＤ整列ユニット９１１、第二のＰＣＤ整列ユニット９１２、第三のＰＣＤ整列ユニット９１３、第四のＰＣＤ整列ユニット９１４、第五のＰＣＤ整列ユニット９１５及びスティッチングユニット９１６を含む。第一のＰＣＤ整列ユニット９１１は、前記ｔ－２番目の画像フレームの画像ブロック

【数118】

と前記ｔ－１番目の画像フレームの画像ブロック

【数119】

を処理し、第九の特徴T₉を取得するために用いられ、第二のＰＣＤ整列ユニット９１２は、前記ｔ－１番目の画像フレームの画像ブロック

【数120】

と前記ｔ番目の画像フレームの画像ブロック

【数121】

処理し、第十の特徴T₁₀を取得するために用いられ、第三のＰＣＤ整列ユニット９１３は、ｔ番目の画像フレームの画像ブロック

【数122】

を処理し、第十一の特徴T₁₁を取得するために用いられ、第四のＰＣＤ整列ユニット９１５は、前記ｔ番目の画像フレームの画像ブロック

【数123】

と前記ｔ＋１番目の画像フレームの画像ブロック

【数124】

を処理し、第十二の特徴T₁₂を取得するために用いられ、第五のＰＣＤ整列ユニット９１５は、前記ｔ＋１番目の画像フレームの画像ブロック

【数125】

と前記ｔ＋２番目の画像フレームの画像ブロック

【数126】

を処理し、第十三の特徴T₁₃を取得するために用いられ、スティッチングユニット９１６は、第九の特徴T₉、第十の特徴T₁₀、第十一の特徴T₁₁、第十二の特徴T₁₂及び第十三の特徴T₁₃をスティッチングし、第八の特徴T₈を取得するために用いられる。

【0089】

ステップ２：特徴融合モジュールにより９２は、前記第八の特徴T₈を処理し、第十四の特徴T₁₄を取得する。

【0090】

例示的には、図９に示すように、特徴融合モジュール９２は、時間注意力ユニット９２１、特徴融合ユニット９２２及び空間注意力ユニット９２３を含んでもよい。

【0091】

ステップ３：再構築モジュール９３により前記第十四の特徴T₁₄を再構築し、第三の画像ブロックB₃を取得する。

【0092】

ステップ４：アップサンプリングモジュール９４により、前記第三の画像ブロックB₃に対してアップサンプリングを行い、画像ブロックシーケンスにおける前記ｔ番目の画像フレームの画像ブロックに対応する超解像化画像ブロック

【数127】

を取得する。

【0093】

同一の発明構思に基づいて、上記方法の実現として、本開示の実施例は、ビデオの超解像化装置をさらに提供し、この装置の実施例と前述方法の実施例とは対応し、容易に閲読するために、本装置の実施例では、前述方法の実施例における詳細内容を一々説明しないが、本実施例におけるビデオの超解像化装置が前述方法の実施例におけるすべての内容を対応して実現できることを明確にすべきである。

【0094】

本開示の実施例は、ビデオの超解像化装置を提供し、図１０は、このビデオの超解像化装置の構造概略図であり、図１０に示すように、このビデオの超解像化装置１００は、
超解像化すべきビデオのｔ番目の画像フレームと前記ｔ番目の画像フレームの近傍画像フレームをＮ個の画像ブロックにそれぞれ分解するための画像分解モジュール１０１であって、ｔ、Ｎがいずれも正整数である画像分解モジュール１０１と、
前記ｔ番目の画像フレームと前記近傍画像フレームを分解して得られた画像ブロックに基づいて、Ｎ個の画像ブロックシーケンスを生成するためのシーケンス生成モジュールであって、前記画像ブロックシーケンスにおける各画像ブロックがそれぞれ異なる画像フレームの同じ位置に位置するシーケンス生成モジュール１０２と、
各画像ブロックシーケンスの運動パラメータを計算するためのパラメータ計算モジュールであって、いずれか一つの画像ブロックシーケンスの運動パラメータは、この画像ブロックシーケンスにおける各隣接する画像フレームの画像ブロックの間のオプティカルフローを表すために用いられるパラメータ計算モジュール１０３と、
各画像ブロックシーケンスの運動パラメータに基づいて各画像ブロックシーケンスに対応する超解像化ネットワークモデルを決定するためのモデル決定モジュール１０４と、
各画像ブロックシーケンスに対応する超解像化ネットワークモデルを採用して各画像ブロックシーケンスにおける前記ｔ番目の画像フレームの画像ブロックを超解像化し、前記ｔ番目の画像フレームの各超解像化画像ブロックを取得するための画像超解像化モジュール１０５と、
前記ｔ番目の画像フレームの各超解像化画像ブロックに基づいて前記ｔ番目の画像フレームの超解像化画像フレームを生成するための画像生成モジュール１０６とを含む。

【0095】

本開示の実施例の一つの選択的な実施形態としては、前記パラメータ計算モジュール１０３は、具体的には、各画像ブロックシーケンスに対して、前記画像ブロックシーケンスにおける各隣接する画像フレームの画像ブロックの間のオプティカルフローを計算し、各対の隣接する画像フレームの画像ブロックの間のオプティカルフローに対して、各画素に対応するオプティカルフローの絶対値の平均値を計算し、前記隣接する画像フレームの画像ブロックの間の運動パラメータを取得し、前記画像ブロックシーケンスにおける各隣接する画像フレームの画像ブロックの間の運動パラメータに基づいて、前記画像ブロックシーケンスの運動パラメータを取得するために用いられる。

【0096】

本開示の実施例の一つの選択的な実施形態としては、前記ｔ番目の画像フレームの近傍画像フレームは、
前記超解像化すべきビデオのｔ－２番目の画像フレーム、ｔ－１番目の画像フレーム、ｔ＋１番目の画像フレーム及びｔ＋２番目の画像フレームを含む。

【0097】

本開示の実施例の一つの選択的な実施形態としては、前記モデル決定モジュール１０４は、具体的には、各画像ブロックシーケンスに対して、前記画像ブロックシーケンスの第一の運動パラメータと第二の運動パラメータがいずれも予め設定された閾値よりも小さいかどうかを決定することであって、前記第一の運動パラメータは、前記ｔ番目の画像フレームの画像ブロックと前記ｔ－１番目の画像フレームの画像ブロックとの間の運動パラメータであり、前記第二の運動パラメータは、前記ｔ番目の画像フレームの画像ブロックと前記ｔ＋１番目の画像フレームの画像ブロックとの間の運動パラメータであることと、前記第一の運動パラメータと前記第二の運動パラメータがいずれも前記予め設定された閾値よりも小さい場合に、前記画像ブロックシーケンスに対応する超解像化ネットワークモデルを第一の超解像化ネットワークモデルとして決定することと、前記第一の運動パラメータ及び／又は前記第二の運動パラメータが前記予め設定された閾値以上である場合に、前記画像ブロックシーケンスの第三の運動パラメータと第四の運動パラメータがいずれも予め設定された閾値よりも小さいかどうかを決定することであって、前記第三の運動パラメータは、前記ｔ－２番目の画像フレームの画像ブロックと前記ｔ－１番目の画像フレームの画像ブロックとの間の運動パラメータであり、前記第四の運動パラメータは、前記ｔ＋１番目の画像フレームの画像ブロックと前記ｔ＋２番目の画像フレームの画像ブロックとの間の運動パラメータであることと、前記第三の運動パラメータと前記第四の運動パラメータがいずれも前記予め設定された閾値よりも小さい場合に、前記画像ブロックシーケンスに対応する超解像化ネットワークモデルを第二の超解像化ネットワークモデルとして決定することと、前記第三の運動パラメータ及び／又は前記第四の運動パラメータが前記予め設定された閾値以上である場合に、前記画像ブロックシーケンスに対応する超解像化ネットワークモデルを第三の超解像化ネットワークモデルとして決定することとに用いられる。

【0098】

本開示の実施例の一つの選択的な実施形態としては、
前記第一の超解像化ネットワークモデルは、単一フレームの超解像化ネットワークモデルであり、
前記第二の超解像化ネットワークモデルは、前記ｔ－１番目の画像フレームの画像ブロック、前記ｔ番目の画像フレームの画像ブロック及び前記ｔ＋１番目の画像フレームの画像ブロックに基づいて、前記ｔ番目の画像フレームの画像ブロックを超解像化するために用いられ、
前記第三の超解像化ネットワークモデルは、画像ブロックシーケンスにおけるすべての画像ブロックに基づいて前記ｔ番目の画像フレームの画像ブロックを超解像化するために用いられる。

【0099】

本開示の実施例の一つの選択的な実施形態としては、前記画像超解像化モジュール１０５は、具体的には、カスケード変形可能な畳み込みＰＣＤ整列モジュールにより前記ｔ番目の画像フレームの画像ブロックを処理して第一の特徴を取得するために用いられ、特徴融合モジュールにより前記第一の特徴を処理し、第二の特徴を取得し、前記第二の特徴は、チャンネル次元で五つの前記第一の特徴をスティッチングして得られる特徴であり、再構築モジュールにより前記第二の特徴を再構築し、第一の画像ブロックを取得し、アップサンプリングモジュールにより前記第一の画像ブロックに対してアップサンプリングを行い、前記ｔ番目の画像フレームの画像ブロックに対応する超解像化画像ブロックを取得する。

【0100】

本開示の実施例の一つの選択的な実施形態としては、前記画像超解像化モジュール１０５は、具体的には、ＰＣＤ整列モジュールにより前記ｔ－１番目の画像フレームの画像ブロック、前記ｔ番目の画像フレームの画像ブロック及び前記ｔ＋１番目の画像フレームの画像ブロックを処理し、第三の特徴を取得するために用いられ、前記第三の特徴は、チャンネル次元で第四の特徴、第五の特徴及び第六の特徴をスティッチングして得られる特徴であり、前記第四の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ－１番目の画像フレームの画像ブロックと前記ｔ番目の画像フレームの画像ブロックを処理して得られる特徴であり、前記第五の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ番目の画像フレームの画像ブロックを処理して得られる特徴であり、前記第六の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ番目の画像フレームの画像ブロックと前記ｔ＋１番目の画像フレームの画像ブロックを処理して得られる特徴であり、特徴融合モジュールにより前記第三の特徴を処理し、第七の特徴を取得し、前記第七の特徴は、チャンネル次元で前記第四の特徴、前記第三の特徴及び前記第五の特徴をスティッチングして得られる特徴であり、再構築モジュールにより前記第七の特徴を再構築し、第二の画像ブロックを取得し、アップサンプリングモジュールにより前記第二の画像ブロックに対してアップサンプリングを行い、前記ｔ番目の画像フレームの画像ブロックに対応する超解像化画像ブロックを取得する。

【0101】

本開示の実施例の一つの選択的な実施形態としては、前記画像超解像化モジュール１０５は、具体的には、ＰＣＤ整列モジュールにより画像ブロックシーケンスにおけるすべての画像ブロックを処理し、第八の特徴を取得するために用いられ、前記第八の特徴は、チャンネル次元で第九の特徴、第十の特徴、第十一の特徴、第十二の特徴及び第十三の特徴をスティッチングして得られる特徴であり、前記第九の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ－２番目の画像フレームの画像ブロックと前記ｔ－１番目の画像フレームの画像ブロックを処理して得られる特徴であり、前記第十の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ－１番目の画像フレームの画像ブロックと前記ｔ番目の画像フレームの画像ブロックを処理して得られる特徴であり、前記第十一の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ番目の画像フレームの画像ブロックを処理して得られる特徴であり、前記第十二の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ番目の画像フレームの画像ブロックと前記ｔ＋１番目の画像フレームの画像ブロックを処理して得られる特徴であり、前記第十三の特徴は、前記ＰＣＤ整列モジュールにより前記ｔ＋１番目の画像フレームの画像ブロックと前記ｔ＋２番目の画像フレームの画像ブロックを処理して得られる特徴であり、特徴融合モジュールにより前記第八の特徴を処理し、第十四の特徴を取得し、再構築モジュールにより前記第十四の特徴を再構築し、第三の画像ブロックを取得し、アップサンプリングモジュールにより前記第三の画像ブロックに対してアップサンプリングを行い、画像ブロックシーケンスにおける前記ｔ番目の画像フレームの画像ブロックに対応する超解像化画像ブロックを取得する。

【0102】

本開示の実施例の一つの選択的な実施形態としては、前記ｔ番目の画像フレームと前記近傍画像フレームを分解して得られた画像ブロックのうちの隣接する画像ブロックは、重なり領域を有し、
前記画像生成モジュール１０６は、具体的には、前記ｔ番目の画像フレームの各超解像化画像ブロックをスティッチングし、スティッチング画像を生成し、前記スティッチング画像における各超解像化画像ブロックの重なり領域の各画素の画素値を、各超解像化画像ブロックにおける対応する画素の画素値の平均値として設定し、前記ｔ番目の画像フレームの超解像化画像フレームを生成するために用いられる。

【0103】

上記モジュールは、一つ又は複数の汎用プロセッサ上で実行されるソフトウェアアセンブリとして実現されてもよく、例えばいくつかの機能又はその組み合わせを実行するハードウェア、例えばプログラマブルロジックデバイス及び／又は特定用途向け集積回路として実現されてもよい。いくつかの実施例では、これらのモジュールは、ソフトウェア製品の形式として具現化されてもよく、このソフトウェア製品は、非揮発性記憶媒体に記憶されてもよく、これらの非揮発性記憶媒体には、コンピュータ機器（例えばパーソナルコンピュータ、サーバ、ネットワーク機器、移動端末など）に本開示の実施例に記述された方法を実現させるプログラムが含まれる。別のいくつかの実施例では、上記モジュールは、単一の機器上で実現されてもよく、複数の機器上に分布してもよい。これらのモジュールの機能は、相互に統合されてもよく、複数のサブモジュールに分割されてもよい。

【0104】

本実施例によるビデオの超解像化装置は、上記方法の実施例によるビデオの超解像化方法を実行することができ、その実現原理と技術的効果が類似し、ここでこれ以上説明しない。

【0105】

同一の発明構思に基づいて、本開示の実施例は、電子機器をさらに提供する。図１１は、本開示の実施例による電子機器の構造概略図であり、図１１に示すように、本実施例による電子機器は、メモリ１１１とプロセッサ１１２とを含み、前記メモリ１１１は、コンピュータプログラムを記憶するために用いられ、前記プロセッサ１１２は、コンピュータプログラムを呼び出す時に上記実施例によるビデオの超解像化方法を実行するために用いられる。

【0106】

同一発明構思に基づいて、本開示の実施例は、コンピュータ可読記憶媒体をさらに提供し、このコンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサにより実行される時、上記実施例によるビデオの超解像化方法を前記コンピューティング機器に実現させる。

【0107】

同一の発明構思に基づいて、本開示の実施例は、コンピュータプログラム製品をさらに提供し、前記コンピュータプログラム製品がコンピュータ上で運行される時、上記実施例によるビデオの超解像化方法を前記コンピューティング機器に実現させる。

【0108】

同一の発明構思に基づいて、本開示の実施例は、コンピュータプログラムをさらに提供し、このコンピュータプログラムは、命令を含み、命令がプロセッサにより実行される時、上記実施例によるビデオの超解像化方法をプロセッサに実行させる。

【0109】

本開示の実施例が方法、システム、又はコンピュータプログラム製品として提供できることは、当業者にとって理解すべきである。そのため、本開示は、完全なハードウェア実施例、完全なソフトウェア実施例、又はソフトウェアとハードウェアとを組み合わせた態様の実施例の形式を採用してもよい。そして、本開示は、コンピュータ使用可能なプログラムコードを含む一つ又は複数のコンピュータ使用可能な記憶媒体上で実施されるコンピュータプログラム製品の形式を採用してもよい。

【0110】

プロセッサは、中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）であってもよく、他の汎用プロセッサ、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスターロジックデバイス、ディスクリートハードウェアアセンブリなどであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、又はこのプロセッサは、任意の一般的なプロセッサなどであってもよい。

【0111】

メモリは、コンピュータ可読媒体における非永続的メモリ、ランダムアクセスメモリ（ＲＡＭ）及び／又は非揮発性メモリなどの形式、例えばリードオンリーメモリ（ＲＯＭ）又はフラッシュメモリ（ｆｌａｓｈ ＲＡＭ）を含む可能性がある。メモリは、コンピュータ可読媒体の例である。

【0112】

コンピュータ可読媒体は、永続的記憶媒体と非永続的記憶媒体、リムーバブル記憶媒体と非リムーバブル記憶媒体を含む。記憶媒体は、任意の方法又は技術により情報記憶を実現してもよく、情報は、コンピュータ可読命令、データ構造、プログラムのモジュール又は他のデータであってもよい。コンピュータの記憶媒体の例は、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ又は他のメモリ技術、リードオンリー光ディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタル多機能光ディスク（ＤＶＤ）又は他の光学記憶、磁気カセットテープ、磁気ディスク記憶又は他の磁性記憶機器又は任意の他の非伝送媒体を含むが、これらに限定されず、コンピューティング機器によりアクセスされる情報を記憶するために用いることができる。本明細書における定義に基づいて、コンピュータ可読媒体は、一時保存コンピュータ可読メディア（ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）、例えば変調されたデータ信号とキャリアを含まない。

【0113】

最後に説明すべきこととして、以上の各実施例は、本開示の技術案を説明するためにのみ使用され、それを限定するものではない。前述各実施例を参照して本開示について詳細に説明したが、依然として前述各実施例に記載された技術案を修正したり、その一部又はすべての技術的特徴を同等に置き換えたりすることができ、これらの修正又は置き換えが該当する技術案の本質を本開示の各実施例の技術案の範囲から逸脱させるものではないことは、当業者にとって理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】