特許 7703392 超解像補助情報生成装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-06-27

(45)【発行日】2025-07-07

(54)【発明の名称】超解像補助情報生成装置及びプログラム

(51)【国際特許分類】

   H04N 19/85 20140101AFI20250630BHJP

   H04N 19/46 20140101ALI20250630BHJP

【ＦＩ】

H04N19/85

H04N19/46

【請求項の数】 6

(21)【出願番号】P 2021127813

(22)【出願日】2021-08-03

(65)【公開番号】P2023022763

(43)【公開日】2023-02-15

【審査請求日】2024-07-03

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(73)【特許権者】

【識別番号】399060908

【氏名又は名称】一般財団法人ＮＨＫ財団

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

【審査官】富樫 明

(56)【参考文献】

【文献】特開２０２０－１５６０４４（ＪＰ，Ａ）

【文献】特開２０１２－１０４９４５（ＪＰ，Ａ）

【文献】特開２０１３－５８９３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

符号化画像を復号して復号画像を生成する際に用いられ、前記符号化画像を生成及び復号する際の予測処理の単位である予測ユニットごとに設定された復号処理情報を取得する情報取得部と、
前記復号処理情報に応じて、前記復号画像のぼやけ度合、又は前記復号画像を超解像処理する際の位置合わせ確度を、前記予測ユニットごとに推定し、推定結果を示す補助情報を生成する補助情報生成部と、
を備える、超解像補助情報生成装置。

【請求項2】

前記情報取得部は、前記復号処理情報として、前記予測ユニットのサイズを示す情報を取得し、
前記補助情報生成部は、前記サイズが大きいほど、前記予測ユニットに対応する復号画像における位置合わせ確度が高いと推定する、請求項１に記載の超解像補助情報生成装置。

【請求項3】

前記情報取得部は、前記復号処理情報として、前記符号化画像を生成及び復号する際に使用された量子化パラメータの値を示す情報を取得し、
前記補助情報生成部は、前記量子化パラメータの値が大きいほど、前記予測ユニットに対応する復号画像における位置合わせ確度が低いと推定する、請求項１又は２に記載の超解像補助情報生成装置。

【請求項4】

前記情報取得部は、前記復号処理情報として、前記符号化画像を生成及び復号する際に使用された動きベクトルの大きさを示す情報を取得し、
前記補助情報生成部は、前記動きベクトルの大きさが大きいほど、前記予測ユニットに対応する復号画像におけるぼやけ度合が高いと推定する、請求項１から３のいずれか一項に記載の超解像補助情報生成装置。

【請求項5】

前記情報取得部は、前記復号処理情報として、前記符号化画像を生成する際に使用された量子化パラメータの値を示す情報を取得し、
前記補助情報生成部は、前記量子化パラメータの値が大きいほど、前記予測ユニットに対応する復号画像におけるぼやけ度合が高いと推定する、請求項１から４のいずれか一項に記載の超解像補助情報生成装置。

【請求項6】

コンピュータを、請求項１から５のいずれか一項に記載の超解像補助情報生成装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、超解像補助情報生成装置及びプログラムに関する。

【背景技術】

【0002】

Ｈ.２６５／ＨＥＶＣ（High Efficiency Video Coding）、Ｈ.２６６／ＶＶＣ（Versatile Video Coding）などの動画像符号化方式における画面間予測では、動きベクトルや参照ピクチャインデックスなどの動き情報は予測ユニット（ＰＵ：Prediction Unit）単位で符号化して伝送され、復号に用いられる。また、動きベクトルや変換係数を伝送しないスキップモードを符号化ユニット（ＣＵ：Coding Unit）で指定することができ、スキップモードの場合は、動きベクトルなどの情報はマージモードとなり、空間及び時間方向に隣接する予測ユニットの動き情報から最適な候補のインデックスが符号化して伝送され、復号に用いられる（例えば、非特許文献１参照）。

【0003】

一方、４Ｋテレビジョンや４Ｋモニタにおいて、ハイビジョン放送や４Ｋ未満の解像度を持つ動画像を高画質に表示する際には、超解像技術が広く用いられている。例えば、特許文献１には、複数のフレーム画像間で位置合わせを行って超解像画像を生成する技術が開示されている。また、特許文献２には、単一のフレーム画像の異なる周波数成分画像間で位置合わせを行って超解像画像を生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６４６２３７２号公報

【文献】特許第６８１７７８４号公報

【非特許文献】

【0005】

【文献】大久保榮監修、「インプレス標準教科書シリーズ Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来、符号化画像を復号した復号画像を用いて超解像処理画像を生成するときに、復号画像を生成する際に用いられた復号処理情報を利用していなかった。復号処理情報を利用することにより、復号画像を高画質に超解像処理することが期待できる。

【0007】

かかる事情に鑑みてなされた本発明の目的は、復号処理情報から、復号画像の超解像処理に有用な補助情報を生成することが可能な超解像補助情報生成装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するため、一実施形態に係る超解像補助情報生成装置は、符号化画像を復号して復号画像を生成する際に用いられ、前記符号化画像を生成及び復号する際の予測処理の単位である予測ユニットごとに設定された復号処理情報を取得する情報取得部と、前記復号処理情報に応じて、前記復号画像のぼやけ度合、又は前記復号画像を超解像処理する際の位置合わせ確度を、前記予測ユニットごとに推定し、推定結果を示す補助情報を生成する補助情報生成部と、を備える。

【0009】

さらに、一実施形態において、前記情報取得部は、前記復号処理情報として、前記予測ユニットのサイズを示す情報を取得し、前記補助情報生成部は、前記サイズが大きいほど、前記予測ユニットに対応する復号画像における位置合わせ確度が高いと推定してもよい。

【0010】

さらに、一実施形態において、前記前記情報取得部は、前記復号処理情報として、前記符号化画像を生成及び復号する際に使用された量子化パラメータの値を示す情報を取得し、前記補助情報生成部は、前記量子化パラメータの値が大きいほど、前記予測ユニットに対応する復号画像における位置合わせ確度が低いと推定してもよい。

【0011】

さらに、一実施形態において、前記情報取得部は、前記復号処理情報として、前記符号化画像を生成及び復号する際に使用された動きベクトルの大きさを示す情報を取得し、前記補助情報生成部は、前記動きベクトルの大きさが大きいほど、前記予測ユニットに対応する復号画像におけるぼやけ度合が高いと推定してもよい。

【0012】

さらに、一実施形態において、前記情報取得部は、前記復号処理情報として、前記符号化画像を生成する際に使用された量子化パラメータの値を示す情報を取得し、前記補助情報生成部は、前記量子化パラメータの値が大きいほど、前記予測ユニットに対応する復号画像におけるぼやけ度合が高いと推定してもよい。

【0013】

また、上記課題を解決するため、一実施形態係るプログラムは、コンピュータを、上記超解像補助情報生成装置として機能させる。

【発明の効果】

【0014】

本発明によれば、復号処理情報から、復号画像の超解像処理に有用な補助情報を生成することが可能となる。

【図面の簡単な説明】

【0015】

【図1】一実施形態に係る超解像補助情報生成装置を備える超解像処理システムの構成例を示すブロック図である。

【図2】一実施形態に係る超解像補助情報生成装置の構成例を示すブロック図である。

【図3】一実施形態に係る超解像補助情報生成装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、一実施形態について、図面を参照して詳細に説明する。

【0017】

図１は、一実施形態に係る超解像補助情報生成装置１０を備える超解像処理システム１の構成例を示す図である。超解像処理システム１は、符号化装置２０と、復号装置３０と、超解像補助情報生成装置１０と、超解像装置４０と、を備える。

【0018】

符号化装置２０は、Ｈ.２６５／ＨＥＶＣ、Ｈ.２６６／ＶＶＣなどの既知の方式により動画像（入力画像）に対して符号化処理を行って符号化画像を生成し、復号装置３０に送信する。また、符号化装置２０は、符号化処理の際に用いた符号化処理情報（動きベクトル情報、各種パラメータなど）を復号装置３０に送信する。

【0019】

復号装置３０は、符号化装置２０から受信した符号化画像に対して、符号化装置２０から受信した符号化処理情報を用いて復号処理を行って復号画像を生成し、超解像装置４０に送信する。また、復号装置３０は、符号化装置２０から受信した処理情報のうち、動きベクトル情報、サイズ情報、及びＱＰ（Quantization Parameter）情報を復号処理情報として超解像補助情報生成装置１０に送信する。動きベクトル情報、サイズ情報、及びＱＰ情報は、予測ユニットごとに得られる。なお、これらの情報の詳細については、例えば非特許文献１に記載されている。

【0020】

動きベクトル情報とは、符号化装置２０及び復号装置３０において画面間予測（動き補償予測）を行う際に使用された動きベクトルの大きさを示す情報である。すなわち、動きベクトル情報は、符号化画像を生成及び復号する際に使用された動きベクトルの大きさを示す情報である。

【0021】

サイズ情報とは、符号化装置２０及び復号装置３０において画面間予測や画面内予測を行う際の予測処理の単位となる予測ユニットのサイズを示す情報である。すなわち、サイズ情報とは、符号化画像を生成及び復号する際の予測処理の単位である予測ユニットのサイズを示す情報である。なお、マージ符号化を行う場合には、予測ユニットのサイズは、マージ後のサイズとなる。

【0022】

ＱＰ情報とは、符号化装置２０において量子化処理、復号装置３０において逆量子化処理を行う際に使用された量子化パラメータの値を示す情報である。すなわち、ＱＰ情報とは、符号化画像を生成及び復号する際に使用された量子化パラメータの値を示す情報である。

【0023】

超解像補助情報生成装置１０は、復号装置３０から、復号処理情報を利用して、復号画像の超解像処理に用いられる超解像補助情報を生成し、超解像装置４０に送信する。

【0024】

超解像装置４０は、復号装置３０から受信した復号画像に対して、超解像補助情報生成装置１０から受信した超解像補助情報を用いて超解像処理を行って超解像画像を生成する。超解像装置４０は、超解像補助情報を用いて、レジストレーション超解像処理の位置合わせ確度判定閾値や、空間高周波成分の強調度などを制御することができる。

【0025】

図２は、一実施形態に係る超解像補助情報生成装置１０の構成例を示すブロック図である。超解像補助情報生成装置１０は、情報取得部１１と、補助情報生成部１２と、を備える。図２に示す各機能部は制御演算回路（コントローラ）を構成する。該制御演算回路は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)などの専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。

【0026】

情報取得部１１は、符号化画像を復号して復号画像を生成する際に用いられ、予測ユニットごとに設定された復号処理情報（動きベクトル情報、サイズ情報、及びＱＰ情報）を取得し、復号処理情報を補助情報生成部１２に出力する。

【0027】

補助情報生成部１２は、情報取得部１１から入力した復号処理情報に応じて、復号画像のぼやけ度合、又は復号画像を超解像処理する際の位置合わせ確度を、予測ユニットごとに推定し、推定結果を示す補助情報を生成する。補助情報生成部１２は、位置合わせ確度推定部１２１と、ぼやけ度合推定部１２２と、を備える。なお、情報取得部１１は、動きベクトル情報については位置合わせ確度推定部１２１に出力しなくてもよく、サイズ情報についてはぼやけ度合推定部１２２に出力しなくてもよい。

【0028】

位置合わせ確度推定部１２１は、情報取得部１１から、予測ユニットのサイズを示すサイズ情報を入力する。予測ユニットのサイズが大きいほどピクチャやスライス間において該予測ユニットに含まれる動オブジェクト全体が均一（又は平行）に動いているか、又は殆ど動いておらず動き推定が当たりやすいと考えられる。そのため、位置合わせ確度推定部１２１は、予測ユニットのサイズが大きいほど、予測ユニットに対応する復号画像における位置合わせ確度が高いと推定する。

【0029】

位置合わせ確度推定部１２１は、情報取得部１１から、量子化パラメータの値を示すＱＰ情報を入力する。量子化パラメータの値が大きいほど、予測ユニットに対応する復号画像が原画像と比較して劣化している可能性が高いと考えられる。そのため、位置合わせ確度推定部１２１は、量子化パラメータの値が大きいほど、予測ユニットに対応する復号画像における位置合わせ確度が低いと推定する。

【0030】

位置合わせ確度推定部１２１は、情報取得部１１から、動きベクトルの大きさを示す動きベクトル情報を入力した場合には、動きベクトルの大きさに応じて推定量を変化させてもよいが、本実施形態では動きベクトルの大きさが位置合わせ確度に与える影響は少ないものとして、動きベクトルの大きさに応じた推定を行わない（推定量を変化させない）。

【0031】

例えば、予測ユニットのサイズ及び量子化パラメータの値と、位置合わせ確度推定量との対応関係を予め規定しておき、位置合わせ確度推定部１２１は、該対応関係に基づいて推定結果を示す位置合わせ確度推定量を決定する。

【0032】

表１は、予測ユニットのサイズと位置合わせ確度推定量との対応関係を示す表の一例である。ここでは、位置合わせ確度推定量のデフォルト値を１．０とする。予測ユニットの形状が正方形ではない場合は、サイズを総画素数で判断すればよい。

【0033】

【表1】

【0034】

表２は、量子化パラメータの値と位置合わせ確度推定量との対応関係を示す表の一例である。ここでは、位置合わせ確度推定量のデフォルト値を１．０とする。

【0035】

【表2】

【0036】

例えば、予測ユニットのサイズが３２×３２であり、量子化パラメータの値が２８である場合、位置合わせ確度推定部１２１は、表１を用いて予測ユニットのサイズに対する位置合わせ確度推定量を１．５と決定し、表２を用いて量子化パラメータの値に対する位置合わせ確度推定量を１．５と決定する。そして、１．５と１．５を乗算し、最終的に位置合わせ確度推定量を２．２５と決定する。このようにして、位置合わせ確度推定部１２１は、復号処理情報に基づいて、復号画像の予測ユニットごとの位置合わせ確度推定量を生成する。

【0037】

ぼやけ度合推定部１２２は、情報取得部１１から、動きベクトルの大きさを示す動きベクトル情報を入力する。動きベクトルの大きさ（予測ユニットに対して複数の動きベクトルが存在する場合はそれらの平均値）が大きいほど、該予測ユニットに含まれる動オブジェクトの動きぼやけなどが大きい可能性が高いと考えられる。そのため、ぼやけ度合推定部１２２は、動きベクトルの大きさが大きいほど、予測ユニットに対応する復号画像におけるぼやけ度合が高いと推定する。

【0038】

ぼやけ度合推定部１２２は、情報取得部１１から、量子化パラメータの値を示すＱＰ情報を入力する。量子化パラメータの値が大きいほど、予測ユニットに対応する復号画像が原画像と比較して劣化している可能性が高いと考えられる。そのため、ぼやけ度合推定部１２２は、量子化パラメータの値が大きいほど、予測ユニットに対応する復号画像におけるぼやけ度合が高いと推定する。

【0039】

ぼやけ度合推定部１２２は、情報取得部１１から、予測ユニットのサイズを示すサイズ情報を入力した場合には、予測ユニットのサイズに応じて推定値を変化させてもよいが、本実施形態では予測ユニットのサイズがぼやけ度合に与える影響は少ないものとして、予測ユニットのサイズに応じた推定を行わない（推定量を変化させない）。

【0040】

例えば、動きベクトルの大きさ及び量子化パラメータの値と、ぼやけ度合推定量との対応関係を予め規定しておき、ぼやけ度合推定部１２２は、該対応関係に基づいて推定結果を示すぼやけ度合推定量を決定する。

【0041】

表３は、動きベクトルの大きさとぼやけ度合推定量との対応関係を示す表の一例である。ここでは、ぼやけ度合推定量のデフォルト値を１．０とする。

【0042】

【表3】

【0043】

表４は、量子化パラメータの値とぼやけ度合推定量との対応関係を示す表の一例である。ここでは、ぼやけ度合推定量のデフォルト値を１．０とする。

【0044】

【表4】

【0045】

例えば、動きベクトルの大きさが４３であり、量子化パラメータの値が３８である場合、ぼやけ度合推定部１２２は、表３を用いて動きベクトルの大きさに対するぼやけ度合推定量を１．５と決定し、表４を用いて量子化パラメータの値に対するぼやけ度合推定量を１．２と決定する。そして、１．５と１．２を乗算し、最終的にぼやけ度合推定量を１．８と決定する。このようにして、ぼやけ度合推定部１２２は、復号処理情報に基づいて、復号画像の予測ユニットごとのぼやけ度合推定量を生成する。

【0046】

超解像装置４０は、例えば単一フレーム内で階層型位置合わせを行う場合、特許文献２に記載されているように、被超解像画像を所定のサイズの分割ブロックに分割し、分割ブロックごとに低周波成分画像内で分割ブロックと最も類似度（相関性）が高い類似ブロックをブロックマッチングにより決定し、類似ブロックの位置を示す位置合わせ情報を生成する。ここで、分割ブロックと類似ブロックの差分値が閾値を超える場合には位置合わせ情報を破棄してもよく、超解像補助情報生成装置１０から入力した位置合わせ確度推定量を用いて該閾値を制御することで、位置合わせ精度を向上させることができる。また、超解像装置４０は、超解像補助情報生成装置１０から入力したぼやけ度合推定量を用いて、ぼやけ度合推定量が大きいほど復号画像の空間高周波成分を強調するなど空間高周波成分の強調度を調整することで、復号画像のぼやけ度合を改善することができる。

【0047】

次に、図３を参照して、超解像補助情報生成装置１０の動作について説明する。図３は、超解像補助情報生成装置１０の動作例を示すフローチャートである。超解像補助情報生成装置１０は、ステップＳ１０２とステップＳ１０３の処理を並列で行ってもよいし、ステップＳ１０３の処理を行った後に、ステップＳ１０２の処理を行ってもよい。

【0048】

ステップＳ１０１では、情報取得部１１により、符号化画像を復号する際に用いられた復号処理情報（動きベクトル情報、サイズ情報、及びＱＰ情報）を取得する。

【0049】

ステップＳ１０２では、位置合わせ確度推定部１２１により、サイズ情報が示す予測ユニットのサイズが大きいほど、予測ユニットに対応する復号画像における位置合わせ確度が高いと推定する。また、位置合わせ確度推定部１２１により、ＱＰ情報が示す量子化パラメータの値が大きいほど、予測ユニットに対応する復号画像における位置合わせ確度が低いと推定する。

【0050】

ステップＳ１０３では、ぼやけ度合推定部１２２により、動きベクトル情報が示す動きベクトルが大きいほど、予測ユニットに対応する復号画像におけるぼやけ度合が高いと推定する。また、ぼやけ度合推定部１２２により、ＱＰ情報が示す量子化パラメータ大きいほど、予測ユニットに対応する復号画像におけるぼやけ度合が高いと推定する。

【0051】

上述したように、超解像補助情報生成装置１０は、予測ユニットごとに設定された復号処理情報を取得し、復号処理情報に応じて、復号画像のぼやけ度合、又は復号画像を超解像処理する際の位置合わせ確度を、予測ユニットごとに推定し、復号画像の超解像処理に有用な超解像補助情報を生成する。超解像装置４０は、超解像補助情報を用いることで、位置合わせの精度を向上させ、復号画像のぼやけ度合を改善することができるため、復号画像を高画質に超解像処理することが可能となる。

【0052】

＜プログラム＞
上述した超解像補助情報生成装置１０として機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

【0053】

コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、ＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースである。

【0054】

プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0055】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0056】

１ 超解像処理システム
１０ 超解像補助情報生成装置
１１ 情報取得部
１２ 補助情報生成部
２０ 符号化装置
３０ 復号装置
４０ 超解像装置
１２１ 位置合わせ確度推定部
１２２ ぼやけ度合推定部

【図1】

【図2】

【図3】