特許 7683719 映像符号化装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-19

(45)【発行日】2025-05-27

(54)【発明の名称】映像符号化装置、方法およびプログラム

(51)【国際特許分類】

   H04N 19/122 20140101AFI20250520BHJP

   H04N 19/14 20140101ALI20250520BHJP

   H04N 19/176 20140101ALI20250520BHJP

【ＦＩ】

H04N19/122

H04N19/14

H04N19/176

【請求項の数】 9

(21)【出願番号】P 2023552683

(86)(22)【出願日】2021-12-10

(86)【国際出願番号】 JP2021045641

(87)【国際公開番号】W WO2023058254

(87)【国際公開日】2023-04-13

【審査請求日】2024-03-05

(31)【優先権主張番号】P 2021164585

(32)【優先日】2021-10-06

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】飯田 健太

(72)【発明者】

【氏名】蝶野 慶一

(72)【発明者】

【氏名】徳満 健太

(72)【発明者】

【氏名】森吉 達治

【審査官】白川 瑞樹

(56)【参考文献】

【文献】特表２０１７－５１３３４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ ー １９／９８

(57)【特許請求の範囲】

【請求項1】

処理対象ブロックに適用される予測符号化方法を、複数の予測符号化方法の候補から選択する予測符号化方法選択部を備え、
前記予測符号化方法の候補には、予測誤差信号の変換において所定の変換係数を処理対象から除外する変換方法が含まれ、
前記処理対象ブロックの原信号もしくは予測信号、または、前記原信号もしくは前記予測信号を用いて生成される信号を算出対象信号とし、該算出対象信号に基づいて所定の統計量を算出するブロック解析手段と、
前記予測符号化方法の候補からの選択の対象から前記変換方法を除外する除外手段とを備え、
前記ブロック解析手段は、前記処理対象ブロックの前記算出対象信号と、同一映像フレーム内のブロックまたは他の映像フレーム内のブロックの前記算出対象信号とを使用して、前記統計量を算出し、
前記除外手段は、前記統計量が所定の範囲の値であるときに、前記予測符号化方法の候補からの選択の対象から前記変換方法を除外する
映像符号化装置。

【請求項2】

前記ブロック解析手段は、
前記処理対象ブロックの前記算出対象信号から、所定の特徴を持つ画素を検出する手段を含み、
前記処理対象ブロックに含まれる画素の数に対する、検出された前記画素の数の割合を統計量として算出する
請求項１記載の映像符号化装置。

【請求項3】

前記処理対象ブロックを所定のサイズのサブブロックに分割する分割手段を備え、
前記ブロック解析手段は、
各サブブロックの前記算出対象信号から、サブブロック毎に統計量を算出する手段を含み、
前記処理対象ブロックの統計量を各サブブロックの統計量の値から算出する
請求項１記載の映像符号化装置。

【請求項4】

処理対象ブロックに適用される予測符号化方法を、複数の予測符号化方法の候補から選択する予測符号化方法選択部を備え、
前記予測符号化方法の候補には、予測誤差信号の変換において所定の変換係数を処理対象から除外する変換方法が含まれ、
前記処理対象ブロックの原信号もしくは予測信号、または、前記原信号もしくは前記予測信号を用いて生成される信号を算出対象信号とし、該算出対象信号に基づいて所定の統計量を算出するブロック解析手段と、
前記処理対象ブロックを所定のサイズのサブブロックに分割する分割手段と、
前記予測符号化方法の候補からの選択の対象から前記変換方法を除外する除外手段とを備え、
前記ブロック解析手段は、
各サブブロックの前記算出対象信号から、各サブブロックが所定の特徴を持つか否かを判定する手段を含み、
サブブロックの総数に対する、前記所定の特徴を持つと判定されたサブブロックの数の割合を前記統計量として算出し、
前記除外手段は、前記統計量が所定の範囲の値であるときに、前記予測符号化方法の候補からの選択の対象から前記変換方法を除外する
映像符号化装置。

【請求項5】

前記ブロック解析手段は、前記処理対象ブロックから複数の前記統計量を算出し、複数の統計量から１つの前記処理対象ブロックの統計量を算出する
請求項１から請求項４のうちのいずれか１項に記載の映像符号化装置。

【請求項6】

処理対象ブロックに適用される予測符号化方法を、複数の予測符号化方法の候補から選択し、
前記予測符号化方法の候補には、予測誤差信号の変換において所定の変換係数を処理対象から除外する変換方法が含まれ、
前記処理対象ブロックの原信号もしくは予測信号、または、前記原信号もしくは前記予測信号を用いて生成される信号を算出対象信号とし、該算出対象信号に基づいて所定の統計量を算出し、
前記統計量を算出するときに、前記処理対象ブロックの前記算出対象信号と、同一映像フレーム内のブロックまたは他の映像フレーム内のブロックの前記算出対象信号とを使用して、前記統計量を算出し、
予測符号化方法を選択するときに、前記統計量が所定の範囲の値であるときに、前記予測符号化方法の候補からの選択の対象から前記変換方法を除外する
映像符号化方法。

【請求項7】

処理対象ブロックに適用される予測符号化方法を、複数の予測符号化方法の候補から選択し、
前記予測符号化方法の候補には、予測誤差信号の変換において所定の変換係数を処理対象から除外する変換方法が含まれ、
前記処理対象ブロックの原信号もしくは予測信号、または、前記原信号もしくは前記予測信号を用いて生成される信号を算出対象信号とし、該算出対象信号に基づいて所定の統計量を算出し、
前記処理対象ブロックを所定のサイズのサブブロックに分割し、
前記統計量を算出するときに、各サブブロックの前記算出対象信号から、各サブブロックが所定の特徴を持つか否かを判定し、サブブロックの総数に対する、前記所定の特徴を持つと判定されたサブブロックの数の割合を前記統計量として算出し、
予測符号化方法を選択するときに、前記統計量が所定の範囲の値であるときに、前記予測符号化方法の候補からの選択の対象から前記変換方法を除外する
映像符号化方法。

【請求項8】

コンピュータに、処理対象ブロックに適用される予測符号化方法を、複数の予測符号化方法の候補から選択させ、
前記予測符号化方法の候補には、予測誤差信号の変換において所定の変換係数を処理対象から除外する変換方法が含まれ、
前記コンピュータに、
前記処理対象ブロックの原信号もしくは予測信号、または、前記原信号もしくは前記予測信号を用いて生成される信号を算出対象信号とし、該算出対象信号に基づいて所定の統計量を算出させ、
前記統計量を算出するときに、前記処理対象ブロックの前記算出対象信号と、同一映像フレーム内のブロックまたは他の映像フレーム内のブロックの前記算出対象信号とを使用して、前記統計量を算出させ、
予測符号化方法を選択するときに、前記統計量が所定の範囲の値であるときに、前記予測符号化方法の候補からの選択の対象から前記変換方法を除外させる
ための映像符号化プログラム。

【請求項9】

コンピュータに、処理対象ブロックに適用される予測符号化方法を、複数の予測符号化方法の候補から選択させ、
前記予測符号化方法の候補には、予測誤差信号の変換において所定の変換係数を処理対象から除外する変換方法が含まれ、
前記コンピュータに、
前記処理対象ブロックの原信号もしくは予測信号、または、前記原信号もしくは前記予測信号を用いて生成される信号を算出対象信号とし、該算出対象信号に基づいて所定の統計量を算出させ、
前記処理対象ブロックを所定のサイズのサブブロックに分割させ、
前記統計量を算出するときに、各サブブロックの前記算出対象信号から、各サブブロックが所定の特徴を持つか否かを判定し、サブブロックの総数に対する、前記所定の特徴を持つと判定されたサブブロックの数の割合を前記統計量として算出させ、
予測符号化方法を選択するときに、前記統計量が所定の範囲の値であるときに、前記予測符号化方法の候補からの選択の対象から前記変換方法を除外させる
ための映像符号化プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像の符号化を行う映像符号化装置および映像符号化方法に関する。

【背景技術】

【0002】

非特許文献１は、ＶＶＣ（Versatile Video Coding）と呼ばれる映像符号化方式を開示する。

【0003】

ＶＶＣでは、映像の各フレームは符号化ツリーユニット（ＣＴＵ：Coding Tree Unit）と呼ばれるブロックに分割され、ラスタスキャン順に各ＣＴＵの符号化処理が実施される。

【0004】

各ＣＴＵは、符号化ユニット（ＣＵ：Coding Unit ）の集合で構成されている。符号化処理は、ＣＵ毎に実行される。ＣＵは、四分木（ＱＴ：Quad-Tree ）構造またはマルチタイプ木（ＭＭＴ：Multi-Type Tree ）構造を用いてＣＴＵを分割したブロック、またはＣＴＵ自身に相当する。四分木構造では、ブロックが、水平方向および垂直方向に等分割される。マルチタイプ木構造では、水平方向または垂直方向で、分割されたブロックの短辺が、１：１になるように２分割される。または、水平方向または垂直方向で、分割されたブロックの短辺が、１：２：１になるように３分割される。

【0005】

各ＣＵでは、ＣＵが分割されて得られる予測ユニット（ＰＵ：Prediction Unit ）単位で、予測画像が生成される。通常、ＰＵのサイズは、ＣＵのサイズと同じである。予測画像の生成方法（以下、単に予測方法という。）として、イントラ予測と動き補償方式を伴うインター予測（以下、単にインター予測という。）とがある。

【0006】

各ＰＵの予測前後の画像間で差分が計算され、各ＰＵの予測誤差画像が生成される。各ＰＵの予測誤差画像から、対応するＣＵの予測誤差画像が定義される。

【0007】

各ＣＵの予測誤差画像には、ＣＵが分割されて得られる変換ユニット（ＴＵ：Transform Unit）単位で変換処理が適用されることによって、変換係数が取得される。変換方法として、主として離散コサイン変換（ＤＣＴ：Discrete Cosine Transform ）による周波数変換方法が使用される。ＴＵの幅と高さの両方が３２以下である場合には、離散サイン変換（ＤＣＴ：Discrete Sine Transform ）などの複数の周波数変換方法から選択された周波数変換方法を使用することも可能である。また、変換処理において、変換スキップと呼ばれる周波数変換方法でない変換方法を選択して使用することが可能である。

【0008】

取得された変換係数は、量子化パラメータ（ＱＰ：Quantization parameter）などで決定される値を用いて量子化され、量子化係数が生成される。一般に、ＱＰの値が大きいほど、情報の損失量が大きくなる。量子化係数が整数化された後、整数化された量子化係数が算術符号化される。

【0009】

一般に、周波数変換によって生成される変換係数のエネルギーは低周波領域に集中する。したがって、低周波領域の変換係数の値は大きくなり、高周波領域の変換係数の値は小さくなる。

【0010】

周波数変換方法が選択されているとき、ＴＵの幅と高さとのうちの少なくとも一方が３２を超える場合に、３２を超えた部分すなわち高周波成分の変換係数は、値の大きさに関わらず除外される。したがって、量子化および算術符号化される変換係数の個数は３２×３２以下になる。

【先行技術文献】

【非特許文献】

【0011】

【文献】"Versatile video coding", Recommendation ITU-T H.266 (08/2020)

【発明の概要】

【発明が解決しようとする課題】

【0012】

映像符号化装置は、符号化対象となるＣＴＵからＣＵへの分割方法と、分割によって生成される各ＣＵの予測方法と、変換方法との多数の組み合わせの中から、最適な組み合わせを選択する。映像符号化装置は、選択した組合せを用いて予測符号化を行う。例えば、映像符号化装置は、最適な組み合わせを選択するときに、使用されうる予測符号化方法の候補に対応する予測方法に基づいて生成された予測誤差画像を対象として、使用されうる予測符号化方法に対応する変換方法による変換処理、量子化処理、逆量子化処理、変換処理に対応する逆周波数変換処理および算術符号化処理等を実行する。なお、予測符号化方法は、少なくとも予測方法と変換方法とを含む。

【0013】

映像符号化装置において使用される変換方法には、変換係数の値に関わらず係数を符号化の対象から除外する方法も含まれる。例えば、前述したように、変換方法として周波数変換方法が選択されており、ＴＵの幅または高さのいずれかが３２より大きい場合に、周波数変換方法を用いたとき、変換係数が３２×３２となるように変換係数を除外する処理が、変換係数の値に関わらず適用される。

【0014】

除外される変換係数は、上記のように高周波領域における変換係数であり、高周波領域における変換係数の値は一般に小さい。よって、高周波領域における変換係数を除外しても、映像復号装置において復号される画像の品質は、多くの場合でさほどの影響（劣化）を受けない。また、上記の条件に該当するＴＵの使用により、そのＴＵに対応する領域を符号化した際に発生する符号量を、複数のＴＵに分割して符号化した場合と比べて、削減することが可能である。

【0015】

しかし、上記のＴＵの幅と高さについての条件が満たされる場合に、高周波領域における変換係数の値が比較的大きいとき、係数の除外による情報の損失量が多くなる。その結果、映像復号装置において復号される画像の品質が劣化する。

【0016】

そこで、本発明は、最適な予測符号化方法を選択するときに、発生する符号量を大きく増加させないよう抑制しつつ、主観画質を改善可能な映像符号化装置および映像符号化方法を提供することを目的とする。

【課題を解決するための手段】

【0017】

本発明による映像符号化装置は、処理対象ブロックに適用される予測符号化方法を、複数の予測符号化方法の候補から選択する予測符号化方法選択部を含み、予測符号化方法の候補には、予測誤差信号の変換において所定の変換係数を処理対象から除外する変換方法が含まれ、予測符号化方法の候補からの選択の対象から変換方法を除外する除外手段を含む。

【0018】

本発明による映像符号化装置は、処理対象ブロックに適用される予測符号化方法を、複数の予測符号化方法の候補から選択する予測符号化方法選択部を含み、予測符号化方法の候補には、予測誤差信号の変換において所定の変換係数を処理対象から除外する変換方法が含まれ、処理対象ブロックの原信号もしくは予測信号、または、原信号もしくは予測信号を用いて生成される信号を算出対象信号とし、算出対象信号に基づいて所定の統計量を算出するブロック解析手段と、予測符号化方法の候補からの選択の対象から変換方法を除外する除外手段とを含み、ブロック解析手段は、処理対象ブロックの算出対象信号と、同一映像フレーム内のブロックまたは他の映像フレーム内のブロックの算出対象信号とを使用して、統計量を算出し、除外手段は、統計量が所定の範囲の値であるときに、予測符号化方法の候補からの選択の対象から前記変換方法を除外する。

【0019】

本発明による映像符号化方法は、処理対象ブロックに適用される予測符号化方法を、複数の予測符号化方法の候補から選択し、予測符号化方法の候補には、予測誤差信号の変換において所定の変換係数を処理対象から除外する変換方法が含まれ、処理対象ブロックの原信号もしくは予測信号、または、原信号もしくは予測信号を用いて生成される信号を算出対象信号とし、算出対象信号に基づいて所定の統計量を算出し、統計量を算出するときに、処理対象ブロックの算出対象信号と、同一映像フレーム内のブロックまたは他の映像フレーム内のブロックの算出対象信号とを使用して、統計量を算出し、予測符号化方法を選択するときに、統計量が所定の範囲の値であるときに、予測符号化方法の候補からの選択の対象から変換方法を除外する。

【発明の効果】

【0020】

本発明による映像符号化プログラムは、コンピュータに、処理対象ブロックに適用される予測符号化方法を、複数の予測符号化方法の候補から選択させ、予測符号化方法の候補には、予測誤差信号の変換において所定の変換係数を処理対象から除外する変換方法が含まれ、コンピュータに、処理対象ブロックの原信号もしくは予測信号、または、原信号もしくは予測信号を用いて生成される信号を算出対象信号とし、算出対象信号に基づいて所定の統計量を算出させ、統計量を算出するときに、処理対象ブロックの算出対象信号と、同一映像フレーム内のブロックまたは他の映像フレーム内のブロックの算出対象信号とを使用して、統計量を算出させ、予測符号化方法を選択するときに、予測符号化方法の候補からの選択の対象から変換方法を除外させる。

【図面の簡単な説明】

【0021】

【図1】映像符号化装置の構成例を示すブロック図である。

【図2】映像符号化装置の第１の実施形態の予測符号化方法の候補の評価に関する動作を示すフローチャートである。

【図3】ＣＰＵを有するコンピュータの一例を示すブロック図である。

【図4】映像符号化装置の主要部を示すブロック図である。

【図5】他の態様の映像符号化装置の主要部を示すブロック図である。

【図6】別の映像符号化装置の主要部を示すブロック図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施形態を図面を参照して説明する。

【0023】

実施形態１
（構成の説明）
図１は、映像符号化装置の構成例を示すブロック図である。図１に示す映像符号化装置は、ブロック分割部１０１、減算器１０２、変換部１０３、量子化部１０４、逆量子化部１０５、逆変換部１０６、加算器１０７、ループフィルタ１０８、予測部１１０、算術符号化器１１３、符号化方法決定部１１４、および符号列生成部１１５を備える。予測部１１０は、イントラ予測器１１１とインター予測器１１２とを含む。

【0024】

映像符号化装置は、さらに、ブロック解析部１２１と符号化方法制御部１２２とを含む制御部１２０を含む。

【0025】

ブロック分割部１０１は、入力映像フレームを複数のＣＴＵに分割する。さらに、ブロック分割部１０１は、各ＣＴＵに対して、ＣＵの集合を定義する。ＣＵの集合は、ＣＴＵを分割せずにそのままＣＵとして定義することによって得られる。または、ＣＵの集合は、四分木構造もしくはマルチタイプ木構造を用いてＣＴＵが分割されて得られる個々のブロックをＣＵとして定義することによって得られる。また、ブロック分割部１０１は、ＣＵを分割せずにそのままＰＵとして定義するか、または、ＣＵを分割したブロックをＰＵとして定義する。同様に、ブロック分割部１０１は、ＣＵを分割せずにそのままＴＵとして定義するか、または、ＣＵを分割したブロックをＴＵとして定義する。

【0026】

減算器１０２は、ブロック分割部１０１が選択したブロックごとに、入力信号（入力画素値）から予測信号を減算して予測誤差信号を生成する。予測誤差信号は、予測残差または予測残差信号とも呼ばれる。

【0027】

変換部１０３は、処理対象ブロックの予測誤差信号を周波数変換して変換係数を得る。変換部１０３は、タイプII ＤＣＴ （ＤＣＴ－ＩＩ）を含む複数種類の周波数変換機能と、予測誤差信号に対して周波数変換を施さない変換スキップ機能とを備える。変換部１０３は、符号化方法制御部１２２で選択される変換方法を使用して、上記いずれかの変換を実行する。

【0028】

量子化部１０４は、変換係数を量子化して量子化係数（変換量子化値）とする。変換量子化値は、算術符号化器１１３および逆量子化部１０５で使用される。

【0029】

逆量子化部１０５は、変換量子化値を逆量子化して変換係数を復元する。逆変換部１０６は、変換部１０３で実行された変換方法に基づいて、変換係数を逆周波数変換して予測誤差信号を復元する。

【0030】

加算器１０７は、復元された予測誤差信号と予測信号とを加算して再構築信号（再構築画像）を生成する。

【0031】

イントラ予測器１１１、ループフィルタ１０８、符号化方法決定部１１４は再構築信号を入力とする。

【0032】

なお、一般に、予測部１１０の前段またはイントラ予測器１１１に、符号化対象ピクチャ内の参照ブロックを格納するためのブロックメモリが設けられるが、図１では記載省略されている。

【0033】

イントラ予測器１１１は、参照ブロックを参照して、符号化対象ブロックについてイントラ予測を行い、予測信号（この場合には、イントラ予測信号）を生成する。

【0034】

ループフィルタ１０８は、例えば、デブロッキングフィルタ、サンプル適応オフセットフィルタおよび適応ループフィルタを含み、適切なフィルタリングを行う。ループフィルタ１０８でフィルタリングされた再構築信号は、インター予測器１１２に入力される。なお、一般に、予測部１１０の前段またはインター予測器１１２に、参照ピクチャを格納するためのフレームメモリが設けられるが、図１では記載省略されている。

【0035】

インター予測器１１２は、符号化対象ピクチャとは異なる参照ピクチャを参照して、符号化対象ブロックについてインター予測を行い、予測信号（この場合には、インター予測信号）を生成する。

【0036】

算術符号化器１１３は、変換量子化値を算術符号化することによって符号化信号（符号列：ビットストリーム）を生成する。算術符号化器１１３は、変換量子化値を２値化し、２値信号を算術符号化して２値算術符号を生成する。

【0037】

符号化方法決定部１１４は、複数の予測方法および変換方法のそれぞれを用いて予測符号化した場合のコストを計算する。符号化方法決定部１１４は、処理対象ブロックに最適な予測符号化方法を選択する。一般に、推定されるビットストリーム長Ｒと、原信号と再構築信号との歪みＤからRate-distortion cost（ＲＤコスト）Ｊが以下の（１）式で計算される。なお、符号化方法決定部１１４は、ＲＤコスト以外によって、コストを計算してもよい。
Ｊ＝Ｄ＋λＲ （１）

【0038】

符号列生成部１１５は、最適な予測符号化方法での２値算術符号を選択して、ビットストリームとして出力する。例えば、ビットストリームは、画像復号装置に伝送される。ビットストリームは、記憶媒体（図示せず）に対して出力され、記憶媒体において記憶されるようにしてもよい。

【0039】

制御部１２０におけるブロック解析部１２１は、入力される処理対象ブロックの信号から、処理対象ブロックが所定の特徴を持つ度合いを表す統計量を算出する。所定の特徴として、処理対象ブロックに含まれる、特定の色を表す画素の値などが挙げられる。ブロック解析部１２１は、そのような特徴から統計量を算出するとき、例えば、特定の色を表現する画素を検出する。そして、ブロック解析部１２１は、処理対象ブロックに含まれる画素の数に対する、特定の色を表現する画素の数の割合を統計量とする。なお、検出する特徴は複数あってもよい。また、ブロック解析部１２１は、注目する特徴毎に統計量を算出してもよい。ブロック解析部１２１は、少なくとも１つの特徴に該当する画素の統計量を算出してもよい。

【0040】

すなわち、ブロック解析部１２１は、処理対象ブロックから複数の統計量を算出し、符号化方法制御部１２２へ送信する処理対象ブロックの統計量の算出のために、複数の統計量から１つの統計量を算出してもよい。なお、複数の統計量から１つの統計量を算出する手法は、後述するサブブロック毎に統計量を算出する方法にも適用可能である。

【0041】

符号化方法制御部１２２は、ブロック解析部１２１で算出された統計量と、処理対象ブロックのサイズ、予測方法、変換方法から、事前に制約する対象として与えられた条件を満たすかを判定する。条件を満たさない場合、符号化方法制御部１２２は、変換部１０３と予測部１１０で実行される変換方法および予測方法それぞれに設定する。条件を満たす場合、符号化方法制御部１２２は、変換部１０３と予測部１１０での処理を行わないように制御し、符号化方法決定部１１４で計算されるコストが最大値となるように設定する。

【0042】

以下、逆量子化部１０５、逆変換部１０６、および加算器１０７を局所復号部ということがある。

【0043】

（統計量の説明）
上述したように、ＶＶＣでは、変換方法として周波数変換方法が選択されて、かつ、ＴＵの幅と高さとのうちの少なくとも一方が３２を超える場合には、３２を超えた部分（すなわち、高周波領域）の変換係数は除外される。３２を超えた部分は、高周波領域に対応する。周波数変換後、低周波成分へのエネルギーの集中の度合が大きい場合には、高周波領域の変換係数が除外されても、映像復号装置において復号される画像の品質（復号後の画質）は、さほど劣化しない。

【0044】

しかし、低周波成分へのエネルギーの集中の度合がさほど大きくない場合には、高周波領域の変換係数が除外されると、復号後の画質は劣化する。換言すれば、周波数変換時に高周波領域の変換係数が除外されることによって、原画像が有する情報量が低減する。すなわち、情報が損失する。その結果、復号後の画質が劣化する。特に、そのＴＵが、性質の異なる絵柄の領域を２つ以上含み、かつ、注目されやすい特徴を持つ領域である場合、顕著な劣化が生じる。さらに、それらの領域に人間が注目するような特徴を持つ領域が含まれている場合、顕著な劣化が生じる。

【0045】

このような画質劣化が生じる場合においても、上記の条件（上記のＴＵの幅と高さについての条件）を満たす予測符号化方法が、最適な予測符号化方法として選択される可能性がある。例えば、上述したように、大きいサイズのＴＵが使用されると、発生する符号量の削減が可能になる。そのため、符号量のみに基づいて予測符号化方法を決定するような選択方法、すなわち、符号量を重視した選択方法が使用されるときに、上記の条件を満たす予測符号化方法が、最適な予測符号化方法であると判断される可能性がある。

【0046】

主観画質の観点から、幅と高さとのうちの少なくとも一方が３２を超えるＴＵを使用して予測符号化することは望ましくない。しかし、上記の条件（幅と高さとのうちの少なくとも一方が３２を超えるという条件）を満たす比較的大きなＴＵを使用することによって、発生する符号量を削減することが可能である。そのため、上記条件による予測符号化方法を制約した場合、発生する符号量が所定の値となるように制御されているとき、制約しない場合と同等程度の符号量に抑制するための処理が、情報の損失を引き起こす可能性がある。すなわち、画質を劣化させる可能性がある。

【0047】

換言すれば、復号される画質の劣化を抑制するために、上記の条件を満たす予測符号化方法は制約されることが望ましい。しかし、上述したように、上記の条件を満たす予測符号化方法は発生する符号量の削減に寄与するため、画像内の全ての領域で使用を制限すると、発生する符号量が増加する可能性がある。特に、上記の予測符号化方法の制約は、発生する符号量が所定の値となるように制御されているとき、画質の劣化を引き起こす可能性がある。例えば、上記の制約がない場合と同等程度の符号量に抑制するために、より大きな値のＱＰを用いて量子化するなどの処理が行われる。そのような処理による情報の損失が画質の劣化を引き起こす可能性がある。

【0048】

本実施形態では、ブロック解析部１２１が、処理対象ブロックに含まれる画素の数に対する、所定の特徴を持つ画素の数、または、画素ブロックに含まれる画素の数が占める割合すなわち注目領域占有率を、統計量として算出する。符号化方法制御部１２２は、注目領域占有率が所定の値の範囲であり、ＴＵの幅と高さとのうちの少なくとも一方が３２を超える場合には、そのようなＴＵを用いた予測符号化方法を選択しないようにする。その結果、発生する符号量を抑制しつつ、主観画質の劣化が目立ちやすい領域で劣化の度合いを抑えることが可能になる。

【0049】

具体的には、ブロック解析部１２１は、Ｐ個の画素を持つ入力信号Ｉの注目領域占有率Ａを、入力信号の各画素Ｉ_ｐから統計量として計算する。例えば、ブロック解析部１２１は、注目する所定の特徴を特定の画素値Ｃとしたとき、以下の（２）式で統計量を算出する。

【0050】

【数1】

【0051】

なお、注目領域占有率は他の計算式を用いて計算されてもよい。また、例えば、画素値が、処理対象ブロック内の画素位置に応じて重みづけされてもよい。

【0052】

符号化方法制御部１２２は、例えば、注目領域占有率Ａが所定の上限に関するしきい値（以下、ｔｈ_minとする。）と下限に関するしきい値（以下、ｔｈ_maxとする。）で設定される範囲内の値である場合、そのＴＵによる予測符号化方法を選択しないようにする。例えば、より主観画質を重視したい場合には、ｔｈ_minがより小さな値に、ｔｈ_maxがより大きな値に設定される。

【0053】

なお、統計量として、処理対象ブロックの画素の数に対する特定の画素値を持つ画素の数の割合である注目領域占有率を用いる例を説明したが、本発明において、統計量は、そのような統計量に限定されない。

【0054】

例えば、ブロック解析部１２１は、処理対象ブロックと同一映像フレーム内のブロックとの画素の相関を統計量として用いることができる。また、ブロック解析部１２１は、近接する映像フレーム内のブロックにおける画素と同じ位置にある画素の絶対値差分和を統計量として用いることができる。換言すれば、ブロック解析部１２１は、処理対象ブロックの算出対象信号（処理対象ブロックの原信号もしくは予測信号、または、原信号もしくは予測信号を用いて生成される信号）と、同一映像フレーム内のブロックまたは他の映像フレーム（一例として、近接する映像フレーム）内のブロックの算出対象信号とを使用して、統計量を算出してもよい。

【0055】

さらに、ブロック分割部１０１が処理対象ブロックをサブブロックに分割した後に、サブブロック毎に統計量を算出し、各サブブロックの統計量から選択された値または各サブブロックの統計量から計算された値を統計量として用いることもできる。また、ブロック解析部１２１は、各サブブロックの算出対象信号から、各サブブロックが所定の特徴を持つか否かを判定し、サブブロックの総数に対する、所定の特徴を持つと判定されたサブブロックの数の割合を統計量として算出してもよい。

【0056】

また、ブロック解析部１２１は、映像符号化装置に入力される原信号から統計量を算出する。しかし、ブロック解析部１２１は、予測信号や予測誤差信号から統計量を算出してもよい。ブロック解析部１２１は、原信号にガンマ変換などを施して得られる信号などから統計量を算出してもよい。

【0057】

（動作の説明）
一例として、映像符号化装置は、複数種類の予測符号化方法の候補のそれぞれを特定可能なデータが設定された候補テーブルを記憶する記憶部（図示せず）を含む。制御部１２０は、予測符号化方法の候補を評価するときに、評価対象の変換方法を変換部１０３に設定し、予測方法を予測部１１０に設定する。

【0058】

候補テーブルに設定される予測方法として、イントラ予測に関して、以下の予測方法が考えられる。
・DC予測
・Planar予測
・角度予測（Angular予測）の各々

【0059】

イントラ予測に関して、予測方法の候補として、以下の予測方法（非特許文献１参照）が追加されてもよい。
・ＩＢＣ（Intra Block Copy）
・ＭＩＰ（Matrix-based Intra Prediction）

【0060】

インター予測に関して、以下の予測方法が考えられる。
・適応動きベクトル符号化
・マージ符号化

【0061】

インター予測に関して、予測方法の候補として、以下の予測方法（非特許文献１参照）が追加されてもよい。
・アフィン予測
・ＧＰＭ（Geometric Partitioning Mode）
・ＣＩＩＰ（Combined inter merge / intra prediction）
・ＳＢＴ（Sub-block transform）

【0062】

候補テーブルに設定される変換方法として、以下の変換方法が考えられる。
・ＤＣＴ－ＩＩ
・変換スキップ

【0063】

変換方法の候補として、以下の変換方法（非特許文献１参照）が追加されてもよい。
・ＤＣＴ―ＶＩＩＩ
・ＤＳＴ―ＶＩＩ
・ＤＣＴ－ＩＩ、ＤＣＴ―ＶＩＩＩ、ＤＳＴ―ＶＩＩのうち、いずれか２つの組み合わせ
・上記変換方法とＬＦＮＳＴ（Low frequency non-separatable transform ）との組み合わせ

【0064】

なお、映像符号化装置において、予測モードの候補のそれぞれを特定可能なデータが設定された候補テーブルが使用されることは一例である。例えば、映像符号化装置がプロセッサで実現される場合に、予測モードの候補のそれぞれを特定可能なデータがプログラムで記述されていてもよい。

【0065】

映像符号化装置のＣＴＵ毎に実施される最適な予測符号化方法の候補の評価に関する動作を、図２のフローチャートを参照して説明する。

【0066】

ブロック分割部１０１は、評価対象のＣＴＵの分割可能なパターンから１つの分割パターンを選択し、ＣＵの集合を生成する（ステップＳ１００）。さらに、ブロック分割部１０１は、ＣＵの集合から１つのＣＵを選択する（ステップＳ１０１）。また、符号化方法制御部１２２は、予測方法と変換方法と（具体的には、予測方法を特定可能なデータおよび変換方法を特定可能なデータ）が設定されている候補テーブルから、予測方法および変換方法を１つ選択する（ステップＳ１０２）。

【0067】

符号化方法制御部１２２は、ブロック分割部１０１から入力されるブロック（予測符号化方法の候補の評価の対象である処理対象ブロック）を対象として、ＴＵの幅と高さとのうちの少なくとも一方が３２を超えるか否かを判定する（ステップＳ１０３）。ＴＵの幅と高さ共に３２を超えないと判定された場合には、ステップＳ１０６に移行する。ＴＵの幅と高さとのうちの少なくとも一方が３２を超える場合には、ステップＳ１０４に移行する。

【0068】

ステップＳ１０４で、ブロック解析部１２１は、処理対象ブロックの注目領域占有率Ａを計算する。ブロック解析部１２１は、注目領域占有率Ａを符号化方法制御部１２２に通知する。

【0069】

符号化方法制御部１２２は、通知された注目領域占有率Ａと、事前に設定されたしきい値ｔｈ_min, ｔｈ_maxとを比較する。すなわち、符号化方法制御部１２２は、ｔｈ_min≦Ａ≦ｔｈ_maxの関係を満たすかを判定する。符号化方法制御部１２２が、関係を満たさないと判定した場合には、処理は、ステップＳ１０６に移行する。符号化方法制御部１２２が、関係を満たすと判定した場合には、処理は、ステップＳ１１０に移行する。この場合には、ステップＳ１１０において、符号化方法決定部１１４は、ＲＤコストを最大値に設定する。なお、最大値は、他の予測符号化方法に対応するＲＤコストとして想定される値よりも大きい値である。

【0070】

ステップＳ１０６で、予測部１１０において、イントラ予測器１１１またはインター予測器１１２は、ブロック分割部１０１から入力されるブロックを対象として予測信号を生成する。また、減算器１０２は、予測誤差信号を生成する。

【0071】

変換部１０３は、予測誤差信号を周波数変換して変換係数を生成する（ステップＳ１０７）。なお、変換部１０３は、ＴＵの幅と高さとのうちの少なくとも一方が３２を超える場合には、３２を超えた部分（すなわち、高周波領域）の変換係数を除外する。すなわち、変換係数を要素とする２次元行列を想定すると、変換部の変換結果において、行および列がともに３２以下になっている。

【0072】

なお、ＴＵの水平方向のサイズと垂直方向のサイズの少なくとも一方が３２を超える場合に、変換部１０３が、高周波領域の変換係数を除外して変換結果としてもよい。また、変換部１０３は、全領域の変換係数を変換結果とし、量子化部１０４が、行および列ともに３２以下の領域の変換係数を量子化し、その他の変換係数を破棄してもよい。

【0073】

ステップＳ１０７で、量子化部１０４は、変換部１０３からの変換係数を量子化して変換量子化値を生成する。逆量子化部１０５と算術符号化器１１３とは、変換量子化値を入力する。

【0074】

逆量子化部１０５は、変換量子化値を逆量子化する（ステップＳ１０８）。さらに、逆変換部１０６は、逆量子化された変換量子化値を逆周波数変換して変換係数を復元する。算術符号化器１１３は、変換量子化値を算術符号化して符号化信号を生成する（ステップＳ１０９）。

【0075】

符号化方法決定部１１４は、上述したＲＤコストＪを計算する。なお、式（１）以外の指標を用いてもよい。一例として、符号化方法決定部１１４は、ＲとＤとのうちの一方のみを使用してもよい。Ｒのみが使用される場合には、算術符号化処理（ステップＳ１０９の処理）は不要である。また、例えば、符号化方法決定部１１４は、原画像（入力信号）と再構築画像（再構築信号）との差の二乗和に代えて、予測誤差信号の累積和（総和）を使用してもよい。さらに、符号化方法決定部１１４は、算術符号化器の発生符号量に代えて、算術符号化器への入力符号量や、何らかの手法で推定される符号量を使用してもよい。

【0076】

候補テーブルに設定されている全ての予測方法と変換方法の候補について評価が完了していれば、ステップＳ１１２に移行する。未評価の候補があれば、ステップＳ１０２に戻る。

【0077】

ＣＵの集合における全てのＣＵの評価が完了していなければ、ステップＳ１０１に戻る。全てのＣＵの評価が完了したら、符号化方法決定部１１４は、現在評価対象になっている分割パターンでのＣＴＵのコストを計算する。

【0078】

評価対象のＣＴＵの全ての分割パターンの評価が完了していれば、処理を終了する。未評価の分割パターンがあれば、ステップＳ１００に戻る。

【0079】

例えば、符号化方法決定部１１４は、ステップＳ１１０の処理で、各々の予測符号化方法の候補の符号化効率（この例では、ＲＤコスト）を一時記憶する。符号化方法決定部１１４は、記憶されている符号化効率のうちの最小の符号化効率を呈した予測符号化方法を、実際の符号化処理で使用される予測符号化方法すなわち処理対象ブロックに適用される予測符号化方法として決定する。

【0080】

なお、符号化方法決定部１１４は、全ての予測符号化方法の候補の符号化効率を記憶するのではなく、最小の符号化効率とそれを呈した予測符号化方法とを保存してもよい。その場合には、符号化方法決定部１１４は、ステップＳ１１０の処理で、そのときに算出した符号化効率が、保存されている符号化効率よりも小さいときに、算出した符号化効率とそれを呈した予測モードとで、保存されている符号化効率と予測符号化方法とを更新する。

【0081】

他の実施形態１．
ＶＶＣにおいて、ＳＢＴ（Sub-block Transform ）を使用可能である。ＳＢＴは、水平方向または垂直方向にブロックを２つのサブブロックに分割し、いずれか一方のサブブロックのみに関して周波数変換を行う方式である。他方のサブブロックにおける全ての予測誤差信号は０に置き換えられる。ＳＢＴでも情報損失が発生するので、上記の各実施形態を応用することが考えられる。

【0082】

他の実施形態２．
ＶＶＣにおいて、ＬＦＮＳＴ（Low-Frequency Non-Separable Transform ）を使用可能である。ＬＦＮＳＴは、イントラ予測で符号化する場合、変換係数をＬＦＮＳＴのために定義された直交変換行列を用いて再変換する方式である。最大で４８係数までが再変換の対象になる。再変換の対象以外の係数（３２×３２の場合、９７６係数）を全て０にする。したがって、高周波成分の係数に対して係数の除外が実行されることになるので、ＬＦＮＳＴでも情報損失が発生することになり、上記の各実施形態を応用することが考えられる。

【0083】

上記の各実施形態の映像符号化装置を、個別のハードウェア回路や集積回路で構成することも可能であるが、ＣＰＵ（Central Processing Unit ）等のプロセッサやメモリ等を有するコンピュータにより実現することも可能である。例えば、記憶装置（記憶媒体）に上記の実施形態における方法（処理）を実施するためのプログラムを格納し、当該プログラムをＣＰＵで実行することによって、各機能を実現してもよい。

【0084】

図３は、ＣＰＵを有するコンピュータの一例を示すブロック図である。コンピュータは、映像符号化装置に実装される。ＣＰＵ１０００は、記憶装置１００１に格納された映像符号化プログラムに従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、ＣＰＵ１０００は、図１に示された映像符号化装置における、ブロック分割部１０１、減算器１０２、変換部１０３、量子化部１０４、逆量子化部１０５、逆変換部１０６、加算器１０７、ループフィルタ１０８、予測部１１０（イントラ予測器１１１およびインター予測器１１２）、算術符号化器１１３、符号化方法決定部１１４、符号列生成部１１５、およびブロック解析部１２１と符号化方法制御部１２２とを含む制御部１２０の機能を実現する。

【0085】

記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium ）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium ）を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体（例えば、ハードディスク）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory ）、ＣＤ－Ｒ（Compact Disc-Recordable ）、ＣＤ－Ｒ／Ｗ（Compact Disc-ReWritable ）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM ）、フラッシュＲＯＭ）がある。

【0086】

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium ）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。

【0087】

メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現され、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ１００２に、記憶装置１００１または一時的なコンピュータ可読媒体が保持するプログラムが転送され、ＣＰＵ１０００がメモリ１００２内のプログラムに基づいて処理を実行するような形態も想定しうる。

【0088】

図４は、映像符号化装置の主要部を示すブロック図である。図４に示す映像符号化装置１０は、処理対象ブロックに適用される予測符号化方法を、複数の予測符号化方法の候補から選択する予測符号化方法選択部（予測符号化方法選択手段）１５（実施形態では、符号化方法決定部１１４で実現される。）を備える。予測符号化方法の候補には、予測誤差信号の変換において所定の変換係数を処理対象から除外する変換方法（例えば、ＴＵの幅と高さとのうちの少なくとも一方が３２を超える場合に適用される変換方法）が含まれる。映像符号化装置１０は、予測符号化方法の候補からの選択の対象から変換方法を除外する除外部（除外手段）１６（実施形態では、符号化方法制御部１２２で実現される。）をさらに備える。

【0089】

図５は、他の態様の映像符号化装置の主要部を示すブロック図である。図５に示す映像符号化装置１０は、処理対象ブロックの原信号もしくは予測信号、または、原信号もしくは予測信号を用いて生成される信号を算出対象信号とし、該算出対象信号に基づいて所定の統計量を算出するブロック解析部（ブロック解析手段）１７（実施形態では、ブロック解析部１２１で実現される。）をさらに備える。除外部１６は、統計量が所定の範囲の値であるときに、予測符号化方法の候補からの選択の対象から変換方法を除外する。

【0090】

図６は、さらに他の映像符号化装置の主要部を示すブロック図である。図６に示すように、映像符号化装置１０は、処理対象ブロックを所定のサイズのサブブロックに分割する分割部（分割手段）１８（実施形態では、ブロック分割部１０１で実現される。）をさらに備える。ブロック解析部１７は、各サブブロックの算出対象信号から、サブブロック毎に統計量を算出する手段を含み、処理対象ブロックの統計量を各サブブロックの統計量の値から算出する。また、ブロック解析部１７は、各サブブロックの算出対象信号から、各サブブロックが所定の特徴を持つか否かを判定する手段を含み、サブブロックの総数に対する、所定の特徴を持つと判定されたサブブロックの数の割合を統計量として算出してもよい。

【0091】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0092】

この出願は、２０２１年１０月６日に出願された日本特許出願２０２１－１６４５８５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0093】

１０ 映像符号化装置
１５ 予測符号化方法選択部（予測符号化方法選択手段）
１６ 除外部（除外手段）
１７ ブロック解析部（ブロック解析手段）
１８ 分割部（分割手段）
１０１ ブロック分割部
１０２ 減算器
１０３ 変換部
１０４ 量子化部
１０５ 逆量子化部
１０６ 逆変換部
１０７ 加算器
１０８ ループフィルタ
１１０ 予測部
１１１ イントラ予測器
１１２ インター予測器
１１３ 算術符号化器
１１４ 符号化方法決定部
１１５ 符号列生成部
１２０ 制御部
１２１ ブロック解析部
１２２ 符号化方法制御部
１０００ ＣＰＵ
１００１ 記憶装置
１００２ メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】