特開 2024-59251 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024059251

(43)【公開日】2024-05-01

(54)【発明の名称】映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法

(51)【国際特許分類】

   H04N 19/103 20140101AFI20240423BHJP

   H04N 19/157 20140101ALI20240423BHJP

   H04N 19/59 20140101ALI20240423BHJP

【ＦＩ】

H04N19/103

H04N19/157

H04N19/59

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022166819

(22)【出願日】2022-10-18

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】飯田 健太

(72)【発明者】

【氏名】徳満 健太

(72)【発明者】

【氏名】森吉 達治

(72)【発明者】

【氏名】蝶野 慶一

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LB05

5C159MA04

5C159MA05

5C159MA14

5C159MA21

5C159MC11

5C159RC12

5C159TA17

5C159TA61

5C159TA62

5C159TB08

5C159TC03

5C159TC41

5C159TD02

5C159TD05

5C159TD06

5C159UA02

5C159UA05

5C159UA16

(57)【要約】

【課題】映像符号化装置において、ある符号化処理が他の符号化処理を制約する場合に、映像符号化装置と映像復号装置との間の相互接続性が低下しないようにする。
【解決手段】映像符号化装置１０は、処理対象フレームの解像度と異なる解像度の符号化済みのフレームを参照フレームとする特定処理を含む予測符号化処理を実行可能な映像符号化装置であって、予測符号化処理を実行する符号化部１１と、予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理もしくは復号時に計算される情報を用いた補正を行うことになる第２処理、または、第１処理および第２処理の双方の実行を禁止する制御部１２とを含む。
【選択図】図１２

【特許請求の範囲】

【請求項1】

処理対象フレームの解像度と異なる解像度の符号化済みのフレームを参照フレームとする特定処理を含む予測符号化処理を実行可能な映像符号化装置であって、
前記予測符号化処理を実行する符号化手段と、
前記予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理もしくは復号時に計算される情報を用いて補正を行うことになる第２処理、または、前記第１処理および前記第２処理の双方の実行を禁止する制御手段と
を備える映像符号化装置。

【請求項2】

前記第１処理は、複数種類の処理を含み、
前記第２処理は、複数種類の処理を含み、
前記制御手段は、前記第１処理に含まれる全ての処理の実行と前記第２処理に含まれる全ての処理の実行とを禁止する
請求項１に記載の映像符号化装置。

【請求項3】

前記第１処理は、複数種類の処理を含み、
前記第２処理は、複数種類の処理を含み、
前記制御手段は、前記第１処理に含まれる全ての処理と前記第２処理に含まれる全ての処理とのうちの一部の実行を禁止する
請求項１に記載の映像符号化装置。

【請求項4】

ＶＶＣ（Versatile Video Coding）規格に基づく予測符号化処理を実行する映像符号化装置であって、
前記特定処理は、ＲＰＲ（Reference Picture Resampling）を使用する符号化処理であり、
前記第１処理に含まれる処理は、ＴＭＶＰ（Temporal Motion Vector Prediction）を使用する処理およびＳｂＴＭＶＰ（Subblock-based Temporal Motion Vector Prediction）を使用する処理であり、
前記第２処理に含まれる処理は、ＤＭＶＲ（Decoder side Motion Vector Refinement）を使用する処理、ＢＤＯＦ（Bi-directional Optical Flow）を使用する処理、およびＰＲＯＦ（Prediction Refinement with Optical Flow）を使用する処理である
請求項２または請求項３に記載の映像符号化装置。

【請求項5】

予測復号処理を行う映像復号装置であって、
予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理もしくは復号時に計算される情報を用いた補正を行うことになる第２処理、または、前記第１処理および前記第２処理の双方の実行が禁止されて生成された符号化データを対象とした復号を行う復号手段
を備える映像復号装置。

【請求項6】

処理対象フレームの解像度と異なる解像度の符号化済みのフレームを参照フレームとする特定処理を含む予測符号化処理を実行するための映像符号化方法であって、
前記予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理もしくは復号時に計算される情報を用いた補正を行うことになる第２処理、または、前記第１処理および前記第２処理の双方の実行を禁止する
映像符号化方法。

【請求項7】

予測復号処理を実行するための映像復号方法であって、
予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理もしくは復号時に計算される情報を用いた補正を行うことになる第２処理、または、前記第１処理および前記第２処理の双方の実行が禁止されて生成された符号化データを対象とした復号を行う
映像復号方法。

【請求項8】

請求項１から請求項３のいずれかに記載の映像符号化装置と、
請求項５に記載の映像復号装置と
を備える映像システム。

【請求項9】

コンピュータに、処理対象フレームの解像度と異なる解像度の符号化済みのフレームを参照フレームとする特定処理を含む予測符号化処理を実行させるための映像符号化プログラムであって、
前記コンピュータに、
前記予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理もしくは復号時に計算される情報を用いた補正を行うことになる第２処理、または、前記第１処理および前記第２処理の双方の実行を禁止させる
ための映像符号化プログラム。

【請求項10】

コンピュータに、予測復号処理を実行させるための映像復号プログラムであって、
前記コンピュータに、
予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理もしくは復号時に計算される情報を用いた補正を行うことになる第２処理、または、前記第１処理および前記第２処理の双方の実行が禁止されて生成された符号化データを対象とした復号を行わせる
ための映像復号プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、インター予測に基づく映像の符号化および復号を行うことが可能な映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法に関する。

【背景技術】

【0002】

映像符号化装置は、映像信号の各時刻の映像フレームを符号化して映像ビットストリームを生成する。例えば、映像符号化装置は、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）規格、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）規格、または、Ｈ．２６６／ＶＶＣ（Versatile Video Coding）規格（以下、ＶＶＣ規格という。）等に基づいて符号化処理を実行する。

【0003】

処理対象フレームは、各ブロックに分割される。各ブロックに、符号化処理が適用される。イントラ予測による符号化方法とインター予測による符号化方法とが含まれる。イントラ予測は、処理対象フレーム内の領域を参照して実行される予測符号化方法である。インター予測は、符号化済みのフレームの領域を参照して処理対象フレームの符号化する予測符号化方法である。

【0004】

ＶＶＣ規格では、様々な符号化ツール（以下、ツールという。）が用意されている。ツールは、符号化効率の改善などを目的とする符号化技術である（例えば、非特許文献１参照）。

【0005】

ＶＶＣ規格におけるツールの一つに、ＲＰＲ（Reference Picture Resampling）がある。ＲＰＲは、インター予測符号化方法で符号化する時、所定の条件を満たす場合に、処理対象フレームの解像度（サイズ）とは異なる解像度の符号化済みフレームの参照を許容する。具体的には、映像符号化装置は、処理対象フレームのサイズが参照する符号化済みフレームのサイズと異なる場合、符号化済みフレームをリサイズしたフレームを参照して符号化する。以下、映像符号化装置をエンコーダということがある。

【0006】

異なる解像度の符号化済みフレームを参照して処理対象フレームを符号化する場合、ＲＰＲを使用できないと、符号化処理において制約が生ずる。例えば、一連のフレームからなる映像中に参照フレームとなる他のフレームのサイズと異なるサイズのフレームが出現するときに、エンコーダは、一旦終端処理を行って、異なるサイズのフレームをＩ（Intra coded）フレームとして符号化する必要がある。ＲＰＲが使用できないと、インター予測による符号化方法を選択できず、エンコーダは、Ｐ（Predictive）フレームやＢ（Bi-directional predicted）フレームを使用できないからである。異なるサイズのフレームが頻繁に出現する場合、例えば、フレームのサイズ変更が頻繁に行われる場合には、エンコーダは、頻繁に終端処理を行う必要がある。これにより、符号化効率が低下する可能性がある。

【0007】

ＲＰＲが使用可能である場合には、上記のような制約にとらわれずに解像度切り替えを行うことができる。ＶＶＣ規格では、ＲＰＲが適用される場合に使用が禁止されるツールがある。以下、使用が禁止されるツールを特定ツールということがある。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】Recommendation ITU-T H.266 "Versatile video coding", Telecommunication Standardization Sector of ITU, ２０２０年８月

【非特許文献2】ＡＲＩＢ規格 STD-B32 3.3版「デジタル放送における映像符号化、音声符号化及び多重化方式」，電波産業会，2015年 7月3日

【発明の概要】

【発明が解決しようとする課題】

【0009】

以下、映像復号装置をデコーダということがある。エンコーダとデコーダが、共通の方式に準拠した装置であるとする時、エンコーダは、デコーダで正しく復号可能であるストリームを常に生成することを保証されている必要がある。デコーダが、エンコーダで特定の条件下において生成されたストリームのみ正しく復号できない場合、相互接続性が低下した状態となる。様々な条件下で相互接続性を低下させないために、エンコーダの開発では、デコーダで常に正しく復号できることを保証することを目的とした、網羅的な検証が必要とされる。

【0010】

エンコーダの処理について、ある符号化ツールを使用する場合に、所定のツールの使用を禁止するなど、他の符号化ツールへの制約を必要とする場合がある。この場合に、制約を適用することなく符号化処理を実行した時、デコーダ側で復号ができないストリームが生成されることとなる。すなわち、エンコーダとデコーダとの間の相互接続性が低下する。

【0011】

特に、他のツールを制約するツールの有効および無効が頻繁に切り替わる場合、相互接続性が低下した状態になりやすくなる。また、検証時に網羅する条件が増加することとなり、検証にかかる時間を増加させる。

【0012】

本発明は、検証にかかる時間を抑制しつつ、映像符号化装置と映像復号装置との間の相互接続性が低下しないようにすることを目的とする。

【課題を解決するための手段】

【0013】

本発明による映像符号化装置は、処理対象フレームの解像度と異なる解像度の符号化済みのフレームを参照フレームとする特定処理を含む予測符号化処理を実行可能な映像符号化装置であって、予測符号化処理を実行する符号化手段と、予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理もしくは復号時に計算される情報を用いて補正を行うことになる第２処理、または、第１処理および第２処理の双方の実行を処理対象フレームと符号化済みフレームの解像度に関わらず常に禁止する制御手段とを含む。

【0014】

本発明による映像復号装置は、予測復号処理を行う映像復号装置であって、予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理もしくは復号時に計算される情報を用いて補正を行うことになる第２処理、または、第１処理および第２処理の双方の実行が禁止されて生成された符号化データを対象とした復号を行う復号手段を含む。

【0015】

本発明による映像符号化方法は、処理対象フレームの解像度と異なる解像度の符号化済みのフレームを参照フレームとする特定処理を含む予測符号化処理を実行するための映像符号化方法であって、予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理もしくは復号時に計算される情報を用いて補正を行うことになる第２処理、または、第１処理および第２処理の双方の実行を処理対象フレームと符号化済みフレームの解像度に関わらず常に禁止する。

【0016】

本発明による映像復号方法は、予測復号処理を実行するための映像復号方法であって、予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理もしくは復号時に計算される情報を用いて補正を行うことになる第２処理、または、第１処理および第２処理の双方の実行が禁止されて生成された符号化データを対象とした復号を行う。

【0017】

本発明による映像システムは、上記の映像符号化装置と上記の映像復号装置とを含む。

【0018】

本発明による映像符号化プログラムは、コンピュータに、処理対象フレームの解像度と異なる解像度の符号化済みのフレームを参照フレームとする特定処理を含む予測符号化処理を実行させるための映像符号化プログラムであって、コンピュータに、予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理もしくは復号時に計算される情報を用いて補正を行うことになる第２処理、または、第１処理および第２処理の双方の実行を処理対象フレームと符号化済みフレームの解像度に関わらず常に禁止させる。

【0019】

本発明による映像復号プログラムは、コンピュータに、予測復号処理を実行させるための映像復号プログラムであって、コンピュータに、予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理もしくは復号時に計算される情報を用いて補正を行うことになる第２処理、または、第１処理および第２処理の双方の実行が禁止されて生成された符号化データを対象とした復号を行わせる。

【発明の効果】

【0020】

本発明によれば、検証にかかる時間を抑制しつつ、映像符号化装置と映像復号装置との間の相互接続性が低下しないようにすることができる。また、映像符号化装置および映像復号装置への、禁止の対象とするツールの処理に必要な処理部の実装の省略を可能とする効果もある。

【図面の簡単な説明】

【0021】

【図1】使用禁止ツールを示す説明図である。

【図2】映像符号化装置の構成例を示すブロック図である。

【図3】符号化制御器の動作例を示すフローチャートである。

【図4】映像符号化装置の処理の一例を示す説明図である。

【図5】映像復号装置の構成例を示すブロック図である。

【図6】映像復号器の動作例を示すフローチャートである。

【図7】ピクチャ構造の一例を示す説明図である。

【図8】実施形態の効果を説明するための説明図である。

【図9】実施形態の効果を説明するための説明図である。

【図10】映像システムの構成例を示すブロック図である。

【図11】情報処理システムの構成例を示すブロック図である。

【図12】映像符号化装置の主要部を示すブロック図である。

【図13】映像復号装置の主要部を示すブロック図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施形態を図面を参照して説明する。

【0023】

［前提条件］
ＶＶＣ規格において、ＲＰＲを使用するためには、"sps_ref_pic_resampling_enabled_flag"と"sps_res_change_in_clvs_allowed_flag"とが有効である値（＝１）を持つ必要がある。これらの値が有効である時、各フレームに対するＲＰＲの適用の有無は、処理対象フレームおよび符号化済みフレームの"Picture Parameter Set (PPS)"の情報に基づいて、自動的に決定され、"RprConstraintsActiveFlag"のパラメータに情報が保持される。例えば、処理対象フレームに対応するpps_pic_width_in_luma_samplesの値と処理対象フレームに対応するpps_pic_width_in_luma_samplesの値とが一致しない場合、"RprConstraintsActiveFlag"の値は、RPRが適用されることを示す値（＝１）である。

【0024】

ＲＰＲが適用される場合には、特定ツールの使用が禁止される。具体的には、特定ツールは、ＴＭＶＰ（Temporal Motion Vector Prediction）、ＳｂＴＭＶＰ（Subblock-based Temporal Motion Vector Prediction）、ＤＭＶＲ（Decoder side Motion Vector Refinement）、ＢＤＯＦ（Bi-directional Optical Flow）、およびＰＲＯＦ（Prediction Refinement with Optical Flow）である。

【0025】

ＴＭＶＰは、時間方向予測を用いて動きベクトルを導出するツールである。具体的には、異なる時間のフレームである参照フレームにおいて、符号化対象ブロック符号化対象ブロックの空間位置を基に決定される情報を用いて、動きベクトルが導出される。なお、符号化対象ブロックは、処理対象フレームにおけるブロックである。

【0026】

ＶＶＣ規格では、ＴＭＶＰの動きベクトルの導出のために、幅と高さがＷ、Ｈである符号化対象ブロックの左上の座標を（ｘ，ｙ）とするとき、異なる時間のフレームである参照フレームにおいて、（（（ｘ＋Ｗ）＞＞３）＜＜３，（ｙ＋Ｈ）＞＞３）＜＜３）の位置、または（（（ｘ＋Ｗ＞＞１）＞＞３）＜＜３，（ｙ＋Ｈ＞＞１）＞＞３）＜＜３）の位置に対応するブロックの情報が参照される。なお、フレームの左上を原点とし、水平および垂直方向の軸が右および下方向を正とする座標空間が想定される。“ａ＞＞ｎ”、“ａ＜＜ｎ”は、それぞれある値ａに対する、右方向および左方向へのｎビットを示す。

【0027】

ＳｂＴＭＶＰは、サブブロック単位でのＴＭＶＰである。例えば、幅と高さがＷ、Ｈである符号化対象ブロックの左上の座標が（ｘ，ｙ）であり、そのブロックを幅と高さがそれぞれ８であるＰ×Ｑ個のサブブロックに分割したとする。ｐ番目およびｑ番目のサブブロックを想定する。なお、０≦ｐ＜Ｐ，０≦ｑ＜Ｑである。そのサブブロックは、参照フレームにおいて（（（ｘ＋ｐ×８＋４＋ｄｘ）＞＞３）＜＜３，（（ｙ＋ｑ×８＋４＋ｄｙ）＞＞３）＜＜３）の位置にあるブロックの参照を基本とし、動きベクトルを導出する。ｄｘとｄｙは、符号化対象ブロックでＴＭＶＰにより導出された動きベクトルの、水平方向および垂直方向の変位量を示す。

【0028】

ＤＭＶＲは、スキップモードおよびマージモードにおいて、デコーダ側で、動きベクトルを補正するツールである。具体的には、デコーダ側で、双方向予測で指定された２枚の符号化済みフレームの参照ブロックの一方を所定画素範囲でシフトさせて最もＳＡＤ（Sum of Absolute Difference）値が小さくなる位置を探索し、得られたシフト値を用いて動きベクトルを補正するツールである。言い換えると、ＤＭＶＲは、復号時に計算される情報を用いた補正を行うツールである。

【0029】

ＢＤＯＦは、デコーダ側で、双方向予測で生成された２枚の画像を用いて、画素毎の輝度値の時間変化と空間勾配値とからオプティカルフローを導出し、オプティカルフローを符号化対象ブロックにおける補正値に変換して予測画像を補正するツールである。したがって、復号時に計算される情報を用いた補正をするツールである。

【0030】

ＰＲＯＦは、サブブロックモードでアフィン予測が使用される場合に、アフィン動き補償で得られた予測値に補正量を導出し、加算することによって輝度信号の予測値を算出するツールである。よって、ＰＲＯＦは、復号時に計算される情報を用いた補正をするツールである。

【0031】

図１は、ＶＶＣ規格における、ＲＰＲ使用時の禁止ツールと、各ツールの有効／無効を制御するシンタクス（Syntax）を示す表である。"sps"で始まるシンタクスは、シーケンス単位で有効／無効を制御するシンタクスである。"ph"で始まるシンタクスは、ピクチャ単位で有効／無効を制御するシンタクスである。"*_control_present_in_ph_flag"は、ピクチャでのツールの制御を禁止するツールである。なお、"*"は、ワイルドカードを意味する。また、図１における「リファインメント」は、補正することを意味する。これらのシンタクスを用いて、符号化時に禁止ツールの使用を無効にすることが可能である。

【0032】

［実施形態］
図２は、映像符号化装置の構成例を示すブロック図である。図２に示す映像符号化装置１は、映像符号化器１１０、多重化器１２０、および符号化制御器１３０を備えている。映像符号化器１１０は、予測符号化器１１１、符号列生成器１１２、ローカル復号器１１３、ループフィルタ１１４、フレームバッファ１１５、および解像度変換器１１６を含む。なお、映像符号化装置１は、ＲＰＲを使用可能である。なお、図２における矢印は、信号（データ）の流れの方向を端的に示すが、双方向性を排除するものではない。このことは、他のブロック図についても同様である。

【0033】

予測符号化器１１１は、入力映像を構成する各ピクチャに対して、イントラ予測またはインター予測を用いて予測符号化処理を行う。予測符号化器１１１は、予測符号化処理において、周波数変換した予測誤差画像（周波数変換係数）を量子化する。量子化された周波数変換係数を変換量子化値とする。ローカル復号器１１３は、変換量子化値へ逆量子化および逆変換を施すことで復元される予測誤差画像と、予測符号化器１１１で生成された予測画像とから再構築画像を生成する。ループフィルタ１１４は、再構築信号をフィルタリングしてフレームバッファ１１５に格納する。解像度変換器１１６は、インター予測時に、バッファリングされている再構築画像のサイズと入力画像のサイズが異なる場合に、再構築画像へリサイジング処理を施す機能を持つ。予測符号化器１１１は、符号列生成器１１２に変換量子化値を供給する。

【0034】

符号列生成器１１２は、予測パラメータおよび変換量子化値をエントロピー符号化する。予測パラメータは、予測モード（イントラ予測、インター予測）、イントラ予測ブロックサイズ、イントラ予測方向、インター予測ブロックサイズ、および動きベクトルなど、予測に関連した情報である。予測パラメータは、各種のシンタクス値を含む。符号列生成器１１２は、エントロピー符号化された変換量子化値と予測パラメータとを多重化器１２０に出力する。予測パラメータは、符号化制御器１３０から多重化器１２０に供給されてもよい。

【0035】

多重化器１２０は、符号化された変換量子化値と予測パラメータとを多重化して映像ビットストリームとして出力する。例えば、映像ビットストリームは、映像復号装置に伝送される。

【0036】

符号化制御器１３０は、予測パラメータの決定等の処理を行う。符号化制御器１３０は、予測パラメータを、予測符号化器１１１および符号列生成器１１２に出力する。

【0037】

次に、符号化制御器１３０の動作を説明する。図３は、符号化制御器１３０の動作例を示すフローチャートである。図３には、ＲＰＲに関する制御が示されている。

【0038】

映像符号化装置１は、ＲＰＲを使用可能な装置である。また、映像符号化装置１は、ＴＭＶＰ、ＳｂＴＭＶＰ、ＤＭＶＲ、ＢＤＯＦおよびＰＲＯＦを実行するための仕組みを持たなくてよい。そのような仕組みは、例えば、ソフトウェアで実現可能である。映像符号化装置１がそのように構成されている場合には、実装すべき特定ツールが減るので、映像符号化装置１の規模（例えば、プログラムサイズ）を減らすことができる。

【0039】

符号化制御器１３０は、ＲＰＲの適用有無に関わらず、特定ツール（使用禁止ツール）の使用を禁止するための制御を行う（ステップＳ１０１）。具体的には、符号化制御器１３０は、以下のシンタクス要素の値を設定する処理を行う。

【0040】

ＴＭＶＰの使用を禁止するために、sps_temporal_mvp_enabled_flag=0、かつ、ph_temporal_mvp_enabled_flag=0となるように設定する。

【0041】

ＳｂＴＭＶＰの使用を禁止するために、sps_sbtmvp_enabled_flag=0となるように設定する。

【0042】

ＤＭＶＲの使用を禁止するために、sps_dmvr_enabled_flag=0、かつ、sps_dmvr_control_present_in_ph_flag=0となるように設定する。

【0043】

ＢＤＯＦの使用を禁止するために、sps_bdof_enabled_flag=0、かつ、sps_bdof_control_present_in_ph_flag=0となるように設定する。

【0044】

ＰＲＯＦの使用を禁止するために、sps_affine_prof_enabled_flag=0、かつ、sps_prof_control_present_in_ph_flag=0となるように設定する。

【0045】

なお、ステップＳ１０１の処理で、符号化制御器１３０は、例えば、使用可能なルールが設定されているツールパターンのテーブルから特定ツールを除外する。符号化制御器１３０は、特定ルールも設定されているツールパターンを使用する状態から、特定ルールが設定されていないツールパターンを使用する状態に切り替わってもよい。

【0046】

符号化制御器１３０は、設定したシンタクス要素の値を、予測符号化器１１１および符号列生成器１１２に出力する（ステップＳ１０２）。

【0047】

以後、予測符号化器１１１は、予測符号化処理において、使用禁止された特定ツールを使用することなく処理対象フレームの符号化処理を行う。

【0048】

図４は、映像符号化装置の処理の一例を示す説明図である。図４に示す例では、ピクチャ順序カウント（POC：Picture Order Count）がｎのフレームが処理対象フレームである。POCが（ｎ－１）のフレームは、高解像度映像のフレームである。POCがｎのフレームは、低解像度映像のフレームである。本実施形態では、ＲＰＲの適用に関わらず、特定ツール（使用禁止ツール）を使用せずに符号化される。

【0049】

図４に示す例は、例えば、ＰＯＣがｎおよび（ｎ＋１）のフレームが、符号化難易度の高いフレーム、すなわち発生符号量があらかじめ決められている所定値よりも多くなるフレームとなる場合に、解像度を落としてから符号化することによる符号量抑制を目的として使用される。

【0050】

本実施形態では、ＲＰＲを使用可能な映像符号化装置１が、ＲＰＲ適用時に特定ツールを使用した処理を常に行わないので、映像符号化装置１と、映像符号化装置１が伝送した映像ビットストリームを受信する映像復号装置との間の相互接続性が低下することはない。すなわち、映像システムにおいて、ＲＰＲを使用可能な一般的な映像復号装置が用いられても、映像復号装置が、ＲＰＲ適用時における特定ツールの使用によって、受信した映像ビットストリームの復号ができなくなるということはない。

【0051】

［変形例１］
上記の実施形態では、符号化制御器１３０は、ＲＰＲが適用される場合に、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理（例えば、ＴＭＶＰまたはＳｂＴＭＶＰを用いた処理）、および、復号時に計算される情報を用いて補正を行うことになる第２処理（例えば、ＤＭＶＲ、ＢＤＯＦ、またはＰＲＯＦを用いた処理）の全ての実行を禁止するような制御を行う。

【0052】

しかし、符号化制御器１３０は、第１処理と第２処理のうちの一部の実行を禁止するような制御を行うこともできる。例えば、映像符号化装置１が、ＴＭＶＰ、ＳｂＴＭＶＰ、ＤＭＶＲ、ＢＤＯＦおよびＰＲＯＦのうちの一部（一部の特定ツール）のみが実行可能であるように構成されてもよい。換言すれば、符号化制御器１３０は、ＲＰＲが無効であると判定したときに、使用可能であるとされるツールを除くツールの使用を禁止する制御を行う。ＲＰＲが有効である場合には、第１処理と第２処理の実行を禁止する。

【0053】

映像符号化装置１がそのように構成されている場合には、実装すべき特定ツールが上記の実施形態と比較すると増えるものの、本発明を適用しない場合よりも削減することが可能となるので、映像符号化装置１の規模（例えば、プログラムサイズ）を減らすことができる。

【0054】

なお、変形例１において、ＲＰＲ適用時に特定ツールを使用した処理が実行されないことを保証するために、符号化制御器１３０は、処理対象フレームの解像度が変更されるときに、使用可能であるとされている特定ツールの使用を禁止する制御を行う。

【0055】

上記の実施形態では、定常的に全ての特定ツールの使用が禁止される。その結果、フレームのサイズが切り替えられる度に特定ツールの使用を禁止するための制御を行う必要はない。その反面、符号化効率が低下する。しかし、変形例１では、特定ツールの使用が禁止されるとき以外の状況では、特定ツールの一部の使用が可能であるので、符号化効率の低下が抑制される。

【0056】

［変形例２］
ＲＰＲが適用される場合に、符号化制御器１３０は、ＴＭＶＰ、ＳｂＴＭＶＰ、ＤＭＶＲ、ＢＤＯＦおよびＰＲＯＦに関する"sps_*_enabled_flag"のシンタックス値を１とし、"ph_*_enabled_flag"のシンタックス値を０にしてもよい。すなわち、特定のツールの使用をシーケンス単位で禁止するのではなく、ピクチャ単位での使用を禁止することにより、実施形態と同等の処理を実現する。

【0057】

変形例２でも、ＲＰＲが適用される場合に、特定ツールの一部の使用が可能であるといえる。

【0058】

なお、変形例２において、ＲＰＲ適用時に特定ツールを使用した処理が実行されないことを保証するために、符号化制御器１３０は、処理対象フレームの解像度が変更されるときに、使用可能であるとされている特定ツールの使用を禁止する制御を行う。

【0059】

図５は、映像復号装置の構成例を示すブロック図である。図５に示す映像復号装置２は、多重化解除器２２０および映像復号器２１０を備えている。映像復号器２１０は、エントロピー復号器２１２と予測復号器２１１とを含む。

【0060】

多重化解除器２２０は、映像符号化装置から伝送される映像ビットストリームを多重化解除して、エントロピー符号化された映像ビットストリームを抽出する。映像ビットストリームには、符号化データすなわち符号化された変換量子化値と予測パラメータとが含まれる。

【0061】

エントロピー復号器２１２は、映像ビットストリームをエントロピー復号する。予測復号器２１１は、再構築画像を生成する。予測復号器２１１は、再構築画像を復号映像として出力する。

【0062】

次に、映像復号器２１０の動作を説明する。図６は、映像復号器２１０の動作例を示すフローチャートである。

【0063】

エントロピー復号器２１２は、エントロピー符号化された映像ビットストリームをエントロピー復号する（ステップＳ２０１）。エントロピー復号された映像ビットストリームは、予測復号器２１１に入力される。

【0064】

予測復号器２１１は、エントロピー復号された映像ビットストリームに対して復号処理を行う（ステップＳ２０２）。ステップＳ２０２において、予測復号器２１１は、映像ビットストリームに対して予測復号処理を行って予測信号を生成する。予測復号器２１１は、予測信号を使用して再構築画像を生成する。

【0065】

上述したように、ＲＰＲを使用可能な映像符号化装置１において、ＲＰＲ適用時に特定ツールを使用した処理が実行されないことが保証されている。したがって、映像復号装置２は、ＲＰＲ適用時における特定ツールの使用によって、映像符号化装置１から受信した映像ビットストリームの復号ができなくなるということはない。なお、映像符号化装置１から受信される映像ビットストリームには、予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理もしくは復号時に予測画像への補正を行うことになる第２処理、または、第１処理および第２処理の双方の実行が禁止されて生成された符号化データが含まれている。

【0066】

次に、上記の効果以外の効果について説明する。

【0067】

図７には、非特許文献２において導入されているピクチャ構造であるＳＯＰ（Structure of Pictures）の一例が示されている。ＳＯＰは、時間方向階層符号化（時間スケーラブル符号化）が行われる場合には、各ＡＵ（Access Unit）の符号化順および参照関係が記述される単位になる。時間スケーラブル符号化は、複数フレームの映像の中から、部分的にフレームを取り出せるようにする符号化である。なお、１つのＧＯＰ（Group of Pictures）は、１つ以上のＳＯＰで構成される。また、図７において、横軸は表示順を示し、縦軸は階層を示す。階層として、階層０、階層１、階層２および階層３がある。

【0068】

図８は、図７に示されたピクチャ構造を使用して片方向のインター予測が実行される場合の異なるサイズのフレームが参照される回数を示す説明図である。図９は、図７に示されたピクチャ構造を使用して双方向のインター予測が実行される場合の異なるサイズの画像が参照される回数を示す説明図である。なお、フレームのサイズは、スライスタイプごとに決定されるとする。

【0069】

図８および図９において、Ｓ_０～Ｓ_４は、それぞれ画像サイズ（フレームサイズ）を示す。すなわち、サイズの集合Ｓ∈｛Ｓ_０，Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４｝であり、また、Ｓ_０≠Ｓ_１≠Ｓ_２≠Ｓ_３≠Ｓ_４である。

【0070】

また、図８および図９において、ＳＩＺＥｘ（ｘ＝Ｉ、Ｐ、Ｂ１、Ｂ２、Ｂ３）のｘにおける「Ｉ」は、Ｉフレームに対応する。「Ｐ」は、Ｐフレームに対応する。「Ｂ１」は、階層１のＢフレームに対応する。「Ｂ２」は、階層２のＢフレームに対応する。「Ｂ３」は、階層３のＢフレームに対応する。

【0071】

図８における最右欄および図９における最右欄に、異なるサイズの画像を参照する回数が示されている。図８に示すように、片方向のインター予測が実行される場合には、参照する合計回数は３４７である。したがって、［３４７×探索されるＣＵ（Coding Unit：符号化単位）］回の予測処理が発生する。図９に示すように、双方向のインター予測が実行される場合には、参照する合計回数は２３０である。したがって、［合計２３０×探索されるＣＵ］回の予測処理が発生する。

【0072】

ＲＰＲを使用可能であって上記の実施形態が適用されていない映像符号化装置に対して、ＲＰＲに関する制約（ＴＭＶＰ、ＳｂＴＭＶＰ、ＤＭＶＲ、ＢＤＯＦおよびＰＲＯＦの使用不可）が守られているか否か検証する必要がある。また、映像復号装置も検証される必要がある。

【0073】

しかし、上記の実施形態の映像符号化装置では、ＲＰＲ適用時に特定ツールを使用した処理が実行されないことが保証されるので、ＲＰＲに関する制約が守られているか否か検証されなくてもよい。すなわち、上記の実施形態の映像符号化装置では、装置の検証に要する時間が短縮される。

【0074】

図１０は、映像システムの構成例を示すブロック図である。図１０に示す映像システムは、映像符号化装置１０（第１の実施形態の映像符号化装置１に相当）と、映像復号装置２０（第１の実施形態の映像復号装置２に相当）とが、伝送路（無線伝送路または有線伝送路）３０で接続されるシステムである。

【0075】

映像処理システムにおいて、映像符号化装置１０は、上記の実施形態で説明された特徴を持つ映像ビットストリームを生成できる。また、映像処理システムにおいて、映像復号装置２０は、上記の各実施形態で説明された特徴を持つ映像ビットストリームを復号できる。

【0076】

また、上記の実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

【0077】

図１１に示す情報処理システムは、ＣＰＵ（Central Processing Unit）等のプロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。

【0078】

情報処理システムにおいて、プログラムメモリ１００２には、上記の実施形態で示された各ブロックの機能を実現するためのプログラム（映像符号化プログラムまたは映像復号プログラム）が格納される。

【0079】

そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、上記の実施形態で示された映像符号化器１１０、多重化器１２０、符号化制御器１３０、映像復号器２１０、および多重化解除器２２０の機能を実現する。

【0080】

例えば、プロセッサ１００１が、図２に示された映像符号化装置１における各ブロックの機能を実現するための映像符号化プログラムに従って処理を実行することによって、映像符号化装置１の機能が実現される。また、例えば、プロセッサ１００１が、図５に示された映像復号装置２における各ブロックの機能を実現するための映像復号プログラムに従って処理を実行することによって、映像復号装置２の機能が実現される。

【0081】

なお、少なくともプログラムメモリ１００２は、非一時的なコンピュータ可読媒体（non-transitory computer readable medium）である。ただし、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。

【0082】

図１２は、映像符号化装置の主要部を示すブロック図である。映像符号化装置１０は、処理対象フレームの解像度と異なる解像度の符号化済みのフレームを参照フレームとする特定処理（例えば、ＲＰＲに基づく処理）を含む予測符号化処理を実行可能な映像符号化装置であって、予測符号化処理を実行する符号化部（符号化手段）１１（実施形態では、予測符号化器１１１で実現される。）と、予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理（例えば、ＴＭＶＰを使用する処理、ＳｂＴＭＶＰを使用する処理）もしくは復号時に計算される情報を用いて補正を行うことになる第２処理（例えば、ＤＭＶＲを使用する処理、ＢＤＯＦを使用する処理、ＰＲＯＦを使用する処理）、または、第１処理および第２処理の双方の実行を禁止する制御部（制御手段）１２（実施形態では、符号化制御器１３０で実現される。）とを備えている。

【0083】

図１３は、映像復号装置の主要部を示すブロック図である。映像復号装置２０は、予測復号処理を行う映像復号装置であって、予測符号化処理において、符号化対象ブロックの空間位置を基に決定される、異なる時間のフレームにおけるブロックの情報を用いる第１処理もしくは復号時に計算される情報を用いて補正を行うことになる第２処理、または、第１処理および第２処理の双方の実行が禁止されて生成された符号化データを対象とした復号を行う復号部（復号手段）２１（実施形態では、予測復号器２１１で実現される。）を備えている。

【符号の説明】

【0084】

１，１０ 映像符号化装置
１１ 符号化部
１２ 制御部
２，２０ 映像復号装置
２１ 復号部
１１０ 映像符号化器
１１１ 予測符号化器
１１２ 符号列生成器
１１３ ローカル復号器
１１４ ループフィルタ
１１５ フレームバッファ
１１６ 解像度変換器
１２０ 多重化器
１３０ 符号化制御器
２１０ 映像復号器
２１１ 予測復号器
２１２ エントロピー復号器
２２０ 多重化解除器
１００１ プロセッサ
１００２ プログラムメモリ
１００３，１００４ 記憶媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】