(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024001318
(43)【公開日】2024-01-09
(54)【発明の名称】プロファイルおよびレベル依存コーディングオプションによる符号化器および復号器、符号化方法および復号方法
(51)【国際特許分類】
H04N 19/70 20140101AFI20231226BHJP
H04N 19/186 20140101ALI20231226BHJP
H04N 19/105 20140101ALI20231226BHJP
【FI】
H04N19/70
H04N19/186
H04N19/105
【審査請求】有
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2023187847
(22)【出願日】2023-11-01
(62)【分割の表示】P 2021553135の分割
【原出願日】2020-03-10
(31)【優先権主張番号】19162052.5
(32)【優先日】2019-03-11
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】500341779
【氏名又は名称】フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】ヴィーコフスキー・アダム
(72)【発明者】
【氏名】スクピン・ロバート
(72)【発明者】
【氏名】サンチェスデラフエンテ・ヤゴ
(72)【発明者】
【氏名】ヘルゲ・コーネリアス
(72)【発明者】
【氏名】シエル・トーマス
(72)【発明者】
【氏名】マルペ・デトレフ
(72)【発明者】
【氏名】ズーリング・カルステン
(72)【発明者】
【氏名】ヴィーガンド・トーマス
(57)【要約】 (修正有)
【課題】プロファイルおよびレベル依存コーディングオプションによる符号化器及び復号器、符号化方法並びに復号方法を提供する。
【解決手段】符号化されたビデオ信号を生成することによってビデオの複数のピクチャを符号化するビデオ符号化器(101)であって、複数のピクチャのそれぞれは、元のピクチャデータを含む。ビデオ符号化器(101)は、符号化されたピクチャデータを含む符号化されたビデオ信号を生成するように構成されたデータ符号化器(110)を備え、データ符号化器は、ビデオの複数のピクチャを符号化されたピクチャデータに符号化する。ビデオ符号化器(101)はさらに、複数のピクチャのそれぞれの符号化されたピクチャデータを出力する出力インターフェース(120)を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ビデオの複数のピクチャを表す符号化ビデオ信号を復号するためのビデオ復号器(151)であって、
前記符号化ビデオ信号を受信することと、
前記符号化ビデオ信号内に符号化されたクロマフォーマット情報を復号することと、
前記クロマフォーマット情報に応じて、少なくとも1つの輝度サブブロックの動きベクトル情報に基づいて、複数のクロマサブブロックのうちのクロマサブブロックの動きベクトルを決定することであって、前記クロマフォーマット情報が第1のフォーマットを示す場合、前記クロマサブブロックの前記動きベクトルは、前記少なくとも1つの輝度サブブロックのうちの正確に1つの輝度サブブロックの動きベクトルに基づいて決定され、前記クロマフォーマット情報が前記第1のフォーマットとは異なる第2のフォーマットを示す場合、前記クロマサブブロックの前記動きベクトルは、前記少なくとも1つの輝度サブブロックのうちの少なくとも2つの輝度サブブロックの動きベクトルに基づいて決定される、動きベクトルを決定することと、
前記少なくとも1つの輝度サブブロックの前記動きベクトル情報および前記クロマサブブロックの前記動きベクトルに基づいて、前記複数のピクチャのうちのピクチャを再構成することと、
を行うように構成される、
ビデオ復号器(151)。
【請求項2】
前記クロマフォーマット情報が、前記第2のフォーマットを示す場合、前記ビデオ復号器(151)が、前記少なくとも2つの輝度サブブロックのうちの正確に2つの輝度サブブロックの各動きベクトルに応じて前記クロマサブブロックの前記動きベクトルを決定するように構成される、
請求項1に記載のビデオ復号器(151)。
【請求項3】
前記クロマフォーマット情報が前記第2のフォーマットを示す場合、前記ビデオ復号器(151)が、前記正確に2つの輝度サブブロックの動きベクトルを平均化することによって、または前記正確に2つの前記輝度サブブロックの動きベクトルを対称的に丸めることによって、前記クロマサブブロックの前記動きベクトルを決定するように構成される、
請求項2に記載のビデオ復号器(151)。
【請求項4】
輝度ブロックが、少なくとも4つの輝度サブブロックを含み、前記輝度ブロックの2つ以上の行の各行が、前記少なくとも4つの輝度サブブロックのうちの少なくとも2つを含み、前記輝度ブロックの2つ以上の列の各列が、前記少なくとも4つの輝度サブブロックのうちの2つ以上を含み、
前記クロマフォーマット情報が前記第2のフォーマットを示す場合、前記ビデオ復号器(151)が、前記輝度サブブロックの前記少なくとも4つのうちの前記正確に2つに応じて前記クロマサブブロックの前記動きベクトルを決定するように構成される、
請求項2または3に記載のビデオ復号器(151)。
【請求項5】
前記2つ以上の行のうちの第1の行が左上輝度サブブロックを含み、前記2つ以上の行のうちの第2の行が右下輝度サブブロックを含み、前記左上輝度サブブロックと前記右下輝度サブブロックとが互いに対して斜めに配置され、
前記クロマフォーマット情報が前記第2のフォーマットを示す場合、前記ビデオ復号器(151)が、前記左上輝度サブブロックの前記動きベクトルおよび前記右下輝度サブブロックの前記動きベクトルに応じて、前記クロマサブブロックの前記動きベクトルを決定するように構成される、
請求項4に記載のビデオ復号器(151)。
【請求項6】
前記クロマフォーマット情報が、前記第1のフォーマットとは異なり、且つ前記第2のフォーマットとは異なる第3のフォーマットを示す場合、前記ビデオ復号器(151)が、前記輝度ブロックの前記2つ以上の行のうちの正確に1つの行からの前記輝度サブブロックのうちの正確に2つの各動きベクトルに応じて前記クロマサブブロックの前記動きベクトルを決定するように構成され、または、前記ビデオ復号器(151)が、前記輝度ブロックの2つ以上の列のうちの正確に1つの列からの前記輝度サブブロックの正確に2つの各動きベクトルに応じて前記クロマサブブロックの動きベクトルを決定するように構成される、
請求項4または5に記載のビデオ復号器(151)。
【請求項7】
前記クロマフォーマット情報が第3のフォーマットを示す場合、前記ビデオ復号器(151)が、前記輝度ブロックの前記2つ以上の行のうちの正確に1つの行からの前記輝度サブブロックのうちの正確に2つの各動きベクトルに応じて前記クロマサブブロックの前記動きベクトルを決定するように構成され、
前記クロマフォーマット情報が、前記第3のフォーマットとは異なり、且つ前記第2のフォーマットとは異なり、且つ前記第1のフォーマットとは異なる第4のフォーマットを示す場合、前記ビデオ復号器(151)が、前記輝度ブロックの前記2つ以上の列のうちの正確に1つの列からの前記輝度サブブロックのうちの正確に2つの各動きベクトルに応じて前記クロマサブブロックの前記動きベクトルを決定するように構成される、
請求項4から5のいずれか一項に記載のビデオ復号器(151)。
【請求項8】
前記ビデオ復号器(151)が、以下に基づいて前記クロマサブブロックの動きベクトルを決定するように構成される、
請求項7に記載のビデオ復号器(151)。
mvAvgLX=(mvLX[(xSbIdx>>SubWidthC<<SubWidthC)]
[(ySbIdx>>SubHeightC<<SubHeightC)]+
mvLX[(xSbIdx>>SubWidthC<<SubWidthC)+SubWidthC]
[(ySbIdx>>SubHeightC<<SubHeightC)+SubHeightC])
ここで、mvAvgLXは、前記クロマサブブロックの前記動きベクトルであり、
ここで、mvLX[][]は、前記輝度サブブロックの1つの前記動きベクトルであり、
ここで、xSbIdxは、前記輝度サブブロックの1つのxインデックスであり、
ここで、ySbIdxは、前記輝度サブブロックの1つのyインデックスであり、
ここで、mvAvgLX[0]は、
mvAvgLX[0]=(mvAvgLX[0]>=0?
(mvAvgLX[0]+1)>>1:
-((-mvAvgLX[0]+1)>>1))
にしたがって定義され、
ここで、mvAvgLX[1]は、
mvAvgLX[1]=(mvAvgLX[1]>=0?
(mvAvgLX[1]+1)>>1:
-((-mvAvgLX[1]+1)>>1))
であるように定義され、
ここで、SubWidthCおよびSubHeightCは、以下のように定義される:
【表1】
【請求項9】
符号化ビデオ信号を生成することによってビデオの複数のピクチャを符号化するためのビデオ符号化器(101)であって、
前記複数のピクチャのうちのピクチャのクロマフォーマット情報を前記符号化ビデオ信号に符号化することと、
前記クロマフォーマット情報に応じて少なくとも1つの輝度サブブロックの動きベクトル情報に基づいて、複数のクロマサブブロックのうちのクロマサブブロックの動きベクトルを決定することであって、前記クロマフォーマット情報が第1のフォーマットを示す場合、前記クロマサブブロックの前記動きベクトルは、前記少なくとも1つの輝度サブブロックのうちの正確に1つの輝度サブブロックの動きベクトルに基づいて決定され、前記クロマフォーマット情報が前記第1のフォーマットとは異なる第2のフォーマットを示す場合、前記クロマサブブロックの前記動きベクトルは、前記少なくとも1つの輝度サブブロックのうちの少なくとも2つの輝度サブブロックの動きベクトルに基づいて決定される、動きベクトルを決定することと、
前記ビデオの前記複数のピクチャを前記符号化ビデオ信号に符号化することであって、前記複数のピクチャの各ピクチャは、前記少なくとも1つの輝度サブブロックの動きベクトル情報と、前記クロマサブブロックの前記動きベクトルに基づいて符号化される、符号化することと、
を行うように構成される、ビデオ符号化器(101)。
【請求項10】
ビデオの複数のピクチャを再構成するために、符号化ピクチャデータを含む符号化ビデオ信号を復号するための方法であって、
前記符号化ビデオ信号を受信することと、
前記符号化ビデオ信号内に符号化されたクロマフォーマット情報を復号することと、
前記クロマフォーマット情報に応じて、少なくとも1つの輝度サブブロックの動きベクトル情報に基づいて、複数のクロマサブブロックのうちのクロマサブブロックの動きベクトルを決定することであって、前記クロマフォーマット情報が第1のフォーマットを示す場合、前記クロマサブブロックの前記動きベクトルは、前記少なくとも1つの輝度サブブロックのうちの正確に1つの輝度サブブロックの動きベクトルに基づいて決定され、前記クロマフォーマット情報が前記第1のフォーマットとは異なる第2のフォーマットを示す場合、前記クロマサブブロックの前記動きベクトルは、前記少なくとも1つの輝度サブブロックのうちの少なくとも2つの輝度サブブロックの動きベクトルに基づいて決定される、動きベクトルを決定することと、
前記少なくとも1つの輝度サブブロックの前記動きベクトル情報および前記クロマサブブロックの前記動きベクトルに基づいて前記複数のピクチャのうちのピクチャを再構成することと、
を備える、方法。
【請求項11】
符号化ビデオ信号を生成することによってビデオの複数のピクチャを符号化するための方法であって、前記方法が、
前記複数のピクチャのうちのピクチャのクロマフォーマット情報を前記符号化ビデオ信号に符号化することと、
前記クロマフォーマット情報に応じて、少なくとも1つの輝度サブブロックの動きベクトル情報に基づいて、複数のクロマサブブロックのうちのクロマサブブロックの動きベクトルを決定することであって、前記クロマフォーマット情報が第1のフォーマットを示す場合、前記クロマサブブロックの前記動きベクトルは、前記少なくとも1つの輝度サブブロックのうちの正確に1つの輝度サブブロックの動きベクトルに基づいて決定され、前記クロマフォーマット情報が前記第1のフォーマットとは異なる第2のフォーマットを示す場合、前記クロマサブブロックの前記動きベクトルは、前記少なくとも1つの輝度サブブロックのうちの少なくとも2つの輝度サブブロックの動きベクトルに基づいて決定される、動きベクトルを決定することと、
前記ビデオの前記複数のピクチャを前記符号化ビデオ信号に符号化することであって、前記複数のピクチャの各ピクチャは、前記少なくとも1つの輝度サブブロックの動きベクトル情報と、前記クロマサブブロックの前記動きベクトルに基づいて符号化される、符号化することと、
を備える、方法。
【請求項12】
コンピュータまたは信号プロセッサ上で実行されると、請求項10または11に記載の方法を実施するためのコンピュータプログラム。
【請求項13】
システムであって、
請求項9に記載のビデオ符号化器(101)と、
請求項1から8のいずれか一項に記載のビデオ復号器(151)と、を備え、
前記ビデオ符号化器(101)が、前記符号化ビデオ信号を生成するように構成され、
前記ビデオ復号器(151)が、前記符号化ビデオ信号を復号して前記ビデオの前記ピクチャを再構成するように構成される、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ符号化およびビデオ復号に関し、特に、プロファイルおよびレベル依存コーディングオプションによる符号化器および復号器、符号化方法、ならびに復号方法に関する。
【背景技術】
【0002】
H.265/HEVC(HEVC=高効率ビデオコーディング)は、符号化器および/または復号器における並列処理を向上させる、またはさらには可能にするためのツールを既に提供しているビデオコーデックである。例えば、HEVCは、互いに独立して符号化されたタイルの配列へのピクチャの細分割をサポートする。HEVCによってサポートされている別の概念はWPPに関連しており、それによれば、連続するCTUライン(CTU=コーディングツリーユニット)の処理においていくつかの最小のCTUオフセットが守られている場合、ピクチャのCTU行またはCTUラインが左から右に並列に、例えばストライプで処理されることができる。しかしながら、ビデオ符号化器および/またはビデオ復号器の並列処理機能をさらに効率的にサポートするビデオコーデックを手元に有することが好ましい。
以下では、最先端技術にかかるVCLパーティショニングの導入について説明する(VCL=ビデオコーディングレイヤ)。
【0003】
通常、ビデオコーディングでは、ピクチャサンプルのコーディングプロセスは、より小さいパーティションを必要とし、サンプルは、予測または変換コーディングなどのジョイント処理のためにいくつかの矩形領域に分割される。したがって、ピクチャは、ビデオシーケンスの符号化中に一定である特定のサイズのブロックにパーティションされる。H.264/AVC規格では、16×16サンプルの固定サイズブロック、いわゆるマクロブロックが使用される(AVC=高度ビデオコーディング)。
【0004】
最先端のHEVC規格([1]参照)では、64×64サンプルの最大サイズのコーディングされたツリーブロック(CTB)またはコーディングツリーユニット(CTU)がある。HEVCのさらなる説明では、そのような種類のブロックについて、より一般的な用語CTUが使用される。
CTUは、左上のCTUから始まり、ピクチャ内のCTUをライン方向に処理し、右下のCTUまでラスタスキャン順に処理される。
【0005】
コーディングされたCTUデータは、スライスと呼ばれる一種のコンテナに編成される。本来、従来のビデオコーディング規格では、スライスは、ピクチャの1つ以上の連続するCTUを含むセグメントを意味する。コーディングされたデータのセグメンテーションのためにスライスが用いられる。別の観点から、完全なピクチャはまた、1つの大きなセグメントとして定義されることもでき、したがって、歴史的に、スライスという用語が依然として適用される。コーディングされたピクチャサンプルに加えて、スライスはまた、いわゆるスライスヘッダに配置されるスライス自体のコーディングプロセスに関連する追加情報を含む。
【0006】
最先端技術によれば、VCL(ビデオコーディングレイヤ)はまた、フラグメンテーションおよび空間パーティショニングのための技術を含む。そのようなパーティショニングは、例えば、様々な理由でビデオコーディングに適用されることができ、その中には並列化における負荷分散の処理、ネットワーク伝送におけるCTUサイズマッチング、エラー緩和などがある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の目的は、ビデオ符号化およびビデオ復号のための改善された概念を提供することである。
【課題を解決するための手段】
【0008】
本発明の目的は、独立請求項の主題によって解決される。
好ましい実施形態は、従属請求項に提供される。
以下では、本発明の実施形態が図面を参照して詳細に説明される。
【図面の簡単な説明】
【0009】
【
図1】実施形態にかかるビデオ符号化器を示している。
【
図2】実施形態にかかるビデオ復号器を示している。
【
図4】概観を有するビューポート依存タイル配置を示している。
【
図5】サブブロック分割によるアフィンモーションを示している。
【
図6】アフィン予測によるズームモーションを示している。
【
図7】異なるチャネルにおけるアフィン予測のためのサブブロック分割を示している。
【
図8】そのような場合の最先端の例示的なビットストリーム順序を示している。
【
図11】一方では再構成信号、すなわち再構成ピクチャと、他方ではデータストリームにおいてシグナリングされる予測残差信号と予測信号との組み合わせとの間の関係を示している。
【発明を実施するための形態】
【0010】
以下の図面の説明は、本発明の実施形態が組み込まれることができるコーディングフレームワークの例を形成するために、ビデオのピクチャをコーディングするためのブロックベースの予測コーデックの符号化器および復号器の説明の提示から始まる。それぞれの符号化器および復号器は、
図9から
図11に関して説明される。以下、本発明の概念の実施形態の説明が、そのような概念が
図9および
図10の符号化器および復号器にそれぞれどのように組み込まれることができるかに関する説明と共に提示されるが、
図1から
図3および以下で説明される実施形態はまた、
図9および
図10の符号化器および復号器の基礎となるコーディングフレームワークにしたがって動作しない符号化器および復号器を形成するためにも使用されることができる。
【0011】
図9は、変換ベースの残差コーディングを例示的に使用してピクチャ12をデータストリーム14に予測的にコーディングするための装置であるビデオ符号化器を示している。装置または符号化器は、参照符号10を使用して示されている。
図10は、対応するビデオ復号器20、すなわち、やはり変換ベースの残差復号を使用してデータストリーム14からピクチャ12’を予測的に復号するように構成された装置20を示し、アポストロフィは、復号器20によって再構成されたピクチャ12’が、予測残差信号の量子化によって導入されるコーディング損失に関して、装置10によって最初に符号化されたピクチャ12から逸脱していることを示すために使用されている。
図9および
図10は、例示的に、変換ベースの予測残差コーディングを使用するが、本出願の実施形態は、この種の予測残差コーディングに限定されない。これは、以下に概説されるように、
図9および
図10に関して説明される他の詳細にも当てはまる。
【0012】
符号化器10は、予測残差信号を空間スペクトル変換し、このようにして得られた予測残差信号をデータストリーム14に符号化するように構成される。同様に、復号器20は、データストリーム14からの予測残差信号を復号し、このようにして得られた予測残差信号をスペクトル空間変換するように構成される。
【0013】
内部的に、符号化器10は、元の信号、すなわちピクチャ12からの予測信号26の偏差を測定するために予測残差24を生成する予測残差信号形成器22を備えることができる。予測残差信号形成器22は、例えば、元の信号から、すなわちピクチャ12から予測信号を減算する減算器であってもよい。次いで、符号化器10は、同じく符号化器10に含まれる量子化器32によって量子化されるスペクトル領域予測残差信号24’を取得するために、予測残差信号24を空間スペクトル変換する変換器28をさらに備える。このように量子化された予測残差信号24’’は、ビットストリーム14にコーディングされる。この目的のために、符号化器10は、必要に応じて、データストリーム14に変換および量子化される予測残差信号をエントロピー符号化するエントロピーコーダ34を備えることができる。予測信号26は、データストリーム14に符号化され、そこから復号可能な予測残差信号24’’に基づいて、符号化器10の予測段36によって生成される。この目的のために、予測段36は、
図9に示すように、量子化損失以外の信号24’に対応するスペクトル領域予測残差信号24’’’を取得するように予測残差信号24’’を逆量子化する逆量子化器38と、量子化損失以外の元の予測残差信号24に対応する予測残差信号24’’’’を取得するように後者の予測残差信号24’’’を逆変換、すなわちスペクトル空間変換する逆変換器40とを内部に備えることができる。次いで、予測段36の結合器42は、再構成信号46、すなわち元の信号12の再構成を取得するために、加算などによって予測信号26および予測残差信号24’’’’を再結合する。再構成された信号46は、信号12’に対応することができる。次いで、予測段36の予測モジュール44は、例えば、空間予測、すなわちピクチャ内予測、および/または時間予測、すなわちピクチャ間予測を使用して、信号46に基づいて予測信号26を生成する。
【0014】
同様に、復号器20は、
図10に示すように、予測段36に対応する構成要素から内部的に構成され、予測段に対応する方法で相互接続されてもよい。特に、復号器20のエントロピー復号器50は、データストリームから量子化されたスペクトル領域予測残差信号24’’をエントロピー復号することができ、その際、逆量子化器52、逆変換器54、結合器56、および予測モジュール58は、予測段36のモジュールに関して上述した方法で相互接続されて協働し、予測残差信号24’’に基づいて再構成された信号を回復し、それにより、
図10に示すように、結合器56の出力は、再構成された信号、すなわちピクチャ12’をもたらす。
【0015】
上記では具体的に説明されていないが、符号化器10は、例えば、いくつかのレートおよび歪み関連基準、すなわちコーディングコストを最適化する方法などのいくつかの最適化方式にしたがって、例えば、予測モード、モーションパラメータなどを含むいくつかのコーディングパラメータを設定することができることは容易に明らかである。例えば、符号化器10および復号器20ならびに対応するモジュール44、58は、それぞれ、イントラ符号化モードおよびインター符号化モードなどの異なる予測モードをサポートすることができる。符号化器および復号器がこれらの予測モードタイプを切り替える粒度は、それぞれピクチャ12および12’の符号化セグメントまたは符号化ブロックへの細分割に対応することができる。これらの符号化セグメントの単位では、例えば、ピクチャは、イントラ符号化されたブロックとインター符号化されたブロックとに細分割されることができる。イントラ符号化ブロックは、以下により詳細に概説されるように、それぞれのブロックの空間的な既にコーディング/復号された近傍に基づいて予測される。指向性イントラ符号化モードまたは角度イントラ符号化モードを含むいくつかのイントラ符号化モードが存在し、それらのモードにしたがって、それぞれの指向性イントラ符号化モードに固有の特定の方向に沿った近傍のサンプル値をそれぞれのイントラ符号化セグメントに外挿することによってそれぞれのセグメントが満たされる、それぞれのイントラ符号化セグメントに対して選択されることができる。イントラ符号化モードはまた、例えば、それぞれのイントラ符号化されたブロックの予測がそれぞれのイントラ符号化されたセグメント内の全てのサンプルにDC値を割り当てるDC符号化モード、および/またはそれぞれのブロックの予測が、隣接するサンプルに基づいて2次元線形関数によって定義された平面の駆動傾斜およびオフセットを有するそれぞれのイントラ符号化されたブロックのサンプル位置にわたる2次元線形関数によって記述されたサンプル値の空間分布であると近似または決定される平面イントラ符号化モードなどの1つ以上のさらなるモードも含むことができる。これと比較して、インター符号化されたブロックは、例えば時間的に予測されることができる。インター符号化ブロックの場合、データストリーム内で動きベクトルがシグナリングされることができ、動きベクトルは、ピクチャ12が属するビデオの以前にコーディングされたピクチャの部分の空間変位を示し、以前にコーディング/復号されたピクチャは、それぞれのインター符号化ブロックの予測信号を取得するためにサンプリングされる。これは、量子化スペクトル領域予測残差信号24’’を表すエントロピー符号化変換係数レベルなど、データストリーム14に含まれる残差信号符号化に加えて、データストリーム14は、符号化モードを様々なブロックに割り当てるための符号化モードパラメータ、インター符号化セグメントのモーションパラメータなど、ブロックのいくつかの予測パラメータ、およびピクチャ12および12’のそれぞれのセグメントへの再分割を制御およびシグナリングするためのパラメータなどの任意のさらなるパラメータをそこに符号化することができることを意味する。復号器20は、これらのパラメータを使用して、符号化器が行ったのと同じ方法でピクチャを再分割し、セグメントに同じ予測モードを割り当て、同じ予測を実行して同じ予測信号をもたらす。
【0016】
図11は、一方では再構成信号、すなわち再構成ピクチャ12’と、他方ではデータストリーム14においてシグナリングされる予測残差信号24’’’’と予測信号26との組み合わせとの間の関係を示している。既に上述したように、組み合わせは、加算であってもよい。
図11では、予測信号26は、ピクチャ領域を、ハッチングを使用して例示的に示されるイントラ符号化ブロックと、ハッチングを使用せずに例示的に示されるインター符号化ブロックとに細分割したものとして示されている。再分割は、正方形ブロックまたは非正方形ブロックの行および列へのピクチャ領域の規則的な再分割、または四分木再分割などのような、ツリールートブロックから様々なサイズの複数のリーフブロックへのピクチャ12の多重木再分割などの任意の再分割であってもよく、その混合は、
図11に示されており、ピクチャ領域は、ツリールートブロックの行および列に最初に再分割され、次いで、再帰的多重ツリー再分割にしたがって、1つ以上のリーフブロックにさらに再分割される。
【0017】
ここでも、データストリーム14は、サポートされているいくつかのイントラ符号化モードのうちの1つを、それぞれのイントラ符号化されたブロック80へ割り当てる、イントラ符号化ブロック80のためにコーディングされたイントラ符号化モードを有することができる。インター符号化ブロック82の場合、データストリーム14は、そこにコーディングされた1つ以上のモーションパラメータを有することができる。一般的に言えば、インター符号化ブロック82は、時間的にコーディングされることに限定されない。あるいは、インター符号化ブロック82は、ピクチャ12が属するビデオの以前にコーディングされたピクチャ、または符号化器および復号器がそれぞれスケーラブルな符号化器および復号器である場合には、別のビューまたは階層的に下位のレイヤのピクチャなど、現在のピクチャ12自体を超える以前にコーディングされた部分から予測された任意のブロックであってもよい。
【0018】
図11の予測残差信号24’’’’もまた、ピクチャ領域のブロック84への細分割として示されている。これらのブロックは、符号化ブロック80および82と区別するために、変換ブロックと呼ばれる場合がある。実際には、
図11は、符号化器10および復号器20が、ピクチャ12およびピクチャ12’のブロックへの2つの異なる細分割、すなわち、符号化ブロック80および82への一方の細分割、および変換ブロック84への他方の細分割を使用することができることを示している。双方の細分割は同じであってもよく、すなわち、各符号化ブロック80および82は、同時に変換ブロック84を形成してもよいが、
図11は、例えば、ブロック80および82の2つのブロック間の任意の境界が2つのブロック84間の境界を覆うように、変換ブロック84への細分割が符号化ブロック80、82への細分割の拡張を形成する場合、あるいは、各ブロック80、82が、変換ブロック84のうちの一方と一致するか、または変換ブロック84のクラスタと一致する場合を示している。しかしながら、変換ブロック84があるいは代替的にブロック80、82間のブロック境界を横切ることができるように、細分割はまた、互いに独立して決定または選択されてもよい。したがって、変換ブロック84への細分割に関する限り、ブロック80、82への細分割に関して提示されたものと同様の記述が当てはまり、すなわち、ブロック84は、(行および列への配置の有無にかかわらず)ブロックへのピクチャ領域の規則的な細分割の結果、ピクチャ領域の再帰的マルチツリー細分割の結果、またはそれらの組み合わせ、または任意の他の種類のブロック化とすることができる。単に余談として、ブロック80、82、および84は、二次、矩形、または任意の他の形状に限定されないことに留意されたい。
【0019】
図11は、さらに、予測信号26と予測残差信号24’’’’の組み合わせが再構成信号12’を直接もたらすことを示している。しかしながら、代替実施形態によれば、複数の予測信号26が予測残差信号24’’’’と組み合わせられてピクチャ12’にすることができることに留意されたい。
【0020】
図11では、変換ブロック84は、以下の重要性を有するものとする。変換器28および逆変換器54は、これらの変換ブロック84単位で変換を行う。例えば、多くのコーデックは、全ての変換ブロック84に対して何らかの種類のDSTまたはDCTを使用する。いくつかのコーデックは、変換ブロック84のいくつかについて、予測残差信号が空間領域において直接コーディングされるように、変換をスキップすることを可能にする。しかしながら、後述する実施形態によれば、符号化器10および復号器20は、それらがいくつかの変換をサポートするように構成される。例えば、符号化器10および復号器20によってサポートされる変換は、以下を含む:
・DCT-II(またはDCT-III)、ここで、DCTは離散コサイン変換を表す
・DST-IV、ここで、DSTは離散サイン変換を表す
・DCT-IV
・DST-VII
・恒等変換(IT)
【0021】
当然ながら、変換器28は、これらの変換の順変換バージョンの全てをサポートするが、復号器20または逆変換器54は、その対応する逆方向または逆バージョンをサポートする:
・逆DCT-II(または逆DCT-III)
・逆DST-IV
・逆DCT-IV
・逆DST-VII
・恒等変換(IT)
【0022】
以下の説明は、変換が符号化器10および復号器20によってサポートされることができることに関するさらなる詳細を提供する。いずれの場合でも、サポートされる変換のセットは、1つのスペクトルから空間への変換または空間からスペクトルへの変換などの1つの変換のみを含むことができることに留意されたい。
【0023】
既に上で概説したように、
図9から
図11は、本出願にかかる符号化器および復号器の特定の例を形成するために、以下にさらに説明される発明概念が実施されることができる例として提示されている。その限りにおいて、
図9および
図10の符号化器および復号器は、それぞれ、本明細書において後述する符号化器および復号器の可能な実装形態を表すことができる。しかしながら、
図9および
図10は単なる例である。しかしながら、本出願の実施形態にかかる符号化器は、以下により詳細に概説され、例えば、ビデオ符号化器ではないが静止画符号化器である点、インター予測をサポートしていない点、またはブロック80への細分割が
図11に例示された方法とは異なる方法で実行される点など、
図9の符号化器とは異なる概念を使用して、ピクチャ12のブロックベースの符号化を実行することができる。同様に、本出願の実施形態にかかる復号器は、以下にさらに概説される符号化概念を使用してデータストリーム14からピクチャ12’のブロックベースの復号を実行することができるが、例えば、同じものがビデオ復号器ではなく静止画復号器であるという点で、同じものがイントラ予測をサポートしないという点で、または同じものが
図11に関して説明したのとは異なる方法でピクチャ12’をブロックに細分割するという点で、および/または同じものが変換領域ではデータストリーム14から予測残差を導出するが、例えば空間領域では導出しないという点で、
図10の復号器20とは異なることができる。
【0024】
以下では、実施形態にかかる汎用ビデオ符号化器が
図1に記載され、実施形態にかかる汎用ビデオ復号器が
図2に記載され、実施形態にかかる汎用システムが
図3に記載されている。
【0025】
図1は、実施形態にかかる汎用ビデオ符号化器101を示している。
ビデオ符号化器101は、符号化されたビデオ信号を生成することによってビデオの複数のピクチャを符号化するように構成され、複数のピクチャのそれぞれは、元のピクチャデータを含む。
【0026】
ビデオ符号化器101は、符号化されたピクチャデータを含む符号化されたビデオ信号を生成するように構成されたデータ符号化器110を備え、データ符号化器は、ビデオの複数のピクチャを符号化されたピクチャデータに符号化するように構成される。
【0027】
さらに、ビデオ符号化器101は、複数のピクチャのそれぞれの符号化されたピクチャデータを出力するように構成された出力インターフェース120を備える。
【0028】
図2は、実施形態にかかる汎用ビデオ復号器151を示している。
ビデオ復号器151は、ビデオの複数のピクチャを再構成するために、符号化されたピクチャデータを含む符号化されたビデオ信号を復号するように構成される。
ビデオ復号器151は、符号化されたビデオ信号を受信するように構成された入力インターフェース160を備える。
【0029】
さらに、ビデオ復号器は、符号化されたピクチャデータを復号することによってビデオの複数のピクチャを再構成するように構成されたデータ復号器170を備える。
【0030】
図3は、実施形態にかかる汎用システムを示している。
システムは、
図1のビデオ符号化器101および
図2のビデオ復号器151を備える。
ビデオ符号化器101は、符号化されたビデオ信号を生成するように構成される。ビデオ復号器151は、符号化されたビデオ信号を復号して、ビデオのピクチャを再構成するように構成される。
【0031】
本発明の第1の態様は、請求項1から15に特許請求されている。
本発明の第2の態様は、請求項16から30に特許請求されている。
本発明の第3の態様は、請求項31から45に特許請求されている。
本発明の第4の態様は、請求項46から58に特許請求されている。
本発明の第5の態様は、請求項59から71に特許請求されている。
本発明の第6の態様は、請求項72から90に特許請求されている。
【0032】
以下では、本発明の第1の態様について詳細に説明する。
特に、第1の態様は、動きベクトルラップアラウンドに関する。
全方向コンテンツが、広く展開されたERPフォーマット(ERP=正距円筒図法)などの特定の投影フォーマットを使用してコーディングされるとき、投影された画像の左右の境界上のサンプルは、実際には再投影後の3d空間内で隣接している。最先端のビデオコーディングにおいてこの特性を活用し、視覚的アーチファクトを防止するために、動き補償ブロックベースのインター予測がピクチャ境界の外側に到達したときに、左右のピクチャ境界上の画像サンプル値を外挿する典型的なプロセスが調整される。
【0033】
ピクチャの左側および右側の最後の画素列の垂直外挿によって従来の境界パディングサンプル値を作成する代わりに、以下のように定義されたサンプル列の周りの動きベクトルおよび参照ブロックのラップアラウンドをもたらす参照サンプル位置の導出においてクリップ演算が使用される。
xInt
i=sps_ref_wraparound_enabled_flag?
ClipH(sps_ref_wraparound_offset,picW,(xInt
L+i-3)):
Clip3(0,picW-1,xInt
L+i-3)
yInt
i=Clip3(0,picH-1,yInt
L+i-3)
where ClipH(o,W,x)is defined as
mod(x,o);for x<0
mod((x-W),o)+W-o;for x>W-1,or
X;otherwise
Clip3は、[1]において以下のように定義される:
【数1】
【0034】
そのようなコンテンツが、タイルを使用するOMAFビューポート依存プロファイル(OMAF=全方向メディアフォーマット)に基づくなどの全方向ビデオサービスにおいてさらに使用されるときに問題が生じる。そのようなサービスでは、ERPコンテンツバージョンの低解像度の変形は、多くの場合、ビューポート依存ストリームを作成するためにフルコンテンツの他の高解像度フラグメントと混合される。高解像度フルシーンのフラグメントおよびコンテンツの低解像度バリアントを矩形のビデオフレーム上に配置する必要性は、低解像度ERPコンテンツの回転をもたらす可能性があり、それによってコーディングは、視覚的アーチファクトを回避するために上述した特性を利用することができない。例えば、
図4では、低解像度ERP概要および高解像度タイルを特徴とする2つの配置が示されている。ERPタイルは、右側のタイルによって回転または隣接されていることが分かる。
したがって、
図4に示す2つのタイル配置は、最先端の設計によって満たされないMVラップアラウンドの要件をもたらす。
図4は、実施形態にかかる概観を有するビューポート依存タイル配置を示している。
【0035】
この態様によれば、MVラップアラウンドは、例えば、上記タイル配置を可能にするために以下の方法で適合されることができる。一実施形態では、シグナリングsps_ref_wraparound_idcは、以下のように
図4の左側におけるような回転に対処するためにMVラップアラウンドオプションを区別するために使用される:
If(sps_ref_wraparound_idc==0)
{
xInt
i=ClipH(sps_ref_wraparound_offset,picW,(xInt
L+i-3))
yInt
i=Clip3(0,picH-1,yInt
L+i-3)
}
else if(sps_wraparound_idc==1)
{
xInt
i=Clip3(0,picW-1,xInt
L+i-3)
yInt
i=ClipH(sps_ref_wraparound_offset_second,picH,(yInt
L+i-3))
}
else if(sps_wraparound_idc==2)
{
xInt
i=ClipH(sps_ref_wraparound_offset,picW,(xInt
L+i-3))
yInt
i=ClipH(sps_ref_wraparound_offset_second,picH,(yInt
L+i-3))
}
【0036】
別の実施形態では、ラップアラウンド領域は、
図4の右側に示すシナリオをカバーするように定義される。
【0037】
以下では、本発明の第2の態様について詳細に説明する。
特に、第2の態様は、アフィン予測ランタイムコストに関する。
【0038】
最先端のビデオコーデックは、通常、広範囲のアプリケーション、ユースケース、およびシナリオをカバーするように設計されている。例えば、HEVCなどのコーデックは、ストリーミング、放送、リアルタイム会話または監視サービスを対象とした技術を含む。それらのサービスのそれぞれは、通常、以下のサービスの制約に依存する異なる解像度で動作する:ブロードキャストは、通常、会話よりも高い解像度を使用するなど。コーデックが備える多数の個々のツールは、この広範囲の関連する要件に適合するように調整されているが、各個々の動作点において効率の損失または複雑さの増加があり得る。
【0039】
例えば、ビデオコーディングは、従来、並進のみの動きモデルを使用し、すなわち、矩形ブロックが現在のブロックの動き補償予測器を形成するために2次元動きベクトルにしたがって変位される。そのようなモデルは、多くのビデオシーケンスにおいて一般的な回転またはズームモーションを表現することができず、したがって、例えばJEM(JEM=ジョイント探査モデル)においてアフィンモーションと呼ばれる従来の並進動きモデルを僅かに拡張する努力がなされてきた。
図5に示すように、このアフィン動きモデルでは、ブロック(v
0,v
1,・・・)ごとに2つ(または3つ)のいわゆる制御点動きベクトルが、回転モーションおよびズームモーションをモデル化するために使用される。制御点動きベクトルは、隣接ブロックのMV候補から選択される。結果として得られる動き補償予測器は、サブブロックベースの動きベクトル場を計算することによって導出され、矩形サブブロックの従来の並進動き補償に依存する。
【0040】
図5は、サブブロック分割によるアフィンモーションを示している。特に、
図5は、右上サブブロック(実線赤色)の結果として得られるサブブロック参照または予測子(破線赤色)を例示している。
【0041】
図5は、制御点の動きベクトルに応じて、多かれ少なかれ単純な回転モーションを表しているが、例えばズームモーションを表す場合など、個々のサブブロック参照がピクチャ内の広い距離にわたって広がることが起こることがある。そのような場合、結果として得られるサブブロック参照は、例えば、2×2サブブロックをもたらすよりも小さいブロックサイズで例示的に示される、
図6に示されるように位置決めされることができる。
特に、
図6は、アフィン予測によるズームモーションを示している。
【0042】
そのような場合、復号器は、より大きい全ピクチャ領域から個々のサブブロック参照をフェッチする必要があり、その後、完全な現在ブロックによってカバーされる。そのようなアフィン予測モードをコスト効率よく実装するために、現在利用可能なハードウェア上で個々のサブブロック参照のフェッチを調整することが必要とされる。そのような調整は、例えば、全てのサブブロック参照を含む連続参照ピクチャ領域の同時フェッチとすることができる。したがって、極端なズームモーションは、効率的な参照フェッチ戦略が排除されるため、復号器側で実施するには費用がかかる可能性がある。
【0043】
アフィン予測モードの実質的な符号化利得を犠牲にすることなく最悪の場合の参照ピクチャアクセスを制限するために、参照ピクチャ内の予測ブロックの拡散を制限する最新技術の手法が提案されている。
【0044】
この態様によれば、そのような制限は、例えば、許容される最大メモリ帯域幅に応じて導出されることができる。これは、全体の最大メモリ帯域幅(例えば、レベル限界の仕様で)に関して指定され、メモリ帯域幅オーバーヘッドをほぼ制限するか(通常の並進予測と比較して必要な参照メモリアクセスの最大増加を定義する)、または高レベルパラメータにおいて符号化器によって明示的にシグナリングされることができる。これらの方法は混合されてもよい。
【0045】
一実施形態では、参照サブブロック拡散の制限は、結果として得られるサブブロック参照ブロックの周囲の境界ボックスが閾値を超えないことを保証することによって実施される。そのような閾値は、ブロックサイズ、ピクチャ解像度、最大許容帯域幅から導出されることができ、または高レベルパラメータにおいて明示的にシグナリングされることができる。
【0046】
別の実施形態では、参照サブブロック拡散の制限は、コーディングされたピクチャ解像度に依存するか、またはレベル制限によって定義される。
【0047】
以下では、本発明の第3の態様について詳細に説明する。
特に、第3の態様は、アフィン予測クロマハンドリングに関する。
【0048】
上述したアフィン予測モデルの符号化効率は、より小さいサブブロックが基礎となる並進ブロックベースの動きモデルによってアフィンモーションをより良好に近似することを可能にするため、サブブロックサイズに反比例する。しかしながら、細かい粒度の参照ピクチャアクセスは、かなりのランタイム費用を伴う。
【0049】
例えば、支配的な消費者ビデオフォーマット4:2:0のように、ビデオの輝度およびクロマ成分が不均一にサンプリングされる場合、予測/参照ブロックは、通常、同じ比率でサンプリングされる。例えば、並進動き補償ブロックベースの予測などの従来の方法によって16×16の輝度ブロックが予測される場合、8×8のそれぞれのクロマブロックは、同じ輝度ブロック動きベクトルを使用して予測される。
【0050】
上記アフィン予測モデルの文脈では、輝度サブブロックは、既に非常に細かい粒度であるかまたは小さいため、クロマブロックを処理するための最先端の解決策は、フォーマットサブサンプリングに関係なく同じ輝度ブロックサイズでのクロマ処理に基づく。したがって、アフィン予測における輝度チャネル内の4×4サブブロックは、クロマチャネル内の4×4サブブロックをもたらし、それにより、
図7に示すように、輝度チャネル内よりもクロマチャネル内の数が少ない。
図7は、異なるチャネルにおけるアフィン予測のためのサブブロック分割を示している。
【0051】
したがって、対応するクロマブロックの動き情報を導出する方法が必要である。解決策のための異なる特色が存在する。例えば、最も単純な最先端の解決策は、例えば以下のように、4つの対応する輝度サブブロック全ての動き情報mvLX[]を平均化することである:
mvAvgLX=(mvLX[(xSbIdx>>1<<1)][(ySbIdx>>1<<1)]+
mvLX[(xSbIdx>>1<<1)+1][(ySbIdx>>1<<1)]+
mvLX[(xSbIdx>>1<<1)][(ySbIdx>>1<<1)+1]+
mvLX[(xSbIdx>>1<<1)+1][(ySbIdx>>1<<1)+1]+2)>>2
【0052】
別のオプションは、以下のように、対応する左上および右下輝度動きベクトルのみを平均化することである。
mvAvgLX=(mvLX[(xSbIdx>>1<<1)][(ySbIdx>>1<<1)]+
mvLX[(xSbIdx>>1<<1)+1][(ySbIdx>>1<<1)+1]+1)>>1
【0053】
さらにまた、対称丸めは、以下のように導入されることができる:
mvAvgLX=(mvLX[(xSbIdx>>1<<1)][(ySbIdx>>1<<1)]+
mvLX[(xSbIdx>>1<<1)+1][(ySbIdx>>1<<1)+1])
mvAvgLX[0]=(mvAvgLX[0]>=0?
(mvAvgLX[0]+1)>>1:
-((-mvAvgLX[0]+1)>>1))
mvAvgLX[1]=(mvAvgLX[1]>=0?
(mvAvgLX[1]+1)>>1:
-((-mvAvgLX[1]+1)>>1))
【0054】
しかしながら、上記最先端の特色を超える追加の平均化方式が望ましい場合、4:2:0とは異なるクロマフォーマットが使用されるときに問題が生じる。例えば、4:4:4のクロマフォーマットが使用されるとき、各4×4のクロマサブブロックは、正確に1つの4×4の輝度サブブロックに対応し、4:2:2のクロマフォーマットは、1つの次元でのみ平均化を必要とするため、平均化は回避されるべきである。したがって、この態様によれば、平均化演算に含まれる正しい輝度ブロックは、クロマサブサンプリング比をmvAvgLXの導出に導入することによって導出される。一実施形態では、導出は、以下のように実現される。
【0055】
mvAvgLX=(mvLX[(xSbIdx>>SubWidthC<<SubWidthC)][(ySbIdx>>SubHeightC<<SubHeightC)]+
mvLX[(xSbIdx>>SubWidthC<<SubWidthC)+SubWidthC][(ySbIdx>>SubHeightC<<SubHeightC)+SubHeightC])
mvAvgLX[0]=(mvAvgLX[0]>=0?
(mvAvgLX[0]+1)>>1:
-((-mvAvgLX[0]+1)>>1))
mvAvgLX[1]=(mvAvgLX[1]>=0?
(mvAvgLX[1]+1)>>1:
-((-mvAvgLX[1]+1)>>1))
【0056】
ここで、SubWidthCおよびSubHeightCは、以下のように適用されたクロマフォーマットから導出される:
【0057】
【0058】
以下では、本発明の第4の態様について詳細に説明する。
特に、第4の態様は、補間フィルタオーバーヘッドに関する。
【0059】
動き補償インター予測は、整数サンプル位置におけるサンプル値から畳み込みフィルタを介して補間されるサブサンプル位置(例えば、半画素、四分の一画素)におけるサンプル値を使用することができる。最先端のコーデックは、一般に、そのようなサブ画素サンプル値を生成するために、例えば8タップなどの固定タップフィルタカーネルを使用する。
【0060】
しかしながら、アフィン予測またはDMVR(復号器側動きベクトル精密化)などのサブブロックベースのインター予測がサイズ4×4などの比較的小さい輝度およびクロマサブブロックをもたらすとき、メモリ帯域幅問題が生じる。固定補間フィルタサイズに対して(サブ)ブロックサイズが減少すると、(サブ)ブロックの生成された参照輝度サブ画素サンプルのアクセスされたサンプルの総数に関するオーバーヘッドが増加する。したがって、コンテンツ解像度の増加とともに減少する最小の符号化ペナルティを示す4×4などの小さなサブブロックのサブ画素補間のために、比較的短いタップフィルタカーネルを使用することが提案されている。
【0061】
この態様によれば、サブ画素補間のためのより短いタップ補間フィルタの選択は、より低い解像度コンテンツを伴う符号化効率を犠牲にすることなく、高解像度コンテンツのためのピークメモリ帯域幅低減の点で利得から利益を得るために、コーディングされたコンテンツの解像度に依存して適合される。
【0062】
一実施形態では、いくつかのサブ画素補間フィルタが利用可能であり(例えば、双線、4タップ、6タップ、8タップ)、適用可能なフィルタを決定するためにコンテンツ解像度およびブロックサイズが使用される。
【0063】
実装は、符号化器または復号器内に実装されて手元に保持される必要がある別個のフィルタの量が増加するたびに高価になる。したがって、符号化器または復号器に並列に実装される別個のフィルタの量を減らすことが有利である。
【0064】
例えば、ビデオ信号のクロマ成分が、例えば4:2:0のクロマフォーマットを使用するとき、空間サブサンプリングを使用することが最先端である。そのような場合、クロマ成分はまた、通常、輝度成分よりも短いタップサブパネル補間フィルタも使用する。したがって、そのようなより短いタップサブ画素補間フィルタは、輝度成分に使用される従来のより長いタップのサブ画素補間フィルタカーネルに加えて、復号器/符号化器実装によって準備しておく必要がある。実施形態では、サブブロック処理が、例えばコーディングされたピクチャサイズに応じて、または符号化器の選択およびビットストリームの指示によって、ピークメモリ帯域幅を低減するために縮小タップフィルタを必要とする場合に、より短いタップサブ画素補間フィルタの再利用が導入される。
【0065】
以下では、本発明の第5の態様について詳細に説明する。
特に、第5の態様は、ビットストリームプロパティ記述およびプロファイルセット動作に関する。
【0066】
通常、ビデオストリームは、それらの特性を記述し、ビットストリームを復号することができるようにビデオ復号器に必要な機能のタイプを識別することを可能にするシグナリングを伴う。
【0067】
AVC(高度ビデオコーディング)、HEVCなどの最先端のビデオコーディング規格は、ビットストリーム内のパラメータセットにプロファイルおよびレベル指示を含み、どのツールをサポートする必要があるか、および例えばビデオコーディングシーケンスの解像度制限を識別することを可能にし、その結果、復号器がビデオシーケンスを復号することができるかどうかを容易に識別することができる。
【0068】
プロファイルに関しては、イントラ符号化ツールのみ、またはイントラツールおよびインターツールのみをサポートするが8ビット構成のみ、または10ビット構成、階層化または非階層化コーディングなどをサポートするプロファイルを識別することができる。
【0069】
レベル(ビットレート、解像度、および/またはフレームレートにより関連する)に関して、1080p@30Hz、4Kp@30Hz、4Kp@60Hz、8Kp@30Hzなどを区別することができる。
【0070】
その情報は、通常、機能交換のためにビデオストリーミングシステムにおいて使用され、その結果、特性が公開され、異なる受信機は、提供されたビットストリームを復号するための要件にそれらの機能を一致させることができる。
【0071】
例えば、DASH(動的適応ストリーミングオーバーHTTP)では、メディアプレゼンテーション記述(MPD)は、対応する異なるパラメータを有する同じコンテンツのために提供されるいくつかのビデオを含むことができる。これは、それが示される@codec=’’xxx’’と呼ばれる属性において、コーデック、プロファイル、レベルなどを示すことによって行われる。同様に、RTPストリーミング(RTP=リアルタイム転送プロトコル)では、セッション記述プロトコル(SDP)があり、これを用いてセッションの動作点がネゴシエートされる。次いで、セッションに関与する当事者は、セッションを確立するためにどのコーデック、プロファイル、およびレベルが使用されるべきかについて合意する。また、トランスポートストリーム、MPEG2-TS(MPEG=ムービングピクチャエキスパートグループ;TS=トランスポートストリーム)(放送伝送において多用される)では、この値をエンドデバイスに公開する手段がある。これは、プログラム(すなわち、例えばTVチャネル)のコーデック、プロファイル、およびレベルを識別するプログラムテーブルに対応するビデオ記述子を含めることによって行われ、したがって、エンドデバイスによって復号可能な適切なチャネルが選択されることができる。
【0072】
現在、ビットストリームに含まれるプロパティは、符号化ビデオシーケンス(CVS)にのみ適用される。CVSは、第1のIRAP(イントラランダムアクセスポイント)で始まり、以下のプロパティの1つを有するIRAPで終わる:
・それはIDR(即時復号器リフレッシュ)である
・それはBLA(ブロークンリンクアクセス)である(HEVCにのみ関連する)
・それは、シーケンス終了(EOS)SEIメッセージである(SEI=補足拡張情報)
【0073】
ほとんどのビデオサービスでは、「セッション」は、いくつかの時間的に連続したCVSを含むことができ、したがって、AVCおよびHEVCのパラメータセットに示されるパラメータは、「セッション」に含まれる全てのCVSの最初のCVSを記述するだけであるため、十分ではない。この問題は、MPEG2-TSにおいて、以下の文によって解決されている:
【0074】
「注記-AVCビデオストリーム内の1つ以上のシーケンスでは、レベルはAVCビデオ記述子においてシグナリングされるレベルよりも低くてもよく、また、AVCビデオ記述子においてシグナリングされるプロファイルのサブセットであるプロファイルが発生してもよい。しかしながら、AVCビデオストリーム全体では、存在する場合、AVCビデオ記述子においてシグナリングされるプロファイルに含まれるツールのみが使用されるものとする。例えば、メインプロファイルがシグナリングされる場合、ベースラインプロファイルは、いくつかのシーケンスにおいて使用されることができるが、メインプロファイル内にあるツールのみを使用する。AVCビデオストリーム内のシーケンスパラメータセットが異なるプロファイルをシグナリングし、追加の制約がシグナリングされない場合、ストリームは、存在する場合、ストリーム全体がどのプロファイルに適合するかを判定するための検査を必要とする場合がある。AVCビデオ記述子が単一のプロファイルに準拠しないAVCビデオストリームに関連付けられるべきである場合、AVCビデオ記述子がそのようなサブストリームごとに単一のプロファイルをシグナリングすることができるように、AVCビデオストリームは、2つ以上のサブストリームに分割されなければならない。」
【0075】
換言すれば、記述子に示されるプロファイルおよびレベルは、AVCビデオストリームのCVSにおいて使用される任意のプロファイルのスーパーセットであるプロファイルであり、レベルは任意のCVSの最高レベルである。
【0076】
同様に、MPD(メディアプレゼンテーション記述子)またはSDPにおいて示されるプロファイルおよびレベルは、ビデオビットストリーム内のものよりも「高く」(プロファイルスーパーセットまたは各CVSのプロファイルよりも必要とされるより多くのツールを意味する)することができる。
【0077】
ビデオ「セッション」の全てのCVSを復号するために必要なツールのセットであることが最初から明らかであるように、ビットストリーム自体がそのようなシグナリングを含むことが望ましい。(ここで、ビデオセッションという用語はまた、例えば、TVチャネルプログラムも含む)。シグナリングは、いくつかのCVS、すなわち、ビットストリームに適用されるパラメータセットから構成される。
特に関心のある2つの場合がある:
・双方のスーパーセットであるプロファイルが同時に存在しないプロファイルを有するCVS。
・レイヤ数に対して経時的に変化することがあるCVS。
【0078】
1つのオプションは、全てのCVSをツールごとのフラグによって復号するために必要な全てのツールをシグナリングすることであるが、これは、非常に多数の組み合わせをもたらす可能性がある複数のツールよりも比較が容易なプロファイルに基づいて動作する方が通常は便利であるため、望ましくない解決策につながる。
【0079】
ビットストリーム内でアクティブな複数のプロファイルは、以下の4つの場合につながる可能性がある。ビットストリームを復号するために必要なツールは、以下に対応する:
・交差に対応するプロファイルが存在しない、2つのプロファイルの交差。
・2つのプロファイルの交差であり、1つのプロファイルは2つのプロファイルの交差である。
・交差に対応するプロファイルが存在しない、2つのプロファイルの結合。
・交差に対応するプロファイルが存在する、2つのプロファイルの結合。
必要な全てのツールに対応するプロファイルがある場合、単一のプロファイル表示で十分である。
【0080】
しかしながら、必要な全てのツールを記述するためのプロファイルが存在しない場合、複数のプロファイルがシグナリングされるべきであり、単一のプロファイルのサポートがビットストリームを復号するのに十分であるか(交差)、またはビットストリームを復号することができるように双方のプロファイルがサポートされる必要があるかを示すために、交差または結合がシグナリングされるべきである。
以下では、本発明の第6の態様について詳細に説明する。
特に、第6の態様は、依存関係を構文解析するバッファリング期間SEIおよびピクチャタイミングSEIメッセージに関する。
【0081】
HEVCのような既存の設計では、バッファリング期間SEIメッセージ(SEI=補足拡張情報)、ピクチャタイミングSEIメッセージ、および復号ユニットSEIメッセージの構文要素は、SPS(シーケンスパラメータセット)において搬送される構文要素に依存する。この依存関係は、特定の構文要素を符号化するために使用されるビットの数、および構文要素の存在も含む。
しかしながら、以下のために、全てのバッファリング期間/ピクチャタイミング/復号ユニット関連情報を同じ構文位置に入れることは望ましくない:
【0082】
1)SPS内の現在の構文要素は、パラメータセットを交換することによって行われるセッション/機能ネゴシエーションに有用である。したがって、それらは、バッファリング期間SEIメッセージにおいて単独でシグナリングされることはできない。
【0083】
2)新たなSPSをアクティブ化することは、IRAPピクチャ(IRAP=イントラランダムアクセスポイント)でのみ可能であるため、バッファリング期間SEIメッセージ内の構文要素は、SPSに移動されることができず、バッファリング期間は、時間的サブレイヤ0に関連付けられた任意のピクチャで開始することができる。バッファリング期間ごとに新たなパラメータセットのアクティブ化を必要とすることも望ましくない。
【0084】
上記の構文解析依存性は、起動問題につながる:ビデオビットストリームの最初のVCL NALユニットが構文解析される前に、アクティブSPSがない。SEIメッセージは、最初のVCL NALユニット(NAL=ネットワーク抽象化レイヤ)の前に送信されるため、SPSがアクティブ化される前に到来する。
【0085】
また、パラメータセットの帯域外シグナリングでは、関連するパラメータセットがビットストリームに含まれていないため、例えばビットストリームをスプライシングするために、ビットストリームのHRDパラメータを理解することに関心があるスプライサなどの中間デバイスは、それぞれのSEIメッセージを構文解析することができない場合がある。
また、スプライサなどの単純な中間デバイスの場合、VUIにおけるHRDパラメータに到達するまでSPS全体を構文解析することが困難な場合がある。
【0086】
また、NALユニットの順序は、SPSを参照するバッファリング期間SEIメッセージの前にSPSが送信されることを要求するように明示的に制約されない。そのような状況では、復号器は、SPSが到来してアクティブ化されるまで、それぞれのSEIメッセージをビットストリームフォーマットにおいて(それを構文解析することができずに)記憶しなければならない場合がある。その場合にのみ、SEIメッセージが構文解析されることができる。
図8は、そのような場合の最先端の例示的なビットストリーム順序を示している。
実施形態では、それぞれのSEIメッセージの構文解析は、以下の方法でSPSから独立して行われる:
・それぞれのSEIメッセージ内の別の構文要素の長さを指定する、または
・セッション/機能ネゴシエーション(サブピクチャクロックティック約数)に必要とされない、
全ての構文要素が、バッファリング期間SEIメッセージに移動される。
【0087】
バッファリング期間SEI内の全ての構文要素の長さは、他の構文構造から完全に独立している。タイミングSEIメッセージおよび復号ユニットSEIメッセージ内の構文要素の長さは、バッファリング期間SEIメッセージ内の構文要素に依存することができるが、いかなるパラメータセット値にも依存し得ない。
【0088】
特定のHRDパラメータの存在フラグ(NAL、VCL、DUなど)、CPBパラメータのカウント(vui_cpb_cnt_minus 1[i]およびbp_cpb_cnt_minus1)、および他の構文セクションは、パラメータセットおよびバッファリング期間SEIメッセージにおいて複製され、この態様は、これらの複製された構文要素の値が双方の位置において等しくなるように制約することを含む。
【0089】
ピクチャタイミングSEIメッセージおよび復号ユニットSEIメッセージは、他の構文要素の存在を示す全ての構文要素をそれぞれのSEIメッセージ(例えば、frame_field_info_present_flag)へ移動させることによって、またはこれを複製することによって独立とされる。
この態様の一部として、ビットストリーム適合性を達成するために、上記構文要素の値は、パラメータセット内のそれぞれの値に等しいものとする。
【0090】
この態様の一部として、バッファリング期間内のtick_devisors(サブピクチャタイミング粒度を示す)は、concatenation_flagが1(すなわち、スプライシングが発生した)に等しくない限り、同じ値を有するべきである。
【0091】
既に概説したように、実施形態では、HRDパラメータ、バッファリング期間、ピクチャタイミング、および復号ユニット情報SEIメッセージをVVC仕様に追加することが提案される。一般的な構文およびセマンティクスは、対応するHEVC構造に基づいている。SEIメッセージの構文解析は、SPSの存在とは無関係に可能にされる。
【0092】
上述したように、ビットストリーム適合性をチェックするために、バッファリングモデルが必要である。VVCバッファリングモデルは、例えば、いくつかの簡略化を伴うHEVCにおいて使用された仮説参照復号器(HRD)仕様に基づくことができる。
【0093】
HRDパラメータは、SPS VUIに存在する。バッファリング期間SEI、ピクチャタイミングSEI、および復号ユニット情報SEIメッセージは、それらが参照したアクセスユニットに追加された。
【0094】
HEVCでは、SPSとHRD関連SEIメッセージとの間に構文解析依存性が存在する。セマンティクスは、同じアクセスユニット内でアクティブなSPSを参照することのみを可能にしたが、ビットストリーム順序は、SEIがSPSの前に到来することができる状況を可能にした。そのような場合、コーディングされたSEIメッセージは、正しいSPSが到来するまで記憶される必要があった。
【0095】
この構文解析依存性が問題となる別の状況は、特にパラメータセットが帯域外で交換されるときのネットワーク要素およびスプライサである(例えば、セッションネゴシエーションにおいて)。そのような場合、パラメータセットは、ビットストリームに全く含まれない可能性があり、その結果、ネットワーク要素またはスプライサは、バッファリング/タイミング情報を全く復号することができない。これらの要素にとって、復号時間およびフレーム/フィールド情報のような値を認識することは依然として興味深くあり得る。
【0096】
実施形態では、以下によって、バッファリング期間、ピクチャタイミング、および復号ユニット情報SEIメッセージの構文解析をSPS VUI/HRDパラメータから独立させることが提案される:
-他の構文要素の長さまたは存在を示す全ての構文要素をVUIからバッファリング期間SEIメッセージに移動すること
-双方の位置において必要な構文要素を複製すること。これらの構文要素の値は、同一であるように制約される。
【0097】
設計決定:
-パラメータセットは、通常、セッションネゴシエーションのために交換されるため、全ての構文要素がVUIからバッファリング期間SEIに移動されるべきではない。そのため、セッションネゴシエーションにとって重要なパラメータは、VUIに保持される。
【0098】
-バッファリング期間は、非IRAPピクチャから開始することができるため、全てのバッファリング期間パラメータをSPSに移動することは不可能であり、新たなSPSをアクティブ化することは不可能である。
【0099】
-バッファリング期間SEIと(ピクチャタイミングSEIまたは復号ユニットSEI)との間の依存関係は、これらのメッセージの間に論理的な依存関係もあるため、有害であるとは考えられない。
HEVC構文に基づく構文例を以下に示す。
【0100】
以下の構文図は、赤色でマークされた変更を有するHEVC構文に基づいている。セマンティクスは、一般に、(構文要素名に適合して)構文要素の新たな位置に移動される。構文要素が複製されるときはいつでも、ビットストリーム制約が追加され、これらの構文要素は同じ値を有するものとする。
VUI/HRDパラメータ:
【0101】
【0102】
【0103】
【0104】
【0105】
【0106】
いくつかの態様が装置の文脈で説明されたが、これらの態様は、対応する方法の説明も表すことは明らかであり、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロックまたは項目または機能の説明も表す。方法ステップの一部または全ては、例えば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって(または使用して)実行されることができる。いくつかの実施形態では、1つ以上の最も重要な方法ステップが、そのような装置によって実行されることができる。
【0107】
特定の実装要件に応じて、本発明の実施形態は、ハードウェアもしくはソフトウェアで、または少なくとも部分的にハードウェアで、または少なくとも部分的にソフトウェアで実装されることができる。実装は、電子的に読み取り可能な制御信号が記憶され、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する(または協働することができる)、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROM、フラッシュメモリなどのデジタル記憶媒体を使用して行うことができる。したがって、デジタル記憶媒体は、コンピュータ可読とすることができる。
【0108】
本発明にかかるいくつかの実施形態は、本明細書に記載の方法の1つが実行されるように、プログラム可能なコンピュータシステムと協調することができる電子的に読み取り可能な制御信号を有するデータキャリアを備える。
【0109】
一般に、本発明の実施形態は、プログラムコードを備えたコンピュータプログラム製品として実装されることができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法の1つを実行するために動作する。プログラムコードは、例えば、機械可読キャリアに記憶されてもよい。
他の実施形態は、機械可読キャリアに記憶された、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを備える。
【0110】
換言すれば、本発明の方法の実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0111】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムをその上に記録したデータキャリア(またはデジタル記憶媒体、またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体、または記録された媒体は、通常、有形および/または非一時的である。
【0112】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。
【0113】
さらなる実施形態は、本明細書に記載の方法の1つを実行するように構成または適合された処理手段、例えば、コンピュータ、またはプログラマブルロジックデバイスを含む。
さらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムをその上にインストールしたコンピュータを備える。
【0114】
本発明にかかるさらなる実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを受信機に(例えば、電子的または光学的に)転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイル装置、メモリ装置などとすることができる。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含むことができる。
【0115】
いくつかの実施形態では、プログラマブルロジックデバイス(例えば、フィールドプログラマブルゲートアレイ)を使用して、本明細書に記載の方法の機能のいくつかまたは全てを実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の1つを実行するためにマイクロプロセッサと協調することができる。一般に、方法は、好ましくは、任意のハードウェア装置によって実行される。
【0116】
本明細書で説明する装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実装されることができる。
【0117】
本明細書で説明する方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実行されることができる。
【0118】
上述した実施形態は、本発明の原理を単に例示するものである。本明細書に記載された構成および詳細の変更および変形は、他の当業者にとって明らかであることが理解される。したがって、本明細書の実施形態の記載および説明として提示された特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ限定されることが意図される。
【0119】
<項目1>
符号化ビデオ信号を生成することによってビデオの複数のピクチャを符号化するためのビデオ符号化器(101)であって、前記複数のピクチャのそれぞれが元のピクチャデータを含み、
符号化ピクチャデータを含む前記符号化ビデオ信号を生成するように構成されたデータ符号化器(110)であって、前記ビデオの前記複数のピクチャを前記符号化ピクチャデータに符号化するように構成されたデータ符号化器(110)と、
前記複数のピクチャのそれぞれの前記符号化ピクチャデータを出力するように構成された出力インターフェース(120)と、を備え、
ビデオセッションが、複数のコーディングされたビデオシーケンスを含み、複数のビデオプロファイルのCVSプロファイルが、前記複数のコーディングされたビデオシーケンスの各コーディングされたビデオシーケンスに割り当てられ、前記コーディングされたビデオシーケンスの前記CVSプロファイルが、前記コーディングされたビデオシーケンスを復号するために必要とされる複数のツールのうちの1つ以上のツールを定義し、前記複数のビデオプロファイルのそれぞれが、前記複数のコーディングされたビデオシーケンスのうちの少なくとも1つを復号するために必要とされる少なくとも1つのツールを定義し、
前記データ符号化器(110)が、前記ビデオセッションの前記複数のコーディングされたビデオシーケンスの前記CVSプロファイルに応じて前記ビデオセッションのセッションプロファイルを決定するように構成され、前記セッションプロファイルが、前記ビデオセッションの前記複数のコーディングされたビデオシーケンスを復号するために必要とされる前記複数のツールのうちの少なくとも1つのツールを定義し、
前記データ符号化器(110)が、前記符号化ビデオ信号が前記セッションプロファイルを示す指示の符号化を含むように、前記符号化ビデオ信号を生成するように構成され、
前記データ符号化器(110)が、前記セッションプロファイルが前記ビデオセッションの全てのコーディングされたビデオシーケンスを復号するために必要とされる前記複数のツールの全てのツールを含むように、前記複数のビデオプロファイルから前記セッションプロファイルを決定するように構成される、ビデオ符号化器(101)。
<項目2>
前記データ符号化器(110)が、前記複数のビデオプロファイルの中に、前記ビデオセッションの全てのコーディングされたビデオシーケンスを復号するために必要とされる前記複数のツールの全てのツールを含むビデオプロファイルが存在しない場合、前記セッションプロファイルが前記複数のビデオプロファイルのうちの少なくとも2つの結合であるように前記セッションプロファイルを決定するように構成される、
項目1に記載のビデオ符号化器(101)。
<項目3>
ビデオの複数のピクチャを再構成するために符号化ピクチャデータを含む符号化ビデオ信号を復号するためのビデオ復号器(151)であって、
前記符号化ビデオ信号を受信するように構成された入力インターフェース(160)と、
前記符号化ピクチャデータを復号することによって前記ビデオの前記複数のピクチャを再構成するように構成されたデータ復号器(170)と、を備え、
前記データ復号器(170)が、前記符号化ビデオ信号から、複数のコーディングされたビデオシーケンスを含むビデオセッションのセッションプロファイルを復号するように構成され、前記複数のビデオプロファイルのそれぞれが、前記複数のコーディングされたビデオシーケンスのうちの少なくとも1つを復号するために必要とされる複数のツールから少なくとも1つのツールを定義し、前記セッションプロファイルが、前記ビデオセッションの前記複数のコーディングされたビデオシーケンスを復号するために必要とされる前記複数のツールから少なくとも1つのツールを定義し、
前記データ復号器(170)が、前記セッションプロファイルに応じて前記ビデオの前記複数のピクチャを再構成するように構成される、ビデオ復号器(151)。
<項目4>
前記セッションプロファイルが、前記複数のビデオプロファイルのうちの少なくとも2つの結合である、
項目3に記載のビデオ復号器(151)。
<項目5>
符号化ビデオ信号を生成することによってビデオの複数のピクチャを符号化するための方法であって、前記複数のピクチャのそれぞれが元のピクチャデータを含み、前記方法が、
符号化ピクチャデータを含む前記符号化ビデオ信号を生成することであって、前記符号化ビデオ信号を生成することが、前記ビデオの前記複数のピクチャを前記符号化ピクチャデータに符号化することを含む、生成することと、
前記複数のピクチャのそれぞれの前記符号化ピクチャデータを出力することと、を含み、
ビデオセッションが、複数のコーディングされたビデオシーケンスを含み、複数のビデオプロファイルのCVSプロファイルが、前記複数のコーディングされたビデオシーケンスの各コーディングされたビデオシーケンスに割り当てられ、前記コーディングされたビデオシーケンスの前記CVSプロファイルが、前記コーディングされたビデオシーケンスを復号するために必要とされる複数のツールのうちの1つ以上のツールを定義し、前記複数のビデオプロファイルのそれぞれが、前記複数のコーディングされたビデオシーケンスのうちの少なくとも1つを復号するために必要とされる少なくとも1つのツールを定義し、
前記方法が、前記ビデオセッションの前記複数のコーディングされたビデオシーケンスの前記CVSプロファイルに応じて前記ビデオセッションのセッションプロファイルを決定することを含み、前記セッションプロファイルが、前記ビデオセッションの前記複数のコーディングされたビデオシーケンスを復号するために必要とされる前記複数のツールから少なくとも1つのツールを定義し、
前記符号化ビデオ信号を生成することが、前記符号化ビデオ信号が、前記セッションプロファイルを示す指示の符号化を含むように行われ、
前記複数のビデオプロファイルから前記セッションプロファイルを決定することが、前記セッションプロファイルが、前記ビデオセッションの全てのコーディングされたビデオシーケンスを復号するために必要とされる前記複数のツールの全てのツールを含むように行われる、方法。
<項目6>
ビデオの複数のピクチャを再構成するために、符号化ピクチャデータを含む符号化ビデオ信号を復号するための方法であって、
前記符号化ビデオ信号を受信することと、
前記符号化ピクチャデータを復号して前記ビデオの前記複数のピクチャを再構成することと、を含み、
前記方法が、前記符号化ビデオ信号から、複数のコーディングされたビデオシーケンスを含むビデオセッションのセッションプロファイルを復号することを含み、前記複数のビデオプロファイルのそれぞれが、前記複数のコーディングされたビデオシーケンスのうちの少なくとも1つを復号するために必要とされる複数のツールのうちの少なくとも1つのツールを定義し、前記セッションプロファイルが、前記ビデオセッションの前記複数のコーディングされたビデオシーケンスを復号するために必要とされる前記複数のツールのうちの少なくとも1つのツールを定義し、
前記ビデオの前記複数のピクチャを再構成することが、前記セッションプロファイルに応じて行われる、方法。
<項目7>
コンピュータまたは信号プロセッサ上で実行されると、項目5または6に記載の方法を実施するためのコンピュータプログラム。
<項目8>
システムであって、
項目1から2のいずれか一項に記載のビデオ符号化器(101)と、
項目3から4のいずれか一項に記載のビデオ復号器(151)と、を備え、
前記ビデオ符号化器(101)が、前記符号化ビデオ信号を生成するように構成され、
前記ビデオ復号器(151)が、前記符号化ビデオ信号を復号して前記ビデオの前記ピクチャを再構成するように構成される、システム。
<項目9>
符号化ビデオ信号を生成することによってビデオの複数のピクチャを符号化するためのビデオ符号化器(101)であって、前記複数のピクチャのそれぞれが元のピクチャデータを含み、
符号化ピクチャデータを含む前記符号化ビデオ信号を生成するように構成されたデータ符号化器(110)であって、前記ビデオの前記複数のピクチャを前記符号化ピクチャデータに符号化するように構成されたデータ符号化器(110)と、
前記複数のピクチャのそれぞれの前記符号化ピクチャデータを出力するように構成された出力インターフェース(120)と、を備え、
前記データ符号化器(110)が、シーケンスパラメータセットを符号化することによって、および補足拡張情報メッセージを符号化することによって前記符号化ビデオ信号を生成するように構成され、前記シーケンスパラメータセットが、前記複数のピクチャのうちの2つ以上に関連し、複数の構文要素のうちの1つ以上の構文要素の第1のグループを含み、前記補足拡張情報メッセージが、前記複数のピクチャのうちの1つに正確に関連し、前記複数の構文要素のうちの1つ以上の構文要素の第2のグループを含み、
前記データ符号化器(110)が、前記シーケンスパラメータセットが、前記補足拡張情報メッセージの構文要素の前記第2のグループの少なくとも1つの構文要素を含まないように、且つ前記シーケンスパラメータセットが、前記補足拡張情報メッセージの構文要素の前記第2のグループの前記少なくとも1つの構文要素の長さ情報を含まないように、前記シーケンスパラメータセットおよび前記補足拡張情報メッセージを生成するように構成される、ビデオ符号化器(101)。
<項目10>
前記データ符号化器(110)が、前記シーケンスパラメータセットが前記補足拡張情報メッセージの構文要素の前記第2のグループの少なくとも1つのさらなる構文要素を含まないように、且つ前記シーケンスパラメータセットが前記補足拡張情報メッセージの構文要素の前記第2のグループの前記少なくとも1つのさらなる構文要素の存在情報を含まないように、前記シーケンスパラメータセットおよび前記補足拡張情報メッセージを生成するように構成される、
項目9に記載のビデオ符号化器(101)。
<項目11>
前記データ符号化器(110)が、前記シーケンスパラメータセットが、セッションネゴシエーション情報および/または機能ネゴシエーション情報を含む複数の構文要素のうちの少なくとも1つの第1の構文要素を含むように、前記シーケンスパラメータセットを生成するように構成され、
前記データ符号化器(110)が、前記補足拡張情報メッセージが、前記セッションネゴシエーション情報および/または前記機能ネゴシエーション情報を含む前記少なくとも1つの第1の構文要素を含まないように、前記補足拡張情報メッセージを生成するように構成され、
前記データ符号化器(110)が、前記補足拡張情報メッセージが、前記セッションネゴシエーション情報および/または前記機能ネゴシエーション情報を含まない複数の構文要素のうちの少なくとも1つの第2の構文要素を含むように、前記補足拡張情報メッセージを生成するように構成され、
前記データ符号化器(110)が、前記シーケンスパラメータセットが、前記セッションネゴシエーション情報および/または前記機能ネゴシエーション情報を含まない前記少なくとも1つの第2の構文要素を含まないように、前記シーケンスパラメータセットを生成するように構成される、
項目9または10に記載のビデオ符号化器(101)。
<項目12>
前記データ符号化器(110)が、前記シーケンスパラメータセットが、前記セッションネゴシエーション情報および/または前記機能ネゴシエーション情報を含む複数の構文要素の全ての構文要素を含むように、前記シーケンスパラメータセットを生成するように構成され、
前記データ符号化器(110)が、前記補足拡張情報メッセージが、前記セッションネゴシエーション情報および/または前記機能ネゴシエーション情報を含む複数の構文要素のいずれも含まないように、前記補足拡張情報メッセージを生成するように構成され、
前記データ符号化器(110)が、前記補足拡張情報メッセージが、前記セッションネゴシエーション情報および/または前記機能ネゴシエーション情報を含まない複数の構文要素の全ての構文要素を含むように、前記補足拡張情報メッセージを生成するように構成され、
前記データ符号化器(110)が、前記シーケンスパラメータセットが、前記セッションネゴシエーション情報および/または前記機能ネゴシエーション情報を含まない複数の構文要素のいずれも含まないように、前記シーケンスパラメータセットを生成するように構成される、
項目9から11のいずれか一項に記載のビデオ符号化器(101)。
<項目13>
前記補足拡張情報メッセージが、バッファリング期間補足拡張情報メッセージであり、またはタイミング補足拡張情報メッセージであり、または復号ユニット補足拡張情報メッセージである、
項目9から12のいずれか一項に記載のビデオ符号化器(101)。
<項目14>
前記複数の構文要素のうちの少なくとも1つの構文要素について、前記データ符号化器(110)が、前記シーケンスパラメータセットが前記少なくとも1つの構文要素を含むように、且つ前記補足拡張情報メッセージも前記構文要素を含むように、前記シーケンスパラメータセットおよび前記補足拡張情報メッセージを生成するように構成され、
前記データ符号化器(110)が、前記シーケンスパラメータセットに存在し、且つ前記補足拡張情報メッセージにも存在する前記複数の構文要素のそれぞれについて、前記構文要素の値が前記シーケンスパラメータセットと前記補足拡張情報メッセージとで等しいように、前記シーケンスパラメータセットおよび前記補足拡張情報メッセージを生成するように構成される、
項目9から13のいずれか一項に記載のビデオ符号化器(101)。
<項目15>
ビデオの複数のピクチャを再構成するために符号化ピクチャデータを含む符号化ビデオ信号を復号するためのビデオ復号器(151)であって、
前記符号化ビデオ信号を受信するように構成された入力インターフェース(160)と、
前記符号化ピクチャデータを復号することによって前記ビデオの前記複数のピクチャを再構成するように構成されたデータ復号器(170)と、を備え、
前記データ復号器(170)が、前記符号化ビデオ信号からシーケンスパラメータセットおよび補足拡張情報メッセージを復号するように構成され、前記シーケンスパラメータセットが、前記複数のピクチャのうちの2つ以上に関連し、複数の構文要素のうちの1つ以上の構文要素の第1のグループを含み、前記補足拡張情報メッセージが、前記複数のピクチャの正確に1つに関連し、前記複数の構文要素のうちの1つ以上の構文要素の第2のグループを含み、前記シーケンスパラメータセットが、前記補足拡張情報メッセージの構文要素の前記第2のグループの少なくとも1つの構文要素を含まず、前記シーケンスパラメータセットが、前記補足拡張情報メッセージの構文要素の前記第2のグループの前記少なくとも1つの構文要素の長さ情報を含まず、
前記データ復号器(170)が、前記シーケンスパラメータセットに応じて、および前記補足拡張情報メッセージに応じて、前記ビデオの前記複数のピクチャを再構成するように構成される、ビデオ復号器(151)。
<項目16>
前記複数の構文要素のうちの少なくとも1つの構文要素について、前記シーケンスパラメータセットが、前記少なくとも1つの構文要素を含み、前記補足拡張情報メッセージも前記構文要素を含み、
前記シーケンスパラメータセット内に存在し且つ前記補足拡張情報メッセージ内にも存在する前記複数の構文要素のそれぞれについて、前記構文要素の値が、前記シーケンスパラメータセットと前記補足拡張情報メッセージとで等しい、
項目15に記載のビデオ復号器(151)。
参考資料
[1] ISO/IEC,ITU-T.High efficiency video coding.ITU-T Recommendation H.265 | ISO/IEC 23008 10(HEVC),edition 1,2013;edition 2,2014.
【手続補正書】
【提出日】2023-11-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオの複数のピクチャを表す符号化ビデオ信号を復号するためのビデオ復号器(151)であって、
前記符号化ビデオ信号を受信することと、
前記符号化ビデオ信号内に符号化されたクロマフォーマット情報を復号することと、
前記クロマフォーマット情報に応じて、少なくとも1つの輝度サブブロックの動きベクトル情報に基づいて、複数のクロマサブブロックのうちのクロマサブブロックの動きベクトルを決定することであって、前記クロマフォーマット情報が第1のフォーマットを示す場合、前記クロマサブブロックの前記動きベクトルは、前記少なくとも1つの輝度サブブロックのうちの正確に1つの輝度サブブロックの動きベクトルに基づいて決定され、前記クロマフォーマット情報が前記第1のフォーマットとは異なる第2のフォーマットを示す場合、前記クロマサブブロックの前記動きベクトルは、前記少なくとも1つの輝度サブブロックのうちの少なくとも2つの輝度サブブロックの動きベクトルに基づいて決定される、動きベクトルを決定することと、
前記少なくとも1つの輝度サブブロックの前記動きベクトル情報および前記クロマサブブロックの前記動きベクトルに基づいて、前記複数のピクチャのうちのピクチャを再構成することと、
を行うように構成される、
ビデオ復号器(151)。