ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-15
(45)【発行日】2024-10-23
(54)【発明の名称】ビデオデータの符号化及び復号化
(51)【国際特許分類】
H04N 19/70 20140101AFI20241016BHJP
【ＦＩ】
H04N19/70
【請求項の数】
18
(21)【出願番号】P 2022568874
(86)(22)【出願日】2020-12-16
(65)【公表番号】
(43)【公表日】2023-07-06
(86)【国際出願番号】 GB2020053227
(87)【国際公開番号】W WO2021250364
(87)【国際公開日】2021-12-16
【審査請求日】2022-12-27
(31)【優先権主張番号】16/897,703
(32)【優先日】2020-06-10
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】シャーマン カール ジェームス
(72)【発明者】
【氏名】キーティング ステファン マーク
(72)【発明者】
【氏名】ブラウン エイドリアン リチャード
【審査官】松元 伸次
(56)【参考文献】
【文献】米国特許出願公開第２０１５／００１６５４２（ＵＳ，Ａ１）
【文献】Karl Sharman，AHG9: Profile-level constraints on chroma format and bit depth constraint flags，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 19th Meeting: by teleconference, 22 June - 1 July 2020，JVET-S0094，庁内DB（送付可），2020年05月22日，pp.1-2
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
入力ビデオ・データ・ストリームをデコードするように構成されたビデオ・データ・デコーダ回路と、前記入力ビデオ・データ・ストリームに関連する制約データを検出するように構成された検出器回路と、
前記ビデオ・データ・デコーダを制御して、前記入力ビデオ・データ・ストリームをデコードし、前記制約データによって定義される差異によって修正されるように、パラメータデータによって提供されるエンコーディングプロファイルによって定義されるデコード属性を有するデコードされたビデオ・データ・ストリームを生成するように構成された制御回路と
を具備し、
前記ビデオ・データ・デコーダは、前記入力ビデオ・データ・ストリームに関連する前記パラメータデータに応答するものであり、前記パラメータデータは、複数のプロファイルから選択されたプロファイルを示し、各プロファイルは、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含むデコード属性を定義し、
前記制約データは、前記入力ビデオ・データ・ストリームに適用可能なデコード属性と、前記パラメータデータによって示される前記プロファイルによって定義される前記デコード属性との差異を定義し、
前記制約データは、前記制約データのゼロ値によって前記デコード属性のゼロ差異を示し、前記制約データのゼロ以外の値によって前記デコード属性のゼロ以外の差を示すように構成されている
装置。
【請求項2】
前記検出器回路が、前記制約データの一連の候補値をそれぞれの差分量にマッピングすることによって、前記デコード属性の差分を生成するように構成されている請求項１に記載の装置。
【請求項3】
前記デコード属性がビット深度である場合、前記制約データの候補値にマッピングされるそれぞれの差分量は、ビット深度における負の差分をすべて表すので、前記制約データによって定義される前記差分によって修正されるように、前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義される前記ビット深度が、前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義されるビット深度より大きくないビット深度である
請求項２に記載の装置。
【請求項4】
前記デコード属性がクロミナンス・サブサンプリング・フォーマットである場合、前記制約データの候補値にマッピングされた各差分量は、すべて差異を表すので、
前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義される前記クロミナンス・サブサンプリング・フォーマットは、前記制約データによって定義される前記差分によって修正されるように、前記パラメータデータによって提供された前記エンコーディングプロファイルによって定義された前記クロミナンスサブサンプリングフォーマットよりも、クロミナンス・サブサンプリング・フォーマットの所定の階層において、高くないクロミナンス・サブサンプリング・フォーマットである
請求項２に記載の装置。
【請求項5】
クロミナンス・サブサンプリング・フォーマットの所定の階層が、クロミナンス・サブサンプリング・フォーマットの所定の階層において、下から上へと順に、i. 4:0:0クロミナンス・サブサンプリング・フォーマット;
ii. 4:2:0クロミナンス・サブサンプリング・フォーマット;
iii.4:2:2クロミナンス・サブサンプリング・フォーマット;及び
iv. 4:4:4クロミナンス・サブサンプリング・フォーマットを含む
請求項４に記載の装置。
【請求項6】
前記入力ビデオ・データ・ストリームは、関連するパラメータセットを有し、前記ビデオ・データ・デコーダは、1つのパラメータ・セットからパラメータ・データをデコードし、1つのパラメータ・セットから前記制約データをデコードするように構成されている
請求項１に記載の装置。
【請求項7】
請求項１に記載の装置を具備するビデオ記憶装置、キャプチャ装置、送受信装置。
【請求項8】
入力ビデオ・データ・ストリームをエンコードして出力エンコードされたビデオ・データ・ストリームを生成するように構成されたビデオ・データ・エンコーダ回路と、構成データに依存して前記出力エンコードされたビデオ・データ・ストリームに関連するデコード属性をエンコードするように構成されたパラメータエンコーダ回路と、
を具備し、
前記ビデオ・データ・エンコーダ回路は、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含む前記デコード属性を定義する前記構成データに応答するものであり、前記デコード属性は、ビット深度及びクロマンスサブサンプリングフォーマットのうちの1つ以上を含み、
前記パラメータエンコーダ回路が、複数のプロファイルから選択されたプロファイルを示すパラメータデータをエンコードするように構成され、
各プロファイルは前記デコード属性を定義し、
制約データは、前記構成データによって定義された定義された前記デコード属性と、前記パラメータデータによって示された前記プロファイルによって定義された前記デコード属性との差を定義し、
ここで前記制約データは、前記制約データのゼロ値によって前記デコード属性のゼロ差を示し、前記制約データのゼロ以外の値によって前記デコード属性のゼロ以外の差を示すように構成されている
装置。
【請求項9】
前記パラメータエンコーダ回路が、前記制約データの一連の候補値をそれぞれの差分量にマッピングすることによって、前記デコード属性の差分を生成するように構成されている請求項８に記載の装置。
【請求項10】
前記デコード属性がビット深度である場合、前記制約データの候補値にマッピングされるそれぞれの差分量は、ビット深度における負の差分をすべて表すので、前記制約データによって定義される前記差分によって修正されるように、前記パラメータデータによって提供されるエンコーディングプロファイルによって定義される前記ビット深度が、前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義されるビット深度より大きくないビット深度である
請求項９に記載の装置。
【請求項11】
前記デコード属性がクロミナンス・サブサンプリング・フォーマットである場合、前記制約データの候補値にマッピングされた各差分量は、すべて差異を表すので、
前記パラメータデータによって提供されるエンコーディングプロファイルによって定義される前記クロミナンス・サブサンプリング・フォーマットは、前記制約データによって定義される前記差分によって修正されるように、前記パラメータデータによって提供された前記エンコーディングプロファイルによって定義された前記クロミナンスサブサンプリングフォーマットよりも、クロミナンス・サブサンプリング・フォーマットの所定の階層において、高くないクロミナンス・サブサンプリング・フォーマットである
請求項９に記載の装置。
【請求項12】
クロミナンス・サブサンプリング・フォーマットの所定の階層が、クロミナンス・サブサンプリング・フォーマットの所定の階層において、下から上へと順に、i. 4:0:0クロミナンス・サブサンプリング・フォーマット;
ii. 4:2:0クロミナンス・サブサンプリング・フォーマット;
iii.4:2:2クロミナンス・サブサンプリング・フォーマット;及び
iv. 4:4:4クロミナンス・サブサンプリング・フォーマットを含む
請求項１１に記載の装置。
【請求項13】
前記出力エンコードされたビデオ・データ・ストリームは、関連するパラメータセットを有し、前記パラメータエンコーダ回路は、前記パラメータデータを1つのパラメータ・セットにエンコードし、かつ、前記制約データを1つのパラメータセットにエンコードするように構成されている
請求項８に記載の装置。
【請求項14】
請求項８に記載の装置を具備するビデオ記憶装置、キャプチャ装置、送受信装置。
【請求項15】
入力ビデオ・データ・ストリームに関連するパラメータデータに応答する入力ビデオ・データ・ストリームをデコードするステップと、前記入力ビデオ・データ・ストリームに関連する制約データを検出するステップと、
前記制約データによって定義される差異によって修正されるように、パラメータデータによって提供されるエンコーディングプロファイルによって定義されるデコード属性を有するデコードされたビデオ・データ・ストリームを生成するのを制御するステップと
を含み、
前記パラメータデータは、複数のプロファイルから選択されたプロファイルを示し、各プロファイルは、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含むデコード属性を定義し、
前記制約データは、前記入力ビデオ・データ・ストリームに適用可能なデコード属性と、前記パラメータデータによって示される前記プロファイルによって定義される前記デコード属性との差異を定義し、
前記制約データは、前記制約データのゼロ値によって前記デコード属性のゼロ差異を示し、前記制約データのゼロ以外の値によって前記デコード属性のゼロ以外の差を示すように構成されている
方法。
【請求項16】
コンピュータによって実行されるとき、前記コンピュータに請求項１５に記載の方法を実行させるコンピュータソフトウェアを格納する機械可読の非一時的な記憶媒体。
【請求項17】
入力ビデオ・データ・ストリームをエンコードして出力エンコードされたビデオ・データ・ストリームを生成するステップと、構成データに依存して前記出力エンコードされたビデオ・データ・ストリームに関連するデコード属性をエンコードするステップと
を含み、
前記生成するステップは、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含む前記デコード属性を定義する前記構成データに応答するものであり、
前記デコード属性は、ビット深度及びクロマンスサブサンプリングフォーマットのうちの1つ以上を含み、
複数のプロファイルから選択されたプロファイルを示すパラメータデータをエンコードすることによって、各プロファイルは前記デコード属性を定義し、
制約データは、前記構成データによって定義された定義された前記デコード属性と、前記パラメータデータによって示された前記プロファイルによって定義された前記デコード属性との差を定義し、
ここで前記制約データは、前記制約データのゼロ値によって前記デコード属性のゼロ差を示し、前記制約データのゼロ以外の値によって前記デコード属性のゼロ以外の差を示すように構成されている
方法。
【請求項18】
コンピュータによって実行されるとき、前記コンピュータに請求項１７に記載の方法を実行させるコンピュータソフトウェアを格納する機械可読の非一時的な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ビデオデータの符号化及び復号化に関する。
【背景技術】
【0002】
本明細書の「背景技術」の記載は、本出願における背景を一般的に説明するためのものである。本発明者らの技術は、この背景技術の欄で説明される範囲において、本出願の出願時点で従来技術でないのであれば従来技術と見なしてはならない説明の側面と同様に、明示または黙示を問わず、本出願に対する従来技術として認められるものではない。
【0003】
ビデオデータを周波数領域表現に変換し、得られた周波数領域係数を量子化し、その後、当該量子化された係数に或る種のエントロピー符号化を適用するビデオまたは画像データ符号化システム及びビデオまたは画像データ復号化システムなどのシステムがいくつか存在する。これにより、ビデオデータを圧縮することができる。対応する復号化または解凍技術を適用することにより、元のビデオデータを再構築して復元する。
【0004】
エンコード及びデコードの機能は、いわゆるプロファイル、レベル、階層によって定義される。これらのうち、プロファイルは、(おそらく他の中で)クロミナンスサブサンプリングフォーマット及びビデオまたは画像データのビット深度(または最大ビット深度)のような符号化及び復号化機能の様々な属性を定義することができる。
(特定のフィルタリング操作のようである)エンコード及びデコード操作で使用するための種々の他の機能もまた、プロファイルによって定義することができる。いわゆる制約は、ビットストリーム(別名「データストリーム」または「ビデオデータストリーム」)でエンコードして、特定のプロファイルで定義された属性からのバリエーションを定義できる。
(特定のフィルタリング操作のようである)エンコード及びデコード操作で使用するための種々の他の機能もまた、プロファイルによって定義することができる。いわゆる制約は、ビットストリーム(別名「データストリーム」または「ビデオデータストリーム」)でエンコードして、特定のプロファイルで定義された属性からのバリエーションを定義できる。
【発明の概要】
【0005】
本開示は、この処理から生じる課題に対処または軽減する。
【0006】
本開示のそれぞれの態様及び特徴は、添付の特許請求の範囲において定義される。
【0007】
なお、上述の一般的な説明及び以降の詳細な説明は、本技術の一例であり、本技術を限定するものではないことが理解されるべきである。
【図面の簡単な説明】
【0008】
添付図面と共に以下の詳細な説明を参照することによって、本技術の完全な理解及びその優位性の多くが容易に理解される。
【図1】ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ／ビデオ（Ａ／Ｖ）データ送受信システムを示す概略図である。
【図2】ビデオデータ解凍を行うビデオ表示システムを示す概略図である。
【図3】ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ／ビデオ記憶システムを示す概略図である。
【図4】ビデオデータの圧縮を行うビデオカメラを示す概略図である。
【図5】記憶媒体を示す概略図である。
【図6】記憶媒体を示す概略図である。
【図7】ビデオデータ圧縮及び解凍装置を示す概略図である。
【図8】予測部を示す概略図である。
【図9】パラメータセットの使用を概略的に示している。
【図10】復号化装置を概略的に示す。
【図11】符号化装置を概略的に示す。
【図12】それぞれの方法を示す概略フローチャートである。
【図13】それぞれの方法を示す概略フローチャートである。
【図14】それぞれの方法を示す概略フローチャートである。
【図15】それぞれの方法を示す概略フローチャートである。
【図16】それぞれの方法を示す概略フローチャートである。
【発明を実施するための形態】
【0009】
【0010】
以下に説明する全てのデータ圧縮装置及び／またはデータ解凍装置は、ハードウェアで実現されてもよいし、例えば、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field Programmable Gate Array）、或いはこれらの組み合わせ等のようなプログラム可能なハードウェアとして、汎用コンピュータ等の汎用データ処理装置上で動作するソフトウェアで実現されてもよい。
ソフトウェア及び／またはファームウェアで実現される実施形態の場合、このようなソフトウェア及び／またはファームフェア、並びに、このようなソフトウェア及び／またはファームウェアが記憶または提供される非一時的なデータ記録媒体が本技術の実施形態と見なされることが理解されるであろう。
ソフトウェア及び／またはファームウェアで実現される実施形態の場合、このようなソフトウェア及び／またはファームフェア、並びに、このようなソフトウェア及び／またはファームウェアが記憶または提供される非一時的なデータ記録媒体が本技術の実施形態と見なされることが理解されるであろう。
【0011】
図１は、ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ／ビデオデータ送受信システムを示す概略図である。この例では、符号化または復号されるデータ値は、画像データを表す。
【0012】
入力オーディオ／ビデオ信号１０は、少なくともオーディオ／ビデオ信号１０のビデオ要素を圧縮するビデオデータ圧縮装置２０に供給され、例えば、ケーブル、光ファイバ、無線リンク等の送信ルート３０に沿って送信される。圧縮された信号は、解凍装置４０によって処理され、これにより、出力オーディオ／ビデオ信号５０が提供される。リターンパスでは、圧縮装置６０がオーディオ／ビデオ信号を圧縮し、当該オーディオ／ビデオ信号は送信ルート３０に沿って解凍装置７０に送信される。
【0013】
したがって、圧縮装置２０及び解凍装置７０は、送信リンクの１つのノードを構成することができる。また、解凍装置４０及び圧縮装置６０は、当該送信リンクの他の１つのノードを構成することができる。もちろん、送信リンクが単方向である場合は、これらのノードのうちの一方のノードのみが圧縮装置を必要とし、他方のノードのみが解凍装置を必要とすることになる。
【0014】
図２は、ビデオデータ解凍を行うビデオ表示システムを示す概略図である。具体的には、圧縮されたオーディオ／ビデオ信号１００は解凍装置１１０によって処理され、これにより、表示装置１２０上で表示することができる解凍信号が提供される。
解凍装置１１０は、例えば、表示装置１２０と同じ筐体内に設けることにより、表示装置１２０と一体的に形成してもよい。或いは、解凍装置１１０は、（例えば）いわゆるセットトップボックス（ＳＴＢ：Set Top Box）として提供されてもよい。
なお、「セットトップ」という用語は、当該ボックスを表示装置１２０に対して特定の方向または位置に配置する必要があることを意味するわけではない。この用語は、単に、周辺機器として表示部に接続可能なデバイスを示すために当該技術分野で使用されているに過ぎない。
解凍装置１１０は、例えば、表示装置１２０と同じ筐体内に設けることにより、表示装置１２０と一体的に形成してもよい。或いは、解凍装置１１０は、（例えば）いわゆるセットトップボックス（ＳＴＢ：Set Top Box）として提供されてもよい。
なお、「セットトップ」という用語は、当該ボックスを表示装置１２０に対して特定の方向または位置に配置する必要があることを意味するわけではない。この用語は、単に、周辺機器として表示部に接続可能なデバイスを示すために当該技術分野で使用されているに過ぎない。
【0015】
図３は、ビデオデータの圧縮及びビデオデータ解凍を行うオーディオ／ビデオ記憶システムを示す概略図である。入力オーディオ／ビデオ信号１３０は、圧縮信号を生成する圧縮装置１４０に供給され、例えば、磁気ディスク装置、光ディスク装置、磁気テープ装置、または半導体メモリやその他の記憶装置等の固体記憶装置等の記憶装置１５０に記憶される。再生時においては、圧縮データが記憶装置１５０から読み出され、解凍装置１６０に送られて解凍される。これにより、出力オーディオ／ビデオ信号１７０が提供される。
【0016】
圧縮または符号化された信号及び当該信号を記憶する非一過性の装置可読記憶媒体等の記憶媒体が本技術の実施形態として見なされることが理解されるであろう。
【0017】
図４は、ビデオデータの圧縮を行うビデオカメラを示す概略図である。図４において、ＣＣＤ（Charge Coupled Device）イメージセンサ及びそれに付随する制御及び読出電子機器等の画像キャプチャ装置１８０は、圧縮装置１９０に送るビデオ信号を生成する。１つ以上のマイクロフォン２００は、圧縮装置１９０に送るオーディオ信号を生成する。圧縮装置１９０は、記憶及び／または送信する（ステージ２２０として包括的に表す）圧縮オーディオ／ビデオ信号２１０を生成する。
【0018】
以下に説明する技術は、主に、ビデオデータの圧縮及び解凍に関する。オーディオデータの圧縮を行うために、以下に説明するビデオデータ圧縮技術と共に多くの既存の技術を用いて圧縮オーディオ／ビデオ信号を生成してもよいことが理解されるであろう。
したがって、オーディオデータの圧縮について別途説明は行わない。また、特に、放送品質ビデオデータにおいて、ビデオデータに関連するデータレートは一般的に、（圧縮及び非圧縮を問わず）オーディオデータに関連するデータレートよりもはるかに高いことも理解されるであろう。
したがって、非圧縮オーディオデータを圧縮ビデオデータに追加して圧縮オーディオ／ビデオ信号とすることができることが理解されるであろう。さらに、本発明の実施形態（図１～図４参照）はオーディオ／ビデオデータに関するものであるが、以下に説明する技術は、単にビデオデータを処理（すなわち、圧縮、解凍、記憶、表示、及び／または送信）するシステムに使用してもよいことが理解されるであろう。
すなわち、これらの実施形態は、必ずしもオーディオデータ処理と関連している必要はなく、ビデオデータの圧縮に適用することができる。
したがって、オーディオデータの圧縮について別途説明は行わない。また、特に、放送品質ビデオデータにおいて、ビデオデータに関連するデータレートは一般的に、（圧縮及び非圧縮を問わず）オーディオデータに関連するデータレートよりもはるかに高いことも理解されるであろう。
したがって、非圧縮オーディオデータを圧縮ビデオデータに追加して圧縮オーディオ／ビデオ信号とすることができることが理解されるであろう。さらに、本発明の実施形態（図１～図４参照）はオーディオ／ビデオデータに関するものであるが、以下に説明する技術は、単にビデオデータを処理（すなわち、圧縮、解凍、記憶、表示、及び／または送信）するシステムに使用してもよいことが理解されるであろう。
すなわち、これらの実施形態は、必ずしもオーディオデータ処理と関連している必要はなく、ビデオデータの圧縮に適用することができる。
【0019】
したがって、図４は、画像センサと、以下で説明するタイプの符号化装置とを含むビデオキャプチャ装置の一例を提供する。したがって、図２は、以下で説明するタイプの復号化装置の例と、復号化された画像が出力される表示装置を提供する。
【0020】
図２及び４の組み合わせは、画像センサ１８０及び符号化装置１９０、復号化装置１１０、及び、復号化された画像が出力される表示装置１２０を含むビデオキャプチャ装置を提供することができる。
【0021】
図５及び図６は、装置２０、６０によって生成される（例えば）圧縮データ、装置１１０に入力される圧縮データ、または、記憶媒体すなわちストレージ１５０、２２０を記憶する記憶媒体を示す概略図である。図５は、磁気ディスクまたは光ディスク等のディスク型記憶媒体を示す概略図である。図６は、フラッシュメモリ等の固体記憶媒体を示す概略図である。なお、図５及び図６は、コンピュータによって実行されることによって後述の方法のうちの１つ以上の方法を当該コンピュータに実行させるコンピュータソフトウェアを記憶する非一過性の装置可読記憶媒体の例も示す。
【0022】
したがって、上記の構成は、本技術のいずれかを具体化するビデオ記憶装置、キャプチャ装置、送受信装置の例を提供する。
【0023】
図7は、1つ以上の画像を表すビデオまたは画像データを符号化及び/または復号するための、ビデオまたは画像データ圧縮(符号化)及び解凍(デコード化)装置の模式図を提供する。
【0024】
制御部３４３は、ビデオデータ圧縮及び解凍装置の全体的な動作を制御する。制御部３４３は、特に、圧縮モードについて言えば、ブロックのサイズ及び形状等の種々の動作形態を選択する選択器として動作することによって、試行符号化処理を制御する。
また、制御部３４３は、ビデオデータが符号化されるに当たって損失が生じるか否かを制御する。この制御部は、画像エンコーダまたは画像デコーダ（場合による）の一部を構成すると見なされる。入力ビデオ信号３００の連続画像は、加算部３１０及び画像予測部３２０に供給される。画像予測部３２０については、図８を参照して後で詳述する。
画像エンコーダまたは画像デコーダ（場合による）は、図８のイントラ画像予測部と共に、図７に示す装置からの特徴を用いてもよい。しかしながら、この画像エンコーダまたは画像デコーダは、必ずしも図７に示す全ての特徴を必要とするわけではない。
また、制御部３４３は、ビデオデータが符号化されるに当たって損失が生じるか否かを制御する。この制御部は、画像エンコーダまたは画像デコーダ（場合による）の一部を構成すると見なされる。入力ビデオ信号３００の連続画像は、加算部３１０及び画像予測部３２０に供給される。画像予測部３２０については、図８を参照して後で詳述する。
画像エンコーダまたは画像デコーダ（場合による）は、図８のイントラ画像予測部と共に、図７に示す装置からの特徴を用いてもよい。しかしながら、この画像エンコーダまたは画像デコーダは、必ずしも図７に示す全ての特徴を必要とするわけではない。
【0025】
加算部３１０は、「＋」入力上で入力ビデオ信号３００を受信し、「－」入力上で画像予測部３２０の出力を受信する事実上の減算（負の加算）動作を実行する。これにより、入力画像から予測画像が減算される。この結果、実画像と予測画像との差を表すいわゆる残差画像信号３３０が生成される。
【0026】
残差画像信号を生成する理由の１つは次の通りである。説明を行うデータ符号化技術、すなわち、残差画像信号に適用される技術は、符号化される画像において「エネルギ」が少ない場合に、より効率的に作用する傾向がある。ここで、「効率的」という用語は、生成した符号化データの量が少ないことを示す。特定の画像品質レベルにおいては、生成するデータができるだけ少ないことが望ましい（且つ、「効率的」と考えられる）。
残差画像における「エネルギ」は、残差画像に含まれる情報量に関連する。仮に、予測画像と実画像とが同一だとすると、これら２つの画像の差（すなわち、残差画像）は、ゼロの情報（ゼロエネルギ）を含み、非常に容易に少量の符号化データに符号化することができる。
一般的に、予測画像の内容が、符号化される画像の内容と同様になるように、予測処理を或る程度良好に実行することができる場合、残差画像データは、入力画像よりも情報が少なく（エネルギが少ない）、容易に少量の符号化データに符号化することができると予想される。
残差画像における「エネルギ」は、残差画像に含まれる情報量に関連する。仮に、予測画像と実画像とが同一だとすると、これら２つの画像の差（すなわち、残差画像）は、ゼロの情報（ゼロエネルギ）を含み、非常に容易に少量の符号化データに符号化することができる。
一般的に、予測画像の内容が、符号化される画像の内容と同様になるように、予測処理を或る程度良好に実行することができる場合、残差画像データは、入力画像よりも情報が少なく（エネルギが少ない）、容易に少量の符号化データに符号化することができると予想される。
【0027】
従って、符号化(加算器310を使用)は、符号化される画像に対する画像領域を予測することと、予測画像領域と符号化される画像の対応領域との差に依存する残余画像領域を生成することとを含む。以下に説明する技術に関連して、データ値の順序付けられた配列は、残差画像領域の表現のデータ値を含む。
復号化は、復号されるべき画像に対する画像領域の予測;予測画像領域と復号される画像の対応する領域との間の差異を示す残留画像領域の生成;データ値の順序付けられた配列が、残留画像領域の表現のデータ値を含む;及び予測画像領域と残留画像領域とを結合することを含む。
復号化は、復号されるべき画像に対する画像領域の予測;予測画像領域と復号される画像の対応する領域との間の差異を示す残留画像領域の生成;データ値の順序付けられた配列が、残留画像領域の表現のデータ値を含む;及び予測画像領域と残留画像領域とを結合することを含む。
【0028】
（残差または差分画像を符号化する）エンコーダとして動作する装置の残りの部分を説明する。
【0029】
残差画像データ３３０は、残差画像データのブロックまたは領域の離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）表現を生成する変換部すなわち回路３４０に供給される。このＤＣＴ技術自体は広く知られているため、ここでは詳しく説明しない。
また、ＤＣＴの使用は、一構成例の例示に過ぎない。他の変換方式として、例えば、離散サイン変換（ＤＳＴ：Discrete Sine Transform）を用いることができるであろう。変換方式は、例えば、１つの変換方式に別の変換方式が（直接的または間接的に）続く構成等、個々の変換方式を組み合わせてもよい。
変換方式の選択は、明示的に決定されてもよく、且つ／または、エンコーダ及びデコーダを構成するのに用いられる付帯情報（side information）に依存してもよい。他の例では、変換（トランスフォーム）が適用されない、いわゆる「変換スキップ（トランスフォームスキップ）」モードを選択的に使用することができる。
また、ＤＣＴの使用は、一構成例の例示に過ぎない。他の変換方式として、例えば、離散サイン変換（ＤＳＴ：Discrete Sine Transform）を用いることができるであろう。変換方式は、例えば、１つの変換方式に別の変換方式が（直接的または間接的に）続く構成等、個々の変換方式を組み合わせてもよい。
変換方式の選択は、明示的に決定されてもよく、且つ／または、エンコーダ及びデコーダを構成するのに用いられる付帯情報（side information）に依存してもよい。他の例では、変換（トランスフォーム）が適用されない、いわゆる「変換スキップ（トランスフォームスキップ）」モードを選択的に使用することができる。
【0030】
したがって、例えば、符号化及び/または復号化方法は、符号化される画像に対する画像領域を予測するステップと、予測画像領域と符号化される画像の対応する領域との差に依存する残留画像領域を生成するステップと、を含み、
データ値の順序付けられた配列(後述する)が、残留画像領域の表現のデータ値を含む。
データ値の順序付けられた配列(後述する)が、残留画像領域の表現のデータ値を含む。
【0031】
変換部３４０の出力、すなわち（例えば）、画像データにおける各変換ブロックに対する一連のＤＣＴ係数は、量子化部３５０に供給される。量子化スケーリング要素による単純な乗算から、量子化パラメータの制御下における複雑なルックアップテーブルの応用に至るまで、様々な量子化技術がビデオデータ圧縮の分野において広く知られている。その目的として一般的なものには２つある。１つ目は、変換データが取り得る値を量子化処理により減少させることである。
２つ目は、変換データの値がゼロである可能性を量子化処理により増加させることである。これらにより、少量の圧縮ビデオデータの生成において、後述するエントロピー符号化処理をより効率的に行うことができる。
２つ目は、変換データの値がゼロである可能性を量子化処理により増加させることである。これらにより、少量の圧縮ビデオデータの生成において、後述するエントロピー符号化処理をより効率的に行うことができる。
【0032】
スキャン部３６０により、データスキャン処理が適用される。スキャン処理の目的は、非ゼロの量子化変換係数をできるだけひとまとめにするため、また、もちろん、これにより、ゼロ値の係数をできるだけひとまとめにするために、量子化変換データを再整理することである。これらの機能により、いわゆるランレングス符号化または同様の技術を効率的に適用することができる。
したがって、スキャン処理は、（ａ）スキャンの一部として全ての係数が一度は選択されるように、且つ、（ｂ）スキャンにより所望の再整理を行うことができるように、「スキャン順」に従って、量子化変換データ、及び、特に、変換及び量子化された画像データのブロックに対応する係数のブロックから係数を選択することを含む。有効な結果をもたらすスキャン順の一例は、いわゆるUp-right Diagonalスキャン順である。
したがって、スキャン処理は、（ａ）スキャンの一部として全ての係数が一度は選択されるように、且つ、（ｂ）スキャンにより所望の再整理を行うことができるように、「スキャン順」に従って、量子化変換データ、及び、特に、変換及び量子化された画像データのブロックに対応する係数のブロックから係数を選択することを含む。有効な結果をもたらすスキャン順の一例は、いわゆるUp-right Diagonalスキャン順である。
【0033】
スキャン順序は、変換スキップブロックと変換ブロック(少なくとも1つの空間周波数変換が行われたブロック)とで異なってもよい。
【0034】
スキャンされた係数は、その後、エントロピーエンコーダ（ＥＥ）３７０に送られる。この場合もやはり、各種エントロピー符号化を実行してもよい。２つの例は、いわゆるＣＡＢＡＣ（Context Adaptive Binary Coding）システムの変形、及び、いわゆるＣＡＶＬＣ（Context Adaptive Variable-Length Coding）システムの変形である。一般的に、ＣＡＢＡＣは効率がよいと考えられている。或る研究では、ＣＡＢＡＣにおける符号化出力データの量は、同等の画像品質に対して、ＣＡＶＬＣよりも１０～２０％少ないことが示されている。
しかしながら、ＣＡＶＬＣが示す（実行する上での）複雑性のレベルは、ＣＡＢＡＣの複雑性のレベルよりもはるかに低いと考えられている。なお、スキャン処理及びエントロピー符号化処理は、別々の処理として示されているが、実際には、組み合わせるか、または、一緒に扱うことができる。すなわち、エントロピーエンコーダへのデータの読み出しは、スキャン順で行うことができる。これは、後述する各逆処理の場合も同様である。
しかしながら、ＣＡＶＬＣが示す（実行する上での）複雑性のレベルは、ＣＡＢＡＣの複雑性のレベルよりもはるかに低いと考えられている。なお、スキャン処理及びエントロピー符号化処理は、別々の処理として示されているが、実際には、組み合わせるか、または、一緒に扱うことができる。すなわち、エントロピーエンコーダへのデータの読み出しは、スキャン順で行うことができる。これは、後述する各逆処理の場合も同様である。
【0035】
エントロピーエンコーダ３７０の出力により、例えば、予測部３２０が予測画像を生成する方法を定義する（上述及び／または後述の）追加データと共に、圧縮されたデータが変換されたか変換スキップされたか等で、圧縮出力ビデオ信号３８０が提供される。
【0036】
一方、予測部３２０自体の動作は解凍された圧縮出力データに依存するため、リターンパス３９０も提供される。
【0037】
この機能の理由は以下の通りである。解凍処理（後述する）における適切なステージで、解凍された残差データが生成される。この解凍残差データは、出力画像を生成するために、予測画像に追加する必要がある（なぜなら、元の残差データは、入力画像と予測画像との差であったため）。圧縮側と解凍側とでこの処理が同等となるように、予測部３２０によって生成される予測画像は、圧縮処理中及び解凍処理中において、同一であるべきである。
もちろん、装置は、解凍時において元の入力画像にアクセスすることができない。装置がアクセスすることができるのは、解凍画像のみである。したがって、圧縮時において、予測部３２０は、解凍された圧縮画像に基づいて（少なくともインター画像符号化について）その予測を行う。
もちろん、装置は、解凍時において元の入力画像にアクセスすることができない。装置がアクセスすることができるのは、解凍画像のみである。したがって、圧縮時において、予測部３２０は、解凍された圧縮画像に基づいて（少なくともインター画像符号化について）その予測を行う。
【0038】
エントロピーエンコーダ３７０により実行されるエントロピー符号化処理は、（少なくともいくつかの例では）「無損失（lossless）」であると考えられる。すなわち、エントロピーエンコーダ３７０に最初に供給されたデータと全く同じデータに置き換えることができる。したがって、このような例では、リターンパスは、エントロピー符号化ステージよりも前に実装することができる。
実際、スキャン部３６０によって実行されるスキャン処理も無損失であると考えられるので、本実施形態では、リターンパス３９０は、量子化部３５０の出力から、補足逆量子化部４２０の入力までとされている。ステージによって損失が生じるまたは損失が生じる可能性がある場合、当該ステージ（及びその逆）は、リターンパスによって形成されるフィードバックループに含めてもよい。
例えば、エントロピー符号化ステージは、例えば、ビットをパリティ情報において符号化する技術によって、少なくとも原理的には損失を生じるものとされ得る。このような例では、エントロピー符号化及び復号化は、フィードバックループの一部を形成する必要がある。
実際、スキャン部３６０によって実行されるスキャン処理も無損失であると考えられるので、本実施形態では、リターンパス３９０は、量子化部３５０の出力から、補足逆量子化部４２０の入力までとされている。ステージによって損失が生じるまたは損失が生じる可能性がある場合、当該ステージ（及びその逆）は、リターンパスによって形成されるフィードバックループに含めてもよい。
例えば、エントロピー符号化ステージは、例えば、ビットをパリティ情報において符号化する技術によって、少なくとも原理的には損失を生じるものとされ得る。このような例では、エントロピー符号化及び復号化は、フィードバックループの一部を形成する必要がある。
【0039】
一般的には、エントロピーデコーダ４１０、逆スキャン部４００、逆量子化部４２０、逆変換部すなわち回路４３０は、それぞれ、エントロピーエンコーダ３７０、スキャン部３６０、量子化部３５０、及び変換部３４０の逆機能を提供する。ここでは、圧縮処理について説明を続け、入力圧縮ビデオ信号を解凍するための処理については、別途後述する。
【0040】
圧縮処理において、スキャンされた係数は、リターンパス３９０により量子化部３５０から、スキャン部３６０の逆動作を実行する逆量子化部４２０に送られる。逆量子化処理及び逆変換処理が逆量子化部４２０、逆変換部４３０により実行され、圧縮－解凍残差画像信号４４０が生成される。
【0041】
画像信号４４０は、加算部４５０で予測部３２０の出力に追加され、再構築出力画像４６０が生成される（ただし、これは、出力される前に、いわゆるループフィルタリング及び/または他のフィルタリングの対象となる場合がある。以下を参照する。）。
これにより、後述するように、画像予測部３２０への１つの入力が構成される。
これにより、後述するように、画像予測部３２０への１つの入力が構成される。
【0042】
受信した圧縮ビデオ信号４７０を解凍するために適用される復号化処理について説明する。圧縮ビデオ信号４７０は、まず、エントロピーデコーダ４１０に供給され、そこから逆スキャン部４００、逆量子化部４２０、及び逆変換部４３０の順に供給される。その後、加算部４５０によって画像予測部３２０の出力に追加される。
したがって、デコーダ側では、デコーダは、残差画像を再構築し、これを（ブロック単位で）（加算部４５０によって）予測画像に適用することで各ブロックを復号化する。端的に言うと、加算部４５０の出力４６０が、（以下で説明するフィルタリング・プロセスの対象となる）出力解凍ビデオ信号４８０を形成する。
実際には、信号を出力する前に、さらに（例えば、フィルタ５６０を用いて）フィルタリングを任意選択で施してもよい。このフィルタ５６０は、図８に示す。図８に比べて全体的な構成を示す図７では、ループフィルタ５６５は、見易さのために省略している。
したがって、デコーダ側では、デコーダは、残差画像を再構築し、これを（ブロック単位で）（加算部４５０によって）予測画像に適用することで各ブロックを復号化する。端的に言うと、加算部４５０の出力４６０が、（以下で説明するフィルタリング・プロセスの対象となる）出力解凍ビデオ信号４８０を形成する。
実際には、信号を出力する前に、さらに（例えば、フィルタ５６０を用いて）フィルタリングを任意選択で施してもよい。このフィルタ５６０は、図８に示す。図８に比べて全体的な構成を示す図７では、ループフィルタ５６５は、見易さのために省略している。
【0043】
図７及び図８に示す装置は、圧縮（符号化）装置または解凍（復号化）装置として動作することができる。二種類の装置の機能が実質的に重複する。スキャン部３６０及びエントロピーエンコーダ３７０は、解凍モードでは使用されない。予測部３２０（後で詳述する）及び他の各部の動作は、受信した圧縮ビットストリームに含まれるモード及びパラメータ情報に従い、自らはこれらの情報を生成しない。
【0044】
図８は、予測画像の生成を示す概略図であり、特に、画像予測部３２０の動作を示している。
【0045】
２つの基本的な予測モードが画像予測部３２０によって実行される。２つの基本的な予測モードとは、いわゆるイントラ画像予測及びいわゆるインター画像予測または動き補償（ＭＣ：Motion-Compensated）予測である。エンコーダ側では、これらの予測はそれぞれ、予測対象である現在のブロックについて予測方向を検出し、（同じ（イントラ）または別の（インター）画像における）他のサンプルに応じてサンプルの予測ブロックを生成することを含む。加算部３１０または４５０により、予測ブロックと実際のブロックとの差異を符号化または復号化することで、ブロックをそれぞれ符号化または復号化する。
【0046】
（デコーダ側またはエンコーダの逆復号化側では、この予測方向の検出は、どの方向がエンコーダで用いられたかを示す、エンコーダによる符号化データに関係付けられたデータに応じるものであってもよい。或いは、当該予測方向の検出は、エンコーダで決定された要素と同じものに応じるものであってもよい。）
【0047】
イントラ画像予測は、同一画像内から得られるデータにおける画像ブロックまたは領域の内容の予測を基礎としている。これは、他のビデオ圧縮技術における、いわゆるＩフレーム符号化に対応する。しかし、画像全体をイントラ符号化によって符号化するＩフレーム符号化とは対照的に、本実施形態では、イントラ符号化及びインター符号化の選択を、ブロック毎に行うことができる。他の実施形態では、当該選択が依然として画像毎に行われる。
【0048】
動き補償予測は、インター画像予測の一例であり、他の隣接画像または近接画像において、現在の画像において符号化される画像詳細のソースを定義しようとする動き情報が用いられる。したがって、理想的な例では、予測画像における画像データのブロックの内容は、隣接画像において同じ位置またはわずかに異なる位置に存在する対応ブロックを示す参照（動きベクトル）として、非常に容易に符号化することができる。
【0049】
「ブロックコピー」予測として知られる技術は、現在の予測ブロックを生成するためにコピーすべき、同一の画像内の現在の予測ブロックから変位した位置にある、サンプルから成るブロックを示すベクトルを用いるため、いくつかの点において、上記２つの予測のハイブリッドと言える。
【0050】
図８に戻る。図８には（イントラ画像予測及びインター画像予測に対応する）２つの画像予測構成が示されており、その予測結果が、加算部３１０及び４５０に供給するための予測画像のブロックを提供するように、（例えば、制御部３４３の）モード信号５１０の制御下において乗算部５００によって選択される。当該選択は、どちらを選択すれば最少の「エネルギ」（上述のように、符号化が必要な情報の量と考えてもよい）となるかに基づいて行われ、また、当該選択は、符号化出力データストリームでデコーダに通知される。
これに関して、例えば、入力画像から、２つのバージョンの予測画像の領域を試行減算し、差分画像の各ピクセル値を２乗し、乗算値を合計し、当該２つのバージョンのうち、その画像領域に関連する差分画像の平均乗算値が低いのはどちらのバージョンかを特定することによって、画像エネルギを検出することができる。他の例では、選択毎にまたはあり得る選択毎に試行符号化を実行することができる。そして、符号化に必要なビット数及び当該画像に対する歪みのうちの一方または両方に関する、あり得る選択毎の費用に応じて選択が行われる。
これに関して、例えば、入力画像から、２つのバージョンの予測画像の領域を試行減算し、差分画像の各ピクセル値を２乗し、乗算値を合計し、当該２つのバージョンのうち、その画像領域に関連する差分画像の平均乗算値が低いのはどちらのバージョンかを特定することによって、画像エネルギを検出することができる。他の例では、選択毎にまたはあり得る選択毎に試行符号化を実行することができる。そして、符号化に必要なビット数及び当該画像に対する歪みのうちの一方または両方に関する、あり得る選択毎の費用に応じて選択が行われる。
【0051】
イントラ予測システムでは、実際の予測は、（ループフィルタリングによってフィルタリングされる、以下を参照）信号４６０の一部として受信された画像ブロックに基づいて行われる。すなわち、予測は、解凍装置において全く同じ予測を行うことができるように、符号化－復号化画像ブロックに基づいて行われる。
しかしながら、データを入力ビデオ信号３００から導出して、イントラモード選択部５２０により、イントラ画像予測部５３０の動作を制御することもできる。
しかしながら、データを入力ビデオ信号３００から導出して、イントラモード選択部５２０により、イントラ画像予測部５３０の動作を制御することもできる。
【0052】
インター画像予測では、動き補償（ＭＣ）予測部５４０は、例えば、動き推定部５５０によって入力ビデオ信号３００から導出された動きベクトル等の動き情報を用いる。動き補償予測部５４０は、これら動きベクトルを再構築画像４６０に適用し、インター画像予測のブロックを生成する。
【0053】
したがって、イントラ画像予測部５３０及び動き補償予測部５４０（推定部５５０と共に動作する）はそれぞれ、予測対象である現在のブロックについての予測方向を検出する検出部として、また、予測方向によって画定される他のサンプルに応じてサンプルの予測ブロック（加算部３１０及び４５０に送る予測結果の一部をなす）を生成する生成部として動作する。
【0054】
ここで、信号４６０に適用される処理について説明する。
【0055】
まず、信号は、いわゆるループフィルタ５６５によってフィルタリングされ得る。様々なタイプのループフィルタを使用することができる。１つの技術は、変換ユニット３４０及びそれに続く動作によって実行されるブロックベースの処理の効果を除去するか、または、少なくとも低減する傾向にある「非ブロック化（deblocking）」フィルタを適用することを含む。
また、いわゆるサンプル適応オフセット(SAO:Sample Adaptive Offsetting)フィルタを適用することを含むさらなる技術を用いることができる。一般に、サンプル適応オフセット・フィルタでは、フィルタ・パラメータ・データ(エンコーダで導出され、デコーダに伝送される)は、(i)所与の中間ビデオサンプル、または、(ii)所与の中間ビデオサンプルと所定の空間関係を有する1つ以上の中間ビデオサンプルの値に依存して、サンプル適応オフセット・フィルタによって所与の中間ビデオサンプル(信号460のサンプル)と選択的に結合される1つ以上のオフセット量を定義する。
また、いわゆるサンプル適応オフセット(SAO:Sample Adaptive Offsetting)フィルタを適用することを含むさらなる技術を用いることができる。一般に、サンプル適応オフセット・フィルタでは、フィルタ・パラメータ・データ(エンコーダで導出され、デコーダに伝送される)は、(i)所与の中間ビデオサンプル、または、(ii)所与の中間ビデオサンプルと所定の空間関係を有する1つ以上の中間ビデオサンプルの値に依存して、サンプル適応オフセット・フィルタによって所与の中間ビデオサンプル(信号460のサンプル)と選択的に結合される1つ以上のオフセット量を定義する。
【0056】
また、再構築信号４６０及び入力ビデオ信号３００を処理することによって得られる係数を使用して、適応ループフィルタが任意選択で適用される。この適応ループフィルタは、公知の技術を使用して、フィルタリング対象のデータに対して適応フィルタ係数を適用するフィルタの一種である。すなわち、フィルタ係数は、各種要素に基づいて変化し得る。どのフィルタ係数を用いるかを定義するデータは、符号化出力データストリームの一部に挿入される。
【0057】
以下で説明する実装方法は、フィルタの動作に関するパラメータデータの取扱いに関するものである。実際のフィルタリング操作(例えば、SAOフィルタリング)では、他の公知技術が使用されてもよい。
【0058】
装置が解凍装置として動作している場合、ループフィルタ部５６５からのフィルタリングされた出力は、実際には、出力ビデオ信号４８０を形成する。この信号は、１つ以上の画像またはフレーム記憶部５７０に記憶される。連続画像の記憶は、動き補償予測処理、特に、動きベクトルの生成において必要となる。必要なメモリを確保するため、画像記憶部５７０に記憶される画像は、圧縮形式で保持され、その後、動きベクトルの生成に用いるために解凍されてもよい。
この特定の目的のために、公知のいかなる圧縮／解凍システムを用いてもよい。記憶画像は、より高い解像度の記憶画像を生成する補間フィルタ５８０に送られ得る。この例では、補間フィルタ５８０によって出力される補間画像の解像度が、輝度チャンネルが４：２：０である場合に画像記憶部５７０に記憶された画像の４倍（各寸法）となるように、色チャンネルが４：２：０である場合に画像記憶部５７０に記憶された画像の８倍（各寸法）となるように、中間サンプル（サブサンプル）が生成される。補間画像は、動き推定部５５０及び動き補償予測部５４０への入力として送られる。
この特定の目的のために、公知のいかなる圧縮／解凍システムを用いてもよい。記憶画像は、より高い解像度の記憶画像を生成する補間フィルタ５８０に送られ得る。この例では、補間フィルタ５８０によって出力される補間画像の解像度が、輝度チャンネルが４：２：０である場合に画像記憶部５７０に記憶された画像の４倍（各寸法）となるように、色チャンネルが４：２：０である場合に画像記憶部５７０に記憶された画像の８倍（各寸法）となるように、中間サンプル（サブサンプル）が生成される。補間画像は、動き推定部５５０及び動き補償予測部５４０への入力として送られる。
【0059】
ここで、圧縮処理のために画像を分割する方法について説明する。基本的なレベルでは、圧縮対象の画像は、サンプルから成るブロックまたは領域の配列として考えることができる。
このような画像のブロックまたは領域への分割は、SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of Audiovisual services - Coding ofmoving video High efficiency videocoding Recommendation ITU-T H. 265 2016 年 12 月と、参照によりその内容が本明細書に援用されるHigh Efficiency Video Coding (HEVC) Algorithms and Architectures, chapter 3, Editors: Madhukar Budagavi, Gary J. Sullivan, Vivienne Sze; ISBN 978-3-319-06894-7; 2014とに、記載されているような決定木によって行うことができる。
さらなる詳細な背景情報は、参照によりその全体が本明細書に組み込まれる「Versatile Video Coding (Draft 8)」、JVET-R2001-vA、B. Bross、J. Chen、S. Liu、and Y-K.Wangで提供される。
このような画像のブロックまたは領域への分割は、SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of Audiovisual services - Coding ofmoving video High efficiency videocoding Recommendation ITU-T H. 265 2016 年 12 月と、参照によりその内容が本明細書に援用されるHigh Efficiency Video Coding (HEVC) Algorithms and Architectures, chapter 3, Editors: Madhukar Budagavi, Gary J. Sullivan, Vivienne Sze; ISBN 978-3-319-06894-7; 2014とに、記載されているような決定木によって行うことができる。
さらなる詳細な背景情報は、参照によりその全体が本明細書に組み込まれる「Versatile Video Coding (Draft 8)」、JVET-R2001-vA、B. Bross、J. Chen、S. Liu、and Y-K.Wangで提供される。
【0060】
いくつかの例では、結果として得られるブロックまたは領域は、様々なサイズを有し、場合によっては、決定木により、全体的に当該画像内の画像特徴の配列に沿った形状を有する。これだけでも符号化効率を向上させることができる。というのも、類似の画像特徴を表すかまたはこれらに沿うサンプルは、このような構成によって、グループ化される傾向にあるからである。
いくつかの例では、異なるサイズの正方形ブロックまたは領域（例えば、４×４サンプル～例えば６４×６４、またはより大きいブロック）が、選択に利用可能である。
他の構成例では、（例えば、垂直方向または水平方向に配向された）矩形ブロック等の異なる形状のブロックまたは領域を用いることができる。他の非正方形及び非矩形ブロックも包含される。このような画像のブロックまたは領域への分割結果として、（少なくとも本例では）画像のサンプルがそれぞれ１つの、さらには、１つのみに割り当てられるブロックまたは領域サンプルに割り当てられる。
いくつかの例では、異なるサイズの正方形ブロックまたは領域（例えば、４×４サンプル～例えば６４×６４、またはより大きいブロック）が、選択に利用可能である。
他の構成例では、（例えば、垂直方向または水平方向に配向された）矩形ブロック等の異なる形状のブロックまたは領域を用いることができる。他の非正方形及び非矩形ブロックも包含される。このような画像のブロックまたは領域への分割結果として、（少なくとも本例では）画像のサンプルがそれぞれ１つの、さらには、１つのみに割り当てられるブロックまたは領域サンプルに割り当てられる。
【0061】
本開示の実施形態は、後述するが、エンコーダ及びデコーダにおける符号化レベルを表現する技術に関するものである。
【0062】
（コード・ツリー単位(CTUs)）
CTUは、図7を参照して論じられた装置の基本的な処理単位を表し、最大符号化単位(LCU)と呼ばれることもある。一般的に、CTUは、16x16ピクセルから128×128サンプルの間であってもよく、一般に、より大きなサイズ(例えば、より小さい画像サイズの場合だけではないが)で、符号化効率を向上させる。
CTUは、コーディングツリーブロック(CTB)、コーディングユニット(CU)(CTUサイズも最大のCUサイズである)、予測部PU)、変換ユニット(TU)など、確立された手法を使用して他のユニットに細分化される場合がある。
CTUは、図7を参照して論じられた装置の基本的な処理単位を表し、最大符号化単位(LCU)と呼ばれることもある。一般的に、CTUは、16x16ピクセルから128×128サンプルの間であってもよく、一般に、より大きなサイズ(例えば、より小さい画像サイズの場合だけではないが)で、符号化効率を向上させる。
CTUは、コーディングツリーブロック(CTB)、コーディングユニット(CU)(CTUサイズも最大のCUサイズである)、予測部PU)、変換ユニット(TU)など、確立された手法を使用して他のユニットに細分化される場合がある。
【0063】
（パラメータセット及び符号化プロファイル、レベル及び制約）
映像データが後続のデコードのために先に議論した技術によって符号化されるとき、処理の符号化側が、符号化処理の幾つかのパラメータを処理の最終的なデコード側に伝達することが適切である。
これらの符号化パラメータは、符号化された映像データが復号化されるたびに必要とされることを前提として、符号化された映像データストリーム自体にパラメータをいわゆるパラメータセットとして埋め込むことによって、例えば、符号化された映像データストリーム自体に関連付けることが有用である(ただし、これらは、別の伝送チャネルによって「帯域外」に送信される可能性があるため、必ずしも排他的ではない)。
映像データが後続のデコードのために先に議論した技術によって符号化されるとき、処理の符号化側が、符号化処理の幾つかのパラメータを処理の最終的なデコード側に伝達することが適切である。
これらの符号化パラメータは、符号化された映像データが復号化されるたびに必要とされることを前提として、符号化された映像データストリーム自体にパラメータをいわゆるパラメータセットとして埋め込むことによって、例えば、符号化された映像データストリーム自体に関連付けることが有用である(ただし、これらは、別の伝送チャネルによって「帯域外」に送信される可能性があるため、必ずしも排他的ではない)。
【0064】
パラメータセットは、例えば、ビデオ・パラメータ・セット(VPS)、シーケンスパラメータセット(SPS)及びピクチャパラメータセット(PPS)として、情報の階層として表され得る。PPSは、各画像が一度出現し、その画像内のすべてのエンコードされたスライスに関連する情報を含むことが期待される。SPSはそれほど頻繁ではなく(一連の画像ごとに1回)、VPSはそれほど頻繁ではない。より頻繁に発生するパラメータセット(PPSなど)は、そのパラメータセットの以前にエンコードされたインスタンスへの参照として実装し、再エンコードのコストを回避できる。
エンコードされた各画像スライスは、単一のアクティブなPPS、SPS、及びVPSを参照して、そのスライスのデコードで使用される情報を提供する。特に、各スライスヘッダには、PPSを参照するためのPPS識別子が含まれている場合があり、PPSはSPSを参照し、SPSはVPSを参照する。
エンコードされた各画像スライスは、単一のアクティブなPPS、SPS、及びVPSを参照して、そのスライスのデコードで使用される情報を提供する。特に、各スライスヘッダには、PPSを参照するためのPPS識別子が含まれている場合があり、PPSはSPSを参照し、SPSはVPSを参照する。
【0065】
パラメータ情報の別の形式は、いわゆるデコードケーパビリティ情報(DCI)であり、実際には(もはや名前ではなく)パラメータセットであり、これは特定のデータ接続に渡される最大要件を示す。この全体的な定義は、ビデオストリーム(VPS)が開始及び停止する可能性があるが、互いに反対の状態になるため、便利である。
たとえば、特定の放送局またはビデオ・オン・デマンド・プロバイダを介して視聴されているビデオ・チャネルの変更は、VPSを切り替えることができるが、実際には新しい接続を行う必要はなく、また、ライブTV放送がコマーシャルによって中断される場合には、VPSを切り替えるか連結することによって中断を実装することができる。
たとえば、特定の放送局またはビデオ・オン・デマンド・プロバイダを介して視聴されているビデオ・チャネルの変更は、VPSを切り替えることができるが、実際には新しい接続を行う必要はなく、また、ライブTV放送がコマーシャルによって中断される場合には、VPSを切り替えるか連結することによって中断を実装することができる。
【0066】
VPSはビデオシーケンスに関する情報を提供する。これは、拡張可能（スケーラブル）であってもよく、その場合、ビデオストリーム内に複数のシーケンスがある。スケーラブルでない場合、ビデオストリーム内のシーケンスは1つだけになる。SPSは、シーケンスとして記述された映像のサブレイヤーの1つに関する情報を提供する。
多くの場合、VPS内のレイヤは1つだけであるので、SPSは1つだけになる。PPSは、個々の画像に関する情報を提供する。
多くの場合、VPS内のレイヤは1つだけであるので、SPSは1つだけになる。PPSは、個々の画像に関する情報を提供する。
【0067】
さらなる例として、各スライスに適用可能な、いわゆる適応型パラメータセット(APS)があり、他のパラメータセットよりも頻繁に変動する情報を含むことが期待される。
【0068】
APSを除いて、すべてが送信されることはほとんどないが、デコードは必要な情報が送信されるまで開始できない。従って、放送では、ストリームにランダムにエントリする(例えば、視聴者は任意の時点で復号化を開始できる)ため、情報は、例えば、1秒毎に繰り返すことができる。
【0069】
DCI、VPS、SPSには、以下で説明する形式の制約設定が含まれている場合がある。DCIには、接続のワーストケースを表すこれらの制約設定が含まれている必要がある。
【0070】
これらのパラメータセットの中で、SPSには、以下の説明のいくつかに関連する情報例、すなわち、使用されるプロファイル、層、及びエンコードレベルを定義するデータが含まれている。
【0071】
プロファイルは、使用されるデコード器具または機能のセットを定義する。サンプルプロファイルには、8ビットの4:2:0映像に関する「メインプロファイル」と、メインプロファイルに関する10ビット分解能及びその他の拡張を可能にする「メイン10プロファイル」が含まれる。
【0072】
一般的に、プロファイル、層、レベルは、エンコードされたビットストリームの制限を指定する。ビットストリームをデコードするために必要な機能を間接的に定義する。特定のプロファイル、層、及びレベルに対して動作するデコーダは、そのプロファイル、層、及びレベルに適合するエンコードされたビットストリームのすべてのインスタンスをデコードできることが要求される。
【0073】
復号化処理は、関連する規格及びドラフト規格によって規定されており、特定のプロファイル及びレベルに適合するすべてのデコーダ(及び、そのプロファイル及びレベルに適合するビットストリームに関して動作する)が、数値的に同一の出力を生成する。
【0074】
プロファイルは、例えば、クロミナンスサブサンプリングスキーム(4:4:4、4:2:2、4:2:0等)を含む一組のパラメータを定義することができる。
【0075】
いわゆる制約もエンコード可能である。制約は、
a) エンコーダ及びデコーダの特定の機能の選択的無効化と、
b) 特定のパラメータの選択的変動
という2つの情報カテゴリのうちの1つを参照することができる。
a)の場合、特定のプロファイル内で使用可能な機能を許可またはスイッチオフするというコンテキストで、制約は一般的に減算されるとみなされる。
この方法で選択的に無効にできる機能の例としては、SAO(サンプルアダプティブオフセット)フィルタ、ALF(アダプティブループフィルタ)、DCTやDSTなどの複数の変換の使用、いわゆるパレットモードなどがある。
いわゆる多用途ビデオ符号化(VVC)構成では、制約フラグは別のフラグに要件を置く。たとえば、1に等しい制約no_alf_constraint_flag は、sps_alf_enabled_flag (ALF を有効にする)が0に等しいことを指定する。0に等しいフラグno_alf_constraint_flag はこのような制約を課さない。
原則として、完全なデコーダは、それぞれの可能なオプションを扱うことができる場合、その制約に一切注意を払う必要はない。しかし、いくつかの態様しか扱えないデコーダがある場合、これらのフラグを確認することができる(確認する必要はない)。また、いくつかのツールをオフにする必要があるプロファイル(またはサブプロファイル)が定義されている場合、その制約フラグが設定されていない限り、ビットストリームは適合しない。
a) エンコーダ及びデコーダの特定の機能の選択的無効化と、
b) 特定のパラメータの選択的変動
という2つの情報カテゴリのうちの1つを参照することができる。
a)の場合、特定のプロファイル内で使用可能な機能を許可またはスイッチオフするというコンテキストで、制約は一般的に減算されるとみなされる。
この方法で選択的に無効にできる機能の例としては、SAO(サンプルアダプティブオフセット)フィルタ、ALF(アダプティブループフィルタ)、DCTやDSTなどの複数の変換の使用、いわゆるパレットモードなどがある。
いわゆる多用途ビデオ符号化(VVC)構成では、制約フラグは別のフラグに要件を置く。たとえば、1に等しい制約no_alf_constraint_flag は、sps_alf_enabled_flag (ALF を有効にする)が0に等しいことを指定する。0に等しいフラグno_alf_constraint_flag はこのような制約を課さない。
原則として、完全なデコーダは、それぞれの可能なオプションを扱うことができる場合、その制約に一切注意を払う必要はない。しかし、いくつかの態様しか扱えないデコーダがある場合、これらのフラグを確認することができる(確認する必要はない)。また、いくつかのツールをオフにする必要があるプロファイル(またはサブプロファイル)が定義されている場合、その制約フラグが設定されていない限り、ビットストリームは適合しない。
【0076】
また、制約フラグは、より高いレベルに存在し、複数のストリームを表す可能性がある。また、スケーラブル/レイヤコードにも使用できる。スケーラブル/レイヤコードでは、単一のスケーラブルなビデオストリームを表現できるスケーラブルなストリームの制約を記述する。
従って、それらは、使用される最大値を記述し、次に、そのストリームのサブセクションのすべてのビット深度及びクロマフォーマットは、その最大値に制約される。
従って、それらは、使用される最大値を記述し、次に、そのストリームのサブセクションのすべてのビット深度及びクロマフォーマットは、その最大値に制約される。
【0077】
(すなわち、プロファイルに関連するデフォルトパラメータは、そのパラメータの別の値に変更可能である。ここでの例は、クロミナンスサブサンプリングフォーマット及びビット深度または最大ビット深度(実際には、「ビット深度-8」として指定される場合がある)を含む。
例えば、このような制約は、(例えば)4:2:0 10ビット・プロファイルに関連するが、4:0:0 8ビット・ビデオデータに関連するエンコーダ設定を定義することができる。もちろん、これらの制約は、技術的コンテキストが許容する他の制約とは別個に、かつ独立に定義することができる。
制約は、映像データストリームに適用可能な符号化/復号化属性と、パラメータデータによって示されるプロファイルによって定義される対応する属性との間の差に関係することができる。ここで、「差異」は必ずしも数値的または数学的差異を意味しないことに留意されたい。
つまり、「AとBの違い」を定義し、それを制約データで表すことは、AがBと等しくないことを示し、制約データは、置換値の直接的な数値表示を提供する制約データではなく、置換値へのマッピングなどによって、その違いが何であるかを通知する。
例えば、このような制約は、(例えば)4:2:0 10ビット・プロファイルに関連するが、4:0:0 8ビット・ビデオデータに関連するエンコーダ設定を定義することができる。もちろん、これらの制約は、技術的コンテキストが許容する他の制約とは別個に、かつ独立に定義することができる。
制約は、映像データストリームに適用可能な符号化/復号化属性と、パラメータデータによって示されるプロファイルによって定義される対応する属性との間の差に関係することができる。ここで、「差異」は必ずしも数値的または数学的差異を意味しないことに留意されたい。
つまり、「AとBの違い」を定義し、それを制約データで表すことは、AがBと等しくないことを示し、制約データは、置換値の直接的な数値表示を提供する制約データではなく、置換値へのマッピングなどによって、その違いが何であるかを通知する。
【0078】
例示的な実施形態は、先に説明したタイプ(b)の制約に関係する。
【0079】
エンコードレベルには、最大サンプリングレートや画像サイズなどの制限がある。ティアは最大データレートを課す。
【0080】
上述の仕様JVET-R2001-vAによって(ファイリング日時に)定義されているような、汎用ビデオコーディング(VVC)のためのJVET (Joint Video Experts Team)提案では、さまざまなレベルが1から6.2まで定義されている。
【0081】
（パラメータセットの使用例）
ここで、実施例を、図面を参照して説明する。
ここで、実施例を、図面を参照して説明する。
【0082】
図9は、上述のようなビデオ・パラメータ・セット及びシーケンス・パラメータ・セットの使用を概略的に示している。
特に、これらは、複数のシーケンス・パラメータ・セット(SPS)900、910、920が、復号能力情報930のインスタンスを参照し、順に、それぞれのシーケンス902、912、922により参照されるように、先に述べたパラメータセットの階層の一部を形成する。
例示的な実施形態では、プロファイル情報はDCIで定義される。いわゆる制約フラグやその他の形式の制約データは、DCI及びオプションにおいてSPSで提供される。あるいは、いわゆるビデオパラメータセット(VPS)のようなスケーラブルなコードを可能にするメカニズムによって提供される。
各シーケンスに適用可能なレベル情報は、シーケンス・パラメータ・セットで提供される。しかしながら、これらの情報タイプは、符号化されたビットストリームに関して、これら及び/または他のパラメータセットまたは位置において提供され得ることが理解される。
特に、これらは、複数のシーケンス・パラメータ・セット(SPS)900、910、920が、復号能力情報930のインスタンスを参照し、順に、それぞれのシーケンス902、912、922により参照されるように、先に述べたパラメータセットの階層の一部を形成する。
例示的な実施形態では、プロファイル情報はDCIで定義される。いわゆる制約フラグやその他の形式の制約データは、DCI及びオプションにおいてSPSで提供される。あるいは、いわゆるビデオパラメータセット(VPS)のようなスケーラブルなコードを可能にするメカニズムによって提供される。
各シーケンスに適用可能なレベル情報は、シーケンス・パラメータ・セットで提供される。しかしながら、これらの情報タイプは、符号化されたビットストリームに関して、これら及び/または他のパラメータセットまたは位置において提供され得ることが理解される。
【0083】
しかしながら、他の実施形態では、プロファイル情報は、異なる形態または異なるパラメータセットで提供され得ることが理解される。
【0084】
「プロファイル」は、実際には、プロファイル及びサブプロファイルなどのプロファイル情報の階層によって定義され、2つの(またはそれ以上の)インスタンスのネット効果は、特定のストリームに適用可能な「プロファイル」として効果的に見なされる可能性があることに注意する。
【0085】
同様に、図9の概略的表現は、全体的なビデオ・データ・ストリーム940の一部として提供されるDCI及びシーケンス・パラメータ・セットを示すが、代わりに、DCI及びシーケンス・パラメータ・セット(またはここで議論されている情報を運ぶ他のデータ構造)を、別の通信チャネルによって提供することができる。
いずれの場合も、プロファイル情報及び制約は、ビデオ・データ・ストリーム940に関連付けられる。
いずれの場合も、プロファイル情報及び制約は、ビデオ・データ・ストリーム940に関連付けられる。
【0086】
また、図9は、少なくともプロファイル情報及び/または制約フラグまたは他の制約データを運ぶことができるDCI930内のデータ領域950の概略的な例、及び、任意に少なくとも制約フラグまたは他の制約データを運ぶことができるSPS内のデータ領域960の例を提供する。
【0087】
（動作例-デコーダ）
図10は、図7を参照して上述した形式のデコーダ1020を使用して、入力(符号化)ビデオ・データ・ストリーム1000を受信し、出力デコードされたビデオ・データ・ストリーム1010を生成するように構成された復号化装置の態様を概略的に示す。
本説明の明瞭さのために、図7の制御回路またはコントローラ343は、デコーダ1020の残りの部分に対して別々に描画される。
図10は、図7を参照して上述した形式のデコーダ1020を使用して、入力(符号化)ビデオ・データ・ストリーム1000を受信し、出力デコードされたビデオ・データ・ストリーム1010を生成するように構成された復号化装置の態様を概略的に示す。
本説明の明瞭さのために、図7の制御回路またはコントローラ343は、デコーダ1020の残りの部分に対して別々に描画される。
【0088】
コントローラまたは制御回路343の機能性の中で、パラメータセット検出器1030は、入力ビデオデータストリーム1000の適切なフィールドから、DCI、VPS、SPS及びPPSのうちの1つ以上を含む様々なパラメータセットを検出する。パラメータセット検出器1030は、上述したように、レベルを含むパラメータセットから情報を引き出す。
この情報は、制御回路343の残りの部分に渡される。なお、パラメータセット検出器1030は、レベルを復号化することができ、または、単に、符号化されたレベルを復号化のために制御回路343に提供することができる。
この情報は、制御回路343の残りの部分に渡される。なお、パラメータセット検出器1030は、レベルを復号化することができ、または、単に、符号化されたレベルを復号化のために制御回路343に提供することができる。
【0089】
また、制御回路343は、例えば、デコーダ1020が復号可能であるレベルを少なくとも規定する1つ以上のデコーダ・パラメータ1040に応答する。
【0090】
制御回路343は、与えられたまたは現在の入力映像データ・ストリーム1000について、デコーダ1020が、入力映像データ・ストリームをデコードし、それに応じてデコーダ1020を制御できるか否かを検出する。
また、制御回路343は、パラメータセット検出器1030によって検出されたパラメータセットから得られた情報に応答して、デコーダ1020にさまざまな他の動作パラメータを提供することができる。
また、制御回路343は、パラメータセット検出器1030によって検出されたパラメータセットから得られた情報に応答して、デコーダ1020にさまざまな他の動作パラメータを提供することができる。
【0091】
したがって、図10は、入力ビデオデータストリームをデコードするように構成されたビデオデータデコーダ回路1020と、
入力ビデオデータストリームに関連する制約データを検出するように構成された検出器回路1030と、
ビデオデータデコーダを制御して、入力ビデオデータストリームをデコードし、制約データによって定義される差異によって修正されるように、パラメータデータによって提供されるエンコーディングプロファイルによって定義されるデコード属性を有するデコードされたビデオデータストリームを生成するように構成された制御回路343と
を具備し、
ビデオデータデコーダは、入力ビデオデータストリームに関連するパラメータデータに応答し、
パラメータデータは、複数のプロファイルから選択されたプロファイルを示し、
各プロファイルは、ビットとクロミナンスサブサンプリングフォーマットのうちの1つ以上を含むデコード属性を定義し、
制約データは、上記入力ビデオデータストリームに適用可能なデコード属性と、パラメータデータによって示されるプロファイルによって定義されるデコード属性との差異を定義する
装置の一例を提供する。
入力ビデオデータストリームに関連する制約データを検出するように構成された検出器回路1030と、
ビデオデータデコーダを制御して、入力ビデオデータストリームをデコードし、制約データによって定義される差異によって修正されるように、パラメータデータによって提供されるエンコーディングプロファイルによって定義されるデコード属性を有するデコードされたビデオデータストリームを生成するように構成された制御回路343と
を具備し、
ビデオデータデコーダは、入力ビデオデータストリームに関連するパラメータデータに応答し、
パラメータデータは、複数のプロファイルから選択されたプロファイルを示し、
各プロファイルは、ビットとクロミナンスサブサンプリングフォーマットのうちの1つ以上を含むデコード属性を定義し、
制約データは、上記入力ビデオデータストリームに適用可能なデコード属性と、パラメータデータによって示されるプロファイルによって定義されるデコード属性との差異を定義する
装置の一例を提供する。
【0092】
（動作例エンコーダ）
同様に、図11は、例えば、図7を参照して上述したタイプのエンコーダ1100を備える符号化装置の態様を概略的に示す。
エンコーダの制御回路343は、説明を明確にするため別に描かれている。エンコーダは、入力映像・データストリーム1110に作用して、制御回路343の制御の下で、エンコードされたビデオ・データ・ストリーム1120を生成し、出力する。この制御回路は、次に、適用されるエンコード・プロファイル及び/またはレベルの定義を含むエンコード・パラメータ1130に応答する。
同様に、図11は、例えば、図7を参照して上述したタイプのエンコーダ1100を備える符号化装置の態様を概略的に示す。
エンコーダの制御回路343は、説明を明確にするため別に描かれている。エンコーダは、入力映像・データストリーム1110に作用して、制御回路343の制御の下で、エンコードされたビデオ・データ・ストリーム1120を生成し、出力する。この制御回路は、次に、適用されるエンコード・プロファイル及び/またはレベルの定義を含むエンコード・パラメータ1130に応答する。
【0093】
図11の回路図ユニット1130によって提供される符号化器で使用されるパラメータは、「符号化パラメータ」と呼ばれることがあるが(図11のように)、符号化処理と復号化処理の両方を制御するので、符号化器への伝送のコンテキストでは「デコード属性（復号化属性）」と呼ばれることも有効であることに注意されたい。
【0094】
また、制御回路343は、出力符号化ビデオ・データ・ストリーム内に含まれる、例えばDCI、VPS、SPS及びPPSを含むパラメータセットを生成するパラメータ・セット・ジェネレータ1140を含むかまたは制御する。
【0095】
したがって、図１１は、
入力ビデオ・データ・ストリームをエンコードして出力エンコードされたビデオ・データ・ストリームを生成するように構成されたビデオ・データ・エンコーダ回路と、
構成データに依存して上記出力エンコードされたビデオ・データ・ストリームに関連するデコード属性をエンコードするように構成されたパラメータエンコーダ回路と、
を具備し、
上記ビデオ・データ・エンコーダ回路は、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含む上記デコード属性を定義する上記構成データに応答するものであり、上記デコード属性は、ビット深度及びクロマンスサブサンプリングフォーマットのうちの1つ以上を含み、
上記パラメータエンコーダ回路が、複数のプロファイルから選択されたプロファイルを示すパラメータデータをエンコードするように構成され、
各プロファイルは上記デコード属性を定義し、
制約データは、上記構成データによって定義された定義された上記デコード属性と、上記パラメータデータによって示された上記プロファイルによって定義された上記デコード属性との差を定義し、
ここで上記制約データは、上記制約データのゼロ値によって上記デコード属性のゼロ差を示すように構成されている
装置の一例を提供する。
入力ビデオ・データ・ストリームをエンコードして出力エンコードされたビデオ・データ・ストリームを生成するように構成されたビデオ・データ・エンコーダ回路と、
構成データに依存して上記出力エンコードされたビデオ・データ・ストリームに関連するデコード属性をエンコードするように構成されたパラメータエンコーダ回路と、
を具備し、
上記ビデオ・データ・エンコーダ回路は、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含む上記デコード属性を定義する上記構成データに応答するものであり、上記デコード属性は、ビット深度及びクロマンスサブサンプリングフォーマットのうちの1つ以上を含み、
上記パラメータエンコーダ回路が、複数のプロファイルから選択されたプロファイルを示すパラメータデータをエンコードするように構成され、
各プロファイルは上記デコード属性を定義し、
制約データは、上記構成データによって定義された定義された上記デコード属性と、上記パラメータデータによって示された上記プロファイルによって定義された上記デコード属性との差を定義し、
ここで上記制約データは、上記制約データのゼロ値によって上記デコード属性のゼロ差を示すように構成されている
装置の一例を提供する。
【0096】
（制約の符号化）
図12から図16は、上記タイプ(a)及び(b)の制約に適用される図12及び図13の特定のフローチャートの一般原理が、上述したタイプ(b)の制約のような、符号化及び復号化の制約の様々な側面に関連する、それぞれの方法を規定する概略フローチャートである。後続の図面(図14～図16)は、特にタイプ(b)の制約を参照する。
図12から図16は、上記タイプ(a)及び(b)の制約に適用される図12及び図13の特定のフローチャートの一般原理が、上述したタイプ(b)の制約のような、符号化及び復号化の制約の様々な側面に関連する、それぞれの方法を規定する概略フローチャートである。後続の図面(図14～図16)は、特にタイプ(b)の制約を参照する。
【0097】
図12を参照すると、エンコーダでは、ステップ1200において、「ベースプロファイル」としてダイアグラムで参照されるプロファイルがエンコーダの基本構成として確立される。例えば、この構成は、図11のユニット1130によって定義されてもよい。
ユニット1130によって保持される構成データはまた、回路図ステップ1210において、ベースプロファイルからのあらゆる差異を定義する。なお、エンコーダは、実際には、ベースプロファイルに従って動作してもよく、その場合には、ステップ1210で注目すべき差異はない。しかし、「差異なし」を示す制約フラグやその他の制約データは、このような状況でもまだ使用されている。
ユニット1130によって保持される構成データはまた、回路図ステップ1210において、ベースプロファイルからのあらゆる差異を定義する。なお、エンコーダは、実際には、ベースプロファイルに従って動作してもよく、その場合には、ステップ1210で注目すべき差異はない。しかし、「差異なし」を示す制約フラグやその他の制約データは、このような状況でもまだ使用されている。
【0098】
ステップ1220において、ベースプロファイル及び制約データを示すパラメータデータは、ベースプロファイルとの差異が、DCI及び/またはオプションとしてVPS及び/またはSPSなどの1つ以上のパラメータセットに符号化されているか否かを示す。
パラメータ・データ及び制約データの生成は、制御回路343及びパラメータ・セット生成器1140の一方または両方によって実行することができ、パラメータ・セット生成器1140は、エンコードされたストリーム1120へのパラメータ・データ及び制約データのエンコードに従う。
パラメータ・データ及び制約データの生成は、制御回路343及びパラメータ・セット生成器1140の一方または両方によって実行することができ、パラメータ・セット生成器1140は、エンコードされたストリーム1120へのパラメータ・データ及び制約データのエンコードに従う。
【0099】
制約データは、エンコーダによって生成され、例えば、エンコーダとデコーダの両方で確立される順序をもつデータフィールドの順序付けられたシーケンスとして、デコーダによって認識され得る所定のフォーマットで提供されることに留意されたい。
これは、制約データ内では、それぞれの意味や機能が他のデータフィールドや制約データのヘッダフィールドとの相対的な位置によってデコーダに知られているので、各データフィールドのラベル付けや識別は必要ないことを意味する。
これは、制約データ内では、それぞれの意味や機能が他のデータフィールドや制約データのヘッダフィールドとの相対的な位置によってデコーダに知られているので、各データフィールドのラベル付けや識別は必要ないことを意味する。
【0100】
ステップ1230で、エンコーダ1100は、必要な入力ビデオデータストリームをエンコードし、制約データによって定義される任意のバリエーションによって修正されるベースプロファイルに従って、制御回路343の制御の下で出力エンコードされたビデオデータストリームを生成する。
【0101】
図13は、デコーダ側での対応する動作に関する。
デコーダは、入力符号化映像データ・ストリームを受信し、出力デコード済み映像データを生成する。入力ストリームは、上述のように、DCI及び/またはVPS及び/またはSPSのようなパラメータセットを含んでもよい。
デコーダは、入力符号化映像データ・ストリームを受信し、出力デコード済み映像データを生成する。入力ストリームは、上述のように、DCI及び/またはVPS及び/またはSPSのようなパラメータセットを含んでもよい。
【0102】
ステップ1300で、デコーダ(特にパラメータセット検出器1030)は、DCI及び/またはVPS及び/またはSPSなどの1つ以上のパラメータセット内のパラメータデータによって定義されるベースプロファイルを検出する。
ステップ1310において、デコーダは、DCI及び/またはVPS及び/またはSPSのようなパラメータセットからの1つ以上の制約フラグまたは他の制約情報、すなわち、ベースプロファイルとの差異を示す制約データから、1つ以上の制約フラグまたは他の制約情報を含む制約データを検出する。
ステップ1310において、デコーダは、DCI及び/またはVPS及び/またはSPSのようなパラメータセットからの1つ以上の制約フラグまたは他の制約情報、すなわち、ベースプロファイルとの差異を示す制約データから、1つ以上の制約フラグまたは他の制約情報を含む制約データを検出する。
【0103】
ステップ1320で、パラメータセット検出器1030及び/またはベースプロファイルに関する制御回路343によって、制約データによって定義される任意の変形例によって変形例されたように、復号器パラメータが生成され、ステップ1330で、ステップ1320で設定された復号器パラメータに従って、制御回路343の制御下でユニット1020によって復号化が行われる。
【0104】
図12及び図13において、ステップ1200、1210、1220及びステップ1300、1310、1320は、純粋に概略的な目的及び説明の明瞭さのために別個の連続するステップとして示されるが、これらのステップのグループのステップは、作業実施形態では単一の複合操作として実行されてもよいことに留意されたい。
【0105】
（制約データ生成-エンコーダ）
図14及び図15は、タイプ(b)の制約データを生成するためのエンコーダ側での動作に関連する概略的なフローチャートであり、これは、上述したステップ1220で動作が行われると言うものである。図14のフローチャートまたは図15のフローチャートのいずれかに従うことができ、タイプ(b)の制約データの各インスタンスに関して、それぞれのフローチャートによって定義される演算を使用することができる。
例えば、タイプ(b)の制約データがクロミナンスサブサンプリングフォーマット及びビット深度または最大ビット深度(例えば、「最大ビット深度-8」で表される)のそれぞれに関連するシステムでは、タイプ(b)の制約データのこれら2つのインスタンスのそれぞれに関して、図14または図15のいずれかの演算に従うことができる。
図14及び図15は、タイプ(b)の制約データを生成するためのエンコーダ側での動作に関連する概略的なフローチャートであり、これは、上述したステップ1220で動作が行われると言うものである。図14のフローチャートまたは図15のフローチャートのいずれかに従うことができ、タイプ(b)の制約データの各インスタンスに関して、それぞれのフローチャートによって定義される演算を使用することができる。
例えば、タイプ(b)の制約データがクロミナンスサブサンプリングフォーマット及びビット深度または最大ビット深度(例えば、「最大ビット深度-8」で表される)のそれぞれに関連するシステムでは、タイプ(b)の制約データのこれら2つのインスタンスのそれぞれに関して、図14または図15のいずれかの演算に従うことができる。
【0106】
最初に図14を参照すると、ステップ1400で、一般的なベースプロファイルに関して、検討中のパラメータに関するいかなる差異も検出される。ステップ1410で差がなければ、制御はステップ1420に進み、そこで、制約値0としてそれぞれの制約が符号化される。
しかしながら、ステップ1410で差異が検出された場合には、制御は、ステップ1430に進み、そこで、それぞれの制約が別の値、例えば、セットのそれぞれが0に等しくない所定の候補制約値セットからの値として符号化される。
しかしながら、ステップ1410で差異が検出された場合には、制御は、ステップ1430に進み、そこで、それぞれの制約が別の値、例えば、セットのそれぞれが0に等しくない所定の候補制約値セットからの値として符号化される。
【0107】
「ベースプロファイルからの変化がない」ことを示すために値0を使用する潜在的利点は、符号化された出力データストリームに対する符号化ゼロの相対的な容易さ、及び/または制約データ内のゼロのブロックまたはグループを検出する復号器の相対的な容易さを含み得る。
【0108】
したがって、例では、制約データの一連の候補値をそれぞれの差分量にマッピングすることが使用される。
【0109】
換言すれば、制約データは、制約データのゼロ値によって復号化属性のゼロ差を示すように構成される。同様に、実施例では、制約データは、制約データのゼロ以外の値による復号化属性のゼロ以外の差異を示すように構成される。
【0110】
候補制約値の例と、それらの値をそれぞれの意味にマッピングする例を以下に示す。
なお、実施例は、これらの実施例の1つ以上を実施することができる。複数の実施例が実施される場合、上述のように、各実施例は、それ自身のそれぞれの制約データを有してもよく、または、他の実施例においては、制約データを共有してもよい。「制約データ」という用語は、以下の(i)または(ii)のような個々の制約、または制約データの全体的なアンサンブルを指す場合がある。
(i) クロミナンスサブサンプリングフォーマット
(ii) ビット深度(実際には「ビット深度- 8」で表される場合がある)。
なお、実施例は、これらの実施例の1つ以上を実施することができる。複数の実施例が実施される場合、上述のように、各実施例は、それ自身のそれぞれの制約データを有してもよく、または、他の実施例においては、制約データを共有してもよい。「制約データ」という用語は、以下の(i)または(ii)のような個々の制約、または制約データの全体的なアンサンブルを指す場合がある。
(i) クロミナンスサブサンプリングフォーマット
【表1】
【表2】
【0111】
この可能な値の範囲は、例えば、ベースプロファイルと制約データの組み合わせを不許可にしないことにより、エンコーダでの悪い慣習を明示的に禁止するものではない。これらを組み合わせると、技術的には不可能な、または、少なくとも技術的には適切でない動作モードになる。
例えば、4:2:0 10ビットのベースプロファイルで動作するが、16ビットのビット深度を定義する制約データで動作する。図15では、この潜在的な問題に対処している。図15において、ステップ1500、1510、1540及び1550は、それぞれのステップ1400、1410、1430及び1420に対応し、ここではさらに説明しない。
しかしながら、ステップ1510の「はい」の結果で、制御は、検出された差が許容可能な差であるか否かを確認するためにテストされるステップ1520に概略的に渡される。
例えば、4:2:0 10ビットのベースプロファイルで動作するが、16ビットのビット深度を定義する制約データで動作する。図15では、この潜在的な問題に対処している。図15において、ステップ1500、1510、1540及び1550は、それぞれのステップ1400、1410、1430及び1420に対応し、ここではさらに説明しない。
しかしながら、ステップ1510の「はい」の結果で、制御は、検出された差が許容可能な差であるか否かを確認するためにテストされるステップ1520に概略的に渡される。
【0112】
ここでは、許容差が「減算」差と見なされ、制約データによって基本プロファイルの機能が拡張されない場合がある。
【0113】
例えば、デコード属性がビット深度である場合、制約データの候補値にマッピングされるそれぞれの差分量は、ビット深度の負の差分をすべて表すので、制約データによって定義される差分によって修正される、パラメータデータによって提供されるエンコーディングプロファイルによって定義されるビット深度が、パラメータデータによって提供されるエンコーディングプロファイルによって定義されるビット深度より大きくならないようにする。
【0114】
例えば、ベースプロファイルが(例えば)10ビットデータに関連する場合、ビット深度の制約の許容値は0、1、2になる。許容値の範囲に対するこの制限は、制約のコーディングをより効率的にする可能性がある。
【0115】
クロミナンス・サブサンプリング・フォーマットのコンテキストでは、制約データの候補値にマッピングされる各差分量は、すべての差分を表すので、パラメータデータによって提供される符号化プロファイルによって定義されるクロミナンス・サブサンプリング・フォーマットが、制約データによって定義される差分によって修正されるように、パラメータデータによって提供される符号化プロファイルによって定義されるクロミナンスサブサンプリングフォーマットよりも、クロミナンス・サブサンプリング・フォーマットの所定の階層において、より高くないクロミナンス・サブサンプリング・フォーマットである。
例えば、クロミナンス・サブサンプリング・フォーマットの所定の階層は、クロミナンス・サブサンプリング・フォーマットの所定の階層において、より低いものからより高いものの順に、
i. a 4:0:0(モノクロ)クロミナンス・サブサンプリング・フォーマット、
ii. a 4:2:0クロミナンス・サブサンプリング・フォーマット、
iii. a 4:2:2クロミナンス・サブサンプリング・フォーマット、及び
iv. a 4:4:4クロミナンス・サブサンプリング・フォーマットで構成することができる。
例えば、クロミナンス・サブサンプリング・フォーマットの所定の階層は、クロミナンス・サブサンプリング・フォーマットの所定の階層において、より低いものからより高いものの順に、
i. a 4:0:0(モノクロ)クロミナンス・サブサンプリング・フォーマット、
ii. a 4:2:0クロミナンス・サブサンプリング・フォーマット、
iii. a 4:2:2クロミナンス・サブサンプリング・フォーマット、及び
iv. a 4:4:4クロミナンス・サブサンプリング・フォーマットで構成することができる。
【0116】
例えば、ベースプロファイルが(例えば) 4:2:0 サブサンプリングフォーマットに関連する場合、この階層に従った許容制約値は0と1になる。繰り返しになるが、許容値の範囲に対するこの制限は、制約のコーディングをより効率的にする可能性がある。
【0117】
ステップ1520の結果が「はい」であると仮定すると、すなわち、検出された差異は、例えば、上述のように許容可能な差異である。その後、制御は、ステップ1540に進み、そこで、差異は、0に等しくない制約値にマッピングすることによって符号化される。しかしながら、ステップ1520の結果が、検出された差が許容可能な差でないような負の値である場合、様々な結果が発生し得る。
一例として、致命的なエラーがエンコーダ側でトリガされることが挙げられる。図15に概略的に示された別の例は、エラー状態がトリガされるが、エラー状態の処理が、エンコーダ動作において致命的エラーを引き起こさないようなものであることである。その代わりに、検出された差異はゼロの差異に設定され(当該特定のパラメータがベースプロファイルによるその定義に従って動作するように)、制御がステップ1510に戻り、その後、ステップ1550に対する「いいえ」の結果に従う。
また、図12を参照し、図15がステップ1220の動作例を表していることに注目すると、ステップ1230での符号化は、問題のパラメータにおけるゼロ差に基づいて実行される。
一例として、致命的なエラーがエンコーダ側でトリガされることが挙げられる。図15に概略的に示された別の例は、エラー状態がトリガされるが、エラー状態の処理が、エンコーダ動作において致命的エラーを引き起こさないようなものであることである。その代わりに、検出された差異はゼロの差異に設定され(当該特定のパラメータがベースプロファイルによるその定義に従って動作するように)、制御がステップ1510に戻り、その後、ステップ1550に対する「いいえ」の結果に従う。
また、図12を参照し、図15がステップ1220の動作例を表していることに注目すると、ステップ1230での符号化は、問題のパラメータにおけるゼロ差に基づいて実行される。
【0118】
したがって、図14または15は、図12と組み合わせて、
ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含む復号化属性を定義する構成データに応答して、入力ビデオデータストリームを符号化し1230、出力符号化ビデオデータストリームを生成し、
符号化属性を(図14または図15のいずれかによってさらに定義されるように)符号化する1220、
ことを含む方法の一例を提供し、ここで、
復号化属性は、複数のプロファイルから選択されたプロファイルを示すパラメータデータを符号化することによって、構成データに依存して、出力符号化ビデオデータストリームと関連しており、
各プロファイルは復号化属性を定義し、
制約データは、構成データによって定義される復号化属性と、制約データが制約データのゼロ値によって復号化属性のゼロ差を示すように構成された、パラメータデータによって示されるプロファイルによって定義される及び復号化属性との間の差異を定義する。
ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含む復号化属性を定義する構成データに応答して、入力ビデオデータストリームを符号化し1230、出力符号化ビデオデータストリームを生成し、
符号化属性を(図14または図15のいずれかによってさらに定義されるように)符号化する1220、
ことを含む方法の一例を提供し、ここで、
復号化属性は、複数のプロファイルから選択されたプロファイルを示すパラメータデータを符号化することによって、構成データに依存して、出力符号化ビデオデータストリームと関連しており、
各プロファイルは復号化属性を定義し、
制約データは、構成データによって定義される復号化属性と、制約データが制約データのゼロ値によって復号化属性のゼロ差を示すように構成された、パラメータデータによって示されるプロファイルによって定義される及び復号化属性との間の差異を定義する。
【0119】
本開示は、図15によって定義される動作に関連するさらなる例において、
入力ビデオ・データ・ストリームをエンコードして出力エンコードされたビデオ・データ・ストリームを生成するステップ1230と、
構成データに依存して上記出力エンコードされたビデオ・データ・ストリームに関連するデコード属性をエンコードするステップ1220と
を含み、
上記生成するステップは、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含む上記デコード属性を定義する上記構成データに応答するものであり、
上記デコード属性は、ビット深度及びクロマンスサブサンプリングフォーマットのうちの1つ以上を含み、
複数のプロファイルから選択されたプロファイルを示すパラメータデータをエンコードすることによって、各プロファイルは上記デコード属性を定義し、
制約データは、上記構成データによって定義された定義された上記デコード属性と、上記パラメータデータによって示された上記プロファイルによって定義された上記デコード属性との差を定義し、
ここで、上記制約データは、上記制約データによって定義された上記差異によって上記プロファイルの機能が拡張されないように、すべてがそれぞれのデコード属性の差異に関連する一連の候補制約データ値を含む
方法。
入力ビデオ・データ・ストリームをエンコードして出力エンコードされたビデオ・データ・ストリームを生成するステップ1230と、
構成データに依存して上記出力エンコードされたビデオ・データ・ストリームに関連するデコード属性をエンコードするステップ1220と
を含み、
上記生成するステップは、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含む上記デコード属性を定義する上記構成データに応答するものであり、
上記デコード属性は、ビット深度及びクロマンスサブサンプリングフォーマットのうちの1つ以上を含み、
複数のプロファイルから選択されたプロファイルを示すパラメータデータをエンコードすることによって、各プロファイルは上記デコード属性を定義し、
制約データは、上記構成データによって定義された定義された上記デコード属性と、上記パラメータデータによって示された上記プロファイルによって定義された上記デコード属性との差を定義し、
ここで、上記制約データは、上記制約データによって定義された上記差異によって上記プロファイルの機能が拡張されないように、すべてがそれぞれのデコード属性の差異に関連する一連の候補制約データ値を含む
方法。
【0120】
また本開示は、この方法に従って動作する図11に示されるタイプの対応する装置を提供する。
【0121】
（制約データ検出-デコーダ）
図16は、図13のステップ1300....1320に関する動作の例を示す。
図16を参照すると、デコーダ側において、ステップ1600において、基本プロファイル及び制約が検出され、タイプの所与の制約について、(b)ステップ1610において、制約が0に等しいか否かの検出が行われる。
結果が「はい」である場合、制御は、ステップ1620に進み、そこで、ベースプロファイルによって定義されたその値に従って、それぞれのパラメータが使用される。ステップ1610の結果が「いいえ」である場合、制御はステップ1630に進み、ここでは、上述のマッピング情報の例を使用して逆マッピングを適用することによって制約がデコードされ、制約によって定義された差が、ベースプロファイルによって定義されたそれぞれの属性またはパラメータに適用される。
制御は次いで、図13のステップ1330に進み、導出されたデコーダパラメータに従ってデコードする。
図16は、図13のステップ1300....1320に関する動作の例を示す。
図16を参照すると、デコーダ側において、ステップ1600において、基本プロファイル及び制約が検出され、タイプの所与の制約について、(b)ステップ1610において、制約が0に等しいか否かの検出が行われる。
結果が「はい」である場合、制御は、ステップ1620に進み、そこで、ベースプロファイルによって定義されたその値に従って、それぞれのパラメータが使用される。ステップ1610の結果が「いいえ」である場合、制御はステップ1630に進み、ここでは、上述のマッピング情報の例を使用して逆マッピングを適用することによって制約がデコードされ、制約によって定義された差が、ベースプロファイルによって定義されたそれぞれの属性またはパラメータに適用される。
制御は次いで、図13のステップ1330に進み、導出されたデコーダパラメータに従ってデコードする。
【0122】
したがって、図１６は、図１３と組み合わせて、
入力ビデオ・データ・ストリームに関連するパラメータデータに応答する入力ビデオ・データ・ストリームをデコードするステップと、
上記入力ビデオ・データ・ストリームに関連する制約データを検出するステップ1310,1600と、
上記制約データによって定義される差異によって修正されるように、パラメータデータによって提供されるエンコーディングプロファイルによって定義されるデコード属性を有するデコードされたビデオ・データ・ストリームを生成するのを制御するステップ1320,1620,1630,1330と
を含み、
上記パラメータデータは、複数のプロファイルから選択されたプロファイルを示し、各プロファイルは、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含むデコード属性を定義し、
上記制約データは、上記入力ビデオ・データ・ストリームに適用可能なデコード属性と、上記パラメータデータによって示される上記プロファイルによって定義される上記デコード属性との差異を定義し、
上記制約データは、上記制約データのゼロ値によって上記デコード属性のゼロ差異を示すように構成されている
方法の一例を提供する。
入力ビデオ・データ・ストリームに関連するパラメータデータに応答する入力ビデオ・データ・ストリームをデコードするステップと、
上記入力ビデオ・データ・ストリームに関連する制約データを検出するステップ1310,1600と、
上記制約データによって定義される差異によって修正されるように、パラメータデータによって提供されるエンコーディングプロファイルによって定義されるデコード属性を有するデコードされたビデオ・データ・ストリームを生成するのを制御するステップ1320,1620,1630,1330と
を含み、
上記パラメータデータは、複数のプロファイルから選択されたプロファイルを示し、各プロファイルは、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含むデコード属性を定義し、
上記制約データは、上記入力ビデオ・データ・ストリームに適用可能なデコード属性と、上記パラメータデータによって示される上記プロファイルによって定義される上記デコード属性との差異を定義し、
上記制約データは、上記制約データのゼロ値によって上記デコード属性のゼロ差異を示すように構成されている
方法の一例を提供する。
【0123】
（命名規則）
異なるビデオ符号化及び復号化の構成(規格、ドラフト規格、アドホック規格、業界慣行など)、または特定の構成の異なる生成または実装のコンテキストにおいて、構成またはパラメータデータの異なるインスタンスに適用される命名規則は変化し得ることが理解される。
したがって、本開示及び実施形態は「プロファイル」を参照しているが、この用語の使用は、具体的な構成(上記の説明では例示的な構成を参照しているが)に準拠するための要件を意味しておらず、定義されたパラメータ(ビット深度及びクロミナンスサブサンプリングフォーマットの1つ以上を含む復号化属性)を提供するデータ構造が、「プロファイル」の例を表すと見なされることが理解される。
上記の理由またはその他の理由により、その符号化及び復号化配置を定義する関連文書において「プロファイル」とは呼ばれない。
異なるビデオ符号化及び復号化の構成(規格、ドラフト規格、アドホック規格、業界慣行など)、または特定の構成の異なる生成または実装のコンテキストにおいて、構成またはパラメータデータの異なるインスタンスに適用される命名規則は変化し得ることが理解される。
したがって、本開示及び実施形態は「プロファイル」を参照しているが、この用語の使用は、具体的な構成(上記の説明では例示的な構成を参照しているが)に準拠するための要件を意味しておらず、定義されたパラメータ(ビット深度及びクロミナンスサブサンプリングフォーマットの1つ以上を含む復号化属性)を提供するデータ構造が、「プロファイル」の例を表すと見なされることが理解される。
上記の理由またはその他の理由により、その符号化及び復号化配置を定義する関連文書において「プロファイル」とは呼ばれない。
【0124】
（符号化ビデオデータ）
本明細書で開示したいずれかの技術によって符号化されたビデオデータも、本開示の一実施形態を表すものと考えられる。このような映像データを記憶する、図5及び図6に概略的に示される媒体の一つのような非一時的機械可読可能な記憶媒体も、本開示の一実施形態を表すものと考えられる。
本明細書で開示したいずれかの技術によって符号化されたビデオデータも、本開示の一実施形態を表すものと考えられる。このような映像データを記憶する、図5及び図6に概略的に示される媒体の一つのような非一時的機械可読可能な記憶媒体も、本開示の一実施形態を表すものと考えられる。
【0125】
（発明の概要）
本開示の実施形態が、少なくとも部分的に、ソフトウェア制御型のデータ処理装置によって実装されるものとして説明されている限り、光ディスク、磁気ディスク、半導体メモリなど、そのようなソフトウェアを搬送する非一時的な機械可読媒体も、本開示の一実施形態を表すと考えられることが理解される。同様に、上述の方法に従って生成された符号化データを含むデータ信号(非一時的な機械可読媒体上に具現されるか否かにかかわらず)も、本開示の一実施形態を表すものと考えられる。
本開示の実施形態が、少なくとも部分的に、ソフトウェア制御型のデータ処理装置によって実装されるものとして説明されている限り、光ディスク、磁気ディスク、半導体メモリなど、そのようなソフトウェアを搬送する非一時的な機械可読媒体も、本開示の一実施形態を表すと考えられることが理解される。同様に、上述の方法に従って生成された符号化データを含むデータ信号(非一時的な機械可読媒体上に具現されるか否かにかかわらず)も、本開示の一実施形態を表すものと考えられる。
【0126】
上記の教示に照らして、本開示の多数の修正及び変動が可能であることは明らかであろう。したがって、付された請求項の範囲内で、技術は、本明細書に具体的に記載されているものとは別に実施可能であることが理解されるべきである。
【0127】
発明を明確にするために、上記の説明は、異なる機能ユニット、回路、及び/またはプロセッサを参照して実施形態を説明したことが理解される。しかしながら、本発明の実施形態から逸脱することなく、異なる機能ユニット、回路、及び/またはプロセッサ間の機能における任意の適切な分散が使用されることは明らかである。
【0128】
本明細書で説明された実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせを含む任意の適切な形態で実装される。本明細書で記載された実施形態は、任意選択で、1つ以上のデータプロセッサ及び/またはデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実装され得る。
【0129】
任意の実施形態における部品及び構成要件が、任意の適切な方法で物理的に、機能的に、及び、論理的に実装される。実際、機能は、単一のユニットで、複数のユニットで、または他の機能ユニットの一部として実装され得る。したがって、本開示の実施形態は、単一のユニットで実装されてもよく、または異なるユニット、回路、及び/またはプロセッサの間で物理的及び機能的に分散されてもよい。
【0130】
本開示は、いくつかの実施形態に関連して説明されたが、本明細書に記載された特定の形態に限定されることは意図されていない。さらに、本開示の特徴は、特定の実施形態に関連して説明されているように見えるが、当業者は、説明された実施形態の種々の特徴が、本技法を実施するのに適した任意の方法で組み合わされ得ることを認識する。
【0131】
各態様及び特徴は、次の番号付きの条項によって定義される。
1. 入力ビデオ・データ・ストリームをデコードするように構成されたビデオ・データ・デコーダ回路と、
前記入力ビデオ・データ・ストリームに関連する制約データを検出するように構成された検出器回路と、
前記ビデオ・データ・デコーダを制御して、前記入力ビデオ・データ・ストリームをデコードし、前記制約データによって定義される差異によって修正されるように、パラメータデータによって提供されるエンコーディングプロファイルによって定義されるデコード属性を有するデコードされたビデオ・データ・ストリームを生成するように構成された制御回路と
を具備し、
前記ビデオ・データ・デコーダは、前記入力ビデオ・データ・ストリームに関連する前記パラメータデータに応答するものであり、前記パラメータデータは、複数のプロファイルから選択されたプロファイルを示し、各プロファイルは、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含むデコード属性を定義し、
前記制約データは、前記入力ビデオ・データ・ストリームに適用可能なデコード属性と、前記パラメータデータによって示される前記プロファイルによって定義される前記デコード属性との差異を定義し、
前記制約データは、前記制約データのゼロ値によって前記デコード属性のゼロ差異を示すように構成されている
装置。
2. 前記制約データが、前記制約データのゼロ以外の値によって前記デコード属性のゼロ以外の差を示すように構成されている
1に記載の装置。
3. 前記検出器回路が、前記制約データの一連の候補値をそれぞれの差分量にマッピングすることによって、前記デコード属性の差分を生成するように構成されている
2に記載の装置。
4. 前記デコード属性がビット深度である場合、前記制約データの候補値にマッピングされるそれぞれの差分量は、ビット深度における負の差分をすべて表すので、
前記制約データによって定義される前記差分によって修正されるように、前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義される前記ビット深度が、前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義されるビット深度より大きくないビット深度である
3に記載の装置。
5.前記デコード属性がクロミナンス・サブサンプリング・フォーマットである場合、
前記制約データの候補値にマッピングされた各差分量は、すべて差異を表すので、
前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義される前記クロミナンス・サブサンプリング・フォーマットは、前記制約データによって定義される前記差分によって修正されるように、前記パラメータデータによって提供された前記エンコーディングプロファイルによって定義された前記クロミナンスサブサンプリングフォーマットよりも、クロミナンス・サブサンプリング・フォーマットの所定の階層において、高くないクロミナンス・サブサンプリング・フォーマットである
3または4に記載の装置。
6. クロミナンス・サブサンプリング・フォーマットの所定の階層が、クロミナンス・サブサンプリング・フォーマットの所定の階層において、下から上へと順に、
i. 4:0:0クロミナンス・サブサンプリング・フォーマット;
ii. 4:2:0クロミナンス・サブサンプリング・フォーマット;
iii.4:2:2クロミナンス・サブサンプリング・フォーマット;及び
iv. 4:4:4クロミナンス・サブサンプリング・フォーマットを含む
5に記載の装置。
7. 前記入力ビデオ・データ・ストリームは、関連するパラメータセットを有し、
前記ビデオ・データ・デコーダは、1つのパラメータ・セットからパラメータ・データをデコードし、1つのパラメータ・セットから前記制約データをデコードするように構成されている
1～6のいずれか1つに記載の装置。
8. 1～7のいずれか1つに記載の装置を具備するビデオ記憶装置、キャプチャ装置、送受信装置。
9. 入力ビデオ・データ・ストリームをエンコードして出力エンコードされたビデオ・データ・ストリームを生成するように構成されたビデオ・データ・エンコーダ回路と、
構成データに依存して前記出力エンコードされたビデオ・データ・ストリームに関連するデコード属性をエンコードするように構成されたパラメータエンコーダ回路と、
を具備し、
前記ビデオ・データ・エンコーダ回路は、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含む前記デコード属性を定義する前記構成データに応答するものであり、前記デコード属性は、ビット深度及びクロマンスサブサンプリングフォーマットのうちの1つ以上を含み、
前記パラメータエンコーダ回路が、複数のプロファイルから選択されたプロファイルを示すパラメータデータをエンコードするように構成され、
各プロファイルは前記デコード属性を定義し、
制約データは、前記構成データによって定義された定義された前記デコード属性と、前記パラメータデータによって示された前記プロファイルによって定義された前記デコード属性との差を定義し、
ここで前記制約データは、前記制約データのゼロ値によって前記デコード属性のゼロ差を示すように構成されている
装置。
10. 前記制約データが、前記制約データのゼロ以外の値によって前記デコード属性のゼロ以外の差を示すように構成されている
9に記載の装置。
11. 前記パラメータエンコーダ回路が、前記制約データの一連の候補値をそれぞれの差分量にマッピングすることによって、前記デコード属性の差分を生成するように構成されている
10に記載の装置。
12. 前記デコード属性がビット深度である場合、前記制約データの候補値にマッピングされるそれぞれの差分量は、ビット深度における負の差分をすべて表すので、
前記制約データによって定義される前記差分によって修正されるように、前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義される前記ビット深度が、前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義されるビット深度より大きくないビット深度である
11に記載の装置。
13.前記デコード属性がクロミナンス・サブサンプリング・フォーマットである場合、
前記制約データの候補値にマッピングされた各差分量は、すべて差異を表すので、
前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義される前記クロミナンス・サブサンプリング・フォーマットは、前記制約データによって定義される前記差分によって修正されるように、前記パラメータデータによって提供された前記エンコーディングプロファイルによって定義された前記クロミナンスサブサンプリングフォーマットよりも、クロミナンス・サブサンプリング・フォーマットの所定の階層において、高くないクロミナンス・サブサンプリング・フォーマットである
11または12に記載の装置。
14. クロミナンス・サブサンプリング・フォーマットの所定の階層が、クロミナンス・サブサンプリング・フォーマットの所定の階層において、下から上へと順に、
i. 4:0:0クロミナンス・サブサンプリング・フォーマット;
ii. 4:2:0クロミナンス・サブサンプリング・フォーマット;
iii.4:2:2クロミナンス・サブサンプリング・フォーマット;及び
iv. 4:4:4クロミナンス・サブサンプリング・フォーマットを含む
13に記載の装置。
15. 前記出力エンコードされたビデオ・データ・ストリームは、関連するパラメータセットを有し、
前記パラメータエンコーダ回路は、前記パラメータデータを1つのパラメータ・セットにエンコードし、かつ、前記制約データを1つのパラメータセットにエンコードするように構成されている
9～14のいずれか1つに記載の装置。
16. 9～15のいずれか1つに記載の装置を具備するビデオ記憶装置、キャプチャ装置、送受信装置。
17. 入力ビデオ・データ・ストリームに関連するパラメータデータに応答する入力ビデオ・データ・ストリームをデコードするステップと、
前記入力ビデオ・データ・ストリームに関連する制約データを検出するステップと、
前記制約データによって定義される差異によって修正されるように、パラメータデータによって提供されるエンコーディングプロファイルによって定義されるデコード属性を有するデコードされたビデオ・データ・ストリームを生成するのを制御するステップと
を含み、
前記パラメータデータは、複数のプロファイルから選択されたプロファイルを示し、各プロファイルは、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含むデコード属性を定義し、
前記制約データは、前記入力ビデオ・データ・ストリームに適用可能なデコード属性と、前記パラメータデータによって示される前記プロファイルによって定義される前記デコード属性との差異を定義し、
前記制約データは、前記制約データのゼロ値によって前記デコード属性のゼロ差異を示すように構成されている
方法。
18. コンピュータによって実行されるとき、前記コンピュータに17に記載の方法を実行させるコンピュータソフトウェア。
19. 18に記載のコンピュータソフトウェアを格納する機械可読の非一時的な記憶媒体。
20. 入力ビデオ・データ・ストリームをエンコードして出力エンコードされたビデオ・データ・ストリームを生成するステップと、
構成データに依存して前記出力エンコードされたビデオ・データ・ストリームに関連するデコード属性をエンコードするステップと
を含み、
前記生成するステップは、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含む前記デコード属性を定義する前記構成データに応答するものであり、
前記デコード属性は、ビット深度及びクロマンスサブサンプリングフォーマットのうちの1つ以上を含み、
複数のプロファイルから選択されたプロファイルを示すパラメータデータをエンコードすることによって、各プロファイルは前記デコード属性を定義し、
制約データは、前記構成データによって定義された定義された前記デコード属性と、前記パラメータデータによって示された前記プロファイルによって定義された前記デコード属性との差を定義し、
ここで前記制約データは、前記制約データのゼロ値によって前記デコード属性のゼロ差を示すように構成されている
方法。
21. 20に記載の方法によって生成されたエンコードされたビデオ・データ・ストリーム。
22. 21に記載のエンコードされたビデオ・データ・ストリームを記憶する機械可読の非一時的な記憶媒体。
23. コンピュータによって実行されるとき、前記コンピュータに20に記載の方法を実行させるコンピュータソフトウェア。
24. 23に記載のコンピュータソフトウェアを格納する機械可読の非一時的な記憶媒体。
1. 入力ビデオ・データ・ストリームをデコードするように構成されたビデオ・データ・デコーダ回路と、
前記入力ビデオ・データ・ストリームに関連する制約データを検出するように構成された検出器回路と、
前記ビデオ・データ・デコーダを制御して、前記入力ビデオ・データ・ストリームをデコードし、前記制約データによって定義される差異によって修正されるように、パラメータデータによって提供されるエンコーディングプロファイルによって定義されるデコード属性を有するデコードされたビデオ・データ・ストリームを生成するように構成された制御回路と
を具備し、
前記ビデオ・データ・デコーダは、前記入力ビデオ・データ・ストリームに関連する前記パラメータデータに応答するものであり、前記パラメータデータは、複数のプロファイルから選択されたプロファイルを示し、各プロファイルは、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含むデコード属性を定義し、
前記制約データは、前記入力ビデオ・データ・ストリームに適用可能なデコード属性と、前記パラメータデータによって示される前記プロファイルによって定義される前記デコード属性との差異を定義し、
前記制約データは、前記制約データのゼロ値によって前記デコード属性のゼロ差異を示すように構成されている
装置。
2. 前記制約データが、前記制約データのゼロ以外の値によって前記デコード属性のゼロ以外の差を示すように構成されている
1に記載の装置。
3. 前記検出器回路が、前記制約データの一連の候補値をそれぞれの差分量にマッピングすることによって、前記デコード属性の差分を生成するように構成されている
2に記載の装置。
4. 前記デコード属性がビット深度である場合、前記制約データの候補値にマッピングされるそれぞれの差分量は、ビット深度における負の差分をすべて表すので、
前記制約データによって定義される前記差分によって修正されるように、前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義される前記ビット深度が、前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義されるビット深度より大きくないビット深度である
3に記載の装置。
5.前記デコード属性がクロミナンス・サブサンプリング・フォーマットである場合、
前記制約データの候補値にマッピングされた各差分量は、すべて差異を表すので、
前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義される前記クロミナンス・サブサンプリング・フォーマットは、前記制約データによって定義される前記差分によって修正されるように、前記パラメータデータによって提供された前記エンコーディングプロファイルによって定義された前記クロミナンスサブサンプリングフォーマットよりも、クロミナンス・サブサンプリング・フォーマットの所定の階層において、高くないクロミナンス・サブサンプリング・フォーマットである
3または4に記載の装置。
6. クロミナンス・サブサンプリング・フォーマットの所定の階層が、クロミナンス・サブサンプリング・フォーマットの所定の階層において、下から上へと順に、
i. 4:0:0クロミナンス・サブサンプリング・フォーマット;
ii. 4:2:0クロミナンス・サブサンプリング・フォーマット;
iii.4:2:2クロミナンス・サブサンプリング・フォーマット;及び
iv. 4:4:4クロミナンス・サブサンプリング・フォーマットを含む
5に記載の装置。
7. 前記入力ビデオ・データ・ストリームは、関連するパラメータセットを有し、
前記ビデオ・データ・デコーダは、1つのパラメータ・セットからパラメータ・データをデコードし、1つのパラメータ・セットから前記制約データをデコードするように構成されている
1～6のいずれか1つに記載の装置。
8. 1～7のいずれか1つに記載の装置を具備するビデオ記憶装置、キャプチャ装置、送受信装置。
9. 入力ビデオ・データ・ストリームをエンコードして出力エンコードされたビデオ・データ・ストリームを生成するように構成されたビデオ・データ・エンコーダ回路と、
構成データに依存して前記出力エンコードされたビデオ・データ・ストリームに関連するデコード属性をエンコードするように構成されたパラメータエンコーダ回路と、
を具備し、
前記ビデオ・データ・エンコーダ回路は、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含む前記デコード属性を定義する前記構成データに応答するものであり、前記デコード属性は、ビット深度及びクロマンスサブサンプリングフォーマットのうちの1つ以上を含み、
前記パラメータエンコーダ回路が、複数のプロファイルから選択されたプロファイルを示すパラメータデータをエンコードするように構成され、
各プロファイルは前記デコード属性を定義し、
制約データは、前記構成データによって定義された定義された前記デコード属性と、前記パラメータデータによって示された前記プロファイルによって定義された前記デコード属性との差を定義し、
ここで前記制約データは、前記制約データのゼロ値によって前記デコード属性のゼロ差を示すように構成されている
装置。
10. 前記制約データが、前記制約データのゼロ以外の値によって前記デコード属性のゼロ以外の差を示すように構成されている
9に記載の装置。
11. 前記パラメータエンコーダ回路が、前記制約データの一連の候補値をそれぞれの差分量にマッピングすることによって、前記デコード属性の差分を生成するように構成されている
10に記載の装置。
12. 前記デコード属性がビット深度である場合、前記制約データの候補値にマッピングされるそれぞれの差分量は、ビット深度における負の差分をすべて表すので、
前記制約データによって定義される前記差分によって修正されるように、前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義される前記ビット深度が、前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義されるビット深度より大きくないビット深度である
11に記載の装置。
13.前記デコード属性がクロミナンス・サブサンプリング・フォーマットである場合、
前記制約データの候補値にマッピングされた各差分量は、すべて差異を表すので、
前記パラメータデータによって提供される前記エンコーディングプロファイルによって定義される前記クロミナンス・サブサンプリング・フォーマットは、前記制約データによって定義される前記差分によって修正されるように、前記パラメータデータによって提供された前記エンコーディングプロファイルによって定義された前記クロミナンスサブサンプリングフォーマットよりも、クロミナンス・サブサンプリング・フォーマットの所定の階層において、高くないクロミナンス・サブサンプリング・フォーマットである
11または12に記載の装置。
14. クロミナンス・サブサンプリング・フォーマットの所定の階層が、クロミナンス・サブサンプリング・フォーマットの所定の階層において、下から上へと順に、
i. 4:0:0クロミナンス・サブサンプリング・フォーマット;
ii. 4:2:0クロミナンス・サブサンプリング・フォーマット;
iii.4:2:2クロミナンス・サブサンプリング・フォーマット;及び
iv. 4:4:4クロミナンス・サブサンプリング・フォーマットを含む
13に記載の装置。
15. 前記出力エンコードされたビデオ・データ・ストリームは、関連するパラメータセットを有し、
前記パラメータエンコーダ回路は、前記パラメータデータを1つのパラメータ・セットにエンコードし、かつ、前記制約データを1つのパラメータセットにエンコードするように構成されている
9～14のいずれか1つに記載の装置。
16. 9～15のいずれか1つに記載の装置を具備するビデオ記憶装置、キャプチャ装置、送受信装置。
17. 入力ビデオ・データ・ストリームに関連するパラメータデータに応答する入力ビデオ・データ・ストリームをデコードするステップと、
前記入力ビデオ・データ・ストリームに関連する制約データを検出するステップと、
前記制約データによって定義される差異によって修正されるように、パラメータデータによって提供されるエンコーディングプロファイルによって定義されるデコード属性を有するデコードされたビデオ・データ・ストリームを生成するのを制御するステップと
を含み、
前記パラメータデータは、複数のプロファイルから選択されたプロファイルを示し、各プロファイルは、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含むデコード属性を定義し、
前記制約データは、前記入力ビデオ・データ・ストリームに適用可能なデコード属性と、前記パラメータデータによって示される前記プロファイルによって定義される前記デコード属性との差異を定義し、
前記制約データは、前記制約データのゼロ値によって前記デコード属性のゼロ差異を示すように構成されている
方法。
18. コンピュータによって実行されるとき、前記コンピュータに17に記載の方法を実行させるコンピュータソフトウェア。
19. 18に記載のコンピュータソフトウェアを格納する機械可読の非一時的な記憶媒体。
20. 入力ビデオ・データ・ストリームをエンコードして出力エンコードされたビデオ・データ・ストリームを生成するステップと、
構成データに依存して前記出力エンコードされたビデオ・データ・ストリームに関連するデコード属性をエンコードするステップと
を含み、
前記生成するステップは、ビット深度及びクロミナンスサブサンプリングフォーマットのうちの1つ以上を含む前記デコード属性を定義する前記構成データに応答するものであり、
前記デコード属性は、ビット深度及びクロマンスサブサンプリングフォーマットのうちの1つ以上を含み、
複数のプロファイルから選択されたプロファイルを示すパラメータデータをエンコードすることによって、各プロファイルは前記デコード属性を定義し、
制約データは、前記構成データによって定義された定義された前記デコード属性と、前記パラメータデータによって示された前記プロファイルによって定義された前記デコード属性との差を定義し、
ここで前記制約データは、前記制約データのゼロ値によって前記デコード属性のゼロ差を示すように構成されている
方法。
21. 20に記載の方法によって生成されたエンコードされたビデオ・データ・ストリーム。
22. 21に記載のエンコードされたビデオ・データ・ストリームを記憶する機械可読の非一時的な記憶媒体。
23. コンピュータによって実行されるとき、前記コンピュータに20に記載の方法を実行させるコンピュータソフトウェア。
24. 23に記載のコンピュータソフトウェアを格納する機械可読の非一時的な記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】