知財求人 - 知財ポータルサイト「IP Force」
▶ ジーイー ビデオ コンプレッション エルエルシーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024028978
(43)【公開日】2024-03-05
(54)【発明の名称】拡張機構を使用している層ＩＤの信号
(51)【国際特許分類】
H04N 19/70 20140101AFI20240227BHJP
H04N 19/30 20140101ALI20240227BHJP
H04N 19/597 20140101ALI20240227BHJP
【ＦＩ】
H04N19/70
H04N19/30
H04N19/597
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023210738
(22)【出願日】2023-12-14
(62)【分割の表示】P 2021155011の分割
【原出願日】2014-07-15
(31)【優先権主張番号】61/846,479
(32)【優先日】2013-07-15
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】515089080
【氏名又は名称】ジーイー ビデオ コンプレッション エルエルシー
【住所又は居所原語表記】１ Ｒｅｓｅａｒｃｈ Ｃｉｒｃｌｅ，Ｎｉｓｋａｙｕｎａ，ＮＹ １２３０９，ＵＳＡ
(74)【代理人】
【識別番号】100079577
【弁理士】
【氏名又は名称】岡田 全啓
(72)【発明者】
【氏名】ズューリング カルステン
(72)【発明者】
【氏名】シーアル トーマス
(72)【発明者】
【氏名】マルペ デトレフ
(72)【発明者】
【氏名】スクーピン ローベルト
(72)【発明者】
【氏名】サンチェス デ ラ フエンテ ヤーゴ
(72)【発明者】
【氏名】テヒ ゲルハルト
(57)【要約】 （修正有）
【課題】マルチレイヤビデオの層関係を信号で伝える効率的な方法を提供する。
【解決手段】層間予測を用いて符号化されたマルチレイヤデータストリームを処理する装置は、マルチレイヤデータストリームからベース層ＩＤフィールド３０８を読み取り、第１副フィールド３０８ａが予め決められた基準を満たすかを判定し、予め決められた基準を満たす場合、マルチレイヤデータストリームから拡張層ＩＤフィールド３１６を読み取り、拡張層ＩＤフィールドを使って、拡張値が拡張値領域の第１の副セットの中にあるようにして拡張値を導出し、予め決められた基準を満たさない場合、拡張層ＩＤフィールドを読み取ることを控え、拡張値を拡張値領域の第１副セットと互いに素である値に設定する。第２副フィールド３０８ｂの可能な値の領域からクラスタ値領域にマッピングすることで導出されたクラスタ値と、拡張値を用いて、パケットが関連する層に索引を付与する。
【選択図】図２１
【解決手段】層間予測を用いて符号化されたマルチレイヤデータストリームを処理する装置は、マルチレイヤデータストリームからベース層ＩＤフィールド３０８を読み取り、第１副フィールド３０８ａが予め決められた基準を満たすかを判定し、予め決められた基準を満たす場合、マルチレイヤデータストリームから拡張層ＩＤフィールド３１６を読み取り、拡張層ＩＤフィールドを使って、拡張値が拡張値領域の第１の副セットの中にあるようにして拡張値を導出し、予め決められた基準を満たさない場合、拡張層ＩＤフィールドを読み取ることを控え、拡張値を拡張値領域の第１副セットと互いに素である値に設定する。第２副フィールド３０８ｂの可能な値の領域からクラスタ値領域にマッピングすることで導出されたクラスタ値と、拡張値を用いて、パケットが関連する層に索引を付与する。
【選択図】図２１
【特許請求の範囲】
【請求項1】
レイヤ間予測を用いて、異なる情報量レベルに対応する異なる層でビデオ素材（２０２）が符号化されている、マルチレイヤデータストリーム（２０４）を処理するように構成された装置であって、前記マルチレイヤデータストリームはそれぞれが前記異なる層のうちの１つと関連する複数のパケット（２０６）を含み、前記装置は、
前記マルチレイヤデータストリームの前記パケット（２０６）のそれぞれについて、
前記マルチレイヤデータストリームから、第１副フィールド（３０８ａ）および第２副フィールド（３０８ｂ）を含む、ベース層ＩＤフィールド（３０８）を読み取り、
前記ベース層ＩＤフィールドの前記第１副フィールド（３０８ａ）が、予め決められた基準を満たすかどうかについてチェック（３１４）し、
仮に、前記ベース層ＩＤフィールドの前記第１副フィールドが、前記予め決められた基準を満たすならば、前記マルチレイヤデータストリームから拡張層ＩＤフィールドを読み取り（３１８）、前記拡張層ＩＤフィールドを使って、拡張値が拡張値領域の第１の副セットの中にあるようにして前記拡張値を導き出し（３２０）、そして、前記第２副フィールドの可能な値の領域からクラスタ値領域にマッピングすることによって、クラスタ値を前記第２副フィールドから導き出し（３２２）、
仮に、前記ベース層ＩＤフィールドの前記第１副フィールドが、前記予め決められた基準を満たさないならば、前記マルチレイヤデータストリームから拡張層ＩＤフィールドを読み取ることを控え、前記拡張値を前記拡張値領域の第１副セットと互いに素である値に設定し（３２６）、そして、前記第２副フィールドの可能な値の領域から前記クラスタ値領域にマッピングすることによって、前記第２副フィールドから前記クラスタ値を導き出し（３２８）、
前記クラスタ値と前記拡張値を使って、個々のパケットが関連する前記層に索引を付与する（３２４）ように構成されていること、
を特徴とする装置。
前記マルチレイヤデータストリームの前記パケット（２０６）のそれぞれについて、
前記マルチレイヤデータストリームから、第１副フィールド（３０８ａ）および第２副フィールド（３０８ｂ）を含む、ベース層ＩＤフィールド（３０８）を読み取り、
前記ベース層ＩＤフィールドの前記第１副フィールド（３０８ａ）が、予め決められた基準を満たすかどうかについてチェック（３１４）し、
仮に、前記ベース層ＩＤフィールドの前記第１副フィールドが、前記予め決められた基準を満たすならば、前記マルチレイヤデータストリームから拡張層ＩＤフィールドを読み取り（３１８）、前記拡張層ＩＤフィールドを使って、拡張値が拡張値領域の第１の副セットの中にあるようにして前記拡張値を導き出し（３２０）、そして、前記第２副フィールドの可能な値の領域からクラスタ値領域にマッピングすることによって、クラスタ値を前記第２副フィールドから導き出し（３２２）、
仮に、前記ベース層ＩＤフィールドの前記第１副フィールドが、前記予め決められた基準を満たさないならば、前記マルチレイヤデータストリームから拡張層ＩＤフィールドを読み取ることを控え、前記拡張値を前記拡張値領域の第１副セットと互いに素である値に設定し（３２６）、そして、前記第２副フィールドの可能な値の領域から前記クラスタ値領域にマッピングすることによって、前記第２副フィールドから前記クラスタ値を導き出し（３２８）、
前記クラスタ値と前記拡張値を使って、個々のパケットが関連する前記層に索引を付与する（３２４）ように構成されていること、
を特徴とする装置。
【請求項2】
別の層からレイヤ間予測された層が、更なるビュー、奥行き情報、アルファ混合情報、カラーコンポーネント情報、空間の解像度改良およびＳＮＲ解像度改良のうちの１つ以上を追加するように、前記マルチレイヤデータストリームがレイヤ間層予測を使用して異なる層に前記ビデオ素材を符号化されていること、を特徴とする請求項１に記載の装置。
【請求項3】
前記予め決められた基準を前記マルチレイヤデータストリームから読み取るように構成されていること、を特徴とする請求項１または請求項２に記載の装置。
【請求項4】
前記第１副フィールドは、前記ベース層ＩＤフィールドの１ビットによって形成され、前記第２副フィールドは、前記１ビットを除く前記ベース層ＩＤフィールドのビットによって形成されるように構成されていること、を特徴とする請求項１から請求項３のいずれかに記載の装置。
【請求項5】
前記拡張値の２進数の表現として前記拡張層ＩＤフィールドを直接に採用することによって、前記拡張層ＩＤフィールドを使って前記拡張値を導き出し、そして、前記第１副セットと互いに素である値に前記拡張値を設定するときに、前記拡張値を０と等しく設定するように構成されていること、を特徴とする請求項１から請求項４のいずれかに記載の装置。
【請求項6】
前記ベース層ＩＤフィールドの前記第１副フィールドが、前記予め決められた基準を満たす場合、および前記ベース層ＩＤフィールドの前記第１副フィールドが前記予め決められた基準を満たさない場合の双方において、前記第２副フィールドの可能な値の領域からクラスタ値領域へのマッピングを等しく実行するように構成されていること、を特徴とする請求項１から請求項５のいずれかに記載の装置。
【請求項7】
前記ベース層ＩＤフィールドの前記第１副フィールドが、前記予め決められた基準を満たさない場合、および前記ベース層ＩＤフィールドの前記第１副フィールドが前記予め決められた基準を満たす場合の双方において、前記クラスタ値の２進数の表現として前記ベース層ＩＤフィールドを直接に採用することによって、前記第１副フィールドの可能な値の領域から前記クラスタ値領域へのマッピングを実行するように構成されていること、を特徴とする請求項１から請求項６のいずれかに記載の装置。
【請求項8】
前記クラスタ値と前記拡張値を連結することによって、個々のパケットが関連する前記層に索引を付与するように構成されていること、を特徴とする請求項１から請求項７のいずれかに記載の装置。
【請求項9】
層への索引の付与の、より重要な数字を設定するための前記クラスタ値、および、より重要でない数字を設定するための前記拡張値を用いることによって、個々の前記パケットが関連する層に索引を付与するように構成されていること、を特徴とする請求項１から請求項８のいずれかに記載の装置。
【請求項10】
復号化するために前記マルチレイヤデータストリームのパケットを前記索引の付与に基づいて選択するように構成されたビデオデコーダ、または、前記索引の付与および外部ファクターに基づいて前記マルチレイヤデータストリームのパケットを除去するように構成されたネットワーク要素であること、を特徴とする請求項１から請求項９のいずれかに記載の装置。
【請求項11】
レイヤ間予測を用いて、異なる情報量レベルに対応する異なる層でビデオ素材が符号化されている、マルチレイヤデータストリームを処理するための方法であって、前記マルチレイヤデータストリームはそれぞれが前記異なる層のうちの１つと関連する複数のパケットを含み、前記方法は、
前記マルチレイヤデータストリームの前記パケットのそれぞれについて、
前記マルチレイヤデータストリームから、第１副フィールドおよび第２副フィールドを含むベース層ＩＤフィールドを読み取るステップと、
前記ベース層ＩＤフィールドの前記第１副フィールドが、予め決められた基準を満たすかどうかについてチェックするステップと、
仮に、前記ベース層ＩＤフィールドの前記第１副フィールドが、前記予め決められた基準を満たすならば、前記マルチレイヤデータストリームから拡張層ＩＤフィールドを読み取り、前記拡張層ＩＤフィールドを使って、拡張値が拡張値領域の第１の副セットの中にあるようにして前記拡張値を導き出し、そして、前記第２副フィールドの可能な値の領域から前記クラスタ値領域にマッピングすることによって、前記第２副フィールドからクラスタ値を導き出すステップと、
仮に、前記ベース層ＩＤフィールドの前記第１副フィールドが、前記予め決められた基準を満たさないならば、前記マルチレイヤデータストリームから拡張層ＩＤフィールドを読み取ることを控え、前記拡張値を前記拡張値領域の第１副セットと互いに素である値に設定し、そして、前記第２副フィールドの可能な値の領域から前記クラスタ値領域にマッピングすることによって、前記第２副フィールドから前記クラスタ値を導き出すステップと、
前記クラスタ値と前記拡張値を使って、個々の前記パケットが関連する前記層に索引を付与するステップとを含むこと、
を特徴とする方法。
前記マルチレイヤデータストリームの前記パケットのそれぞれについて、
前記マルチレイヤデータストリームから、第１副フィールドおよび第２副フィールドを含むベース層ＩＤフィールドを読み取るステップと、
前記ベース層ＩＤフィールドの前記第１副フィールドが、予め決められた基準を満たすかどうかについてチェックするステップと、
仮に、前記ベース層ＩＤフィールドの前記第１副フィールドが、前記予め決められた基準を満たすならば、前記マルチレイヤデータストリームから拡張層ＩＤフィールドを読み取り、前記拡張層ＩＤフィールドを使って、拡張値が拡張値領域の第１の副セットの中にあるようにして前記拡張値を導き出し、そして、前記第２副フィールドの可能な値の領域から前記クラスタ値領域にマッピングすることによって、前記第２副フィールドからクラスタ値を導き出すステップと、
仮に、前記ベース層ＩＤフィールドの前記第１副フィールドが、前記予め決められた基準を満たさないならば、前記マルチレイヤデータストリームから拡張層ＩＤフィールドを読み取ることを控え、前記拡張値を前記拡張値領域の第１副セットと互いに素である値に設定し、そして、前記第２副フィールドの可能な値の領域から前記クラスタ値領域にマッピングすることによって、前記第２副フィールドから前記クラスタ値を導き出すステップと、
前記クラスタ値と前記拡張値を使って、個々の前記パケットが関連する前記層に索引を付与するステップとを含むこと、
を特徴とする方法。
【請求項12】
レイヤ間予測を用いて、異なる情報量レベルに対応する異なる層で、ビデオ素材（２０２）をマルチレイヤデータストリーム（２０４）の中に符号化するように構成されたエンコーダであって、前記マルチレイヤデータストリームは、それぞれが前記異なる層のうちの１つと関連する複数のパケット（２０６）を含み、個々の前記パケットが関連する層は、クラスタ値及び拡張値によって一意的に決定されるエンコーダであって、前記エンコーダは、
前記マルチレイヤデータストリームの前記パケット（２０６）のそれぞれについて、
仮に、前記拡張値が、拡張値領域の第１副セット内にあるならば、第１副フィールド（３０８ａ）および第２副フィールド（３０８ｂ）を含むベース層ＩＤフィールド（３０８）を、前記第２副フィールドを設定するためには前記クラスタ値を使って、且つ前記第１副フィールドを予め決められた基準を満たすように設定することによって、前記マルチレイヤデータストリームの中に挿入し、そして、拡張層ＩＤを設定するために前記拡張値を使って、前記マルチレイヤデータストリームに前記拡張層ＩＤを挿入し、
仮に、前記拡張値が、拡張値領域の前記第１副セットと互いに素である値に等しいならば、拡張層ＩＤを挿入することを控え、第１副フィールド（３０８ａ）および第２副フィールド（３０８ｂ）を含むベース層ＩＤフィールド（３０８）を、前記第２副フィールドを設定するためには前記クラスタ値を使って、且つ、前記第１副フィールドを前記予め決められた基準を満たさないように設定することによって、前記マルチレイヤデータストリームに挿入する（３１２）ように構成されていること、
を特徴とするエンコーダ。
前記マルチレイヤデータストリームの前記パケット（２０６）のそれぞれについて、
仮に、前記拡張値が、拡張値領域の第１副セット内にあるならば、第１副フィールド（３０８ａ）および第２副フィールド（３０８ｂ）を含むベース層ＩＤフィールド（３０８）を、前記第２副フィールドを設定するためには前記クラスタ値を使って、且つ前記第１副フィールドを予め決められた基準を満たすように設定することによって、前記マルチレイヤデータストリームの中に挿入し、そして、拡張層ＩＤを設定するために前記拡張値を使って、前記マルチレイヤデータストリームに前記拡張層ＩＤを挿入し、
仮に、前記拡張値が、拡張値領域の前記第１副セットと互いに素である値に等しいならば、拡張層ＩＤを挿入することを控え、第１副フィールド（３０８ａ）および第２副フィールド（３０８ｂ）を含むベース層ＩＤフィールド（３０８）を、前記第２副フィールドを設定するためには前記クラスタ値を使って、且つ、前記第１副フィールドを前記予め決められた基準を満たさないように設定することによって、前記マルチレイヤデータストリームに挿入する（３１２）ように構成されていること、
を特徴とするエンコーダ。
【請求項13】
レイヤ間予測を用いて、異なる情報量レベルに対応する異なる層で、ビデオ素材（２０２）をマルチレイヤデータストリーム（２０４）に符号化するように構成された方法であって、前記マルチレイヤデータストリームは、それぞれが前記異なる層のうちの１つと関連する複数のパケット（２０６）を含み、個々の前記パケットが関連する層は、クラスタ値及び拡張値によって一意的に決定される方法であって、前記方法は、
前記マルチレイヤデータストリームの前記パケット（２０６）のそれぞれについて、
仮に、前記拡張値が、拡張値領域の第１副セット内にあるならば、第１副フィールド（３０８ａ）および第２副フィールド（３０８ｂ）を含むベース層ＩＤフィールド（３０８）を、前記第２副フィールドを設定するために前記クラスタ値を使って、且つ、前記第１副フィールドを予め決められた基準を満たすように設定することによって、前記マルチレイヤデータストリームの中に挿入し、そして、拡張層ＩＤを設定するために前記拡張値を使って、前記マルチレイヤデータストリームに前記拡張層ＩＤを挿入するステップと、
仮に、前記拡張値が、拡張値領域の前記第１副セットと互いに素である値に等しいならば、拡張層ＩＤを挿入することを控え、第１副フィールド（３０８ａ）および第２副フィールド（３０８ｂ）を含むベース層ＩＤフィールド（３０８）を、前記第２副フィールドを設定するための前記クラスタ値を使って、且つ、前記第１副フィールドを前記予め決められた基準を満たさないように設定することによって、前記マルチレイヤデータストリームに挿入する（３１２）ステップを含んでいること、
を特徴とする方法。
前記マルチレイヤデータストリームの前記パケット（２０６）のそれぞれについて、
仮に、前記拡張値が、拡張値領域の第１副セット内にあるならば、第１副フィールド（３０８ａ）および第２副フィールド（３０８ｂ）を含むベース層ＩＤフィールド（３０８）を、前記第２副フィールドを設定するために前記クラスタ値を使って、且つ、前記第１副フィールドを予め決められた基準を満たすように設定することによって、前記マルチレイヤデータストリームの中に挿入し、そして、拡張層ＩＤを設定するために前記拡張値を使って、前記マルチレイヤデータストリームに前記拡張層ＩＤを挿入するステップと、
仮に、前記拡張値が、拡張値領域の前記第１副セットと互いに素である値に等しいならば、拡張層ＩＤを挿入することを控え、第１副フィールド（３０８ａ）および第２副フィールド（３０８ｂ）を含むベース層ＩＤフィールド（３０８）を、前記第２副フィールドを設定するための前記クラスタ値を使って、且つ、前記第１副フィールドを前記予め決められた基準を満たさないように設定することによって、前記マルチレイヤデータストリームに挿入する（３１２）ステップを含んでいること、
を特徴とする方法。
【請求項14】
プログラム符号がコンピュータ上で実行されると、前記コンピュータが請求項１１または請求項１３の方法を実行する、前記プログラム符号を有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えばマルチレイヤビデオ符号化の分野などの・・・・に関する。
【背景技術】
【0002】
ＨＥＶＣ基本仕様［非特許文献１］などのビデオ符号器規格、および、多ビュー（ｖｉｅｗ）拡張［非特許文献２、３］などのその拡張は、通常、層にされた符号化シナリオにおいて、ビデオデータの個々の符号化された大きな塊が属する層を信号で伝えるためのメカニズムを引き継ぐ。信号化メカニズムはすぐに利用できることを必要とする（図１の表に与えられたＨＥＶＣのＮＡＬユニットヘッダー（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）の中の層識別子と比較してください）。
【0003】
ビットについてその有限サイズに関して、個々のＨＥＶＣ構文要素は、スケーラブル層、ビューおよび／または奥行きを識別するために用いられる６４個の値を許容する。例えば、現在のＨＥＶＣ ＮＡＬユニットヘッダー構文を使っている多ビュービデオに対して、これは、最大６４個のビュー、または、３２個のビュー＋奥行きの組み合わせの制限を暗示している。これは多くの共通のステレオビューシナリオおよび他の応用のために十分であるけれども、光分野画像処理［非特許文献４、５］またはホログラフィックディスプレイ［非特許文献６］のような応用のための１００個を超えるビューを有する莫大なカメラ配列は、層識別子のより大きい空間を信号で伝えるために拡張可能なメカニズムを必要とする。
【0004】
さらに、それらの符号化依存（ｃｏｄｉｎｇ ｄｅｐｅｎｄｅｎｃｉｅｓ）もしくは互いの空間関係の観点から、所定の層またはビューをグループ化することによって層識別子の空間を構造化することが有利である。さらに、そのような情報を符号化されたビデオビットストリーム内の既に利用可能な情報から導き出すことが耐えられない計算処理源を必要とするので、構造化された層識別子空間の中の符号化依存のコンパクトな表現も利点がある。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan, T. Wiegand (Eds.), "High Efficiency Video Coding (HEVC) text specification draft 10", JCTVC-L1003, Geneva, CH, Jan. 2013.
【非特許文献2】G. Tech, K. Wegner, Y. Chen, M. Hannuksela, J.Boyce (Eds.), "MV-HEVC Draft Text 3 (ISO/IEC 23008-2 PDAM2)", JCT3V-C1004, Geneva, CH, Jan. 2013.
【非特許文献3】G. Tech, K. Wegner, Y. Chen, S. Yea (Eds.), "3D-HEVC Test Model Description, draft specification", JCT3V-C1005, Geneva, CH, Jan. 2013
【非特許文献4】WILBURN, Bennett, et al. High performance imaging using large camera arrays. ACM Transactions on Graphics, 2005, 24. Jg., Nr. 3, S. 765-776
【非特許文献5】WILBURN, Bennett S., et al. Light field video camera. In: Electronic Imaging 2002. International Society for Optics and Photonics, 2001. S. 29-36
【非特許文献6】HORIMAI, Hideyoshi, et al. Full-color 3D display system with 360 degree horizontal viewing angle. In: Proc. Int. Symposium of 3D and Contents. 2010. S. 7-10
【発明の概要】
【発明が解決しようとする課題】
【0006】
従って、例えば、減少したサイド情報オーバーヘッド、および／または、発展したバックワード互換性について、より効率的であるマルチレイヤ符号化に関連して・・・・の信号のための概念を提供することが、本応用の目的である。この目的は保留中の独立請求項の主題によって達成される。
【課題を解決するための手段】
【0007】
本応用の面のうちの１つは、マルチレイヤビデオ信号のパケットの各々が関連する層ＩＤの信号に関係している。特にこの面は、この層関係を信号で伝える効率的な方法を達成する。それでも、ベース層ＩＤフィールドの所定の値が、ベース層ＩＤフィールドのベース層ＩＤ値が０のように拡張できないと制限される符号でバックワード互換性を維持する。この拡張できないベース層ＩＤ値についてこの制限を特に回避する代わりに、マルチレイヤデータストリームの部分の層ＩＤは、ベース層ＩＤフィールドを第１副フィールドおよび第２副フィールドに区分することによって拡張できる方法で信号で伝えられる。ベース層ＩＤフィールドの第１の副フィールドが既定の基準を満たせば、いつでも、拡張層ＩＤフィールドが提供される。仮にベース層ＩＤフィールドの第１副フィールドが、既定の基準を満たさないならば、拡張層ＩＤフィールドは省略される。前記の拡張できないベース層ＩＤ値は、ベース層ＩＤフィールドの第１副フィールドが既定の基準を満たさないベース層ＩＤ値のグループ内に「隠されて」いる。従って、この拡張できないベース層ＩＤ値は別々に処理さるのではなく、前者のグループの部分が処理される。むしろ、仮にベース層ＩＤフィールドの第１副フィールドが、既定の基準を満たすならば、拡張値は、拡張値の領域の第１副セットの中に存在するように、マルチレイヤデータストリーム内の信号で伝えられた拡張層ＩＤフィールドから導き出される。そして、仮にベース層ＩＤフィールドの第１副フィールドが、既定の基準を満たさないならば、この拡張値は、拡張値の領域の第１副セットと互いに素である値に設定される。個々の部分が関連する層は、その時、ベース層ＩＤフィールドの第２副フィールドから導き出されるクラスタ値と同様の拡張値を使って索引を付けられる。大体、信号効率は、バックワード互換性の維持にも関わらず失われない。
【0008】
本応用の面のうちの１つは、マルチレイヤデータストリームの層間のレイヤ間依存の信号化に関係している。この面によると、一方のレイヤ間依存の潜在的な多様性の非常に集中的な制限と、他方のレイヤ間依存の非常に複雑な信号との間の良好な妥協案は、ベース層ＩＤによって表現可能な異なる値のペア間の相互依存を標示している第１相互依存構文構造と、拡張層ＩＤによって表現可能な異なる値のペア間の相互依存を標示している第２相互依存構文構造との方法によって、レイヤ間依存を説明することによって見付けられる。マルチレイヤデータストリームの部分は、層に索引を付けているベース層ＩＤおよび拡張層ＩＤに関連する。この概念に従って、強調は、一方の信号化できるレイヤ間依存の増大した多様性と、他方のレイヤ間依存を信号で伝えるための減少したサイド情報オーバーヘッドとの間を移行する。例えば、共通のベース層ＩＤを持つ層のセットを、それぞれ「クラスタ（群れ）」と呼ぶ。同じ第２相互依存構文構造は、第１の相互依存構文構造を介して、全てのクラスタ内の、および、互いに関連した全てのクラスタ間の相互依存を調節するために、別々に使用される。代わりに、第２相互依存構文構造の２つの例示が、一方のクラスタ内の層と他方の異なるクラスタの層間との相互依存を説明するために用いられる。増大した多様性または減少したサイド情報オーバーヘッドに置かれた強調とは無関係に、相互依存信号概念が、信号オーバーヘッドを低く保持することを生じる。
【0009】
本応用の面のうちの１つは、マルチレイヤビデオ信号などの層のための最低１つの特徴の信号（例えばそれぞれの層毎にそれぞれの層がレイヤ間予測を介して直接に関連する依存層の標示）または、前述の第２相互依存構文構造の信号に関係している。この面に従って、最大の構文要素は、マルチレイヤビデオ信号のパケットの拡張層ＩＤフィールドの最大限に使われた値を示すために、マルチレイヤビデオ信号内で信号が伝えられる。例えば、最大の構文要素の範囲は、マルチレイヤビデオ信号のいくつかの部分を横切って拡張している、マルチレイヤビデオ信号の既定の部分である。従って、この面によると、マルチレイヤビデオ信号の相対的に大きい既定の部分に対して、拡張層ＩＤフィールドによって信号化できる可能な値の可能な領域の実際に消費された部分についての知識を得ることは、マルチレイヤビデオ信号を受信するデコーダやネットワーク要素などの装置に対して適当である。最低１つの特徴が、ベース層ＩＤフィールド値と拡張層ＩＤフィールド値とのそれぞれの結合のために信号で伝えられる必要はないけれども、むしろ、最大限に仮定された値に基づいて決定された層の最大値のための最低１つの特徴を信号で伝えることは重要である。従って、最低１つの特徴は、層ＩＤを持つ層のために送信／信号することは必要でない。その拡張層ＩＤは、マルチレイヤビデオ信号の既定の部分内で起こらない。これを越えて、別の実施の形態に従って、最大限に仮定された値の知識は、個々の部分の層ＩＤを信号で伝えるためのサイド情報オーバーヘッドを減らすために、すなわち、マルチレイヤビデオ信号のパケット内の拡張層ＩＤフィールドを信号で伝えるために必要なビットを減らすために使用される。
【図面の簡単な説明】
【0010】
概説された面は結合され又は個々に使用され、上で概説された面の好ましい実例は、従属請求項の主題であり、図に関して後で議論される。
【0011】
【図2】図２は、マルチレイヤビデオエンコーダ、ネットワーク要素およびマルチレイヤビデオデコーダを含む環境を模式的に説明する。マルチレイヤビデオエンコーダ、ネットワーク要素およびマルチレイヤビデオデコーダは、以下の図面において説明された概念のいずれか、または、いずれかの結合によって改善される。
【図17】図１７は、図１１および図１２について説明された最大限に仮定された値に依存している構文部分を、複数回繰り返して通ることによって、ビデオデータストリーム内の層に情報を信号で伝えているＶＰＳ構文の一例を示す。
【発明を実施するための形態】
【0012】
本応用の特定の実施の形態を説明する前に、例示的なマルチレイヤビデオ符号器の環境が図２に関して説明される。以下で概説される実施の形態と面は有利に使用される。例示的なマルチレイヤビデオ符号器の環境のこの概要は、さらに以下で概説される実施の形態を限定するものと理解してはならないけれども、以下の図について例示的に提供される詳細と機能は、より詳細な実施の形態を生じるように以下でさらに概説される実施の形態の可能な拡張の予定を説明するとみなされる。ともかく、以下に提供された説明のマルチレイヤビデオ符号器の環境は、以下で概説される実施の形態の利点の理解をより容易にする。
【0013】
図２は、入力でビデオ素材２０２を受信するマルチレイヤビデオエンコーダ２００を説明的に示す。説明の目的だけのために、ビデオ素材２０２は、ビデオの個々の画像のためのテクスチャーや奥行きなどの複数のビューのそれぞれのためにビデオデータを移送する多ビュービデオ信号として説明される。一般的に、ビデオ素材２０２は１つの場面の多次元サンプリングを表している。１つの次元は時間ｔである。すなわち、ビデオ素材２０２はこの場面を時間的にサンプリングし、従って、１つの時間瞬間（ｔｉｍｅ ｉｎｓｔａｎｔ）当たり１つの画像を生じる。さらに、この場面は異なる視点から捕らえられ、従って、１つのビュー当たり１つのビデオ、または、時間瞬間ごとに１つのビュー当たり１つの画像を生じる。さらに、ビデオ素材２０２は、場面のテクスチャーの空間的サンプリング（すなわち、個々のビュー毎の、場面の色や場面の奥行きマップの空間的サンプリング）に加えて、個々のビュー、または個々のビューの副セットを提供する。図２は、例えば、ハッチングを使用して説明された奥行きマップとハッチングが描かれていないテクスチャーマップまたはイメージとの間で異なる。しかし、さらに以下で概説される実施の形態のどれもが、そのような多ビュー素材に限定されないこと注意するべきである。むしろ、図２の説明は、以下で前面に出された説明を緩和するように提供されただけである。
【0014】
マルチレイヤビデオエンコーダ２００は、マルチレイヤデータストリームまたはビデオ信号２０４の中にビデオ素材２０２を符号化するように構成されている。特に、マルチレイヤビデオエンコーダ２００は、レイヤ間予測を使用して、異なる情報量レベルと一致する異なる層で、マルチレイヤデータストリーム２０４の中にビデオ素材を符号化する。これは以下を意味している。マルチレイヤビデオエンコーダ２００は、複数のパケット２０６を含むようにマルチレイヤデータストリームを生成する。パケット２０６のそれぞれは、異なる層のうちの１つと関連する。マルチレイヤビデオエンコーダ２００は、例えば、所定のベース層のパケット２０６の中に、ビデオ素材２０２（例えば単に１つのビューのテクスチャーまたは同類など）の情報量のあるベースレベルを符号化する。例えば、様々な層のうちのいずれかにパケット２０６の関連が、個々のパケット２０６内の層識別構文要素構造２０８から導き出せる。例えば、層識別構文要素構造２０８は、個々のパケット２０６のヘッダー２１０内に含まれている。例えば、説明の目的のために、数字１、２、および３が、パケット２０６の中に記入されるように示される。従って、層ＩＤを持つ層がそれぞれ１、２、および３によって説明される。例えば、これらの層の間で、層ＩＤ１を持つ層は、情報量のベースレベルを提供する最も低い層またはベース層を形成する。他の層のパケット２０６は、１以上または様々な情報タイプについてのみ、ベース層のパケット２０６で利用可能な情報量を増大する。例えば、特定の層のパケット２０６は、ベース層またはリファレンス層のパケット２０６内で既に符号化されたビューに加えて、その中で符号化された別のビューを持つ。代わりに、特定の層のパケット２０６は、ビデオ素材２０２の場面の奥行き情報（ビューの奥行き情報など）を持ってもよい。そのテクスチャーは、ベース層またはより一般的にはより下の層であるリファレンス層のパケットの中に既に符号化されている。同様に、表面反射率情報は、別の層（すなわち、照明状況とは無関係にその場面内のオブジェクトの表面反射率についての場面の空間サンプリング）のパケットの中に符号化される。そして、さらに、アルファ混合情報は、別の層（すなわち、個々の画像サンプルと一致している場面ポイントの透明度の空間のサンプリング）のパケットの中に符号化される。また、特定の層のパケット２０６は、特定の色組み合わせ情報を追加し、または、空間解像度を増大する（すなわち、空間解像度改良を提供する）。同様に、特定の層のパケット２０６は、ＳＮＲ解像度改良を単に提供する、すなわち、符号化されたビデオ素材の信号対ノイズ比を増大させる。様々な層が関係している限り、マルチレイヤデータストリーム２０４内の冗長性を避けるために、レイヤ間予測がマルチレイヤビデオエンコーダ２００によって使用される。すなわち、特定の層のパケット２０６は、前者の層についてリファレンス層と呼ばれる１つ以上の他の層から得られるように、レイヤ間予測について予測残差をその中で符号化する。レイヤ間予測は、ビデオ素材２０２を説明している構文要素やパラメータなどの異なる実体に適用される。例えば、特定の層のパケット２０６によって運ばれた予測残差は、1つ毎の画素に基づいて空間領域の中の１つ以上のリファレンス層から得られるようにレイヤ間予測を訂正する。代わりに、マルチレイヤビデオエンコーダ２００は、例えば、変換残差符号化を使用し、レイヤ間予測訂正が変換係数ベース毎にＤＣＴドメインなどの変換ドメイン内で起こる。代わりに又は追加的に、マルチレイヤビデオエンコーダ２００は、空間的および／または時間的な予測を使用するハイブリッドビデオ符号器タイプであり、例えば、レイヤ間予測は、動作ベクトルの改良に追加的または代替的に関係する。さらに、マルチレイヤビデオエンコーダ２００は、異なる予測モード（空間的および時間的予測など）が適用されるユニットの中の符号化ブロックの中に、および／または、前記の変換が予測残差上で実行されるユニットの中の変換ブロックの中に、および／または、特定の符号化パラメータがビデオ素材２０２を符号化するためにセットされるユニットの中の別のブロックの中に、ビデオ素材２０２の画像を副分割するために、階層的な多ツリー副分割を使用する。そして、改めて別の層のための副分割情報を信号で伝える代わりに、副分割化が１つ以上のベース層のいずれかから完全に採用されるか、または、その副分割情報についての改良が信号で伝えられるかのいずれかである。
【0015】
層間のレイヤ間依存の方法によって、マルチレイヤビデオ信号２０４の層が、ツリー２１２の枝を介して相互に関係付けられる。ツリー２１２の節（ノード）は前記の層によって形成される。層間のレイヤ間依存についての情報を移送する（すなわち、復号化側で利用できる相互依存ツリー２１２上の情報を提出する）ために、マルチレイヤビデオ信号２０４は、そこに符号化されたそこの情報を持つ。
【0016】
図２において、例えば、マルチレイヤビデオエンコーダ２００が、ビデオデータストリーム２０４の中に、情報２１４を構成する又は移送するハイレベル構文パケット２１６を散在させることが説明されている。情報２１４は、ツリー２１２の中のレイヤ間依存を説明するために相互依存構文構造を含む。
【0017】
しかし、ツリー２１２の情報は、エンコーダおよびデコーダでの欠陥（デフォルト）によって、代替的に知られている又は再建可能である。従って、追加的または代わりに、層関連情報２１４は、ある層ＩＤ拡張機構に関連した情報を含む。特に、多くの応用に対して、層の適度な数は、マルチレイヤビデオ信号２０４を形成するために重要であるけれども、いくつかの別の応用は、層識別構文要素構造２０８によって信号化可能な非常に小さい数の層から損害を被る。すなわち、層識別構文要素構造２０８が、高い数の層を必要とするそれらの応用に対して、莫大な数の層に適応するように、層識別構文要素構造２０８を構成することは、応用の全体の多様性を考慮するとき、高いサイドの情報オーバーヘッドの中に不利を生じさせる。そして、層識別構文要素構造２０８が適度な数の層にのみ適応するように、層識別構文要素２０８を構成することは、データストリーム２０４を根底にしているマルチレイヤビデオ符号器によって十分にサポートされることから別の応用を除外する。従って、ある拡張機構は、データストリーム２０４のモード間で切り替えできるように使用される。ここで、層識別構文要素構造２０８はより低い適数の層にのみ適応する。そして、層識別構文要素構造が高い数の層および情報２１４に適応するモードは、これらのモード間の切り替えに追加的または代替的に関与する。
【0018】
ハイレベル構文パケット２１６の妥当性の範囲は、マルチレイヤビデオ信号２０４の全体を取り巻くけれども、例えば、それらはマルチレイヤビデオ信号２０４が時間的に分割される大きな塊と関連するように、パケット２１６が属する既定の部分がより小さいことも可能である。それぞれの大きな塊は画像のシーケンスである。例えば、ＤＡＳＨまたは別の適応したストリーミングプロトコルを使用して、マルチレイヤビデオエンコーダ２００は、ちょうど言及した既定の部分のユニットの中のビットストリーム２０４の中に符号化された層数、ツリー構造２１２の形式のレイヤ間依存、および／または、層識別構文要素構造２０８について拡張または不拡張の間の切り替えを変更する。とにかく、ハイレベル構文パケット２１６を周期的に送信することは、受信者を、ランダムアクセスに基づいて、両者間でマルチレイヤビデオ信号２１４を復号化し始めるために複数のランダムアクセス時間瞬間を持つことができるようにする。
【0019】
図２は、マルチレイヤデータストリームを受信するための装置も例示的に示す。例えば、オプションのネットワーク要素２１８は、マルチレイヤビデオデータストリーム２０４を受信し、それをマルチレイヤビデオデータストリーム２０４の受信者に転送するために処理する。従って、図２は、マルチレイヤビデオデータストリーム２０４を復号するように構成されたマルチレイヤビデオデコーダ２２０も示す。両方の実体、すなわちネットワーク要素２１８およびマルチレイヤビデオデコーダ２２０は、マルチレイヤデータストリーム２０４を処理するための装置のための例を形成する。
【0020】
ネットワーク要素２１８は、そこから様々な層間のレイヤ間予測を使って、マルチレイヤデータストリーム２０４を復号できる必要はない。これにもかかわらず、ネットワーク要素２１８およびマルチレイヤビデオデコーダ２２０（すなわち受信者）は、ツリー２１２によって定義されるように、様々な層とそれらの層間のレイヤ間依存とに関連するパケット２０６を知らせる必要がある。ネットワーク要素２１８は、例えば、提供された追加の情報量がネットワーク要素２１８とマルチレイヤビデオデコーダ２２０との間の別の連結内でそれぞれ予備的に必要ではない層に関連したデータストリーム２０４のパケット２０６を除去する。例えば、連結内のビットレート欠点のために、追加の情報量または同類を再生するための受信者の無能力を除去する。同様に、マルチレイヤビデオデコーダ２２０も、現在利用できる計算能力、空間解像度などの再生装置のディスプレイ性能、インプットビューまたは同類の最大数のような外部パラメータに対応した特定の層のパケット２０６のうちのいくつかを捨てることを決める。すなわち、装置２１８／２２０は、パケット２０６の層識別構文要素構造２０８を読み取り、もし存在するならば、層間のレイヤ間依存を情報２１４から導き出し、および／または、情報２１４に対応した層識別構文要素構造２０８に関する拡張モードまたは不拡張モードの間で切り替え、および／または、情報２１４から層に関する別の特徴を読み取ることが可能である。
【0021】
それを超えて、マルチレイヤビデオデコーダ２２０は、その層と、この層が相互予測依存によって相互に関連した全ての層とに関連したパケット２０６の情報を収集して使用することによって、所定のレベルに引き上げて、インバウンド（帰航）データストリーム２０４からビデオ素材２０２を再構成することができる（ツリー構造２１２を参照）。すなわち、上で概説したようにマルチレイヤビデオデコーダ２２０は、マルチレイヤビデオデコーダ２２０がその層の１つ以上のリファレンス層のパケット２０６から導き出すレイヤ間予測に関する予測残差として、特定の層のパケット２０６を使用する。この点について、マルチレイヤビデオデコーダ２２０は、上で概説したように、変換残差復号化、ハイブリッドビデオ復号化、階層的多ツリー副分割化および／または別の符号化概念を使用するデコーダである。
【0022】
完全性だけのために、図２は、マルチレイヤビデオエンコーダ２００とデータストリーム２０４が、異なる時間瞬間または画像に属しているパケット２０６が互いに挟まれない方法で、時間瞬間毎に連続的アクセスユニット２２２を形成するように、パケット２０６がデータストリーム２０４内に含まれるように例示的に提供されることを示す。それぞれは、そのアクセスユニット２２２の個々の時間瞬間に属しているパケット２０６を収集している。その結果、別の時間瞬間に属しているパケット２０６は、データストリーム２０４内において、このアクセスユニット２２２の前又は後に続くかのいずれかである。しかし、この制限は説明目的のために選択されただけであり、データストリーム２０４内のパケット２０６のより緩和した配置が代わりに選択されてもよいことは注意するべきである。
【0023】
以下において、ツリー構造２１２に従ってレイヤ間依存を信号で伝える可能性が、より詳細に説明される。前記したように、この信号は情報２１４を含む。この可能性に従って、層はクラスタにグループ化される。データストリーム内において、一方のクラスタ間のレイヤ間依存と他方のクラスタ内の層とが、別々に信号で伝えられる。その限りにおいて、以下で前面に出される説明は、レイヤ間依存２１２を信号で伝えるために、図２の情報２１４を実施する可能性を表現している。しかし、既に上で注意したように、図３に関して以下に説明される詳細は、図２に発表された詳細に限定されない。むしろ図２は図３に関する説明のための可能な実施貯蔵所と見られるべきである。
【0024】
図３は、図２のネットワーク要素２１８またはマルチレイヤビデオデコーダ２２０であるネットワーク装置１８を説明する。そして、マルチレイヤデータストリーム１０は、図２のデータストリーム２０４のように処理するように構成される。
【0025】
図３は、層ＩＤ ｌＩＤによって識別された異なる層で、ビデオ素材をその中に符号化されたマルチレイヤデータストリーム１０を説明する。個々の層は、異なる情報量レベルと一致する。この点における可能性は、既に図２に関して議論されているけれども、より容易な理解のために、特定のビューをデータストリーム１０に追加している個々の層について考える。しかし、これは図３の説明を制限することを意図しない。個々の層は、代替的に、情報量（例えば、ビューの数および空間解像度の数または同類など）のための異なる手段の結合に一致している。
【0026】
従って、マルチレイヤデータストリーム１０は、図２のパケット２０６に例示的に一致している複数のパケット１２から成る。そのようなパケット１２（または２０６）は、例えばビデオ信号１０の中に符号化された個々の画像の波面並列処理を許している副ストリームである。副ストリームは、順に、ＮＡＬユニット、スライスまたは同類などのより小さいユニットから構成されている。しかし、図２および図３のパケット１２またはパケット２０６は、ＮＡＬユニット、スライスまたは別のユニットでもあることが、同封して提出される。
【0027】
個々のパケット１２は、異なる層のうちの１つと関連する。そして、マルチレイヤデータストリーム１０のビット消費を減らすために、個々のパケット１２がデータストリーム１０のより低い層の特定の副セットのパケットに「残差」を単に追加するように、レイヤ間予測が使用される。符号１４で示されるように、「より低い層」は個々の層毎に小さいドットによって説明される。
【0028】
図３において示された実施の形態に従って、レイヤ間予測依存は、以下でより詳細に説明され、図において実線１６を使用して説明されるように限定される。特に、層ＩＤは、以下において説明されるように、２つの値の連結によって形成される。特に、マルチレイヤデータストリーム１０を受信するネットワーク装置は、パケット１２毎に、図２のリファレンス記号２０８を使用して示された層ＩＤ構文構造を読み取る。しかし、ここは、ベース層ＩＤフィールド２０と、条件付きで、－例えば拡張機構をオンとオフに切り換えるベース層ＩＤフィールドまたはハイレベル構文要素に条件的に依存する－拡張層ＩＤフィールド２２とから成る。例示的に、両方のフィールドを持っているパケット１２のみが、図において示される。しかし、前記したように、ベース層ＩＤフィールド２０の１つ以上の値が、個々のパケット１２のためのフィールド２２の不存在を信号で伝える。例えば、拡張機能全体は、データストリームの中の拡張フラグを介して、データストリームの中でオン／オフ切り換え可能である。拡張層ＩＤフィールドを必要とする又は必要としない可能な条件は、前記したように、ベース層ＩＤフィールドが０である、または、特定のビットを設定する又は設定しない、または、フィールド２０の副部分内の特定の値を仮定する、または、ベース層ＩＤフィールドがある値より大きい又は小さい値を持っていることである。別の例が以下に発表される。
【0029】
層ＩＤ構文構造２０と２２に基づいて、ネットワーク装置１８は、個々のパケット１２が関連する層を識別している層ＩＤ、すなわちｌＩＤを導き出す。異なる可能性は以下に説明される。ネットワーク装置１８は、マルチレイヤデータストリーム１０から、例えば前記で識別されたｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇｓを含んでいる第１相互依存構文構造、および、例えば以下で示されたｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇおよび／またはｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇｓを含んでいる第２相互依存構文構造も読み取る。第１相互依存構文構造は、ベース層ＩＤフィールド２０によって表現可能な異なる値のペア間の相互依存を２進数の方法で示す。これに対して、第２相互依存構文構造は、拡張層ＩＤフィールドによって表現可能な異なる値のペア間の相互依存を２進数（バイナリ）の方法で示す。両方の相互依存構文構造に基づいて、ネットワーク装置１８は、その時、異なる層（図において符号１４で描かれたものなど）の間のレイヤ間予測依存を明らかにしているレイヤ間依存マトリクスを形成する。派生される方法は、以下において、第１および第２相互依存構文構造に関係するフォアーネクストループを使用している擬似符号を使用して説明され、そして、以下の図に関しても説明される。しかし、信号で伝えられたレイヤ間予測依存が、実際にデータストリームにおいて使われることは必要ないことは注意するべきである。むしろ、可能なレイヤ間予測依存の信号化は、デコーダまたは別のネットワーク装置に、相互に関係付けられたパケット、すなわち、リファレンスパケットに先がけてレイヤ間予測依存に従って別のパケットによってリファレンスされたパケットが、適切な順序で利用可能である必要なステップを取ることを指示するためにある。
【0030】
以下の説明から明らかになるように、レイヤ間依存マトリクス１４の構築は、第２相互依存構文構造が、レイヤ間依存マトリクス１４がベース層ＩＤフィールド２０内の同じ値から導き出され、その結果、それと関連している層ＩＤの層間のレイヤ間予測依存に関連する全ての事例に適用されるように実行される。また、以下に、より詳細に説明された別の実施の形態に従って、第２相互依存構文構造が、例えばベース層ＩＤフィールド２０の個々の可能な値に対して、または、ベース層ＩＤフィールド２０の可能な値の副セットに対して読み取られ、そして、ビットストリーム１０内に数回送信される。一方、第２相互依存構文構造の様々な具体例が、索引付けを使用して、例えば、以下に示された例の中のｉｎｃｌｕｄｅｄ＿ｎｕｈ＿ｌａｙｅｒ＿ｉｄを使用するなどして、ベースの層ＩＤフィールド２０の可能な値に関係付けられる。別の実施の形態においてさえ、構造は、全ての可能なレイヤ間予測依存が許されて、第２相互依存構文構造の方法で、すなわち第１相互依存構文構造が相互依存の存在を示すベース層ＩＤフィールドの異なる値のペア毎に第２相互依存構文構造を送信することによって描写できることにおいて一般化される。
【0031】
言い換えると、図４においてさらに説明されるように、図３は、別々の相互依存構文構造２４と２６が、データストリームの個々のパケット内のフィールド２０と２２によって提供されたベース層ＩＤおよび拡張層ＩＤの範囲の間のインタフェースと一致している両方の相互依存構文構造２４と２６の範囲の間のインタフェースを持つ階層的な方法で、レイヤ間依存を説明するために使用されることに従って、レイヤ間依存を信号で伝えるための例を示す。フィールド２０と２２によって提供されるようなベース層ＩＤおよび拡張層ＩＤは、フィールド２０と２２が構成される個々のパケットの層ＩＤを独自に定義する。拡張層ＩＤおよびベース層ＩＤの結合によって表現可能な全ての表現可能な層ＩＤのセットは、円２８内でドット３０によって示される。すなわち、個々のドット３０は、ベース層ＩＤおよび拡張層ＩＤの異なるカップルに一致している。例えば、層ＩＤは、ベース層ＩＤおよび拡張層ＩＤの連結である。フィールド２０だけによって提供されるベース層ＩＤを使用して、層ＩＤ３０の完全なセット２８が、以下のクラスタ３２と称される層ＩＤと互いに素であるセット３２に副分割される。特定のクラスタ３２に属している全ての層ＩＤは、同じベース層ＩＤを持つ。以前に図２に関して説明したように、層ＩＤ３０と関連した層が、ドット３０の間の点線を使用して、図４において説明したこれらのレイヤ間依存を持つレイヤ間予測のためにツリー似の方法で相互に連結される。理解し易くするために、実際のレイヤ間依存の副セットだけが図４において説明される。
【0032】
ともかく、２つのクラスタ３２の間の連結化（このペアの第１クラスタ３２の層と第２クラスタ３２の層との間のレイヤ間依存の方法による）が、第１相互依存構文構造２４の方法によって示される。すなわち、第１相互依存構文構造２４は、層間の相互依存を粗く又はクラスタ状（群れ状）に説明する。図４おいて、これらの相互依存は、クラスタ３２の間の実線を使って説明される。第１クラスタの最低１つの層が第２クラスタの中の１つのクラスタに連結している第１および第２クラスタ３２の全てのペアは、相互連結され、第１相互依存構文構造２４において表示されている。第２相互依存構文構造２６は、その時、第１相互依存構文構造２４によって相互連結されると表示されたクラスタ３２のペアの層のどちらが、レイヤ間予測によって互いに実際に関連するかを明確にする。すなわち、第２相互依存構文構造２６は、微細粒状の相互依存を明確にする。しかし、第２相互依存構文構造２６は、個々のクラスタ３２内の層の間の相互依存、すなわち層間の内部クラスタ依存も個別に定義する。図４において、例えば６つのクラスタ３２が示され、従って、第２相互依存構文構造２６が別のクラスタ３２の層間の微細粒状の相互依存を調節するクラスタ３２の１５個の可能なペアに加えて、第２相互依存構文構造２６が相互依存を内部で調節する６つのクラスタを生じる。上で概説したように、そして、以下に更に概説するように、従って、最大で第２相互依存構文構造の１個～２１個の実例３４が、つまり、個別にクラスタ当たり１つとクラスタ３２の連結されたペア当たり１つとが存在する。明らかに、第２相互依存構文構造２６は、第１相互依存構文構造２４によって連結されないように信号で伝えられたクラスタ３２のペアに対して、信号で伝えられる必要はなく、従って、貴重なサイド情報ビットレートが抑制される。クラスタ３２の異なるペアの層のレイヤ間依存を説明するために第２相互依存構文構造２６を使う場合において、クラスタ３２当たりの層数が、全てのクラスタ３２に対して等しいことに注意するべきである。仮に、層ＩＤがベース層ＩＤおよび拡張層ＩＤの連結を使って説明されるならば、これは典型的な例である。しかし、クラスタ３２の層数がクラスタ３２の間で理論上変わることは注意するべきである。その典型的な例において、第２相互依存構文構造２６の個々の実例３４が、例えばデータストリーム内でクラスタ３２の個々の相互連結されたペアに対して信号で伝えられ、最低１つの実例３４が個々のクラスタサイズに対して送信される。
【0033】
図３は、例えば、層ＩＤが、最上位桁としてベース層ＩＤを使い、より下位の桁として拡張層ＩＤを使うことによって、ベース層ＩＤおよび拡張層ＩＤから得られる場合を説明する。図３は、１つの実例３４が１つのクラスタ内の層のレイヤ間依存を記述するために用いられ、別の実例３４が異なるクラスタの層間の依存を記述するために用いられる例示的な場合も説明する。完全性のために、図３のマトリクス１４が層ＩＤとして多くの線と多くの列を持つことが、注意される。対角線の下半分だけが満たされる。なぜなら、単に、どの層も、レイヤ間予測の方法で、前の層に（すなわち階層的に低い層に）依存するからである。図３の例において、列数は、レイヤ間予測の使用によって別の層（すなわちベース層）に依存する層の層ＩＤと一致している。これらのベース層は、例えば２進数によって示される。２進数のゼロが、個々の層を予測しているレイヤ間に関与していない層を示す一方、その層ＩＤは現在の列と一致する。その限りにおいて、図３の実施の形態において、第２相互依存構文構造２６はマトリクス１４の副マトリクスを多少説明する。
【0034】
上に既に記述したように、第１相互依存構文構成２４および第２相互依存構文構成２６は、ハイレベルパケット２１６内の情報２１４によって構成される（図２と比較してください）。図５は、第１相互依存構文構造２４が符号３６で描かれた層クラスタの間の相互依存を明らかにする例を説明する。例えば、ベース層ＩＤ２を持つクラスタは、ベース層ＩＤ２および１を持つクラスタに依存する。
【0035】
また、第２相互依存構文構造の第１実例３４は、データストリームの中に存在し、副マトリクス３８の形式で図５の中に描かれた層の間の内部クラスタ依存を調節する。さらに、図５の例に従って、データストリームは、また、異なるクラスタの層の層状相互依存を調節する第２相互依存構文構造２６の実例３４を含む。特に、第２実例は、リファレンスされたクラスタのエンハンスメント層ＩＤ当たり１つの行、および、リファレンスしているクラスタのエンハンスメント層ＩＤ当たり１つの列を持っている副マトリクス４０を介して、異なるクラスタの層間の依存を説明する。
【0036】
図５の例において、副マトリクス３８は、マトリクス３６がクラスタ間の相互依存を示す個々の位置（すなわち、１が置かれる個々の位置）に置かれ、そのクラスタは同じベース層ＩＤのクラスタ（すなわち、マトリクス３６の対角線上にあるクラスタ）である。そして、副マトリクス４０は、マトリクス３６が異なるベース層ＩＤのクラスタ間の相互依存を「１」で示す位置に置かれる。結果は符号４２で示される。
【0037】
マトリクス４２などのマトリクスを介するレイヤ間依存の説明が、レイヤ間依存を説明するための単なる１つの例であることは注意すべきである。別の説明が同様に使われうる。マトリクス３６～４０が第１および第２相互依存構文構造によって符号化される方法は、次の通りである。第１相互依存構文構造２４は、対角線の下でかつ対角線を含むマトリクス３６の各係数に対して、２進値を信号で伝える。マトリクス３８を標示する第２相互依存構文構造２６の実例３４は、対角線の下でかつ対角線を含むマトリクス３８の各係数に対して、２進値を信号で伝える。マトリクス４０を標示する第２相互依存構文構造２６の実例３４は、マトリクス４０の全ての係数に対して、２進値を信号で伝える。
【0038】
レイヤ間依存をどのように信号で伝えるかについて可能性を説明した後に、より詳細な実例がＨＥＶＣ規格の拡張として以下に例示的に提供される。
【0039】
特に、層識別クラスタ化およびクラスタ依存信号化は、存在する符号器の中に次の通り構築される。
【0040】
２つの構文要素ｎｕｈ＿ｌａｙｅｒ＿ｉｄとｌａｙｅｒ＿ｉｄ＿ｅｘｔが、ビデオビットストリーム内の符号化された層を、いわゆる互いの空間関係などの特性に基づいて依存又は別の物を符号化しているクラスタの中にグループ化するために使用される。クラスタの中への層識別子の構造化は、個々のクラスタ内の等しく構造化された符号化依存を持つクラスタに対して許される。すなわち、定義されたクラスタの全て又は副セット内の符号化依存は、同じである。特定の層のリファレンス層を決めるために、依存フラグの追加のセットとしてクラスタ内の依存を信号で伝えること、および、依存を既存の依存信号化（ＨＥＶＣ拡張のＶＰＳ拡張の中のｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇと比較してください）に結合することは、図６に記述されるように行われる。
【0041】
０と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、拡張インデックス（索引）ｊを持つ層が、同じ層クラスタ内の拡張インデックスｉを持つ層に対して、直接的リファレンス層でないことを規定する。１と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、拡張インデックスｊを持つ層が、同じクラスタ内の拡張インデックスｉを持つ層に対して、直接的リファレンス層であることを規定する。ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０から（１＜＜ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎ）－１の範囲内のｉとｊに対して、存在しないとき、それは０に等しいと推定される。
【0042】
代替えの構文は、未使用の層識別子に依存を符号化することを信号で伝えることを避けるために、ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔによってｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｃｅｎｃｙ＿ｆｌａｇ構文要素のループを制限する。
【0043】
クラスタ内の及びクラスタ間の符号化依存のより柔軟な信号は次の通り許される。
ａ）クラスタ毎に基づいてクラスタ内の依存を符号化する信号によって。
ｂ）クラスタ依存セットの数の定義、および、定義されたクラスタ依存セットが適用されるクラスタの識別（例えば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄによってどちらか一方）によって。
ｃ）クラスタ間の第１依存が信号で伝えられ、２つの依存するクラスタ内の層の第２依存が信号で伝えられる方法の中の依存の階層的信号によって。
ｄ）ｂ）とｃ）の組み合わせによって。従って、以下のデータが信号で伝えられる。
１．クラスタ間の依存（例えば、リファレンスのペアおよび依存するクラスタ）。
２．リファレンス（リファレンスされた）クラスタおよび依存する（リファレンスしている）クラスタ内の層間の依存を定義しているクラスタ依存セットの数。
３．個々のクラスタ依存セットに対して、クラスタ依存が適用する標示（１において信号で伝えられるように）。
クラスタ内の層間に依存があるとき、ｃ）とｄ）に対してクラスタが自身に依存できることに注意しなさい。
ａ）からｄ）は、構造化のために使用される特性空間（例えばカメラの空間的位置）が均一に使われないとき、層識別子の空間を構造化することを許す。１つの例が、空間密度が一定でない二次元カメラアレイ、または、矩形ではない二次元カメラアレイである。以下は、上記に従って、複数の方法において、クラスタ依存セットの定義を信号で伝えるための構文例を与える。
ａ）クラスタ毎に基づいてクラスタ内の依存を符号化する信号によって。
ｂ）クラスタ依存セットの数の定義、および、定義されたクラスタ依存セットが適用されるクラスタの識別（例えば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄによってどちらか一方）によって。
ｃ）クラスタ間の第１依存が信号で伝えられ、２つの依存するクラスタ内の層の第２依存が信号で伝えられる方法の中の依存の階層的信号によって。
ｄ）ｂ）とｃ）の組み合わせによって。従って、以下のデータが信号で伝えられる。
１．クラスタ間の依存（例えば、リファレンスのペアおよび依存するクラスタ）。
２．リファレンス（リファレンスされた）クラスタおよび依存する（リファレンスしている）クラスタ内の層間の依存を定義しているクラスタ依存セットの数。
３．個々のクラスタ依存セットに対して、クラスタ依存が適用する標示（１において信号で伝えられるように）。
クラスタ内の層間に依存があるとき、ｃ）とｄ）に対してクラスタが自身に依存できることに注意しなさい。
ａ）からｄ）は、構造化のために使用される特性空間（例えばカメラの空間的位置）が均一に使われないとき、層識別子の空間を構造化することを許す。１つの例が、空間密度が一定でない二次元カメラアレイ、または、矩形ではない二次元カメラアレイである。以下は、上記に従って、複数の方法において、クラスタ依存セットの定義を信号で伝えるための構文例を与える。
【0044】
ａ）図７は、クラスタ毎に基づいて、クラスタ内の依存を符号化することを定義するビデオパラメータセット（設定）拡張構文について例示的に実施の形態を与える。
【0045】
０と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊを持つ層またはクラスタが、インデックスｉを持つ層またはクラスタに対して、直接的なリファレンス層またはリファレンスクラスタでないことを規定する。１と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊを持つ層またはクラスタが、インデックスｉを持つ層またはクラスタに対して、直接的なリファレンス層またはリファレンスクラスタであることを規定する。ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内で、ｉとｊに対して存在しないとき、それは０に等しいと推定される。
０と等しいｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、拡張インデックスｊを持つ層が、同じ層クラスタ内の拡張インデックスｉを持つ層に対して、直接的なリファレンス層ではないことを規定する。１と等しいｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、拡張インデックスｊを持つ層が、同じクラスタ内の拡張インデックスｉを持つ層に対して、直接的なリファレンス層であることを規定する。ｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０からｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔの範囲内で、ｉとｊに対して存在しないとき、それは０に等しいと推定される。
０と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］は、拡張インデックスｋを持つ層が、ｉ番目の層クラスタ内の拡張インデックスｊを持つ層に対して、直接的なリファレンス層ではないことを規定する。１と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］は、拡張インデックスｋを持つ層が、ｉ番目の層クラスタ内の拡張インデックスｊを持つ層に対して、直接的なリファレンス層であることを規定する。ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］が、０からｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔの範囲内で、ｉ、ｊおよびｋに対して存在しないとき、それは０に等しいと推定される。
０と等しいｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、拡張インデックスｊを持つ層が、同じ層クラスタ内の拡張インデックスｉを持つ層に対して、直接的なリファレンス層ではないことを規定する。１と等しいｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、拡張インデックスｊを持つ層が、同じクラスタ内の拡張インデックスｉを持つ層に対して、直接的なリファレンス層であることを規定する。ｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０からｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔの範囲内で、ｉとｊに対して存在しないとき、それは０に等しいと推定される。
０と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］は、拡張インデックスｋを持つ層が、ｉ番目の層クラスタ内の拡張インデックスｊを持つ層に対して、直接的なリファレンス層ではないことを規定する。１と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］は、拡張インデックスｋを持つ層が、ｉ番目の層クラスタ内の拡張インデックスｊを持つ層に対して、直接的なリファレンス層であることを規定する。ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］が、０からｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔの範囲内で、ｉ、ｊおよびｋに対して存在しないとき、それは０に等しいと推定される。
【0046】
ｂ）図８は、クラスタ依存セットの数の信号（ｎｕｍｂｅｒ＿ｏｆ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓ）を通して、クラスタ内の依存を符号化すること、個々のクラスタ依存セット内の依存（ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ）を符号化すること、および、クラスタ（たとえば、クラスタの個々のｎｕｈ＿ｌａｙｅｒ＿ｉｄのためのポジティブなフラグを通して、与えられた構文要素ｉｎｃｌｕｄｅｄ＿ｎｕｈ＿ｌａｙｅｒ＿ｉｄによって識別されたクラスタ）を適用することを定義するビデオパラメータセット拡張の中の構文について例示的な実施の形態を与える。
【0047】
ｃ）図９は、クラスタ間の第１依存が信号で伝えられ、および、２つの依存するクラスタ内の層の第２依存だけが信号で伝えられる方法で、依存の階層的な信号のための例示的な実施の形態を与える。
【0048】
０と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊを持つ層またはクラスタが、インデックスｉを持つ層またはクラスタに対して、直接的なリファレンス層またはリファレンスクラスタではないことを規定する。１と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊを持つ層またはクラスタが、インデックスｉを持つ層又はリファレンスクラスタに対して、直接的なリファレンス層又はリファレンスクラスタであることを規定する。ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内で、ｉとｊに対して存在しないとき、それは０に等しいと推定される。
注記：仮に、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０より大きければ、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、クラスタ間の依存を信号で伝える。そうでなければ（ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０と等しいならば）、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、層のための依存を信号で伝える。
注記：仮に、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０より大きければ、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、クラスタ間の依存を信号で伝える。そうでなければ（ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０と等しいならば）、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、層のための依存を信号で伝える。
【0049】
０と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］［ｌ］は、ｊ番目のクラスタの中のｌ番目の層が、ｉ番目のクラスタの中のｋ番目の層に対して、直接的なリファレンス層ではないことを規定する。１と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］［ｌ］は、ｊ番目のクラスタの中のｌ番目の層が、ｉ番目のクラスタの中のｋ番目の層に対して、直接的なリファレンス層であることを規定する。ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］［ｌ］が存在しないとき、それは０に等しいと推定される。
【0050】
ｄ）図１０は、ｂ）とｃ）の組み合わせのための例示的な実施の形態を与える。
【0051】
０と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊを持つ層またはクラスタが、インデックスｉを持つ層またはクラスタに対して、直接的なリファレンス層またはリファレンスクラスタでないことを規定する。１と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊを持つ層またはクラスタが、インデックスｉを持つ層またはリファレンスクラスタに対して、直接的なリファレンス層またはリファレンスクラスタであることを規定する。ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内で、ｉとｊに対して存在しないとき、それは０に等しいと推定される。
注記：仮に、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０より大きければ、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、クラスタ間の依存を信号で伝える。そうでなければ（ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０と等しいならば）、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、層のための依存を信号で伝える。
注記：仮に、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０より大きければ、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、クラスタ間の依存を信号で伝える。そうでなければ（ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０と等しいならば）、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、層のための依存を信号で伝える。
【0052】
０と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｎ］［ｋ］［ｌ］は、ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］が１に等しいとき、ｊ番目のクラスタの中のｌ番目の層が、ｉ番目のクラスタの中のｋ番目の層に対して、直接的なリファレンス層ではないことを規定する。１と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｎ］［ｋ］［ｌ］は、ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］が１に等しいとき、ｊ番目のクラスタの中のｌ番目の層が、ｉ番目のクラスタの中のｋ番目の層に対して、直接的なリファレンス層であることを規定する。
０と等しいｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］は、ｉ番目のクラスタの中の層とｊ番目のクラスタの中の層との間の依存が、ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｎ］［ｋ］［ｌ］によって規定されないことを規定する。１と等しいｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］は、ｉ番目のクラスタの中の層とｊ番目のクラスタの中の層との間の依存が、ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｎ］［ｋ］［ｌ］によって規定されることを規定する。ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］が存在しないとき、それは０に等しいと推定される。ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］が、０から（ｎｕｍｂｅｒ＿ｏｆ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓ－１）の範囲内で、ｉとｊと全てのｎとの特定の結合に対して０と等しいとき、ｊ番目のクラスタの中の層は、ｉ番目のクラスタの中のどの層に対しても、直接的なリファレンス層でないことを含む。
０と等しいｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］は、ｉ番目のクラスタの中の層とｊ番目のクラスタの中の層との間の依存が、ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｎ］［ｋ］［ｌ］によって規定されないことを規定する。１と等しいｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］は、ｉ番目のクラスタの中の層とｊ番目のクラスタの中の層との間の依存が、ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｎ］［ｋ］［ｌ］によって規定されることを規定する。ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］が存在しないとき、それは０に等しいと推定される。ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］が、０から（ｎｕｍｂｅｒ＿ｏｆ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓ－１）の範囲内で、ｉとｊと全てのｎとの特定の結合に対して０と等しいとき、ｊ番目のクラスタの中の層は、ｉ番目のクラスタの中のどの層に対しても、直接的なリファレンス層でないことを含む。
【0053】
従って、ＨＥＶＣ拡張の中に図２から図５のクラスタに基づいた相互依存信号を実行する上の例において、図２のパケット２０６はスライスまたはスライスセグメントであり、パケット２１６は例えばビデオ、画像または連続パラメータセットなどのパラメータセットである。図７の構文例に従って、第１相互依存構文構造２４は、ｉ≦ｊを持つクラスタｉ、ｊの各ペアに対して、構文要素ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇを使って信号で伝えられる。ここで、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１は、ベース層ＩＤ－１の最大値である。従って、構文要素は、例えば図５の粗いマトリクス３６を明らかにする。ｕｎｉｑｕｅ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｉｅｓ＿ｆｌａｇと称する構文要素４４は、２つのオプション（第２相互依存構文構造２６の１つの実例は全てのベース層ＩＤに提出されて適用される、または、もう１つの実例は個々のベース層ＩＤｉに対して送られるいずれか）の間を区別する。第１ケースにおいて、フラグｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇは、共通して、ベース層ＩＤ毎に３８に従って副マトリクスを築く。第２ケースにおいて、フラグｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇは、別々に、ベース層ＩＤ毎に符号３８に従って副マトリクスを築く。ｕｎｉｑｕｅ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｉｅｓ＿ｆｌａｇは、両方のオプションの間を切り替える。従って、図７の場合において、仮に、ｕｎｉｑｕｅ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｉｅｓ＿ｆｌａｇが０に等しいならば、結果として生じる副マトリクス３８は、マトリクス３６内の、リファレンスしている及びリファレンスされたクラスタＩＤに等しいように一致している個々のポジションに置かれる。ここで、１はｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇによって示される。第１相互依存構文構造２４が異なるクラスタＩＤのクラスタ間の相互依存を示す残留ポジションは、既定の副マトリクス（すなわち、エンコーダ、ネットワーク要素およびマルチレイヤビデオデコーダなどの全ての参加装置によって知られている副マトリクス）を使用して、欠陥によって満たされる。１に等しいｕｎｉｑｕｅ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｉｅｓ＿ｆｌａｇの場合において、第１相互依存構文構造２４が、等しいリファレンスされた及びリファレンスしているクラスタＩＤのポジションで１を示す個々のポジションに対して、このまさしくそのクラスタＩＤのための別個の副マトリクスが、マトリクス４２の中の個々のポジションに、信号で伝えられて置かれる。従って、ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１クラスタのそれぞれの内部の層の数に一致する。
【0054】
図８の場合、第１相互依存構文構造２４は、図７の例と同じ方法で送られる：個々のクラスタＩＤに対して、クラスタＩＤ当たり１つのフラグは、個々のクラスタＩＤと等しい又はより小さい。フラグｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ４６は、上で既に概説していた構文要素ｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇを使って、図７の第１オプション間を切り換える。第２相互依存構文構造２６の実例の数が、構文要素ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇを使って、データストリームの中に提出されることに従う異なるモードが、ｎｕｍｂｅｒ＿ｏｆ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓと称される構文要素を使って、明示的に信号で伝えられる。これらの実例は、その時、個々の実例が構文要素ｉｎｃｌｕｄｅｄ＿ｎｕｈ＿ｌａｙｅｒ＿ｉｄ５０を使って適用されるクラスタＩＤを明示的に記載することによって、これらの実例が適用されるクラスタＩＤに関連する。この手段によって、第２相互依存構文構造２６の実例３４は、個々のクラスタＩＤに対して提出されない。むしろ、第２相互依存構文構造２６の実例のより小さい数のみが、１と等しいｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの場合に提出される。個々の実例は、実例に関連するクラスタＩＤに関連している。また、異なるクラスタの相互依存するペアが関係する限り、欠陥規則がマトリクス４２をそのようなポジション（クラスタ対角線の下側）で満たすために適用される。
【0055】
図９の例に従って、第２相互依存構文構造の信号は、第１相互依存構文構造について差し挟まれた方法で、例示的に信号で伝えられる。しかし、この差し挟みは代わりの実施の形態に従って除外される。ともかく、図９の実施の形態において、副マトリクス３８または４０（すなわち、第２相互依存構文構造２６の実例３４）は、第１相互依存構文構造２４が相互クラスタ依存を標示する（等しい又は等しくない）クラスタＩＤの個々のペアに対して提出される。構文例から導き出されるように、副マトリクス４０の送信は、副マトリクス３８より多いビットｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇを消費する。これは条件条項５２と条件条項５４からそれぞれ導き出すことができる。すなわち、クラスタ内部の相互依存規則のために第２相互依存構文構造２６の実例を送信することにおいて、カウンターｉによって示されたリファレンスしているクラスタＩＤは、カウンターｊによって示されたリファレンスされたクラスタＩＤに等しく、ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇは、エンハンスメント層ＩＤの結合のために、リファレンス及びリファレンスしている層（リファレンスされた層（ここではｌ）のエンハンスメント層ＩＤが、リファレンスされた層（ここではｋ）のエンハンスメント層ＩＤのエンハンスメント層ＩＤより小さい）に対してのみ送信される。すなわち、副マトリクス３８のｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇは、副マトリクス３８の対角線の下側のポジションに対してのみ送信される。別の場合において、すなわち、相互依存するクラスタペアｉ≠ｊのための第２相互依存構文構造２６の実例に対して、完全な副マトリクスが送信される。すなわち、フラグｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇが、副マトリクス４０のそれぞれのポジション毎に送信される。
【0056】
図１０の実施の形態は、図８及び図９の実施の形態の特定の特性：完全な副マトリクスを結合する。すなわち、第２相互依存構文構造２６の実例が、つまり数の中のｎｕｍｂｅｒ＿ｏｆ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓが提出される。そして、その時、これらの実例のそれぞれは、マトリクス３６のグリッドサイトに関連する。ここで、例えば、第２相互依存構文構造２６の個々の実例が、第１相互依存構文構造２４がそれによってクラスタ独立性の存在を示すために（符号５６と比較してください）それらの間で適用される。
【0057】
言い換えると、図９について説明したように、第２相互依存構文構造２６の複数の実例３４は、マルチレイヤデータストリームから、つまり、ベース層ＩＤによって表現できる数値であるＮを持つ値０＜ｋ≦ｊ≦ｎ＜Ｎのペア（ｊ、ｋ）に対して読み取られる。ｎはＮに等しいように設定される。しかし、また、ここに説明されるように、実際に使われたクラスタ濃度の明示的な信号は、送信オーバーヘッドを制限するために使われる。ペア（ｊ、ｋ）は詳察されて（図９の符号２４でｉとｊに亘るループを見てください）、そして、第２相互依存構文構造を読み取ることが、このペア間の相互依存の存在または不存在を示している第１相互依存構文構造に条件付きで依存しているペア（ｊ、ｋ）に対して実行される又は抑制される（図９の「ｉｆ（ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］）」を見てください、ここで、ｉ、ｊはｊとｋにそれぞれ一致する）。ｊ＝ｋを持つペア（ｊ、ｋ）に対して読み取る第２相互依存構文構造２６の実例３４は、ベース層ＩＤ ｊを持つそれらの間の層が、ベース層ＩＤ ｊを持つそれらの間の別の層に依存するレイヤ間予測であることを示す。ｊ＞ｋを持つ異なる値のペア（ｊ、ｋ）に対して読み取る第２相互依存構文構造２６の実例３４は、ベース層ＩＤ ｊを持つそれらの間の層が、ベース層ＩＤ ｋを持つそれらの間の層に依存するレイヤ間予測であることを示す。しかし、図７と同様に、第２相互依存構文構造２６の１つの実例が、マルチレイヤデータストリームから読み取られることもある。第２相互依存構文構造２６の１つの実例は、個々のクラスタ値ペア（ｊ、ｊ）に対して、共通して示す。ベース層ＩＤ ｊを持つそれらの間の層は、ベース層ＩＤ ｊを持つそれらの間の別の層に依存するレイヤ間予測である。図７の場合、仮に、ｕｎｉｑｕｅ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｉｅｓ＿ｆｌａｇが０に等しい、または、ｊ≠ｋを持つペア（ｊ、ｋ）に対して共通しているならば、第１相互依存構文構造２４は、個々のペア間の相互依存の存在を示す。ベース層ＩＤ ｊを持つそれらの間の層は、ベース層ＩＤ ｋを持つそれらの間の層に依存するレイヤ間予測である。拡張層ＩＤ２２によって表現できる数値をＭと示し、第２相互依存構文構造は、ベース層ＩＤ ｉを持つそれらの間の層が、ベース層ＩＤ ｉを持つそれらの間の別の層に依存するレイヤ間予測であることを示すために、拡張値０＜ｑ＜ｐ≦ｍ＜Ｍの個々のペア（ｐ、ｑ）に対して１つの２進数の値を含み、そして、拡張値ｐおよびベース層ＩＤ ｊを持つ層が、拡張値ｑおよびベース層ＩＤ ｋを持つ層に依存するレイヤ間予測であることを示すために、拡張値０＜ｐ、ｑ≦ｍ＜Ｍの個々のペアに対して１つの２進数の値を含む。また、明細書の中の別の場所で説明されるように、ｍがＭと等しいように設定される。しかし、また、ここに説明されるように、実際に使われた拡張濃度の明示的な信号は、送信オーバーヘッドを制限するために使われる。さらに、図８と図１０に示すように、インデックス構文構造５０が、第２相互依存構文構造の実例をベース層ＩＤ値の個々のペア（ｊ、ｋ）に関連付けるために使用される。ここで、図１０は、関連構文構造がペア（ｊ、ｋ）毎にフラグを含み、関連構文構造の構造解析が、第１相互依存構文構造がペア（ｊ、ｋ）間の相互依存の不存在（独立性）を示す値０＜ｋ≦ｊ≦ｎ＜Ｎのスキップペア（ｊ、ｋ）を含むことを明らかにする。
【0058】
すなわち、上のセクションの中で説明されたものは、「層識別子クラスタ化とクラスタ依存信号化」として示される。これに関して、装置はビデオデコーダである。このように動作するビデオデコーダは、復号化に対して、（拡張された）層ＩＤによって識別されたビットストリームのパケットを選択することができる。しかし、装置は、代わりに、ネットワーク利用（デコーダなどについての知識）のような外部のファクターに基づいた（拡張された）層ＩＤによって識別されたビットストリームのパケットを捨てることができるネットワーク要素であってもよい。
【0059】
当然、上で概説された概念は、概念によって改善されるべき符号器の既存のエンコーダも詰め込む。図２の１つのようなエンコーダは、異なる情報量レベルと一致している異なる層で、レイヤ間予測を使って、ビデオ素材をマルチレイヤデータストリーム１０の中に符号化するように構成される。マルチレイヤデータストリームは、それぞれが異なる層のうちの１つと関連する複数のパケット１２を含む。各層は、ベース層ＩＤ２０、または、ベース層ＩＤ２０及び拡張層ＩＤ２２によって索引を付けられ、マルチレイヤデータストリームの中に挿入される。第１相互依存構文構造２４は、ベース層ＩＤ２０によって表現できる異なる値のペア間の相互依存を示す。そして、第２相互依存構文構造２６は、拡張層ＩＤ２２によって表現できる異なる値のペア間の相互依存を示す。第１および第２相互依存構文構造をそのように設定することで、第１および第２相互依存構文構造に基づいて、異なる層間の可能なレイヤ間予測依存を明らかにするレイヤ間依存記述１４が、組み立て可能である。
【0060】
次に記述される詳細は、効率的な方法で、層関連の情報を信号で伝える可能性に関する。そのような層関連の情報は、例えば、図２から図１０について概説したレイヤ間依存に関する情報を含む。出発点として、しばしば上に示された状況が、個々のパケット２０６によって構成された層識別構文要素構造２０８（図２と比較してください）が、図１１において描かれたベース層ＩＤフィールド１０８と拡張層ＩＤフィールド１１２とから成ることに従って、使われる。図１１は、図２の中に示されるネットワーク要素２１８またはマルチレイヤビデオデコーダ２２０などのマルチレイヤデータストリームを処理するための装置１００を示す。装置１００は、一連のパケット（そのそれぞれが層識別構文要素を含む）から成るマルチレイヤビデオ信号を受信するように構成されたレシーバー１０２を含むとして示される。
【0061】
レシーバー１０２によって受信されたマルチレイヤビデオ信号１０４（図２の符号２０４と一致している）は、一連のパケット１０６（図２の符号２０６と一致している）から成る。各パケット１０６は、少なくともベース層ＩＤフィールド１０８を含む層識別構文要素構造（図２の符号２０８と一致している）を含み、ハイレベル構文要素またはベース層ＩＤフィールド１０８または拡張層ＩＤフィールド１１２の値に無条件に又は条件付きで依存する。
【0062】
例えば、パケット１０６は、マルチレイヤビデオ信号１０４が副分割されるＮＡＬユニット、スライス、タイル、画、または別のパケットである。また、装置１００に含まれた層識別エクステンダー１１０は、部分１１３のような複数のパケット１０６を含むマルチレイヤビデオ信号の既定の部分に対して、マルチレイヤビデオ信号の既定の部分１１３を含むパケット１０８の拡張層ＩＤフィールド１１２の最大限に仮定された値を示すマルチレイヤビデオ信号から最大構文要素を読み取る。既定の部分１１３は、例えば、符号化されたビデオシーケンス、大きな塊、画像のグループなどである。最大構文要素１１４は、例えばＶＰＳ ＮＡＬユニットのような部分１１３の特定のパケット内に含まれる。既定の部分１１３内のパケットのそれぞれに対して、エクステンダー１１０は、符号１０８、そして、条件付きで符号１１２から成る層ＩＤ構文構造に基づいて個々のパケットのために層ＩＤを決定する。例えば、構文要素１０８と１１２の両方の値の連結は、層ＩＤを生じる。
【0063】
エクステンダー１１０は、上で説明された最大構文要素を使って、拡張層ＩＤフィールドのビット長さを導き出す。代わりに、特別な構文要素が、この終わりに使用されてもよい。代わりでも、拡張層ＩＤフィールド１１２を表すためのビット数は、欠陥（デフォルト）によって固定される。
【0064】
エクステンダー１１０は、その時、最大限に仮定された値に基づいて、部分１１２内の層の最大数を決定する。例えば、エクステンダー１１０は、部分１１３に対して、部分１１３内のパケット１０６のベース層ＩＤフィールド１０８のための最大限に仮定された値を示すデータストリーム１０４から構文要素も読み取り、そして、層の最大数を決定するために両方の最大限に仮定された値を結合する。
【0065】
エクステンダー１１０は、層の最大数のそれぞれに対して、マルチレイヤビデオ信号の層特徴付け構文部分を、層の最大数と等しい回数繰り返して構文解析することによって、最低１つの特徴を決定する。利点的に、データストリーム１０４は、それぞれの可能な値に対して（すなわち、拡張層ＩＤフィールド１１２の全体の濃度全体に対してではなく、この濃度の外の実際に使われた副部分に対して）、最低１つの特徴を信号で伝えることを必要としない。さらに、最大構文要素１１４は、丁度記載されたように、データストリーム１０４内の拡張層ＩＤフィールド１１２の表現ビット数を導き出すように使われさえする。例えば、「特徴」は、別の層または同類に対するレイヤ間予測である。
【0066】
すなわち図１１について、データストリーム２０４／１０４内で、重要性の予め決められた部分１１３内の全てのパケット１０６／２０６を考慮するとき、拡張層ＩＤフィールドの表現できる状態の外のいくつが実際に仮定されるかの明示的な信号化を送ることが可能であることが説明される。例えば、拡張層ＩＤフィールド１１２がＮビットのフィールドであるとすると、２N個の拡張層ＩＤ１２０が拡張層ＩＤフィールド１１２によって表現できる。フィールド１１２の長さは、固定されるか、または信号で伝えられて、データストリーム内で、図１２の点線１２２を使って示された所定のハイレベル構文要素の方法によって設定される。しかし、いくつかの理由のために、利用できる拡張層ＩＤの全てが、重要性の予め決められた部分１１３内で使われない。例えば、図１２において、７個の表現できる拡張層ＩＤのみが使われることが描かれる、すなわちハッチングの方法によって描かれる。
【0067】
図１１に従って、最大構文要素１１４が、拡張層ＩＤフィールド１１２の実際に使われた／仮定された値のこの数を示す。この構文要素１１４のため、拡張層ＩＤフィールド１１２の表現できる値の完全な数に対してというよりも、むしろ拡張層ＩＤの実際に仮定された数についてのみ層特定情報をデータストリームの中に挿入することが実現できる。従って、図１２の符号１２２で説明されるように、マルチレイヤビデオ信号を構文解析している装置は、例えば、拡張層ＩＤフィールドの実際に利用できる／表現できる値の完全な数よりもむしろ構文要素１１４によって示された層の最大数に等しい回数だけ、マルチレイヤビデオ信号の所定の層特徴付け構文部分１２４を構文解析する。データストリームによって消費されたサイド情報量は、従ってより低く保持される。例えば図６から図１０の例において、拡張層ＩＤフィールド１１２の表現できる値の最大数と等しいようにこの値（ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ）を設定するよりもむしろ、構文要素１１４によって示される拡張状態の最大限に仮定された数と等しいようにｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔを設定することが実現できる。従って、「特徴付け構文部分」１２４は、以前に提出されたフラグｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇによって具体的に示される。
【0068】
上で既に概説したように、フィールド１１２のビット長さの存在／信号化はオプションである。ともかく、構文要素１１４が実際に使用した／アクティブな拡張層ＩＤの数を示す粒状性／忠実性は、構文要素１２２によって設定された拡張層ＩＤフィールド１１２の利用できる／表現できる値の数をより粗く設定することに比べて増大する。好ましくは、構文要素１１４が拡張層ＩＤフィールド１１２の実際に仮定された値の数を示す忠実性または粒状性は、実際に仮定された値の正確な数を示すために極めて十分である。代わりに、ものの間のどこかの忠実性／粒状性、および、構文要素１２２によって提供されたフィールド１１２の利用できる／表現できる値の最大数の信号化の忠実性／粒状性が同様に実現できる。すなわち、最大構文要素１１４は、拡張層ＩＤフィールドのビット長さであるｎを持つ（ｎ－１）2より小さい又は等しいユニットの中の拡張層ＩＤフィールド１０８の最大限に仮定された値を示す。
【0069】
従って、図１１と図１２に従って、ネットワーク要素またはマルチレイヤビデオデコーダなどの装置が、レシーバー１０２およびエクステンダー１１０を含むことが説明される。レシーバー１０２は、一連のパケット１０６から成るマルチレイヤビデオ信号１０４を受信するように構成されている。パケット１０６のそれぞれは、ベース層ＩＤフィールドおよびことによると条件付きのみで拡張層ＩＤフィールド１１２から成る層識別構文要素構造を含む。層識別エクステンダー１１０は、一連のパケット１０６の外の複数のパケットを含むマルチレイヤビデオ信号の既定の部分１１３に対して、マルチレイヤビデオ信号１０４から最大構文要素１１４読み取るように構成されている。最大構文要素１１４は、既定の部分１１３によって構成されたパケット１０６の間の拡張層ＩＤフィールド１１２の最大限に仮定された値を示す。エクステンダー１１０は、既定の部分１１３内のパケット１０６のそれぞれに対して、上で概説されたフィールド１０８と１１２のベース層ＩＤと拡張層ＩＤとを連結することなどによって、層識別構文要素構造に基づいた個々のパケット１０６のための層ＩＤを決定する。エクステンダー１１０は、また、最大限に仮定された値に基づいた既定の部分１１３内の層の最大数を決定し、層の最大数のそれぞれに対して、層特徴付け構文部分１０４を、層の最大数と等しい回数繰り返して構文解析することによって、最低１つの特徴を決定する。「層の最大数」は、図１１と１２の実施の形態を図２～図１０について上記で概説した実施の形態と結合するとき、クラスタ当たり層の最大数を示す。この場合、「層の最大数」の決定は、例えば、最大限に仮定された値を「層の最大数」として直接に採用する。「最低１つの特徴」は、第２相互依存構文構造内のレイヤ間依存を示しているフラグの数である。しかし、特徴の別の例は、個々の層ＩＤに対して設定された一致している符号化パラメータのデータストリーム内の信号化でもある。その場合、「層の最大数」は、使われた又は表現できるベース層ＩＤの数×最大限に仮定された値、すなわち実際に使用された／仮定された拡張層ＩＤの数と等しいように決定される。別の例は同様に実現可能である。ともかく、構文要素１１４の方法によって実際に仮定された値の伝達は、貴重なサイド情報ビットレートを保存することを可能にする。
【0070】
【0071】
【0072】
ＨＥＶＣにおいて、層識別子変数（ＬａｙｅｒＩＤと称する）は、ビデオおよびメタデータパケットのヘッダー、例えばビデオまたはメタデータパケットの大きな塊のそれぞれの中において信号で伝えられたｎｕｈ＿ｌａｙｅｒ＿ｉｄおよび追加の情報の明示的に信号で伝えられた層識別子から導き出され、その識別のために使われるように、特定のデータパケットの新しい可変のＬａｙｅｒＩｄを形成する。
【0073】
図１１と図１２に従って信号で伝えられた追加の情報は、特定のビデオまたはメタデータパケットがエンハンスメント層（向上層）に属し、それ故、レガシー（古くて機能的には劣るけれども普及していて替えることができない）装置のみベース層と互換性を維持することを与えられた追加の構文要素（ビデオまたはメタデータパケットのヘッダーまたはペイロードのいくらかの部分内のｌａｙｅｒ＿ｉｄ＿ｅｘｔと比較してください）を含む。ビデオまたはメタデータパケットが、ベース層に属すけれども、有能な装置を処理しているエンハンスメント層によって処理されるとき、デフォルト値はｌａｙｅｒ＿ｉｄ＿ｅｘｔに対して仮定される。
【0074】
図１３は、ＨＥＶＣ符号化ビデオのエンハンスメント層（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＞０と比較してください）のビデオデータパケットの中に含まれるスライスヘッダーの中の構文要素ｌａｙｅｒ＿ｉｄ＿ｅｘｔとして、追加の情報を信号で伝えるスライスセグメントヘッダーのための例を与える。
【0075】
数学的な操作は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄとｌａｙｅｒ＿ｉｄ＿ｅｘｔを、より大きい識別子空間を許し、かつｎｕｈ＿ｌａｙｅｒ＿ｉｄとｌａｙｅｒ＿ｉｄ＿ｅｘｔの２つの値の特別な組み合わせに対して特別であるＬａｙｅｒＩｄの中に結合するために使われる。数学的な操作は、例えば以下のように、ＬａｙｅｒＩｄ変数のＭＳＢとしてｎｕｈ＿ｌａｙｅｒ＿ｉｄのビットが、そして、ＬａｙｅｒＩｄ変数のＬＳＢとしてｌａｙｅｒ＿ｉｄ＿ｅｘｔのビットが使われる（または、逆もまた同様である）。
【0076】
可変のＬａｙｅｒＩｄは次の通り決定される。そこで、ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎはビットについてのｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の長さである。
【0077】
ＬａｙｅｒＩｄ＝（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＜＜ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ）＋ｌａｙｅｒ＿ｉｄ＿ｅｘｔ
【0078】
図１１と図１２の概念は、送られたデータ量を効率的に利用するために、ビデオまたはメタデータパケットのヘッダーまたはペイロードのいくらかの部分の追加の情報（上のＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎと比較してください）を伝えるために使用されるビットの量の明示的な信号化を含む。図１４は、ＨＥＶＣビデオパラメータセット拡張構文などのメタデータパケットにおいて信号で伝えているＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ値の例示的な構文と意味を与える。
【0079】
ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎは、ＬａｙｅｒＩｄ範囲を拡張するために使われるビット数を示す。
【0080】
図１１と図１２の概念は、符号化されたビデオビットストリーム（例えばｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ）において使われたｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の最大値の明示的な信号化を含む。それに基づいて、ビデオまたはメタデータパケットのヘッダーまたはペイロードのいくらかの部分の追加の情報（上のＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎと比較してください）を伝えるために必要なビットの最低可能量が、送られたデータ量を効率的に利用するために導き出される。図１５は、ＨＥＶＣビデオパラメータセット拡張構文などのメタデータパケットにおいて信号で伝えているｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素値の最大値の構文と意味を例示的に与える。
【0081】
ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、符号化されたビデオシーケンス内のスライスヘッダーの中のｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の最大値を示す。
発明の上記の拡張に依存しているｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の意味の２つの例示的なバリエーションが、以下において与えられる。
ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、層を識別するために、ｎｕｈ＿ｌａｙｅｒ＿ｉｄとの結合において使用される。構文要素ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎビットを使って符号化される。存在しないとき、その値は０と推定される。
ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、層を識別するために、ｎｕｈ＿ｌａｙｅｒ＿ｉｄとの結合において使用される。構文要素ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、符号化されたＣｅｉｌ（Ｌｏｇ２（ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ））ビットである。存在しないとき、その値は０と推定される。
発明の上記の拡張に依存しているｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の意味の２つの例示的なバリエーションが、以下において与えられる。
ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、層を識別するために、ｎｕｈ＿ｌａｙｅｒ＿ｉｄとの結合において使用される。構文要素ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎビットを使って符号化される。存在しないとき、その値は０と推定される。
ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、層を識別するために、ｎｕｈ＿ｌａｙｅｒ＿ｉｄとの結合において使用される。構文要素ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、符号化されたＣｅｉｌ（Ｌｏｇ２（ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ））ビットである。存在しないとき、その値は０と推定される。
【0082】
【0083】
層にされた符号化シナリオにおいて、図１７のビデオパラメータセット拡張のための構文テーブルで例示的に与えられるように、層識別子またはその最大数に関連する信号化は、正規の明示的な層識別子空間（ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値範囲と比較してください）の代わりに拡張層識別子空間（ＬａｙｅｒＩｄの値範囲と比較してください）をカバーするために適合される。ここで、可変のＶｐｓＭａｘＮｕｍＬａｙｅｒｓが、次の通り例示的に与えられる。
拡張層の範囲の中の層の最大数を規定している可変のＶｐｓＭａｘＮｕｍＬａｙｅｒｓは、（ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）＊２＾layer＿id＿ext＿len．＋１と等しく設定される。または
拡張層の範囲の中の層の最大数を規定している可変のＶｐｓＭａｘＮｕｍＬａｙｅｒｓは、（ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）＊ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ．＋１と等しく設定される。
拡張層の範囲の中の層の最大数を規定している可変のＶｐｓＭａｘＮｕｍＬａｙｅｒｓは、（ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）＊２＾layer＿id＿ext＿len．＋１と等しく設定される。または
拡張層の範囲の中の層の最大数を規定している可変のＶｐｓＭａｘＮｕｍＬａｙｅｒｓは、（ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）＊ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ．＋１と等しく設定される。
【0084】
ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］は、ｉ番目の層のＶＣＬ ＮＡＬユニットと関連したＬａｙｅｒＩｄ値の値を規定する。０からＶｐｓＭａｘＮｕｍＬａｙｅｒｓ－１の範囲内のｉに対して、包括的に、存在しないとき、ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］の値はｉに等しいと推定される。
【0085】
ｉが０より大きいとき、ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］は、ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ－１］より大きい。０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内のｉに対して、包括的に、可変のＬａｙｅｒＩｄＩｎＶｐｓ［ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］］はｉと等しく設定される。
【0086】
ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ］は、ｉ番目の層のｊ番目の現在のスケーラビリティ次元タイプの識別子を規定する。ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ］の表現のために使われたビット数は、ｄｉｍｅｎｓｉｏｎ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１［ｊ］＋１ビットである。ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ］が、０からＮｕｍＳｃａｌａｂｉｌｉｔｙＴｙｐｅｓ－１の範囲内のｊに対して、存在しないとき、包括的に、ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ］は、（（ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］＆（（１＜＜ｄｉｍＢｉｔＯｆｆｓｅｔ［ｊ＋１］）？１））＞＞ｄｉｍＢｉｔＯｆｆｓｅｔ［ｊ］）に等しいと推定される。
【0087】
ｉ番目の層のｓｍＩｄｘ番目のスケーラビリティ次元タイプの識別子を規定している可変のＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］［ｓｍＩｄｘ］、ｉ番目の層のビュー識別子を規定している可変のＶｉｅｗＩｄ［ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］］、および、ｉ番目の層がビュースケーラビリティ拡張層であるかどうかを規定している可変のＶｉｅｗＳｃａｌＥｘｔＬａｙｅｒＦｌａｇは、次の通り導き出される。
ｆｏｒ（ｉ＝１；ｉ＜＝ＶｐｓＭａｘＮｕｍＬａｙｅｒｓ；ｉ＋＋）｛
ｌＩｄ＝ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］
ｆｏｒ（ｓｍＩｄｘ＝０、ｊ＝０；ｓｍＩｄｘ＜１６；ｓｍＩｄｘ＋＋）
ｉｆ（ｉ！＝０）＆＆ｓｃａｌａｂｉｌｉｔｙ＿ｍａｓｋ［ｓｍＩｄｘ］）
ＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］［ｓｍＩｄｘ］＝ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ＋＋］
ｅｌｓｅ
ＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］［ｓｍＩｄｘ］＝０
ＶｉｅｗＩｄ［ｌＩｄ］＝ＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］［０］
ＶｉｅｗＳｃａｌＥｘｔＬａｙｅｒＦｌａｇ［ｌＩｄ］＝（ＶｉｅｗＩｄ［ｌＩｄ］！＝ＶｉｅｗＩｄ［０］）
｝
ｆｏｒ（ｉ＝１；ｉ＜＝ＶｐｓＭａｘＮｕｍＬａｙｅｒｓ；ｉ＋＋）｛
ｌＩｄ＝ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］
ｆｏｒ（ｓｍＩｄｘ＝０、ｊ＝０；ｓｍＩｄｘ＜１６；ｓｍＩｄｘ＋＋）
ｉｆ（ｉ！＝０）＆＆ｓｃａｌａｂｉｌｉｔｙ＿ｍａｓｋ［ｓｍＩｄｘ］）
ＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］［ｓｍＩｄｘ］＝ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ＋＋］
ｅｌｓｅ
ＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］［ｓｍＩｄｘ］＝０
ＶｉｅｗＩｄ［ｌＩｄ］＝ＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］［０］
ＶｉｅｗＳｃａｌＥｘｔＬａｙｅｒＦｌａｇ［ｌＩｄ］＝（ＶｉｅｗＩｄ［ｌＩｄ］！＝ＶｉｅｗＩｄ［０］）
｝
【0088】
当然、上で概説された概念は、概念によって改善される符号器の既存のエンコーダも詰め込む。図２のようなエンコーダは、一連のパケット１０６から成るマルチレイヤビデオ信号１０４の中にビデオ信号を符号化するように構成されている。パケット１０６のそれぞれは、ベース層ＩＤフィールド１０８と拡張層ＩＤフィールド１１２から成る層識別構文構造を含む。さらに、このエンコーダは、複数のパケットを含むマルチレイヤビデオ信号の既定の部分１１３に対して、最大構文要素１１４をマルチレイヤビデオ信号の中に挿入し、マルチレイヤビデオ信号の既定の部分１１３を含むパケットの拡張層ＩＤフィールド１０８の最大限に仮定された値を示し、最大限に仮定された値に基づいてマルチレイヤビデオ信号の既定の部分内の層の最大数を決定し、層の最大数のそれぞれに対して、マルチレイヤビデオ信号の層特徴付け構文部分１２４を層の最大数と等しい回数繰り返し書くことによって、マルチレイヤビデオ信号１０４の中に最低１つの特徴を信号で伝えるように構成されている。例えば、エンコーダは、部分１１３の符号化を終えるまで、ストリーム１０４の出力を延期する。
【0089】
以下の図面は、マルチレイヤデータストリームに含まれたパケットの層ＩＤを信号で伝える概念、および、どのような推論のためでも、０などのベース層ＩＤの特定の値が、そこにおいて拡張層ＩＤを付加した可能性から除外されることを要求することが必要な場合において、バックワード互換性を解決すること無く拡張メカニズムを使って、この層ＩＤを効率的に信号で伝えることを達成する可能性を扱う。後者の必要性は以下の非対称を生じる：ベース層ＩＤの殆んど全ての可能な値に対して、拡張層ＩＤを付加することが実現できる。これは以下の非対称を生じる：ベース層ＩＤの殆んど全ての値に対して、拡張層ＩＤの付加が実現でき、従って、ベース層ＩＤの殆んど全ての値の数×層ＩＤ値を表現可能な拡張層ＩＤの表現可能な値の数を生じる。しかし、限定されたベース層ＩＤ値は、どのような拡張層ＩＤでも付加する可能性を除く。従って、この非対称が受け入れられるか、または、ベース層ＩＤの禁じられた値が、拡張メカニズムを使う場合において使われないかのいずれかである。以下に発表された解決は、より効率的な方法でこの問題を克服する。
【0090】
今回、この次の概念の説明は、ちょうど概説された制限が正確に適用されるＨＥＶＣ規格の可能な拡張について直ちに概説される。しかし、以下で概説された概念は、例えば層識別拡張メカニズムの上に同様な制限を課す別の符号器にも移送可能である。
【0091】
ＨＥＶＣの制限は、上で概説したように、ベース層が拡張できないことである。ゆえに、ＨＥＶＣ規格に従うために、層ｉｄ拡張値ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、０と等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを持つ層に対して、信号で伝えることができない。従って、０と等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄに関連したクラスタは、ベース層自身のみを含むことができる。そのような異なるクラスタの中の層の等しくない数は不適当である。
【0092】
問題は、以下に概説された概念によって解決できる。それは、クラスタおよびクラスタ内の層ｉｄ拡張値を、上の説明とは異なる方法で導き出す。それは、０と等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄに対して複数の層を持つことができないので、複数の層を持たない制限は、０と等しくない別のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に拡張される。これらの限定されたｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に属する層は、そのとき、層の等しい数を持つクラスタを形成するために、無制限のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値からの層と結合される。
【0093】
基本的なアイデアは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが、例えばビットマスキングによって２つの値に分離されることである。１つの値は、クラスタを決定するために用いられる。この方法の異なるｎｕｈ＿ｌａｙｅｒ＿ｉｄ値は同じクラスタに属することができる。もう１つの値は、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ値の存在を決定し（それゆえ、仮に、複数の層がｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に属することができるならば、決定し）、そして、ＬａｙｅｒＩｄ派生においてｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｖａｌｕｅに追加のオフセットを決定するために利用される。
【0094】
基本的なアイデアの実施の形態のための例は、以下において与えられ、図１８において説明される。従って、図１８は、３と等しいｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ（２と等しいＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ）の例示的な場合に対して、ｌａｙｅｒ＿ｉｄ＿ｅｘｔとｎｕｈ＿ｌａｙｅｒ＿ｉｄとＬａｙｅｒＩｄとの間の関係のための例を提供する。
【0095】
この例のみにおいて、６ビットｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のうち５個の最上位ビットが、クラスタを決定するために用いられる。ゆえに、異なる最下位ビットを持つ２つのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値が、１つのクラスタに属している。
【0096】
仮に、最下位ビットが０と等しいならば、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ値は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄおよびｕｈ＿ｌａｙｅｒ＿ｉｄに属する１つの層のみに対して、信号で伝えられない。定義によって、この層は、５個の最上位ビットによって規定されたクラスタ内の０と等しいｌａｙｅｒ＿ｉｄ＿ｅｘｔを持つ層である。さもなければ、仮に、最下位ビットが１と等しいならば、複数の層はｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に属する。個々の層に対して、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ値は明示的に信号で伝えられ、個々の層は５個の最上位ビットによって規定されたクラスタに属する。
【0097】
図１９の構文テーブルは実施の形態のために使われる。それはパケット２０６のヘッダー、すなわちスライスセグメントのヘッダー、または、より精密なその破片を示す。
【0098】
ｎｕｈ＿ｌａｙｅｒ＿ｉｄの最下位ビットが０と等しいとき、Ｌａｙｅｒ＿ｉｄ＿ｅｘｔは存在しない。それが存在しないとき、それは０に等しいと推定される。可変のＬａｙｅｒＩｄは次の通り決定される。ここで、ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎは、ビットについてのｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の長さである。
ＬａｙｅｒＩｄ＝（（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＞＞１）＜＜ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ）＋ｌａｙｅｒ＿ｉｄ＿ｅｘｔ
ＬａｙｅｒＩｄ＝（（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＞＞１）＜＜ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ）＋ｌａｙｅｒ＿ｉｄ＿ｅｘｔ
【0099】
別の実施の形態において、可変のａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎは、ビットストリ－ム、例えばＶＰＳにおいて信号で伝えられる。（前に説明した実施の形態が、１と等しいａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎを持つこの実施の形態の特別な場合であることに注意されたい）。６ビットｎｕｈ＿ｌａｙｅｒ＿ｉｄ構文要素の最上位ビット（６－ａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎ）は、クラスタを決定するために使われる。最下位ビットａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎは、ｌａｙｅｒ＿ｉｄ＿ｅｘｔが推定されるかどうかを規定する。さらに、それらはｌａｙｅｒ＿ｉｄ＿ｅｘｔ値に追加のオフセットを規定する。図２０ａおよび図２０ｂの構文テーブルは、実施の形態を示すために用いられる。
【0100】
実施の形態において、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの最下位ビット（ａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎ）が１と等しいとき、ｌａｙｅｒ＿ｉｄ＿ｅｘｔのみが存在する。ｌａｙｅｒ＿ｉｄ＿ｅｘｔが存在しないとき、それは０に等しいと推定される。可変のＬａｙｅｒＩｄは次の通り決定される。ここで、ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎは、ビットについてのｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の長さである。
ＬａｙｅｒＩｄ＝
（（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＞＞ａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎ）＜＜ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ）＋ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＋ｌａｙｅｒＩｄＥｘｔＯｆｆｓｅｔ
ＬａｙｅｒＩｄ＝
（（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＞＞ａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎ）＜＜ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ）＋ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＋ｌａｙｅｒＩｄＥｘｔＯｆｆｓｅｔ
【0101】
従って、図１８～図２０ｂについて上で概説された概念に従って、図２において描かれたマルチレイヤビデオデコーダのネットワーク要素などの装置は、レイヤ間予測を使って、ビデオ素材が、異なる情報量レベルに一致している異なる層で符号化されるマルチレイヤデータストリームを処理するように構成される。装置は、マルチレイヤデータストリームを含むパケットのそれぞれに対して、以下のことを行う。個々のパケットは、上で既に説明したように、異なる層のうちの１つと関連している。
【0102】
特に、図２１に示すように、装置は、マルチレイヤデータストリームから、または、より正確には現在のパケットからベース層ＩＤフィールド３０８を読み取る。ベース層ＩＤフィールドは第１副フィールド３０８ａと第２副フィールド３０８ｂとを含む。例えば、第１副フィールドはフィールド３０８の１つ以上の最下位ビットによって形成され、一方で、第２副フィールド３０８ｂはフィールド３０８の他の最上位ビットによって形成されることがある。図２０ｂの例において示されるように、ａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎと称される高レベル構文要素３１０は、副フィールド３０８ａの長さを定義することができる。
【0103】
ステップ３１２においてベース層ＩＤフィールド３０８を読み取った後、装置はステップ３１４において、副フィールド３０８ａが既定の基準を満たすかどうかをチェックする。例えば、仮に副フィールドが１であるか、または「すべて１のシーケンス」であるならば、基準は満たされる。既定の基準が満たされている場合、装置はステップ３１８において、データストリームから、または、より正確には現在のパケットから拡張層ＩＤフィールド３１６を読み取る。そしてステップ３２０において、拡張層ＩＤフィールドを使って、拡張値が拡張値領域の第１副セット内にあるように、拡張値を導き出す。ステップ３２０における導出は、フィールド３１６内のビット表現の単なるコピーに相当することもある。データストリームの要件として、拡張層ＩＤフィールド３１６内の値が０などの特定の値を想定しないこともあり得る。さらに以下でさらに説明するように、ベース層ＩＤフィールド３０８の副フィールド３０８ａが基準を満たさない場合、後者の値が留保される。
【0104】
ステップ３２０の後、装置は、第２副フィールド３０８ｂの可能な値の領域からクラスタ値領域にマッピングすることによって、第２副フィールド３０８ｂからクラスタ値を導き出す。ステップ３２４において、現在のパケットが関連付けられている層、すなわち、フィールド３０８および３１６を含む層が、ステップ３２０と３２２において導き出されたクラスタおよび拡張値を使ってインデックスされる。クラスタおよび拡張値は、例えば最上位桁のためのクラスタ値を使って、例えばお互いに単に連結される。副フィールド３０８ｂに基づいたクラスタ値３２２の導出もまた、例えば、副フィールド３０８ｂのビットをクラスタ値のバイナリ表現として直接的に使用することから成ることもある。
【0105】
一方、ステップ３１４におけるチェックが、既定の基準が満たされていない場合、装置は、現在のパケットについてマルチレイヤデータストリームから拡張層ＩＤフィールドを読み取ることを控える。むしろ、装置はステップ３２６において、拡張値を０に設定することなどによって、拡張値の領域の第１副セットに対して素である値に拡張値を設定し、そして、第２副フィールド３０８ｂの可能な値の領域からクラスタ値領域にマッピングすることによって、第２副フィールド３０８ｂからクラスタ値を導き出す。ステップ３２２と３２８における導出は、同じマッピングを使って実行することもできる。そのうえで、現在のパケットの層ＩＤがステップ３２６と３２８において設定・導出されたクラスタ値および拡張値から決定される。ここで、層ＩＤの決定が、ステップ３２０と３２２においてクラスタ値と拡張値が導出されたのと同じ方法で再び実行されうる。
【0106】
図２１の説明を図１８の実施の形態に関連させて、第１副フィールド３０８ａは、１ビットの長さであり、特にフィールド３０８のＬＳＢである。仮に、このＬＳＢ３０８ａが勝ち取られて、拡張層ＩＤフィールド３１６にわたる拡張値の前記領域が｛０、１、２、３｝であり、図１８の場合において、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ、すなわちフィールド３１６が２ビットの長さであるならば、既定の基準が満たされる。従って、拡張値の領域、すなわちステップ３２０における導き出しの共通領域の第１副セットは、｛１、２、３｝である。特に、ステップ３２０における導き出しは、図１８の例の中で、拡張層ＩＤフィールドに適用されたユニットのマトリクスの方法によって実施される。代わりに、いくらかの別の計算が、第１副フィールド３０８ａの値をユニットのマトリクス応用の結果に追加するように使われる。従って、ステップ３２６において、拡張値は、｛１、２、３｝と互いに素である値、すなわち０に設定される。導き出し３２２と３２８において使われたマッピングは同じであるけれども、代わりに異なっていてもよい。マッピングは特にバイジェクティブ（ｂｉｊｅｃｔｉｖｅ）である。
【0107】
ステップ３２４の中のインデックスの決定は、図１８において説明されるように、より上位の桁を設定するためのクラスタ値と、より下位の桁を設定するための拡張値とを使用する。従って、図１８において説明したように、ｌａｙｅｒ＿ｉｄ＿ｅｘｔフィールド、すなわち拡張層ＩＤフィールド３１６は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ、すなわちベース層ＩＤフィールド３０８のＬＳＢが１である場合に単に存在する。その他の場合は、ｌａｙｅｒ＿ｉｄ＿ｅｘｔフィールドは０であると推定される。従って、ｌａｙｅｒ＿ｉｄ＿ｅｘｔとｎｕｈ＿ｌａｙｅｒ＿ｉｄの結合に対して層ＩＤのマッピングは、完全に対称であり、未使用のビット表現は存在しない。ｌａｙｅｒ＿ｉｄ＿ｅｘｔの推定された値は、ｌａｙｅｒ＿ｉｄ＿ｅｘｔを移送することによって、データストリームの中で利用される。その結果、ｌａｙｅｒ＿ｉｄ＿ｅｘｔの移送のためのデータストリームの中に亘るビットが、実のところ、ｌａｙｅｒ＿ｉｄ＿ｅｘｔが３つの異なる値｛１、２、３｝を単に仮定するという事実を説明するように減少する。例えば、２進数の単項符号は、エントロピー符号化／復号化を使って、データストリームの中に符号化され、かつ、そこから復号化された２進数のストリングスの上に、｛１、２、３｝の３つの要素をマップするために使用される。
【0108】
従って、相互エイリアスが後ろの概念について記述される。レイヤ間予測を使って、異なる情報量レベルに一致している異なる層でビデオ素材が符号化されるマルチレイヤデータストリームを処理するように構成された装置。それぞれが異なる層のうちの１つと関連する複数のパケットを含むマルチレイヤデータストリーム。マルチレイヤデータストリームのパケットのそれぞれに対して、マルチレイヤデータストリームからベース層ＩＤフィールドを読み取るように構成された装置。第１副フィールドおよび第２副フィールドを含むベース層ＩＤフィールド。ベース層ＩＤフィールドの第１副フィールドが、既定の基準を満たすかどうかについてのチェック。
【0109】
仮に、ベース層ＩＤフィールドの第１副フィールドが既定の基準を満たすならば、マルチレイヤデータストリームから拡張層ＩＤフィールドを読み取り、拡張値が拡張値の領域の第１副セット内にあるように、拡張層ＩＤフィールドを使って拡張値を導き出し、そして、第２副フィールドの可能な値の領域からクラスタ値領域にマッピングすることによって、クラスタ値を第２副フィールドから導き出しなさい。
【0110】
仮に、ベース層ＩＤフィールドの第１副フィールドが、既定の基準を満たさないならば、マルチレイヤデータストリームから拡張層ＩＤフィールドを読み取ることを控え、拡張値を拡張値の領域の第１副セットと互いに素である値に設定し、そして、第２副フィールドの可能な値の領域からクラスタ値領域にマッピングすることによって、クラスタ値を第２副フィールドから導き出しなさい。
【0111】
ここで、装置は、個々のパケットが、クラスタと拡張値を使って関連する層に索引を付与する。既定の基準がマルチレイヤデータストリームから読み取られることに注意するべきである。上で説明したように、「第１副フィールド」は、「既定の基準」が「仮に１つならば」、１ビットの長さおよび特にＬＳＢである。「拡張値の領域」は、例えば｛０、１、２、３｝である。「第１副セット」は｛１、２、３｝である。「拡張層ＩＤフィールドを使って」は、代わりに、ユニットのマトリクス応用の結果に第１副フィールドの値を加えている、拡張層ＩＤフィールドに適用されたユニットのマトリクスである。「拡張値と互いに素である値に設定しなさい」は、「０に」設定することである。「第１副フィールドの可能な値の領域からクラスタ値領域にマッピングすること」は、両方の場合に対して同じである。しかし、代わりに異なっていてもよい。マッピングはバイジェクティブである。「クラスタと拡張値を使って、個々のパケットが関連する層に索引を付与する」は、例えば、より下位の桁を設定するために、より上位の桁および拡張値を設定することに対して、クラスタ値を使うことを含む。
【0112】
後ろの概念は、レイヤ間予測を使って、異なる情報量レベルに一致している異なる層で、ビデオ素材２０２をマルチレイヤデータストリーム２０４の中に符号化するように構成された符号器の中に直接に移送される。マルチレイヤデータストリームは、それぞれが異なる層の１つと関連する複数のパケット２０６を含む。個々のパケットが関連する層が、クラスタと拡張値によって一意的に決定される。符号器は、仮に、拡張値が拡張値の領域の第１副セット内にあるならば、マルチレイヤデータストリームのパケット２０６のそれぞれに対して、第２副フィールドを設定するためのクラスタ値を使って、既定の基準を満たすために第１副フィールドを設定することで、第１副フィールド３０８ａおよび第２副フィールド３０８ｂを含むベース層ＩＤフィールド３０８をマルチレイヤデータストリームの中に挿入するように構成されている。そして、符号器は、拡張層ＩＤを設定するための拡張値を使って、拡張層ＩＤをマルチレイヤデータストリームの中に挿入するように構成されている。そして、符号器は、仮に、拡張値が拡張値の領域の第１副セットと互いに素である値に等しいならば、既定の基準を満たさないように、第２副フィールドを設定するためのクラスタ値を使って、第１副フィールドを設定することで、マルチレイヤデータストリームの中に、拡張層ＩＤフィールドを挿入することおよびベース層ＩＤフィールド３０８を挿入３１２することを控えるように構成されている。すなわち、符号器は、復号器が、正しい層ＩＤを上で概説した方法で導き出して、復号側または受信側について上で概説したこれらに比較した逆マッピングをこの終わりに使うように、データストリームを生成する。
【0113】
上の説明を要約すると、同じく、エンハンスメント層データの層識別子、クラスタの中の層識別子のグループ化およびクラスタ内の符号化依存の効率的な信号に対して、拡張メカニズムが提供される。
【0114】
上に発表された詳細は、層にされた符号化シナリオの中のエンハンスメント層のデータに適用される。一方、ベース層のデータは不変に置かれる。層にされた符号化シナリオのベース層は、ベース層とエンハンスメント層のデータパケットの共通のヘッダー構文の中の層識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄと比較してください）を通じて識別される。
【0115】
上の例では、受信者側の個々の装置はビデオデコーダである。従って動作するビデオデコーダは、復号化のための（拡張された）ｌａｙｅｒＩＤによって識別されたビットストリームのパケットを選ぶことができる。しかし、装置は、代わりに、ネットワーク利用、復号器についての知識などの外部のファクターに基づいて、（拡張された）ｌａｙｅｒＩＤによって識別されるビットストリームのパケットを捨てることができるネットワーク要素である。
【0116】
上の実施の形態の全てにおいて、マルチレイヤデータストリームは、別の層からレイヤ間予測された層が、１つ以上のさらなるビュー、奥行き情報、表面反射率情報、色組み合わせ情報、空間解像度改良およびＳＮＲ解像度改良を追加するように、レイヤ間予測を使って、異なる層にてその中で符号化されたビデオ素材を持つ。
【0117】
いくつかの面が装置の文脈において説明されたけれども、これらの面が、また、ブロックまたは装置が方法ステップまたは方法ステップの特徴に対応する対応方法の説明を表現することは明らかである。相似的に、方法ステップの文脈において説明された面は、また、対応する装置の対応するブロックまたはアイテムまたは特徴の説明を表現する。方法ステップのうちのいくつかまたは全ては、例えばマイクロプロセッサー、プログラム可能なコンピュータ、または電子回路のようなハードウェア装置によって（または使って）実行される。いくつかの実施の形態において、最も重要な方法ステップのうちの約１つ以上は、そのような装置によって実行される。
【0118】
上で述べられた発明の符号化された信号は、デジタル記憶媒体に蓄えられるか、または、無線通信媒体のような通信媒体またはインターネットのような有線通信媒体で移送される。
【0119】
特定の実行要件に依存することによって、本発明の実施の形態はハードウェアまたはソフトウェアにおいて実行できる。実行は、個々の方法が実行されるようなプログラム可能なコンピュータシステムと協力し（または、協力する可能性があり）、そこに蓄えられた電子的に読み取り可能な制御信号を持つデジタル記憶媒体（例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリ）を使って実行できる。従って、デジタル記憶媒体は読み取り可能なコンピュータであってもよい。
【0120】
本発明に従ったいくつかの実施の形態は、ここに説明された方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協力する可能性がある電子的に読み取り可能な制御信号を持つデータキャリアを含む。
【0121】
一般に、本発明の実施の形態は、プログラム符号を持つコンピュータプログラム製品として実行できる。コンピュータにおいてコンピュータプログラム製品が稼働するとき、プログラム符号は方法のうちの１つを実行するために操作される。例えば、プログラム符号は機械的に読み取り可能なキャリアに蓄えられてもよい。
【0122】
別の実施の形態は、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムを含み、機械的に読み取り可能なキャリアに蓄えられる。
【0123】
すなわち、本発明の方法の実施の形態は、従って、コンピュータプログラムがコンピュータにおいて稼働するとき、ここに説明された方法のうちの１つを実行するためのプログラム符号を持つコンピュータプログラムである。
【0124】
従って、本発明の方法の別の実施の形態は、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムを含む、その上において記録されるデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は、一般に実在し、および／または、非移行である。
【0125】
従って、本発明の方法の別の実施の形態は、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムを表現しているデータストリームまたは一連の信号である。データストリームまたは一連の信号は、例えばデータ通信接続（例えばインターネット）を介して転送されるように構成される。
【0126】
別の実施の形態は、ここに説明された方法のうちの１つを実行するように構成された、または適用された処理手段（例えばコンピュータまたはプログラム可能な論理デバイス）を含む。
【0127】
別の実施の形態は、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムをインストールしているコンピュータを含む。
【0128】
本発明に従う別の実施の形態は、レシーバーに対して、ここに記述された方法のうちの１つを実行するためのコンピュータプログラムを転送する（例えば、電子的にまたは光学的に）ように構成された装置またはシステムを含む。例えば、受信器は、コンピュータ、モバイル装置、メモリー装置または同類である。例えば、装置またはシステムは、コンピュータプログラムを受信器に転送するためのファイルサーバーを含む。
【0129】
いくつかの実施の形態において、プログラム可能な論理デバイス（例えば、フィールドプログラム可能ゲートアレイ）は、ここに説明された方法の機能のいくつかまたは全てを実行するために使用される。いくつかの実施の形態において、フィールドプログラム可能ゲートアレイは、ここに説明された方法のうちの１つを実行するために、マイクロプロセッサーと協働する。一般に、方法は、どのようなハードウェア装置によっても好ましく実行される。
【0130】
上に説明された実施の形態は、本発明の原則のためにのみ説明される。ここに説明された配置と詳細の部分修正と変化は、この分野における熟練した者に明白であることは理解される。従って、切迫した特許の請求項の範囲のみによって制限され、ここの実施の形態の説明と例示の方法によって提出された特定の詳細によって制限されない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16a】
【図16b】
【図16c】
【図17】
【図18】
【図19】
【図20a】
【図20b】
【図21】
【外国語明細書】