特表 2022-549799 セグメント存在情報を提供すること

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-29

(54)【発明の名称】セグメント存在情報を提供すること

(51)【国際特許分類】

   H04N 19/70 20140101AFI20221121BHJP

【ＦＩ】

H04N19/70

【審査請求】有

【予備審査請求】有

(21)【出願番号】P 2022517856

(86)(22)【出願日】2020-08-19

(85)【翻訳文提出日】2022-05-13

(86)【国際出願番号】 SE2020050800

(87)【国際公開番号】W WO2021061035

(87)【国際公開日】2021-04-01

(31)【優先権主張番号】62/904,093

(32)【優先日】2019-09-23

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】598036300

【氏名又は名称】テレフオンアクチーボラゲット エルエム エリクソン（パブル）

(74)【代理人】

【識別番号】100109726

【弁理士】

【氏名又は名称】園田 吉隆

(74)【代理人】

【識別番号】100161470

【弁理士】

【氏名又は名称】冨樫 義孝

(74)【代理人】

【識別番号】100194294

【弁理士】

【氏名又は名称】石岡 利康

(74)【代理人】

【識別番号】100194320

【弁理士】

【氏名又は名称】藤井 亮

(74)【代理人】

【識別番号】100150670

【弁理士】

【氏名又は名称】小梶 晴美

(72)【発明者】

【氏名】ペッテション， マルティン

(72)【発明者】

【氏名】ダムガニアン， ミトラ

(72)【発明者】

【氏名】ショバーリ， リキャルド

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159PP04

5C159RC11

5C159UA02

5C159UA05

(57)【要約】

デコーダによって実行されるメカニズムが提供されている。この方法は、ビットストリームを受信することを含む。この方法は、受信されたビットストリームを処理することを含み、ビットストリームは、ビットストリームの第１の部分を含み、ビットストリームの第１の部分は、セグメント存在情報を提供し、さらにｉ）セグメント存在情報は、少なくとも第１のセグメントタイプのセグメントがビットストリームの少なくとも一部分に存在していてはいけないということを示すか、またはｉｉ）セグメント存在情報は、少なくとも第１のセグメントタイプのセグメントがビットストリームの少なくともその部分に存在していてもよいということを示す。
【選択図】図６

【特許請求の範囲】

【請求項1】

デコーダ（１０４）によって実行される方法（６００）であって、
ビットストリームを受信すること（ｓ６０２）と、
前記受信されたビットストリームを処理すること（ｓ６０４）とを含み、
前記ビットストリームが、前記ビットストリームの第１の部分を含み、
前記ビットストリームの前記第１の部分が、セグメント存在情報を提供し、さらに
ｉ）前記セグメント存在情報が、少なくとも第１のセグメントタイプのセグメントが前記ビットストリームの少なくとも一部分に存在していてはいけないということを示すか、または
ｉｉ）前記セグメント存在情報が、少なくとも前記第１のセグメントタイプのセグメントが前記ビットストリームの少なくとも前記部分に存在していてもよいということを示す、方法（６００）。

【請求項2】

前記ビットストリームの前記第１の部分が、一般制約情報シンタックス要素を含む、請求項１に記載の方法。

【請求項3】

前記ビットストリームの前記第１の部分が、１つまたは複数のパラメータセットを含む、請求項１または２に記載の方法。

【請求項4】

前記セグメント存在情報が、前記第１のセグメントタイプのセグメントが前記ビットストリームの少なくとも前記部分に存在していてはいけないということを示していると決定することと、
前記ビットストリームの前記部分が前記第１のセグメントタイプのセグメントを含むということを検知することと、
前記決定することおよび前記検知することの結果として、前記ビットストリームの少なくとも前記部分が無効であると宣言することと
をさらに含む、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記セグメント存在情報が、
ｉ）前記ビットストリームの前記部分が前記第１のセグメントタイプのいずれのセグメントも含んではいけない時間サブレイヤの値もしくは値の範囲、または
ｉｉ）前記ビットストリームの前記部分が前記第１のセグメントタイプのセグメントを含んでもよい前記時間サブレイヤの値もしくは値の範囲、のうちの一方を示し、さらに前記方法がさらに、
前記セグメント存在情報が、前記ビットストリームの前記部分が前記第１のセグメントタイプのいずれのセグメントも含んではいけない前記時間サブレイヤの値または値の範囲を示していると決定することと、
前記時間サブレイヤの値または値の範囲によって識別された時間サブレイヤが前記第１のセグメントタイプのセグメントを含むということを検知することと、
前記決定することおよび前記検知することの結果として、前記ビットストリームの前記部分が無効であると宣言することとを含む、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記セグメント存在情報が、
ｉ）前記ビットストリームの前記部分が前記第１のセグメントタイプのいずれのセグメントも含んではいけないレイヤの値もしくは値の範囲、または
ｉｉ）前記ビットストリームの前記部分が前記第１のセグメントタイプのセグメントを含んでもよい前記レイヤの値もしくは値の範囲、のうちの一方を示す、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記セグメント存在情報が、前記ビットストリームの前記部分が前記第１のセグメントタイプのいずれのセグメントも含んではいけない前記レイヤの値または値の範囲を示していると決定することと、
前記レイヤの値または値の範囲によって識別されたレイヤが前記第１のセグメントタイプのセグメントを含むということを検知することと、
前記決定することおよび前記検知することの結果として、前記ビットストリームの前記部分が無効であると宣言することと
をさらに含む、請求項６に記載の方法。

【請求項8】

前記ビットストリームの前記第１の部分が、第１のパラメータセットおよび第２のパラメータセットを含み、
前記方法がさらに、前記第１のパラメータセットに含まれている情報に基づいて第１の値を決定することと、前記第２のパラメータセットに含まれている情報に基づいて第２の値を決定することとを含み、
前記セグメント存在情報が、前記第１の値および前記第２の値を含む、
請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記ビットストリームの前記第１の部分が、第１のパラメータセットを含み、
前記方法がさらに、前記第１のパラメータセットに含まれている情報に基づいて第１の値を決定することと、前記第１のパラメータセットに含まれている情報に基づいて第２の値を決定することとを含み、
前記セグメント存在情報が、前記第１の値および前記第２の値を含む、
請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記ビットストリームの少なくとも前記部分が無効であると宣言することが、ビットエラーが生じたと宣言すること、データの喪失が生じたと宣言すること、前記ビットストリームの少なくとも前記部分が非準拠であると宣言すること、前記ビットストリームを生成したエンコーダが非準拠であると宣言すること、エラーを報告すること、エラー隠蔽を実行すること、および／または、前記ビットストリームの少なくとも前記部分が準拠していないという知識に基づくその他のアクションを取ることを含む、請求項４、５、または７のいずれか一項に記載の方法。

【請求項11】

エンコーダ（１０２）によって実行される方法（７００）であって、
ビットストリームを生成すること（ｓ７０２）を含み、
前記ビットストリームが、前記ビットストリームの第１の部分を含み、
前記ビットストリームの前記第１の部分が、セグメント存在情報を提供し、さらに
ｉ）前記セグメント存在情報が、少なくとも第１のセグメントタイプのセグメントが前記ビットストリームの少なくとも一部分に存在していてはいけないということを示すか、または
ｉｉ）前記セグメント存在情報が、少なくとも前記第１のセグメントタイプのセグメントが前記ビットストリームの少なくとも前記部分に存在していてもよいということを示す、方法（７００）。

【請求項12】

前記ビットストリームを出力すること（ｓ７０４）をさらに含む、請求項１１に記載の方法。

【請求項13】

前記ビットストリームの前記第１の部分が、第１のパラメータセットから構成されており、
前記第１のパラメータセットが、ビットのセットを含み、
前記第１のパラメータセットに含まれているビットの前記セットが、前記セグメント存在情報を提供する、
請求項１から１２のいずれか一項に記載の方法。

【請求項14】

ビットの前記セットが、前記第１のパラメータセットにおけるビットの連続したセットから構成されている、請求項１３に記載の方法。

【請求項15】

ビットの前記セットが、前記第１のパラメータセットにおける単一のビットから構成されている、請求項１３に記載の方法。

【請求項16】

前記少なくとも前記第１のセグメントタイプのセグメントが、ＴＲＡＩＬセグメント、ＳＴＳＡセグメント、ＲＡＳＬセグメント、ＲＡＤＬセグメント、ＩＤＲセグメント、ＣＲＡセグメント、ＧＤＲセグメント、ＡＰＳセグメント、ＡＵＤセグメント、またはＳＥＩセグメントのうちの１つを含む、請求項１から１５のいずれか一項に記載の方法。

【請求項17】

前記第１のセグメントタイプが、ＮＡＬユニットタイプである、請求項１から１６のいずれか一項に記載の方法。

【請求項18】

前記ＮＡＬユニットタイプが、ＴＲＡＩＬ＿ＮＵＴ、ＳＴＳＡ＿ＮＵＴ、ＲＡＳＬ＿ＮＵＴ、ＲＡＤＬ＿ＮＵＴ、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、ＣＲＡ＿ＮＵＴ、ＧＤＲ＿ＮＵＴ、ＡＰＳ＿ＮＵＴ、ＡＵＤ＿ＮＵＴ、ＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴ、またはＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴのうちの１つである、請求項１７に記載の方法。

【請求項19】

前記第１のセグメントタイプが、ＳＥＩメッセージタイプである、請求項１から１８のいずれか一項に記載の方法。

【請求項20】

前記ＳＥＩメッセージタイプが、バッファリング期間、画像タイミング、デコーディングユニット情報、従属ＲＡＰ表示、フレームフィールド情報、またはデコードされた画像ハッシュである、請求項１９に記載の方法。

【請求項21】

前記第１のパラメータセットが、ＤＰＳ、ＶＰＳ、ＳＰＳ、またはＰＰＳである、請求項１３から２０のいずれか一項に記載の方法。

【請求項22】

前記第１のパラメータセットが、前記システムレイヤでシグナリングされるエンティティである、請求項１３から２０のいずれか一項に記載の方法。

【請求項23】

前記セグメント存在情報が、
ｉ）前記ビットストリームの前記部分が前記第１のセグメントタイプのいずれのセグメントも含んではいけない時間サブレイヤの値もしくは値の範囲、または
ｉｉ）前記ビットストリームの前記部分が前記第１のセグメントタイプのセグメントを含んでもよい前記時間サブレイヤの値もしくは値の範囲、のうちの一方を示す、請求項１から２２のいずれか一項に記載の方法。

【請求項24】

前記セグメント存在情報が、
ｉ）前記ビットストリームの前記部分が前記第１のセグメントタイプのいずれのセグメントも含んではいけないレイヤの値もしくは値の範囲、または
ｉｉ）前記ビットストリームの前記部分が前記第１のセグメントタイプのセグメントを含んでもよい前記レイヤの値もしくは値の範囲、のうちの一方を示す、請求項１から２３のいずれか一項に記載の方法。

【請求項25】

前記ビットストリームの前記第１の部分における前記セグメント存在情報が特定の値を有するべきであるかまたは有さなければならないということを、仕様が義務付ける、請求項１から２４のいずれか一項に記載の方法。

【請求項26】

前記ビットストリームの前記部分が、前記第１のパラメータセットを参照するセグメントから構成されている、請求項１３から２５のいずれか一項に記載の方法。

【請求項27】

前記ビットストリームが、連続した一連の１つまたは複数のＣＶＳである、請求項２６に記載の方法。

【請求項28】

前記第１のパラメータセットが、ＤＰＳまたはＶＰＳであり、
前記ビットストリームの前記部分が、前記第１のパラメータセットを参照するＣＶＳのみを含む、
請求項２７に記載の方法。

【請求項29】

前記第１のパラメータセットが、ＳＰＳであり、
前記ビットストリームの前記部分が、前記ＳＰＳを参照する前記単一のＣＶＳのみを含む、
請求項２７に記載の方法。

【請求項30】

前記第１のパラメータセットが、第２のパラメータセットを参照するＳＰＳであり、
前記ビットストリームの前記部分が、前記ＳＰＳが参照する前記第２のパラメータセットを参照するＣＶＳのみを含む、
請求項２７に記載の方法。

【請求項31】

前記第１のパラメータセットが、第２のパラメータを参照するＰＰＳであり、前記ビットストリームの前記部分が、
１）前記ＰＰＳを参照するセグメント、
２）前記ＰＰＳが存在しているかまたはアクティブ化されている前記ＣＶＳ、または
３）前記第２のパラメータセットを参照するＣＶＳから構成されている、
請求項２７に記載の方法。

【請求項32】

前記セグメント存在情報が、前記ビットストリームのいずれかの部分以降で、またはサブビットストリーム抽出もしくはマージプロセスにおいて上書きされることが可能である、請求項１から３１のいずれか一項に記載の方法。

【請求項33】

前記ビットストリームの前記第１の部分が、第１の値をエンコードする第１のパラメータセットと、第２の値をエンコードする第２のパラメータセットとを含み、
前記セグメント存在情報が、前記第１の値および前記第２の値を含む、
請求項１から３２のいずれか一項に記載の方法。

【請求項34】

前記ビットストリームの前記第１の部分が、第１の値および第２の値をエンコードする第１のパラメータセットを含み、
前記セグメント存在情報が、前記第１の値および前記第２の値を含む、
請求項１から３３のいずれか一項に記載の方法。

【請求項35】

前記ビットストリームを処理することが、前記ビットストリームの前記第１の部分から前記セグメント存在情報をデコードすることを含む、請求項１から３４のいずれか一項に記載の方法。

【請求項36】

前記ビットストリームの前記第１の部分から前記セグメント存在情報をデコードすることが、
前記ビットストリームの前記第１の部分におけるシンタックス要素からインジケータ値をデコードすることを含み、
前記インジケータ値が第１の値に等しいことに応答して、前記セグメント存在情報が、少なくとも第１のセグメントタイプのセグメントが前記ビットストリームの少なくとも一部分に存在していてはいけないということを示し、
前記インジケータ値が第２の値に等しいことに応答して、前記セグメント存在情報が、少なくとも前記第１のセグメントタイプのセグメントが前記ビットストリームの少なくとも前記部分に存在していてもよいということを示す、請求項３５に記載の方法。

【請求項37】

命令（８４４）を含むコンピュータプログラム（８４３）であって、前記命令（８４４）が、処理回路（８０２）によって実行されたときに、請求項１から３６のいずれか一項に記載の方法を前記処理回路（８０２）に実行させる、コンピュータプログラム（８４３）。

【請求項38】

請求項３７に記載のコンピュータプログラムを含むキャリアであって、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体（８４２）のうちの１つであるキャリア。

【請求項39】

請求項１から１０または１３から３６のいずれか一項に記載の方法を実行するように適合されているデコーディング装置（８００）。

【請求項40】

請求項１１から３４のいずれか一項に記載の方法を実行するように適合されているエンコーディング装置（８００）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ビデオコーディングおよびデコーディングに関する。

【背景技術】

【0002】

１．ＨＥＶＣおよびＶＶＣ

【0003】

高効率ビデオコーディング（ＨＥＶＣ）は、時間的予測および空間的予測の両方を利用するＩＴＵ－ＴおよびＭＰＥＧによって標準化されたブロックベースのビデオコーデックである。空間的予測は、現在の画像内からのイントラ（Ｉ）予測を使用して達成される。時間的予測は、以前にデコードされた参照画像からのブロックレベルでの一方向（Ｐ）または双方向インター（Ｂ）予測を使用して達成される。エンコーダにおいて、元のピクセルデータと、予測されたピクセルデータとの間における差（残差と呼ばれる）が、周波数ドメインへと変換され、量子化され、次いでエントロピーコーディングされ、その後に、やはりエントロピーコーディングされた、必要な予測パラメータ（予測モードおよびモーションベクトルなど）とともに送信される。デコーダは、エントロピーデコーディング、逆量子化、および逆変換を実行して、残差を入手し、次いでその残差をイントラ予測またはインター予測に加算して、画像を再構築する。

【0004】

ＭＰＥＧおよびＩＴＵ－Ｔは、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｏｒｙ Ｔｅａｍ（ＪＶＥＴ）内で、ＨＥＶＣに取って代わるものに取り組んでいる。開発中のこのビデオコーデックの名前は、多用途ビデオコーディング（ＶＶＣ）である。執筆の時点で、ＶＶＣドラフト仕様の現在のバージョンは「多用途ビデオコーディング（Ｄｒａｆｔ ６）」、ＪＶＥＴ－Ｏ２００１－ｖＥであった。ＶＶＣが本明細書で言及されている場合には、そのＶＶＣは、ＶＶＣ仕様のＤｒａｆｔ ６を指す。

【0005】

２．成分

【0006】

ビデオシーケンスは、一連の画像から構成され、この場合、それぞれの画像は、１つまたは複数の成分から構成される。それぞれの成分は、サンプル値の２次元の長方形配列として記述されることが可能である。ビデオシーケンスにおける画像は、１つの輝度成分（Ｙ）（この場合、サンプル値は輝度値である）、ならびに２つの彩度成分（Ｃｂ）および（Ｃｒ）（この場合、サンプル値は彩度値である）という３つの成分から構成されることが一般的である。彩度成分の寸法は、それぞれの寸法において輝度成分よりも２分の１だけ小さいことが一般的である。たとえば、ＨＤ画像の輝度成分のサイズは、１９２０×１０８０となり、彩度成分は、９６０×５４０という寸法をそれぞれ有することになる。成分は、色成分と呼ばれる場合もある。この文書においては、ビデオシーケンスのエンコーディングおよびデコーディングにとって有用な方法について記述する。しかしながら、記述されている技術は、静止画像のエンコーディングおよびデコーディングのために使用されることも可能であるということを理解されたい。

【0007】

３．ブロックおよびユニット

【0008】

ブロックは、サンプルの２次元配列である。ビデオコーディングにおいては、それぞれの成分が、１つまたは複数のブロックへと分割され、コーディングされたビデオビットストリームは、一連のブロックである。

【0009】

ビデオコーディングにおいては、画像は、特定のエリアをカバーするユニットへと分割されることが一般的である。それぞれのユニットは、その特定のエリアを構成するすべてのブロックから構成され、それぞれのブロックは、完全に１つのユニットのみに属する。ＨＥＶＣおよびＶＶＣにおけるコーディングユニット（ＣＵ）は、そのようなユニットの例である。コーディングツリーユニット（ＣＴＵ）は、いくつかのＣＵへと分割されることが可能である論理ユニットである。

【0010】

ＨＥＶＣにおいては、ＣＵは正方形であり、すなわち、ＣＵは、Ｎ×Ｎの輝度サンプルというサイズを有し、この場合、Ｎは、６４、３２、１６、または８という値を有することが可能である。現在のＨ．２６６テストモデル多用途ビデオコーディング（ＶＶＣ）においては、ＣＵは、長方形であること、すなわち、Ｎ×Ｍの輝度サンプルというサイズを有することも可能であり、この場合、ＮはＭとは異なる。

【0011】

４．ＮＡＬユニット

【0012】

ＨＥＶＣおよびＶＶＣの両方が、ネットワーク抽象化レイヤ（ＮＡＬ）を規定する。ＨＥＶＣおよびＶＶＣにおけるすべてのデータ、すなわち、ビデオコーディングレイヤ（ＶＣＬ）または非ＶＣＬデータの両方が、ＮＡＬユニットにおいてカプセル化される。ＶＣＬ ＮＡＬユニットは、画像サンプル値を表すデータを含む。非ＶＣＬ ＮＡＬユニットは、パラメータセットおよび補助強化情報（ＳＥＩ）メッセージなどのさらなる関連付けられているデータを含む。ＨＥＶＣおよび現在のバージョンのＶＶＣにおけるＮＡＬユニットは、ＮＡＬユニットヘッダと呼ばれるヘッダから始まる。ＨＥＶＣに関するＮＡＬユニットヘッダに関するシンタックスが、テーブル１において示されており、これは、開始コードのエミュレーションを防止するために常に０に等しくなるｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔから開始する。これがなければ、いくつかのＭＰＥＧシステムは、ＨＥＶＣビデオビットストリームをその他のデータと混同する可能性があるが、ＮＡＬユニットヘッダにおける０ビットが、すべての可能なＨＥＶＣビットストリームをＨＥＶＣビットストリームとして一意に識別可能にする。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ、およびｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１というコードワードはそれぞれ、どんなタイプのデータがＮＡＬユニットにおいて搬送されるかを識別するＮＡＬユニットのＮＡＬユニットタイプ、レイヤＩＤ、およびどの時間ＩＤに関してＮＡＬユニットが属するかを指定する。ＮＡＬユニットタイプは、どのようにＮＡＬユニットが解析およびデコードされるべきであるかを示して指定する。現在のバージョンのＶＶＣにおけるＮＡＬユニットヘッダは、ＨＥＶＣにおけるものに非常に類似しているが、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのために１ビット少なく使用し、代わりにこのビットをその後の使用のために確保する。

【0013】

ＮＡＬユニットのバイトのうちの残りは、ＮＡＬユニットタイプによって示されるタイプのペイロードである。ビットストリームは、一連の連結されたＮＡＬユニットから構成される。

【0014】

デコーダまたはビットストリームパーサは、ＮＡＬユニットヘッダを見た後に、どのようにＮＡＬユニットが取り扱われるべきか、たとえば解析およびデコードされるべきかを結論付けることが可能である。ＮＡＬユニットのバイトのうちの残りは、ＮＡＬユニットタイプによって示されるタイプのペイロードである。ビットストリームは、一連の連結されたＮＡＬユニットから構成される。

【0015】

ＮＡＬユニットタイプは、どのようにＮＡＬユニットが解析およびデコードされるべきであるかを示して規定する。ＶＣＬ ＮＡＬユニットは、現在の画像の画像タイプに関する情報を提供する。ＶＶＣドラフトの現在のバージョンのＮＡＬユニットタイプが、テーブル３において示されている。

【0016】

デコーディング順序は、ＮＡＬユニットがデコードされることになる順序であり、その順序は、ビットストリーム内のＮＡＬユニットの順序と同じである。デコーディング順序は、出力順序とは異なることが可能であり、出力順序は、デコードされた画像が、デコーダによって、表示のためになどで出力されることになる順序である。

【0017】

時間レイヤ

【0018】

ＨＥＶＣにおいては、および現在のバージョンのＶＶＣにおいては、すべての画像は、画像が属する時間レイヤを指定するＴｅｍｐｏｒａｌＩｄ値に関連付けられている。ＴｅｍｐｏｒａｌＩｄ値は、ＮＡＬユニットヘッダにおけるｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１シンタックス要素からデコードされる。ＨＥＶＣにおいては、エンコーダは、ＴｅｍｐｏｒａｌＩｄ値を設定することを必要とされ、それによって、高位の時間レイヤが破棄された場合に、低位のレイヤに属する画像が完全にデコード可能になる。たとえば、エンコーダが時間レイヤ０、１、および２を使用してビットストリームを出力したと想定されたい。次いで、すべてのレイヤ２ＮＡＬユニットを除去すること、またはすべてのレイヤ１ＮＡＬユニットおよびレイヤ２ＮＡＬユニットを除去することによって、問題なくデコードされることが可能であるビットストリームが生じることになる。これは、エンコーダが準拠しなければならないＨＥＶＣ／ＶＶＣ仕様における制限によって確実にされる。たとえば、ある時間レイヤの画像が高位の時間レイヤの画像を参照することは許可されない。

【0019】

６．レイヤ、従属レイヤおよび独立レイヤ

【0020】

レイヤは、ＶＶＣにおいては、すべてがｎｕｈ＿ｌａｙｅｒ＿ｉｄの特定の値を有するＶＣＬ ＮＡＬユニットと、関連付けられている非ＶＣＬ ＮＡＬユニットとのセットとして規定される。

【0021】

ＶＶＣにおけるレイヤアクセスユニットが、ＮＡＬユニットのセットとして規定され、それらのＮＡＬユニットに関しては、ＶＣＬ ＮＡＬユニットがすべてｎｕｈ＿ｌａｙｅｒ＿ｉｄの特定の値を有しており、それらのＮＡＬユニットは、指定された分類ルールに従って互いに関連付けられており、それらのＮＡＬユニットは、デコーディング順序において連続しており、それらのＮＡＬユニットは、ちょうど１つのコーディングされた画像を含む。

【0022】

現在のバージョンのＶＶＣにおけるコーディングされたレイヤビデオシーケンス（ＣＬＶＳ）が、レイヤアクセスユニット（ＬＡＵ）のシーケンスとして規定され、そのシーケンスは、デコーディング順序において、ＣＬＶＳレイヤアクセスユニットと、それに続く、ＣＬＶＳレイヤアクセスユニットではない０個以上のレイヤアクセスユニットとから構成され、それらの続くレイヤアクセスユニットは、ＣＬＶＳレイヤアクセスユニットであるいずれかの後続のレイヤアクセスユニットまでの（ただし、そのレイヤアクセスユニットを含まない）すべての後続のレイヤアクセスユニットを含む。

【0023】

レイヤアクセスユニットとコーディングされたレイヤビデオシーケンスとの間における関係が、図５において示されている。

【0024】

現在のバージョンのＶＶＣにおいては、レイヤは、互いに独立して、または依存してコーディングされることが可能である。レイヤが独立してコーディングされている場合には、たとえばｎｕｈ＿ｌａｙｅｒ＿ｉｄ０を伴うレイヤは、たとえばｎｕｈ＿ｌａｙｅｒ＿ｉｄ１を伴う別のレイヤからのビデオデータを予測することが可能ではない。現在のバージョンのＶＶＣにおいては、レイヤ間における依存コーディングが使用されることが可能であり、これは、ＳＮＲの、空間の、およびビューのスケーラビリティーを有するスケーラブルなコーディングに関するサポートを可能にする。

【0025】

７．アクセスユニットおよびアクセスユニットデリミタ

【0026】

ＨＥＶＣおよび現在のＶＶＣドラフトにおける単一レイヤコーディングに関しては、アクセスユニット（ＡＵ）が、単一の画像のコーディングされた表示である。ＡＵは、いくつかのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットならびに非ＶＣＬ ＮＡＬユニットから構成されることが可能である。アクセスユニットは、現在のバージョンのＶＶＣにおいては、そのアクセスユニットの開始を示すアクセスユニットデリミタ（ＡＵＤ）ＮＡＬユニットと、画像において許可されているスライスのタイプ、すなわち、Ｉ、Ｉ－Ｐ、またはＩ－Ｐ－Ｂとを伴って開始しなければならない。ＨＥＶＣにおいては、ＡＵがＡＵＤを伴って開始することは、任意選択である。ＶＶＣドラフトの現在のバージョンにおけるアクセスユニットデリミタＮＡＬユニットに関するシンタックスおよびセマンティクスが、以下に示されている。

【0027】

７．１ アクセスユニットデリミタＲＢＳＰセマンティクス

【0028】

アクセスユニットデリミタは、アクセスユニットの開始と、アクセスユニットデリミタＮＡＬユニットを含むアクセスユニットにおけるコーディングされた画像に存在するスライスのタイプとを示すために使用される。アクセスユニットデリミタに関連付けられている規範的なデコーディングプロセスはない。

【0029】

ｐｉｃ＿ｔｙｐｅは、アクセスユニットデリミタＮＡＬユニットを含むアクセスユニットにおけるコーディングされた画像のすべてのスライスに関するｓｌｉｃｅ＿ｔｙｐｅ値が、ｐｉｃ＿ｔｙｐｅの所与の値に関してテーブル５において列挙されているセットのメンバーであるということを示す。ｐｉｃ＿ｔｙｐｅの値は、この仕様のこのバージョンに準拠するビットストリームにおいては、０、１、または２に等しくなる。ｐｉｃ＿ｔｙｐｅのその他の値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる今後の使用のために確保されている。この仕様のこのバージョンに準拠するデコーダは、ｐｉｃ＿ｔｙｐｅの確保された値を無視することになる。

【0030】

８．イントラランダムアクセスポイント（ＩＲＡＰ）画像およびコーディングされたビデオシーケンス（ＣＶＳ）

【0031】

ＨＥＶＣにおけるイントラランダムアクセスポイント（ＩＲＡＰ）画像は、自身のデコーディングプロセスにおける予測のために自身以外のいずれの画像も参照しない画像である。ＨＥＶＣでのデコーディング順序におけるビットストリーム内の最初の画像は、ＩＲＡＰ画像でなければならないが、ＩＲＡＰ画像はさらに、ビットストリームにおいてその後に現れることも可能である。ＨＥＶＣは、ブロークンリンクアクセス（ＢＬＡ）画像、インスタントデコーダリフレッシュ（ＩＤＲ）画像、およびクリーンランダムアクセス（ＣＲＡ）画像という３つのタイプのＩＲＡＰ画像を指定する。

【0032】

ＨＥＶＣにおけるコーディングされたビデオシーケンス（ＣＶＳ）は、あるＩＲＡＰアクセスユニットで開始してデコーディング順における次のＩＲＡＰアクセスユニットまでの（ただし、次のＩＲＡＰアクセスユニットを含まない）一連のアクセスユニットである。

【0033】

ＩＤＲ画像は常に、新たなＣＶＳを開始する。ＩＤＲ画像は、関連付けられているランダムアクセスデコーダブルリーディング（ＲＡＤＬ）画像を有することが可能である。ＩＤＲ画像は、関連付けられているランダムアクセススキップリーディング（ＲＡＳＬ）画像を有さない。

【0034】

ＨＥＶＣにおけるＢＬＡ画像も、新たなＣＶＳを開始し、ＩＤＲ画像と同じ影響をデコーディングプロセス上に及ぼす。しかしながら、ＨＥＶＣにおけるＢＬＡ画像は、参照画像の空ではないセットを指定するシンタックス要素を含むことが可能である。ＢＬＡ画像は、関連付けられているＲＡＳＬ画像を有することが可能であり、それらのＲＡＳＬ画像は、デコーダによって出力されず、デコード可能ではない場合がある。なぜなら、それらのＲＡＳＬ画像は、ビットストリームに存在していない可能性のある画像への参照を含む場合があるからである。ＢＬＡ画像は、関連付けられているＲＡＤＬ画像を有することも可能であり、それらのＲＡＤＬ画像は、デコードされる。ＢＬＡ画像は、現在のバージョンのＶＶＣにおいては規定されていない。

【0035】

ＣＲＡ画像は、関連付けられているＲＡＤＬまたはＲＡＳＬ画像を有することが可能である。ＢＬＡ画像と同様に、ＣＲＡ画像は、参照画像の空ではないセットを指定するシンタックス要素を含むことが可能である。ＣＲＡ画像に関しては、関連付けられているＲＡＳＬ画像がデコーダによって出力されないことを指定するためのフラグが設定されることが可能である。これは、それらのＲＡＳＬ画像がデコード可能ではない場合があるからであり、なぜなら、それらのＲＡＳＬ画像は、ビットストリームに存在していない画像への参照を含む場合があるからである。ＣＲＡは、ＣＶＳを開始することが可能である。

【0036】

ＶＶＣドラフトの現在のバージョンにおいては、ＣＶＳは、ＣＶＳスタート（ＣＶＳＳ）アクセスユニットで開始され、これは、ＩＲＡＰ画像、すなわち、ＩＤＲもしくはＣＲＡ画像、またはグラデュアルデコーディングリフレッシュ（ＧＤＲ）画像を含むことが可能である。

【0037】

ＧＤＲ画像は、基本的に、完全なＩＲＡＰ画像が大きすぎる遅延をもたらすことになる低遅延コーディングのためにエンコードされたビットストリームにおけるランダムアクセスのために使用される。ＧＤＲ画像は、画像ごとにビデオを更新するグラデュアルイントラリフレッシュを使用することが可能であり、この場合、それぞれの画像は、部分的にのみイントラコーディングされる。ビットストリームがＧＤＲ画像で同調されたと想定すると、いつビデオが完全にリフレッシュされて出力の準備ができるかが、ＧＤＲ画像とともにシグナリングされる。ＧＤＲは、ＣＶＳを開始することが可能である。

【0038】

９．ＳＴＳＡ画像

【0039】

ＨＥＶＣにおいては（および現在のＶＶＣドラフトにおいては）、段階的時間サブレイヤアクセス（ＳＴＳＡ）画像と呼ばれる画像タイプがある。ＨＥＶＣにおいては、参照画像でもあるＳＴＳＡ画像であるＳＴＳＡ＿Ｒ、および非参照画像であるＳＴＳＡ画像であるＳＴＳＡ＿Ｎという２つのタイプのＳＴＳＡ画像がある。現在のＶＶＣドラフトにおいては、１つのタイプのＳＴＳＡ画像のみが指定され、ＳＴＳＡ画像が参照画像であるかまたは非参照画像であるかの区別は行われない。

【0040】

ＳＴＳＡ画像は、低位の時間レイヤから高位の時間レイヤへスイッチアップすることが可能であるビットストリームにおける位置を示すことを意図されている。たとえば、デコーダは、時間レイヤＮをデコードすることが可能であり、これが意味しているのは、Ｎ以下のＴｅｍｐｏｒａｌＩｄを有するすべてのＮＡＬユニットがデコードされ、Ｎよりも高いＴｅｍｐｏｒａｌＩｄを有するすべてのＮＡＬユニットが無視されるということである。Ｎ＋１のＴｅｍｐｏｒａｌＩｄを有するＳＴＳＡ画像がある場合には、デコーダは、そのＳＴＳＡ画像と、Ｎ＋１以下のＴｅｍｐｏｒａｌＩｄを有する、デコーディング順序においてそのＳＴＳＡ画像に続くすべてのＮＡＬユニットとをデコードすることが可能であることを確実にされる。

【0041】

１０．補助強化情報（ＳＥＩ）メッセージ

【0042】

ＳＥＩメッセージは、デコーダにとっては有用である可能性があるがデコーディングプロセスにとっては必要ではない情報を提供する。現在のバージョンのＶＶＣは、下記のＳＥＩメッセージを指定している。

【0043】

１０．１ 従属ＲＡＰ表示ＳＥＩメッセージ

【0044】

従属ＲＡＰ表示ＳＥＩメッセージは、画像をビットストリームにおける従属ランダムアクセスポイント（ＤＲＡＰ）画像としてマークするために使用される。ＤＲＡＰ表示ＳＥＩメッセージの存在は、この項において指定されている画像の順序および画像の参照についての制約が適用されるということを示す。これらの制約は、デコーダが、関連付けられているＩＲＡＰ画像以外のいずれのその他の画像もデコードする必要を伴わずに、ＤＲＡＰ画像と、ＤＲＡＰ画像に続く画像とをデコーディング順序および出力順序の両方において適正にデコードすることを可能にすることができる。

【0045】

ＤＲＡＰ表示ＳＥＩメッセージの存在によって示される制約は、下記のとおりである。

【0046】

ａ）ＤＲＡＰ画像は、後続の画像でなければならない。

【0047】

ｂ）ＤＲＡＰ画像は、０に等しい時間サブレイヤ識別子を有していなければならない。

【0048】

ｃ）ＤＲＡＰ画像は、デコーディング順序において先行するＩＲＡＰ画像を除いて、いずれの画像も自身の参照画像リストのアクティブなエントリーに含めてはならない。

【0049】

ｄ）デコーディング順序および出力順序の両方においてＤＲＡＰ画像に続くいかなる画像も、デコーディング順序における先行するＩＲＡＰ画像を除いて、デコーディング順序または出力順序においてＤＲＡＰ画像に先行するいかなる画像も、自身の参照画像リストのアクティブなエントリーに含めてはならない。

【0050】

ＶＶＣにおいては、現在のおよび今後の画像をデコードする目的でデコーダが以前にデコードされたどの画像を参照用として保持すべきかを示すために、現在の画像に関して参照画像リスト（ＲＰＬ）がシグナリングされる。それぞれの画像に関して２つのＲＰＬがある。１つの画像からのみのインター予測（Ｐ予測）に関しては、第１のＲＰＬのみが使用され、２つの画像からのインター予測（Ｂ予測）に関しては、第１および第２の両方のＲＰＬが使用される。エントリーがＲＰＬにおいてアクティブであるということは、現在の画像をデコードするためにそのエントリーにおける参照画像が使用されるということを意味する。エントリーにおける参照画像が、現在の画像を予測するために使用されることになるのではなく、その後の画像を予測するために使用される場合には、そのエントリーは、ＲＰＬにおいて保持されるべきであるが、現在の画像のＲＰにおいては非アクティブであるべきである。

【0051】

１１．パラメータセット

【0052】

ＨＥＶＣおよびＶＶＣは、画像パラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、およびビデオパラメータセット（ＶＰＳ）という３つのタイプのパラメータセットを指定する。ＰＰＳは、画像全体に関して共通であるデータを含み、ＳＰＳは、コーディングされたビデオシーケンス（ＣＶＳ）に関して共通であるデータを含み、ＶＰＳは、複数のＣＶＳに関して共通であるデータ、たとえば、ビットストリームにおける複数のレイヤに関するデータを含む。

【0053】

現在のバージョンのＶＶＣは、適合パラメータセット（ＡＰＳ）およびデコーダパラメータセット（ＤＰＳ）という２つのさらなるパラメータセットも指定している。

【0054】

１１．１ 適合パラメータセット（ＡＰＳ）

【0055】

ＡＰＳは、その他のパラメータセットと比較して同等の大量のデータを含む。スライスと画像との間においてはあまり頻繁に変わらない可能性があるが、それでもなおＳＰＳまたはＰＰＳにおいては十分に適合しない程度に頻繁に変わる可能性があるデータに関しては、スライスヘッダにおけるデータの特定のグループを繰り返す必要はないということが、ＡＰＳの考え方である。現在のバージョンのＶＶＣにおいては、３つのタイプのＡＰＳがある。適合ループフィルタ（ＡＬＦ）コーディングツールのために必要とされるパラメータを搬送する１つのＡＰＳタイプ、輝度マッピングおよび彩度スケーリング（ＬＭＣＳ）コーディングツールのために必要とされるパラメータを搬送する第２のＡＰＳタイプ、ならびにスケーリングリストパラメータを搬送するために使用される第３のＡＰＳタイプである。スケーリングリストは、それぞれの周波数インデックスをスケーリングプロセスのためのスケール係数に関連付けるリストである。

【0056】

１１．２ デコーディングパラメータセット（ＤＰＳ）

【0057】

ＤＰＳは、デコーディングセッション中に変わらない可能性がある情報で、かつ、デコーダが知っておくとよい可能性がある情報、たとえば、許可されるサブレイヤの最大数を指定する。ＤＰＳにおける情報は、デコーディングプロセスのオペレーションにとって必要ではない。

【0058】

デコーダパラメータセットは、ビットストリームから何を予期するかという情報をデコーダに与える、ビットストリームに関する一般的な制約のセットも含む。現在のバージョンのＶＶＣにおいては、一般制約情報がＶＰＳにおいてシグナリングされることも可能である。

【発明の概要】

【0059】

特定の課題が存在する。たとえば、現在のバージョンのＶＶＣにおいては、特定のＮＡＬユニットタイプを有するＮＡＬユニットがビットストリームに存在していてもよいかどうかを事前に示すことは可能ではない。加えて、特定のＳＥＩメッセージがビットストリームに存在していてもよいかどうかを事前に示すことは可能ではない。デコーダは次いで、任意のタイプのＮＡＬユニットタイプおよびＳＥＩメッセージを取り扱う準備ができていなければならない。ＮＡＬユニットタイプおよびＳＥＩメッセージのうちのいくつかに関しては、デコーダは、これらのＮＡＬユニットタイプおよびＳＥＩメッセージがビットストリームに現れる場合には、いくつかのリソースを消費すること、たとえば、事前にメモリを割り当てること、特定のデータを格納すること、ビットストリームの特定の部分を解析することを必要とする場合がある。これらのＮＡＬユニットタイプまたはＳＥＩメッセージがビットストリームに現れない場合には、これらのリソースは、不必要に消費されている。

【0060】

本開示は解決策を提供する。たとえば、特定の一実施形態においては、パラメータ（たとえば、フラグ）がパラメータセット（たとえば、ＤＰＳ、ＶＰＳ、ＳＰＳ、またはＰＰＳ）に含まれること、およびこのパラメータが、タイプＡのセグメント（たとえば、ＮＡＬユニットまたはＳＥＩメッセージ）がビットストリームに存在していてもよいか、または存在していてはいけないかを指定することが提案される。したがって、フラグはセグメント存在情報の一例である。

【0061】

本開示の第１の態様によれば、デコーダによって実行される方法が提供されている。この方法は、ビットストリームを受信することを含む。この方法は、受信されたビットストリームを処理することを含み、ビットストリームは、ビットストリームの第１の部分を含み、ビットストリームの第１の部分は、セグメント存在情報を提供し、さらにｉ）セグメント存在情報は、少なくとも第１のセグメントタイプのセグメントがビットストリームの少なくとも一部分に存在していてはいけないということを示すか、またはｉｉ）セグメント存在情報は、少なくとも第１のセグメントタイプのセグメントがビットストリームの少なくともその部分に存在していてもよいということを示す。

【0062】

本開示の第２の態様によれば、エンコーダによって実行される方法が提供されている。この方法は、ビットストリームを生成することを含み、ビットストリームは、ビットストリームの第１の部分を含み、ビットストリームの第１の部分は、セグメント存在情報を提供し、さらにｉ）セグメント存在情報は、少なくとも第１のセグメントタイプのセグメントがビットストリームの少なくとも一部分に存在していてはいけないということを示すか、またはｉｉ）セグメント存在情報は、少なくとも第１のセグメントタイプのセグメントがビットストリームの少なくともその部分に存在していてもよいということを示す。

【0063】

本開示の第３の態様によれば、命令を含むコンピュータプログラムが提供されており、それらの命令は、処理回路によって実行されたときに、第１または第２の態様のいずれか一方に記載の方法を処理回路に実行させる。

【0064】

本開示の第４の態様によれば、第３の態様によるコンピュータプログラムを含むキャリアが提供されており、このキャリアは、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体のうちの１つである。

【0065】

本開示の第５の態様によれば、第１の態様による方法を実行するように適合されているデコーディング装置が提供されている。

【0066】

本開示の第６の態様によれば、第２の態様による方法を実行するように適合されているエンコーディング装置が提供されている。

【0067】

利点

【0068】

タイプＡのセグメント（たとえば、ＮＡＬユニット、ＳＥＩメッセージなど）がビットストリームに存在し得るか存在し得ないかに関する情報（セグメント存在情報）は、たとえば、いずれにしても使用されないであろうメモリを割り当てる必要がないこと、またはビットストリームの特定の部分を解析する必要がないことをデコーダが知る上で有用である。それゆえに、利点として、デコーダは、ビットストリームに現れない可能性のあるＮＡＬユニットタイプ、画像タイプ、およびＳＥＩメッセージにリソースを割り当てないことになる。

【0069】

たとえば、ビットストリームにおいてＳＴＳＡ画像が予期されることはないということをデコーダが知っているならば、デコーダは、ＰＰＳを格納することを、またはＳＴＳＡ画像に関する時間レイヤをスキャンすることさえ必要としない。デコーダは、デコードされていない高位のレイヤを単に無視することが可能である。別の例は、ＤＲＡＰ ＳＥＩメッセージである。デコーダがビットストリームにおいていかなるＤＲＡＰ ＳＥＩメッセージにも遭遇しないであろうとデコーダが知っているならば、デコーダは、自身がその後にＤＲＡＰ画像を使用して同調したくなる可能性のあるチャネルに関するＩＲＡＰ画像を格納する必要はない。

【図面の簡単な説明】

【0070】

【図1】ある実施形態によるシステムを示す図である。

【図2】一実施形態によるビデオエンコーダの概略ブロック図である。

【図3】一実施形態によるビデオデコーダの概略ブロック図である。

【図4】ある実施形態によるエンコードされたビデオビットストリームを示す図である。

【図5】レイヤアクセスユニットとコーディングされたレイヤビデオシーケンスとの間における関係を示す図である。

【図6】ある実施形態によるビデオデコーディングプロセスを示すフローチャートである。

【図7】ある実施形態によるビデオエンコーディングプロセスを示すフローチャートである。

【図8】ある実施形態による装置のブロック図である。

【発明を実施するための形態】

【0071】

図１は、ある例示的な実施形態によるシステム１００を示している。システム２００が、ネットワーク１１０（たとえば、インターネットまたはその他のネットワーク）を介してデコーダ２０４と通信状態にあるエンコーダ２０２を含む。デブロッキングが、エンコーダ２０２およびデコーダ２０４の両方において実行されることが可能である。本明細書において記述されている実施形態は、ビデオエンコーダ１０２またはビデオデコーダ１０４において使用されることが可能である。

【0072】

図２は、一実施形態によるビデオエンコーダ１０２の概略ブロック図である。同じフレームにおける、または前のフレームにおけるピクセルの既に提供されているブロックからモーションエスティメータ２５０を使用してモーション推定を実行することによって、ピクセルの現在のブロックが予測される。モーション推定の結果は、インター予測のケースにおいては、参照ブロックに関連付けられているモーションベクトルまたは変位ベクトルである。モーションベクトルは、ピクセルのブロックのインター予測を出力するためにモーションコンペンセータ２５０によって使用されることが可能である。イントラプレディクタ２４９が、ピクセルの現在のブロックのイントラ予測を算出する。モーションエスティメータ／コンペンセータ２５０およびイントラプレディクタ２４９からの出力は、セレクタ２５１において入力され、セレクタ２５１は、ピクセルの現在のブロックに関してイントラ予測またはインター予測のいずれかを選択する。セレクタ２５１からの出力は、加算器２４１の形態のエラー計算機へ入力され、加算器２４１は、ピクセルの現在のブロックのピクセル値も受信する。加算器２４１は、ピクセルのブロックとその予測との間のピクセル値における差として残差エラーを計算して出力する。そのエラーは、離散コサイン変換によってなど、変換器２４２において変換され、量子化器２４３によって量子化され、続いてエントロピーエンコーダによってなど、エンコーダ２４４においてコーディングされる。インターコーディングにおいては、推定されたモーションベクトルもエンコーダ２４４にもたらされて、ピクセルの現在のブロックのコーディングされた表示を生成する。ピクセルの現在のブロックに関する変換されて量子化された残差エラーは、元の残差エラーを取り出すために逆量子化器２４５および逆変換器２４６にも提供される。このエラーは、加算器２４７によってモーションコンペンセータ２５０またはイントラプレディクタ２４９からのブロック予測出力に加算されて、ピクセルの次のブロックの予測およびコーディングにおいて使用されることが可能であるピクセルの参照ブロックを作成する。この新たな参照ブロックは、最初にデブロッキングフィルタ２００によって処理される。その処理された新たな参照ブロックは、次いでフレームバッファ２４８に一時的に格納され、そこでは、その参照ブロックは、イントラプレディクタ２４９およびモーションエスティメータ／コンペンセータ２５０にとって利用可能である。

【0073】

図３は、いくつかの実施形態によるビデオデコーダ１０４のブロック図である。デコーダ１０４は、ピクセルのブロックのエンコードされた表示をデコードして、量子化および変換された残差エラーのセットを得るために、エントロピーデコーダなどのデコーダ３６１を含む。これらの残差エラーは、逆量子化器３６２によって逆量子化され、逆変換器３６３によって逆変換されて、残差エラーのセットを提供する。これらの残差エラーは、加算器３６４によってピクセルの参照ブロックのピクセル値に加算される。参照ブロックは、インター予測が実行されるか、またはイントラ予測が実行されるかに応じて、モーションエスティメータ／コンペンセータ３６７またはイントラプレディクタ３６６によって決定される。セレクタ３６８は、それによって加算器３６４およびモーションエスティメータ／コンペンセータ３６７およびイントラプレディクタ３６６に相互接続される。結果として生じる、加算器３６４から出力されたピクセルのデコードされたブロックが、デブロッキングフィルタ３００へ入力される。ピクセルのフィルタリングされたブロックが、デコーダ１０４から出力され、さらにフレームバッファ３６５に一時的に提供されて、デコードされることになるピクセルの後続のブロックのためのピクセルの参照ブロックとして使用されることが可能である。フレームバッファ３６５は、それによってモーションエスティメータ／コンペンセータ３６７に接続されて、ピクセルの格納されているブロックをモーションエスティメータ／コンペンセータ３６７にとって利用可能にする。加算器３６４からの出力は、イントラプレディクタ３６６へ入力されて、ピクセルのフィルタリングされていない参照ブロックとして使用されることも可能である。

【0074】

図４は、ビデオビットストリーム４００の一部分の例を示している。例示的なビットストリーム部分４００は、ＣＶＳ４０１を含み、ＣＶＳ４０１は、パラメータセット（ＰＳ）を含む非ＶＣＬ ＮＡＬユニットと、いくつかのＶＣＬ ＮＡＬユニットとを含む。ＶＣＬ ＮＡＬユニット４１２ａおよび４１２ｂが示されている。

【0075】

本開示における「セグメント」という用語は、ＮＡＬユニットだけでなくメッセージ（たとえば、ＳＥＩメッセージ）も包含するように広く使用されている。明示的に規定されてはいないが、それでもなお本開示によってカバーされる解決策を形成するために、以降の実施形態が組み合わされることが可能であるということが当業者によって理解されるはずである。

【0076】

１．パラメータセットにおけるＮＡＬユニットタイプおよび／またはＳＥＩメッセージタイプの存在をシグナリングする

【0077】

この実施形態においては、パラメータセットは、セグメントタイプＡのセグメントがビットストリームに存在していてもよいか否かを指定するパラメータ（別名、コードワード）（すなわち、１つまたは複数のビットのセット）を含む。それゆえに、パラメータはセグメント存在情報の例である。

【0078】

この実施形態の１つのバージョンにおいては、パラメータはフラグ（すなわち、１ビット値）であり、パラメータが第１の値、たとえば０を有する場合には、ビットストリームにセグメントタイプＡのセグメントがあってはならない。パラメータが第２の値、たとえば１を有する場合には、セグメントタイプＡのセグメントがビットストリームに存在していてもよい。これは、下記のシンタックスおよびセマンティクスを用いて示されており、この場合、パラメータはフラグである。

【0079】

この実施形態の別のバージョンにおいては、パラメータが第１の値、たとえば０を有する場合には、セグメントタイプＡのセグメントがビットストリームに存在していてもよい。フラグが第２の値、たとえば１を有する場合には、セグメントタイプＡのセグメントがビットストリームに存在していてはいけない。これは、下記のシンタックスおよびセマンティクスを用いて示されており、この場合、パラメータはフラグである。

【0080】

あるバージョンにおいては、パラメータ値と、デコードされたタイプのセグメントタイプとに基づいて、ビットストリームが有効であるかまたは無効であるかがデコーダによって決定される。たとえば、一実施形態においては、デコーダは、タイプＡのセグメントがビットストリームに存在している場合には、ビットストリームが無効であると宣言することになるが、パラメータセットにおけるパラメータは、セグメントタイプのセグメントが存在していてはいけないということを指定する。ビットストリームが無効であると決定された場合には、デコーダは、それをビットエラーもしくはデータの喪失として解釈するか、またはビットストリームおよび／もしくはエンコーダが非準拠であると解釈することと、エラーを報告すること、エラー隠蔽を実行すること、または、ビットストリームが準拠していないという知識に基づくその他のアクションを取ることとが可能である。

【0081】

デコーダは、ビットストリームから１つまたは複数の画像をデコードするために、この実施形態に関する下記のステップのうちのサブセットまたはすべてを実行することが可能であり、この場合、ビットストリームは、少なくとも１つのパラメータセットと、デコーディング順序においてそのパラメータセットに続く１つまたは複数のセグメントとを含み、この場合、それぞれのセグメントは、セグメントタイプを有する。

【0082】

１）ビットストリームにおけるパラメータセットにおけるコードワードから値をデコードし（この値は「インジケータ値」と呼ばれる）、次いでインジケータ値に基づいて、セグメントタイプＳのセットにおけるセグメントタイプＡのセグメントがビットストリームに存在していてもよいかどうか、またはセグメントタイプＳのセットにおけるセグメントタイプＡのセグメントがビットストリームに存在していてはいけないかを決定する。それゆえに、インジケータ値はセグメント存在情報の例である。

【0083】

２）セグメントタイプＴのセグメントの存在をビットストリームにおいて検知する（たとえば、セグメントタイプＴのセグメントがビットストリームに存在していることをビットストリームにおけるコードワードが示しているということを検知する）。

【0084】

３）インジケータ値およびデコードされたセグメントタイプＴに基づいて、ビットストリームが有効であるかまたは無効であるかを決定する。

【0085】

４）セグメントタイプＴがセグメントタイプＡに等しいことと、セグメントタイプＳのセットにおけるセグメントタイプＡのセグメントがビットストリームに存在していてはいけないということをインジケータ値が指定していることとを決定することによって、ビットストリームが無効であると決定する。

【0086】

５）ビットストリームが無効であると決定された場合には、それをビットエラー、データの喪失として解釈するか、またはビットストリームおよび／もしくはエンコーダが非準拠であると解釈し、そしてエラーを報告するか、エラー隠蔽を実行するか、または、ビットストリームが準拠していないという知識に基づくその他のアクションを取る。

【0087】

エンコーダは、１つまたは複数の画像をビットストリームへとエンコードするために、この実施形態に関する下記のステップのうちのサブセットまたはすべてを実行することが可能であり、この場合、ビットストリームは、少なくとも１つのパラメータセットと、デコーディング順序においてそのパラメータセットに続く１つまたは複数のセグメントとを含むことになり、この場合、それぞれのセグメントは、セグメントタイプを有する。

【0088】

１）ビットストリームにおけるパラメータセットにおけるコードワードにインジケータ値をエンコードし、インジケータ値は、セグメントタイプＡのいずれかのセグメントがビットストリームに存在していてもよいか、または存在していてはいけないかを指定する。

【0089】

２）セグメントタイプＡのセグメントがビットストリームに存在していてはいけないということをインジケータ値が指定している場合には、セグメントタイプＡのいずれのセグメントもビットストリームに含めず、そうでない場合には、セグメントタイプＡのセグメントがビットストリームに含まれることが可能である。

【0090】

あるいは、エンコーダは、１つまたは複数の画像をビットストリームへとエンコードするために、この実施形態に関する下記のステップのうちのサブセットまたはすべてを実行することが可能である。

【0091】

１）少なくとも１つの要素を含むセグメントタイプのリストを取り出し、その要素は、ビットストリームにおいて使用されていないものとして少なくとも１つのセグメントタイプを識別する。

【0092】

２）使用されていないものとして識別された、リストにおける少なくとも１つのセグメントタイプに関して、ビットストリームにおけるパラメータセットにおけるコードワードにインジケータ値をエンコードし、インジケータ値は、使用されていないセグメントタイプのセグメントがビットストリームに存在していてはいけないということを指定する。

【0093】

３）ビットストリームにおいて使用されている可能性のあるものとして少なくとも１つのセグメントタイプを識別する要素をリストが含むケースにおいては、ビットストリームにおけるパラメータセットにおけるコードワードへインジケータ値をエンコードし、インジケータ値は、使用されている可能性のあるセグメントタイプのセグメントがビットストリームに存在していてもよいということを指定する。

【0094】

あるいは、エンコーダは、セグメントタイプのリストにわたってループすること、およびそれぞれのセグメントタイプに関して、そのタイプを、使用されてもよいかまたは使用されないことになるかのいずれかであるセグメントタイプのセットと比較することが可能である。使用されてもよいリストにおけるセグメントタイプに関しては、エンコーダは、そのセグメントタイプが使用されてもよいということを指定する値を使用して、パラメータセットにおける対応するコードワードをエンコードする。使用されないことになるリストにおけるセグメントタイプに関しては、エンコーダは、そのセグメントタイプが使用されてはならないということを指定する値を使用して、パラメータセットにおける対応するコードワードをエンコードする。

【0095】

２．タイプのグループ化

【0096】

別の実施形態においては、パラメータセットにおけるパラメータは、セグメントタイプのグループがビットストリームに存在していてもよいということ、または存在していてはいけないということを指定し、この場合、そのグループは、少なくとも１つのタイプを含む。この実施形態の１つのバージョンにおいては、パラメータが第１の値、たとえば０を有する場合には、セグメントタイプＡ、Ｂ、．．．、またはＮのセグメントは、ビットストリームに存在していてはいけない。フラグが第２の値、たとえば１を有する場合には、セグメントタイプＡ、Ｂ、．．．、またはＮのセグメントは、ビットストリームに存在していてもよい。

【0097】

下記は、この実施形態に関する例示的なシンタックスおよびセマンティクスである。

【0098】

この実施形態の別のバージョンにおいては、パラメータが第１の値、たとえば０を有する場合には、セグメントタイプＡ、Ｂ、．．．、およびＮのセグメントは、ビットストリームに存在していてもよい。フラグが第２の値、たとえば１を有する場合には、セグメントタイプＡ、Ｂ、．．．、およびＮのセグメントは、ビットストリームに存在していてはいけない。下記は、実施形態１の第２の例を拡張した実施形態２に関する例示的なシンタックスおよびセマンティクスである。

【0099】

３．ＮＡＬユニットタイプに関する詳細

【0100】

この実施形態においては、セグメントはＮＡＬユニットであり、どのＮＡＬユニットタイプに関して存在が前述の実施形態のうちのいずれかによるパラメータセットにおいてシグナリングされることが可能であるかがさらに記述される。

【0101】

テーブル１１において列挙されているＮＡＬユニットタイプのうちのいずれも、潜在的にその存在がパラメータセットにおいてシグナリングされることが可能である。また、いかなる今後のＮＡＬユニットタイプも、潜在的にその存在がパラメータセットにおいてシグナリングされることも可能である。

【0102】

下記は、ＮＡＬユニットタイプに関して、ビットストリームにおけるその存在をパラメータセットにおいてシグナリングすることが最も理にかなっている、現在のバージョンのＶＶＣにおいて使用されているＮＡＬユニットタイプの例示的なシンタックスおよびセマンティクスである。

【0103】

以下でテーブル１２において列挙されている理由のために、上述のＮＡＬユニットタイプのＮＡＬユニットの潜在的な存在または特定の不在をデコーダが知ることが有用である場合がある。

【0104】

代替バージョンにおいては、上述されているＮＡＬユニットタイプのうちのいくつかがグループ化されている。これはさらに、下記のシンタックスおよびセマンティクスによって例示されている。

【0105】

４．ＳＥＩメッセージのタイプに関する詳細

【0106】

この実施形態においては、セグメントはＳＥＩメッセージであり、ＳＥＩメッセージのどのタイプに関して存在が前述の実施形態のうちのいずれかによるパラメータセットにおいてシグナリングされることが可能であるかがさらに記述される。

【0107】

テーブル１４において列挙されているＳＥＩメッセージタイプのうちのいずれも、またはＨＥＶＣにおいて規定されているＳＥＩメッセージのうちのいずれも、潜在的にそれらの存在がパラメータセットにおいてシグナリングされることが可能である。また、いかなる今後のＳＥＩメッセージタイプも（この場合、いくつかはＨＥＶＣからコピーされる可能性がある）、潜在的にその存在をパラメータセットにおいてシグナリングされることが可能である。

【0108】

下記は、現在のバージョンのＶＶＣにおけるＳＥＩメッセージタイプのうちの２つに関する例示的なシンタックスおよびセマンティクスである。

【0109】

ビットストリームにＤＲＡＰ ＳＥＩメッセージがないということをデコーダが知っていることが有用である場合がある。たとえば、デコーダが、自身が現在デコードしていない別個のチャネルに同調できるようにしたい場合には、デコーダは、ＤＲＡＰ画像が存在しているならば、そうすることが可能であり、最新のＩＲＡＰ画像を格納して、ＤＲＡＰ画像でさらに高速に同調できるようにすることが可能であろう。しかし、ＤＲＡＰ画像がビットストリームに存在していないということをデコーダが知っている場合には、デコーダは、別個のチャネルの最新のＩＲＡＰ画像を格納する必要はないであろうが、自身が同調したい場合に、単に次のＩＲＡＰ画像を待つことが可能である。

【0110】

代替バージョンにおいては、パラメータセットは、下記のセマンティクスを有しているｎｏ＿ｒａｐ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇパラメータを含むことが可能である。

【0111】

１に等しいｎｏ＿ｒａｐ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、現在のアクセスユニットを除いて、ＮＡＬユニットタイプＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、ＣＲＡ＿ＮＵＴ、またはＧＲＡ＿ＮＵＴのＮＡＬユニットがビットストリームに存在していてはいけないことがビットストリーム準拠の要件であるということを指定する。従属ランダムアクセスポイント表示ＳＥＩメッセージがビットストリームに存在していてはいけないことが、さらにビットストリーム準拠の要件である。０に等しいｎｏ＿ｒａｐ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、制約を課さない。

【0112】

５．パラメータセットに関する詳細

【0113】

この実施形態においては、さらにパラメータセットが何であり得るかが規定され、パラメータセットにおいては、ビットストリームにおけるセグメントタイプの存在がシグナリングされる。

【0114】

１つのバージョンにおいては、パラメータセットはＤＰＳである。別のバージョンにおいては、パラメータセットはＶＰＳである。１つのバージョンにおいては、セグメントタイプの存在は、ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）ｓｔｒｕｃｔにおいてシグナリングされ、これは、現在のバージョンのＶＶＣにおいては、ＤＰＳおよびＶＰＳの両方に存在していてもよい。２つのその他のバージョンにおいては、パラメータセットは、それぞれＳＰＳまたはＰＰＳである。さらに別のバージョンにおいては、パラメータセットは、システムレイヤでシグナリングされる、たとえば、ＤＶＢ、ＡＴＳＣ、ＩＳＯＢＭＦＦ、ＤＡＳＨ、またはＭＭＴにおいて指定されるエンティティ、ボックス、またはフィールドである。

【0115】

６．どの時間サブレイヤがＮＡＬユニットタイプを有することが可能であるかをシグナリングする

【0116】

一実施形態においては、パラメータセットは、セグメントタイプＡを有するセグメントが存在していてもよいかまたは存在していてはいけない、１つまたは複数の時間サブレイヤを識別する。たとえば、一例においては、パラメータセットは、ＮＡＬユニットタイプＡを有するＮＡＬユニット（たとえば、ＳＴＳＡ＿ＮＵＴ）がビットストリームにおける時間サブレイヤ１にのみ存在していてもよく、１よりも高い時間サブレイヤに存在していてはいけないということを示す。

【0117】

７．どのレイヤ（たとえばスケーラブルレイヤ）がＮＡＬユニットタイプを有することが可能であるかをシグナリングする

【0118】

一実施形態においては、パラメータセットは、セグメントタイプＡを有するセグメントが存在していてもよいかまたは存在していてはいけない１つまたは複数のレイヤを識別する。たとえば、一例においては、パラメータセットは、ＮＡＬユニットタイプＡを有するＮＡＬユニット（たとえば、ＳＴＳＡ＿ＮＵＴ）がビットストリームにおけるレイヤ０、４、および３４にのみ存在していてもよく、ビットストリームにおけるレイヤ５、７、および２３に存在していてはいけないということを示す。

【0119】

８．パラメータが指定の値を有するべきであるかまたは有さなければならないということをサードパーティーの仕様が義務付ける。

【0120】

別の実施形態においては、セグメントタイプの存在を示し、パラメータセットにおいてシグナリングされるパラメータが指定の値を有するべきであるかまたは有さなければならないということをサードパーティーの仕様（たとえばＤＶＢまたはＡＴＳＣ）が義務付ける。たとえば、ＤＶＢまたはＡＴＳＣは、ｎｏ＿ｇｄｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇが１という値を有さなければならないということを指定することが可能である。これは、ＮＡＬユニットタイプＧＤＲ＿ＮＵＴのＮＡＬユニットがビットストリームに存在していてはいけないということを意味することが可能である。

【0121】

９．ビットストリーム、およびパラメータの範囲。

【0122】

一実施形態においては、ビットストリームという用語は、ビットストリーム全体のうちで、パラメータを含むパラメータセットをセグメントが参照する部分を指す。ＨＥＶＣおよびＶＶＣにおいては、ビットストリーム全体は、連続した一連の１つまたは複数のＣＶＳであり、その後にビットストリームの終わりのＮＡＬユニットが続く。たとえば、パラメータがＤＰＳまたはＶＰＳに存在している場合には、ビットストリームは、そのパラメータを含むＤＰＳまたはＶＰＳをそれぞれ参照するＣＶＳのみを含むことが可能である。

【0123】

別の実施形態においては、パラメータはＳＰＳに存在しており、ビットストリームは、そのＳＰＳを参照する単一のＣＶＳのみを含む。あるいは、このケースにおけるビットストリームは、ＳＰＳが参照するＤＰＳまたはＶＰＳのいずれかを参照するＣＶＳから構成される。

【0124】

その他の実施形態においては、パラメータはＰＰＳに存在しており、ビットストリームは、１）そのＰＰＳを参照するセグメント（またはＮＡＬユニット）、２）ＰＰＳが存在しているかまたはアクティブ化されているＣＶＳ、３）ＰＰＳが参照するＤＰＳを参照するＣＶＳ、４）ＰＰＳが参照するＶＰＳを参照するＣＶＳ、のうちの１つから構成される。

【0125】

本開示における「ビットストリーム」という用語は、上記の実施形態において説明されている意味のうちのいずれかを有することが可能である。

【0126】

１０．上書き

【0127】

別の実施形態においては、インジケータ値は、ビットストリーム全体の今後の部分において変わる可能性があり、それによって、たとえばインジケータは、特定のＮＡＬユニットタイプがビットストリームの一部に存在していてもよいということ、および特定のＮＡＬユニットタイプがビットストリームのその後の部分に存在していてはいけないということを示す。この実施形態においては、インジケータ値は、インジケータが上書きされるかまたは新たな値に設定されるまで、ビットストリームの一部に適用され、ビットストリームにおけるその時点から、インジケータの新たな値が適用される。

【0128】

この実施形態の変形においては、インジケータ値は、サブビットストリーム抽出またはマージプロセスにおいて上書きされることが可能であり、それによって、結果として生じるビットストリームは、特定のＮＡＬユニットタイプのうちの１つまたはグループを有することが可能であり、または有さないことも可能であり、結果として生じるビットストリームにおけるインジケータ値は、１つまたは複数の元のビットストリームにおける１つまたは複数のインジケータ値に基づいて規定されることが可能である。

【0129】

１１．マルチバリューインジケータ

【0130】

別の実施形態においては、インジケータ値が、２つ以上のビットのセットから決定されること（すなわち、３つの値などの２つよりも多い値を有すること）が可能である。たとえば、パラメータセットに含まれる２つ以上のビットをデコードすることによってインジケータ値が決定されるケースにおいては、インジケータ値は、０、１、２、および３という値のうちのいずれかの値を有することが可能である。１つのそのようなインジケータ値（たとえば、０）は、特定のＮＡＬユニットタイプがビットストリームに存在していてもよいということを示すことが可能であり、別のそのような値（たとえば、１）は、特定のＮＡＬユニットタイプがビットストリームに存在していてはいけないということを示すことが可能であり、第３のそのような値（たとえば、２）は、特定のＮＡＬユニットタイプがビットストリームに存在していなければならないということを示すことが可能である。

【0131】

１２．条件付きインジケータ

【0132】

別の実施形態においては、１つまたは複数のビットの第１のセット（たとえば、１ビットフラグ）が、パラメータセットにおいてシグナリングされ、ビットのこの第１のセットの値は、ビットストリームにおける同じパラメータセットまたはその他のパラメータセットにおける１つまたは複数のその他のパラメータの１つまたは複数の値とともに、セグメントタイプＡのセグメントがビットストリームに存在していてもよいか否かを指定する。一例においては、インジケータは、ＳＰＳにおけるパラメータＰの値が１に等しい場合にのみセグメントタイプＡのセグメントがビットストリームに存在してもよいかどうかを指定する。

【0133】

図８は、ビデオエンコーダ１０２またはビデオデコーダ１０４を実装するための、いくつかの実施形態による、装置８００のブロック図である。すなわち、装置８００は、プロセス６００および／またはプロセス７００を実行するように動作可能である。装置８００がビデオエンコーダ１０２を実装する実施形態においては、装置８００は、「エンコーディング装置８００」と呼ばれる場合があり、装置８００がビデオデコーダ１０４を実装する実施形態においては、装置８００は、「デコーディング装置８００」と呼ばれる場合がある。図８において示されているように、装置８００は、処理回路（ＰＣ）８０２（これは、１つまたは複数のプロセッサ（Ｐ）８５５（たとえば、汎用マイクロプロセッサおよび／または１つもしくは複数のその他のプロセッサ、たとえば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など）を含むことが可能であり、それらのプロセッサは、単一のハウジングにおいて、または単一のデータセンタにおいて同じ場所に配置されることが可能であり、または地理的に分散されることが可能である（すなわち、装置８００は、分散コンピューティング装置であることが可能である））と、ネットワーク１１０（たとえば、インターネットプロトコル（ＩＰ）ネットワーク）に接続されているその他のノードとの間において装置８００がデータを送信することおよびデータを受信することを可能にするための送信機（Ｔｘ）８４５および受信機（Ｒｘ）８４７を含むネットワークインターフェース８４８（ネットワーク１１０には、ネットワークインターフェース８４８が（直接または間接的に）接続されている（たとえば、ネットワークインターフェース８４８は、ネットワーク１１０に無線で接続されることが可能であり、そのケースにおいては、ネットワークインターフェース８４８は、アンテナ構成に接続される））と、ローカルストレージユニット（別名、「データストレージシステム」）８０８（これは、１つもしくは複数の不揮発性ストレージデバイスおよび／または１つもしくは複数の揮発性ストレージデバイスを含むことが可能である）とを含むことが可能である。ＰＣ８０２がプログラマブルプロセッサを含む実施形態においては、コンピュータプログラム製品（ＣＰＰ）８４１が提供されることが可能である。ＣＰＰ８４１は、たとえば、コンピュータ可読命令（ＣＲＩ）８４４を含むコンピュータプログラム（ＣＰ）８４３を格納するコンピュータ可読メディア（ＣＲＭ）８４２を含む。ＣＲＭ８４２は、磁気メディア（たとえば、ハードディスク）、光メディア、メモリデバイス（たとえば、ランダムアクセスメモリ、フラッシュメモリ）など、非一時的コンピュータ可読メディアであることが可能である。いくつかの実施形態においては、コンピュータプログラム８４３のＣＲＩ８４４は、ＰＣ８０２によって実行されたときに、本明細書において記述されているステップ（たとえば、本明細書においてフローチャートに関連して記述されているステップ）をＣＲＩが装置８００に実行させるように設定されている。その他の実施形態においては、装置８００は、コードに対する必要性を伴わずに、本明細書において記述されているステップを実行するように設定されることが可能である。すなわち、たとえば、ＰＣ８０２は、単に１つまたは複数のＡＳＩＣから構成されることが可能である。それゆえに、本明細書において記述されている実施形態の特徴は、ハードウェアおよび／またはソフトウェアで実施されることが可能である。

【0134】

さまざまな実施形態が本明細書（付録を含む）において記述されているが、それらは、限定ではなく、単なる例として提示されてきたということを理解されたい。それゆえに、本開示の広がりおよび範囲は、上述の例示的な実施形態のうちのいずれによっても限定されるべきではない。その上、上述の要素の、それらのすべての可能なバリエーションでのいかなる組合せも、本開示によって包含される。ただし、その他の内容が本明細書において示されている場合、またはその他の形で文脈によって明らかに矛盾される場合は除く。

【0135】

加えて、上述されて図面において示されているプロセスは、一連のステップとして示されているが、これは、単に例示のために行われたものである。したがって、いくつかのステップが付加されることが可能であり、いくつかのステップが省略されることが可能であり、ステップの順序が再構成されることが可能であり、いくつかのステップが並行して実行されることが可能であると考えられる。

【0136】

略語 説明

【0137】

ＡＴＳＣ 先進テレビシステム委員会

【0138】

ＡＵ アクセスユニット

【0139】

ＡＵＤ アクセスユニットデリミタ

【0140】

ＡＬＦ 適合ループフィルタ

【0141】

ＡＰＳ 適合パラメータセット

【0142】

ＢＬＡ ブロークンリンクアクセス

【0143】

ＣＬＶＳ コーディングされたレイヤビデオシーケンス

【0144】

ＣＲＡ クリーンランダムアクセス

【0145】

ＣＶＳ コーディングされたビデオストリーム

【0146】

ＣＶＳＳ ＣＶＳスタート

【0147】

ＣＵ コーディングユニット

【0148】

ＤＡＳＨ ＨＴＴＰを介した動的適合ストリーミング

【0149】

ＤＰＳ デコーディングパラメータセット

【0150】

ＤＶＢ デジタルビデオブロードキャスティング

【0151】

ＤＲＡＰ 従属ランダムアクセスポイント

【0152】

ＧＤＲ グラデュアルデコーディングリフレッシュ

【0153】

ＨＥＶＣ 高効率ビデオコーディング

【0154】

ＩＤＲ インスタントデコーディングリフレッシュ

【0155】

ＩＲＡＰ イントラランダムアクセスポイント

【0156】

ＩＳＯ 国際標準化機構

【0157】

ＩＳＯＢＭＦＦ ＩＳＯベースメディアファイルフォーマット

【0158】

ＬＭＣＳ 輝度マッピングおよび彩度スケーリング

【0159】

ＭＰＥＧ モーションピクチャエキスパートグループ

【0160】

ＭＭＴ ＭＰＥＧメディアトランスポート

【0161】

ＮＡＬ ネットワーク抽象化レイヤ

【0162】

ＮＡＬＵ ＮＡＬユニット

【0163】

ＮＵＴ ＮＡＬユニットタイプ

【0164】

ＰＰＳ 画像パラメータセット

【0165】

ＲＡＤＬ ランダムアクセスデコーダブルリーディング

【0166】

ＲＡＰ ランダムアクセスポイント

【0167】

ＲＡＳＬ ランダムアクセススキップリーディング

【0168】

ＲＢＳＰ ローバイトシーケンスペイロード

【0169】

ＲＰＬ 参照画像リスト

【0170】

ＳＥＩ 補助強化レイヤ

【0171】

ＳＰＳ シーケンスパラメータセット

【0172】

ＳＴＳＡ 段階的時間レイヤアクセス

【0173】

ＶＣＬ ビデオコーディングレイヤ

【0174】

ＶＰＳ ビデオパラメータセット

【0175】

ＶＶＣ 多用途ビデオコーディング
付録
以降の文章は、現在のバージョンのＶＶＣに対する変更を提案する寄与文書からのものである。
文章の始まり
要約
この寄与文書は、ビットストリームにおけるＮＡＬユニットタイプのうちのいくつかの潜在的な存在を、ＤＰＳおよびＶＰＳにおけるｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）ｓｔｒｕｃｔにおいてシグナリングすることを提案している。加えて、ビットストリームにおけるＤＲＡＰ画像の潜在的な存在を、ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）ｓｔｒｕｃｔにおいてシグナリングすることも提案されている。第１のオプションにおいては、下記の制約フラグが提案されている。
－ ｎｏ＿ｔｒａｉｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｓｔｓａ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｒａｓｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｒａｄｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｉｄｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｃｒａ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｇｄｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ａｐｓ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｄｅｐｅｎｄｅｎｔ＿ｒａｐ＿ｉｎｄｉｃａｔｉｏｎ＿ｓｅｉ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
第２のさらにスリムなオプションにおいては、最も有用であろうと提案者が評価しているＮＡＬユニットおよび画像タイプに関してのみ制約フラグが提案されている。第１のオプションと比較してもう１つの違いは、ｎｏ＿ｉｄｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇおよびｎｏ＿ｃｒａ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇがｎｏ＿ｉｒａｐ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇへとグループ化されているということである。下記の制約フラグが、第２のオプションにおいて提案されている。
－ ｎｏ＿ｓｔｓａ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｉｒａｐ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｇｄｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ａｐｓ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｄｅｐｅｎｄｅｎｔ＿ｒａｐ＿ｉｎｄｉｃａｔｉｏｎ＿ｓｅｉ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
オプション１もしくはオプション２のうちの一方をＶＶＣ仕様に付加するか、またはその２つを併せて付加することが提案される。
１ 序論
現在のバージョンのＶＶＣは、制約のセットをＤＰＳおよび／またはＶＰＳにおけるｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）ｓｔｒｕｃｔにおいてシグナリングすることを提供する。それらの制約は、特定のコーディングツールがビットストリームにおいて有効にされているか否か、ビットストリームに関する最大ビット深度および彩度フォーマットなどを含めて、ビットストリームから何を予期するかをデコーダに知らせる。これらの制限を与えられると、デコーダは次いで、リソースの割り当ておよび使用を適合させることが可能である。しかしながら、これらの制約は、ビットストリームにおいて予期され得るＮＡＬユニットタイプに関するいかなる情報も含まない。下記は、特定のＮＡＬユニットタイプがビットストリームに存在していないであろうということをデコーダが知ることが有用であり得る場合のいくつかの例である。
－ ＳＴＳＡ画像がビットストリームに存在していないであろうということがわかっている場合には、デコーダは、自身が現在デコードしているものよりも高位の時間サブレイヤをスキャンする必要はなく、ＳＴＳＡ画像でスイッチアップする際にさもなければ必要とされる可能性があるいかなるＰＰＳまたはＡＰＳもそれらの高位のサブレイヤに格納する必要はない。
－ 第１のアクセスユニットを除いて、ＣＲＡまたはＩＤＲ画像がビットストリームに存在していないであろうということがわかっている場合には、デコーダは、ＩＲＡＰ画像からのいかなるビットレートスパイクもない可能性があると結論付けることが可能であり、それに応じて自身の出力タイミングを適合させることが可能である。
－ ＧＤＲ画像がビットストリームに存在していないであろうということがわかっている場合には、デコーダは、ストリームをデコードするためにいかなる利用不可能な画像も生成する必要はない（いかなるＲＡＳＬ画像も破棄されるので、利用不可能な画像を生成せずにＣＲＡランダムアクセスが行われることが可能であるということは、よく知られている）。
－ ビットストリームにＡＰＳがないであろうということがわかっている場合には、デコーダは、いかなる潜在的なＡＰＳを格納するためにもメモリを割り当てる必要はない。
－ ビットストリームにＤＲＡＰ ＳＥＩメッセージがないということをデコーダが知っていることが有用である場合がある。たとえば、デコーダが、１つのブロードキャストされているチャネルから、自身が現在デコードしていない別のチャネルへ切り替えることができるようにしたい場合には、デコーダは、ＤＲＡＰ画像が存在しているならば、その別のチャネルの最新のＩＲＡＰ画像を格納して、後続のＤＲＡＰ画像でさらに高速に同調できるようにすることが可能である。切り替える際に、デコーダは、まず格納されているＩＲＡＰ画像を、続いてＤＲＡＰ画像を、次いで後続の画像をデコードすることになる。しかし、ＤＲＡＰ画像がビットストリームに存在していてはいけないということをデコーダが知っている場合には、デコーダは、別個のチャネルの最新のＩＲＡＰ画像を格納する必要はないであろうが、自身がその別のチャネルへ切り替えたい場合に、次のＩＲＡＰ画像を待たなければならないであろう。
２ 提案
ビットストリームにおけるＮＡＬユニットタイプのうちのいくつかの潜在的な存在を、ＤＰＳおよびＶＰＳにおけるｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）ｓｔｒｕｃｔにおいてシグナリングすることが提案されている。加えて、ビットストリームにおけるＤＲＡＰ画像の潜在的な存在を、ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）ｓｔｒｕｃｔにおいてシグナリングすることも提案されている。第１のオプションにおいては、下記の制約フラグが提案されている。
－ ｎｏ＿ｔｒａｉｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｓｔｓａ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｒａｓｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｒａｄｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｉｄｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｃｒａ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｇｄｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ａｐｓ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｄｅｐｅｎｄｅｎｔ＿ｒａｐ＿ｉｎｄｉｃａｔｉｏｎ＿ｓｅｉ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
第２のさらにスリムなオプションにおいては、最も有用であろうと提案者が評価したＮＡＬユニットおよび画像タイプに関してのみ制約フラグが提案されている。第１のオプションと比較してもう１つの違いは、ｎｏ＿ｉｄｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇおよびｎｏ＿ｃｒａ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇがｎｏ＿ｉｒａｐ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇへとグループ化されているということである。下記の制約フラグが、第２のオプションにおいて提案されている。
－ ｎｏ＿ｓｔｓａ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｉｒａｐ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｇｄｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ａｐｓ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
－ ｎｏ＿ｄｅｐｅｎｄｅｎｔ＿ｒａｐ＿ｉｎｄｉｃａｔｉｏｎ＿ｓｅｉ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ
オプション１もしくはオプション２のうちの一方をＶＶＣ仕様に付加するか、またはその２つを併せて付加することが提案される。
２．１ ＶＶＣ仕様に対する提案される変更
オプション１およびオプション２に関する現在のＶＶＣドラフト（ＪＶＥＴ－Ｏ２００１ｖＥ）に加えての提案される変更が、以降に示されている。
２．１．１ オプション１

２．１．２ オプション２ － スリムなバージョン

【0176】

文章の終わり

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2022-06-03

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

デコーダ（１０４）によって実行される方法（６００）であって、
ビットストリームを受信すること（ｓ６０２）であって、前記ビットストリームが、前記ビットストリームの第１の部分を含む、ビットストリームを受信すること（ｓ６０２）と、
前記ビットストリームの前記第１の部分から、ＤＰＳ、ＶＰＳ、ＳＰＳ、およびＰＰＳのうちの１つまたは複数における一般制約情報シンタックス要素からのＮＡＬユニット存在情報をデコードすることとを含み、
ｉ）前記ＮＡＬユニット存在情報が、少なくとも第１のＮＡＬユニットタイプのＮＡＬユニットが前記ビットストリームの少なくとも一部分に存在していてはいけないということを示すか、または
ｉｉ）前記ＮＡＬユニット存在情報が、少なくとも前記第１のＮＡＬユニットタイプのＮＡＬユニットが前記ビットストリームの少なくとも前記部分に存在していてもよいということを示し、
前記少なくとも前記第１のＮＡＬユニットタイプのＮＡＬユニットが、ＶＣＬ ＮＡＬユニットであるか、またはＡＰＳ ＮＡＬユニット、もしくはＡＵＤ ＮＡＬユニットのうちの１つを含む、方法（６００）。

【請求項2】

前記ＮＡＬユニット存在情報が、前記第１のＮＡＬユニットタイプのＮＡＬユニットが前記ビットストリームの少なくとも前記部分に存在していてはいけないということを示していると決定することと、
前記ビットストリームの前記部分が前記第１のＮＡＬユニットタイプのＮＡＬユニットを含むということを検知することと、
前記決定することおよび前記検知することの結果として、前記ビットストリームの少なくとも前記部分が無効であると宣言することと
をさらに含む、請求項１に記載の方法。

【請求項3】

前記ＮＡＬユニット存在情報が、
ｉ）前記ビットストリームの前記部分が前記第１のＮＡＬユニットタイプのいずれのＮＡＬユニットも含んではいけない時間サブレイヤの値もしくは値の範囲、または
ｉｉ）前記ビットストリームの前記部分が前記第１のＮＡＬユニットタイプのＮＡＬユニットを含んでもよい前記時間サブレイヤの値もしくは値の範囲、のうちの一方を示し、さらに前記方法がさらに、
前記ＮＡＬユニット存在情報が、前記ビットストリームの前記部分が前記第１のＮＡＬユニットタイプのいずれのＮＡＬユニットも含んではいけない前記時間サブレイヤの値または値の範囲を示していると決定することと、
前記時間サブレイヤの値または値の範囲によって識別された時間サブレイヤが前記第１のＮＡＬユニットタイプのＮＡＬユニットを含むということを検知することと、
前記決定することおよび前記検知することの結果として、前記ビットストリームの前記部分が無効であると宣言することとを含む、請求項１または２に記載の方法。

【請求項4】

前記ＮＡＬユニット存在情報が、
ｉ）前記ビットストリームの前記部分が前記第１のＮＡＬユニットタイプのいずれのＮＡＬユニットも含んではいけないレイヤの値もしくは値の範囲、または
ｉｉ）前記ビットストリームの前記部分が前記第１のＮＡＬユニットタイプのＮＡＬユニットを含んでもよい前記レイヤの値もしくは値の範囲、のうちの一方を示す、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記ＮＡＬユニット存在情報が、前記ビットストリームの前記部分が前記第１のＮＡＬユニットタイプのいずれのＮＡＬユニットも含んではいけない前記レイヤの値または値の範囲を示していると決定することと、
前記レイヤの値または値の範囲によって識別されたレイヤが前記第１のＮＡＬユニットタイプのＮＡＬユニットを含むということを検知することと、
前記決定することおよび前記検知することの結果として、前記ビットストリームの前記部分が無効であると宣言することと
をさらに含む、請求項４に記載の方法。

【請求項6】

前記ビットストリームの前記第１の部分が、第１のパラメータセットおよび第２のパラメータセットを含み、
前記方法がさらに、前記第１のパラメータセットに含まれている情報に基づいて第１の値を決定することと、前記第２のパラメータセットに含まれている情報に基づいて第２の値を決定することとを含み、
前記ＮＡＬユニット存在情報が、前記第１の値および前記第２の値を含む、
請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記ビットストリームの前記第１の部分が、第１のパラメータセットを含み、
前記方法がさらに、前記第１のパラメータセットに含まれている情報に基づいて第１の値を決定することと、前記第１のパラメータセットに含まれている情報に基づいて第３の値を決定することとを含み、
前記ＮＡＬユニット存在情報が、前記第１の値および前記第３の値を含む、
請求項１から６のいずれか一項に記載の方法。

【請求項8】

エンコーダ（１０２）によって実行される方法（７００）であって、
ビットストリームを生成すること（ｓ７０２）であって、
前記ビットストリームが、前記ビットストリームの第１の部分を含み、
前記ビットストリームの前記第１の部分が、ＮＡＬユニット存在情報を提供する一般制約情報シンタックス要素を含むＤＰＳ、ＶＰＳ、ＳＰＳ、およびＰＰＳのうちの１つまたは複数を含み、さらに
ｉ）前記ＮＡＬユニット存在情報が、少なくとも第１のＮＡＬユニットタイプのＮＡＬユニットが前記ビットストリームの少なくとも一部分に存在していてはいけないということを示すか、または
ｉｉ）前記ＮＡＬユニット存在情報が、少なくとも前記第１のＮＡＬユニットタイプのＮＡＬユニットが前記ビットストリームの少なくとも前記部分に存在していてもよいということを示し、
前記少なくとも前記第１のＮＡＬユニットタイプのＮＡＬユニットが、ＶＣＬ ＮＡＬユニットであるか、またはＡＰＳ ＮＡＬユニット、もしくはＡＵＤ ＮＡＬユニットのうちの１つを含む、ことと、
前記ビットストリームを出力すること（ｓ７０４）と、を含む方法（７００）。

【請求項9】

前記ビットストリームの前記第１の部分が、第１のパラメータセットから構成されており、
前記第１のパラメータセットが、ビットのセットを含み、
前記第１のパラメータセットに含まれているビットの前記セットが、前記ＮＡＬユニット存在情報を提供し、ビットの前記セットが、前記第１のパラメータセットにおける単一のビットまたはビットの連続したセットから構成されている、
請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記ＶＣＬ ＮＡＬユニットが、ＴＲＡＩＬ ＮＡＬユニット、ＳＴＳＡ ＮＡＬユニット、ＲＡＳＬ ＮＡＬユニット、ＲＡＤＬ ＮＡＬユニット、ＩＤＲ ＮＡＬユニット、ＣＲＡ ＮＡＬユニット、およびＧＤＲ ＮＡＬユニットのうちの１つを含む、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記ＮＡＬユニットタイプが、ＴＲＡＩＬ＿ＮＵＴ、ＳＴＳＡ＿ＮＵＴ、ＲＡＳＬ＿ＮＵＴ、ＲＡＤＬ＿ＮＵＴ、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、ＣＲＡ＿ＮＵＴ、ＧＤＲ＿ＮＵＴ、ＡＰＳ＿ＮＵＴ、またはＡＵＤ＿ＮＵＴのうちの１つである、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記第１のパラメータセットが、システムレイヤでシグナリングされるエンティティである、請求項９から１１のいずれか一項に記載の方法。

【請求項13】

前記ビットストリームの前記部分が、前記第１のパラメータセットを参照するＮＡＬユニットから構成されている、請求項９から１２のいずれか一項に記載の方法。

【請求項14】

前記ビットストリームが、連続した一連の１つまたは複数のＣＶＳであり、
前記第１のパラメータセットが、ＤＰＳまたはＶＰＳであり、前記ビットストリームの前記部分が、前記第１のパラメータセットを参照するＣＶＳのみを含むか、または
前記第１のパラメータセットが、ＳＰＳであり、前記ビットストリームの前記部分が、前記ＳＰＳを参照する前記単一のＣＶＳのみを含むか、または
前記第１のパラメータセットが、第２のパラメータセットを参照するＳＰＳであり、前記ビットストリームの前記部分が、前記ＳＰＳが参照する前記第２のパラメータセットを参照するＣＶＳのみを含む、請求項１３に記載の方法。

【請求項15】

前記ビットストリームの前記第１の部分から前記ＮＡＬユニット存在情報をデコードすることが、
前記ビットストリームの前記第１の部分におけるシンタックス要素からインジケータ値をデコードすることを含み、
前記インジケータ値が第１の値に等しいことに応答して、前記ＮＡＬユニット存在情報が、少なくとも第１のＮＡＬユニットタイプのＮＡＬユニットが前記ビットストリームの少なくとも一部分に存在していてはいけないということを示し、
前記インジケータ値が第２の値に等しいことに応答して、前記ＮＡＬユニット存在情報が、少なくとも前記第１のＮＡＬユニットタイプのＮＡＬユニットが前記ビットストリームの少なくとも前記部分に存在していてもよいということを示す、請求項１から１４のいずれか一項に記載の方法。

【請求項16】

命令（８４４）を含むコンピュータプログラム（８４３）であって、前記命令（８４４）が、処理回路（８０２）によって実行されたときに、請求項１から１５のいずれか一項に記載の方法を前記処理回路（８０２）に実行させる、コンピュータプログラム（８４３）。

【請求項17】

請求項１６に記載のコンピュータプログラムを含むキャリアであって、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体（８４２）のうちの１つであるキャリア。

【請求項18】

請求項１から７または９から１５のいずれか一項に記載の方法を実行するように適合されているデコーディング装置（８００）。

【請求項19】

請求項８から１５のいずれか一項に記載の方法を実行するように適合されているエンコーディング装置（８００）。

【国際調査報告】