ホーム > 特許ランキング > インテル コーポレイション
特表2022-539489レベル導出を伴うサブピクチャおよびサブピクチャセット
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-12
(54)【発明の名称】レベル導出を伴うサブピクチャおよびサブピクチャセット
(51)【国際特許分類】
H04N 19/70 20140101AFI20220905BHJP
H04N 19/85 20140101ALI20220905BHJP
【ＦＩ】
H04N19/70
H04N19/85
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021568820
(86)(22)【出願日】2020-06-23
(85)【翻訳文提出日】2021-11-17
(86)【国際出願番号】 US2020039123
(87)【国際公開番号】W WO2020263817
(87)【国際公開日】2020-12-30
(31)【優先権主張番号】62/866,156
(32)【優先日】2019-06-25
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】593096712
【氏名又は名称】インテル コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ボイス，ジル
(72)【発明者】
【氏名】シュイ，リードーン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LA00
5C159LC08
5C159LC09
5C159PP03
5C159PP13
5C159RC11
5C159UA02
5C159UA05
(57)【要約】
ビデオコーデックの実施形態は、ビデオデータにおけるコード化ビデオシーケンス内のコード化画像のサブ領域に対する適合点を導出し、長方形領域を形成するサブピクチャの任意の組み合わせをサブピクチャセットへとグループ化し、かつ／あるいは、コード化ビデオシーケンスのレベル及びコード化画像とサブピクチャセットの相対サイズに基づいて、サブピクチャに対応するレベルインジケータを導出するための技術を含み得る。他の実施形態が開示され、かつ、クレームされる。
【特許請求の範囲】
【請求項1】
インターフェイス回路と、命令を実行するためのプロセッサ回路であり、
コード化ビデオシーケンスのサブピクチャが適合するレベルを示す情報を獲得し、前記サブピクチャは前記コード化ビデオシーケンス内の画像の長方形領域に対応しており、かつ、
ビデオビットストリームにおいて補足強化情報(SEI)メッセージを含み、前記SEIメッセージは前記レベルを示す情報を含む、
プロセッサ回路と、
を含む、装置。
【請求項2】
前記レベルは、デコーダの処理負荷に対応する、請求項１に記載の装置。
【請求項3】
前記プロセッサ回路は、前記コード化ビデオシーケンスの画像における前記サブピクチャの数を指定する、請求項１または２に記載の装置。
【請求項4】
前記プロセッサ回路は、前記SEIメッセージのフィールドに、前記コード化ビデオシーケンスの画像における前記サブピクチャの数を示す値を入れる、請求項１乃至３いずれか一項に記載の装置。
【請求項5】
前記プロセッサ回路は、前記情報を決定することによって、前記レベルを示す情報を獲得する、請求項１乃至３いずれか一項に記載の装置。
【請求項6】
前記命令をさらに含む、請求項１乃至３いずれか一項に記載の装置。
【請求項7】
少なくとも１つのメモリと、プロセッサ回路と、を含む装置であって、
前記プロセッサ回路は、
中央処理装置、グラフィックス処理装置、またはデジタル信号プロセッサのうち少なくとも１つであり、前記プロセッサ回路内のデータの移動を制御するための制御回路、命令に対応する１つ以上の第１オペレーションを実行するための算術および論理回路、および、前記１つ以上の第１オペレーションの結果を保管するための１つ以上のレジスタを有している、前記中央処理装置、前記グラフィックス処理装置、または前記デジタル信号プロセッサのうち少なくとも１つ、
フィールドプログラマブルゲートアレイ(FPGA)であり、論理ゲート回路、複数の構成可能な相互接続、およびストレージ回路を含み、前記論理ゲート回路および前記相互接続は１つ以上の第２オペレーションを実行し、前記ストレージ回路は前記１つ以上の第２オペレーションの結果を保管する、前記FPGA、または、
１つ以上の第３オペレーションを実行するための論理ゲート回路を含む、特定用途集積回路、
のうち１つ以上を含み、
前記第１オペレーション、前記第２オペレーション、または前記第３オペレーションのうち少なくとも１つを実行する前記プロセッサ回路は、
コード化ビデオシーケンスのサブピクチャが適合するレベルを示す情報を獲得し、前記サブピクチャは前記コード化ビデオシーケンス内の画像の長方形領域に対応しており、かつ、
ビデオビットストリームにおいて補足強化情報(SEI)メッセージを含み、前記SEIメッセージは前記レベルを示す情報を含む、
装置。
【請求項8】
前記レベルは、デコーダの処理負荷に対応する、請求項７に記載の装置。
【請求項9】
前記プロセッサ回路は、前記コード化ビデオシーケンスの画像における前記サブピクチャの数を指定する、請求項７または８に記載の装置。
【請求項10】
前記プロセッサ回路は、前記SEIメッセージのフィールドに、前記コード化ビデオシーケンスの画像における前記サブピクチャの数を示す値を入れる、請求項７乃至９いずれか一項に記載の装置。
【請求項11】
前記プロセッサ回路は、前記情報を決定することによって、前記レベルを示す情報を獲得する、請求項７乃至９いずれか一項に記載の装置。
【請求項12】
命令を含む、コンピュータで読取り可能な記憶装置または記憶ディスクであって、少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、コード化ビデオシーケンスのサブピクチャが適合するレベルを示す情報を獲得し、前記サブピクチャは前記コード化ビデオシーケンス内の画像の長方形領域に対応しており、
ビデオビットストリームにおいて補足強化情報(SEI)メッセージを含み、前記SEIメッセージは前記レベルを示す情報を含む、
ようにさせる、コンピュータで読取り可能な記憶装置または記憶ディスク。
【請求項13】
前記レベルは、デコーダの処理負荷に対応する、請求項１２に記載のコンピュータで読取り可能な記憶装置または記憶ディスク。
【請求項14】
前記命令は、前記少なくとも１つのプロセッサ回路に、前記コード化ビデオシーケンスの画像における前記サブピクチャの数を指定する、ようにさせる、請求項１２または１３に記載のコンピュータで読取り可能な記憶装置または記憶ディスク。
【請求項15】
前記命令は、前記少なくとも１つのプロセッサ回路に、前記SEIメッセージのフィールドに、前記コード化ビデオシーケンスの画像における前記サブピクチャの数を示す値を入れる、ようにさせる、請求項１２乃至１４いずれか一項に記載のコンピュータで読取り可能な記憶装置または記憶ディスク。
【請求項16】
前記命令は、前記少なくとも１つのプロセッサ回路に、前記情報を決定することによって、前記レベルを示す情報を獲得する、ようにさせる、請求項１２乃至１４いずれか一項に記載のコンピュータで読取り可能な記憶装置または記憶ディスク。
【請求項17】
装置であって、少なくとも１つのメモリ、
前記装置における命令、および、
プロセッサ回路であり、前記プロセッサ回路内のデータの移動を制御するための制御回路、前記データについて１つ以上のオペレーションを実行するための算術および論理回路、および、前記１つ以上のオペレーションの結果を保管するための１つ以上のレジスタを有している、前記プロセッサ回路、
を含み、
前記プロセッサ回路は、
コード化ビデオシーケンスのサブピクチャが適合するレベルを示す情報を獲得し、前記サブピクチャは前記コード化ビデオシーケンス内の画像の長方形領域に対応しており、かつ、
ビデオビットストリームにおいて補足強化情報(SEI)メッセージを含み、前記SEIメッセージは前記レベルを示す情報を含む、
装置。
【請求項18】
前記レベルは、デコーダの処理負荷に対応する、請求項１７に記載の装置。
【請求項19】
前記プロセッサ回路は、前記命令を実行し、前記コード化ビデオシーケンスの画像における前記サブピクチャの数を指定する、請求項１７または１８に記載の装置。
【請求項20】
前記プロセッサ回路は、前記命令を実行し、前記SEIメッセージのフィールドに、前記コード化ビデオシーケンスの画像における前記サブピクチャの数を示す値を入れる、請求項１７乃至１９いずれか一項に記載の装置。
【請求項21】
前記プロセッサ回路は、前記命令を実行し、前記情報を決定することによって、前記レベルを示す情報を獲得する、請求項１７乃至１９いずれか一項に記載の装置。
【発明の詳細な説明】
【背景技術】
【0001】
優先権の主張
本出願は、2019年6月25日に出願された米国仮特許出願第62/866,156号であり、タイトルが“SUB-PICTURES AND SUB-PICTURE SETS WITH LEVEL DERIVATION”について優先権を主張するものであり、その全体がここにおいて組み込まれている。
本出願は、2019年6月25日に出願された米国仮特許出願第62/866,156号であり、タイトルが“SUB-PICTURES AND SUB-PICTURE SETS WITH LEVEL DERIVATION”について優先権を主張するものであり、その全体がここにおいて組み込まれている。
【0002】
ビデオコーディング（video coding）および復号化（decoding）は、ビデオ情報を処理するために送信されるデータの量を減らすために有用である。ビデオコーデック（video codec）は、デジタルビデオを圧縮または解凍する電子回路またはソフトウェアを指す。例えば、ビデオコーデックは、非圧縮ビデオを圧縮フォーマットに変換し、または、圧縮フォーマットを非圧縮ビデオへ解凍する。圧縮ビデオフォーマットの例は、MP4、3GP、OGG、WMV、FLV、AVI、MPEG-2PS、MPEG、VOB、VP9、などを含む。ビデオコーデックの例は、H.264、高効率ビデオコーディング(HEVC)、MPEG-4、QUICKTIME、DV、などを含む。
【図面の簡単な説明】
【0003】
ここにおいて説明されるマテリアル（material）は、例示として示されるものであり、かつ、添付の図面に限定するためのものではない。説明を簡潔化および明確化のために、図中に示されている要素は、必ずしも縮尺通りに描かれていない。例えば、いくつかの要素の寸法は、明確化のために、他の要素に対して誇張されてよい。さらに、適切と考えられる場合には、対応する要素または類似の要素を示すために、参照ラベルが図面の間で繰り返されている。
【発明を実施するための形態】
【0004】
これから、１つ以上の実施形態または実装が、添付の図面を参照して説明される。特定の構成および配置が説明されるが、これは例示的な目的のためにのみ行われるものであることが理解されるべきである。当業者であれば、本明細書の精神および範囲から逸脱することなく、他の構成および配置が採用され得ることを理解するだろう。ここにおいて説明される技術及び／又は配置は、ここにおいて説明されるもの以外の様々な他のシステムおよびアプリケーションにも使用され得ることが、当業者にとって明らかだろう。
【0005】
以下の説明は、例えば、システムオンチップ（SoC）アーキテクチャといったアーキテクチャにおいて明らかにされ得る種々の実装を示しているが、ここにおいて説明される技術及び／又は構成の実装は、特定のアーキテクチャ及び／又はコンピューティングシステムに限定されるものではなく、かつ、同様な目的のために任意のアーキテクチャ及び／又はコンピューティングシステムによって実装され得るものである。例えば、多重集積回路(IC)チップ及び／又はパッケージ、及び／又は、セットトップボックス、スマートフォン、等といった種々のコンピューティングデバイス及び／又は家電（CE）デバイスを使用する種々のアーキテクチャは、ここにおいて説明される技術及び／又は構成を実装することができる。さらに、以下の説明は、論理実装（logic implementation）、システムコンポーネントのタイプおよび相互関係、論理分割／統合選択、等といった多くの特定的な詳細を明示することができるが、請求される技術的事項（subject matter）は、そうした特定的な詳細がなくても実施可能である。他の例において、例えば、制御構造および完全なソフトウェア命令シーケンスといったいくつかのマテリアルは、ここにおいて説明されるマテリアルを不明瞭にしないために、詳細には示されないことがある。
【0006】
ここにおいて説明されるマテリアルは、ハードウェア、ファームウェア、ソフトウェア、または、それらの任意の組み合わせで実装することができる。ここにおいて説明されるマテリアルは、１つ以上のプロセッサによって読み出されて、実行され得る、マシンで読取り可能な媒体上に記憶された命令として実装されてもよい。マシンで読取り可能な媒体は、マシン(例えば、コンピューティングデバイス)によって読取り可能な形態で情報を保管または送信するための任意の媒体及び／又はメカニズムを含んでよい。例えば、マシンで読取り可能な媒体は、読出し専用メモリ（ROM）、ランダムアクセスメモリ（RAM）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電気、光、音響、または他の形態の伝搬信号(例えば、搬送波、赤外線信号、デジタル信号、等)、などを含んでよい。
【0007】
本明細書における「１つの実装（”one implementation”）」、「実装（”an implementation”）」、「例示的な実装（”an example implementation”）」等への言及は、説明される実装が特定の特徴、構造、または特性を含み得ることを示すが、全ての実施形態が必ずしも特定の特徴、構造、または特性を含まなくてもよい。そのうえ、こうした表現は、必ずしも同一の実装を示すものではない。さらに、特定の特徴、構造、または特性が、実施形態に関連して説明される場合、ここにおいて明示的に記載されているか否かにかかわらず、他の実施形態に関連して、そうした特徴、構造、または特性を行うことは当業者の知識内であることが提示されている。
【0008】
方法、装置、システム、および製品が、ビデオシステムに関してここにおいて説明される。より特定的に、実施形態は、レベル導出（level derivation）を伴うサブピクチャおよびサブピクチャセットに関する。
【0009】
ビデオコーディング(例えば、ビデオコーディング標準を含む)で使用するために、ビットレート効率の良いメカニズムの実施形態は、コード化ビデオシーケンス（coded video sequence）内のコード化画像（coded picture）のサブ領域に対する適合点（conformance point）の導出を可能にすることができる。
【0010】
高効率ビデオコーディング(HEVC)ビデオコーディング標準では、ビットストリームの適合性を定めるために、各コード化ビデオシーケンス(CVS)について、プロファイル、階層（tier）、およびレベルインジケータのシンタックス要素がビットストリーム内で信号化され、そして、特定のプロファイル、階層、およびレベルに適合するデコーダの相互運用性（interoperability）を可能にする。信号化されたプロファイル、階層、およびレベルは、画像全体を含むビデオシーケンスに対応している。
【0011】
HEVCは、シーケンス内の画像の部分領域を示すことができる、Temporal Motion Constrained Tile Setsに対する補足強化情報（Supplemental Enhancement Information、SEI）メッセージを含む。タイルセット（tile sets）と呼ばれるものであり、独立して復号することができる。タイルまたはタイルセットについて、階層およびレベル情報を任意的に送信することができる。
【0012】
HEVCのTemporal Motion Constrained Tile SetsのSEIメッセージを使用するときは、適合点情報が信号化されるタイルセットへのタイルのグループ化が事前に識別され、そして、各識別された組み合わせについて明示的に信号化されることを要する。ビットレートのオーバーヘッドは、特にタイルの数が多い場合には、全ての可能な組み合わせについて信号化するために高くなる。
【0013】
いくつかの実施形態は、長方形領域（rectangular region）を形成するサブピクチャの任意の組み合わせがサブピクチャセットへとグループ化され、そして、任意のサブピクチャに対応するレベルインジケータがCVSレベルおよびコード化画像とサブピクチャセットの相対サイズに基づいて導出されるのを可能にする技術を提供することができる。有利なことに、いくつかの実施形態は、明瞭な相互運用性および低ビットレートオーバーヘッドで、より容易なサブビットストリーム抽出およびビットストリームマージ（merging）を可能にし得る。例えば、いくつかの実施形態は、バーサタイルビデオコーディング(VVC)標準を含む、様々なビデオコーディング標準に対して有用であり得る。
【0014】
いくつかの実施形態は、シーケンスレベルのサブピクチャおよびサブピクチャセットをサポートする技術を含み得る。サブピクチャは、長方形領域に対応することができ、そして、シーケンス全体について独立して復号可能（decodable）である。タイルおよびスライスは、サブピクチャの境界を越える（cross）ことはない。サブピクチャセットは、長方形領域を形成するサブピクチャの任意の組み合わせに基づいて導出され、そして、外部手段によって決定される。サブピクチャパラメータは、サブピクチャサイズおよび位置を示すグリッドを使用して、シーケンスパラメータセット(SPS)において信号化される。いくつかの実施形態は、サブピクチャまたはサブピクチャセットのサンプルサイズに対する画像サイズのスケーリングに、それぞれの、基づいて、任意のサブピクチャまたはサブピクチャセットについてレベルが導出され得ることを示すSPSフラグを含み得る。サブピクチャまたはサブピクチャセットについて追加の階層およびレベル情報を信号化するために、代替的に、SEIメッセージが使用され得る。固定長のsub_pic_idシンタックス要素は、スライスヘッダにおける初期に信号化される。
【0015】
サブピクチャ定義の例
サブピクチャは、コード化されたピクチャの長方形領域に対応し得る。サブピクチャサイズは、１つのピクチャ内で変動し得る。各特定的なサブピクチャサイズおよび位置は、シーケンス内の全てのピクチャについて一貫している。
サブピクチャは、コード化されたピクチャの長方形領域に対応し得る。サブピクチャサイズは、１つのピクチャ内で変動し得る。各特定的なサブピクチャサイズおよび位置は、シーケンス内の全てのピクチャについて一貫している。
【0016】
各サブピクチャシーケンスは、独立して復号可能であることがある。タイトルおよびスライスは、サブピクチャの境界を越えて広がることはできない。エンコーダは、各サブピクチャが独立して復号可能であることを保証し得る。ビットストリーム上のセマンティクス制約も、また、この制約を課すのに有用であり得る。
【0017】
サブピクチャ内のタイル、スライス、およびレンガの配置は、シーケンス内のピクチャについて変動し得る。
【0018】
サブピクチャ信号化の例
サブピクチャパラメータは、SPSにおいて信号化される。サブピクチャマッピングは、グリッドに基づいて、ピクチャ内のサンプル位置をサブピクチャIDに関連付けるように信号化される。グリッドの粒度（granularity）は、エンコーダによって選択され、そして、水平方向および垂直方向の寸法について、明示的に信号化される。SPSにおけるシンタックスは、画像のセクションの信号化のためにJVET-N0275で提案された信号化メカニズムと同様に、各グリッド位置に対するsub_pic_idを示す。
サブピクチャパラメータは、SPSにおいて信号化される。サブピクチャマッピングは、グリッドに基づいて、ピクチャ内のサンプル位置をサブピクチャIDに関連付けるように信号化される。グリッドの粒度（granularity）は、エンコーダによって選択され、そして、水平方向および垂直方向の寸法について、明示的に信号化される。SPSにおけるシンタックスは、画像のセクションの信号化のためにJVET-N0275で提案された信号化メカニズムと同様に、各グリッド位置に対するsub_pic_idを示す。
【0019】
コード化された画像は、画像が分割される水平および垂直のグリッド要素の信号化された数によって決定される、グリッドへと分割される。各(i,j)番目のグリッド位置について、sub_pic_id[i][j]が信号化される。sub_pic_id値の順序付けについて制限は存在しない。しかしながら、サブピクチャは隣接（contiguous）する長方形であることを要するので、特定のsub_pic_id値を有する全てのグリッドサンプルは、隣接し、かつ、長方形でなければならない。例えば、図1Aは、グリッドのsub_pic_id値の有効な例を示している。図1Bは、無効な例を示す。サブピクチャ3が長方形でないからである。
【0020】
エンコーダは、グリッド要素サイズを決定することができる。より細かいグリッド粒度を使用することは、より多くの信号化オーバーヘッドを必要とするが、サブピクチャの変動するサイズについてより多くのフレキシビリティを提供する。シンタックスのいくつかの実施形態において、粒度は4×4であるが、最小符号化ツリーブロック(CTB)サイズを含む、他のオプションが可能である。サブピクチャパラメータ信号化のための総オーバーヘッドは、サブピクチャの数と共に増加する。
【0021】
グリッド信号化アプローチの利点は、例えば、マージ（merging）またはスプリット（splitting）プロセスについて、コード化ビットストリームにおけるサブピクチャID割り当てを変更することが非常に容易なことである。
【0022】
いくつかの実施形態は、従来のタイル信号化を利用することができ、これは、ピクチャパラメータセット(PPS)において行われ得る。SPS内に存在するサブピクチャパラメータに基づいて、タイルパラメータ信号化を修正（revise）することは有益であり得るが、このことは、パラメータセットの独立した解析における制限に違反するかもしれない。
【0023】
SPS内のいくつかのシンタックス要素は、SPS内のサブピクチャパラメータに対するより容易なアクセスを可能にするために、いくつかの実施形態において固定長コードに変換される。
【0024】
シンタックスのいくつかの実施形態において、サブピクチャの数は256に制限されており、より多くのサブピクチャに対するサポートが望まれる場合、拡張を可能にするために最大値がリザーブされている。
【0025】
スライスヘッダ信号化の例
いくつかの実施形態は、スライスPPSの直後に、スライスヘッダの最初の部分（start）にslice_sub_pic_idシンタックス要素を含み得る。スライスPPSは、slice_sub_pic_idシンタックス要素への容易なアクセス及び／又は変更を可能にするために、固定ビット幅フィールドであるように変更され得る。
いくつかの実施形態は、スライスPPSの直後に、スライスヘッダの最初の部分（start）にslice_sub_pic_idシンタックス要素を含み得る。スライスPPSは、slice_sub_pic_idシンタックス要素への容易なアクセス及び／又は変更を可能にするために、固定ビット幅フィールドであるように変更され得る。
【0026】
いくつかの実施形態において、slice_addressまたはbrickパラメータの信号化及び／又は計算は、sub_pic_id[i][j]、SubPicTop[slice_sub_pic_id]、
およびSubPicLeft[slice_sub_pic_id]の値に基づいて修正されてよい。
およびSubPicLeft[slice_sub_pic_id]の値に基づいて修正されてよい。
【0027】
サブピクチャセットの例
サブピクチャセットは、１つ以上のサブピクチャで構成され得る。サブピクチャセットパラメータは、SPS内で明示的に信号化されないが、長方形領域を形成するサブピクチャの任意の組み合わせに基づいて導出され得る。どのピクチャが、デコーダが復号することを期待されるサブピクチャセット内に存在するかを決定するために、外部手段が使用され得る。
サブピクチャセットは、１つ以上のサブピクチャで構成され得る。サブピクチャセットパラメータは、SPS内で明示的に信号化されないが、長方形領域を形成するサブピクチャの任意の組み合わせに基づいて導出され得る。どのピクチャが、デコーダが復号することを期待されるサブピクチャセット内に存在するかを決定するために、外部手段が使用され得る。
【0028】
図2Aは、いくつかのサブピクチャに分割された画像を示している。図2B、図2C、および図2Dは、これらのサブピクチャから形成され得る異なるサブピクチャセットの例を示しており、より太いアウトラインは、サブピクチャのそれぞれのセットを示している(例えば、図2Bにおけるサブピクチャ0および1のセット、図2Cにおけるサブピクチャ0、1、および3のセット、そして、図2Dにおけるサブピクチャ0、1、および2のセット)。
【0029】
使用例は、キューブマップを使用する360ビデオコーディングのためのものである。例えば、6個の立方体の面それぞれが4個の領域へと分割され、24個のサブピクチャを作成することができる。デコーダは、視聴されている領域に対応するサブピクチャを含んでいるサブピクチャのみを復号し、かつ、レンダリングするように選択することができる。
【0030】
サブピクチャシーケンスおよびサブピクチャセットシーケンスのためのプロファイル、階層、レベルの例
全てのサブピクチャシーケンスおよびサブピクチャセットシーケンスは、CVSと同じプロファイルに準拠している。いくつかの実施形態は、CVSについて全てのサブピクチャシーケンスおよびサブピクチャセットシーケンスのレベルが、コード化されたピクチャサイズに対して、それぞれに、サブピクチャまたはサブピクチャセットサイズの比に基づいて導出され得ることを示すために、SPSフラグを含んでよい。このフラグが設定されると、サブピクチャシーケンスおよびサブピクチャセットシーケンスについて、CVSと同じ層が使用される。
全てのサブピクチャシーケンスおよびサブピクチャセットシーケンスは、CVSと同じプロファイルに準拠している。いくつかの実施形態は、CVSについて全てのサブピクチャシーケンスおよびサブピクチャセットシーケンスのレベルが、コード化されたピクチャサイズに対して、それぞれに、サブピクチャまたはサブピクチャセットサイズの比に基づいて導出され得ることを示すために、SPSフラグを含んでよい。このフラグが設定されると、サブピクチャシーケンスおよびサブピクチャセットシーケンスについて、CVSと同じ層が使用される。
【0031】
エンコーダは、ビットレート、サンプルレート、等における全ての制限を含めて、フラグが設定されたときに、全てのサブピクチャおよび可能な全てのサブピクチャセットシーケンスが、派生した階層およびレベルに適合することを保証し得る。
【0032】
サブピクチャシーケンスおよびサブピクチャセットシーケンスのための明示的なプロファイル、階層、レベル信号化に対するSEIメッセージの例
追加的なレベル信号化が望まれる場合、いくつかの実施形態は、任意の所望のサブピクチャおよびサブピクチャセットについて階層およびレベルの信号化を可能にする、SEIメッセージを利用することができる。シンタックスの実施形態は、HEVCの時間的運動制約タイルセット（temporal motion-constrained tile sets）SEIメッセージで使用されるものとは異なってよい。有利なことに、シンタックスの実施形態は、マージされたビットストリームが形成されるとき、より容易に修正可能である。
追加的なレベル信号化が望まれる場合、いくつかの実施形態は、任意の所望のサブピクチャおよびサブピクチャセットについて階層およびレベルの信号化を可能にする、SEIメッセージを利用することができる。シンタックスの実施形態は、HEVCの時間的運動制約タイルセット（temporal motion-constrained tile sets）SEIメッセージで使用されるものとは異なってよい。有利なことに、シンタックスの実施形態は、マージされたビットストリームが形成されるとき、より容易に修正可能である。
【0033】
シーケンスパラメータセットシンタックスの例
sub_pics_present_flagが1に等しいことは、シンタックス構造にサブピクチャパラメータが存在することを示す。sub_pics_present_flagが0に等しいことは、シンタックス構造にサブピクチャパラメータが存在しないことを示す。
sub_pic_derive_tier_level_flagが1に等しいことは、CVS内の全てのサブピクチャおよびサブピクチャセットの階層およびレベルのインジケータが導出され得ることを示す。
max_sub_pics_minus1プラス１は、CVS内に存在し得るサブピクチャの最大数を指定する。max_sub_pics_minus1は0から254までの範囲である。255の値は将来の使用のためにリザーブされ得る。
sub_pic_grid_element_width_minus1は、サブピクチャ識別子グリッドの各要素の幅を8サンプルの単位で指定する。シンタックス要素の長さは、
Ceil(Log2(PicWidthInMinCbsY))ビットである。
sub_pic_grid_element_height_minus1は、サブピクチャ識別子グリッドの各要素の高さを8サンプルの単位で指定する。シンタックス要素の長さは、
Ceil(Log2(PicHeightInMinCbsY))ビットである。
sub_pic_id[i][j]は、(i,j)番目のグリッド位置のサブピクチャ識別子を指定する。シンタックス要素の長さはCeil(Log2(max_sub_pics_minus1+1))ビットである。
【表1-1】
【表1-2】
sub_pic_derive_tier_level_flagが1に等しいことは、CVS内の全てのサブピクチャおよびサブピクチャセットの階層およびレベルのインジケータが導出され得ることを示す。
max_sub_pics_minus1プラス１は、CVS内に存在し得るサブピクチャの最大数を指定する。max_sub_pics_minus1は0から254までの範囲である。255の値は将来の使用のためにリザーブされ得る。
sub_pic_grid_element_width_minus1は、サブピクチャ識別子グリッドの各要素の幅を8サンプルの単位で指定する。シンタックス要素の長さは、
Ceil(Log2(PicWidthInMinCbsY))ビットである。
sub_pic_grid_element_height_minus1は、サブピクチャ識別子グリッドの各要素の高さを8サンプルの単位で指定する。シンタックス要素の長さは、
Ceil(Log2(PicHeightInMinCbsY))ビットである。
sub_pic_id[i][j]は、(i,j)番目のグリッド位置のサブピクチャ識別子を指定する。シンタックス要素の長さはCeil(Log2(max_sub_pics_minus1+1))ビットである。
【0034】
以下は、ビットストリーム適合性の要件である。
if(i>0 && j>0)
if(sub_pic_id[i][j]==sub_pic_id[i-1][j]&&(sub_pic_id[i][j]==
sub_pic_id[i][j-1])
sub_pic_id[i][j]shallequalsub_pic_id[i-1][j-1]
if(i>0 && j>0)
if(sub_pic_id[i][j]==sub_pic_id[i-1][j]&&(sub_pic_id[i][j]==
sub_pic_id[i][j-1])
sub_pic_id[i][j]shallequalsub_pic_id[i-1][j-1]
【0035】
変数SubPicTop[i[j]]、SubPicLeft[i][j]は、以下のように導出される。
if(i==0)
SubPicTop[sub_pic_id[i][j]]=0
Else if(sub_pic_id[i][j]!=sub_pic_id[i-1][j])
SubPicTop[sub_pic_id[i][j]]=i
if(j==0)
SubPicLeft[sub_pic_id[i][j]]=0
Else if(sub_pic_id[i][j]!=sub_pic_id[i][j-1])
SubPicLeft[sub_pic_id[i][j]]=j
if(i==0)
SubPicTop[sub_pic_id[i][j]]=0
Else if(sub_pic_id[i][j]!=sub_pic_id[i-1][j])
SubPicTop[sub_pic_id[i][j]]=i
if(j==0)
SubPicLeft[sub_pic_id[i][j]]=0
Else if(sub_pic_id[i][j]!=sub_pic_id[i][j-1])
SubPicLeft[sub_pic_id[i][j]]=j
【0036】
スライスヘッダの例
slice_sub_pic_idは、スライスのサブピクチャ識別子を指定する。シンタックス要素の長さはCeil(Log2(max_sub_pics_minus1+1))ビットである。
【表2】
【0037】
SEIメッセージの例
sp_id_lenは、sp_sub_ic_idシンタックス要素を信号化するために使用されるビット数を指定する。
sp_tier_present_flagが1に等しいことは、sp_tier_idc[sp_sub_pic_id]およびsp_set_tier_idc[sp_sub_pic_set_id]シンタックス要素がシンタックス構造内に存在することを指定する。sp_tier_present_flagが0に等しいことは、sp_tier_idc[sp_sub_pic_id]およびsp_set_tier_idc[sp_sub_pic_set_id]シンタックス要素がシンタックス構造内に存在しないことを指定する。
num_sub_pic_params_minus1 +1は、シンタックス構造の中にパラメータが存在するサブピクチャの数を指定する。
sp_sub_pic_idは、信号化されたパラメータについてサブピクチャの識別子を指定する。
sp_tier_idc[sp_sub_pic_id]は、sp_level_idc[sp_sub_pic_id]の解釈（interpretation）のために、レベルコンテキストの解釈のためのレベルコンテキストを指定する。存在しない場合に、sp_tier_idc[sp_sub_pic_id]の値は、アクティブなSPSに対するtier_idcに等しいものと推定される。
sp_level_idc[sp_sub_pic_id]は、sp_sub_pic_id番目のサブビットストリームシーケンスが準拠するレベルを指定する。存在しない場合に、sp_level_idc[sp_sub_pic_id]の値は、アクティブなSPSに対するlevel_idcに等しいものと推定される。
num_sub_pic_sets_paramsは、シンタックス構造内にパラメータが存在するサブピクチャセットの数を指定する。
sp_sub_pic_set_idは、信号化されたパラメータについてサブピクチャセットの識別子を指定する。
sp_sub_pic_id_in_set[sp_sub_pic_set_id][j]が1に等しいことは、j番目のサブピクチャがsp_sub_pic_set_id番目のサブピクチャセットに含まれることを指定する。sp_sub_pic_id_in_set[sp_sub_pic_set_id][j]が0に等しいことは、j番目のサブピクチャがsp_sub_pic_set_id番目のサブピクチャセットに含まれないことを指定する。
sp_set_tier_idc[sp_sub_pic_set_id]は、sp_level_idc[sp_sub_pic_id]の解釈のために、レベルコンテキストの解釈のためのレベルコンテキストを指定する。存在しない場合に、sp_tier_idc[sp_sub_pic_set_id]の値は、アクティブなSPSのtier_idcに等しいものと推定される。
sp_set_level_idc[sp_sub_pic_set_id]は、sp_sub_pic_id番目のサブビットストリームシーケンスが準拠するレベルを指定する。存在しない場合に、sp_set_level_idc[sp_sub_pic_set_id]の値は、アクティブなSPSのlevel_idcに等しいものと推定される。
【表3】
sp_tier_present_flagが1に等しいことは、sp_tier_idc[sp_sub_pic_id]およびsp_set_tier_idc[sp_sub_pic_set_id]シンタックス要素がシンタックス構造内に存在することを指定する。sp_tier_present_flagが0に等しいことは、sp_tier_idc[sp_sub_pic_id]およびsp_set_tier_idc[sp_sub_pic_set_id]シンタックス要素がシンタックス構造内に存在しないことを指定する。
num_sub_pic_params_minus1 +1は、シンタックス構造の中にパラメータが存在するサブピクチャの数を指定する。
sp_sub_pic_idは、信号化されたパラメータについてサブピクチャの識別子を指定する。
sp_tier_idc[sp_sub_pic_id]は、sp_level_idc[sp_sub_pic_id]の解釈（interpretation）のために、レベルコンテキストの解釈のためのレベルコンテキストを指定する。存在しない場合に、sp_tier_idc[sp_sub_pic_id]の値は、アクティブなSPSに対するtier_idcに等しいものと推定される。
sp_level_idc[sp_sub_pic_id]は、sp_sub_pic_id番目のサブビットストリームシーケンスが準拠するレベルを指定する。存在しない場合に、sp_level_idc[sp_sub_pic_id]の値は、アクティブなSPSに対するlevel_idcに等しいものと推定される。
num_sub_pic_sets_paramsは、シンタックス構造内にパラメータが存在するサブピクチャセットの数を指定する。
sp_sub_pic_set_idは、信号化されたパラメータについてサブピクチャセットの識別子を指定する。
sp_sub_pic_id_in_set[sp_sub_pic_set_id][j]が1に等しいことは、j番目のサブピクチャがsp_sub_pic_set_id番目のサブピクチャセットに含まれることを指定する。sp_sub_pic_id_in_set[sp_sub_pic_set_id][j]が0に等しいことは、j番目のサブピクチャがsp_sub_pic_set_id番目のサブピクチャセットに含まれないことを指定する。
sp_set_tier_idc[sp_sub_pic_set_id]は、sp_level_idc[sp_sub_pic_id]の解釈のために、レベルコンテキストの解釈のためのレベルコンテキストを指定する。存在しない場合に、sp_tier_idc[sp_sub_pic_set_id]の値は、アクティブなSPSのtier_idcに等しいものと推定される。
sp_set_level_idc[sp_sub_pic_set_id]は、sp_sub_pic_id番目のサブビットストリームシーケンスが準拠するレベルを指定する。存在しない場合に、sp_set_level_idc[sp_sub_pic_set_id]の値は、アクティブなSPSのlevel_idcに等しいものと推定される。
【0038】
サブピクチャ抽出プロセスの例
外部手段は、サブピクチャ抽出プロセスで使用される、CVS全体に適用可能な、サブピクチャセットに含まれるサブピクチャID値のリストを提供することが期待される。サブピクチャセットは長方形を形成しなければならない。
外部手段は、サブピクチャ抽出プロセスで使用される、CVS全体に適用可能な、サブピクチャセットに含まれるサブピクチャID値のリストを提供することが期待される。サブピクチャセットは長方形を形成しなければならない。
【0039】
サブビットストリーム抽出プロセスは、サブピクチャセットに含まれるサブピクチャID値のリストにない全てのNALユニットを破棄する。
【0040】
サブピクチャセット抽出プロセスは、抽出されたサブピクチャセットシーケンスが有効な復号可能ビットストリームであるという制約を課す。
【0041】
代替的な実施形態において、サブピクチャセットは、長方形の形状である必要はない。
【0042】
レベル導出の例
いくつかの実施形態は、(例えば、HEVC付属書Aのレベル限界に基づいて)サブピクチャセットのレベル値を導出することができる。例えば、HEVC付属書Aでは、general_level_idcシンタックス要素の値は、表A.6に示されているレベル値の30倍（30*）である。
いくつかの実施形態は、(例えば、HEVC付属書Aのレベル限界に基づいて)サブピクチャセットのレベル値を導出することができる。例えば、HEVC付属書Aでは、general_level_idcシンタックス要素の値は、表A.6に示されているレベル値の30倍（30*）である。
【0043】
個々のサブピクチャに対するレベルは、個々のサブピクチャのみを含むサブピクチャセットについてレベルを導出することによって導き出される。
【0044】
導出は、CVSのlevel_idcの最大ルマ（luma）サンプルレートを、ピクチャサイズに対するサブピクチャセットサイズの比率でスケーリングすることに基づいている。シーケンス内のサブピクチャに対するフレームレートがシーケンス内の画像に対するものと同じであるという仮定に基づくものである。
【0045】
ビットレート制限を含む、CVSeにおけるレベル制限は、また、これらの制約を抽出されたサブピクチャセットシーケンスに対しても適用する。全てのサブピクチャおよび全ての可能なサブピクチャセットがこれらの制約に従うことを確実にすることはエンコーダの責任である。
【0046】
サブピクチャセットに含まれるサブピクチャのセットは、外部手段によって提供される。
【0047】
グリッドサンプルの単位におけるn番目のサブピクチャのサイズである、SubPicNumGridSamples[n]は、0．．max_sub_pics_minus1におけるnについて、以下のように導出される。
SubPicNumGridSamples[n]=0
for(i=0; i<SubPicGridRows; i++)
for(j=0; i<SubPicGridCols; j++)
if(n=sub_pic_id[i][j])
SubPicNumGridSamples[n]++
SubPicNumGridSamples[n]=0
for(i=0; i<SubPicGridRows; i++)
for(j=0; i<SubPicGridCols; j++)
if(n=sub_pic_id[i][j])
SubPicNumGridSamples[n]++
【0048】
グリッドサンプルの単位におけるサブピクチャセットのサイズである、SubPicSetNumGridSamplesは、以下のように導出される。
SubPicSetNumGridSamples=0
for(n=0; n<=max_sub_pics_minus1; n++)
if(sub-picture n is in the sub-picture set)
SubPicSetNumGridSamples += SubPicNumGridSamples[n]
SubPicSetNumGridSamples=0
for(n=0; n<=max_sub_pics_minus1; n++)
if(sub-picture n is in the sub-picture set)
SubPicSetNumGridSamples += SubPicNumGridSamples[n]
【0049】
ルマサンプルの単位において設定されたサブピクチャセットのサイズである、SubPicSetSizeYは、
SubPicSetNumGridSamples*(sub_pic_grid_element_width_minus1*4+1)*
(sub_pic_grid_element_height_minus*4+1)に等しく設定される。
SubPicSetNumGridSamples*(sub_pic_grid_element_width_minus1*4+1)*
(sub_pic_grid_element_height_minus*4+1)に等しく設定される。
【0050】
MaxLumarSr[LeveIdcl]およびMaxLumaSr[LevelIdc]の値は、表A.Xからの値である。表A.XにないLevelIdcの値については、MaxLumaPs[LevelIdc]=0および
MaxLumaSr[LevelIdc]=0である。列（column）Aは“Level;”に対応し、列Bは“Level Idc;”に対応し、列Cは“Max Luma picture size MaxLumaPs[LevelIdc](samples);”に対応し、そして、列Dは
“Max Luma sample rate MaxLumaSr[LevelIdc](samples/sec);”に対応している。
表A.Xレベル限界
MaxLumaSr[LevelIdc]=0である。列（column）Aは“Level;”に対応し、列Bは“Level Idc;”に対応し、列Cは“Max Luma picture size MaxLumaPs[LevelIdc](samples);”に対応し、そして、列Dは
“Max Luma sample rate MaxLumaSr[LevelIdc](samples/sec);”に対応している。
【表4】
【0051】
サブピクチャセットシーケンスレベルインジケータの値である、SubPicSetLevelIdcは、以下のように導出される。
SubPicSetLevelIdc=level_idc
for(k=level_idc; k>0; k --)
if(SubPicSetSizeY<=MaxLumaPs[k] &&
MaxLumaSr[level_idc]*SubPicSetSizeY/PicSizeInSamplesY<=MaxLumaSr[k])
SubPicSetLevelIdc=k
SubPicSetLevelIdc=level_idc
for(k=level_idc; k>0; k --)
if(SubPicSetSizeY<=MaxLumaPs[k] &&
MaxLumaSr[level_idc]*SubPicSetSizeY/PicSizeInSamplesY<=MaxLumaSr[k])
SubPicSetLevelIdc=k
【0052】
代替的な実施形態において、サブピクチャセットは、長方形の形状である必要はない。代わりに、サブピクチャセットに対する導出レベルは、サブピクチャセット自体のサンプルにおけるサイズではなく、サブピクチャセットを含む境界長方形のサンプルにおけるサイズに基づいている。
【0053】
ここにおいて説明されるシステムの種々のコンポーネントは、ソフトウェア、ファームウェア、及び／又はハードウェア、及び／又は、それらの任意の組み合わせで実装され得る。例えば、ここにおいて説明されるシステムまたは装置の種々のコンポーネントは、少なくとも部分的に、例えばスマートフォンといったコンピューティングシステムに見られるような、コンピューティングのシステムオンチップ（SoC）のハードウェアによって提供することができる。当業者であれば、ここにおいて説明されるシステムが、対応する図に示されていない追加的なコンポーネントを含み得ることを認識するだろう。例えば、ここにおいて説明されるシステムは、ビットストリームマルチプレクサまたはデマルチプレクサ（de-multiplexer）モジュール、等といった、明確性のために図示されていない追加的なコンポーネントを含み得る。
【0054】
ここにおいて説明される例示的なプロセスの実施は、図示された順序で示された全てのオペレーションの実施を含み得るが、本開示は、この点に関して限定されず、種々の例において、ここにおいて説明される例示的なプロセスの実施は、図示されたオペレーション、図示されたものとは異なる順序で実施されたオペレーション、または追加のオペレーションのサブセットのみを含み得る。
【0055】
加えて、ここにおいて説明されるオペレーションのいずれか１つ以上は、１つ以上のコンピュータプログラム製品によって提供される命令に応答して行われ得る。そうしたプログラム製品は、例えば、プロセッサによって実行されると、ここにおいて説明される機能を提供することができる命令を提供する信号ベアリング（bearing）媒体を含み得る。コンピュータプログラム製品は、１つ以上のマシンで読取り可能な媒体の任意の形態で提供され得る。従って、例えば、１つ以上のグラフィックス処理ユニットまたはプロセッサコアを含むプロセッサは、１つ以上のマシンで読取り可能な媒体によってプロセッサへ搬送されるプログラムコード及び／又は命令または命令セットに応答して、ここにおける例示的なプロセスの１つ以上のブロックを行うことができる。一般に、マシンで読取り可能な媒体は、ここにおいて説明される装置及び／又はシステムのいずれかが、ここにおいて説明される動作の少なくとも一部、及び／又は、ここにおいて説明される装置、システム、もしくは、任意のモジュールまたはコンポーネントを実施するようにするプログラムコード及び／又は命令セットの形態でソフトウェアを搬送することができる。
【0056】
ここにおいて説明される任意の実施において使用されるように、「モジュール（“module”）」という用語は、ここにおいて説明される機能を提供するように構成されるソフトウェア論理、ファームウェア論理、ハードウェア論理、及び／又は、回路の任意の組み合わせを指す。ソフトウェアは、ソフトウェアパッケージ、コード、及び／又は命令セットとして具現化され得る。そして、「ハードウェア（“hardware”）」は、
ここにおいて説明される任意の実施において使用されるように、例えば、単独または任意の組み合わせで、ハードワイヤード回路、プログラマブル回路、状態マシン回路、固定機能回路、実行ユニット回路、及び／又は、プログラマブル回路によって実行される命令を保管するファームウェアを含み得る。これらのモジュールは、集合的または個別的に、例えば、集積回路（IC）、システムオンチップ（SoC）、等の、より大きなシステムの一部を形成する回路として具現化され得る。
ここにおいて説明される任意の実施において使用されるように、例えば、単独または任意の組み合わせで、ハードワイヤード回路、プログラマブル回路、状態マシン回路、固定機能回路、実行ユニット回路、及び／又は、プログラマブル回路によって実行される命令を保管するファームウェアを含み得る。これらのモジュールは、集合的または個別的に、例えば、集積回路（IC）、システムオンチップ（SoC）、等の、より大きなシステムの一部を形成する回路として具現化され得る。
【0057】
図3を参照すると、電子システム510の一つの実施形態は、ビデオデータを保管するためのメモリ512、メモリ512に結合されたプロセッサ511、並びに、プロセッサ511およびメモリ512に結合されたロジック513を含み得る。ロジック513は、ビデオデータにおけるコード化ビデオシーケンス内のコード化画像のサブ領域に対する適合点を導出するように構成され得る。例えば、ロジック513は、ビデオデータにおいて長方形領域を形成する１つ以上のサブピクチャの組み合わせをサブピクチャセットへとグループ化するように、かつ／あるいは、コード化ビデオシーケンスのレベル、および、コード化画像とサブピクチャセットの相対サイズに基づいて、サブピクチャに対応するレベルインジケータを導出するように構成され得る。ロジック513は、また、ここにおいて説明されうるシーケンスパラメータセットシンタックスの１つ以上の態様を実装するように、ここにおいて説明される信号化の１つ以上の態様を実装するように、かつ／あるいは、ここにおいて説明されるサブピクチャ抽出およびレベル導出の１つ以上の態様を実装するように構成され得る。いくつかの実施形態において、ロジック513は、ビデオデータにおけるメッセージと共に、サブピクチャおよびサブピクチャのうち１つ以上について１つ以上の階層およびレベル情報を信号化するように構成され得る。いくつかの実施形態において、ロジック513は、パラメータセットにおけるサブピクチャパラメータを信号化し、そして、グリッドに基づいてサブピクチャのサイズおよび位置を示すように構成され得る。ロジック513は、また、サブピクチャまたはサブピクチャセットのレベルが、サブピクチャおよびサブピクチャセットのサンプルサイズのうち１つに対するピクチャサイズのスケーリングに基づいて導出されるべきであることの指示を、ビデオデータにおけるメッセージ内で提供するように構成され得る。ここにおける実施形態のいずれにおいても、ロジック513は、ビデオデータの符号化および復号化のうち１つ以上に対して、サブピクチャおよびサブピクチャのセットを利用するためにVVCコーデックを提供するように、さらに構成され得る。
【0058】
上記のプロセッサ511、メモリ512、ロジック513、および他のシステムコンポーネントそれぞれの実施形態は、ハードウェア、ソフトウェア、または、それらの任意の適切な組み合わせにおいて実装され得る。例えば、ハードウェアの実装は、例えば、プログラマブル論理アレイ（PLA）、フィールドプログラマブルゲートアレイ（FPGS）、複合プログラマブル論理デバイス（CPLD）、もしくは、例えば、特定用途向け集積回路（ASIC）、相補型金属酸化物半導体（CMOS）またはトランジスタ-トランジスタ論理（TTL）、もしくは、それらの任意の組み合わせといった回路技術を使用する固定機能性論理ハードウェア、といった構成可能なロジックを含み得る。プロセッサ511の実施形態は、汎用プロセッサ、専用プロセッサ、中央処理装置（CPU）、グラフィックスプロセッサ、汎用コントローラ、実行ユニット、専用コントローラ、汎用コントローラ、マイクロコントローラ、等を含み得る。いくつかの実施形態において、ロジック513は、プロセッサ511を含む、種々のコンポーネント内、または、それと同じ場所に配置され得る(例えば、同一ダイ上)。
【0059】
代替的または追加的に、これらのコンポーネントの全てまたは一部は、プロセッサまたはコンピューティングデバイスによって実行される、ランダムアクセスメモリ（RAM）、リードオンリーメモリ（ROM）、プログラマブルROM（PROM）、ファームウェア、フラッシュメモリ等といった、マシンまたはコンピュータで読取り可能な記憶媒体に保管されたロジック命令のセットとして、１つ以上のモジュールに実装され得る。例えば、コンポーネントのオペレーションを実行するためのコンピュータプログラムコードは、PYTHON、PERL、JAVA（登録商標）、SMALLTALK（登録商標）、C+、C#、等といったオブジェクト指向プログラミング言語、および、「C」プログラミング言語または類似のプログラミング言語といった従来の手続き型プログラミング言語を含む、１つ以上のオペレーティングシステム(OS)に適用可能／適切なプログラミング言語の任意の組み合わせで書くことができる。例えば、メモリ512、ファームウェアメモリ、持続的な記憶媒体、または他のシステムメモリは、命令のセットを保管することができ、プロセッサ511によって実行されると、システム510に、システム510の１つ以上のコンポーネント、機能、または態様(例えば、ロジック513、サブピクチャをサブピクチャセットへとグループ化すること、レベルインジケータを導出すること、等)を実施させる。
【0060】
次に図4を参照すると、ビデオコーデック装置520の一つの実施形態は、１つ以上の基板521、および、１つ以上の基板521に結合されたロジック522を含み得る。ロジック522は、ビデオデータにおけるコード化ビデオシーケンス内のコード化画像のサブ領域に対する適合点を導出するように構成され得る。例えば、ロジック522は、長方形領域を形成するサブピクチャの任意の組み合わせをサブピクチャセットへとグループ化するように、かつ／あるいは、コード化ビデオシーケンスのレベルおよびコード化
ピクチャとサブピクチャセットの相対サイズに基づいて、サブピクチャに対応するレベルインジケータを導出するように構成され得る。ロジック522は、また、ここにおいて説明されるシーケンスパラメータセットシンタックスの１つ以上の態様を実装するように、ここにおいて説明される信号化の１つ以上の態様を実装するように、かつ／あるいは、ここにおいて説明されるサブピクチャ抽出およびレベル導出の１つ以上の態様を実装するように構成され得る。いくつかの実施形態において、ロジック522は、ビデオデータにおけるメッセージによって、サブピクチャおよびサブピクチャのうち１つ以上について１つ以上の階層およびレベル情報を信号化するように構成され得る。いくつかの実施形態において、ロジック522は、パラメータセット内のサブピクチャパラメータを信号化し、そして、グリッドに基づいてサブピクチャのサイズおよび位置を示すように構成され得る。ロジック522は、また、サブピクチャまたはサブピクチャセットのレベルが、サブピクチャおよびサブピクチャセットのサンプルサイズのうち１つに対するピクチャサイズのスケーリングに基づいて導出されるべきであることの指示を、ビデオデータにおけるメッセージ内で提供するように構成され得る。ここにおける実施形態のいずれにおいても、ロジック522は、ビデオデータの符号化および復号化の１つ以上に対して、サブピクチャおよびサブピクチャのセットを利用するためにVVCコーデックを提供するようにさらに構成され得る。
ピクチャとサブピクチャセットの相対サイズに基づいて、サブピクチャに対応するレベルインジケータを導出するように構成され得る。ロジック522は、また、ここにおいて説明されるシーケンスパラメータセットシンタックスの１つ以上の態様を実装するように、ここにおいて説明される信号化の１つ以上の態様を実装するように、かつ／あるいは、ここにおいて説明されるサブピクチャ抽出およびレベル導出の１つ以上の態様を実装するように構成され得る。いくつかの実施形態において、ロジック522は、ビデオデータにおけるメッセージによって、サブピクチャおよびサブピクチャのうち１つ以上について１つ以上の階層およびレベル情報を信号化するように構成され得る。いくつかの実施形態において、ロジック522は、パラメータセット内のサブピクチャパラメータを信号化し、そして、グリッドに基づいてサブピクチャのサイズおよび位置を示すように構成され得る。ロジック522は、また、サブピクチャまたはサブピクチャセットのレベルが、サブピクチャおよびサブピクチャセットのサンプルサイズのうち１つに対するピクチャサイズのスケーリングに基づいて導出されるべきであることの指示を、ビデオデータにおけるメッセージ内で提供するように構成され得る。ここにおける実施形態のいずれにおいても、ロジック522は、ビデオデータの符号化および復号化の１つ以上に対して、サブピクチャおよびサブピクチャのセットを利用するためにVVCコーデックを提供するようにさらに構成され得る。
【0061】
ロジック522のいくつかの実施形態は、追加的または代替的に、相補的デコード論理で構成され得る。例えば、ロジック522は、ビデオデータのビットストリームを受信し、１つ以上のサブピクチャのグループに対応するデコードされるべきサブピクチャセットを識別し、識別されたサブピクチャセットのサイズに基づいてサブピクチャセットレベルを導出し、そして、導出レベルが閾値レベルデコードであるかを判断するように構成され得る。１つ以上のサブピクチャのグループは、ビデオデータにおいて長方形領域を形成することができる。いくつかの実施形態において、ロジック522は、ビデオデータにおけるメッセージに基づいて、サブピクチャセットの層およびレベル情報の１つ以上をデコードするように、さらに構成され得る。いくつかの実施形態において、ロジック522は、ビデオデータにおけるパラメータセットからサブピクチャパラメータを決定し、グリッドに基づいてサブピクチャのサイズおよび位置を決定するように、さらに構成され得る。例えば、ロジック522は、ビデオデータにおけるメッセージ内に提供される指示に基づいて、任意のサブピクチャまたはサブピクチャセットに対するレベルが、サブピクチャのうち１つに対するピクチャサイズのスケーリングおよびサブピクチャセットのサンプルサイズに基づいて導出されるべきであることを決定するように構成され得る。
【0062】
例えば、ロジック522は、１つ以上の基板521を含み得る半導体装置上に実装されてよく、ロジック522が１つ以上の基板521に結合されている。いくつかの実施形態において、ロジック522は、半導体基板521(例えば、シリコン、サファイア、ガリウムヒ素、等)上の構成可能なロジックおよび固定機能性ハードウェア論理のうち１つ以上において少なくとも部分的に実装され得る。例えば、ロジック522は、トランジスタアレイ、及び／又は、基板521内に配置されるトランジスタチャネル領域を有する基板521に結合された他の集積回路コンポーネントを含み得る。ロジック522と基板521との間のインターフェイスは、階段接合でなくてよい。ロジック522は、また、基板521の初期ウエハ上に成長されるエピタキシャル層を含むものと考えられてもよい。
【0063】
図5を参照すると、ビデオデータを処理する方法530の一つの実施形態は、ブロック531において、ビデオデータを保管すること、および、ブロック532において、ビデオデータにおけるコード化ビデオシーケンス内のコード化画像のサブ領域に対する適合点を導出することを含み得る。例えば、方法530は、ブロック533において、ビデオデータにおいて長方形領域を形成する１つ以上のサブピクチャの組み合わせをサブピクチャセットへとグループ化すること、及び／又は、534において、コード化ビデオシーケンスのレベル、および、コード化画像とサブピクチャの相対サイズに基づいて、サブピクチャに対応するレベルインジケータを導出すること、を含み得る。方法530のいくつかの実施形態は、ブロック535において、ビデオデータにおけるメッセージで、サブピクチャおよびサブピクチャのうち１つ以上について１つ以上の階層およびレベル情報を信号化することを、さらに含み得る。また、方法530は、ブロック536において、パラメータセット内のサブピクチャパラメータを信号化すること、および、ブロック537において、グリッドに基づいてサブピクチャのサイズおよび位置を示すこと、を含み得る。例えば、方法530は、ブロック538において、任意のサブピクチャまたはサブピクチャセットに対するレベルが、サブピクチャおよびサブピクチャセットのピクチャサイズのうち１つに対するピクチャサイズのスケーリングに基づいて導出されるべきであることの指示を、ビデオデータにおけるメッセージ内で提供すること、をさらに含み得る。ここにける実施形態のいずれにおいても、方法530は、ブロック539において、ビデオデータの符号化および復号化の１つ以上に対して、サブピクチャおよびサブピクチャのセットを利用するためにVVCコーデックを提供すること、をさらに含み得る
【0064】
方法530の実施形態は、例えば、ここにおいて説明されるような、システム、装置、コンピュータ、デバイス、等において実施され得る。より特定的に、方法530のハードウェア実装は、例えば、PLA、FPGA、CPLD、または、例えば、ASIC、CMOS、またはTTL技術、もしくは、それらの任意の組み合わせといった、回路技術を使用する固定機能性論理ハードウェアなといった、構成可能なロジックを含み得る。代替的または追加的に、方法530は、プロセッサまたはコンピューティングデバイスによって実行される、RAM、ROM、PROM、ファームウェア、フラッシュメモリ等といった、マシンまたはコンピュータで読取り可能な記憶媒体に保管されたロジック命令のセットとして、１つ以上のモジュールに実装され得る。例えば、コンポーネントのオペレーションを実行するためのコンピュータプログラムコードは、PYTHON、PERL、JAVA（登録商標）、SMALLTALK（登録商標）、C+、C#、等といったオブジェクト指向プログラミング言語、および、「C」プログラミング言語または類似のプログラミング言語といった従来の手続き型プログラミング言語を含む、１つ以上のオペレーティングシステム(OS)に適用可能／適切なプログラミング言語の任意の組み合わせで書くことができる。
【0065】
例えば、方法530は、以下の実施例14から19までに関連して説明されるように、コンピュータで読取り可能な媒体上に実装され得る。方法530の実施形態または部分は、ファームウェア、アプリケーション(例えば、アプリケーションプログラミングインターフェイス(API)を介して)、または、オペレーティングシステム(OS)上で実行されるドライバソフトウェアにおいて実装され得る。加えて、ロジック命令は、アセンブラ命令、命令セットアーキテクチャ（ISA）命令、マシン命令、マシン依存命令、マイクロコード、状態設定データ、集積回路のための構成データ、電子回路及び／又はハードウェアに固有の他の構造コンポーネント(例えば、ホストプロセッサ、中央処理装置／CPU、マイクロコントローラ、等)をパーソナライズする状態情報を含み得る。
【0066】
図6は、本開示の少なくともいくつかの実装に従って配置される、例示的なシステム1000の説明図である。様々な実装において、システム1000は、モバイルシステムであってよいが、システム1000は、このコンテキストに限定されるものではない。例えば、システム1000は、パーソナルコンピュータ（PC）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パーソナルデジタルアシスタント（PDA）、携帯電話、携帯電話/PDAの組み合わせ、テレビジョン、スマートデバイス（例えば、スマートフォン、スマートタブレット、またはスマートテレビジョン）、モバイルインターネットデバイス（MID）、メッセージングデバイス、データ通信デバイス、カメラ(例えば、ポイントアンドシュートカメラ、スーパーズームカメラ、デジタル一眼レフカメラ)、など等に組み込むことができる。
【0067】
様々な実装において、システム1000は、ディスプレイ1020に結合されたプラットフォーム1002を含んでいる。プラットフォーム1002は、コンテンツサービス装置1030、またはコンテンツ配信装置1040、もしくは他の類似のコンテンツソースといったコンテンツ装置からコンテンツを受信することができる。１つ以上のナビゲーション機能を含むナビゲーションコントローラ1050は、例えば、プラットフォーム1002及び／又はディスプレイ1020と対話（interact）するために使用され得る。これらのコンポーネントそれぞれが、以下に、より詳細に説明される。
【0068】
様々な実装において、プラットフォーム1002は、チップセット1005、プロセッサ1010、メモリ1012、アンテナ1013、ストレージ1014、グラフィックスサブシステム1015、アプリケーション1016、及び／又は、無線装置1018のうち任意の組み合わせを含み得る。チップセット1005は、プロセッサ1010、メモリ1012、ストレージ1014、グラフィックスサブシステム1015、アプリケーション1016、及び／又は、無線装置1018の間で相互通信を提供することができる。例えば、チップセット1005は、ストレージ1014との相互通信を提供することができるストレージアダプタ(図示なし)を含み得る。
【0069】
プロセッサ1010は、複合命令セットコンピュータ（CISC）または縮小命令セットコンピュータプロセッサ（RISC）、x86命令セット互換プロセッサ、マルチコア、または、任意の他のマイクロプロセッサまたは中央処理装置（CPU）として実装され得る。種々の実装において、プロセッサ1010は、デュアルコアプロセッサ、デュアルコアモバイルプロセッサ等、であり得る。
【0070】
メモリ1012は、これらに限定されるわけではないが、ランダムアクセスメモリ（RAM）、ダイナミックランダムアクセスメモリ（DRAM）、または、スタティックRAM（SRAM）といった、揮発性メモリデバイスとして実装され得る。
【0071】
ストレージ1014は、これらに限定されるわけではないが、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部ストレージ装置、取り付けられたストレージ装置、フラッシュメモリ、バッテリバックアップSDRAM(同期DRAM)、及び／又は、ネットワークアクセス可能ストレージ装置といった、不揮発性ストレージ装置として実装され得る。様々な実装において、ストレージ1014は、例えば、複数のハードドライブが含まれる場合に、価値のあるデジタル媒体についてストレージ性能強化保護を増大させる技術を含み得る。
【0072】
グラフィックスサブシステム1015は、表示のための静止画またはビデオといった画像の処理を実行し得る。グラフィックスサブシステム1015は、例えば、グラフィックス処理ユニット（GPU）またはビジュアル処理ユニット（VPU）であってよい。グラフィックスサブシステム1015およびディスプレイ1020を通信的に結合するために、アナログまたはデジタルのインターフェイスが使用され得る。例えば、インターフェイスは、高精細度マルチメディアインターフェイ（High-Definition Multimedia Interface）、DisplayPort、無線HDMI（登録商標）、及び／又は、無線HD準拠技術のいずれかであり得る。グラフィックスサブシステム1015は、プロセッサ1010またはチップセット1005へと統合されてよい。いくつかの実装において、グラフィックスサブシステム1015は、チップセット1005に通信可能に結合されたスタンドアロン装置であり得る。
【0073】
ここにおいて説明されるグラフィックス及び／又はビデオ処理技術は、種々のハードウェアアーキテクチャにおいて実装され得る。例えば、グラフィックス及び／又はビデオ機能は、チップセット内に統合され得る。代替的に、個別のグラフィックス及び／又はビデオプロセッサが使用され得る。さらに別の実装として、グラフィックス及び／又はビデオ機能は、マルチコアプロセッサを含む、汎用プロセッサによって提供され得る。さらなる実施形態において、機能は、家電製品において実装されてよい。
【0074】
無線装置1018は、種々の適切な無線通信技術を使用して信号を送信および受信することが可能な１つ以上の無線を含み得る。そうした技術は、１つ以上の無線ネットワークを介した通信を含み得る。無線ネットワークの例は（これらに限定されるわけではないが）、無線ローカルエリアネットワーク（WLAN）、無線パーソナルエリアネットワーク（WPAN）、無線メトロポリタンエリアネットワーク（WMAN）、セルラネットワーク、および、衛星ネットワークを含む。そうしたネットワークを介して通信する際に、無線装置1018は、任意のバージョンの１つ以上の適用可能な規格に従って動作し得る。
【0075】
種々の実装において、ディスプレイ1020は、任意のテレビジョンタイプのモニタまたはディスプレイを含み得る。ディスプレイ1020は、例えば、コンピューターディスプレイスクリーン、タッチスクリーンディスプレイ、ビデオモニタ、テレビジョンのような装置、及び／又は、テレビジョンを含み得る。ディスプレイ1020は、デジタル及び／又はアナログであってよい。様々な実装において、ディスプレイ1020は、ホログラフィックスディスプレイであり得る。また、ディスプレイ1020は、視覚的な投影を受け取ることができる透明表面であってよい。そうした投影は、様々な形態の情報、画像、及び／又はオブジェクトを伝達することができる。例えば、そうした投影は、モバイル拡張現実(MAR)アプリケーションのための視覚的オーバレイであり得る。１つ以上のソフトウェアアプリケーション1016の制御下で、プラットフォーム1002は、ディスプレイ1020上にユーザインターフェイス1022を表示し得る。
【0076】
様々な実装において、コンテンツサービス装置1030は、任意の国内、国際、及び／又は、独立したサービスによってホストされてよく、そして、従って、例えば、インターネットを介してプラットフォーム1002にアクセス可能である。コンテンツサービス装置1030は、プラットフォーム1002及び／又はディスプレイ1020に結合され得る。プラットフォーム1002及び／又はコンテンツサービス装置1030は、ネットワーク1060へ、又は、ネットワークからメディア情報を通信(例えば、送信及び／又は受信)するために、ネットワーク1060に結合され得る。コンテンツ配信装置1040は、また、プラットフォーム1002及び／又はディスプレイ1020に結合され得る。
【0077】
様々な実装において、コンテンツサービス装置1030は、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、インターネット可能な装置またはデジタル情報及び／又はコンテンツを配信することができる装置、および、コンテンツプロバイダとプラットフォーム1002及び／又はディスプレイ1020との間で、ネットワーク1060を介して又は直接的に、コンテンツを一方向または双方向に通信することができる他の同様の装置を含み得る。コンテンツは、ネットワーク1060を介して、システム1000内のコンポーネントおよびコンテンツプロバイダの任意の１つに対して、または、それから、一方向及び／又は双方向に通信することができることが理解されるだろう。コンテンツの例は、例えば、ビデオ、音楽、医療、およびゲーム情報、などを含む任意のメディア情報を含み得る。
【0078】
コンテンツサービス装置1030は、メディア情報、デジタル情報、及び／又は、他のコンテンツを含むケーブルテレビジョンプログラミングといったコンテンツを受信することができる。コンテンツプロバイダの例は、任意のケーブル又は衛星テレビ、またはラジオ、もしくはインターネットのコンテンツプロバイダを含み得る。提供される実施例は、本開示に従った実施をいかようにも制限するように意図されてはいない。
【0079】
様々な実施形態において、プラットフォーム1002は、１つ以上のナビゲーション機能を有するナビゲーションコントローラ1050から制御信号を受信することができる。ナビゲーション機能は、例えば、ユーザインターフェイス1022と対話するために使用されて得る。様々な実施形態において、ナビゲーションは、ユーザが空間的(例えば、連続的および多次元的)なデータをコンピュータへと入力することを可能にするコンピュータハードウェアコンポーネント(特には、ヒューマンインターフェイスデバイス)であり得る、ポインティングデバイスであってよい。グラフィカルユーザインターフェイス(GUI)、および、テレビジョンとモニタといった多くのシステムにより、ユーザは、物理的ジェスチャを使用してコンピュータまたはテレビジョンを制御し、かつ、データを提供することができる。
【0080】
ナビゲーション機能の動きは、ディスプレイ(例えば、ディスプレイ1020)上で、ポインタ、カーソル、フォーカスリング、または、ディスプレイ上に表示される他の視覚的インジケータの動きによって複製され得る。例えば、ソフトウェアアプリケーション1016の制御下で、ナビゲーション上に置かれたナビゲーション機能は、例えば、ユーザインターフェイス1022上に表示・される仮想ナビゲーション機能に対してマッピングされ得る。様々な実施形態においては、別個のコンポーネントではないが、プラットフォーム1002及び／又はディスプレイ1020に統合され得る。しかしながら、本開示は、ここにおいて示され、または、説明される要素またはコンテキストに限定されるものではない。
【0081】
種々の実装において、ドライバ（図示なし）は、例えば、イネーブルされたときに、初期ブートアップ後のボタンのタッチにより、ユーザがテレビのようにプラットフォーム1002を即座にターンオンおよびオフすることを可能にする技術を含み得る。プログラムロジックにより、プラットフォーム1002は、プラットフォームがターン「オフ（“off”）」されているときでも、コンテンツをメディアアダプタ、または他のコンテンツサービス装置1030、もしくはコンテンツ配信デバイス1040に対してストリームすることができる。加えて、チップセット1005は、例えば、5.1サラウンドサウンドオーディオ及び／又は高精細度7.1サラウンドサウンドオーディオに対するハードウェア及び／又はソフトウェアのサポートを含み得る。ドライバは、統合グラフィックスプラットフォームのためのグラフィックスドライバを含み得る。様々な実施形態において、グラフィックスドライバは、ペリフェラルコンポーネント相互接続(PCI)グラフィックスカードを含み得る。
【0082】
様々な実施形態においては、システム1000に示されるコンポーネントのうち任意の１つ以上が統合されてよい。例えば、プラットフォーム1002およびコンテンツサービス装置1030が統合されてよく、または、プラットフォーム1002およびコンテンツ配信デバイス1040が統合されてよく、もしくは、プラットフォーム1002とコンテンツサービス装置1030とコンテンツ配信デバイス1040とが統合されてよい。様々な実施形態において、プラットフォーム1002およびディスプレイ1020は、統合ユニットであり得る。例えば、ディスプレイ1020およびコンテンツサービス装置1030が統合されてよく、または、ディスプレイ1020およびコンテンツ配信デバイス1040が統合されてよい。これらの実施例は、本開示を限定するように意図されたものではない。
【0083】
様々な実施形態において、システム1000は、無線システム、有線システム、または、その両方の組み合わせとして実装され得る。無線システムとして実装される場合、システム1000は、１つ以上のアンテナ、送信器、受信器、トランシーバ、増幅器、フィルタ、制御ロジック、等といった、無線共有媒体（wireless shared media）を介して通信するのに適したコンポーネントおよびインターフェイスを含み得る。無線共有媒体の一つの例は、RFスペクトル、等といった、無線スペクトルの一部を含み得る。有線システムとして実装される場合、システム1000は、有線通信媒体を介して通信するのに適したコンポーネントおよびインターフェイスを含み得る。入力／出力（I/O）アダプタ、I/Oアダプタを対応する有線通信媒体に接続するための物理的コネクタ、ネットワークインターフェイスカード（NIC）、ディスクコントローラ、ビデオコントローラ、オーディオコントローラ、等といったものである。有線通信媒体の例、ワイヤ、ケーブル、金属リード、プリント回路基板（PCB）、バックプレーン、スイッチファブリック、半導体マテリアル、ツイストペアワイヤ、同軸ケーブル、光ファイバ、等を含み得る。
【0084】
プラットフォーム1002は、情報を通信するために１つ以上の論理的または物理的チャネルを確立することができる。情報は、メディア情報および制御情報を含み得る。メディア情報は、ユーザのために意図されたコンテンツを表す任意のデータを参照し得る。コンテンツの例は、例えば、音声会話からのデータ、ビデオ会議、ストリーミングビデオ、電子メール（“email”）メッセージ、ボイスメールメッセージ、英数字記号、グラフィックス、画像、ビデオ、テキスト、などを含み得る。音声会話からのデータは、例えば、スピーチ情報、無音期間、バックグラウンドノイズ、快適ノイズ、トーン、などであり得る。制御情報は、自動化システムのために意図されたコマンド、命令、または制御ワードを表す任意のデータを参照し得る。例えば、制御情報は、システムを通してメディア情報をルーティングするため、または、既定の方法でメディア情報を処理するようにノードに指示するために使用され得る。実施形態は、しかしながら、図6に示され又は説明された要素もしくはコンテキストに限定されるものではない。
【0085】
上述のように、システム1000は、様々な物理的スタイルまたはフォームファクタで具現化され得る。図7は、本開示の少なくともいくつかの実装に従って配置された、例示的なスモールフォームファクタデバイス1100を示している。いくつかの例において、システム1000は、デバイス1100を介して実装され得る。他の例においては、システム100またはその一部が、デバイス1100を介して実装され得る。様々な実施形態において、例えば、デバイス1100は、無線能力を有するモバイルコンピューティングデバイスとして実装され得る。モバイルコンピューティングデバイスは、処理システム、および、例えば、１つ以上のバッテリといった、モバイル電源または電源を有する任意のデバイスを参照し得る。
【0086】
モバイルコンピューティングデバイスの例は、パーソナルコンピュータ（PC）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パーソナルデジタルアシスタント（PDA）、携帯電話、携帯電話／PDAの組合せ、スマートデバイス（例えば、スマートフォン、スマートタブレット、またはスマートモバイルテレビ）、モバイルインターネットデバイス（MID）、メッセージングデバイス、データ通信デバイス、カメラ、などを含み得る。
【0087】
モバイルコンピューティングデバイスの例は、また、人が着用するように構成されたコンピュータも含み得る。リスト（wrist）コンピュータ、フィンガーコンピュータ、指輪コンピュータ、眼鏡コンピュータ、ベルトクリップコンピュータ、アームバンドコンピュータ、靴コンピュータ、衣服コンピュータ、および、他のウェアラブルコンピュータ、といったものである。様々な実施形態において、例えば、モバイルコンピューティングデバイスは、音声通信及び／又はデータ通信と同様に、コンピュータアプリケーションを実行することができるスマートフォンとして実装され得る。いくつかの実施形態は、例として、スマートフォンとして実装されるモバイルコンピューティングデバイスを用いて説明され得るが、他の実施形態も同様に他の無線モバイルコンピューティングデバイスを使用して実装され得ることが理解されるだろう。本実施形態は、このコンテキストに限定されるものではない。
【0088】
図7に示されるように、デバイス1100は、前面1101および背面1102を有するハウジングを含み得る。デバイス1100は、ディスプレイ1104、入力／出力(I/O)装置1106、および統合アンテナ1108を含んでいる。デバイス1100は、また、ナビゲーション機能1112を含み得る。I/O装置1106は、モバイルコンピューティングデバイスに情報を入力するための任意の適切なI/O装置を含み得る。I/O装置1106の例は、英数字キーボード、数字キーパッド、タッチパッド、入力キー、ボタン、スイッチ、マイクロホン、スピーカ、音声認識装置およびソフトウェア、などを含み得る。情報は、また、マイクロホン(図示せず)を介してデバイス1100へと入力されてよく、または、音声認識装置によってデジタル化されてよい。図示されるように、デバイス1100は、カメラ1105(例えば、レンズ、アパーチャ（aperture）、および撮像センサを含んでいる)、および、デバイス1100の背面1102(または他の場所)に組み込まれたフラッシュ1110を含み得る。他の例において、カメラ1105およびフラッシュ1110は、デバイス1100の前面1101に組み込まれてよく、または、前面カメラおよび後面カメラの両方が備えられてよい。カメラ1105およびフラッシュ1110は、ディスプレイ1104に出力され、かつ／あるいは、例えば、アンテナ1108を介してデバイス1100からリモートに通信される、ストリーミングビデオへと処理された画像データを生成するためのカメラモジュールのコンポーネントであり得る。
【0089】
システム1000及び／又はデバイス1100は、ここにおいて説明される様々な実施形態の１つ以上の特徴または態様を含み得る。ビデオデータにおけるコード化ビデオシーケンスにおけるコード化画像のサブ領域に対する適合点の導出、長方形領域をサブピクチャセットへと形成するサブピクチャの任意の組み合わせのグループ化、コード化ビデオシーケンスのレベルおよびコード化画像とサブピクチャセットの相対サイズに基づくサブピクチャに対応するレベルインジケータの導出、ここにおいて説明されるシーケンスパラメータセットシンタックス、ここにおいて説明される信号化、ここにおいて説明されるサブピクチャ抽出およびレベル導出、サブピクチャのサブピクチャおよびセットをビデオデータの符号化および復号化の１つ以上に対して利用するためのVCCコーデックの提供、または、ここにおいて説明される任意の実施形態、を含むものである。
【0090】
追加的な注記および実施例
実施例1は、電子システムであって、ビデオデータを保管するためのメモリ、メモリに結合されたプロセッサ、プロセッサおよびメモリに結合されたロジック、を含む。前記ロジックは、ビデオデータにおけるコード化ビデオシーケンス内のコード化画像のサブ領域に対する適合点を導出する。
実施例1は、電子システムであって、ビデオデータを保管するためのメモリ、メモリに結合されたプロセッサ、プロセッサおよびメモリに結合されたロジック、を含む。前記ロジックは、ビデオデータにおけるコード化ビデオシーケンス内のコード化画像のサブ領域に対する適合点を導出する。
【0091】
実施例2は、実施例1のシステムを含み、前記ロジックは、さらに、前記ビデオデータにおいて長方形領域を形成する１つ以上のサブピクチャの組み合わせをサブピクチャセットへとグループ化する。
【0092】
実施例3は、実施例2のシステムを含み、前記ロジックは、さらに、前記コード化ビデオシーケンスのレベル、および、コード化画像と前記サブピクチャセットの相対サイズに基づいて、サブピクチャに対応するレベルインジケータを導出する。
【0093】
実施例4は、実施例2～3のいずれかのシステムを含み、前記ロジックは、さらに、
１つ以上のサブピクチャおよびサブピクチャについて、１つ以上の階層およびレベル情報を、前記ビデオデータにおけるメッセージと共に信号化する。
１つ以上のサブピクチャおよびサブピクチャについて、１つ以上の階層およびレベル情報を、前記ビデオデータにおけるメッセージと共に信号化する。
【0094】
実施例5は、実施例2～3のいずれかのシステムを含み、前記ロジックは、さらに、パラメータセット内のサブピクチャパラメータを信号化し、グリッドに基づいて前記サブピクチャのサイズおよび位置を示す。
【0095】
実施例6は実施例5のシステムを含み、前記ロジックは、さらに、任意のサブピクチャまたはサブピクチャセットのレベルが、前記サブピクチャおよびサブピクチャセットのサンプルサイズのうち１つに対する前記ピクチャサイズのスケーリングに基づいて導出されるべきであることの指示を、前記ビデオデータにおけるメッセージ内で提供する。
【0096】
実施例7は、実施例1～6のいずれかのシステムを含み、前記ロジックは、さらに、
前記ビデオデータの符号化および復号化の１つ以上に対して、サブピクチャおよびサブピクチャのセットを利用するために、バーサタイルビデオコーディング（VVC）コーデックを提供する。
前記ビデオデータの符号化および復号化の１つ以上に対して、サブピクチャおよびサブピクチャのセットを利用するために、バーサタイルビデオコーディング（VVC）コーデックを提供する。
【0097】
実施例8は、ビデオデータを処理する方法であって、ビデオデータの保管するステップと、前記ビデオデータにおけるコード化ビデオシーケンス内のコード化画像のサブ領域に対する適合点を導出するステップと、を含む。
【0098】
実施例9は、実施例8の方法を含み、さらに、前記ビデオデータにおいて長方形領域を形成する１つ以上のサブピクチャの組み合わせをサブピクチャセットへとグループ化するステップ、を含む。
【0099】
実施例10は、実施例9の方法を含み、さらに、前記コード化ビデオシーケンスのレベル、および、コード化画像と前記サブピクチャセットの相対サイズに基づいて、サブピクチャに対応するレベルインジケータを導出するステップ、を含む。
【0100】
実施例11は、実施例9～10のいずれかの方法を含み、さらに、１つ以上のサブピクチャおよびサブピクチャについて、１つ以上の階層およびレベル情報を、前記ビデオデータにおけるメッセージと共に信号化するステップ、を含む。
【0101】
実施例12は、実施例9～10のいずれかの方法を含み、さらに、パラメータセット内のサブピクチャパラメータを信号化するステップ、および、グリッドに基づいて、前記サブピクチャのサイズおよび位置を示すステップ、を含む。
【0102】
実施例13は、実施例12の方法を含み、さらに、任意のサブピクチャまたはサブピクチャセットのレベルが、前記サブピクチャおよびサブピクチャセットのサンプルサイズのうち１つに対する前記ピクチャサイズのスケーリングに基づいて導出されるべきであることの指示を、前記ビデオデータにおけるメッセージ内で提供するステップ、を含む。
【0103】
実施例14は、複数の命令を含む少なくとも１つの非一時的なマシンで読取り可能な媒体であって、コンピューティングデバイスにおいて実行されることに応答して、前記コンピューティングデバイスに、ビデオデータを保管し、かつ、前記ビデオデータにおけるコード化ビデオシーケンス内のコード化画像のサブ領域に対する適合点を導出する、ようにさせる。
【0104】
実施例15は、実施例14の少なくとも１つの非一時的なマシンで読取り可能な媒体を含み、コンピューティングデバイスにおいて実行されることに応答して、前記コンピューティングデバイスに、さらに、前記ビデオデータにおいて長方形領域を形成する１つ以上のサブピクチャの組み合わせをサブピクチャセットへとグループ化する、
ようにさせる、複数の命令を含む。
ようにさせる、複数の命令を含む。
【0105】
実施例16は、実施例15の少なくとも１つの非一時的なマシンで読取り可能な媒体を含み、コンピューティングデバイスにおいて実行されることに応答して、前記コンピューティングデバイスに、さらに、前記コード化ビデオシーケンスのレベル、および、コード化画像と前記サブピクチャセットの相対サイズに基づいて、サブピクチャに対応するレベルインジケータを導出する、ようにさせる、複数の命令を含む。
【0106】
実施例17は、実施例15～16のいずれかの少なくとも１つの非一時的なマシンで読取り可能な媒体を含み、コンピューティングデバイスにおいて実行されることに応答して、前記コンピューティングデバイスに、さらに、１つ以上のサブピクチャおよびサブピクチャについて、１つ以上の階層およびレベル情報を、前記ビデオデータにおけるメッセージと共に信号化する、ようにさせる、複数の命令を含む。
【0107】
実施例18は、実施例15～16のいずれかの少なくとも１つの非一時的なマシンで読取り可能な媒体を含み、コンピューティングデバイスにおいて実行されることに応答して、前記コンピューティングデバイスに、さらに、パラメータセット内のサブピクチャパラメータを信号化し、かつ、グリッドに基づいて、前記サブピクチャのサイズおよび位置を示す、ようにさせる、複数の命令を含む。
【0108】
実施例19は、実施例18の少なくとも１つの非一過性マシンで読取り可能な媒体を含み、コンピューティングデバイスにおいて実行されることに応答して、前記コンピューティングデバイスに、さらに、任意のサブピクチャまたはサブピクチャセットのレベルが、前記サブピクチャおよびサブピクチャセットのサンプルサイズのうち１つに対する前記ピクチャサイズのスケーリングに基づいて導出されるべきであることの指示を、前記ビデオデータにおけるメッセージ内で提供する、ようにさせる、複数の命令を含む。
【0109】
実施例20は、電子装置であって、１つ以上のサブストレート、および、前記１つ以上のサブストレートに結合されたロジックを含む。前記ロジックは、記ビデオデータにおけるコード化ビデオシーケンス内のコード化画像のサブ領域に対する適合点を導出する。
【0110】
実施例21は、実施例20の装置を含み、前記ロジックは、さらに、前記ビデオデータにおいて長方形領域を形成する１つ以上のサブピクチャの組み合わせをサブピクチャセットへとグループ化する。
【0111】
実施例22は実施例21の装置を含み、前記ロジックは、さらに、前記コード化ビデオシーケンスのレベル、および、コード化画像と前記サブピクチャセットの相対サイズに基づいて、サブピクチャに対応するレベルインジケータを導出する。
【0112】
実施例23は、実施例21～22のいずれかの装置を含み、前記ロジックは、さらに、１つ以上のサブピクチャおよびサブピクチャについて、１つ以上の階層およびレベル情報を、前記ビデオデータにおけるメッセージと共に信号化する。
【0113】
前記実施例24は、実施例21～22のいずれかの装置を含み、前記ロジックは、さらに、パラメータセット内のサブピクチャパラメータを信号化し、かつ、グリッドに基づいて、前記サブピクチャのサイズおよび位置を示す。
【0114】
実施例25は、実施例24の装置を含み、前記ロジックは、さらに、任意のサブピクチャまたはサブピクチャセットのレベルが、前記サブピクチャおよびサブピクチャセットのサンプルサイズのうち１つに対する前記ピクチャサイズのスケーリングに基づいて導出されるべきであることの指示を、前記ビデオデータにおけるメッセージ内で提供する。
【0115】
実施例26は、実施例20～25のいずれかの装置を含み、前記ロジックは、さらに、前記ビデオデータの符号化および復号化の１つ以上に対して、サブピクチャおよびサブピクチャのセットを利用するために、VVCコーデックを提供する。
【0116】
実施例27は、ビデオコード装置であって、ビデオデータの保管する手段と、前記ビデオデータにおけるコード化ビデオシーケンス内のコード化画像のサブ領域に対する適合点を導出する手段と、を含む。
【0117】
実施例28は、実施例27の装置を含み、さらに、前記ビデオデータにおいて長方形領域を形成する１つ以上のサブピクチャの組み合わせをサブピクチャセットへとグループ化する手段を含む。
【0118】
実施例29は、実施例28の装置を含み、さらに、前記コード化ビデオシーケンスのレベル、および、コード化画像と前記サブピクチャセットの相対サイズに基づいて、サブピクチャに対応するレベルインジケータを導出する手段を含む。
【0119】
実施例30は、実施例28～29のいずれかの装置を含み、さらに、１つ以上のサブピクチャおよびサブピクチャについて、１つ以上の階層およびレベル情報を、前記ビデオデータにおけるメッセージと共に信号化する手段を含む。
【0120】
実施例31は、実施例28～29のいずれかの装置を含み、さらに、パラメータセット内のサブピクチャパラメータを信号化する手段、および、グリッドに基づいて、前記サブピクチャのサイズおよび位置を示す手段を含む。
【0121】
実施例32は、実施例31の装置を含み、さらに、任意のサブピクチャまたはサブピクチャセットのレベルが、前記サブピクチャおよびサブピクチャセットのサンプルサイズのうち１つに対する前記ピクチャサイズのスケーリングに基づいて導出されるべきであることの指示を、前記ビデオデータにおけるメッセージ内で提供する手段を含む。
【0122】
実施例33は、実施例27～32のいずれかの装置を含み、さらに、前記ビデオデータの符号化および復号化の１つ以上に対して、サブピクチャおよびサブピクチャのセットを利用するために、VVCコーデックを提供する手段を含む。
【0123】
実施例34は、電子システムであって、ビデオデータを保管するためのメモリ、前記メモリに結合されたプロセッサ、および、前記プロセッサおよび前記メモリに結合されたロジック、を含む。前記ロジックは、前記ビデオデータにおけるコード化ビデオシーケンス内のコード化画像のサブ領域に対する適合ポイントを導出し、かつ、長方形領域を形成するサブピクチャの任意の組み合わせをサブピクチャセットへとグループ化する。
【0124】
実施例35は実施例34のシステムを含み、前記ロジックは、さらに、前記コード化ビデオシーケンスのレベル、および、コード化画像と前記サブピクチャセットの相対サイズに基づいて、サブピクチャに対応するレベルインジケータを導出する。
【0125】
実施例36は、実施例34～35のいずれかのシステムを含み、前記ロジックは、さらに、ここにおいて説明されるシーケンスパラメータセットシンタックスに係る１つ以上の態様を実施する。
【0126】
実施例37は、実施例34～36のいずれかのシステムを含み、前記ロジックは、さらに、ここにおいて説明される信号化に係る１つ以上の態様を実装する。
【0127】
実施例38は、実施例34～37のいずれかのシステムを含み、前記ロジックは、さらに、ここにおいて説明されるサブピクチャ抽出およびレベル導出に係る１つ以上の態様を実施する。
【0128】
実施例39は、実施例34～38のいずれかのシステムを含み、前記ロジックは、さらに、前記ビデオデータの符号化および復号化の１つ以上に対して、サブピクチャおよびサブピクチャのセットを利用するために、VVCコーデックを提供する。
【0129】
実施例40は、ビデオデータの符号化／復号化方法であって、ビデオデータの保管するステップと、前記ビデオデータにおけるコード化ビデオシーケンス内のコード化画像のサブ領域に対する適合点を導出するステップと、長方形領域を形成するサブピクチャの任意の組み合わせをサブピクチャセットへとグループ化するステップ、を含む。
【0130】
実施例41は、実施例40の方法を含み、さらに、前記コード化ビデオシーケンスのレベル、および、コード化画像と前記サブピクチャセットの相対サイズに基づいて、サブピクチャに対応するレベルインジケータを導出するステップ、を含む。
【0131】
実施例42は、実施例40～41のいずれかの方法を含み、さらに、ここにおいて説明されるシーケンスパラメータセットシンタックスに係る１つ以上の態様を実施することを含む。
【0132】
実施例43は、実施例40～42のいずれかの方法を含み、さらに、ここにおいて説明される信号化に係る１つ以上の態様を実施することを含む。
【0133】
実施例44は、実施例40～43のいずれかの方法を含み、さらに、ここにおいて説明されるサブピクチャ抽出およびレベル導出に係る１つ以上の態様を実施することを含む。
【0134】
実施例45は、実施例40～44のいずれかの方法を含み、さらに、前記ビデオデータの符号化および復号化の１つ以上に対して、サブピクチャおよびサブピクチャのセットを利用するために、VVCコーデックを提供することを含む。
【0135】
実施例46は、複数の命令を含む少なくとも１つの非一時的なマシンで読取り可能な媒体であって、コンピューティングデバイスにおいて実行されることに応答して、前記コンピューティングデバイスに、ビデオデータにおけるコード化ビデオシーケンス内のコード化画像のサブ領域に対する適合点を導出し、かつ、長方形領域を形成するサブピクチャの任意の組み合わせをサブピクチャセットへとグループ化する、ようにさせる。
【0136】
実施例47は、実施例46のマシンで読取り可能な媒体を含み、コンピューティングデバイスにおいて実行されることに応答して、前記コンピューティングデバイスに、さらに、前記コード化ビデオシーケンスのレベル、および、コード化画像と前記サブピクチャセットの相対サイズに基づいて、サブピクチャに対応するレベルインジケータを導出する、ようにさせる、複数の命令を含む。
【0137】
実施例48は、実施例46～47のいずれかのマシンで読取り可能な媒体を含み、コンピューティングデバイスにおいて実行されることに応答して、前記コンピューティングデバイスに、さらに、ここにおいて説明されるシーケンスパラメータセットシンタックスに係る１つ以上の態様を実施する、ようにさせる、複数の命令を含む。
【0138】
実施例49は、実施例46～48のいずれかのマシンで読取り可能な媒体を含み、コンピューティングデバイスにおいて実行されることに応答して、前記コンピューティングデバイスに、さらに、ここにおいて説明される信号化に係る１つ以上の態様を実施する、ようにさせる、複数の命令を含む。
【0139】
実施例50は、実施例46～49のいずれかのマシンで読取り可能な媒体を含み、コンピューティングデバイスにおいて実行されることに応答して、前記コンピューティングデバイスに、さらに、ここにおいて説明されるサブピクチャ抽出およびレベル導出に係る１つ以上の態様を実施する、ようにさせる、複数の命令を含む。
【0140】
実施例51は、実施例46～50のいずれかのマシンで読取り可能な媒体を含み、コンピューティングデバイスにおいて実行されることに応答して、前記コンピューティングデバイスに、さらに、前記ビデオデータの符号化および復号化の１つ以上に対して、サブピクチャおよびサブピクチャのセットを利用するために、VVCコーデックを提供する、ようにさせる、複数の命令を含む。
【0141】
実施例52は、電子装置であって、１つ以上のサブストレート、および、前記１つ以上のサブストレートに結合されたロジック、を含む。前記ロジックは、ビデオデータのビットストリームを受信し、１つ以上のサブピクチャのグループに対応する、デコードされるべきサブピクチャセットを識別し、前記識別されたサブピクチャセットのサイズに基づいて、サブピクチャセットレベルを導出し、かつ、導出レベルが閾値レベルデコード以下であるかを判断する。
【0142】
実施例53は、実施例52の装置を含み、前記１つ以上のサブピクチャのグループは、前記ビデオデータにおいて長方形領域を形成する。
【0143】
実施例54は、実施例52～53のいずれかの装置を含み、前記ロジックは、さらに、前記ビデオデータにおけるメッセージに基づいて、前記サブピクチャについて１つ以上の階層およびレベル情報をデコードする。
【0144】
実施例55は、実施例52～53のいずれかの装置を含み、前記ロジックは、さらに、前記ビデオデータにおけるパラメータセットからサブピクチャパラメータを決定し、かつ、グリッドに基づいて、サブピクチャのサイズおよび位置を決定する。
【0145】
実施例56は実施例55の装置を含み、前記ロジックは、さらに、前記ビデオデータにおけるメッセージ内で提供される指示に基づいて、任意のサブピクチャまたはサブピクチャセットのレベルが、前記サブピクチャおよびサブピクチャセットのサンプルサイズのうち１つに対する前記ピクチャサイズのスケーリングに基づいて導出されるべきであることを決定する。
【0146】
種々の実施形態は、ハードウェア要素、ソフトウェア要素、またはその両方の組み合わせを使用して実施され得る。ハードウェア要素の例は、プロセッサ、マイクロプロセッサ、回路、回路素子（例えば、トランジスタ、抵抗、キャパシタ、インダクタ、など）、集積回路、特定用途向け集積回路（ASIC）、プログラマブル論理デバイス（PLD）、デジタル信号プロセッサ（DSP）、フィールドプログラマブルゲートアレイ（FPGA）、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット、などを含み得る。ソフトウェアの例は、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、ファンクション、メソッド、プロシージャ、ソフトウェアインターフェイス、アプリケーションプログラムインターフェイス（API）、命令セット、計算コード、コンピュータコード、コードセグメント、ワード、値、記号、または、それらの任意の組み合わせを含み得る。ハードウェア要素及び／又はソフトウェア要素を使用して実施される実施形態を決定することは、所望の計算速度、電力レベル、熱公差、処理サイクルバジェット、入力データ速度、出力データ速度、メモリリソース、データバス速度、および、他の設計または性能制約といった、任意の数の要因に従って変動し得る。
【0147】
少なくとも１つの実施形態の１つ以上の態様は、プロセッサ内の種々のロジックを表すマシンで読取り可能な媒体上に記憶された代表的な命令によって実施され得る。それは、マシンによって読み取られると、ここにおいて説明される技術をマシンに実行させるようにロジックを作り出る。そうした表示は、IPコアとして知られており、有形のマシンで読取り可能な媒体において保管され、そして、ロジックまたはプロセッサを実際に作成する製造マシンへとロードするために、様々な顧客または製造施設に供給される。
【0148】
ここにおいて説明される所定の特徴は、種々の実施形態を参照して説明されてきたが、この説明は、限定的な意味で解釈されるように意図されたものではない。従って、
本開示が関係する当業者にとって明らかである、ここにおいて説明された実施形態、並びに他の実施形態に係る種々の修正は、本開示の精神および範囲内にあるとみなされる。
本開示が関係する当業者にとって明らかである、ここにおいて説明された実施形態、並びに他の実施形態に係る種々の修正は、本開示の精神および範囲内にあるとみなされる。
【0149】
これらの実施形態は、上記の実施形態に限定されるものではないが、添付の特許請求の範囲から逸脱することなく、修正および変更を伴い実施され得ることが認識されるだろう。例えば、上記の実施形態は、特徴の特定の組み合わせを含み得る。しかしながら、上記の実施形態は、この点に関して限定されるものではなく、そして、様々な実施形態において、上記の実施形態は、そうした特徴のサブセットのみを引き受けること、そうした特徴の異なる順序を引き受けること、そうした特徴の異なる組み合わせを引き受けること、及び／又は、明示的に列挙された特徴以外の追加の特徴を引き受けることを含み得る。実施形態の範囲は、従って、添付の請求項を参照して決定されるべきであり、そうした請求項が権利を有する均等物の全範囲を伴う。
【図1A】
【図1B】
【図2A】
【図2B】
【図2C】
【図2D】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】