IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ バイトダンス インコーポレイテッドの特許一覧

特表2024-533812ビデオ処理のための方法、装置及び媒体
<>
  • 特表-ビデオ処理のための方法、装置及び媒体 図1
  • 特表-ビデオ処理のための方法、装置及び媒体 図2
  • 特表-ビデオ処理のための方法、装置及び媒体 図3
  • 特表-ビデオ処理のための方法、装置及び媒体 図4
  • 特表-ビデオ処理のための方法、装置及び媒体 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-12
(54)【発明の名称】ビデオ処理のための方法、装置及び媒体
(51)【国際特許分類】
   H04N 19/70 20140101AFI20240905BHJP
【FI】
H04N19/70
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024519746
(86)(22)【出願日】2022-09-30
(85)【翻訳文提出日】2024-03-29
(86)【国際出願番号】 US2022077387
(87)【国際公開番号】W WO2023056445
(87)【国際公開日】2023-04-06
(31)【優先権主張番号】63/250,772
(32)【優先日】2021-09-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】ワン,イエ-クォイ
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159MA04
5C159MA05
5C159MC11
5C159ME01
5C159PP04
5C159RB09
5C159RC12
5C159UA02
5C159UA05
(57)【要約】
本開示の実施形態は、ビデオ処理のための方案を提供する。ビデオ処理方法を提案する。前記方法は、イントラプロファイルに従って、ビデオのターゲットビデオブロックと前記ビデオのビットストリームとの間の変換を実行するステップであって、前記イントラプロファイルは、前記変換におけるインター予測の使用を許可しない制約を指定するステップを含む。

【選択図】 図4


【特許請求の範囲】
【請求項1】
ビデオ処理方法であって、
イントラプロファイルに従って、ビデオのターゲットビデオブロックと前記ビデオのビットストリームとの間の変換を実行するステップであって、前記イントラプロファイルは、前記変換におけるインター予測の使用を許可しない制約を指定するステップを含む方法。
【請求項2】
前記イントラプロファイルは、Main 12 Intraプロファイル、Main 12 4:4:4 Intraプロファイル、又はMain 16 4:4:4 Intraプロファイルを含む、請求項1に記載の方法。
【請求項3】
前記イントラプロファイルのビットストリームにおけるスライスは、Iスライスである、請求項1又は2に記載の方法。
【請求項4】
前記イントラプロファイルのビットストリームにおいて、前記ビットストリームにおけるビデオのスライスの符号化タイプがIスライスのタイプを示す、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記イントラプロファイルのビットストリームにおいて、前記符号化タイプに対応するスライスヘッダセマンティクスの値が2に等しい、請求項4に記載の方法。
【請求項6】
前記イントラプロファイルのビットストリームにおいて、制約フラグは、前記ビットストリームにおけるビデオのスライスがIスライスであることを指定するように設定される、請求項1から5のいずれかに記載の方法。
【請求項7】
前記制約フラグは、前記ビットストリームにおけるビデオのスライスの符号化タイプがIスライスのタイプであることを指定するように設定される、請求項6に記載の方法。
【請求項8】
前記イントラプロファイルのビットストリームにおいて、前記制約フラグに対応する一般制約情報セマンティックの値が1に等しい、請求項6又は7に記載の方法。
【請求項9】
前記変換は、前記ターゲットビデオブロックを前記ビットストリームに符号化することを含む、請求項1から8のいずれか一項に記載の方法。
【請求項10】
前記変換は、前記ビットストリームから前記ターゲットビデオブロックを復号することを含む、請求項1から8のいずれか一項に記載の方法。
【請求項11】
プロセッサと命令を備えた非一時的メモリとを備えるビデオデータを処理する装置であって、
前記命令は前記プロセッサによって実行されると、前記プロセッサに請求項1から10のいずれか一項に記載の方法を実行させる装置。
【請求項12】
プロセッサに請求項1から10のいずれか一項に記載の方法を実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体。
【請求項13】
ビデオ処理装置によって実行される方法によって生成されたビデオのビットストリームを格納する非一時的なコンピュータ可読記憶媒体であって、
前記方法は、
イントラプロファイルに従って前記ビットストリームを生成し、前記イントラプロファイルは、前記ビデオのターゲットビデオブロックと前記ビットストリームとの間の変換においてインター予測の使用を許可しない制約を指定することを含む、非一時的なコンピュータ可読記憶媒体。
【請求項14】
ビデオのビットストリームを格納する方法であって、
イントラプロファイルに従って前記ビットストリームを生成するステップであって、前記イントラプロファイルは、前記ビデオのターゲットビデオブロックと前記ビットストリームとの間の変換においてインター予測の使用を許可しない制約を指定するステップと、
前記ビットストリームを非一時的なコンピュータ可読記憶媒体に格納するステップとを含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願の相互参照]
本出願は、2021年9月30日に出願された米国仮出願第63/250,772号の優先権の利益を主張し、その全内容は、参照により本明細書に組み込まれる。
【0002】
[技術分野]
本開示の実施形態は、概して、ビデオ符号化技術に関し、より詳細には、多用途ビデオ符号化(VVC)範囲拡張プロファイルのためのデコーダ能力を指定することに関する。
【背景技術】
【0003】
ビデオ符号化規格は、主に、よく知られたITU-T規格及びISO/IEC規格の開発を通じて進化してきた。ITU-TはH.261及びH.263を作成し、ISO/IECはMPEG-1及びMPEG-4Visualを作成し、この2つの組織が共同でH.262/MPEG-2ビデオ及びH.264/MPEG-4Advanced Video Coding(AVC)及びH.265/HEVC規格を作成した。H.262以来、ビデオ符号化規格は、時間予測プラス変換符号化が利用されるハイブリッドビデオ符号化構造に基づいている。HEVCを超える未来のビデオ符号化技術を探索するために、Joint Video Exploration Team(ジョイントビデオエクスプロレーション チーム、JVET)が2015年にVCEG及びMPEGによって共同で設立された。それ以来、多くの新しい方法がJVETによって採用され、Joint Exploration Model(ジョイント エクスプロレーション モデル、JEM)という名前のリファレンスソフトウェアに組み込まれている。その後、VVCプロジェクトが正式に開始されたときに、JVETはJVETに名前変更されました。VVCは新しい符号化規格であり、HEVCと比較して50%ビットレート低減を目標としている。
【0004】
VVC規格及び関連する符号化ビデオビットストリーム用のVersatile Supplemental Enhancement Information(多用途拡張情報、VSEI)規格は、テレビ放送、ビデオ会議、又は記憶媒体からの再生などの従来の用途と、アダプティブビットレートストリーミング、ビデオ領域抽出、多重コード化ビデオビットストリームからのコンテンツの合成と結合、マルチビュービデオ、スケーラブルなレイヤードコーディング、及びビューポートアダプティブ360度イマーシブメディアなどのより新しく高度な用途の両方を含む、最大限広範囲のアプリケーションで使用されるように設計されている。VVC規格の修正案の最新草案には、範囲拡張プロファイルの仕様やその他の側面が含まれている。
【発明の概要】
【0005】
本開示の実施形態は、ビデオ処理のための方案を提供する。
【0006】
第1の態様では、ビデオ処理方法が提案される。前記方法は、イントラプロファイルに従って、ビデオのターゲットビデオブロックと前記ビデオのビットストリームとの間の変換を実行するステップであって、前記イントラプロファイルは、前記変換におけるインター予測の使用を許可しない制約を指定するステップを含む。本開示の第1の態様による方法は、VVC範囲拡張プロファイルのデコーダ能力を向上させる。
【0007】
第2の態様では、ビデオデータを処理する装置が提案される。前記装置は、プロセッサと命令を備えた非一時的メモリとを含む。前記命令は前記プロセッサによって実行されると、前記プロセッサに第1の態様による方法を実行させる。
【0008】
第3の態様では、ビデオデータを処理する装置が提案される。非一時的なコンピュータ可読記憶媒体は、プロセッサに第1の態様による方法を実行させる命令を記憶する。
【0009】
第4の態様では、非一時的なコンピュータ可読記憶媒体が提案される。前記非一時的なコンピュータ可読記憶媒体は、ビデオ処理装置によって実行される方法によって生成されたビデオのビットストリームを格納する。前記方法は、イントラプロファイルに従って前記ビットストリームを生成し、前記イントラプロファイルは、前記ビデオのターゲットビデオブロックと前記ビットストリームとの間の変換においてインター予測の使用を許可しない制約を指定することを含む。
【0010】
第5の態様では、別のビデオのビットストリームを格納する方法が提案される。前記方法は、イントラプロファイルに従って前記ビットストリームを生成するステップであって、前記イントラプロファイルは、前記ビデオのターゲットビデオブロックと前記ビットストリームとの間の変換においてインター予測の使用を許可しない制約を指定するステップと、前記ビットストリームを非一時的なコンピュータ可読記憶媒体に格納するステップとを含む。
【0011】
この発明の内容は、以下の詳細な説明でさらに記述される概念の選択を簡略化した形で紹介するために提供される。この発明の内容は、請求された主題の主な特徴又は本質的な特徴を特定することを意図したものではなく、また、請求された主題の範囲を制限するために使用されることを意図したものでもない。
【図面の簡単な説明】
【0012】
添付の図面を参照した以下の詳細な説明を通じて、本開示の例示的な実施形態の上記及び他の目的、特徴、及び利点がより明らかになるであろう。本開示の例示的な実施形態では、同じ参照番号は通常、同じ構成要素を指す。
【0013】
図1】本開示のいくつかの実施形態による例示的なビデオ符号化システムを示すブロック図を示す。
【0014】
図2】本開示のいくつかの実施形態によるビデオエンコーダの第1の例を示すブロック図を示す。
【0015】
図3】本開示のいくつかの実施形態による例示的なビデオデコーダを示すブロック図を示す。
【0016】
図4】本開示のいくつかの実施形態によるビデオ処理方法のフローチャートを示す。
【0017】
図5】本開示の様々な実施形態を実施できるコンピューティングデバイスのブロック図を示す。
【0018】
図面の全体にわたって、同じ又は類似の参照番号は通常、同じ又は類似の要素を指す。
【発明を実施するための形態】
【0019】
次に、いくつかの実施形態を参照して、本開示の原理を説明する。これらの実施形態は、説明のみを目的として記載されており、当業者が本開示を理解し実施するのを助けるものであり、本開示の範囲に関していかなる限定も示唆するものではないことを理解すべきである。本明細書に記載の開示は、以下に記載する方法以外にも様々な方法で実施されることができる。
【0020】
以下の説明及び特許請求の範囲において、別段の定義がない限り、本明細書で使用されるすべての技術用語及び科学用語は、本開示が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。
【0021】
本開示における「一つの実施形態」、「一実施形態」、「例示的な実施形態」などへの言及は、記載される実施形態が特定の特徴、構造、又は特性を含み得ることを示すが、必ずしもすべての実施形態が特定の特徴、構造、又は特性を含むとは限らない。また、そのような語句は必ずしも同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、又は特性が例示的な実施形態に関連して説明される場合、明示的に記載されているかどうかにかかわらず、他の実施形態に関連してそのような特徴、構造、又は特性に影響を与えることは当業者の知識の範囲内であることが指摘される。
【0022】
「第1」及び「第2」などの用語は、本明細書では様々な要素を説明するために使用され得るが、これらの要素はこれらの用語によって限定されるべきではないことを理解すべきである。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、例示的な実施形態の範囲から逸脱することなく、第1の要素が第2の要素と呼ばれ得、同様に、第2の要素が第1の要素と呼ばれ得る。本明細書で使用される「及び/又は」という用語には、列挙された用語の1つ又は複数のあらゆる組み合わせが含まれる。
【0023】
本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、例示的な実施形態を限定することを意図したものではない。本明細書で使用されるように、単数形「a(一つの)」、「an(一つの)」、及び「the(その)」は、文脈上明らかに別段の指示がない限り、複数形も含むものとする。「含む」、「備える」、「有する」、「持つ」、「含む」及び/又は「包含する」という用語は、本明細書で使用される場合、記載された特徴、要素、及び/又は構成要素などの存在を特定するが、1つ又は複数の他の特徴、要素、構成要素及び/又はそれらの組み合わせの存在又は追加を排除するものではないことがさらに理解されるであろう。
【0024】
例示的な環境
図1は、本開示の技術を利用し得る例示的なビデオ符号化システム100を示すブロック図である。図示されるように、ビデオ符号化システム100は、ソースデバイス110と、宛先デバイス120とを含み得る。ソースデバイス110は、ビデオ符号化デバイスとも呼ばれ得、宛先デバイス120は、ビデオ復号デバイスとも呼ばれ得る。動作中、ソースデバイス110は、符号化されたビデオデータを生成するように構成することができ、宛先デバイス120は、ソースデバイス110によって生成された符号化されたビデオデータを復号するように構成することができる。ソースデバイス110は、ビデオソース112と、ビデオエンコーダ114と、入出力(I/O)インターフェース116とを含み得る。
【0025】
ビデオソース112は、ビデオキャプチャデバイスなどのソースを含み得る。ビデオキャプチャデバイスの例には、ビデオコンテンツプロバイダからビデオデータを受信するインターフェース、ビデオデータを生成するコンピュータグラフィックスシステム、及び/又はそれらの組み合わせが含まれるが、これらに限定されない。
【0026】
ビデオデータは、1つ又は複数のピクチャを含み得る。ビデオエンコーダ114は、ビデオソース112からのビデオデータを符号化してビットストリームを生成する。ビットストリームには、ビデオデータの符号化表現を形成する一連のビットが含まれ得る。ビットストリームには、符号化ピクチャ及び関連データが含まれ得る。符号化ピクチャは、ピクチャの符号化表現である。関連データには、シーケンスパラメータセット、ピクチャパラメータセット、及び他のシンタックス構造が含まれ得る。I/Oインターフェース116は、変調器/復調器及び/又は送信機を含み得る。符号化されたビデオデータは、I/Oインターフェース116を介してネットワーク130Aを通して宛先デバイス120に直接送信され得る。符号化されたビデオデータは、宛先デバイス120によるアクセスのために記憶媒体/サーバ130Bに記憶され得る。
【0027】
宛先デバイス120は、I/Oインターフェース126と、ビデオデコーダ124と、表示デバイス122とを含み得る。I/Oインターフェース126は、受信機及び/又はモデムを含み得る。I/Oインターフェース126は、ソースデバイス110又は記憶媒体/サーバ130Bから符号化されたビデオデータを取得し得る。ビデオデコーダ124は、符号化されたビデオデータを復号し得る。表示デバイス122は、復号されたビデオデータをユーザに表示し得る。表示デバイス122は、宛先デバイス120と一体化されてもよいし、或いは外部表示デバイスとインターフェースするように構成された宛先デバイス120の外部にあってもよい。
【0028】
ビデオエンコーダ114及びビデオデコーダ124は、High Efficiency Video Coding(高効率ビデオ符号化、HEVC)規格、Versatile Video Coding(多用途ビデオ符号化、VVC)規格及び他の現在及び/又はさらなる規格などのビデオ圧縮規格に従って動作し得る。
【0029】
図2は、本開示のいくつかの実施形態による、図1に示されるシステム100内のビデオエンコーダ114の一例であり得るビデオエンコーダ200の一例を示すブロック図である。
【0030】
ビデオエンコーダ200は、本開示の技術のいずれか又はすべてを実施するように構成され得る。図2の例では、ビデオエンコーダ200は複数の機能コンポーネントを含む。本開示で説明される技術は、ビデオエンコーダ200の様々なコンポーネント間で共有され得る。いくつかの例では、プロセッサは、本開示で説明された技術のいずれか又はすべてを実行するように構成され得る。
【0031】
いくつかの実施形態では、ビデオエンコーダ200は、分割ユニット201と、モード選択ユニット203、動き推定ユニット204、動き補償ユニット205及びイントラ予測ユニット206を含み得る予測ユニット202と、残差生成ユニット207と、変換ユニット208と、量子化ユニット209と、逆量子化ユニット210と、逆変換ユニット211と、再構成ユニット212と、バッファ213と、エントロピー符号化ユニット214とを含み得る。
【0032】
他の例では、ビデオエンコーダ200は、より多くの、より少ない、又は異なる機能コンポーネントを含み得る。一例では、予測ユニット202は、イントラブロックコピー(IBC)ユニットを含み得る。IBCユニットは、少なくとも1つの参照ピクチャが現在ビデオブロックが位置するピクチャであるIBCモードで予測を実行し得る。
【0033】
さらに、動き推定ユニット204及び動き補償ユニット205などのいくつかの構成要素は統合され得るが、図2の例では説明の目的で別々に表されている。
【0034】
分割ユニット201は、ピクチャを1つ又は複数のビデオブロックに分割し得る。ビデオエンコーダ200及びビデオデコーダ300は、多様なビデオブロックサイズをサポートし得る。
【0035】
モード選択ユニット203は、例えば、エラー結果に基づいて、イントラ又はインターの符号化モードのうちの1つを選択し、その結果から得られるイントラ符号化又はインター符号化されたブロックを、残差ブロックデータを生成するように残差生成ユニット207に提供し、符号化されたブロックを再構成して参照ピクチャとして使用するように再構成ユニット212に提供し得る。いくつかの例では、モード選択ユニット203は、予測がインター予測信号及びイントラ予測信号に基づくイントラ及びインター予測の組み合わせ(CIIP)モードを選択し得る。モード選択ユニット203は、インター予測の場合、ブロックの動きベクトルの解像度(例えば、サブピクセル又は整数ピクセル精度)を選択し得る。
【0036】
現在ビデオブロックに対してインター予測を実行するために、動き推定ユニット204は、バッファ213からの1つ又は複数の参照フレームを現在ビデオブロックと比較することによって現在ビデオブロックの動き情報を生成し得る。動き補償ユニット205は、現在ビデオブロックに関連するピクチャ以外のバッファ213からのピクチャの動き情報及び復号化サンプルに基づいて、現在ビデオブロックの予測ビデオブロックを決定し得る。
【0037】
動き推定ユニット204及び動き補償ユニット205は、例えば、現在ビデオブロックがIスライス、Pスライス、又はBスライスのいずれにあるかに応じて、現在ビデオブロックに対して異なる演算を実行し得る。本明細書で使用されるように、「Iスライス」は、マクロブロックから構成されるピクチャの一部を指し得、そのすべてが同じピクチャ内のマクロブロックに基づいている。さらに、本明細書で使用されるように、いくつかの態様では、「Pスライス」及び「Bスライス」は、同じピクチャ内のマクロブロックに依存しないマクロブロックから構成されるピクチャの部分を指し得る。
【0038】
いくつかの例では、動き推定ユニット204は、現在ビデオブロックに対して単方向予測を実行し得、動き推定ユニット204は、現在ビデオブロックの参照ビデオブロックに対するリスト0又はリスト1の参照ピクチャを探し得る。次に、動き推定ユニット204は、参照ビデオブロックを含むリスト0又はリスト1内の参照ピクチャを示す参照インデックスと、現在ビデオブロックと参照ビデオブロックとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット204は、参照インデックス、予測方向指示子、及び動きベクトルを現在ビデオブロックの動き情報として出力し得る。動き補償ユニット205は、現在ビデオブロックの動き情報によって示される参照ビデオブロックに基づいて、現在ビデオブロックの予測ビデオブロックを生成し得る。
【0039】
代替形態として、他の例では、動き推定ユニット204は、現在ビデオブロックに対して双方向予測を実行し得る。動き推定ユニット204は、現在ビデオブロックの参照ビデオブロックに対するリスト0内の参照ピクチャを探してもよいし、現在ビデオブロックの別の参照ビデオブロックに対するリスト1内の参照ピクチャを探してもよい。次に、動き推定ユニット204は、参照ビデオブロックを含むリスト0及びリスト1内の参照ピクチャを示す参照インデックスと、参照ビデオブロックと現在ビデオブロックとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット204は、現在ビデオブロックの参照インデックス及び動きベクトルを現在ビデオブロックの動き情報として出力し得る。動き補償ユニット205は、現在ビデオブロックの動き情報によって示される参照ビデオブロックに基づいて、現在ビデオブロックの予測ビデオブロックを生成し得る。
【0040】
いくつかの例では、動き推定ユニット204は、デコーダの復号処理のためのフルセットの動き情報を出力し得る。代替形態として、いくつかの実施形態では、動き推定ユニット204は、別のビデオブロックの動き情報を参照して現在ビデオブロックの動き情報をシグナリングし得る。例えば、動き推定ユニット204は、現在ビデオブロックの動き情報が隣接するビデオブロックの動き情報と十分に類似していると判定し得る。
【0041】
一例では、動き推定ユニット204は、現在ビデオブロックに関連付けられたシンタックス構造において、現在ビデオブロックが別のビデオブロックと同じ動き情報を有することをビデオデコーダ300に示す値を示し得る。
【0042】
別の例では、動き推定ユニット204は、現在ビデオブロックに関連付けられたシンタックス構造において、別のビデオブロック及び動きベクトル差分(MVD)を識別し得る。動きベクトル差分は、現在ビデオブロックの動きベクトルと、指示されたビデオブロックの動きベクトルとの間の差分を示す。ビデオデコーダ300は、指示されたビデオブロックの動きベクトル及び動きベクトル差分を使用して現在ビデオブロックの動きベクトルを決定し得る。
【0043】
上で論じたように、ビデオエンコーダ200は、動きベクトルを予測的にシグナリングし得る。ビデオエンコーダ200によって実施され得る予測シグナリング技術の2つの例には、アドバンスト動きベクトル予測(AMVP)とマージモードシグナリングとが含まれる。
【0044】
イントラ予測ユニット206は、現在ビデオブロックに対してイントラ予測を実行し得る。イントラ予測ユニット206が現在ビデオブロックに対してイントラ予測を実行するとき、イントラ予測ユニット206は、同じピクチャ内の他のビデオブロックの復号されたサンプルに基づいて、現在ビデオブロックに対する予測データを生成し得る。現在ビデオブロックに対する予測データには、予測されたビデオブロック及び様々なシンタックス要素が含まれ得る。
【0045】
残差生成ユニット207は、現在ビデオブロックから現在ビデオブロックの予測ビデオブロックを減算する(例えば、マイナス記号によって示される)ことによって、現在ビデオブロックに対する残差データを生成し得る。現在ビデオブロックの残差データは、現在ビデオブロック内のサンプルの異なるサンプル成分に対応する残差ビデオブロックを含み得る。
【0046】
他の例では、例えばスキップモードにおいて、現在ビデオブロックに対する残差データが存在しなくてもよいし、残差生成ユニット207は減算演算を実行しなくてもよい。
【0047】
変換処理ユニット208は、現在ビデオブロックに関連付けられた残差ビデオブロックに1つ又は複数の変換を適用することによって、現在ビデオブロックに対する1つ又は複数の変換係数ビデオブロックを生成し得る。
【0048】
変換処理ユニット208が現在ビデオブロックに関連付けられた変換係数ビデオブロックを生成した後、量子化ユニット209は、現在ビデオブロックに関連付けられた1つ又は複数の量子化パラメータ(QP)値に基づいて、現在ビデオブロックに関連付けられた変換係数ビデオブロックを量子化し得る。
【0049】
逆量子化ユニット210及び逆変換ユニット211は、それぞれ、変換係数ビデオブロックに逆量子化及び逆変換を適用して、変換係数ビデオブロックから残差ビデオブロックを再構成し得る。再構成ユニット212は、再構成された残差ビデオブロックを、予測ユニット202によって生成された1つ又は複数の予測ビデオブロックからの対応するサンプルに追加して、バッファ213に記憶するために現在ビデオブロックに関連付けられた再構成ビデオブロックを生成し得る。
【0050】
再構成ユニット212がビデオブロックを再構成した後、ループフィルタリング動作が実行されて、ビデオブロック内のビデオブロッキングアーティファクトを低減し得る。
【0051】
エントロピー符号化ユニット214は、ビデオエンコーダ200の他の機能コンポーネントからデータを受信し得る。エントロピー符号化ユニット214がデータを受信すると、エントロピー符号化ユニット214は、1つ又は複数のエントロピー符号化動作を実行して、エントロピー符号化データを生成し、エントロピー符号化データを含むビットストリームを出力し得る。
【0052】
図3は、本開示のいくつかの実施形態による、図1に示されるシステム100内のビデオデコーダ124の一例であり得るビデオデコーダ300の一例を示すブロック図である。
【0053】
ビデオデコーダ300は、本開示の技術のいずれか又はすべてを実行するように構成され得る。図3の例では、ビデオデコーダ300は複数の機能コンポーネントを含む。本開示で説明される技術は、ビデオデコーダ300の様々なコンポーネント間で共有され得る。いくつかの例では、プロセッサは、本開示で説明された技術のいずれか又はすべてを実行するように構成され得る。
【0054】
図3の例では、ビデオデコーダ300は、エントロピー復号ユニット301と、動き補償ユニット302と、イントラ予測ユニット303と、逆量子化ユニット304と、逆変換ユニット305と、再構成ユニット306と、バッファ307とを含む。ビデオデコーダ300は、いくつかの例では、ビデオエンコーダ200に関して説明した符号化パスと一般に逆の復号パスを実行し得る。
【0055】
エントロピー復号ユニット301は、符号化されたビットストリームを検索し得る。符号化されたビットストリームは、エントロピー符号化されたビデオデータ(例えば、ビデオデータの符号化されたブロック)を含み得る。エントロピー復号ユニット301は、エントロピー符号化されたビデオデータを復号し得、エントロピー復号されたビデオデータから、動き補償ユニット302は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス及び他の動き情報を含む動き情報を決定し得る。動き補償ユニット302は、例えば、AMVP及びマージモードを実行することによってそのような情報を決定し得る。AMVPが使用され、隣接するPB及び参照ピクチャからのデータに基づいた最もあり得るいくつかの候補の導出を含む。動き情報には、通常、水平及び垂直動きベクトル変位値、1つ又は2つの参照ピクチャインデックス、及びBスライス内の予測領域の場合は、どの参照ピクチャリストが各インデックスに関連付けられているかの識別が含まれる。本明細書で使用されるように、いくつかの態様では、「マージモード」は、空間的又は時間的に隣接するブロックから動き情報を導出することを指し得る。
【0056】
動き補償ユニット302は、おそらく補間フィルタに基づいて補間を実行しながら、動き補償されたブロックを生成し得る。サブピクセル精度で使用される補間フィルタの識別子は、シンタックス要素に含まれ得る。
【0057】
動き補償ユニット302は、ビデオブロックの符号化中にビデオエンコーダ200によって使用される補間フィルタを使用して、参照ブロックのサブ整数ピクセルに対する補間値を計算し得る。動き補償ユニット302は、受信したシンタックス情報に従ってビデオエンコーダ200によって使用される補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
【0058】
動き補償ユニット302は、シンタックス情報の少なくとも一部を使用して、符号化されたビデオシーケンスのフレーム及び/又はスライスを符号化するために使用されるブロックのサイズ、符号化されたビデオシーケンスのピクチャの各マクロブロックがどのように分割されるかを説明するパーティション情報、各パーティションがどのように符号化されるかを示すモード、各インターエンコードされたブロックの1つ又は複数の参照フレーム(及び参照フレームリスト)、及び符号化されたビデオシーケンスを復号するその他の情報を決定し得る。本明細書で使用されるように、いくつかの態様では、「スライス」は、エントロピー符号化、信号予測、及び残差信号再構成に関して、同じピクチャの他のスライスから独立して復号できるデータ構造を指し得る。スライスは、ピクチャ全体又はピクチャの領域のいずれかになり得る。
【0059】
イントラ予測ユニット303は、例えばビットストリームで受信されたイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成し得る。逆量子化ユニット304は、ビットストリームで提供され、エントロピー復号ユニット301によって復号された量子化ビデオブロック係数を逆量子化、即ち量子化解除する。逆変換ユニット305は、逆変換を適用する。
【0060】
再構成ユニット306は、例えば、残差ブロックと、動き補償ユニット302又はイントラ予測ユニット303によって生成された対応する予測ブロックとを加算することによって、復号されたブロックを取得し得る。必要に応じて、デブロッキングフィルタが適用されて、ブロックノイズアーティファクトを除去するよう、復号されたブロックをフィルタリングしてもよい。次に、復号されたビデオブロックはバッファ307に記憶され、バッファ307は、後続の動き補償/イントラ予測のための参照ブロックを提供し、また、表示デバイス上にプレゼンテーションするための復号されたビデオも生成する。
【0061】
本開示のいくつかの例示的な実施形態について以下に詳細に説明することにする。本明細書では理解を容易にするためにセクション見出しが使用されているが、セクションで開示される実施形態をそのセクションのみに限定するものではないことを理解すべきである。さらに、特定の実施形態が多用途ビデオ符号化又は他の特定のビデオコーデックを参照して説明されるが、開示された技術は他のビデオ符号化技術にも適用可能である。さらに、いくつかの実施形態はビデオ符号化ステップを詳細に説明するが、符号化を元に戻す対応する復号化ステップはデコーダによって実施されることが理解されるであろう。さらに、ビデオ処理という用語には、ビデオの符号化又は圧縮、ビデオのデ符号化又は解凍、及びビデオピクセルを1つの圧縮フォーマットから別の圧縮フォーマット又は異なる圧縮ビットレートで表現するビデオトランス符号化が包含される。
【0062】
詳細な方案
1.概要
本開示は、画像/ビデオ符号化技術に関する。具体的には、VVC範囲拡張プロファイルのデコーダ能力の指定に関する。本開示の実施形態は、任意のコーデック、例えば多用途ビデオ符号化(VVC)規格によって符号化されたビデオビットストリームに対して、個別に又は様々な組み合わせで適用され得る。
【0063】
2.略語
APS Adaptation Parameter Set(適応パラメータセット)
AU Access Unit(アクセスユニット)
CLVS Coded Layer Video Sequence(符号化レイヤビデオシーケンス)
CLVSS Coded Layer Video Sequence Start(符号化レイヤビデオシーケンス開始)
CRC Cyclic Redundancy Check(巡回冗長検査)
CTI Colour Transform Information(カラー変換情報)
CVS Coded Video Sequence(コード化ビデオシーケンス)
FIR Finite Impulse Response(有限インパルス応答)
IRAP Intra Random Access Point(イントラランダムアクセスポイント)
NAL Network Abstraction Layer(ネットワーク抽象化レイヤ)
PPS Picture Parameter Set(ピクチャパラメータセット)
PU Picture Unit(ピクチャユニット)
RASL Random Access Skipped Leading(ランダムアクセススキップリーディング)
SAR Sample Aspect Ratio(サンプルアスペクト比)
SARI Sample Aspect Ratio Information(サンプルアスペクト比情報)
SEI Supplemental Enhancement Information(補足拡張情報)
VCL Video Coding Layer(ビデオ符号化層)
VSEI versatile supplemental enhancement Information(多用途補足拡張情報)(Rec. ITU-T H.274 | ISO/IEC 23002-7)
VUI Video Usability Information(ビデオユーザビリティ情報)
VVC versatile video coding(多用途ビデオ符号化)(Rec. ITU-T H.266 | ISO/IEC 23090-3)
【0064】
3.背景
3.1.ビデオ符号化規格
ビデオ符号化規格は、主によく知られたITU-T及びISO/IEC規格の開発を通じて進化してきた。ITU-TがH.261及びH.263を作成し、ISO/IECがMPEG-1及びMPEG-4 Visualを作成し、この2つの組織が共同でH.262/MPEG-2 Video及びH.264/MPEG-4 Advanced Video Coding(AVC)及びH.265/HEVC規格を作成した。H.262以来、ビデオ符号化規格は、時間予測プラス変換符号化が利用されるハイブリッドビデオ符号化構造に基づいている。HEVCを超える未来ビデオ符号化技術を探すために、Joint Video Exploration Team(ジョイント ビデオ エクスプロレーション チーム、JVET)が2015年にVCEGとMPEGによって共同で設立された。それ以来、多くの新しい方法がJVETによって採用され、Joint Exploration Model(ジョイント エクスプロレーション モデル、JEM)という名前のリファレンスソフトウェアに組み込まれた。その後、Versatile Video coding(VVC)プロジェクトが正式に開始されたときに、JVETはJoint Video Experts Team (JVET)に名前変更された。VVCは、HEVCと比較して50%ビットレート低減を目標とする新しい符号化規格であり、2020年7月1日に終了した第19回会議でJVETによって最終完了された。
【0065】
Versatile Video Coding(VVC)規格(ITU-T H.266 |ISO/IEC 23090-3)及び関連する符号化ビデオビットストリーム用のVersatile Supplemental Enhancement Information(多用途拡張情報、VSEI)規格(ITU-T H.274|ISO/IEC 23002-7)は、テレビ放送、ビデオ会議、又は記憶媒体からの再生などの従来の用途と、アダプティブビットレートストリーミング、ビデオ領域の抽出、多重コード化ビデオビットストリームからのコンテンツの合成と結合、マルチビュービデオ、スケーラブルなレイヤードコーディング、及びビューポートアダプティブ360度イマーシブメディアなどのより新しく高度な用途の両方を含む、最大限広範囲のアプリケーションで使用されるように設計されている。
【0066】
Essential Video Coding(EVC)規格(ISO/IEC 23094-1)は、MPEGによって最近開発された別のビデオ符号化規格である。
【0067】
VVC規格の修正案の最新草案は、JVET-W2005で入手できる。この修正には、範囲拡張プロファイルの仕様及びその他の側面が含まれる。
【0068】
3.2.VVC範囲拡張プロファイル
JVET-W2005でVVC範囲拡張プロファイルを指定するための草案テキストを以下に提供する。
【0069】
A3.5 フォーマット範囲拡張プロファイル
以下のプロファイルは、総称してフォーマット範囲拡張プロファイルと呼ばれ、この副条項で指定される。
【0070】
‐ Main 12、Main 12 4:4:4及びMain 16 4:4:4プロファイル
‐ Main 12 Intra、Main 12 4:4:4 Intra及びMain 16 4:4:4 Intraプロファイル
‐ Main 12 Still Picture、Main 12 4:4:4 Still Picture及びMain 16 4:4:4 Still Pictureプロファイル
【0071】
フォーマット範囲拡張プロファイルに適合するビットストリームは、次の制約に従うものとする。
‐ 参照されるSPSのptl_multilayer_enabled_flagは0に等しいものとする。
‐ Main 12 Still Picture、Main 12 4:4:4 Still Picture及びMain 16 4:4:4 Still Picture プロファイルに適合するビットストリームにおいて、ビットストリームには1つのピクチャのみが含まれるものとする。
‐ Main 12、Main 12 4:4:4、Main 16 4:4:4、Main 12 Intra、Main 12 4:4:4 Intra、又はMain 16 4:4:4 Intra プロファイルに適合するビットストリームにおいて、アクティブなSPSにおけるiのすべての値のgeneral_level_idcは、255(レベル15.5を示す)に等しくないものとする。
‐ 副条項A.4におけるMain 12、Main 12 4:4:4、Main 16 4:4:4、Main 12 Intra、Main 12 4:4:4 Intra又はMain 16 4:4:4 Intra プロファイルに指定された階層及びレベル制約は、該当する場合には満たされるものとする。
【0072】
【表1】
【0073】
ビットストリームがMain12プロファイルに適合することは、general_profile_idcが2に等しいことで示される。
【0074】
ビットストリームがMain 12 Intraプロファイルに適合することは、general_profile_idcが10に等しいことで示される。
【0075】
ビットストリームがMain 12 Still Pictureプロファイルに適合することは、general_profile_idcが66に等しいことで示される。
【0076】
ビットストリームが Main 12 4:4:4 プロファイルに適合することは、general_profile_idcが34に等しいことで示される。
【0077】
ビットストリームがMain 12 4:4:4 Intraプロファイルに適合することは、general_profile_idcが42に等しいことで示される。
【0078】
ビットストリームが Main 12 4:4:4 Still Pictureプロファイルに適合することは、general_profile_idc が98に等しいことで示される。
【0079】
ビットストリームがMain 16 4:4:4 プロファイルに適合することは、general_profile_idcが36に等しいことで示される。
【0080】
ビットストリームが Main 16 4:4:4 Intra プロファイルに適合することは、general_profile_idcが44に等しいことで示される。
【0081】
ビットストリームがMain 16 4:4:4 Still Picture プロファイルに適合することは、general_profile_idcが100に等しいことで示される。
【0082】
general_profile_idcが2、10、66、34、42、98、36、44、又は100に等しい表A.1のシンタックス要素の他のすべての組み合わせは、ITU-T | ISO/IECによって未来の使用のために保留されている。このような組み合わせは、この文書に適合するビットストリームには存在しないものとする。ただし、フォーマット範囲拡張プロファイルに適合するデコーダは、この副条項で以下に指定する他の組み合わせがビットストリーム内で現れることを許可するものとする。
【0083】
【表2】
【0084】
特定の階層(general_tier_flagの特定値で識別される)の特定のレベル(general_level_idcの特定の値で識別される)でフォーマット範囲拡張プロファイルに適合するデコーダは、次の条件がすべて適用されるすべてのビットストリームとサブレイヤ表現を復号できるものとする:
‐ 次の条件のいずれかが適用される:
‐ デコーダはMain 12 4:4:4 又はMain 16 4:4:4 プロファイルに適合し、ビットストリーム又はサブレイヤ表現はMain 10 プロファイル又はMain 10 Still Picture プロファイルに適合することが示される。
‐ デコーダはMain 12 4:4:4 Intra、Main 16 4:4:4 Intra、Main 12 Still Picture、Main 12 4:4:4 Still Picture、又はMain 16 4:4:4 Still Picture プロファイルに適合し、ビットストリーム又はサブレイヤ表現はMain 10 Still Picture プロファイルに適合することが示される。
‐ ビットストリームのgeneral_profile_idcは、2、10、66、34、42、98、36、44、又は100に等しく、表A.1にリストされている各制約フラグの値は、デコーダ適合性が評価されるフォーマット範囲拡張プロファイルについて表A.1の行に指定されている値以上である。
‐ ビットストリーム又はサブレイヤ表現は指定された階層以下の階層に適合することが示される。
‐ ビットストリーム又はサブレイヤ表現は、レベル15.5ではなく指定されたレベル以下のレベルに適合することが示される。
【0085】
4.問題点
VVC範囲拡張プロファイルの現在定義(これらのプロファイルのデコーダ能力の仕様を含む)には、少なくとも次の問題がある。
1)Main 12 Intra、Main 12 4:4:4 Intra、及びMain 16 4:4:4 Intra プロファイルの場合、インター予測の使用を許可しない制約が欠如している。
2)Main 12 プロファイルに適合するデコーダが、Main 10又はMain 10 Still Picture プロファイルに適合するビットストリームを復号できるという要件が欠落している。
3)Main 12 4:4:4又はMain 16 4:4:4プロファイルに適合するデコーダが、Main 10 4:4:4プロファイル又はMain 10 4:4:4 Still Pictureに適合するビットストリームを復号できるという要件が欠落している。
4)Main 12 Intra プロファイルに適合するデコーダが、Main 10 Still Picture プロファイルに適合するビットストリームを復号できるという要件が欠落している。
5)Main 12 4:4:4 Intra、Main 16 4:4:4 Intra、Main 12 4:4:4 Still Picture、又はMain 16 4:4:4 Still Picture プロファイルに適合するデコーダが、Main 10 4:4:4 Still Picture プロファイルに適合するビットストリームを復号できるという要件が欠落している。
6)次の段落は、範囲拡張プロファイルに適合するビットストリームを復号するためのデコーダ能力を指定するテキストの重要な部分である:
ビットストリームに対するgeneral_profile_idcは、2、10、66、34、42、98、36、44、又は100に等しく、表A.1にリストされている各制約フラグの値は、デコーダ適合性が評価されるフォーマット範囲拡張プロファイルについて表A.1の行に指定されている値以上である。
仕様を不正確にする複数の問題があり、デコーダ能力が正しく指定されていない:
a)表A.1の各シンタックス要素の値が大きいほど、能力が低いのではなく、能力が高いことを示す。
b)次の2つの側面が表A.1に欠けている:1)複数のピクチャを許可すること、
及び2)インターコーディングを許可すること。
7)Main 12 Still Picture、Main 12 4:4:4 Still Picture、又はMain 16 4:4:4 Still Picture プロファイルに適合するデコーダが特定のビットストリームの第1のピクチャを復号できるという要件が欠落している。
【0086】
5.詳細
上記課題を解決するために、以下に要約するような方法が開示される。本開示の実施形態は、一般的な概念を説明するための例として考慮されるべきであり、狭く解釈されるべきではない。さらに、これらの実施形態は、個別に適用することも、任意の方式で組み合わせて適用することもできる。
【0087】
1)問題1を解決するために、Main 12 Intra、Main 12 4:4:4 Intra、又はMain 16 4:4:4 Intra プロファイルに適合するビットストリームにおけるすべてのスライスがIスライスであるものとする。
a.代替形態として、Main 12 Intra、Main 12 4:4:4 Intra、又はMain 16 4:4:4 Intra プロファイルに適合するビットストリームにおいて、sh_slice_typeの値がすべてのスライスに対して2に等しいものとする。
b.代替形態として、Main 12 Intra、Main 12 4:4:4 Intra、又はMain 16 4:4:4 Intra プロファイルに適合するビットストリームにおいて、gci_intra_only_constraint_flagの値が1に等しいものとする。
【0088】
2)問題2を解決するために、次のことが指定される:特定の階層の特定のレベルでMain 12 プロファイルに適合するデコーダは、Main 10 プロファイル又はMain 10 Still Picture プロファイルに適合し、指定された階層以下の階層に適合し、レベル15.5ではなく指定されたレベル以下のレベルに適合することが示されたビットストリームを復号できるものとする。
【0089】
3)問題3を解決するために、次のことが指定される:特定の階層の特定のレベルでMain 12 4:4:4又はMain 16 4:4:4 プロファイルに適合するデコーダは、Main 10 4:4:4又はMain 10 4:4:4 Still Picture プロファイルに適合し、指定された階層以下の階層に適合し、レベル15.5ではなく指定されたレベル以下のレベルに適合することが示されたビットストリームを復号できるものとする。
【0090】
4)問題4を解決するために、次のことが指定される:特定の階層の特定のレベルでMain 12 Intra プロファイルに適合するデコーダは、Main 10 Still Picture プロファイルに適合し、指定された階層以下の階層に適合し、レベル15.5ではなく指定されたレベル以下のレベルに適合することが示されたビットストリームを復号できるものとする。
【0091】
5)問題点5を解決するために、次のことが指定される:特定の階層の特定のレベルでMain 12 4:4:4 Intra、Main 16 4:4:4 Intra、Main 12 4:4:4 Still Picture、又はMain 16 4:4:4 Still Picture プロファイルに適合するデコーダは、Main 10 4:4:4 Still Picture プロファイルに適合し、指定された階層以下の階層に適合し、レベル15.5ではなく指定されたレベル以下のレベルに適合することが示されたビットストリームを復号できるものとする。
【0092】
6)問題6を解決するために、副項目6.a.iから6.a.ixの1つ以上で以下を指定する:
特定の階層(general_tier_flagの特定の値で識別される)の特定のレベル(general_level_idcの特定の値で識別される)でフォーマット範囲拡張プロファイルに適合するデコーダは、次の条件がすべて適用されるすべてのビットストリームとサブレイヤ表現を復号できるものとする:
a.次の条件のいずれかが適用される:
i.デコーダは、Main 12 プロファイルに適合し、ビットストリームは、Main 10、Main 10 Still Picture、Main 12、Main 12 Intra、又はMain 12 Still Picture プロファイルに適合することが示される。
ii.デコーダは、Main 12 4:4:4 プロファイルに適合し、ビットストリームは、Main 10、Main 10 Still Picture、Main 10 4:4:4、Main 10 4:4:4 Still Picture、Main 12、Main 12 Intra、Main 12 Still Picture、Main 12 4:4:4、Main 12 4:4:4 Intra、又はMain 12 4:4:4 Still Picture プロファイルに適合することが示される。
iii.デコーダは、Main 16 4:4:4 プロファイルに適合し、ビットストリームは、Main 10、Main 10 Still Picture、Main 10 4:4:4、Main 10 4:4:4 Still Picture、又はフォーマット範囲拡張プロファイルのいずれかに適合することが示される。
iv.デコーダは Main 12 Intra プロファイルに適合し、ビットストリームは Main 10 Still Picture、Main 12 Intra、又はMain 12 Still Picture プロファイルに適合することが示される。
v.デコーダは、Main 12 4:4:4 Intra プロファイルに適合し、ビットストリームは、Main 10 Still Picture、Main 10 4:4:4 Still Picture、Main 12 Intra、Main 12 4:4:4 Intra、Main 12 Still Picture、又はMain 12 4:4:4 Still Picture プロファイルに適合することが示される。
vi.デコーダは、Main 16 4:4:4 Intra プロファイルに適合し、ビットストリームは、Main 10 Still Picture、Main 10 4:4:4 Still Picture、Main 12 Intra、Main 12 4:4:4 Intra、Main 16 4:4:4 Intra、Main 12 Still Picture、Main 12 4:4:4 Still Picture、又はMain 16 4:4:4 Still Pictureプロファイルに適合することが示される。
vii.デコーダは、Main 12 Still Picture プロファイルに適合し、ビットストリームは、Main 10 Still Picture又はMain 12 Still Picture プロファイルに適合することが示される。
viii.デコーダは、Main 12 4:4:4 Still Picture プロファイルに適合し、ビットストリームは、Main 10 Still Picture、Main 10 4:4:4 Still Picture、Main 12 Still Picture又は12 4:4:4 Still Picture プロファイルに適合することが示される。
ix.デコーダは、Main 16 4:4:4 Still Picture プロファイルに適合し、ビットストリームは、Main 10 Still Picture、Main 10 4:4:4 Still Picture、Main 12 Still Picture、Main 12 4:4:4 Still Picture、又はMain 16 4:4:4 Still Picture プロファイルに適合することが示される。
b.ビットストリームは、指定された階層以下の階層に適合することが示される。
c.ビットストリームは、レベル15.5ではなく指定されたレベル以下のレベルに適合することが示される。
【0093】
7)問題4を解決するために、次の項目の1つ以上が指定される:
a.特定の階層の特定のレベルでMain 12 Still Picture プロファイルに適合するデコーダは、次の条件が両方とも当てはまる場合、ビットストリームの最初の第1のピクチャを復号することもできるものとする:
i.そのビットストリームは、Main 10、Main 12、又はMain 12 Intra プロファイルに適合し、指定された階層以下の階層に適合し、レベル15.5ではなく指定されたレベル以下のレベルに適合することが示される。
ii.そのピクチャは、IRAP ピクチャであるか、又はph_recovery_poc_cnt が0に等しいGDR ピクチャであり、出力層にあり、ph_pic_output_flagが1に等しい。
b.特定の階層の特定のレベルでMain 12 4:4:4 Still Picture プロファイルに適合するデコーダは、次の条件が両方とも当てはまる場合、ビットストリームの第1のピクチャを復号することもできるものとする:
i.そのビットストリームは、Main 10、Main 10 4:4:4、Main 12、Main 12 Intra、Main 12 4:4:4、又はMain 12 4:4:4 Intra プロファイルに適合し、指定された階層以下の階層に適合し、レベル15.5ではなく指定されたレベル以下のレベルに適合することが示される。
ii.そのピクチャは、IRAPピクチャ、又はph_recovery_poc_cntが0に等しいGDRピクチャであり、出力層にあり、ph_pic_output_flagが1に等しい。
c.特定の階層の特定のレベルでMain 16 4:4:4 Still Picture プロファイルに適合するデコーダは、次の条件が両方とも当てはまる場合、ビットストリームの第1のピクチャを復号することもできるものとする:
i.そのビットストリームは、Main 10、Main 10 4:4:4、Main 12、Main 12 Intra、Main 12 4:4:4、Main 12 4:4:4 Intra、Main 16 4:4:4、又はMain 16 4:4:4 Intraプロファイルに適合し、指定された階層以下の階層に適合し、レベル15.5ではなく指定されたレベル以下のレベルに適合することが示される。
ii.そのピクチャは、IRAP ピクチャ又はph_recovery_poc_cntが0に等しいGDRピクチャであり、出力層にあり、ph_pic_output_flagが1に等しい。
【0094】
6.実施形態
以下は、セクション5で上記に要約した、副項目を含む、本開示の実施形態による態様のすべてについてのいくつかの例示的な実施形態である。
【0095】
6.1.実施形態1
本実施形態はVVCに適用できる。追加又は変更されたほとんどの関連部分は下線 で強調表示され、削除された部分の一部は二重かっこ<<>>で強調表示される。他にも編集上の性質のため、強調されていない変更がいくつかあり得る。
【0096】
A3.5 フォーマット範囲拡張プロファイル
以下のプロファイルは、総称してフォーマット範囲拡張プロファイルと呼ばれ、この副条項で指定される。
‐ Main 12、Main 12 4:4:4及びMain 16 4:4:4 プロファイル
‐ Main 12 Intra、Main 12 4:4:4 Intra及びMain 16 4:4:4 Intra プロファイル
‐ Main 12 Still Picture、Main 12 4:4:4 Still Picture及びMain 16 4:4:4 Still Pictureプロファイル
【0097】
フォーマット範囲拡張プロファイルに適合するビットストリームは、次の制約に従うものとする。
‐ 参照されるSPSのptl_multilayer_enabled_flagは0に等しいものとする。
‐ Main 12 Still Picture、Main 12 4:4:4 Still Picture、又はMain 16 4:4:4 Still Picture プロファイルに適合するビットストリームにおいて、ビットストリームには1つのピクチャのみが含まれるものとする。
Main 12 Intra、Main 12 4:4:4 Intra、又はMain 16 4:4:4 Intra プロファイルに適合するビットストリームにおいて、sh_slice_typeの値はすべてのスライスに対して2に等しいものとする。
‐ Main 12、Main 12 4:4:4、Main 16 4:4:4、Main 12 Intra、Main 12 4:4:4 Intra、又はMain 16 4:4:4 Intra プロファイルに適合するビットストリームにおいて、アクティブなSPSのiのすべての値のgeneral_level_idcは255(レベル15.5を示す)に等しくないものとする。
‐ 表A.1に指定されているシンタックス要素の許容値に従うものとする。
‐ 副条項A.4におけるMain 12、Main 12 4:4:4、Main 16 4:4:4、Main 12 Intra、Main 12 4:4:4 Intra又はMain 16 4:4:4 Intra プロファイルに指定された階層及びレベル制約は、該当する場合には満たされるものとする。
【0098】
【表3】
【0099】
ビットストリームがMain 12 プロファイルに適合することは、general_profile_idcが3に等しいことで示される。
【0100】
ビットストリームがMain 12 Intra プロファイルに適合することは、general_profile_idcが11に等しいことによって示されまる。
【0101】
ビットストリームがMain 12 Still Picture プロファイルに適合することは、general_profile_idcが67に等しいことで示される。
【0102】
ビットストリームがMain 12 4:4:4 プロファイルに適合することは、general_profile_idcが35に等しいことで示される。
【0103】
ビットストリームがMain 12 4:4:4 Intra プロファイルに適合することは、general_profile_idcが43に等しいことで示される。
【0104】
ビットストリームがMain 12 4:4:4 Still Picture プロファイルに適合することは、general_profile_idcが99に等しいことで示される。
【0105】
ビットストリームがMain 16 4:4:4 プロファイルに適合することは、general_profile_idcが37に等しいことで示される。
【0106】
ビットストリームがMain 16 4:4:4 Intra プロファイルに適合することは、general_profile_idcが45に等しいことで示される。
【0107】
ビットストリームがMain 16 4:4:4 Still Picture プロファイルに適合することは、general_profile_idcが101に等しいことで示される。
【0108】
特定の階層(general_tier_flagの特定の値で識別される)の特定のレベル(general_level_idcの特定の値で識別される)でフォーマット範囲拡張プロファイルに適合するデコーダは、次の条件がすべて適用されるすべてのビットストリームとサブレイヤ表現を復号できるものとする:
- 次の条件のいずれかが適用される:
<<- デコーダは、Main 12 4:4:4又はMain 16 4:4:4 プロファイルに適合し、ビットストリーム又はサブレイヤ表現は、Main 10 プロファイル又はMain 10 Still Picture プロファイルに適合することが示される。
- デコーダは、Main 12 4:4:4 Intra、Main 16 4:4:4 Intra、Main 12 Still Picture、Main 12 4:4:4 Still Picture、又はMain 16 4:4:4 Still Picture プロファイルに適合し、ビットストリーム又はサブレイヤ表現はMain 10 Still Picture プロファイルに適合することが示される。>>
- デコーダは、Main 12 プロファイルに適合し、ビットストリームは、Main 10、Main 10 Still Picture、Main 12、Main 12 Intra、又はMain 12 Still Picture プロファイルに適合することが示される。
- デコーダは、Main 12 4:4:4 プロファイルに適合し、ビットストリームは、Main 10、Main 10 Still Picture、Main 10 4:4:4、Main 10 4:4:4 Still Picture、Main 12、Main 12 Intra、Main 12 Still Picture、Main 12 4:4:4、Main 12 4:4:4 Intra、又はMain 12 4:4:4 Still Picture プロファイルに適合することが示される。
- デコーダは、Main 16 4:4:4 プロファイルに適合し、ビットストリームは、Main 10、Main 10 Still Picture、Main 10 4:4:4、Main 10 4:4:4 Still Picture、又はフォーマット範囲拡張プロファイルのいずれかに適合することが示される。
- デコーダは、Main 12 Intra プロファイルに適合し、ビットストリームは、Main 10 Still Picture、Main 12 Intra、又はMain 12 Still Picture プロファイルに適合することが示される。
- デコーダは、Main 12 4:4:4 Intra プロファイルに適合し、ビットストリームは、Main 10 Still Picture、Main 10 4:4:4 Still Picture、Main 12 Intra、Main 12 4:4:4 Intra、Main 12 Still Picture、又はMain 12 4:4:4 Still Pictureプロファイルに適合することが示される。
- デコーダは、Main 16 4:4:4 Intra プロファイルに適合し、ビットストリームは、Main 10 Still Picture、Main 10 4:4:4 Still Picture、Main 12 Intra、Main 12 4:4:4 Intra、Main 16 4:4:4 Intra、Main 12 Still Picture、Main 12 4:4:4 Still Picture、又はMain 16 4:4:4 Still Pictureプロファイに適合することが示される。
- デコーダは、Main 12 Still Picture プロファイルに適合し、ビットストリームは、Main 10 Still Picture又はMain 12 Still Picture プロファイルに適合することが示される。
- デコーダは、Main 12 4:4:4 Still Picture プロファイルに適合し、ビットストリームは、Main 10 Still Picture、Main 10 4:4:4 Still Picture、Main 12 Still Picture又はMain 12 4:4:4 Still Pictureプロファイルに適合することが示される。
- デコーダは、Main 16 4:4:4 Still Picture プロファイルに適合し、ビットストリームは、Main 10 Still Picture、Main 10 4:4:4 Still Picture、Main 12 Still Picture、Main 12 4:4:4 Still Picture、又はMain 16 4:4:4 Still Pictureプロファイルに適合することが示される。
- <<ビットストリームのgeneral_profile_idcは2、10、66、34、42、98、36、44、又は100に等しく、表A.1にリストされている各制約フラグの値は、デコーダ適合性が評価されるフォーマット範囲拡張プロファイルについて表A.1の行に指定されている値以上である。>>
- ビットストリームは、指定された階層以下の階層に適合することが示される。
- ビットストリームは、レベル15.5ではなく指定されたレベル以下のレベルに適合することが示される。
【0109】
特定の階層の特定のレベルでMain 12 Still Picture プロファイルに適合するデコーダは、次の条件が両方とも当てはまる場合、ビットストリームの第1のピクチャを復号することもできるものとする:
- そのビットストリームは、Main 10、Main 12、又はMain 12 Intra プロファイルに適合し、指定された階層以下の階層に適合し、レベル15.5ではなく指定されたレベル以下のレベルに適合することが示される。
そのピクチャは、IRAPピクチャであるか、又はph_recovery_poc_cntが0に等しいGDRピクチャであり、出力層にあり、ph_pic_output_flagが1に等しい。
【0110】
特定の階層の特定のレベルでMain 12 4:4:4 Still Picture プロファイルに適合するデコーダは、次の条件が両方とも当てはまる場合、ビットストリームの第1のピクチャを復号することもできるものとする:
- そのビットストリームは、Main 10、Main 10 4:4:4、Main 12、Main 12 Intra、Main 12 4:4:4、又はMain 12 4:4:4 Intra プロファイルに適合し、指定された階層以下の階層に適合し、レベル15.5ではなく指定されたレベル以下のレベルに適合することが示される。
- そのピクチャは、IRAPピクチャであるか、又はph_recovery_poc_cntが0に等しいGDRピクチャであり、出力層にあり、ph_pic_output_flagが1に等しい。
【0111】
特定の階層の特定のレベルでMain 16 4:4:4 Still Picture プロファイルに適合するデコーダは、次の条件が両方とも当てはまる場合、ビットストリームの第1のピクチャを復号することもできるものとする:
- そのビットストリームは、Main 10、Main 10 4:4:4、Main 12、Main 12 Intra、Main 12 4:4:4、Main 12 4:4:4 Intra、Main 16 4:4:4、又はMain 16 4:4:4 Intraプロファイルに適合し、指定された階層以下の階層に適合し、レベル15.5ではなく指定されたレベル以下のレベルに適合することが示される。
- そのピクチャは、IRAP ピクチャ又はph_recovery_poc_cntが0等しいGDRピクチャであり、出力層にあり、ph_pic_output_flagが1に等しい。
【0112】
本開示の実施形態は、VVC範囲拡張プロファイルのデコーダ能力を指定することに関する。これらの実施形態は、任意のコーデック、例えば、VVC規格によって符号化されたビデオビットストリームに対して、個別に又は様々な組み合わせで適用することができる。
【0113】
本明細書で使用されるように、用語「ブロック」は、スライス、タイル、ブリック、サブピクチャ、コーディングツリーユニット(CTU)、コーディングツリーブロック(CTB)、CTU行、CTB行、1つ又は複数のコーディング ユニット(CU)、1つ又は複数のコーディング ブロック(CB)、1つ又は複数のCTU、1つ又は複数のCTB、1つ又は複数の仮想パイプライン データ ユニット(VPDU)、ピクチャ/スライス/タイル/ブリック内のサブ領域、推論ブロックなどを表し得る。いくつかの実施形態では、ブロックは、ビデオ内の1つ又は複数のサンプル、又は1つまたは複数のピクセルを含み得る。
【0114】
上で論じたように、現在指定されているフォーマット範囲拡張プロファイルに適合するビデオのビットストリームは、かなりの数の制約に従うものとする。ただし、VVC範囲拡張プロファイルに対する現在定義(これらのプロファイルのデコーダ能力の仕様を含む)には、いくつかの問題がある。例えば、Main 12 Intra、Main 12 4:4:4 Intra、及びMain 16 4:4:4 Intra プロファイルの場合、インター予測の使用を許可しない制約が欠如している。一部のプロファイルに適合するデコーダが、他のプロファイルに適合するビットストリームを復号できるという要件も規定されていない。さらに、一部のデコーダ能力が正しく指定されていない。
【0115】
これらの問題及び他の潜在的な問題の少なくとも一部を解決するために、本開示の実施形態は、以下で図4を参照して説明するように、VVC範囲拡張プロファイルの方案を提案する。これらの実施形態は、一般的な概念を説明するための例であり、狭く解釈されるべきではないことを理解すべきである。また、これらの実施形態は、個別に適用されることも、任意の方式で組み合わせて適用されることもできることも理解すべきである。
【0116】
図4は、本開示のいくつかの実施形態によるビデオ処理方法400のフローチャートを示す。図4に示すように、402において、ビデオのターゲットビデオブロックとビデオのビットストリームとの間の変換がイントラプロファイルに従って実行される。イントラプロファイルは、変換においてインター予測の使用を許可しない制約を指定する。例えば、この制約は、Main 12 Intra、Main 12 4:4:4 Intra、Main 16 4:4:4 Intra プロファイルなどに適合するビットストリームのインター予測の使用を許可しない。このようにして、VVC範囲拡張プロファイルのより多くのデコーダ能力が指定される。
【0117】
具体的には、本開示のいくつかの実施形態は、Main 12 Intra、Main 12 4:4:4 Intra、又はMain 16 4:4:4 Intraプロファイルに適合するビットストリームにおけるすべてのスライスがIスライスであることを提案する。一実施形態では、イントラプロファイルは、Main 12 Intraプロファイル、Main 12 4:4:4 Intraプロファイル、又はMain 16 4:4:4 Intraプロファイルを含み得る。さらに、イントラプロファイルのビットストリームにおけるビデオのスライスは、Iスライスであり得る。
【0118】
いくつかの実施形態では、イントラプロファイルのビットストリームにおいて、ビットストリームにおけるビデオのスライスの符号化タイプは、Iスライスのタイプを示し得る。この場合、イントラプロファイルのビットストリームにおいて、符号化タイプに対応するスライスヘッダセマンティクスの値は2に等しくてもよい。たとえば、Main 12 Intra、Main 12 4:4:4 Intra、又はMain 16 4:4:4 Intra プロファイルに適合するビットストリームにおいて、sh_slice_typeの値がすべてのスライスに対して2に等しいことが要求され得る。
【0119】
代替形態として、又はそれに加えて、いくつかの実施形態では、イントラプロファイルのビットストリームにおいて、制約フラグは、ビットストリームにおけるビデオのスライスがIスライスであることを指定するように設定され得る。この場合、制約フラグは、ビットストリームにおけるビデオのスライスの符号化タイプがIスライスのタイプであることを指定するように設定され得る。いくつかの他の実施形態では、イントラプロファイルのビットストリームにおいて、制約フラグに対応する一般制約情報セマンティックの値は1に等しくてもよい。例えば、Main 12 Intra、Main 12 4:4:4 Intra、又はMain 16 4:4:4 Intra プロファイルに適合するビットストリームにおいて、gci_intra_only_constraint_flagの値は1に等しいものとする。
【0120】
Main 12 Intra、Main 12 4:4:4 Intra及びMain 16 4:4:4 Intra プロファイルに関する上記の例は、限定を示唆するものではなく、単なる例として説明されていることを理解すべきである。他の適切なプロファイルも適用可能であることを理解できるであろう。
【0121】
いくつかの実施形態では、変換は、ターゲットビデオブロックをビットストリームに符号化することを含み得る。代替形態として、変換は、ビットストリームからターゲットビデオブロックを復号することを含み得る。言い換えれば、方法400は、ビットストリームのエンコーダとデコーダの両方で実行することができる。
【0122】
本発明のさらなる実施形態によれば、ビデオのビットストリームは、非一時的なコンピュータ可読記憶媒体に格納され得る。前記ビットストリームは、イントラプロファイルに従ってビデオ処理装置によって実行される方法によって生成される。前記イントラプロファイルは、ビデオのターゲットビデオブロックとビットストリームとの間の変換においてインター予測の使用を許可しない制約を指定する。
【0123】
いくつかの実施形態では、ビデオのビットストリームを格納する方法が提案される。前記ビットストリームは、前記イントラプロファイルは、前記ビデオのターゲットビデオブロックと前記ビットストリームとの間の変換においてインター予測の使用を許可しない、制約を指定するイントラプロファイルに従って生成される。次に、前記ビットストリームは、非一時的なコンピュータ可読記憶媒体に格納される。
【0124】
本開示の実施は、以下の条項を考慮して説明することができ、その特徴は任意の合理的な方式で組み合わせることができる。
【0125】
条項1.ビデオ処理方法であって、イントラプロファイルに従って、ビデオのターゲットビデオブロックと前記ビデオのビットストリームとの間の変換を実行するステップであって、前記イントラプロファイルは、前記変換におけるインター予測の使用を許可しない制約を指定するステップを含む方法。
【0126】
条項2.前記イントラプロファイルは、Main 12 Intraプロファイル、Main 12 4:4:4 Intraプロファイル、又はMain 16 4:4:4 Intraプロファイルを含む、条項1に記載の方法。
【0127】
条項3.前記イントラプロファイルのビットストリームにおけるスライスは、Iスライスである、条項1又は2に記載の方法。
【0128】
条項4.前記イントラプロファイルのビットストリームにおいて、前記ビットストリームにおけるビデオのスライスの符号化タイプがIスライスのタイプを示す、条項1から3のいずれか一項に記載の方法。
【0129】
条項5.前記イントラプロファイルのビットストリームにおいて、前記符号化タイプに対応するスライスヘッダセマンティクスの値が2に等しい、条項4に記載の方法。
【0130】
条項6.前記イントラプロファイルのビットストリームにおいて、制約フラグは、前記ビットストリームにおけるビデオのスライスがIスライスであることを指定するように設定される、条項1から5のいずれか一項に記載の方法。
【0131】
条項7.前記制約フラグは、前記ビットストリームにおけるビデオのスライスの符号化タイプがIスライスのタイプであることを指定するように設定される、条項6に記載の方法。
【0132】
条項8.前記イントラプロファイルのビットストリームにおいて、前記制約フラグに対応する一般制約情報セマンティックの値が1に等しい、条項6又は7に記載の方法。
【0133】
条項9.前記変換は、前記ターゲットビデオブロックを前記ビットストリームに符号化することを含む、条項1から8のいずれか一項に記載の方法。
【0134】
条項10.前記変換は、前記ビットストリームから前記ターゲットビデオブロックを復号することを含む、条項1から8のいずれか一項に記載の方法。
【0135】
条項11.プロセッサと命令を備えた非一時的メモリとを備えるビデオデータを処理する装置であって、前記命令は前記プロセッサによって実行されると、前記プロセッサに条項1から10のいずれか一項に記載の方法を実行させる装置。
【0136】
条項12.プロセッサに条項1から10のいずれか一項に記載の方法を実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体。
【0137】
条項13.ビデオ処理装置によって実行される方法によって生成されたビデオのビットストリームを格納する非一時的なコンピュータ可読記憶媒体であって、前記方法は、イントラプロファイルに従って前記ビットストリームを生成し、前記イントラプロファイルは、前記ビデオのターゲットビデオブロックと前記ビットストリームとの間の変換においてインター予測の使用を許可しない制約を指定することを含む、非一時的なコンピュータ可読記憶媒体。
【0138】
条項14.ビデオのビットストリームを格納する方法であって、イントラプロファイルに従って前記ビットストリームを生成するステップであって、前記イントラプロファイルは、前記ビデオのターゲットビデオブロックと前記ビットストリームとの間の変換においてインター予測の使用を許可しない制約を指定するステップと、前記ビットストリームを非一時的なコンピュータ可読記憶媒体に格納するステップとを含む方法。
【0139】
例示的なデバイス
図5は、本開示の様々な実施形態を実施できるコンピューティングデバイス500のブロック図を示す。コンピューティングデバイス500は、ソースデバイス110(或いは、ビデオエンコーダ114又は200)又は宛先デバイス120(或いはビデオデコーダ124又は300)として実施されるか、又はそれに含まれ得る。
【0140】
図5に示されるコンピューティングデバイス500は、単に説明を目的としたものであり、本開示の実施形態の機能及び範囲をいかなる形でも制限することを示唆するものではないことが理解されるだろう。
【0141】
図5に示すように、コンピューティングデバイス500は、汎用コンピューティングデバイス500を含む。コンピューティングデバイス500は、少なくとも1つ又は複数のプロセッサ又は処理ユニット510と、メモリ520と、記憶ユニット530と、1つ又は複数の通信ユニット540と、1つ又は複数の入力デバイス550と、1つ又は複数の出力デバイス560とを含み得る。
【0142】
いくつかの実施形態では、コンピューティングデバイス500は、コンピューティング能力を有する任意のユーザ端末又はサーバ端末として実施され得る。前記サーバ端末は、サービスプロバイダが提供するサーバや大規模コンピューティングデバイスなどであり得る。前記ユーザ端末は、例えば、携帯電話、ステーション、ユニット、デバイス、マルチメディアコンピュータ、マルチメディアタブレット、インターネットノード、コミュニケータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、パーソナルコミュニケーションシステム(PCS)デバイス、パーソナルナビゲーションデバイス、携帯情報端末(PDA)、オーディオ/ビデオプレーヤー、デジタルカメラ/ビデオカメラ、測位デバイス、テレビ受信機、ラジオ放送受信機、電子ブックデバイス、ゲームデバイス、又はそれらの任意の組み合わせ(これらのデバイスのアクセサリ及び周辺機器、又はそれらの任意の組み合わせを含む)を含む、任意のタイプの移動端末、固定端末、又は携帯端末であり得る。コンピューティングデバイス500は、ユーザに対する任意のタイプのインターフェース(「ウェアラブル」回路など)をサポートできることが考えられる。
【0143】
処理ユニット510は、物理又は仮想プロセッサであり得、メモリ520に格納されたプログラムに基づいて様々なプロセスを実施することができる。マルチプロセッサシステムでは、コンピューティングデバイス500の並列処理能力を向上させるために、複数の処理ユニットがコンピュータ実行可能命令を並列に実行する。処理ユニット510は、中央処理ユニット(CPU)、マイクロプロセッサ、コントローラ、又はマイクロコントローラと呼ばれ得る。
【0144】
コンピューティングデバイス500は、通常、さまざまなコンピュータ記憶媒体を含む。このような媒体は、揮発性及び不揮発性媒体、又は取り外し可能及び取り外し不可能な媒体を含むがこれらに限定されない、コンピューティングデバイス500によってアクセス可能な任意の媒体であり得る。メモリ520は、揮発性メモリ(例えば、レジスタ、キャッシュ、ランダムアクセスメモリ(RAM))、不揮発性メモリ(例えば、読み取り専用メモリ(ROM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(EEPROM)、フラッシュ メモリ)、又はそれらの任意の組み合わせであり得る。記憶ユニット530は、任意の取り外し可能又は取り外し不可能な媒体であり得、情報及び/又はデータを記憶するために使用でき、コンピューティングデバイス500でアクセスできる、メモリ、フラッシュメモリドライブ、磁気ディスク、又は別の他の媒体などの機械可読媒体を含み得る。
【0145】
コンピューティングデバイス500は、追加の取り外し可能/取り外し不可能、揮発性/不揮発性メモリ媒体をさらに含み得る。なお、図5には示していないが、着脱可能な不揮発性磁気ディスクの読み書きを行う磁気ディスクドライブや、着脱可能な不揮発性光ディスクの読み書きを行う光ディスクドライブを提供することが可能である。このような場合、各ドライブは、1つ又は複数のデータ媒体インターフェースを介してバス(図示せず)に接続され得る。
【0146】
通信ユニット540は、通信媒体を介してさらなるコンピューティングデバイスと通信する。さらに、コンピューティングデバイス500内のコンポーネントの機能は、通信接続を介して通信できる単一のコンピューティングクラスタ又は複数のコンピューティングマシンによって実施することができる。したがって、コンピューティングデバイス500は、1つ又は複数の他のサーバ、ネットワーク化されたパーソナルコンピュータ(PC)、又はさらなる一般的なネットワークノードとの論理接続を使用して、ネットワーク化された環境で動作することができる。
【0147】
入力デバイス550は、マウス、キーボード、トラッキングボール、音声入力デバイスなどの様々な入力デバイスのうちの1つ又は複数であり得る。出力デバイス560は、ディスプレイ、スピーカ、プリンタなどの様々な出力デバイスのうちの1つ又は複数であり得る。通信ユニット540によって、コンピューティングデバイス500は、記憶デバイス及び表示デバイスなどの1つ又は複数の外部デバイス(図示せず)とさらに通信することができ、1つ又は複数のデバイスにより、ユーザがコンピューティングデバイス500と対話可能にするか、又は、必要に応じて、任意のデバイス(ネットワークカード、モデムなど)により、コンピューティングデバイス500が1つ又は複数の他のコンピューティングデバイスと通信可能にする。このような通信は、入出力(I/O)インターフェース(図示せず)を介して実行できる。
【0148】
いくつかの実施形態では、単一のデバイスに統合される代わりに、コンピューティングデバイス500のいくつかの又はすべてのコンポーネントがクラウドコンピューティングアーキテクチャに配置され得る。クラウドコンピューティングアーキテクチャでは、コンポーネントは遠隔的に提供され、連携して本開示で説明される機能を実施し得る。いくつかの実施形態では、クラウドコンピューティングは、コンピューティング、ソフトウェア、データアクセス及びストレージサービスを提供し、これらのサービスを提供するシステム又はハードウェアの物理的な位置又は構成をエンドユーザが認識する必要はない。様々な実施形態において、クラウドコンピューティングは、適切なプロトコルを使用して広域ネットワーク(インターネットなど)を介してサービスを提供する。例えば、クラウドコンピューティングプロバイダーは、Webブラウザ又はその他のコンピューティングコンポーネントを通じてアクセスできる広域ネットワーク経由でアプリケーションを提供する。クラウドコンピューティングアーキテクチャのソフトウェア又はコンポーネント及び対応するデータは、遠隔地にあるサーバに保存され得る。クラウドコンピューティング環境におけるコンピューティングリソースは、リモートデータセンターの場所に併合又は分散され得る。クラウドコンピューティングインフラストラクチャは、ユーザにとって単一のアクセスポイントとして動作するが、共有データセンターを通じてサービスを提供し得る。したがって、クラウドコンピューティングアーキテクチャを使用して、本明細書で説明されるコンポーネント及び機能を遠隔地にあるサービスプロバイダから提供し得る。代替形態として、それらは従来のサーバから提供されるか、又はクライアントデバイスに直接又はその他の方法でインストールされ得る。
【0149】
コンピューティングデバイス500は、本開示の実施形態においてビデオ符号化/復号化を実施するために使用され得る。メモリ520は、1つ又は複数のプログラム命令を有する1つ又は複数のビデオ符号化モジュール525を含み得る。これらのモジュールは、本明細書で説明される様々な実施形態の機能を実行するように、処理ユニット510によってアクセス可能かつ実行可能である。
【0150】
ビデオ符号化を実行する例示的な実施形態では、入力デバイス550は、符号化されるビデオデータを入力570として受信し得る。ビデオデータは、例えば、ビデオ符号化モジュール525によって処理されて、符号化されたビットストリームを生成し得る。符号化されたビットストリームは、出力デバイス560を介して出力580として提供され得る。
【0151】
ビデオ復号を実行する例示的な実施形態では、入力デバイス550は、符号化されたビットストリームを入力570として受信し得る。符号化されたビットストリームは、例えば、ビデオ符号化モジュール525によって処理されて、復号されたビデオデータを生成し得る。復号されたビデオデータは、出力デバイス560を介して出力580として提供され得る。
【0152】
本開示は、その好ましい実施形態を参照して特に図示及び説明されたが、添付の特許請求の範囲によって定義される本出願の精神及び範囲から逸脱することなく、形態及び詳細における様々な変更を行うことができることが当業者には理解されるであろう。このような変形は、本出願の範囲に含まれるものとする。したがって、本出願の実施形態に関する前述の説明は限定することを意図したものではない。
図1
図2
図3
図4
図5
【手続補正書】
【提出日】2024-03-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオ処理方法であって、
イントラプロファイルに従って、ビデオのターゲットビデオブロックと前記ビデオのビットストリームとの間の変換を実行するステップであって、前記イントラプロファイルは、前記変換におけるインター予測の使用を許可しない制約を指定するステップを含む方法。
【請求項2】
前記イントラプロファイルは、Main 12 Intraプロファイル、Main 12 4:4:4 Intraプロファイル、又はMain 16 4:4:4 Intraプロファイルを含む、請求項1に記載の方法。
【請求項3】
前記イントラプロファイルのビットストリームにおけるスライスは、Iスライスである、請求項1記載の方法。
【請求項4】
前記イントラプロファイルのビットストリームにおいて、前記ビットストリームにおけるビデオのスライスの符号化タイプがIスライスのタイプを示す、請求項1記載の方法。
【請求項5】
前記イントラプロファイルのビットストリームにおいて、前記符号化タイプに対応するスライスヘッダセマンティクスの値が2に等しい、請求項4に記載の方法。
【請求項6】
前記イントラプロファイルのビットストリームにおいて、制約フラグは、前記ビットストリームにおけるビデオのスライスがIスライスであることを指定するように設定される、請求項1記載の方法。
【請求項7】
前記制約フラグは、前記ビットストリームにおけるビデオのスライスの符号化タイプがIスライスのタイプであることを指定するように設定される、請求項6に記載の方法。
【請求項8】
前記イントラプロファイルのビットストリームにおいて、前記制約フラグに対応する一般制約情報セマンティックの値が1に等しい、請求項6記載の方法。
【請求項9】
前記変換は、前記ターゲットビデオブロックを前記ビットストリームに符号化することを含む、請求項1記載の方法。
【請求項10】
前記変換は、前記ビットストリームから前記ターゲットビデオブロックを復号することを含む、請求項1記載の方法。
【請求項11】
プロセッサと命令を備えた非一時的メモリとを備えるビデオデータを処理する装置であって、
前記命令は前記プロセッサによって実行されると、前記プロセッサに請求項1から10のいずれか一項に記載の方法を実行させる装置。
【請求項12】
プロセッサに請求項1から10のいずれか一項に記載の方法を実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体。
【請求項13】
ビデオ処理装置によって実行される方法によって生成されたビデオのビットストリームを格納する非一時的なコンピュータ可読記録媒体であって、
前記方法は、
イントラプロファイルに従って前記ビットストリームを生成し、前記イントラプロファイルは、前記ビデオのターゲットビデオブロックと前記ビットストリームとの間の変換においてインター予測の使用を許可しない制約を指定することを含む、非一時的なコンピュータ可読記録媒体。
【請求項14】
ビデオのビットストリームを格納する方法であって、
イントラプロファイルに従って前記ビットストリームを生成するステップであって、前記イントラプロファイルは、前記ビデオのターゲットビデオブロックと前記ビットストリームとの間の変換においてインター予測の使用を許可しない制約を指定するステップと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に格納するステップとを含む方法。
【国際調査報告】