(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-10
(54)【発明の名称】ビデオコーディングにおけるメタデータメッセージングの処理優先順位のシグナリング
(51)【国際特許分類】
H04N 19/70 20140101AFI20240703BHJP
H04N 19/85 20140101ALI20240703BHJP
【FI】
H04N19/70
H04N19/85
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2023577849
(86)(22)【出願日】2022-06-27
(85)【翻訳文提出日】2023-12-18
(86)【国際出願番号】 US2022035087
(87)【国際公開番号】W WO2023278302
(87)【国際公開日】2023-01-05
(32)【優先日】2021-06-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】イン,プオン
(72)【発明者】
【氏名】マッカーシー,ショーン トーマス
(72)【発明者】
【氏名】フサーク,ウォルター ジェイ.
(72)【発明者】
【氏名】コンスタンティニデス,コンスタンティノス
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159RC11
5C159RC12
5C159TA01
5C159TD11
5C159UA02
5C159UA05
(57)【要約】
MPEGビデオコーディングにおける補足拡張情報(SEI)メッセージングのようなメタデータ処理順位メッセージングを決定するための方法、システム及びビットストリームシンタックスが記載される。
【特許請求の範囲】
【請求項1】
複数のメタデータメッセージ間の優先処理を決定する方法であって、前記方法は、
入力ビデオビットストリームと、前記入力ビデオビットストリームの復号されたビデオピクチャに適用される補足処理を定義する対応する入力メタデータメッセージとを受信するステップと、
選択された入力メタデータメッセージの望ましい処理順位を定義するメタデータ処理順位メッセージング(POM)メッセージを識別するために、前記入力メタデータメッセージを解析するステップと、
前記POMメッセージを検出すると、
処理優先順位を有する選択された入力メタデータメッセージの合計数を決定する情報を抽出するステップと、
処理優先順位を有する前記選択された入力メタデータメッセージの識別及び優先度情報を抽出するステップと、
前記入力ビデオビットストリームの復号されたビデオピクチャに対して、前記選択された入力メタデータメッセージのうちの2つ以上を、それらの決定された処理優先順位で適用するステップと、
を含む方法。
【請求項2】
前記POMメッセージが、スライスヘッダ、ピクチャヘッダ、シーケンスパラメータセット、ピクチャパラメータセット、ネットワーク抽象化レイヤユニットヘッダ、及び補足拡張情報(SEI)メッセージ、のうちの少なくとも1つの部分である、請求項1に記載の方法。
【請求項3】
前記POMメッセージは、SEIマニフェストメッセージの部分である、請求項2に記載の方法。
【請求項4】
処理優先順位を有する前記選択された入力メタデータメッセージの識別及び優先度情報を抽出するステップは、
暗黙的な降順の処理優先順位又は暗黙的な昇順の処理優先順位を有する前記選択された入力メタデータメッセージの合計数のリストを読み取るステップを含む、請求項1に記載の方法。
【請求項5】
処理優先順位を有する前記選択された入力メタデータメッセージの識別及び優先度情報を抽出するステップは、
処理優先順位を有する前記選択された入力メタデータメッセージの合計数の各々について、メッセージング識別情報及び対応する処理優先順位情報を抽出するステップを含む、請求項1に記載の方法。
【請求項6】
前記メッセージング識別情報は、SEIメッセージングにおけるpayloadType情報を含む、請求項5に記載の方法。
【請求項7】
入力ビットストリームであって、
符号化されたビデオピクチャと、
前記入力ビットストリームの復号されたビデオピクチャに適用される補足処理を定義する入力メタデータメッセージと、
選択された入力メタデータメッセージの望ましい処理順位を定義するメタデータ処理順位メッセージング(POM)メッセージと、
を含み、
前記POMメッセージは、
処理優先順位を有する前記選択された入力メタデータメッセージの合計数を決定する情報と、
処理優先順位を有する前記選択された入力メタデータメッセージの識別情報及び優先度情報と、
を含む、入力ビットストリーム。
【請求項8】
前記POMメッセージは、SEIマニフェストメッセージ、又はSEIメタデータ処理順位メッセージ、の部分である、請求項7に記載の入力ビットストリーム。
【請求項9】
前記識別情報は、SEIメッセージングにおけるpayloadType情報を含む、請求項8に記載の入力ビットストリーム。
【請求項10】
選択された入力メタデータメッセージの前記優先度情報は、絶対処理優先順位として表される、請求項7に記載の入力ビットストリーム。
【請求項11】
第1の選択された入力メタデータメッセージの前記優先度情報は、第2の選択された入力メタデータメッセージの優先度情報に関連して表される、請求項7に記載の入力ビットストリーム。
【請求項12】
複数のメタデータメッセージ間の優先処理を指定する方法であって、前記方法は、
ビデオビットストリームと、前記ビデオビットストリームの復号されたビデオピクチャに適用される補足処理を定義する対応するメタデータメッセージとを生成するステップと、
選択されたメタデータメッセージの望ましい処理順位を定義するメタデータ処理順位(POM)メッセージを生成するステップであって、前記POMメッセージは、
処理優先順位を有する選択された入力メタデータメッセージの合計数を決定する情報と、
前記処理優先順位を有する前記選択された入力メタデータメッセージの識別及び優先度情報と、
を含む、ステップと、
前記ビデオビットストリームと前記メタデータメッセージと前記メタデータメッセージの処理順位とを含む出力ストリームを生成するステップと、
を含む方法。
【請求項13】
1つ以上のプロセッサにより請求項1~6、又は12のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を格納している非一時的コンピュータ可読記憶媒体。
【請求項14】
プロセッサを含み、請求項1~6、又は12に記載の方法のうちのいずれか1つを実行するよう構成される機器。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願]
本願は、参照によりここに組み込まれる米国仮特許出願番号第63/216,318号、2021年6月29日出願、の優先権の利益を請求する。
【0002】
[技術分野]
本願明細書は、概して画像及びビデオに関連する。より詳細には、本発明の実施形態は、画像及びビデオシーケンスにおけるメタデータメッセージング(例えば、補足拡張情報(supplemental enhancement information (SEI))メッセージング)の処理優先順位のシグナリングに関する。
【背景技術】
【0003】
AVC及びHEVC標準のAnnex D、又はH.274(VSEIとも呼ばれる)(参考文献[1-4])に記述されているように、コーディングされたビデオビットストリーム内の補足拡張情報(SEI)メッセージは、ビデオ処理パイプライン内の復号、表示、又はその他の目的に関連する処理を支援する。その広範な使用にもかかわらず、少なくとも現在まで、準拠デコーダ(例えば、AVC、HEVC、又はVVCデコーダ)は、MPEGビデオコーディング規格(AVC、HEVC、VVCなど)のいずれかに準拠するためにSEIメッセージングを処理する必要がなかった。
【0004】
典型的なビデオビットストリームでは、複数のSEIメッセージが共存することがある。しかし、既存のビデオコーディング規格は、そのようなメッセージングの処理順序を定義していない。一部のSEIメッセージでは、シンタックス要素に埋め込まれた情報以外に、規格で定義されている特定の処理はない。このようなメッセージの例には、マスタリング表示カラーボリューム又はコンテンツライトレベル情報を定義するSEIメッセージングが含まれる。シンタックス要素に加えて、フィルムグレイン特性(film grain characteristics (FGC))又はカラー再マッピング情報を記述するものなど、他の幾つかのSEIメッセージについては、追加の後処理も定義できる。後者については、最終的なビデオ出力は、これらのSEIメッセージの処理順序によって異なる場合がある。発明者によって認識されているように、SEIメッセージングの優先順位をシグナリングするための改良された技術がここに記載される。
【0005】
用語「メタデータ」は、本願明細書では、コーディングされたビットストリームの部分として送信される任意の補足情報に関連し、復号画像をレンダリングするためにデコーダを支援する。このようなメタデータは、限定ではないが、本願明細書に記載されるような、色空間又は全色域(gamut)情報、参照ディスプレイパラメータ、及びフィルムグレインモデル化パラメータ、を含んでよい。本明細書に提示される例は、MPEGベースのビデオコーディング規格に関連するSEIメッセージングを参照する場合があるが、当業者は、本明細書で議論される技術が、そのような任意のメタデータメッセージング及び任意のオーディオ又はビデオコーディングフォーマット(例えば、AV1等)に適用可能であることを理解するであろう。
【0006】
本章に記載されるアプローチは、追求される可能性のあるアプローチであるが、必ずしも以前に考案された又は追求されアプローチであるとは限らない。従って、特に断りの無い限り、本章に記載されるアプローチのいずれも、それらが本章に含まれるというだけで従来技術と認められるものと考えられるべきではない。同様に、1つ以上のアプローチに関して特定される課題は、特に示されない限り、本章に基づき任意の従来技術の中で認識されたものと想定されるべきではない。
【図面の簡単な説明】
【0007】
本発明の実施形態は、限定ではなく、例を用いて説明され、添付の図中の同様の参照符号は同様の要素を表す。
【0008】
【
図1A】メタデータが複数のSEIメッセージを含み、それらの後処理順序がビデオ出力に影響を及ぼす可能性がある場合のビデオ処理パイプラインの例を示す。
【
図1B】メタデータが複数のSEIメッセージを含み、それらの後処理順序がビデオ出力に影響を及ぼす可能性がある場合のビデオ処理パイプラインの例を示す。
【0009】
【
図2】本発明の実施形態によるSEIメッセージングの優先順位(Priority Order of Messaging (POM))メッセージが利用可能な場合のデコーダにおける例示的な処理パイプラインを示す。
【発明を実施するための形態】
【0010】
メタデータの優先処理に関連する例示的な実施形態をここに記載する。以下の詳細な説明では、説明を目的として、本発明の種々の実施形態の完全な理解を提供するために、多数の特定の詳細が説明される。しかしながら、本発明の種々の実施形態がこれらの特定の詳細のうちの一部を有しないで実行されてよいことが明らかである。他の例では、よく知られた構造及び装置は、本発明の実施形態を不必要に抑止し(occluding)、曖昧にし、又は不明瞭にすることを避けるために、徹底的に詳細に記載されない。
【0011】
<要約>
本明細書に記載される例示的な実施形態は、ビデオコーディングにおけるメタデータ(SEIメッセージングのような)の処理の優先順位のシグナリングに関する。実施形態では、プロセッサは、
入力ビデオビットストリームと、前記入力ビデオビットストリームの復号されたビデオピクチャに適用される補足処理を定義する対応する入力メタデータメッセージとを受信し、
選択された入力メタデータメッセージの望ましい処理順位を定義するメタデータ処理順位メッセージング(POM)メッセージを識別するために、前記入力メタデータメッセージを解析し、
前記POMメッセージを検出すると、
処理優先順位を有する選択された入力メタデータメッセージの合計数を決定する情報を抽出し、
処理優先順位を有する前記選択された入力メタデータメッセージの識別及び優先度情報を抽出し、
前記入力ビデオビットストリームの復号されたビデオピクチャに対して、前記選択された入力メタデータメッセージのうちの2つ以上を、それらの決定された処理優先順位で適用する。
【0012】
別の実施形態では、プロセッサは、
ビデオビットストリームと、前記ビデオビットストリームの復号されたビデオピクチャに適用される補足処理を定義する対応するメタデータメッセージとを生成し、
選択されたメタデータメッセージの望ましい処理順位を定義するメタデータ処理順位(POM)メッセージを生成し、前記POMメッセージは、
処理優先順位を有する選択された入力メタデータメッセージの合計数を決定する情報と、
前記処理優先順位を有する前記選択された入力メタデータメッセージの識別及び優先度情報と、
を含み、
前記ビデオビットストリームと前記メタデータメッセージと前記メタデータメッセージの処理順位とを含む出力ストリームを生成する。
【0013】
別の実施形態では、有形コンピュータ媒体はビットストリームを含み、前記ビットストリームは、
符号化されたビデオピクチャと、
前記入力ビットストリームの復号されたビデオピクチャに適用される補足処理を定義する入力メタデータメッセージと、
選択された入力メタデータメッセージの望ましい処理順位を定義するメタデータ処理順位メッセージング(POM)メッセージと、
を含み、
前記POMメッセージは、
処理優先順位を有する前記選択された入力メタデータメッセージの合計数を決定する情報と、
処理優先順位を有する前記選択された入力メタデータメッセージの識別及び優先度情報と、
を含む。
【0014】
<SEIメッセージングフロー処理の例>
AVC、HEVC及びVVC(参考文献[1-4])(総称してMPEG又はMPEGビデオ規格と呼ばれる)のような既存のビデオコーディング規格に関して、
図1A及び
図1Bは、SEIメッセージングがフィルムグレイン特性(film grain characteristics (FGC))及び色再マッピング情報(color remapping information (CRI))又は色変換情報(color transform information (CTI))の両方に関連するメッセージングを含む場合の例示的な処理パイプラインを示す。
【0015】
図1A及び
図1Bに示されるように、入力ビデオ102が与えられると、エンコーダは2組のSEIメッセージa)(例えば、ブロック110によって生成されるように)望ましい表示パラメータに関連するCTI/CRI SEIメタデータ(112)、及びb)符号化効率を向上するためにエンコーダによって(例えば、ブロック105によって)除去されフィルムグレインモデル化ブロック(115)によってモデル化されたフィルムグレインをエミュレートするための、デコーダに追加されるフィルムグレイン特性(117)、を生成することができる。従って、ビデオエンコーダ(120)は、フィルムグレイン除去器(107)の出力を圧縮して、圧縮ビットストリーム122を生成する。圧縮ビットストリーム122及びメタデータ(112及び117)は、デコーダに送信される。
【0016】
図1Aに示すように、復号(125)の後、復号された出力(127)は、FGCメタデータ(117)に埋め込まれた情報を使用してフィルムグレインノイズを生成及び追加するフィルムグレイン挿入ユニット130に渡される。次に、フィルムグレイン挿入ユニット(130)の出力は、CRI/CTIメタデータ(112)に埋め込まれた情報を使用して、入力ストリームのダイナミックレンジ及び色域をターゲットディスプレイに最適にマッピングするディスプレイマッピングユニット(135)に渡される。出力は信号137である。
【0017】
図1Bに示すように、復号(125)の後、
図1Aと比較して、2組のメタデータの処理順位が逆になる。ここで、復号された出力(127)は、CRI/CTIメタデータ(112)に埋め込まれた情報を使用して、復号ストリームのダイナミックレンジ及び色域をターゲットディスプレイにマッピングするディスプレイマッピングユニット(135)に最初に渡される。次に、ディスプレイマッピングユニットの出力は、フィルムグレイン挿入ユニット130に渡され、FGCメタデータ(117)に埋め込まれた情報を使用してフィルムグレインノイズを生成及び付加し、出力ビデオ132を生成する。
【0018】
ディスプレイマッピング及びフィルムグレイン付加の順位が異なるため、ビデオ出力132及び137は、特に、ターゲットディスプレイが意図されたディスプレイと著しく異なる場合には、異なるものとなることが予想されるので、デコーダ出力がコンテンツ作成者の創造的意図に可能な限り近くなるように、メタデータの適切な処理順位をビットストリーム内で指定することが重要であると考えられる。
【0019】
<SEIメッセージングにおける優先順位をシグナリングする例>
ここで提示される例示的な実施形態は、AVC、HEVC及びVVCのようなビデオコーディング規格において複数のSEIメッセージが共存する場合に、複数のメタデータセット間の処理順位を指定することに関する。特に、高レベルシンタックス(high level syntax (HLS))は、このような順位を指定するために提案される。このような高レベルシンタックスは、コーディングされたビットストリームの様々なレベルで挿入することができ、例えば、限定ではなく、ビデオパラメータセット(VPS)、ピクチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)、補助パラメータセット(APS)、ピクチャヘッダ(PH)で、個別のSEIメッセージングなどとして、挿入することができる。
【0020】
実施形態では、このような高レベルシンタックスは、以下の情報を含むものとする:1)コーディングされたビデオストリーム(coded video stream (CVS))に存在し得るSEIメッセージ、2)処理順位が特定のSEIメッセージに関連するかどうか、3)関連する場合、特定のSEIメッセージの処理順位は何か。
【0021】
SEIメッセージの処理(又は優先度)順位は、次のような様々な方法で指定できる。1)絶対順位:例えば、一実施形態では、小さな処理/優先順位のメッセージほど、より大きな優先順位のメッセージよりも早く処理される必要がある。2)相対順位:一実施形態では、処理順位は、別のSEIメッセージの処理順位への依存関係として指定できる。コーディング規格が、復号処理で特定のメタデータの処理を必須と定義する場合、そのようなSEIメッセージの処理順位は常に指定される必要がある。特定のSEIメッセージの準拠点が定義されている場合は、そのようなSEIメッセージの処理順位も指定される必要がある。
【0022】
SEIメッセージ間の処理順位を指定する例を示する。この例では、提案される新しいSEIメッセージである「SEIメッセージング処理順位(SEI messaging processing order)」SEIメッセージで、処理順位が重要なCVSの一部であるSEIメッセージと、その処理優先順位を指定できる。対象となるSEIメッセージは、それらのユニークなペイロードタイプを通じて識別される(参考文献[1-4]を参照)。
[表1]SEI処理順位SEIメッセージ
【表1】
po_num_sei_msg_typesは、SEI処理順位SEIメッセージに情報を提供するSEIメッセージの種類の数を指定する。
po_sei_payload_type[i]は、SEI処理順位SEIメッセージで情報が提供されるi番目の種類のSEIメッセージのペイロードタイプ(payloadType)値を示す。mがnと等しくない場合、po_sei_payload_type[m]とpo_sei_payload_type[n]の値は同一ではない。
po_sei_order[i]は、po_sei_payload_type[i]と等しいpayloadTypeを有するSEIメッセージの絶対順位を提供する。mがnと等しくない場合、po_sei_order[m]とpo_sei_order[n]の値は同一ではない。po_sei_order[m]の値がpo_sei_order[n]の値より小さい場合、po_sei_payload_type[m]を持つSEIメッセージは、po_sei_payload_type[n]を持つSEIメッセージより前に処理される。
【0023】
表1では、絶対po_sei_order[i]パラメータの代わりに、実施形態では、po_sei_rel_order[i][j]のように、SEIメッセージiの順位がSEIメッセージjの順位に対して相対的に定義される相対順位を記述することもできる。例えば、po_sei_rel_order[3][1]=2は、SEIメッセージ「3」の優先順位がSEIメッセージ「1」+(あるいは、代替として「-」)2の優先順位であることを定義できる。このようなシナリオでは、処理優先順位を持つすべてのSEIメッセージがデフォルト値(例えば、1)で開始され、それに応じて調整されると想定できる。
【0024】
実施形態では、表1はpo_sei_order[i]パラメータを削除することで簡略化することもできる。このようなシナリオでは、エンコーダは、暗黙的かつ事前に決定された優先度(例えば、最低から最高又は最高から最低)でpo_sei_payload_type[i]値を既にリストしている。このようなアプローチでは、そのような要件(例えば、SEIメッセージ「2」と「4」は同じ優先順位を持つことができるが、順番にリストされる)がない場合でも優先度が強制されるため、SEIメッセージング関連タスクの可能な並列化が制限される。暗黙的な順位は、存在するすべてのSEIメッセージがリストされる新しいCVSの開始時に行われる。
【0025】
HEVC及びVVCのSEIマニフェスト(manifest)SEIメッセージは、ビットストリームに存在する又は存在しないと予想される(すなわち、可能性が高い)SEIメッセージに関する情報を伝達する。ただし、これらのSEIメッセージ間の優先順位は示されない。表2に、SEIマニフェストSEIを拡張し、優先順位情報を含める別の例を示す。既存のSEIマニフェストメッセージに対する追加のシンタックスを斜体で示す。
[表2]SEIマニフェストSEIメッセージの拡張の例1
【表2】
manifest_sei_po_flag[i]が1に等しいことは、manifest_sei_payload_type[i]と等しいpayloadTypeを持つSEIメッセージが処理順位情報を要求することを指定する。manifest_sei_po_flag[i]が0に等しいことは、manifest_sei_payload_type[i]と等しいpayloadTypeを持つSEIメッセージが処理順位情報を要求しないことを指定する。
manifest_sei_order[i]は、manifest_sei_payload_type[i]と等しいpayloadTypeを持つSEIメッセージの絶対順位を提供する。mがnと等しくない場合、manifest_sei_order[m]とmanifest_sei_order[n]の値は同一ではない。manifest_sei_order[m]の値がmanifest_sei_order[n]の値より小さい場合、manifest_sei_payload_type[m]を持つSEIメッセージは、manifest_sei_payload_type[n]を持つSEIメッセージより前に処理される。
注:前述のように、処理順位が暗黙的に定義されている場合(例えば、順番にSEIメッセージがmanifest_sei_po_flag[i]の中でリストされている)、シンタックス要素manifest_sei_order[i]は不要であり、削除できる。
【0026】
表3は、SEIマニフェストメッセージの古いバージョンを既にサポートしているレガシーデコーダとの下位互換性をサポートするSEIマニフェストSEIを拡張する別のアプローチを示している。
[表3]SEIマニフェストSEIメッセージの拡張の例2
【表3】
【0027】
HEVCから、more_data_in_payload()は次のように指定される。
-byte_aligned()がTRUEに等しく、sei_payload()シンタックス構造の現在位置がsei_payload()シンタックス構造の先頭から8*payloadSizeビットである場合、more_data_in_payload()の戻り値はFALSEに等しくなる。
-それ以外の場合、more_data_in_payload()の戻り値はTRUEになる。
【0028】
HEVCから、payload_extension_present()は次のように指定される。
-sei_payload()シンタックス構造の現在位置が、1に等しい最後の(最下位、最右)ビットの位置ではなく、シンタックス構造の先頭から8*payloadSizeビット未満である場合(つまり、payload_bit_equal_to_oneシンタックス要素の位置)、payload_extension_present()の戻り値はTRUEに等しくなる。
-それ以外の場合、payload_extension_present()の戻り値はFALSEに等しくなる。
【0029】
表3では、SEIマニフェストメッセージングを実装する既存のデコーダが、SEI処理順位シンタックスを無視することで、これまでと同様に実装を継続できる。一方、新しいシンタックスの採用後に実装されたデコーダは、更新されたシンタックスと関連する処理順位情報を利用できる。
【0030】
表1に関連して議論されているように、表2及び3のSEIメッセージの処理順位も黙示されているか又は他のSEIメッセージの処理順位に関連して定義できる。
【0031】
実施形態では、表1及びそのセマンティクスは、表4の説明に示されているように変更できる。この実施形態では、セマンティクスはシンタックス要素MaxNumPayloadTypesに依存して、可能なペイロードタイプの数がコーディング規格によって異なるという問題(例えば、このドラフトの時点で、AVCには77のSEIメッセージ、HEVCには67のSEIメッセージ、VVCには39のSEIメッセージがある)に対処し、更に、実際の数は規格の将来のバージョンで増加する可能性があり、存在する可能性があるよりも多くのペイロードタイプのシグナリングを抑制する。
【0032】
代替として(又は追加で)、各規格の実際の有効なpayloadTypeも特定のリスト(例えば、リストSeiAssociatedSeiList)で指定できる。例えば、VVC又はVSEI規格(参考文献[3-4])に次の段落を追加できる。
「SEIメッセージ処理順位SEIメッセージシンタックスの使用
SEIメッセージ処理順位SEIメッセージを解釈する目的で、リストSeiAssociatedSeiListはpayloadType値0、1、3、4、5、19、45、47、129、130、132、133、137、142、144、145、147から150、153から156、165、168、177、179、180、200から208、両端を含む、で構成されるように設定される。」
別の実施形態では、このリストは、SEI処理順位(SEI Processing order)SEIメッセージ又はその他のヘッダ情報の一部とすることができ、必要に応じてエンコーダによって変更される。
[表4]SEI処理順位SEIメッセージ
【表4】
po_num_sei_payload_typesは、シンタックス要素po_sei_payload_type[i]とpo_sei_processing_order[i]が存在するpayloadType値の最大値を指定する。po_num_sei_payload_typesの値は、payloadType値の最大値を定義するMaxNumPayloadTypes以下である必要がある。
注:シンタックス要素SeiAssociateSeiListが追加された場合、上記の定義は次のように置き換えることができる。
po_num_sei_payload_typesは、エンコーダにより(例えば、リストSeiAssociateSeiListを介して)指定されたように、シンタックス要素po_sei_payload_type[i]とpo_sei_processing_order[i]が存在するpayloadType値の最大値を指定する。
po_sei_payload_type[i]は、i番目のSEIメッセージのpayloadTypeの値を指定する。mがnと等しくない場合、po_sei_payload_type[m]の値はpo_sei_payload_type[n]の値と等しくないものとする。
注:シンタックス要素SeiAssociateSeiListが追加されている場合は、次を追加する。po_sei_payload_type[i]の値は、SeiAssociateSeiListの中のpayloadType値と等しいものとする。
po_sei_order[i]は、payloadTypeがpo_sei_payload_type[i]と等しいSEIメッセージを処理する望ましい順位を示す。mがnと等しくない場合、po_sei_order[m]の値はpo_sei_order[n]の値と等しくないものとする。po_sei_order[m]が0より大きく、po_sei_order[n]より小さい場合は、po_sei_payload_type[m]と等しいpayloadTypeを持つSEIメッセージがpo_sei_payload_type[n]と等しいpayloadTypeを持つSEIメッセージより前に処理される必要があることを示す。po_sei_order[i]が0に等しい場合は、po_sei_payload_type[i]と等しいpayloadTypeを持つSEIメッセージの望ましい処理順位が、この仕様で指定されていない外部手段によって決定されることを指定する。
【0033】
図2は、SEI処理順位メッセージング(processing order of messaging (POM))メッセージが利用可能な場合の、実施形態による例示的な処理パイプラインを示す。ステップ210から開始して、デコーダは、入来するSEIメッセージのSEIpayloadTypeを検索して、SEI POMメッセージが存在するかどうかを検出することができる。そのようなメッセージがない場合、SEIメッセージングの処理(215)は、それらの順位を考慮せずに続行される。SEI POMメッセージが存在する場合、ステップ220において、デコーダは、処理の優先順位が定義されている選択されたSEIメッセージの数を読み取る。次に、ステップ225において、デコーダは、そのようなメッセージごとに、そのアイデンティティ(例えばpayloadType)とその優先順位、典型的には、所定の順位付き重要度(例えば、小さい数又は大きい数が優先順位が高い)を有する整数値を読み取る。実施形態において、優先順位は、選択SEIメッセージがどのようにリストされるかの順位によって暗示されてもよい。最後に、ステップ230において、デコーダは、適切な優先順位でこれらの選択SEIメッセージを処理する。
参考文献
ここに列挙された参考文献の各々は、参照によりその全体がここに組み込まれる。
[1] AdvancedV Video Coding, Rec. ITU-T H.264, May 2019, ITU
[2] High Efficiency Video Coding, Rec. ITU-T H.265, November 2019, ITU
[3] Versatile Video Coding, Rec. ITU-T H.266, August 2020, ITU
[4] Versatile supplemental enhancement information messages for coded video bitstreams, Rec. ITU-T H.274, Aug. 2020, ITU
【0034】
<例示的なコンピュータシステムの実装>
本発明の実施形態は、コンピュータシステム、電子回路及びコンポーネント内に構成されるシステム、マイクロコントローラのような集積回路(IC)装置、FPGA(field programmable gate array)、又は別の構成可能な又はプログラム可能な論理装置(PLD)、個別時間又はデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)、及び/又はこのようなシステム、装置、又はコンポーネントのうちの1つ以上を含む機器により実装されてよい。コンピュータ及び/又はICは、本願明細書に記載したようなビデオコーディングにおけるメタデータ処理優先順位メッセージングをシグナリングすることに関連する命令を実行し、制御し、又は実行してよい。コンピュータ及び/又はICは、本願明細書に記載したようなのビデオコーディングにおけるメタデータ処理優先順位メッセージングをシグナリングすることに関連する種々のパラメータ又は値のうちのいずれかを計算してよい。画像及びビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、及びそれらの種々の組み合わせで実施されてよい。
【0035】
本発明の特定の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ、等の中の1つ以上のプロセッサは、プロセッサのアクセス可能なプログラムメモリ内のソフトウェア命令を実行することにより、上述のビデオコーディングにおけるメタデータ処理優先順位メッセージングをシグナリングすることに関連する方法を実施してよい。本発明の実施形態は、プログラムプロダクトの形式で提供されてもよい。プログラムプロダクトは、データプロセッサにより実行されるとデータプロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを運ぶ任意の非一時的有形媒体を含んでよい。本発明によるプログラムプロダクトは、種々の非一時的有形形式うちの任意のものであってよい。プログラムプロダクトは、例えば、フロッピーディスクを含む磁気データ記憶媒体、ハードディスクドライブ、CDROM、DVDを含む光学データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体、等のような物理媒体を含んでよい。プログラムプロダクト上のコンピュータ可読信号は、光学的に圧縮又は暗号化されてよい。コンポーネント(例えば、ソフトウェアモジュール、プロセッサ、部品、装置、回路、等)が以上で言及されたが、特に断りのない限り、それらのコンポーネントの言及(「手段」の言及を含む)は、それらのコンポーネントの均等物、記載したコンポーネントの機能を実行する(例えば、機能的に均等な)任意のコンポーネント、本発明の図示の例示的な実施形態における機能を実行する開示の構造と構造的に等しくないコンポーネントを含むと解釈されるべきである。
【0036】
<均等物、拡張機能、代替案、等(Equivalents, Extensions, Alternatives and Miscellaneous)>
ビデオコーディングにおけるメタデータメッセージングの処理優先順位をシグナリングすることに関連する例示的な実施形態が説明された。以上の明細書において、本発明の実施形態は、実装毎に変化し得る多数の特定の詳細を参照して説明された。従って、本発明が何であるかの単独及び排他的な指示、及び出願人が本発明であることを意図するものは、本願により、いかなる後の補正を含む、特定の形式で発行される請求の範囲に記載される。このような請求の範囲に含まれる用語について本願明細書に明示的に記載された任意の定義は、請求の範囲において使用されるこのような用語の意味を支配するべきである。従って、請求の範囲に明示的に記載されないいかなる限定、要素、特徴、利点、又は属性は、いかなる方法でも、請求の範囲の範囲を限定すべきではない。明細書及び図面は、従って、限定的意味では無く、説明であると考えられるべきである。
【手続補正書】
【提出日】2023-07-10
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数のメタデータメッセージ間の優先処理を決定する方法であって、前記方法は、
入力ビデオビットストリームと、前記入力ビデオビットストリームの復号されたビデオピクチャに適用される補足処理を定義する対応する入力メタデータメッセージとを受信するステップと、
選択された入力メタデータメッセージの望ましい処理順位を定義するメタデータ処理順位メッセージング(POM)メッセージを識別するために、前記入力メタデータメッセージを解析するステップと、
前記POMメッセージを検出すると、
処理優先順位を有する選択された入力メタデータメッセージの合計数を決定する情報を抽出するステップと、
前記望ましい処理順位を定義する前記選択された入力メタデータメッセージの
各々について、識別
情報及び
対応する優先度情報を抽出するステップ
であって、前記優先度情報は、小さい又は大きい数値ほど前記望ましい処理順位においてより早い処理を生じる整数値を含み、前記整数値は、前記選択された入力メタデータメッセージの中の絶対処理優先順位で又は前記選択された入力メタデータメッセージの中の第2の選択された入力メタデータメッセージに対する処理順位で、選択された入力メッセージの優先順位を表す、ステップと、
前記入力ビデオビットストリームの復号されたビデオピクチャに対して、前記選択された入力メタデータメッセージのうちの2つ以上を、それらの決定された処理優先順位で適用するステップと、
を含む方法。
【請求項2】
前記POMメッセージが、スライスヘッダ、ピクチャヘッダ、シーケンスパラメータセット、ピクチャパラメータセット、ネットワーク抽象化レイヤユニットヘッダ、及び補足拡張情報(SEI)メッセージ、のうちの少なくとも1つの部分である、請求項1に記載の方法。
【請求項3】
前記POMメッセージは、SEIマニフェストメッセージの部分である、請求項2に記載の方法。
【請求項4】
処理優先順位を有する前記選択された入力メタデータメッセージの識別
情報及び優先度情報を抽出するステップは、
暗黙的な降順の処理優先順位又は暗黙的な昇順の処理優先順位を有する前記選択された入力メタデータメッセージの合計数のリストを読み取るステップを含む、請求項1に記載の方法。
【請求項5】
前記
識別情報は、SEIメッセージングにおけるpayloadType情報を含む、請求項
1に記載の方法。
【請求項6】
入力ビットストリームであって、
符号化されたビデオピクチャと、
前記入力ビットストリームの復号されたビデオピクチャに適用される補足処理を定義する入力メタデータメッセージと、
選択された入力メタデータメッセージの望ましい処理順位を定義するメタデータ処理順位メッセージング(POM)メッセージと、
を含み、
前記POMメッセージは、
処理優先順位を有する前記選択された入力メタデータメッセージの合計数を決定する情報と、
前記望ましい処理順位を定義する前記選択された入力メタデータメッセージの
各々について、識別情報及び
対応する優先度情報と、
を含
み、
前記優先度情報は、小さい又は大きい数値ほど前記望ましい処理順位においてより早い処理を生じる整数値を含み、前記整数値は、前記選択された入力メタデータメッセージの中の絶対処理優先順位で又は前記選択された入力メタデータメッセージの中の第2の選択された入力メタデータメッセージに対する処理順位で、選択された入力メッセージの優先順位を表す、入力ビットストリーム。
【請求項7】
前記POMメッセージは、SEIマニフェストメッセージ、又はSEIメタデータ処理順位メッセージ、の部分である、請求項
6に記載の入力ビットストリーム。
【請求項8】
前記識別情報は、SEIメッセージングにおけるpayloadType情報を含む、請求項
7に記載の入力ビットストリーム。
【請求項9】
複数のメタデータメッセージ間の優先処理を指定する方法であって、前記方法は、
ビデオビットストリームと、前記ビデオビットストリームの復号されたビデオピクチャに適用される補足処理を定義する対応するメタデータメッセージとを生成するステップと、
選択されたメタデータメッセージの望ましい処理順位を定義するメタデータ処理順位(POM)メッセージを生成するステップであって、前記POMメッセージは、
処理優先順位を有する選択された入力メタデータメッセージの合計数を決定する情報と、
前記処理優先順位を定義する前記選択された入力メタデータメッセージの
各々について、識別
情報及び
対応する優先度情報と、
を含
み、前記優先度情報は、小さい又は大きい数値ほど前記望ましい処理順位においてより早い処理を生じる整数値を含み、前記整数値は、選択された入力メタデータメッセージの中の絶対処理優先順位で又は前記選択された入力メタデータメッセージの中の第2の選択された入力メタデータメッセージに対する処理順位で、選択された入力メッセージの優先順位を表す、ステップと、
前記ビデオビットストリームと前記メタデータメッセージと前記メタデータメッセージの処理順位とを含む出力ストリームを生成するステップと、
を含む方法。
【請求項10】
1つ以上のプロセッサにより請求項1~
5、又は
9のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を格納している非一時的コンピュータ可読記憶媒体。
【請求項11】
プロセッサを含み、請求項1~
5、又は
9に記載の方法のうちのいずれか1つを実行するよう構成される機器。
【手続補正書】
【提出日】2024-01-15
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0022
【補正方法】変更
【補正の内容】
【0022】
表1は、SEIメッセージ間の処理順位を指定する例を示す
。この例では、提案される新しいSEIメッセージである「SEIメッセージング処理順位(SEI messaging processing order)」SEIメッセージで、処理順位が重要なCVSの一部であるSEIメッセージと、その処理優先順位を指定できる。対象となるSEIメッセージは、それらのユニークなペイロードタイプを通じて識別される(参考文献[1-4]を参照)。
[表1]SEI処理順位SEIメッセージ
【表1】
po_num_sei_msg_typesは、SEI処理順位SEIメッセージに情報を提供するSEIメッセージの種類の数を指定する。
po_sei_payload_type[i]は、SEI処理順位SEIメッセージで情報が提供されるi番目の種類のSEIメッセージのペイロードタイプ(payloadType)値を示す。mがnと等しくない場合、po_sei_payload_type[m]とpo_sei_payload_type[n]の値は同一ではない。
po_sei_order[i]は、po_sei_payload_type[i]と等しいpayloadTypeを有するSEIメッセージの絶対順位を提供する。mがnと等しくない場合、po_sei_order[m]とpo_sei_order[n]の値は同一ではない。po_sei_order[m]の値がpo_sei_order[n]の値より小さい場合、po_sei_payload_type[m]を持つSEIメッセージは、po_sei_payload_type[n]を持つSEIメッセージより前に処理される。
【国際調査報告】