(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-25
(54)【発明の名称】補足拡張情報メッセージ制約
(51)【国際特許分類】
H04N 19/70 20140101AFI20240315BHJP
H04N 19/30 20140101ALI20240315BHJP
H04N 19/597 20140101ALI20240315BHJP
【FI】
H04N19/70
H04N19/30
H04N19/597
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023561623
(86)(22)【出願日】2022-04-08
(85)【翻訳文提出日】2023-10-17
(86)【国際出願番号】 CN2022085670
(87)【国際公開番号】W WO2022214047
(87)【国際公開日】2022-10-13
(31)【優先権主張番号】PCT/CN2021/085894
(32)【優先日】2021-04-08
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Beijing Bytedance Network Technology Co., Ltd.
【住所又は居所原語表記】Room B-0035, 2/F, No.3 Building, No.30, Shixing Road, Shijingshan District Beijing 100041 China
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ワン,イェ-クイ
(72)【発明者】
【氏名】ワン,ヤン
(72)【発明者】
【氏名】ザン,リー
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159MA04
5C159MA05
5C159MA17
5C159MA21
5C159MA31
5C159MC11
5C159ME01
5C159PP03
5C159PP13
5C159RC12
5C159UA02
5C159UA05
(57)【要約】
ビデオコーディング機器によって実装される方法を開示する。前記方法は、アクセスユニット(AU)がスケーラビリティ次元情報(SDI)SEIメッセージとマルチビュー取得情報(MAI)SEIメッセージの両方を含むときは常に、前記SDI SEIメッセージが復号順で前記MAI SEIメッセージの前にあると決定するステップと、前記SDI SEIメッセージ及び前記MAI SEIメッセージに基づき、ビデオと前記ビデオのビットストリームとの間の変換を実行するステップと、を含む。対応するビデオコーディング機器及び非一時的コンピュータ可読媒体も開示される。
【特許請求の範囲】
【請求項1】
ビデオコーディング機器によって実施される方法であって、
アクセスユニット(AU)がスケーラビリティ次元情報(SDI)SEIメッセージとマルチビュー取得情報(MAI)SEIメッセージの両方を含むときは常に、前記SDI SEIメッセージが復号順で前記MAI SEIメッセージの前にあると決定するステップと、
前記SDI SEIメッセージ及び前記MAI SEIメッセージに基づき、ビデオと前記ビデオのビットストリームとの間の変換を実行するステップと、
を含む方法。
【請求項2】
前記ビットストリームは範囲内のビットストリームであり、前記SDI SEIメッセージは、前記範囲内のビットストリーム内の最大レイヤ数を指定するSDI最大レイヤシンタックス要素を含む、請求項1に記載の方法。
【請求項3】
前記SDI SEIメッセージは、前記範囲内のビットストリームがマルチビュービットストリームであるか否かを指定するSDIマルチビュー情報フラグを含む、請求項2に記載の方法。
【請求項4】
前記SDI SEIメッセージは、前記範囲内のビットストリーム内の1つ以上のレイヤにより補足情報が伝達されるか否かを指定するSDI補足情報フラグを含む、請求項3に記載の方法。
【請求項5】
前記MAI SEIメッセージが、固有カメラパラメータ及び外部カメラパラメータを指定する、請求項1~4のいずれかに記載の方法。
【請求項6】
前記固有カメラパラメータ及び外部カメラパラメータは、5次元(3D)ディスプレイ上でレンダリングする前に、復号されたビューを処理するために使用される、請求項3に記載の方法。
【請求項7】
前記MAI SEIメッセージが、復号順で、現在のAUから後続のMAI SEIメッセージを含む後続のAUまで持続する、請求項1~6のいずれかに記載の方法。
【請求項8】
前記後続のMAI SEIメッセージは、前記MAI SEIメッセージとは異なる内容を含む、請求項7に記載の方法。
【請求項9】
前記MAI SEIメッセージは、復号順で現在のAUから前記ビットストリームの終わりまで持続する、請求項1~8のいずれかに記載の方法。
【請求項10】
前記AUが、iの少なくとも1つの値について2に等しいsdi_aux_id[i]を有する前記SDI SEIメッセージと、深度表現情報(DRI)SEIメッセージと、の両方を含むときは常に、前記SDI SEIメッセージが、復号順で、前記DRI SEIメッセージの前にあることを決定するステップ、を更に含む請求項1~9のいずれかに記載の方法。
【請求項11】
前記AUが、iの少なくとも1つの値について1に等しいsdi_aux_id[i]を有する前記SDI SEIメッセージと、アルファチャネル情報(ACI)SEIメッセージと、の両方を含むときは常に、前記SDI SEIメッセージが、復号順で、前記ACI SEIメッセージの前にあることを決定するステップ、を更に含む請求項1~10のいずれかに記載の方法。
【請求項12】
iは、前記ビットストリーム内のi番目のレイヤを表す整数である、請求項10~11のいずれかに記載の方法。
【請求項13】
前記SDI SEIメッセージが、スケーラブルな入れ子SEIメッセージに含まれることを制限される、請求項1~12のいずれかに記載の方法。
【請求項14】
3、133、179、180、又は205に等しいペイロードタイプを有するビットストリーム内のいずれかのSEIメッセージは、スケーラブルな入れ子SEIメッセージに含まれることを制限される、請求項1~13のいずれかに記載の方法。
【請求項15】
前記DRI SEIメッセージは、3次元(3D)ディスプレイ上でレンダリングする前に、復号されたビューを処理するためにタイプAUX_DEPTHの補足ピクチャのパラメータを指定する、請求項10~14のいずれかに記載の方法。
【請求項16】
前記ACI SEIメッセージは、アルファチャネルサンプル値、及びタイプAUX_ALPHAの補足ピクチャ及び1つ以上の関連付けられた主ピクチャにコーディングされた復号アルファプレーンに適用される後処理に関する情報を提供する。請求項11~15のいずれかに記載の方法。
【請求項17】
前記変換は、前記ビデオを前記ビットストリームに符号化することを含む、請求項1~16のいずれかに記載の方法。
【請求項18】
前記変換は、前記ビットストリームから前記ビデオを復号することを含む、請求項1~17のいずれかに記載の方法。
【請求項19】
ビデオデータをコーディングする機器であって、プロセッサと命令を有する非一時的メモリとを含み、前記命令は、前記プロセッサにより実行されると、前記プロセッサに請求項1~18のいずれかに記載の方法を実行させる、機器。
【請求項20】
コーディング機器による使用のためのコンピュータプログラムプロダクトを含む非一時的コンピュータ可読媒体であって、前記コンピュータプログラムプロダクトは、1つ以上のプロセッサにより実行されると前記コーディング機器に請求項1~18のいずれかに記載の方法を実行させる、前記非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を含む、非一時的コンピュータ可読媒体。
【請求項21】
ビデオ処理機器によって実行される方法により生成されたビデオのビットストリームを格納している非一時的コンピュータ可読記録媒体であって、前記方法は、
アクセスユニット(AU)がスケーラビリティ次元情報(SDI)SEIメッセージとマルチビュー取得情報(MAI)SEIメッセージの両方を含むときは常に、前記SDI SEIメッセージが復号順で前記MAI SEIメッセージの前にあると決定するステップと、
前記SDI SEIメッセージ及び前記MAI SEIメッセージに基づき、前記ビットストリームを生成するステップと、
を含む、非一時的コンピュータ可読記録媒体。
【請求項22】
ビデオのビットストリームを格納する方法であって、
アクセスユニット(AU)がスケーラビリティ次元情報(SDI)SEIメッセージとマルチビュー取得情報(MAI)SEIメッセージの両方を含むときは常に、前記SDI SEIメッセージが復号順で前記MAI SEIメッセージの前にあると決定するステップと、
前記SDI SEIメッセージ及び前記MAI SEIメッセージに基づき、前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的コンピュータ可読媒体に格納するステップと、
を含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願]
本特許出願は、2021年4月8日にBeijing ByteDance Network Technology Co., Ltd.によって出願された「Supplemental Enhancement Information Enhancements」と題された国際出願番号PCT/CN2021/085894の利益を主張しており、これは参照により本明細書に組み込まれる。
【0002】
[技術分野]
本開示は、一般に、ビデオコーディングに関し、特に、画像/ビデオコーディングで使用される補足拡張情報(supplemental enhancement information (SEI))メッセージに関連する。
【背景技術】
【0003】
デジタルビデオは、インターネット及び他のデジタル通信ネットワーク上で最大の帯域幅使用を占める。ビデオを受信及び表示可能な接続されたユーザ装置の数が増加するにつれ、デジタルビデオ使用のための帯域幅要求は増大し続けることが予想される。
【発明の概要】
【0004】
開示される態様/実施形態は、ビットストリーム内の幾つかのSEIメッセージの特定の復号順序を指定する技術を提供する。別の例として、本開示は、特定のSEIメッセージがスケーラブルな入れ子SEIメッセージに含まれることを制限する技術を提供する。復号順序及び/又は特定のSEIメッセージがスケーラブルな入れ子SEIメッセージに含まれることを制限することにより、ビデオコーディング処理が改善される。
【0005】
第1態様は、コーディング機器により実施される方法に関する。前記方法は、
アクセスユニット(AU)がスケーラビリティ次元情報(SDI)SEIメッセージとマルチビュー取得情報(MAI)SEIメッセージの両方を含むときは常に、前記SDI SEIメッセージが復号順で前記MAI SEIメッセージの前にあると決定するステップと、
前記SDI SEIメッセージ及び前記MAI SEIメッセージに基づき、ビデオと前記ビデオのビットストリームとの間の変換を実行するステップと、
を含む。
【0006】
任意で、前述の態様のいずれかで、態様の別の実装は、前記ビットストリームは範囲内のビットストリームであり、前記SDI SEIメッセージは、前記範囲内のビットストリーム内の最大レイヤ数を指定するSDI最大レイヤシンタックス要素を含むことを提供する。
【0007】
任意で、前述の態様のいずれかで、態様の別の実装は、前記SDI SEIメッセージは、前記範囲内のビットストリームがマルチビュービットストリームであるか否かを指定するSDIマルチビュー情報フラグを含むことを提供する。
【0008】
任意で、前述の態様のいずれかで、態様の別の実装は、前記SDI SEIメッセージは、前記範囲内のビットストリーム内の1つ以上のレイヤにより補足情報が伝達されるか否かを指定するSDI補足情報フラグを含むことを提供する。
【0009】
任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記MAI SEIメッセージが固有カメラパラメータ及び外部カメラパラメータを指定することを提供する。
【0010】
任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記固有カメラパラメータ及び外部カメラパラメータは、3次元(3D)ディスプレイ上でレンダリングする前に、復号されたビューを処理するために使用されることを提供する。
【0011】
任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記MAI SEIメッセージが、復号順で、現在のAUから、後続のMAI SEIメッセージを含む後続のAUまで、持続することを提供する。
【0012】
任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記後続のMAI SEIメッセージが前記MAI SEIメッセージとは異なる内容を含むことを提供する。
【0013】
任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記MAI SEIメッセージは、復号順で現在のAUから前記ビットストリームの終わりまで持続することを提供する。
【0014】
任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記AUが、iの少なくとも1つの値について2に等しいsdi_aux_id[i]を有する前記SDI SEIメッセージと、深度表現情報(DRI)SEIメッセージと、の両方を含むときは常に、前記SDI SEIメッセージが、復号順で、前記DRI SEIメッセージの前にあることを決定するステップを提供する。
【0015】
任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記AUが、iの少なくとも1つの値について1に等しいsdi_aux_id[i]を有する前記SDI SEIメッセージと、アルファチャネル情報(ACI)SEIメッセージと、の両方を含むときは常に、前記SDI SEIメッセージが、復号順で、前記ACI SEIメッセージの前にあることを決定するステップを提供する。
【0016】
任意で、前述の態様のうちのいずれかで、態様の別の実装は、iが、前記ビットストリーム内のi番目のレイヤを表す整数であることを提供する。
【0017】
任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記SDI SEIメッセージがスケーラブルな入れ子SEIメッセージに含まれること制限されることを提供する。
【0018】
任意で、前述の態様のうちのいずれかで、態様の別の実装は、3、133、179、180、又は205に等しいペイロードタイプを有するビットストリーム内のいずれかのSEIメッセージは、スケーラブルな入れ子SEIメッセージに含まれることを制限されることを提供する。
【0019】
任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記DRI SEIメッセージが、3次元(3D)ディスプレイ上でレンダリングする前に、復号されたビューを処理するためにタイプAUX_DEPTHの補足ピクチャのパラメータを指定することを提供する。
【0020】
任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記ACI SEIメッセージは、アルファチャネルサンプル値、及びタイプAUX_ALPHAの補足ピクチャ及び1つ以上の関連付けられた主ピクチャにコーディングされた復号アルファプレーンに適用される後処理に関する情報を提供することを提供する。
【0021】
任意で、前述の態様のうちのいずれかで、態様の別の実装は、ビデオコーディング機器によって、前記SDI SEIメッセージ、前記MAI SEIメッセージ、前記DRI SEIメッセージ、及び前記ACI SEIメッセージ、のうちの1つ以上を前記ビットストリームに符号化することを提供する。
【0022】
任意で、前述の態様のうちのいずれかで、態様の別の実装は、ビデオコーディング機器によって、前記ビットストリームを復号して、前記SDI SEIメッセージ、前記MAI SEIメッセージ、前記DRI SEIメッセージ、及び前記ACI SEIメッセージ、のうちの1つ以上を取得することを提供する。
【0023】
第2態様はビデオデータをコーディングする機器であって、前記機器は、プロセッサと命令を有する非一時的メモリとを含み、前記命令は、前記プロセッサにより実行されると、前記プロセッサにここに記載の方法のいずれかを実行させる、機器に関する。
【0024】
第3態様はコーディング機器による使用のためのコンピュータプログラムプロダクトを含む非一時的コンピュータ可読媒体であって、前記コンピュータプログラムプロダクトは、1つ以上のプロセッサにより実行されると前記コーディング機器にここに開示された方法のいずれかを実行させる、前記非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を含む、非一時的コンピュータ可読媒体に関する。
【0025】
第4の態様は、ビデオ処理機器によって実行される方法により生成されたビデオのビットストリームを格納している非一時的コンピュータ可読記録媒体であって、前記方法は、
アクセスユニット(AU)がスケーラビリティ次元情報(SDI)SEIメッセージとマルチビュー取得情報(MAI)SEIメッセージの両方を含むときは常に、前記SDI SEIメッセージが復号順で前記MAI SEIメッセージの前にあると決定するステップと、
前記SDI SEIメッセージ及び前記MAI SEIメッセージに基づき、前記ビットストリームを生成するステップと、
を含む、非一時的コンピュータ可読記録媒体に関する。
【0026】
第5の態様は、ビデオのビットストリームを格納する方法であって、
アクセスユニット(AU)がスケーラビリティ次元情報(SDI)SEIメッセージとマルチビュー取得情報(MAI)SEIメッセージの両方を含むときは常に、前記SDI SEIメッセージが復号順で前記MAI SEIメッセージの前にあると決定するステップと、
前記SDI SEIメッセージ及び前記MAI SEIメッセージに基づき、前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的コンピュータ可読媒体に格納するステップと、
を含む方法に関する。
【0027】
明確さを目的として、前述の実施形態のうちのいずれか1つは、他の前述の実施形態のうちの任意の1つ以上と結合されて、本開示の範囲内にある新しい実施形態を生成してよい。
【0028】
上述及び他の特徴は、添付の図面及び請求の範囲と関連して取り入れられる以下の詳細な説明から一層明確に理解されるだろう。
【図面の簡単な説明】
【0029】
本開示のより完全な理解のために、ここで、添付の図面及び詳細な説明と関連して以下の簡単な説明を参照する。ここで同様の参照符号は同様の部分を表す。
【0030】
【
図1】レイヤベースの予測の例を示す概略図である。
【0031】
【
図2】出力レイヤセット(OLS)を使用するレイヤベースの予測の例を示す。
【0032】
【0033】
【
図4】例示的なビデオ処理システムのブロック図である。
【0034】
【0035】
【
図6】例示的なビデオコーディングシステムを示すブロック図である。
【0036】
【
図7】例示的なビデオエンコーダを示すブロック図である。
【0037】
【
図8】例示的なビデオデコーダを示すブロック図である。
【0038】
【
図9】本開示の実施形態によるビデオデータをコーディングする方法である。
【発明を実施するための形態】
【0039】
初めに理解されるべきことに、1つ以上の実施形態の説明的実装が以下に提供されるが、開示のシステム及び/又は方法は、現在知られているか又は既存かに関わらず、任意の数の技術を用いて実装されてよい。本開示は、ここに図示され説明される例示的な設計及び実装を含む以下に説明する説明的実装、図面、及び技術に決して限定されるべきではなく、添付の請求の範囲の範囲内で、それらの均等物の全範囲と共に、変更されてよい。
【0040】
ビデオコーディング規格は、主に周知の国際電気通信連合電気通信(ITU-T)及び国際標準化機構(ISO)/国際電気標準会議(IEC)規格の開発を通じて発展してきた。ITU-TはH.261及びH.263を、ISO/IECはMoving Picture Experts Group(MPEG)-1及びMPEG-4 Visualを、両組織はH.262/MPEG-2 Video及びH.264/MPEG-4 Advanced Video Coding(AVC)及びH.265/High Efficiency Video Coding(HEVC)規格を共同で作成した。ITU-T及びISO/IEC、“High Efficiency Video Coding”、Rec.ITU-T H.265|ISO/IEC23008-2(in force edition)を参照のこと。H.262以降、ビデオコーディング規格は、ハイブリッドビデオコーディング構造に基づき、ここでは時間予測及び変換コーディングが利用される。HEVCより先の将来のビデオコーディング技術を開発するために、共同ビデオ探索チーム(Joint Video Exploration Team (JVET))が2015年にビデオコーディング専門家グループ(Video Coding Experts Group (VCEG))及びMPEGにより共同で設立された。それ以来、多くの新しい方法がJVETにより採用され、共同探索モデル(Joint Exploration Model (JEM))と呼ばれる参照ソフトウェアに取り入れられてきた。J.Chen、E.Alshina、G.J.Sullivan、J.-R.Ohm、J.Boyce、“Algorithm description of Joint Exploration Test Model 7 (JEM7)”、 JVET-G1001、Aug.2017を参照のこと。その後、Versatile Video Coding(VVC)プロジェクトが正式に開始されたときに、JVETはJoint Video Experts Team(JVET)に改名された。VVCは、2020年7月1日に終了したJVETの第19回会議で最終決定された、HEVCと比較して50%のビットレート削減を目標とする新しいコーディング規格である。Rec.ITU-TH.266|ISO/IEC23090-3、“Versatile Video Coding”、2020を参照のこと。
【0041】
VVC規格(ITU-TH.266|ISO/IEC23090-3)及び関連するVersatile Supplemental Enhancement Information(VSEI)規格(ITU-TH.274|ISO/IEC23002-7)は、テレビ放送、ビデオ会議、又は記憶媒体からの再生などの従来の用途だけでなく、アダプティブビットレートストリーミング、ビデオ領域抽出、複数のコーディングされたビデオビットストリームからのコンテンツの合成及びマージ、マルチビュービデオ、スケーラブルな階層化コーディング、及びビューポート適応型360°イマーシブメディアなどのより新しく高度な用途を含む、非常に幅広い用途で使用するように設計されている。B.Bross、J.Chen、S.Liu、Y.-K.Wang(編集者)、“Versatile Video Coding(Draft10)”、JVET-S2001、Rec.ITU-T Rec.H.274|ISO/IEC23002-7、“Versatile Supplementary Enhancement Information Messages for Coded Video Bitstreams”、2020、及びJ.Boyce、V.Drugeon、G.Sullivan、Y.-K.Wang(編集者)、“Versatile Supplementary Enhancement Information Messages for Coded Video Bitstreams(Draft5)、”JVET-S2007を参照のこと。
【0042】
Essential Video Coding(EVC)規格(ISO/IEC23094-1)は、MPEGによって最近開発された別のビデオコーディング規格である。
【0043】
図1は、レイヤベースの予測100の例を示す概略図である。レイヤベースの予測100は、一方向のインター予測及び/又は双方向のインター予測と互換性があるが、異なるレイヤのピクチャ間でも実行される。
【0044】
レイヤベースの予測100は、異なるレイヤにおいて、ピクチャ111、112、113、及び114とピクチャ115、116、117、及び118との間に適用される。図示の例では、ピクチャ111、112、113、及び114はレイヤN+1 132の一部であり、ピクチャ115、116、117、及び118はレイヤN131の一部である。レイヤN 131及び/又はレイヤN+1 132のようなレイヤは、類似のサイズ、品質、解像度、信号対雑音比、能力などのような、全てが類似の値の特性に関連するピクチャのグループである。図示の例では、レイヤN+1 132は、レイヤN 131よりも大きな画像サイズと関連している。従って、レイヤN+1 132内のピクチャ111、112、113、及び114は、この例のレイヤN 131内のピクチャ115、116、117、及び118よりも大きなピクチャサイズ(例えば、より大きな高さ及び幅、従ってより多くのサンプル)を有する。しかしながら、このようなピクチャは、他の特性によってレイヤN+1 132とレイヤN 131との間で分離することができる。2つのレイヤ、レイヤN+1 132及びレイヤN 131のみが示されているが、ピクチャのセットは、関連する特性に基づいて任意の数のレイヤに分離することができる。レイヤN+1 132及びレイヤN 131は、レイヤIDによって示されてもよい。レイヤ識別子(ID)は、ピクチャに関連付けられたデータのアイテムであり、ピクチャが示されたレイヤの一部であることを示す。従って、各ピクチャ111~118は、対応するレイヤIDと関連付けられて、どのレイヤN+1 132又はレイヤN 131が対応する図を含むかを示すことができる。
【0045】
異なるレイヤ131~132内のピクチャ111~118は、代替として表示されるように構成される。このように、異なるレイヤ131~132内のピクチャ111~118は、同じ時間識別子(ID)を共有することができ、同じのアクセスユニット(AU)106に含まれることができる。本明細書で使用される場合、AUは、復号ピクチャバッファ(decoded picture buffer (DPB).)からの出力のための同じ表示時間に関連する1つ以上のコーディングされたピクチャの集合である。例えば、より小さなピクチャが望まれる場合には、デコーダは、現在の表示時間でピクチャ115を復号及び表示し、より大きなピクチャが望まれる場合には、デコーダは、現在の表示時間でピクチャ111を復号及び表示し得る。このように、上位レイヤN+1 132におけるピクチャ111~114は、(ピクチャサイズの差にもかかわらず)下位レイヤN 131における対応するピクチャ115~118と実質的に同じ画像データを含む。具体的には、ピクチャ111は、ピクチャ115と実質的に同じ画像データを含み、ピクチャ112は、ピクチャ116と実質的に同じ画像データを含む、などである。
【0046】
ピクチャ111~118は、同じレイヤN 131又はN+1 132内の他のピクチャ111~118を参照することによってコーディングすることができる。同じレイヤ内の別のピクチャを参照してピクチャをコーディングすると、互換性のある一方向性のインター予測及び/又は双方向性のインター予測であるインター予測123が得られる。インター予測123は、実線矢印で示される。例えば、ピクチャ113は、レイヤN+1132内のピクチャ111、112、及び/又は114のうちの1つ又は2つを参照として使用するインター予測123を利用することによってコーディングされてもよく、1つのピクチャが、一方向のインター予測のために参照され、及び/又は2つのピクチャが、双方向のインター予測のために参照される。更に、ピクチャ117は、レイヤN131内のピクチャ115、116、及び/又は118のうちの1つ又は2つを参照として使用するインター予測123を採用することによってコーディングされてもよく、1つのピクチャが、一方向のインター予測のために参照され、及び/又は2つのピクチャが、双方向のインター予測のために参照される。ピクチャが、インター予測123を実行するときに、同じレイヤ内の別のピクチャのための参照として使用される場合、ピクチャは、参照ピクチャと呼ばれ得る。例えば、ピクチャ112は、インター予測123に従ってピクチャ113をコーディングするために使用される参照ピクチャであってもよい。インター予測123は、マルチレイヤコンテキストにおいてイントラレイヤ予測とも呼ばれ得る。このように、インター予測123は、参照により、現在ピクチャのサンプルを、現在ピクチャと異なる参照ピクチャ内の示されたサンプルにコーディングするメカニズムである。ここで、参照ピクチャと現在ピクチャは同じレイヤにある。
【0047】
ピクチャ111~118は、異なるレイヤ内の他のピクチャ111~118を参照することによってコーディングすることもできる。この処理は、インターレイヤ予測121として知られており、破線の矢印で示されている。インターレイヤ予測121は、現在ピクチャと参照ピクチャが異なるレイヤにあり、従って異なるレイヤIDを有する場合に、参照ピクチャ内の示されたサンプルを参照することによって、現在のピクチャのサンプルをコーディングするメカニズムである。例えば、下位レイヤN 131内のピクチャを参照ピクチャとして使用して、対応するピクチャを上位レイヤN+1 132にコーディングすることができる。特定の例として、ピクチャ111は、インターレイヤ予測121に従って、ピクチャ115を参照することによってコーディングできる。このような場合、ピクチャ115は、インターレイヤ参照ピクチャとして使用される。インターレイヤ参照ピクチャは、インターレイヤ予測121に使用される参照ピクチャである。ほとんどの場合、インターレイヤ予測121は、ピクチャ111のような現在ピクチャが、同じAU106に含まれ、ピクチャ115のような下位レイヤにあるインターレイヤ参照ピクチャのみを使用することができるように制約される。複数のレイヤ(例えば、2つ以上)が利用可能である場合、インターレイヤ予測121は、現在ピクチャよりも低いレベルで、複数のインターレイヤ参照ピクチャに基づいて、現在ピクチャを符号化/復号することができる。
【0048】
ビデオエンコーダは、レイヤベースの予測100を使用して、インター予測123及びインターレイヤ予測121の多くの異なる組み合わせ及び/又は順列を介して、ピクチャ111~118を符号化することができる。例えば、ピクチャ115は、イントラ予測に従ってコーディングされてもよい。次いで、ピクチャ115を参照ピクチャとして使用することによって、ピクチャ116~118をインター予測123に従ってコーディングすることができる。更に、ピクチャ111は、インターレイヤ参照ピクチャとしてピクチャ115を使用することによって、インターレイヤ予測121に従ってコーディングされてもよい。次いで、ピクチャ111を参照ピクチャとして使用することによって、ピクチャ112~114をインター予測123に従ってコーディングすることができる。このように、参照ピクチャは、異なるコーディングメカニズムに対して単一レイヤ参照ピクチャ及びインターレイヤ参照ピクチャの両方として機能することができる。下位レイヤN 131ピクチャに基づいて上位レイヤN+1 132ピクチャをコーディングすることによって、上位レイヤN+1 132は、インター予測123及びインターレイヤ予測121よりもはるかに低いコーディング効率を有するイントラ予測を使用することを回避することができる。従って、イントラ予測の劣ったコーディング効率は、最小/最低品質のピクチャに制限され得、従って、最小量のビデオデータをコーディングすることに制限され得る。参照ピクチャ及び/又はインターレイヤ参照ピクチャとして使用されるピクチャは、参照ピクチャリスト構造に含まれる参照ピクチャリストのエントリの中で示すことができる。
【0049】
図1の各AU106は、幾つかのピクチャを含むことができる。例えば、1つのAU106は、ピクチャ111及び115を含むことができる。別のAU106は、ピクチャ112及び116を含むことができる。実際、各AU106は、(例えば、ユーザに表示するために)復号ピクチャバッファ(decoded picture buffer (DPB))から出力するために、同じ表示時間(例えば、同じ時間ID)に関連付けられた1つ以上のコーディングピクチャのセットである。各アクセスユニットデリミタ(access unit delimiter (AUD))108は、AU(例えば、AU106)の開始又はAU間の境界を示すために使用される指示子又はデータ構造である。
【0050】
以前のH.26xビデオコーディングファミリーは、単一レイヤコーディングのためのプロファイルとは別のプロファイルにおけるスケーラビリティのサポートを提供してきた。スケーラブルビデオコーディング(Scalable video coding (SVC))は、空間的、時間的及び品質的スケーラビリティのサポートを提供するAVC/H.264のスケーラブルな拡張である。SVCでは、拡張レイヤ、拡張レイヤ(enhancement layer (EL))ピクチャ内の各マクロブロック(macroblock (MB))の中でフラグがシグナリングされ、下位レイヤからの同一位置ブロックを使用してEL MBが予測されるかどうかが示される。同一位置ブロックからの予測は、テクスチャ、動きベクトル、及び/又はコーディングモードを含んでもよい。SVCの実装は、未修正のH.264/AVC実装を設計に直接再利用することはできない。SVC ELマクロブロックのシンタックス及び復号処理は、H.264/AVCのシンタックス及び復号処理とは異なる。
【0051】
スケーラブルHEVC(Scalable HEVC (SHVC))は、空間的及び品質的スケーラビリティのサポートを提供するHEVC/H.265規格の拡張であり、マルチビューHEVC(multiview HEVC (MV-HEVC))は、マルチビュースケーラビリティのサポートを提供するHEVC/H.265の拡張であり、3DHEVC(3D-HEVC)は、MV-HEVCよりも高度で効率的な3次元(3D)ビデオコーディングのサポートを提供するHEVC/H.264の拡張である。時間的スケーラビリティは単レイヤHEVCコーデックの不可欠な部分として含まれることに注意されたい。HEVCのマルチレイヤ拡張の設計は、インターレイヤ予測のために使用される復号画像が同じAUのみから来て、長期参照ピクチャ(long-term reference picture (LTRP))として扱われ、現在レイヤの他の時間参照ピクチャと共に参照ピクチャリストの中で参照インデックスを割り当てられるという考えを利用する。インターレイヤ予測(Inter-layer prediction (ILP))は、参照ピクチャリスト内のインターレイヤ参照ピクチャを参照するために参照インデックスの値を設定することにより、予測ユニット(prediction unit (PU))レベルで達成される。
【0052】
注目すべきことに、参照ピクチャの再サンプリング及び空間スケーラビリティの特徴の両方は、参照ピクチャ又はその一部の再サンプリングを必要とする。参照ピクチャ再サンプリング(Reference picture resampling (RPR))は、ピクチャレベル又はコーディングブロックレベルのいずれかで実現することができる。しかしながら、RPRがコーディング特徴と呼ばれる場合、それは単レイヤコーディングのための特徴である。たとえそうであっても、単一レイヤコーディングのRPR特徴及びマルチレイヤコーディングの空間スケーラビリティ特徴の両方に対して同じ再サンプリングフィルタを使用することは、コーデック設計の観点から可能であるか、又は望ましい。
【0053】
図2は、出力レイヤセット(output layer set (OLS))を使用するレイヤベースの予測200の例を示す。レイヤベースの予測100は、一方向のインター予測及び/又は双方向のインター予測と互換性があるが、異なるレイヤのピクチャ間でも実行される。
図2のレイヤベースの予測200は、
図1のものと類似する。従って、簡単のために、レイヤベースの予測200の完全な説明は繰り返されない。
【0054】
図2のコーディングされたビデオシーケンス(coded video sequence (CVS))290の中のレイヤの幾つかは、OLSに含まれる。OLSは、1つ以上のレイヤが出力レイヤとして指定されるレイヤのセットである。出力レイヤは、出力されるOLSのレイヤである。
図2は、3つの異なるOLS、つまりOLS1、OLS2、OLS3を示す。示されるように、OLS1は、レイヤN231及びレイヤN+1 232を含む。レイヤN231は、ピクチャ215、216、217及び218を含み、レイヤN+1 232は、ピクチャ211、212、213及び214を含む。OLS2は、レイヤN231、レイヤN+1 232、レイヤN+2 233、及びレイヤN+3 234を含む。レイヤN+2 233は、ピクチャ241、242、243及び244を含み、レイヤN+3 234は、ピクチャ251、252、253及び254を含む。OLS3は、レイヤN231、レイヤN+1 232、レイヤN+2 233を含む。3つのOLSが示されているが、実際の適用では異なる数のOLSが使用されてよい。図示された実施形態では、いずれのOLSも、ピクチャ261、262、263及び264を含むレイヤN+4 235を含まない。
【0055】
異なるOLSの各々は、任意の数のレイヤを含んでよい。異なるOLSは、様々なコーディング能力を有する種々の異なる装置のコーディング能力に対応しようとして生成される。例えば、OLS1は、2つのレイヤのみを含み、比較的限られたコーディング能力を有する携帯電話機に対応するために生成されてよい。他方で、OLS2は、4つのレイヤを含み、携帯電話機より多くのレイヤを復号することのできる大画面テレビに対応するために生成されてよい。OLS3は、3つのレイヤを含み、携帯電話機より多くのレイヤを復号できるが、大画面テレビのように最も多くのレイヤを復号できない、パーソナルコンピュータ、ラップトップコンピュータ、又はタブレットコンピュータに対応するために生成されてよい。
【0056】
図2のレイヤは、互いに全て独立であることができる。つまり、各レイヤは、インターレイヤ予測(inter-layer prediction (ILP))を使用せずに、コーディングできる。この場合、レイヤは、同報レイヤと呼ばれる。
図2のレイヤのうちの1つ以上は、ILPを使用してコーディングされてもよい。レイヤが同報レイヤかどうか、又はレイヤのうちの幾つかがILPを使用してコーディングされるかどうかは、ビデオパラメータセット(video parameter set (VPS))内のフラグによりシグナリングされる。幾つかのレイヤがILPを使用するとき、レイヤ間のレイヤ依存関係も、VPS内でシグナリングされる。
【0057】
実施形態では、レイヤが同報レイヤであるとき、1つのみのレイヤが復号のために選択され、出力される。実施形態では、幾つかのレイヤがILPを使用するとき、全部のレイヤ(例えば、ビットストリーム全体)は、復号されるよう指定され、レイヤのうちの特定のレイヤは、出力レイヤとして指定される。1つ以上の出力レイヤは、例えば、1)最上位レイヤのみ、2)全部のレイヤ、又は3)最上位レイヤと指示されたより下位のレイヤのセット、であってよい。例えば、最上位レイヤと指示されたより下位のレイヤのセットが、VPS内のフラグにより出力のために指定されると、OLS2からのレイヤN+3 234(これは最上位レイヤである)、及びレイヤN231及びN+1 232(これらはより下位のレイヤである)が出力される。
【0058】
図2中の幾つかのレイヤを主レイヤと呼び、他のレイヤを補足レイヤと呼ぶことができる。例えば、レイヤN231及びレイヤN+1 232は、主レイヤ(主ピクチャを含む)と呼ばれ、レイヤN+2 233及びレイヤN+3 234は、補足レイヤ(補足ピクチャを含む)と呼ぶことができる。補足レイヤは、アルファ補足レイヤ又は深度補足レイヤと呼ばれることがある。補足情報がビットストリーム内に存在する場合、主レイヤは補足レイヤに関連付けられることができる。
【0059】
図3は、ビデオビットストリーム300の実施形態を示す。本明細書で使用する場合、ビデオビットストリーム300は、コーディングビデオビットストリーム、ビットストリーム、又はそれらの変形を表すこともできる。
図3に示すように、ビットストリーム300は、復号能力情報(decoding capability information (DCI))302、ビデオパラメータセット(video parameter set (VPS))304、シーケンスパラメータセット(sequence parameter set (SPS))306、ピクチャパラメータセット(picture parameter set (PPS))308、ピクチャヘッダ(picture header (PH))312、及びピクチャ314、のうちの1つ以上を含む。DCI302、VPS304、SPS306、及びPPS308の各々は、総称して、パラメータセットと呼ばれてよい。実施形態では、
図3に示されていない他のパラメータセット、例えば、適応パラメータセット(adaption parameter set (APS))がビットストリーム300に含まれてもよく、これは、スライスヘッダに見られる0個以上のシンタックス要素によって決定される0個以上のスライスに適用されるシンタックス要素を含むシンタックス構造である。
【0060】
DCI302は、復号パラメータセット(decoding parameter set (DPS))又はデコーダパラメータセットとも呼ばれてよく、ビットストリーム全体に適用されるシンタックス要素を含むシンタックス構造である。DCI302は、ビデオビットストリーム(例えば、ビットストリーム300)の寿命に対して一定のままであるパラメータを含み、これは、セッションの寿命に変換することができる。DCI302は、たとえビデオシーケンスのスプライシングがセッション内で起こったとしても、決して超えられないことが保証される最大複雑度の相互運用性ポイントを決定するために、プロファイル、レベル、及びサブプロファイル情報を含むことができる。それは、更に任意で制約フラグを含み、これは、ビデオビットストリームが、それらのフラグの値によって示されるように、特定の特徴の使用の制約であることを示す。これにより、ビットストリームは、特にデコーダ実装におけるリソース割り当てを可能にする、特定のツールを使用しないものとしてラベル付けされることができる。全てのパラメータセットと同様に、DCI302は最初に参照されたときに存在し、ビデオシーケンスの第1ピクチャによって参照され、ビットストリームの第1ネットワーク抽象化レイヤ(network abstraction layer (NAL))ユニット間で送信されなければならないことを意味する。複数のDCI302がビットストリーム内に存在できるが、その中のシンタックス要素の値は、参照されるときに矛盾してはならない。
【0061】
VPS304は、拡張レイヤの参照ピクチャセット構成のための復号依存性又は情報を含む。VPS304は、どのタイプのオペレーションポイントが提供されるか、オペレーションポイントのプロファイル、ティア、及びレベル、ならびにセッション交渉及びコンテンツ選択などの基礎として使用され得るビットストリームの他の幾つかの高レベル特性を含む、スケーラブルなシーケンスの全体的な視点又はビューを提供する。
【0062】
実施形態では、レイヤのうちの幾つかがILPを使用することが示されるとき、VPS304は、VPSにより指定されるOLSの合計数がレイヤの数に等しいことを示し、i番目のOLSが両端を含む0~iのレイヤインデックスを有するレイヤを含むことを示し、各OLSについて、OLS内の最上位レイヤのみが出力されることを示す。
【0063】
SPS306は、ピクチャのシーケンス(sequence of pictures (SOP))の中の全てのピクチャに共通であるデータを含む。SPS306は、各ピクチャヘッダ312の中で見付かったシンタックス要素により参照されるPPS308内で見付かったシンタックス要素の内容により決定されるような、0個以上のコーディングされたレイヤビデオシーケンス(coded layer video sequence (CLVS))全体に適用するシンタックス要素を含むシンタックス構造である。対照的に、PPS308は、ピクチャ314全体に共通するデータを含む。PPS308は、各ピクチャヘッダ(例えば、PH312)の中で見付かったシンタックス要素により決定されるような、0個以上のコーディングされたピクチャ全体に適用するシンタックス要素を含むシンタックス構造である。
【0064】
DCI302、VPS304、SPS306、及びPPS308は、異なるタイプのネットワーク抽象化レイヤ(Network Abstraction Layer (NAL))ユニットに含まれる。NALユニットは、従うべきデータのタイプ(例えば、コーディングビデオデータ)の指示を含むシンタックス構造である。NALユニットは、ビデオコーディングレイヤ(video coding layer (VCL))と非VCL NALユニットに分類される。VCL NALユニットは、ビデオピクチャ内のサンプルの値を表すデータを含み、非VCL NALユニットは、パラメータセット(多数のVCL NALユニットに適用できる重要なデータ)及び補足拡張情報(タイミング情報及びビデオピクチャ内のサンプルの値を復号するためには必要ではないが、復号ビデオ信号の有用性を高める可能性があるその他の補足データ)のような、任意の関連する追加情報を含む。
【0065】
実施形態では、DCI302は、DCI NALユニット又はDPS NALユニットとして指定された非VCL NALユニットに含まれる。つまり、DCI NALユニットはDCI NALユニットタイプ(NAL unit type (NUT))を有し、DPS NALユニットはDPS NUTを有する。実施形態では、VPS304は、DPS NALユニットとして指定された非VCL NALユニットに含まれる。従って、VPS NALユニットはVPS NUTを有する。実施形態では、SPS306は、SPS NALユニットとして指定された非VCL NALユニットである。従って、SPS NALユニットはSPS NUTを有する。実施形態では、PPS308は、PPS NALユニットとして指定された非VCL NALユニットに含まれる。従って、PPS NALユニットはPPS NUTを有する。
【0066】
PH312は、コーディングピクチャ(例えば、ピクチャ314)の全てのスライス(例えば、スライス318)に適用されるシンタックス要素を含むシンタックス構造である。実施形態では、PH312は、PH NALユニットとして指定されるタイプの非VCL NALユニットである。従って、PH NALユニットはPH NUT(例えば、PH_NUT)を有する。
【0067】
実施形態では、PH312に関連するPH NALユニットは、時間ID及びレイヤIDを有する。時間ID識別子は、ビットストリーム(例えば、ビットストリーム300)内の他のPH NALユニットに対する、時間的なPH NALユニットの位置を示す。レイヤIDは、PH NALユニットを含むレイヤ(例えば、レイヤ131又はレイヤ132)を示す。実施形態では、時間IDは、ピクチャオーダカウント(picture order count (POC))に類似しているが、POCとは異なる。POCは、各ピクチャを順番に一意に識別する。単レイヤビットストリームでは、時間IDとPOCは同じになる。マルチレイヤビットストリーム(例えば、
図1参照)において、同じAU内のピクチャは、異なるPOCを有するが、同じ時間IDを有する。
【0068】
実施形態では、PH NALユニットは、関連するピクチャ314の第1スライス318を含むVCL NALユニットより先行する。これは、PH312の中でシグナリングされ、スライスヘッダ320から参照されるピクチャヘッダIDを有する必要なく、PH312と、PH312に関連付けられたピクチャ314のスライス318との間の関連を確立する。従って、2つのPH312の間の全てのVCLNALユニットは、同じピクチャ314に属し、ピクチャ314は、2つのPH312の間の第1PH312に関連すると推定できる。実施形態では、PH312に続く第1VCL NALユニットは、PH312に関連するピクチャ314の第1スライス318を含む。
【0069】
実施形態では、PH NALユニットは、ピクチャレベルパラメータセット(例えば、PPS308)、又はより高いレベルのパラメータセット、例えば、DCI302(別名、DPS)、VPS304、SPS306、PPS308などに従い、各々、PH NALユニットの時間ID及びレイヤIDよりも両方とも小さい時間ID及びレイヤIDを有する。その結果、それらのパラメータセットは、ピクチャ又はアクセスユニット内で繰り返されない。この順序により、PH312は直ちに解決することができる。つまり、ピクチャ全体に関連するパラメータを含むパラメータセットは、ビットストリーム内で、PH NALユニットの前に配置される。ピクチャの一部のパラメータを含むものは、PH NALユニットの後に配置される。
【0070】
1つの代替として、PH NALユニットは、ピクチャレベルパラメータセット及びプレフィックス補足拡張情報(supplemental enhancement information (SEI))メッセージ、又はDCI302(別名、DPS)、VPS304、SPS306、PPS308、APS、SEIメッセージなどのより高いレベルのパラメータセットに従う。
【0071】
ピクチャ314は、モノクロフォーマットのルマサンプルの配列、又はルマサンプルの配列と4:2:0、4:2:2、及び4:4:4カラーフォーマットのクロマサンプルの2つの対応する配列である。
【0072】
ピクチャ314は、フレーム又はフィールドであってよい。しかしながら、1つのCVS316では、全てのピクチャ314がフレームであるか、又は全てのピクチャ314がフィールドである。CVS316は、ビデオビットストリーム300内の各コーディングされたレイヤビデオシーケンス(coded layer video sequence (CLVS))のためのコーディングされたビデオシーケンスである。注目すべきことに、ビデオビットストリーム300が単一レイヤを含む場合、CVS316とCLVSは同じである。(例えば、
図1及び2に示されるように)ビデオビットストリーム300が複数のレイヤを含むときのみ、CVS316とCLVSは異なる。
【0073】
各ピクチャ314は、1つ以上のスライス318を含む。スライス318は、整数個の完全なタイル又はピクチャ(例えば、ピクチャ314)のタイル内の整数個の連続する完全なコーディングツリーユニット(coding tree unit (CTU))行である。各スライス318は、単一のNALユニット(例えば、VCL NALユニット)に排他的に含まれる。タイル(図示しない)は、ピクチャ(例えば、ピクチャ314)内の特定のタイル列及び特定のタイル行の中で長方形領域のCTUである。CTU(図示しない)は、ルマサンプルのコーディングツリーブロック(coding tree block (CTB))、3つのサンプルアレイを有するピクチャのクロマサンプルの2個の対応するCTB、又はモノクロピクチャ又は3つの別個の色平面及びサンプルをコーディングするために使用されるシンタックス構造を用いてコーディングされるピクチャのサンプルのCTBである。CTB(図示しない)は、何らかの値のNについてサンプルのN×Nブロックであってよい。その結果、CTBへの成分の分割はパーティションである。ブロック(図示しない)は、サンプル(例えば、ピクセル)のM×N(M列×N行)アレイ、又は変換係数のM×Nアレイである。
【0074】
実施形態では、各スライス318はスライスヘッダ320を含む。スライスヘッダ320は、スライス318内で表現されるタイルの中の全部のタイル又はCTU行に関連するデータ要素を含むコーディングされたスライス318の一部である。つまり、スライスヘッダ320は、例えば、スライスタイプ、どの参照ピクチャが使用されるかなど、スライス318に関する情報を含む。
【0075】
ピクチャ314、及びそれらのスライス318は、符号化又は復号される画像又はビデオに関連するデータを含む。従って、ピクチャ314、及びそれらのスライス318は、単に、ビットストリーム300内で運ばれるペイロード又はデータと呼ばれてもよい。
【0076】
ビットストリーム300はまた、SDI SEIメッセージ322、マルチビュー取得情報(multiview acquisition information (MAI))SEIメッセージ326、深度表現情報(depth representation information (DRI))SEIメッセージ328、及びアルファチャネル情報(alpha channel information (ACI))SEIメッセージ330などの1つ以上のSEIメッセージを含む。SDI SEIメッセージ322、MAI SEIメッセージ326、DRI SEIメッセージ328、及びACI SEIメッセージ330は、各々、後述するように、種々のシンタックス要素324を含むことができる。SEIメッセージには、補足拡張情報が含まれる。SEIメッセージには、ビデオピクチャのタイミングを示す様々な種類のデータや、コーディングされたビデオの様々なプロパティ、又はコーディングされたビデオの使用方法や拡張方法を説明するデータを含めることができる。また、任意のユーザ定義データを含めることができるSEIメッセージも定義されている。SEIメッセージはコア復号処理には影響しないが、ビデオがどのように後処理又は表示されるよう推奨されるかを示すことができる。ビデオコンテンツの解釈のための色空間の指示のようなビデオユーザビリティ情報(video usability information (VUI))では、ビデオコンテンツの幾つかの他の高レベルの特性が伝達される。高ダイナミックレンジや広色域ビデオのような新しい色空間が開発されるにつれ、それらを示すために追加のVUI識別子が追加されてきた。
【0077】
当業者は、ビットストリーム300が、実際の用途における他のパラメータ及び情報を含んでもよいことを理解するであろう。
【0078】
SDI SEIメッセージ322のシンタックス及びセマンティクスを以下に示す。
【0079】
【0080】
SDI SEIメッセージセマンティクス
【0081】
スケーラビリティ次元(scalability dimension)SEIメッセージは、bitstreamInScope(以下で定義される)の各レイヤのスケーラビリティ次元情報を提供する。例えば、1)bitstreamInScopeがマルチビュービットストリームの場合、各レイヤのビューID、2)bitstreamInScope内の1つ以上のレイヤによって伝送される補足情報(深度やアルファなど)がある場合、各レイヤの補足ID、である。
【0082】
bitstreamInScopeは、復号順で、現在のスケーラビリティ次元SEIメッセージを含むAUと、それに続く0個以上のAUとを含むAUのシーケンスである。これには、スケーラビリティ次元SEIメッセージを含む任意の後続のAUまでの、しかし該任意の後続のAUを含まない、全ての後続のAUが含まれる。
【0083】
sdi_max_layers_minus1に1を加えたものは、bitstreamInScope内のレイヤの最大数を示す。
【0084】
sdi_multiview_info_flagが1に等しい場合は、bitstreamInScopeがマルチビュービットストリームである可能性があり、sdi_view_id_val[]シンタックス要素がスケーラビリティ次元SEIメッセージ内に存在することを示す。sdi_multiview_flagが0に等しい場合は、bitstreamInScopeがマルチビュービットストリームではなく、sdi_view_id_val[]シンタックス要素がスケーラビリティ次元SEIメッセージに存在しないことを示す。
【0085】
sdi_auxiliary_info_flagが1に等しい場合は、bitstreamInScopeの1つ以上のレイヤによって運ばれる補足情報がある可能性があり、sdi_aux_id[]シンタックス要素がスケーラビリティ次元SEIメッセージ内に存在することを示す。sdi_auxiliary_info_flagが0に等しい場合は、bitstreamInScopeの1つ以上のレイヤによって運ばれる補足情報がなく、sdi_aux_id[]シンタックス要素がスケーラビリティ次元SEIメッセージ内に存在しないことを示す。
【0086】
sdi_view_id_lenは、sdi_view_id_val[i]シンタックス要素の長さをビット単位で指定する。
【0087】
sdi_view_id_val[i]は、bitstreamInScopeのi番目のレイヤのビューIDを指定する。sdi_view_id_val[i]シンタックス要素の長さは、sdi_view_id_len個のビットである。存在しない場合、sdi_view_id_val[i]の値は0に等しいと推定される。
【0088】
sdi_aux_id[i]が0に等しい場合は、bitstreamInScopeのi番目のレイヤに補足ピクチャが含まれていないことを示す。sdi_aux_id[i]が0より大きい場合は、表1で指定されているように、bitstreamInScopeのi番目のレイヤにある補足ピクチャの種類を示す。
【表2】
【0089】
注1:両端を含む128~159の範囲のsdi_aux_idに関連付けられた補足ピクチャの解釈は、sdi_aux_idの値以外の方法で指定される。
【0090】
sdi_aux_id[i]は、この仕様のこのバージョンに準拠しているビットストリームの場合は、両端を含む0~2、又は両端を含む128~159の範囲とする。sdi_aux_id[i]の値は、この仕様のこのバージョンでは、両端を含む0~2、又は両端を含む128~159の範囲とするが、デコーダは、両端を含む0~255の範囲のsdi_aux_id[i]の値を許可するものとする。
【0091】
MAI SEIメッセージ326のシンタックス及びセマンティクスを以下に示す。
【0092】
【0093】
MAI SEIメッセージセマンティクス
【0094】
マルチビュー取得情報(MAI)SEIメッセージは、取得環境の各種パラメータを指定する。具体的には、固有及び外部カメラパラメータを指定する。これらのパラメータは、3Dディスプレイでレンダリングする前に復号されたビューを処理するために使用できる。
【0095】
以下のセマンティクスは、マルチビュー取得情報SEIメッセージが適用されるnuh_layer_id値のうち、各nuh_layer_idtargetLayerIdに個別に適用される。
【0096】
存在する場合、現在のレイヤに適用されるマルチビュー取得情報SEIメッセージは、現在のレイヤのCLVSの第1画像であるイントラランダムアクセス画像(intra random access picture (IRAP))ピクチャを含むアクセスユニットに含まれるものとする。SEIメッセージでシグナリングされた情報は、CLVSに適用される。
【0097】
マルチビュー取得情報SEIメッセージがスケーラブルな入れ子SEIメッセージに含まれている場合、スケーラブルな入れ子SEIメッセージのシンタックス要素sn_ols_flagとsn_all_layers_flagは0に等しいものとする。
【0098】
変数numViewsMinus1は、以下のように導出される:
・マルチビュー取得情報SEIメッセージがスケーラブルな入れ子SEIメッセージに含まれていない場合、numViewsMinus1は0に等しく設定される。
・それ以外の場合(マルチビュー取得情報SEIメッセージがスケーラブルな入れ子SEIメッセージに含まれている場合)、numViewsMinus1はsn_num_layers_minus1に等しく設定される。
【0099】
マルチビュー取得情報SEIメッセージにマルチビュー取得情報が含まれている幾つかのビューが存在しない場合がある。
【0100】
次のセマンティクスでは、インデックスiは、nuh_layer_idがNestingLayerId[i]と等しいレイヤに適用されるシンタックス要素と変数を参照する。
【0101】
外部カメラパラメータは、画像の左上角が原点、つまり(0、0)座標であり、画像の他の角が非負の座標を持つ右手座標系に従って指定される。これらの仕様では、3次元の世界点wP=[xyz]が、次式に従ってi番目のカメラの2次元のカメラポイントcP[i]=[uv1]にマッピングされる。
【数1】
ここで、A[i]は固有のカメラパラメータ行列を表し、R
-1[i]は回転行列R[i]の逆を表し、T[i]は変換ベクトルを表し、s(スカラ値)はcP[i]の3番目の座標を1に等しくするために選択された任意のスケール因子である。要素A[i]、R[i]、及びT[i]は、このSEIメッセージでシグナリングされるシンタックス要素に従って決定され、以下のように指定される。
【0102】
intrinsic_param_flagが1に等しい場合は、固有カメラパラメータの存在を示す。intrinsic_param_flagが0に等しい場合は、固有カメラパラメータの不存在を示す。
【0103】
extrinsic_param_flagが1に等しい場合は、外部カメラパラメータの存在を示す。extrinsic_param_flagが0に等しい場合は、外部カメラパラメータの不存在を示す。
【0104】
intrinsic_params_equal_flagが1に等しい場合は、固有カメラパラメータが全てのカメラで等しく、固有カメラパラメータのセットが1つだけ存在することを示す。intrinsic_params_equal_flagが0に等しい場合は、固有カメラパラメータがカメラごとに異なり、固有カメラパラメータのセットがカメラごとに存在することを示す。
【0105】
prec_focal_lengthは、2-prec_focal_lengthで与えられるfocal_length_x[i]とfocal_length_y[i]の最大許容トランケーション誤差の指数を指定する。prec_focal_lengthの値は、両端を含む0~31の範囲とする。
【0106】
prec_principal_pointは、2-prec_principal_pointで与えられるprincipal_point_x[i]とprincipal_point_y[i]の最大許容トランケーション誤差の指数を指定する。prec_principal_pointの値は、両端を含む0~31の範囲とする。
【0107】
prec_skew_factorは、2-prec_skew_factorで与えられるスキュー係数の最大許容トランケーション誤差の指数を指定する。prec_skew_factorの値は、両端を含む0~31の範囲とする。
【0108】
0に等しいsign_focal_length_x[i]は、水平方向のi番目のカメラの焦点距離の符号が正であることを示す。1に等しいsign_focal_length_x[i]は、符号が負であることを示す。
【0109】
exponent_focal_length_x[i]は、i番目のカメラの水平方向の焦点距離の指数部を指定する。exponent_focal_length_x[i]の値は、両端を含む0~62の範囲とする。値63は、ITU-T|ISO/IECによる将来の使用のために予約されている。デコーダは、値63を未定義の焦点距離を示すものとして扱うものとする。
【0110】
mantissa_focal_length_x[i]は、i番目のカメラの水平方向の焦点距離の仮数部を指定する。mantissa_focal_length_x[i]シンタックス要素の長さは可変であり、次のように決定される。
・exponent_focal_length_x[i]が0に等しい場合、長さはMax(0、prec_focal_length-30)である。
・それ以外の場合(exponent_focal_length_x[i]が両端を含まない0~63の範囲である)、長さはMax(0、exponent_focal_length_x[i]+prec_focal_length-31)になる。
【0111】
sign_focal_length_x[i]が0に等しいことは、垂直方向のi番目のカメラの焦点距離の符号が正であることを示す。sign_focal_length_y[i]が1に等しいことは、符号が負であることを示す。
【0112】
exponent_focal_length_y[i]は、i番目のカメラの垂直方向の焦点距離の指数部を指定する。exponent_focal_length_y[i]の値は、両端を含む0~62の範囲とする。値63は、ITU-T|ISO/IECによる将来の使用のために予約されている。デコーダは、値63を不特定の焦点距離を示すものとして扱うものとする。
【0113】
mantissa_focal_length_y[i]は、i番目のカメラの垂直方向の焦点距離の仮数部を指定する。
【0114】
mantissa_focal_length_y[i]シンタックス要素の長さは可変であり、次のように決定される。
・exponent_focal_length_y[i]が0に等しい場合、長さはMax(0、prec_focal_length-30)である。
・それ以外の場合(exponent_focal_length_y[i]が両端を含まない0~63の範囲である)、長さはMax(0、exponent_focal_length_y[i]+prec_focal_length-31)になる。
【0115】
0に等しいsign_focal_length_x[i]は、水平方向のi番目のカメラの主点の符号が正であることを示す。1に等しいsign_principal_point_x[i]は、符号が負であることを示す。
【0116】
exponent_principal_point_x[i]は、i番目のカメラの水平方向の主点の指数部を指定する。exponent_principal_point_x[i]の値は、両端を含む0~62の範囲とする。値63は、ITU-T|ISO/IECによる将来の使用のために予約されている。デコーダは、値63を未定義の主点を示すものとして扱うものとする。
【0117】
mantissa_principal_point_x[i]は、水平方向のi番目のカメラの主点の仮数部を指定する。mantissa_principal_point_x[i]シンタックス要素のビット単位の長さは可変であり、次のように決定される。
・exponent_principal_point_x[i]が0に等しい場合、長さはMax(0、prec_principal_point-30)である。
・それ以外の場合(exponent_principal_point_x[i]が両端を含まない0~63の範囲である)、長さはMax(0、exponent_principal_point_x[i]+prec_principal_point-31)になる。
【0118】
sign_principal_point_y[i]が0の場合は、i番目のカメラの垂直方向の主点の符号が正であることを示す。sign_principal_point_y[i]が1の場合は、符号が負であることを示す。
【0119】
exponent_principal_point_y[i]は、i番目のカメラの垂直方向の主点の指数部を指定する。exponent_principal_point_y[i]の値は、両端を含む0~62の範囲とする。値63は、ITU-T|ISO/IECによる将来の使用のために予約されている。デコーダは、値63を不特定の主点を示すものとして扱うものとする。
【0120】
mantissa_principal_point_y[i]は、i番目のカメラの垂直方向の主点の仮数部を指定する。mantissa_principal_point_y[i]シンタックス要素のビット単位の長さは可変であり、次のように決定される。
・exponent_principal_point_y[i]が0に等しい場合、長さはMax(0、prec_principal_point-30)である。
・それ以外の場合(exponent_principal_point_y[i]が両端を含まない0~63の範囲である)、長さはMax(0、exponent_principal_point_y[i]+prec_principal_point-31)になる。
【0121】
sign_skew_factor[i]が0に等しい場合は、i番目のカメラのスキュー係数の符号が正であることを示す。
【0122】
sign_skew_factor[i]が1に等しい場合は、符号が負であることを示す。
【0123】
exponent_skew_factor[i]は、i番目のカメラのスキュー係数の指数部を指定する。exponent_skew_factor[i]の値は、両端を含む0~62の範囲とする。値63は、ITU-T|ISO/IECによる将来の使用のために予約されている。デコーダは、値63を未定義のスキュー係数を示すものとして扱うものとする。
【0124】
mantissa_skew_factor[i]は、i番目のカメラのスキュー係数の仮数部を指定する。mantissa_skew_factor[i]シンタックス要素の長さは可変であり、次のように決定される。
・exponent_skew_factor[i]が0に等しい場合、長さはMax(0、prec_skew_factor-30)になる。
・それ以外の場合(exponent_skew_factor[i]が両端を含まない0~63の範囲である)、長さはMax(0、exponent_skew_factor[i]+prec_skew_factor-31)になる。
【0125】
i番目のカメラの固有行列A[i]は次式で表される:
【数2】
【0126】
prec_rotation_paramは、2-prec_rotation_paramによって与えられるr[i][j][k]の最大許容トランケーション誤差の指数を指定する。prec_rotation_paramの値は、両端を含む0~31の範囲とする。
【0127】
prec_translation_paramは、2-prec_translation_paramで与えられるt[i][j]の最大許容トランケーション誤差の指数を指定する。prec_translation_paramの値は、両端を含む0~31の範囲とする。
【0128】
sign_r[i][j][k]が0に等しいことは、i番目のカメラの回転行列の(j、k)成分の符号が正であることを示す。sign_r[i][j][k]が1に等しいことは、符号が負であることを示す。
【0129】
exponent_r[i][j][k]は、i番目のカメラの回転行列の(j、k)成分の指数部を指定する。exponent_r[i][j][k]の値は、両端を含む0~62の範囲とする。値63は、ITU-T|ISO/IECによる将来の使用のために予約されている。デコーダは、値63を未定義の回転行列を示すものとして扱うものとする。
【0130】
mantissa_r[i][j][k]は、i番目のカメラの回転行列の(j、k)成分の仮数部を指定する。mantissa_r[i][j][k]シンタックス要素のビット単位の長さは可変であり、次のように決定される。
・exponent_r[i]が0に等しい場合、長さはMax(0、prec_rotation_param-30)になる。
・それ以外の場合(exponent_r[i]が両端を含まない0~63の範囲である)、長さはMax(0、exponent_r[i]+prec_rotation_param-31)になる。
【0131】
i番目のカメラの回転行列R[i]は次式で表される:
【数3】
【0132】
sign_t[i][j]が0に等しい場合は、i番目のカメラの変換ベクトルのj番目の成分の符号が正であることを示す。sign_t[i][j]が1に等しいことは、符号が負であることを示す。
【0133】
exponent_t[i][j]は、i番目のカメラの変換ベクトルのj番目の成分の指数部を指定する。exponent_t[i][j]の値は、両端を含む0~62の範囲とする。値63は、ITU-T|ISO/IECによる将来の使用のために予約されている。デコーダは、値63を未定義の変換ベクトルを示すものとして扱うものとする。
【0134】
mantissa_t[i][j]は、i番目のカメラの変換ベクトルのj番目の成分の仮数部を指定する。mantissa_t[i][j]シンタックス要素のビット単位の長さvは可変であり、次のように決定される。
・exponent_t[i]が0に等しい場合、長さvはMax(0、prec_translation_param-30)に等しく設定される。
・その他の場合(0<exponent_t[i]<63)、長さvはMax(0、exponent_t[i]+prec_translation_param-31)に等しく設定される。
【0135】
i番目のカメラの変換ベクトルT[i]は次式で表される:
【数4】
【0136】
カメラパラメータ変数と対応するシンタックス要素との関連付けは、表ZZで指定されている。固有行列と回転行列、及び変換ベクトルの各成分は、変数xとして次のように計算されるとき、表ZZで指定された変数から取得される:
・eが両端を含まない0~63の範囲にある場合、xは(-1)s*2e-31*(1+n÷2v)に等しく設定される。
・その他の場合(eが0に等しい)、xは(-1)s*2-(30+v)*nに等しく設定される。
【0137】
注:上記の仕様は、IEC60559:1989に記載されている仕様と同様である。
【表4】
【0138】
DRI SEIメッセージ328のシンタックス及びセマンティクスを以下に示す。
【0139】
【0140】
DRI SEIメッセージセマンティクス
【0141】
深度表現情報SEIメッセージのシンタックス要素は、ビュー合成などの3Dディスプレイでレンダリングする前に、復号された主ピクチャと補足ピクチャを処理するために、AUX_DEPTHタイプの補足ピクチャの様々なパラメータを指定する。具体的には、深度ピクチャの深度又は視差の範囲が指定される。
【0142】
存在する場合、深度表現情報SEIメッセージは、AUX_DEPTHと等しいsdi_aux_id値を持つ1つ以上のレイヤに関連付けられるものとする。以下のセマンティクスは、深度表現情報SEIメッセージが適用されるnuh_layer_id値のうち、各nuh_layer_id targetLayerIdに個別に適用される。
【0143】
存在する場合、深度表現情報SEIメッセージは、任意のアクセスユニットに含めることができる。存在する場合は、targetLayerIdと等しいnuh_layer_idを持つコーディングされたピクチャがIRAPピクチャであるアクセスユニット内のランダムアクセスの目的で、SEIメッセージを含めることが推奨される。
【0144】
AUX_DEPTHと等しいsdi_aux_id[targetLayerId]を持つ補足ピクチャの場合、関連付けられている主ピクチャは、存在する場合、0と等しいsdi_aux_id[nuhLayerIdB]を持つ同じアクセスユニット内のピクチャである。これにより、ScalabilityId[LayerIdxInVps[targetLayerId]][j]は、両端を含む0~2、及び両端を含む4~15の範囲のjの全ての値に対してScalabilityId[LayerIdxInVps[nuhLayerIdb]][j]と等しくなる。
【0145】
SEIメッセージ内で示されている情報は、SEIメッセージを含むアクセスユニットから、targetLayerIdに適用可能な深度表現情報SEIメッセージ又はtargetLayerIdと等しいnuh_layer_idのCLVSの末尾のうち復号順でいずれか早い方に関連付けられている復号順で次のピクチャまでの、ただし該次のピクチャを除く、targetLayerIdと等しいnuh_layer_idを持つ全てのピクチャに適用される。
【0146】
z_near_flagが0に等しいことは、最も近い深度値を指定するシンタックス要素がシンタックス構造に存在しないことを指定する。z_near_flagが1に等しいことは、最も近い深度値を指定するシンタックス要素がシンタックス構造に存在することを指定する。
【0147】
z_far_flagが0に等しいことは、最も遠い深度値を指定するシンタックス要素がシンタックス構造に存在しないことを指定する。z_far_flagが1に等しいことは、最も遠い深度値を指定するシンタックス要素がシンタックス構造に存在することを指定する。
【0148】
d_min_flagが0に等しいことは、最小視差値を指定するシンタックス要素がシンタックス構造に存在しないことを指定する。d_min_flagが1に等しいことは、最小視差値を指定するシンタックス要素がシンタックス構造に存在することを指定する。
【0149】
d_max_flagが0に等しいことは、最大視差値を指定するシンタックス要素がシンタックス構造に存在しないことを指定する。d_max_flagが1に等しいことは、最大視差値を指定するシンタックス要素がシンタックス構造に存在することを指定する。
【0150】
depth_representation_typeは、表Y1で指定されているように、補足ピクチャの復号ルマサンプルの表現定義を指定する。表Y1では、視差は2つのテクスチャビュー間の水平方向の変位を指定し、Z値はカメラからの距離を指定する。
【0151】
変数maxValは(1<<(8+sps_bitdepth_minus8))-1に等しく設定される。ここで、sps_bitdepth_minus8は、targetLayerIdと等しいnuh_layer_idを持つレイヤのアクティブなSPSに含まれるか、又はそのSPSに対して推定される値である。
【表6】
【0152】
disparity_ref_view_idはViewId値を指定し、ViewId値に対して視差値が導出される。
【0153】
注1:disparity_ref_view_idは、d_min_flagが1に等しいか又はd_max_flagが1に等しい場合にのみ存在し、depth_representation_type値が1及び3に等しい場合に有用である。
【0154】
表Y2のx列の変数は、表Y2のs、e、n及びv列の各々の変数から次のように導出される:
・eが両端を含まない0~127の範囲にある場合、xは(-1)s*2e-31*(1+n÷2v)に等しく設定される。
・その他の場合(eが0に等しい)、xは(-1)s*2-(30+v)*nに等しく設定される。
【0155】
注1:上記の仕様は、IEC60559:1989に記載されている仕様と同様である。
【表7】
【0156】
DMin値とDMax値は、存在する場合、補足ピクチャのViewIdと等しいViewIdを持つコーディングされたピクチャのルマサンプル幅の単位で指定される。
【0157】
ZNear値とZFar値の単位は、存在する場合は、同一であるが未定義である。
【0158】
depth_nonlinear_representation_num_minus1に2を加えた値は、視差の観点から均等に量子化されるスケールに深度値をマッピングするための区分線形セグメントの数を指定する。
【0159】
depth_nonlinear_representation_model[i]は、両端を含む0~depth_nonlinear_representation_num_minus1+2の範囲のiに対して、視差の観点から均等に量子化されるスケールに補足ピクチャの復号されたルマサンプル値をマッピングするための区分線形セグメントを指定する。depth_nonlinear_representation_model[0]とdepth_nonlinear_representation_model[depth_nonlinear_representation_num_minus1+2]の値は、両方とも0に等しいと推定される。
【0160】
注2:depth_representation_typeが3に等しい場合、補足ピクチャには非線形変換された深度サンプルが含まれる。変数DepthLUT[i]は、以下に規定されるように、復号された深度サンプル値を非線形表現から線形表現、すなわち均等に量子化された視差値に変換するために使用される。この変換の形状は、2次元線形視差から非線形視差空間における線分近似によって定義される。曲線の第1ノード(0、0)と最後のノード(maxVal、maxVal)は事前に定義されている。追加のノードの位置は、直線曲線からの偏差(depth_nonlinear_representation_model[i])の形式で送信される。これらの偏差は、nonlinear_depth_representation_num_minus1の値に依存する間隔で、両端を含む0~maxValの範囲全体に一様に分布する。
【0161】
変数DepthLUT[i]は、両端を含む0~maxValまでの範囲のiについて、次のように指定される:
【数5】
【0162】
depth_representation_typeが3に等しい場合、DepthLUT[dS]は、両端を含む0~maxValの範囲の補足ピクチャの全ての復号されたルマサンプル値dSに対して、両端を含む0~maxValの範囲に均等に量子化された視差を表す。
【0163】
シンタックス構造は、深度表現情報SEIメッセージ内の要素の値を指定する。
【0164】
シンタックス構造は、浮動小数点値を表すOutSign、OutExp、OutMantissa、及びOutManLen変数の値を設定する。シンタックス構造が別のシンタックス構造に含まれている場合、変数名OutSign、OutExp、OutMantissa、及びOutManLenは、シンタックス構造が含まれているときに使用される変数名により置き換えられるものと解釈される。
【0165】
da_sign_flagが0に等しい場合は、浮動小数点値の符号が正であることを示す。da_sign_flagが1に等しい場合は、符号が負であることを示す。変数OutSignは、da_sign_flagに等しく設定される。
【0166】
da_exponentは、浮動小数点値の指数を指定する。da_exponentの値は、両端を含む0~27-2の範囲であるものとする。値27-1は、ITU-T|ISO/IECによる将来の使用のために予約されている。デコーダは、値27-1を未定義の値を示すものとして扱うものとする。変数OutExpは、da_exponentに等しく設定される。
【0167】
da_mantissa_len_minus1に1を加えた値は、da_mantissaシンタックス要素のビット数を指定する。da_mantissa_len_minus1の値は、両端を含む0~31の範囲であるものとする。変数OutManLenは、da_mantissa_len_minus1+1に等しく設定される。
【0168】
da_mantissaは、浮動小数点値の仮数を指定する。変数OutMantissaは、da_mantissaに等しく設定される。
【0169】
ACI SEIメッセージ300のシンタックス及びセマンティクスを以下に示す。
【0170】
【0171】
ACI SEIメッセージセマンティクス
【0172】
アルファチャネル情報SEIメッセージは、アルファチャネルサンプル値、及びタイプAUX_ALPHAの補足ピクチャ及び1つ以上の関連付けられた主ピクチャにコーディングされた復号アルファプレーンに適用される後処理に関する情報を提供する。
【0173】
nuhLayerIdAと等しいnuh_layer_id及びAUX_ALPHAと等しいsdi_aux_id[nuhLayerIdA]を持つ補足ピクチャの場合、関連付けられている主ピクチャは、存在する場合、0と等しいsdi_aux_id[nuhLayerIdB]を持つ同じアクセスユニット内のピクチャである。これにより、ScalabilityId[LayerIdxInVps[nuhLayerIdA]][j]は、両端を含む0~2、及び両端を含む4~15の範囲のjの全ての値に対してScalabilityId[LayerIdxInVps[nuhLayerIdB]][j]と等しくなる。
【0174】
nuhLayerIdAに等しいnuh_layer_id及びAUX_ALPHAと等しいsdi_aux_id[nuhLayerIdA]を持つ補足ピクチャpicAが、アクセスユニットに含まれている場合、picAのアルファチャネルサンプル値は、次の条件のうちの1つ以上が真(true)になるまで出力順で保持される。
・nuhLayerIdAと等しいnuh_layer_idを持つ、出力順で次のピクチャが出力される。
・補足ピクチャpicAを含むCLVSが終了する。
・ビットストリームが終了する。
・nuhLayerIdAと等しいnuh_layer_idを持つ補足ピクチャレイヤの関連付けられた主レイヤのCLVSが終了する。
【0175】
以下のセマンティクスは、アルファチャネル情報SEIメッセージが適用されるnuh_layer_id値のうち、各nuh_layer_id targetLayerIdに個別に適用される。
【0176】
alpha_channel_cancel_flagが1に等しい場合は、アルファチャネル情報SEIメッセージが、現在のレイヤに適用される、出力順で任意の前のアルファチャネル情報SEIメッセージの持続性をキャンセルすることを示す。alpha_channel_cancel_flagが0に等しい場合は、アルファチャネル情報が続くことを示す。
【0177】
アルファチャネル情報SEIメッセージが関連付けられているピクチャをcurrPicにする。アルファチャネル情報SEIメッセージのセマンティクスは、次の条件のうちの1つ以上が真になるまで、出力順で現在のレイヤに対して保持される。
・現在のレイヤの新しいCLVSが開始される。
・ビットストリームが終了する。
・targetLayerIdと等しいnuh_layer_idを持つアルファチャネル情報SEIメッセージを含むアクセスユニット内の、targetLayerIdと等しいnuh_layer_idを持つピクチャpicBが、PicOrderCnt(currPic)よりも大きいPicOrderCnt(picB)を持って出力される。ここで、PicOrderCnt(picB)とPicOrderCnt(currPic)は、picBのピクチャオーダカウントの復号処理の呼び出しの直後に、各々picBとcurrPicのPicOrderCntVal値である。
【0178】
alpha_channel_use_idcが0に等しい場合は、アルファブレンディングの目的で、関連付けられている主ピクチャの復号されたサンプルが、復号処理からの出力後に、表示処理で補足的にコーディングされたピクチャの解釈サンプル値によって乗算される必要があることを示す。alpha_channel_use_idcが1に等しい場合は、アルファブレンディングの目的で、関連付けられている主ピクチャの復号されたサンプルが、復号処理からの出力後に、表示処理で補足的にコーディングされたピクチャの解釈サンプル値によって乗算される必要がないことを示す。alpha_channel_use_idcが2に等しい場合は、補足ピクチャの使用方法が未定義であることを示す。alpha_channel_use_idcの2より大きい値は、ITU-T|ISO/IECによる将来の使用のために予約されている。存在しないとき、alpha_channel_use_idcの値は2に等しいと推定される。
【0179】
alpha_channel_bit_depth_minus8に8を加えた値は、補足ピクチャのルマサンプル配列のサンプルのビット深度を指定する。alpha_channel_bit_depth_minus8は、両端を含む0~7の範囲内にあるものとする。alpha_channel_bit_depth_minus8は、関連する主ピクチャのbit_depth_luma_minus8と等しいものとする。
【0180】
alpha_transparent_valueは、アルファブレンディングの目的のために、主コーディングされたピクチャの関連するルマサンプルとクロマサンプルが明白である(transparent)と見なされる補足のコーディングされたピクチャルマサンプルの解釈サンプル値を指定する。alpha_transparent_valueシンタックス要素の表現に使用されるビット数は、alpha_channel_bit_depth_minus8+9である。
【0181】
alpha_opaque_valueは、アルファブレンディングの目的のために、主コーディングされたピクチャの関連するルマサンプルとクロマサンプルが不明瞭である(opaque)と見なされる補足のコーディングされたピクチャルマサンプルの解釈サンプル値を指定する。alpha_opaque_valuesyntaxelementシンタックス要素の表現に使用されるビット数は、alpha_channel_bit_depth_minus8+9である。
【0182】
alpha_channel_incr_flagが0に等しい場合は、アルファブレンディングの目的で、復号された各補足ピクチャルマサンプル値の解釈サンプル値が、復号された補足ピクチャサンプル値と等しいことを示す。alpha_channel_incr_flagが1に等しい場合は、アルファブレンディングの目的で、補足ピクチャサンプルを復号した後、Min(alpha_opaque_value、alpha_transparent_value)より大きい補足ピクチャルマサンプル値を1だけ増大して補足ピクチャサンプルの解釈サンプル値を取得し、Min(alpha_opaque_value、alpha_transparent_value)以下の補足ピクチャルマサンプル値を変更せずに、復号された補足ピクチャサンプル値の解釈サンプル値として使用する必要があることを示す。存在しないとき、alpha_channel_incr_flagの値は0に等しいと推定される。
【0183】
alpha_channel_clip_flagが0と等しい場合は、復号された補足ピクチャの解釈サンプル値を取得するためにクリッピング操作が適用されないことを示す。alpha_channel_clip_flagが1と等しい場合は、alpha_channel_clip_type_flagシンタックス要素によって記述されたクリッピング処理に従って、復号された補足ピクチャの解釈サンプル値が変更されることを示す。存在しないとき、alpha_channel_clip_flagの値は0に等しいと推定される。
【0184】
alpha_channel_clip_type_flagが0に等しい場合は、アルファブレンディングの目的で、補足ピクチャサンプルを復号した後、(alpha_opaque_value-alpha_transparent_value)/2より大きい補足ピクチャルマサンプル値をalpha_opaque_valueに等しく設定して補足ピクチャルマサンプルの解釈サンプル値を取得し、(alpha_opaque_value-alpha_transparent_value)/2以下の補足ピクチャルマサンプル値をalpha_transparent_valueに等しく設定して、補足ピクチャルマサンプル値の解釈サンプル値を取得することを示す。alpha_channel_clip_type_flagが1に等しい場合は、アルファブレンディングの目的で、補足ピクチャサンプルを復号した後、alpha_opaque_valueより大きい補足ピクチャルマサンプルがalpha_opaque_valueに等しく設定されて補足ピクチャルマサンプルの解釈サンプル値が取得され、alpha_transparent_value以下の補足ピクチャルマサンプルがalpha_transparent_valueに等しく設定されて補足ピクチャルマサンプルの解釈サンプル値が取得されることを示す。
【0185】
注:alpha_channel_incr_flagとalpha_channel_clip_flagの両方が1に等しい場合は、alpha_channel_clip_type_flagで指定されたクリッピング操作を最初に適用し、次にalpha_channel_incr_flagで指定された変更を適用して補足ピクチャルマサンプルの解釈サンプル値を取得する必要がある。
【0186】
残念ながら、SEIメッセージ内のスケーラビリティ次元情報、深度表現情報、及びアルファチャネル情報のシグナリングの現在の設計には、少なくとも次の問題がある。
【0187】
1)スケーラビリティ次元情報(scalability dimension information (SDI))SEIメッセージの現在の持続性範囲仕様には、以下の問題がある:SDIが示されていないAUのセットが、SDIが示されている別のAUのセットに続く場合、そのセットを示す適切な方法が存在しない。
【0188】
2)現在、存在しない場合には、sdi_view_id_val[i]の値が0に等しいと推定されることが指定されている。これは、SDI SEIメッセージが存在するコンテキストには適しているが、SDI SEIメッセージが存在しないコンテキストには適していない。この場合、ビューIDの値は想定又は推定されない。
【0189】
3)現在、シンタックス要素が存在しない場合、sdi_aux_id[i]の値は指定されない。ただし、sdi_aux_info_flagが0(SDI SEIメッセージが存在することを意味する)の場合、補足ピクチャが存在しないことを推測するには、sdi_aux_id[i]の値がiの各値に対して0に等しいと推定する必要がある。
【0190】
4)マルチビュー取得情報(multiview acquisition information (MAI))SEIメッセージは、マルチビュービットストリーム内の全てのビューの情報を伝達するため、(現在のように)レイヤ固有として指定することはできない。代わりに、範囲は、現在のCLVSに対してではなく、現在のCVSに対してである必要がある。
【0191】
5)現在、アクセスユニットがSDI SEIメッセージとMAI SEIメッセージの両方を含む場合、復号順でMAI SEIメッセージがSDI SEIメッセージの前に来ることがある。ただし、MAI SEIメッセージの存在と解釈は、SDI SEIメッセージに依存する必要がある。従って、SDI SEIメッセージが復号順で同じAU内のMAI SEIメッセージの前にあることを要求することは理にかなっている。
【0192】
6)現在、アクセスユニットにSDI SEIメッセージと深度表現情報(depth representation information (DRI))SEIメッセージの両方が含まれている場合、DRI SEIメッセージが復号順でSDI SEIメッセージの前にあることがある。ただし、DRI SEIメッセージの存在と解釈は、SDI SEIメッセージに依存する必要がある。従って、SDI SEIメッセージが復号順で同じAU内のDRI SEIメッセージの前にあることを要求することは理にかなっている。
【0193】
7)現在、アクセスユニットにSDI SEIメッセージとアルファチャネル情報(alpha channel information (ACI))SEIメッセージの両方が含まれている場合、ACI SEIメッセージが復号順でSDI SEIメッセージの前にあることがある。ただし、ACI SEIメッセージの存在と解釈は、SDI SEIメッセージに依存する必要がある。従って、SDI SEIメッセージが復号順で同じAU内のACI SEIメッセージの前にあることを要求することは理にかなっている。
【0194】
8)現在、SDI SEIメッセージはスケーラブルな入れ子SEIメッセージに含めることができる。ただし、SDI SEIメッセージには全てのレイヤの情報が含まれているため、それをスケーラブルな入れ子SEIメッセージに含めることを禁止する方が理にかなっている。
【0195】
ここでは、上記の問題の1つ以上を解決する技術を開示する。例えば、本開示は、ビットストリーム内の幾つかのSEIメッセージの特定の復号順序を指定する技術を提供する。別の例として、本開示は、特定のSEIメッセージがスケーラブルな入れ子SEIメッセージに含まれることを制限する技術を提供する。復号順序及び/又は特定のSEIメッセージがスケーラブルな入れ子SEIメッセージに含まれることを制限することにより、ビデオコーディング処理が改善される。
【0196】
上記の問題を解決するために、以下に要約する方法が開示される。技術は、一般的な概念を説明するための例として考えられるべきであり、狭義に解釈するべきではない。更に、これらの技術は任意の方法で個別に適用でき又は結合できる。
【0197】
<例1>
【0198】
問題1を解決するには、スケーラビリティ次元情報(scalability dimension information (SDI))SEIメッセージの持続性範囲仕様を次のいずれかのように指定する:
【0199】
a.SDI SEIメッセージは、復号順で、現在のAUから、内容が現在のSDI SEIメッセージと異なるSDI SEIメッセージを含む次のAU又はビットストリームの末尾まで持続する。
【0200】
b.SDI SEIメッセージの持続性範囲は、現在のCVS(すなわち、SDI SEIメッセージを含むCVS)であると指定される。
【0201】
c.復号順で現在のAUに続く現在のCVS内の少なくとも1つのAUが、SDI SEIメッセージに関連付けられている場合、SDI SEIメッセージが適用されるbitstreamInScopeは、復号順で、現在のAUと、現在のAUの後に続く、SDI SEIメッセージを含むAUまでの、しかし該AUを含まない、0個以上のAUが、全ての後続のAUと、を含むAUのシーケンスである。その他の場合、bitstreamInScopeは、復号順で、現在のAUと、現在のAUの後に続く、現在のCVS内の最後のAUまでの、該最後のAUを含む全ての後続のAUを含む0個以上のAUと、を含むAUのシーケンスである。
【0202】
d.SDI SEIメッセージシンタックスにキャンセルフラグ及び/又は持続性フラグを追加し、キャンセルフラグ及び/又は持続性フラグに基づいてSDI SEIメッセージの持続性範囲を指定する。
【0203】
<例2>
【0204】
2)1つの例では、SDI SEIメッセージがCVSのいずれかのAUに存在する場合、SDI SEIメッセージはCVSの第1AUについて存在するものと指定される。
【0205】
<例3>
【0206】
3)同じCVSに適用される全てのSDI SEIメッセージは、同じ内容を有するものと指定される。
【0207】
<例4>
【0208】
4)問題2を解決するために、sdi_multiview_info_flagが0に等しいとき、sdi_view_id_val[i]の値が0に等しいと推定されることが指定される。
【0209】
<例5>
【0210】
5)問題3を解決するために、sdi_auxiliary_info_flagが0に等しいとき、sdi_aux_id[i]の値が0に等しいと推定されることが指定される。
【0211】
<例6>
【0212】
6)問題4を解決するために、マルチビュー取得情報(multiview acquisition information (MAI))SEIメッセージは、復号順で、現在のAUから、現在のMAI SEIメッセージと内容が異なるMAI SEIメッセージを含む次のAU又はビットストリームの終わりまで、持続することが指定される。
【0213】
<例7>
【0214】
7)1つの例では、MAI SEIメッセージがCVSのいずれかのAUに存在する場合、MAI SEIメッセージはCVSの第1AUについて存在するものと指定される。
【0215】
<例8>
【0216】
8)同じCVSに適用される全てのMAI SEIメッセージは、同じ内容を有するものと指定される。
【0217】
<例9>
【0218】
9)問題5を解決するために、AUがSDI SEIメッセージとMAI SEIメッセージの両方を含む場合、SDI SEIメッセージは復号順で、MAI SEIメッセージの前にあることが指定される。
【0219】
<例10>
【0220】
10)問題6を解決するために、AUが、iの少なくとも1つの値に対してsdi_aux_id[i]が2に等しいSDI SEIメッセージと、深度表現情報(depth representation information (DRI))SEIメッセージと、の両方を含む場合、SDI SEIメッセージは復号順でDRI SEIメッセージの前にあることが指定される。
【0221】
<例11>
【0222】
11)問題7を解決するために、AUが、iの少なくとも1つの値に対してsdi_aux_id[i]が1に等しいSDI SEIメッセージと、アルファチャネル情報(alpha channel information (ACI))SEIメッセージと、の両方を含む場合、SDI SEIメッセージは、復号順でACI SEIメッセージの前にあることが指定される。
【0223】
<例12>
【0224】
12)問題8を解決するために、SDI SEIメッセージはスケーラブルな入れ子SEIメッセージに含まれないことが指定される。
【0225】
以下は、上記で要約された幾つかの態様の幾つかの例示的な実施形態である。
【0226】
この実施例は、VVCに適用することができる。追加又は変更されたほとんどの関連部分は太字で、削除された部分の一部は太字斜体で示している。編集の性質上、強調表示されないその他の変更がある場合がある。
【0227】
スケーラビリティ次元SEIメッセージセマンティクス
【0228】
スケーラビリティ次元(scalability dimension information (SDI))SEIメッセージは、bitstreamInScopeの各レイヤにSDIを提供する。例えば、1)bitstreamInScopeがマルチビュービットストリームの場合、各レイヤのビューID、2)bitstreamInScope内の1つ以上のレイヤによって伝達される補足情報(深度やアルファなど)がある場合、各レイヤの補足ID、である。
【0229】
bitstreamInScopeは、復号順で、現在のSDI SEIメッセージを含むAUと、それに続く0個以上のAUとを含むAUのシーケンスである。これには、SDI SEIメッセージを含む任意の後続のAUまでの、しかし該任意の後続のAUを含まない、全ての後続のAUが含まれる。[ここから太字開始]SDI SEIメッセージがCVSのいずれかのAUに存在する場合、SDI SEIメッセージはCVSの第1AUに存在するものとする。同じCVSに適用する全てのSDI SEIメッセージは、同じ内容を有するものとする。[ここで太字終了]
【0230】
[ここから太字開始]SDI SEIメッセージはスケーラブルな入れ子SEIメッセージに含めることができないものとする。[ここで太字終了]
【0231】
sdi_view_id_val[i]は、bitstreamInScopeのi番目のレイヤのビューIDを指定する。sdi_view_id_val[i]シンタックス要素の長さは、sdi_view_id_len_minus1+1ビットである。[ここから太字斜体開始]存在しない、[ここで太字斜体終了][ここから太字開始]sdi_multiview_info_flagが0に等しい[ここで太字終了]とき、sdi_view_id_val[i]の値は0に等しいと推定される。
【0232】
sdi_aux_id[i]が0に等しい場合は、bitstreamInScopeのi番目のレイヤに補足ピクチャが含まれていないことを示す。sdi_aux_id[i]が0より大きい場合は、表1で指定されているように、bitstreamInScopeのi番目のレイヤにある補足ピクチャの種類を示す。[ここから太字開始]sdi_auxiliary_info_flagが0に等しいとき、sdi_aux_id[i]の値は0に等しいと推定される。[ここで太字終了]
【0233】
マルチビュー取得情報SEIメッセージセマンティクス
【0234】
マルチビュー取得情報(multiview acquisition information (MAI))SEIメッセージは、取得環境の各種パラメータを指定する。具体的には、固有及び外部カメラパラメータが指定される。これらのパラメータは、3Dディスプレイでレンダリングする前に復号されたビューを処理するために使用できる。
【0235】
[ここから太字斜体開始]以下のセマンティクスは、マルチビュー取得情報SEIメッセージが適用されるnuh_layer_id値のうち、各nuh_layer_idtargetLayerIdに個別に適用される。[ここで太字斜体終了]
【0236】
[ここから太字斜体開始]存在する場合、現在のレイヤに適用されるマルチビュー取得情報SEIメッセージは、現在のレイヤのCLVSの第1ピクチャであるIRAPピクチャを含むアクセスユニットに含まれるものとする。SEIメッセージでシグナリングされた情報は、CLVSに適用される。[ここで太字斜体終了]
【0237】
[ここから太字開始]MAI SEIメッセージは、復号順で、現在のAUから、内容が現在のMAI SEIメッセージと異なるMAI SEIメッセージを含む次のAU又はビットストリームの末尾まで持続する。MAI SEIメッセージがCVSのいずれかのAUに存在する場合、MAI SEIメッセージはCVSの第1AUに存在するものとする。同じCVSに適用する全てのMAI SEIメッセージは、同じ内容を有するものとする。[ここで太字終了]
【0238】
[ここから太字開始]AUがSDI SEIメッセージとMAI SEIメッセージの両方を含む場合、SDI SEIメッセージは復号順でMAI SEIメッセージの前に来るものとする。[ここで太字終了]
【0239】
マルチビュー取得情報SEIメッセージにマルチビュー取得情報が含まれている幾つかのビューが存在しない場合がある。
【0240】
深度表現情報SEIメッセージセマンティクス
【0241】
深度表現情報(depth representation information (DRI))SEIメッセージのシンタックス要素は、ビュー合成などの3Dディスプレイでレンダリングする前に、復号された主ピクチャと補足ピクチャを処理するために、AUX_DEPTHタイプの補足ピクチャの様々なパラメータを指定する。具体的には、深度ピクチャの深度又は視差の範囲が指定される。
【0242】
[ここから太字開始]AUが、iの少なくとも1つの値に対してsdi_aux_id[i]が2に等しいSDI SEIメッセージと、DRI SEIメッセージと、の両方を含む場合、SDI SEIメッセージは、復号順でDRI SEIメッセージの前にあるものとする。[ここで太字終了]
【0243】
アルファチャネル情報SEIメッセージセマンティクス
【0244】
アルファチャネル情報(alpha channel information (ACI))SEIメッセージは、アルファチャネルサンプル値、及びタイプAUX_ALPHAの補足ピクチャ及び1つ以上の関連付けられた主ピクチャにコーディングされた復号アルファプレーンに適用される後処理に関する情報を提供する。
【0245】
[ここから太字開始]AUが、iの少なくとも1つの値に対してsdi_aux_id[i]が1に等しいSDI SEIメッセージと、ACI SEIメッセージと、の両方を含む場合、SDI SEIメッセージは、復号順でACI SEIメッセージの前にあるものとする。[ここで太字終了]
【0246】
図4は、ここに開示される種々の技術が実施され得る例示的なビデオ処理システム400を示すブロック図である。種々の実装は、ビデオ処理システム400のコンポーネントの一部又は全部を含んでよい。ビデオ処理システム400は、ビデオコンテンツを受信する入力402を含んでよい。ビデオコンテンツは、生(raw)又は非圧縮フォーマット、例えば8又は10ビットの複数成分ピクセル値で受信されてよく、或いは圧縮又は符号化フォーマットであってよい。入力402は、ネットワークインタフェース、周辺機器バスインタフェース、又はストレージインタフェースを表してよい。ネットワークインタフェースの例は、イーサネット(登録商標)、受動光ネットワーク(passive optical network (PON))等のような有線インタフェース、及び無線フィデリティ(Wireless Fidelity (Wi-Fi))又はセルラインタフェースのような無線インタフェースを含む。
【0247】
ビデオ処理システム400は、本願明細書に記載された種々のコーディング又は符号化方法を実施し得るコーディングコンポーネント404を含んでよい。コーディングコンポーネント404は、入力402からコーディングコンポーネント404の出力へのビデオの平均ビットレートを低減して、ビデオのコーディング表現を生成してよい。コーディング技術は、従って、時に、ビデオ圧縮又はビデオトランスコーディング技術と呼ばれる。コーディングコンポーネント404の出力は、コンポーネント406により表されるように、格納されるか、又は通信接続を介して送信されてよい。入力402で受信された、格納され又は通信されたビットストリーム(又はコーディングされた)表現は、コンポーネント408により、ディスプレイインタフェース410へ送信されるピクセル値又は表示可能なビデオを生成するために、使用されてよい。ビットストリーム表現からユーザに閲覧可能なビデオを生成する処理は、時に、ビデオ伸長と呼ばれる。更に、特定のビデオ処理動作は「コーディング」動作又はツールと呼ばれるが、コーディングツール又は動作は、エンコーダにおいて使用され、コーディングの結果を逆にする対応する復号ツール又は動作がデコーダにより実行されることが理解される。
【0248】
周辺機器バスインタフェース又はディスプレイインタフェースの例は、ユニバーサルシリアルバス(universal serial bus (USB))又は高解像度マルチメディアインタフェース(high definition multimedia interface (HDMI(登録商標)))又はディスプレイポート(Displayport)、等を含んでよい。ストレージインタフェースの例は、SATA(serial advanced technology attachment)、周辺機器相互接続(Peripheral Component Interconnect (PCI))、統合ドライブエレクトロニクス(Integrated Drive Electronics (IDE))インタフェース、等を含む。本願明細書に記載した技術は、移動電話機、ラップトップ、スマートフォン、又はデジタルデータ処理を実行可能な他の装置、及び/又はビデオディスプレイのような種々の電子装置に実装されてよい。
【0249】
図5は、ビデオ処理機器500のブロック図である。機器500は、ここに記載した方法のうちの1つ以上を実施するために使用されてよい。機器500は、スマートフォン、タブレット、コンピュータ、モノのインターネット(Internet of Things (IoT))受信機、等において実施されてよい。機器500は、1つ以上のプロセッサ502、1つ以上のメモリ504、及びビデオ処理ハードウェア506(別名、ビデオ処理回路)を含んでよい。プロセッサ502は、本願明細書に記載した1つ以上の方法を実施するよう構成されてよい。メモリ(複数のメモリ)504は、本願明細書に記載の方法及び技術を実施するために使用されるデータ及びコードを格納するために使用されてよい。ビデオ処理ハードウェア506は、ハードウェア回路で、本願明細書に記載した幾つかの技術を実施するために使用されてよい。幾つかの実施形態では、ハードウェア506は、部分的に又は完全にプロセッサ502、例えばグラフィックプロセッサの内部にあってよい。
【0250】
図6は、本開示の技術を利用し得る例示的なビデオコーディングシステム600を示すブロック図である。
図6に示されるように、ビデオコーディングシステム600は、ソース装置610と宛先装置620とを含んでよいソース装置610は、ビデオ符号化装置と呼ばれてよく、符号化ビデオデータを生成する。宛先装置620は、ビデオ復号装置と呼ばれてよく、ソース装置610により生成された符号化ビデオデータを復号してよい。
【0251】
ソース装置610は、ビデオソース612、ビデオエンコーダ614、及び入力/出力(I/O)インタフェース616を含んでよい。
【0252】
ビデオソース612は、ビデオキャプチャ装置のようなソース、ビデオコンテンツプロバイダからビデオデータを受信するインタフェース、及び/又はビデオデータを生成するコンピュータグラフィックシステム、又はそのようなソースの組合せを含んでよい。ビデオデータは、1つ以上のピクチャを含んでよい。ビデオエンコーダ614は、ビデオソース612からのビデオデータを符号化して、ビットストリームを生成する。ビットストリームは、ビデオデータのコーディング表現を形成するビットのシーケンスを含んでよい。ビットストリームは、コーディングピクチャ及び関連データを含んでよい。コーディングピクチャは、ピクチャのコーディング表現である。関連データは、シーケンスパラメータセット、ピクチャパラメータセット、及び他のシンタックス構造を含んでよい。I/Oインタフェース616は、変調器/復調器(モデム)及び/又は送信機を含んでよい。符号化ビデオデータは、I/Oインタフェース616を介してネットワーク630を通じて、宛先装置620へ直接送信されてよい。符号化ビデオデータは、宛先装置620によるアクセスのために、記憶媒体/サーバ640に格納されてもよい。
【0253】
宛先装置620は、I/Oインタフェース626、ビデオデコーダ624、及びディスプレイ装置622を含んでよい。
【0254】
I/Oインタフェース626は、受信機及び/又はモデムを含んでよい。I/Oインタフェース626は、ソース装置610又は記憶媒体/サーバ640から符号化ビデオデータを取得してよい。ビデオデコーダ624は、符号化ビデオデータを復号してよい。ディスプレイ装置622は、復号ビデオデータをユーザに表示してよい。ディスプレイ装置622は、宛先装置620に統合されてよく、又は宛先装置620の外部にあり、外部ディスプレイ装置とインタフェースするよう構成されてよい。
【0255】
ビデオエンコーダ614及びビデオデコーダ624は、高効率ビデオコーディング(High Efficiency Video Coding (HEVC))規格、バーサタイルビデオコーディング(Versatile Video Coding (VVC))規格、及び他の現在及び/又は将来の規格のような、ビデオ圧縮規格に従い動作してよい。
【0256】
図7は、
図6に示したビデオコーディングシステム600の中のビデオエンコーダ614であってよいビデオエンコーダ700の例を示すブロック図である。
【0257】
ビデオエンコーダ700は、本開示の技術のうちのいずれか又は全部を実行するよう構成されてよい。
図7の例では、ビデオエンコーダ700は複数の機能コンポーネントを含む。本開示に記載した技術は、ビデオエンコーダ700の種々のコンポーネントの間で共有されてよい。幾つかの例では、プロセッサは、本開示に記載した技術のうちのいずれか又は全部を実行するよう構成されてよい。
【0258】
ビデオエンコーダ700の機能コンポーネントは、パーティションユニット701、モード選択ユニット703と動き推定ユニット704と動き補償ユニット705とイントラ予測ユニット706とを含んでよい予測ユニット702、残差生成ユニット707、変換ユニット708、量子化ユニット709、逆量子化ユニット710、逆変換ユニット711、再構成ユニット712、バッファ713、及びエントロピー符号化ユニット714を含んでよい。
【0259】
他の例では、ビデオエンコーダ700は、より多くの、より少ない、又は異なる機能コンポーネントを含んでよい。例では、予測ユニット702は、イントラブロックコピー(intra block copy (IBC))ユニットを含んでよい。IBCユニットは、IBCモードで予測を実行してよく、IBCモードでは少なくとも1つの参照ピクチャが現在ビデオブロックの位置するピクチャである。
【0260】
更に、動き推定ユニット704及び動き補償ユニット705のような幾つかのコンポーネントは、高度に統合されてよいが、説明の目的で
図7の例では別個に表される。
【0261】
パーティションユニット701は、ピクチャを1つ以上のビデオブロックにパーティションする。
図6のビデオエンコーダ614及びビデオデコーダ624は、種々のビデオブロックサイズをサポートしてよい。
【0262】
モード選択ユニット703は、コーディングモード、イントラ又はインターのうちの1つを、例えば誤差結果に基づき選択し、結果として生じたイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成するために残差生成ユニット707に、及び参照ピクチャとして使用するために符号化ブロックを再構成するために再構成ユニット712に提供してよい。幾つかの例では、モード選択ユニット703は、予測がインター予測信号及びイントラ予測信号に基づく結合イントラ及びインター予測(combination of intra- and inter-prediction (CIIP))モードを選択することができる。モード選択ユニット703は、インター予測の場合に、ブロックについて動きベクトルの解像度(例えば、サブピクセル又は整数ピクセル精度)を選択してもよい。
【0263】
現在ビデオブロックに対してインター予測を実行するために、動き推定ユニット704は、バッファ713からの1つ以上の参照フレームを現在ビデオブロックと比較することにより、現在ビデオブロックについて動き情報を生成してよい。動き補償ユニット705は、動き情報及び現在ビデオブロックに関連するピクチャ以外のバッファ713からのピクチャの復号サンプルに基づき、現在ビデオブロックについて予測ビデオブロックを決定してよい。
【0264】
動き推定ユニット704及び動き補償ユニット705は、例えば現在ビデオブロックがIスライス、Pスライス、又はBスライスかに依存して、現在ビデオブロックについて異なる動作を実行してよい。Iスライス(又はIフレーム)は最も圧縮性が低いが、復号するために他のビデオフレームを必要としない。Sスライス(又はPフレーム)は前のフレームからのデータを使用して伸長でき、Iフレームよりも圧縮性が高い。Bスライス(又はBフレーム)は、データ参照に以前のフレームと将来のフレームの両方を使用して、最大量のデータ圧縮を得ることができる。
【0265】
幾つかの例では、動き推定ユニット704は、現在ビデオブロックについて片方向予測を実行してよく、動き推定ユニット704は、現在ビデオブロックの参照ビデオブロックについて、リスト0又はリスト1の参照ピクチャを検索してよい。動き推定ユニット704は、次に、参照ビデオブロックを含むリスト0又はリスト1内の参照ピクチャを示す参照インデックス、及び現在ビデオブロックと参照ビデオブロックとの間の空間変位を示す動きベクトルを生成してよい。動き推定ユニット704は、参照インデックス、予測方向指示子、及び動きベクトルを、現在ビデオブロックの動き情報として出力してよい。動き補償ユニット705は、現在ビデオブロックの動き情報により示される参照ビデオブロックに基づき、現在ブロックの予測ビデオブロックを生成してよい。
【0266】
他の例では、動き推定ユニット704は、現在ビデオブロックについて双方向予測を実行してよく、動き推定ユニット704は、現在ビデオブロックの参照ビデオブロックについてリスト0内の参照ピクチャを検索してよく、現在ビデオブロックの別の参照ビデオブロックについてリスト1内の参照ピクチャを検索してよい。動き推定ユニット704は、次に、参照ビデオブロックを含むリスト0又はリスト1内の参照ピクチャを示す参照インデックス、及び参照ビデオブロックと現在ビデオブロックとの間の空間変位を示す動きベクトルを生成してよい。動き推定ユニット704は、現在ビデオブロックの動き情報として、参照インデックス及び現在ビデオブロックの動きベクトルを出力してよい。動き補償ユニット705は、現在ビデオブロックの動き情報により示される参照ビデオブロックに基づき、現在ビデオブロックの予測ビデオブロックを生成してよい。
【0267】
幾つかの例では、動き推定ユニット704は、デコーダの復号処理のために動き情報の完全なセットを出力してよい。
【0268】
幾つかの例では、動き推定ユニット704は、現在ビデオの動き情報の完全なセットを出力しなくてよい。むしろ、動き推定ユニット704は、別のビデオブロックの動き情報を参照して、現在ビデオブロックの動き情報をシグナリングしてよい。例えば、動き推定ユニット704は、現在ビデオブロックの動き情報が、近隣ビデオブロックの動き情報と十分に類似していることを決定してよい。
【0269】
一例では、動き推定ユニット704は、現在ビデオブロックに関連付けられたシンタックス構造の中で、現在ビデオブロックが別のビデオブロックと同じ動き情報を有することをビデオデコーダ624に示す値を示してよい。
【0270】
別の例では、動き推定ユニット704は、現在ビデオブロックに関連付けられたシンタックス構造の中で、別のビデオブロック及び動きベクトル差(motion vector difference (MVD))を識別してよい。動きベクトル差は、現在ビデオブロックの動きベクトルと示されたビデオブロックの動きベクトルとの間の差を示す。ビデオデコーダ624は、示されたビデオブロックの動きベクトル及び動きベクトル差を使用して、現在ビデオブロックの動きベクトルを決定してよい。
【0271】
上述のように、ビデオエンコーダ614は、動きベクトルを予測的にシグナリングしてよい。ビデオエンコーダ614により実施され得る予測的シグナリング技術の2つの例は、高度動きベクトル予測(advanced motion vector prediction (AMVP))及びマージモードシグナリングを含む。
【0272】
イントラ予測ユニット706は、現在ビデオブロックに対してイントラ予測を実行してよい。イントラ予測ユニット706が現在ビデオブロックに対してイントラ予測を実行するとき、イントラ予測ユニット706は、同じピクチャ内の他のビデオブロックの復号サンプルに基づき、現在ビデオブロックの予測データを生成してよい。現在ビデオブロックの予測データは、予測ビデオブロック及び種々のシンタックス要素を含んでよい。
【0273】
残差生成ユニット707は、現在ビデオブロックの予測ビデオブロックを現在ビデオブロックから減算することにより(例えば、マイナス符号により示される)、現在ビデオブロックの残差データを生成してよい。現在ビデオブロックの残差データは、現在ビデオブロック内のサンプルの異なるサンプル成分に対応する残差ビデオブロックを含んでよい。
【0274】
他の例では、例えばスキップモードでは現在ビデオブロックの残差データが存在しなくてよく、残差生成ユニット707は減算動作を実行しなくてよい。
【0275】
変換ユニット708は、現在ビデオブロックに関連付けられた残差ビデオブロックに1つ以上の変換を適用することにより、現在ビデオブロックについて1つ以上の変換係数ビデオブロックを生成してよい。
【0276】
変換ユニット708が現在ビデオブロックに関連付けられた変換係数ビデオブロックを生成した後に、量子化ユニット709は、現在ビデオブロックに関連付けられた1つ以上の量子化パラメータ(quantization parameter (QP))に基づき、現在ビデオブロックに関連付けられた変換係数ビデオブロックを量子化してよい。
【0277】
逆量子化ユニット710及び逆変換ユニット711は、各々変換係数ビデオブロックに逆量子化及び逆変換を適用して、変換係数ビデオブロックから残差ビデオブロックを再構成してよい。再構成ユニット712は、再構成残差ビデオブロックを、予測ユニット702により生成された1つ以上の予測ビデオブロックからの対応するサンプルに加算して、バッファ713に格納するために現在ビデオブロックに関連付けられた再構成ビデオブロックを生成してよい。
【0278】
再構成ユニット712がビデオブロックを再構成した後に、ループフィルタリング動作が実行されて、ビデオブロック内のビデオブロッキングアーチファクトを低減してよい。
【0279】
エントロピー符号化ユニット714は、ビデオエンコーダ700の他の機能コンポーネントからデータを受信してよい。エントロピー符号化ユニット714がデータを受信すると、エントロピー符号化ユニット714は、1つ以上のエントロピー符号化動作を実行して、エントロピー符号化データを生成し、エントロピー符号化データを含むビットストリームを出力してよい。
【0280】
図8は、
図6に示したビデオコーディングシステム600の中のビデオデコーダ624であってよいビデオデコーダ800の例を示すブロック図である。
【0281】
ビデオデコーダ800は、本開示の技術のうちのいずれか又は全部を実行するよう構成されてよい。
図8の例では、ビデオデコーダ800は複数の機能コンポーネントを含む。本開示に記載した技術は、ビデオデコーダ800の種々のコンポーネントの間で共有されてよい。幾つかの例では、プロセッサは、本開示に記載した技術のうちのいずれか又は全部を実行するよう構成されてよい。
【0282】
図8の例では、ビデオデコーダ800は、エントロピー復号ユニット801、動き補償ユニット802、イントラ予測ユニット803、逆量子化ユニット804、逆変換ユニット805、及び再構成ユニット806、及びバッファ807を含む。ビデオデコーダ800は、幾つかの例では、ビデオエンコーダ614(
図6)に関して説明した符号化経路に対して通常相互的な復号経路を実行してよい。
【0283】
エントロピー復号ユニット801は、符号化ビットストリームを読み出してよい。符号化ビットストリームは、エントロピー符号化ビデオデータ(例えば、ビデオデータの符号化ブロック)を含んでよい。エントロピー復号ユニット801は、エントロピー符号化ビデオデータを復号し、エントロピー復号ビデオデータから、動き補償ユニット802が、動きベクトル、動きベクトル制度、参照ピクチャリストインデックス、及び他の動き情報を含む動き情報を決定してよい。動き補償ユニット802は、例えば、AMVP及びマージモードシグナリングを実行することにより、このような情報を決定してよい。
【0284】
動き補償ユニット802は、場合によっては補間フィルタに基づき補間を実行することにより、動き補償ブロックを生成してよい。サブピクセル制度で使用されるべき補間フィルタの識別子は、シンタックス要素に含まれてよい。
【0285】
動き補償ユニット802は、参照ブロックのサブ整数ピクセルの補間値を計算するためにビデオブロックの符号化中にビデオエンコーダ614により使用されるような補間フィルタを使用してよい。動き補償ユニット802は、受信したシンタックス情報に従い、ビデオエンコーダ614により使用される補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成してよい。
【0286】
動き補償ユニット802は、シンタックス情報の一部を使用して、符号化ビデオシーケンスのフレーム及び/又はスライスを符号化するために使用されるブロックのサイズ、符号化ビデオシーケンスのピクチャの各マクロブロックがどのようにパーティションされるかを記述するパーティション情報、各パーティションがどのように符号化されるかを示すモード、インター符号化ブロック毎の1つ以上の参照フレーム(及び参照フレームリスト)、及び符号化ビデオシーケンスを復号するための他の情報を決定してよい。
【0287】
イントラ予測ユニット803は、例えばビットストリーム内で受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してよい。逆量子化ユニット804は、ビットストリーム内で提供され、エントロピー復号ユニット801により復号された量子化されたビデオブロック係数を逆量子化、つまり量子化解除する。逆変換ユニット805は、逆変換を適用する。
【0288】
再構成ユニット806は、残差ブロックを、動き補償ユニット802又はイントラ予測ユニット803により生成された対応する予測ブロックと加算して、復号ブロックを形成してよい。望ましい場合には、ブロックアーチファクトを除去するために復号ブロックをフィルタリングするデブロッキングフィルタも適用されてよい。復号ビデオブロックは、次に、バッファ807に格納されて、後の動き補償/イントラ予測のために参照ブロックを提供し、更にディスプレイ装置上で提示するために復号ビデオを生成する。
【0289】
図9は、本開示の実施形態によるビデオデータをコーディングする方法900である。方法900は、プロセッサ及びメモリを有するコーディング機器(例えば、エンコーダ)によって実行されてよい。方法900は、ビットストリームで情報を伝達するためにSEIメッセージを使用する場合に実施されてよい。幾つかの実施形態では、復号順は、例えば、
図1~3において左から右への方向を意味する。
【0290】
ブロック902で、コーディング機器は、アクセスユニット(AU)がスケーラビリティ次元情報(SDI)SEIメッセージとマルチビュー取得情報(MAI)SEIメッセージの両方を含むときは常に、SDI SEIメッセージが復号順でMAI SEIメッセージの前にあると決定する。実施形態では、復号順は、一般に、
図1~3において左から右である。
【0291】
ブロック904において、コーディング機器は、SDI SEIメッセージとMAI SEIメッセージに基づいて、ビデオとビデオのビットストリームとの間の変換を実行する。エンコーダで実施される場合、変換は、ビデオを受信し、ビデオをSEIメッセージを含むビットストリームに符号化することを含む。デコーダで実施される場合、変換は、SEIメッセージを含むビットストリームを受信し、SEIメッセージを含むビットストリームを復号してビデオを再構成することを含む。
【0292】
実施形態では、ビットストリームは範囲内のビットストリームであり、SDI SEIメッセージは、範囲内のビットストリーム内の最大レイヤ数を指定するSDI最大レイヤシンタックス要素(sdi_max_layers_minus1)を含む。実施形態では、範囲内のビットストリームは、復号順で、現在のAUと、後続のSDI SEIメッセージを含む任意の後続のAUまでの、しかし該任意の後続のAUを含まない、現在のAUに続くすべての後続のAUと、を含むAUのシーケンスである。実施形態では、範囲内のビットストリームは、復号順で、現在のAUと、現在のCVSの中の最後のAUまでの、該最後のAUを含む、現在のAUに続く0個以上の後続のAUと、を含むAUのシーケンスである。
【0293】
実施形態では、SDI SEIメッセージは、範囲内のビットストリームがマルチビュービットストリームであるか否かを指定するSDIマルチビュー情報フラグ(sdi_multiview_info_flag)を含む。実施形態では、マルチビュービットストリームは
図1に示すような複数のレイヤを含む。
【0294】
実施形態では、SDI SEIメッセージは、範囲内のビットストリーム内の1つ以上のレイヤにより補足情報が伝達されるか否かを指定するSDI補足情報フラグ(sdi_auxiliary_info_flag)を含む。
【0295】
実施形態では、MAI SEIメッセージは、固有カメラパラメータ及び外部カメラパラメータを指定する。実施形態では、固有カメラパラメータ及び外部カメラパラメータは形態では3次元(3D)ディスプレイ上でレンダリングする前に、復号されたビューを処理するために使用される。
【0296】
実施形態では、MAI SEIメッセージが、復号順で、現在のAUから、後続のMAI SEIメッセージを含む後続のAUまで、持続する。実施形態では、後続のMAI SEIメッセージは、MAI SEIメッセージとは異なる内容を含む。実施形態では、MAI SEIメッセージが、復号順で、現在のAUから、ビットストリームの終了まで、持続する。
【0297】
実施形態では、方法は、AUが、iの少なくとも1つの値について2に等しいsdi_aux_id[i]を有するSDI SEIメッセージと、深度表現情報(DRI)SEIメッセージと、の両方を含むときは常に、SDI SEIメッセージが、復号順で、DRI SEIメッセージの前にあることを決定するステップ、を更に含む。
【0298】
実施形態では、方法は、AUが、iの少なくとも1つの値について1に等しいsdi_aux_id[i]を有するSDI SEIメッセージと、アルファチャネル情報(ACI)SEIメッセージと、の両方を含むときは常に、SDI SEIメッセージが、復号順で、ACI SEIメッセージの前にあることを決定するステップ、を更に含む。
【0299】
実施形態では、iは、ビットストリーム内のi番目のレイヤを表す整数である。
【0300】
実施形態では、SDI SEIメッセージは、スケーラブルな入れ子SEIメッセージに含まれることを制限される。スケーラブルな入れ子SEIメッセージは、スケーラブルな入れ子SEIメッセージの中のSEIメッセージである。スケーラブルな入れ子SEIメッセージは、1つ以上の出力レイヤセット又はマルチレイヤビットストリーム内の1つ以上のレイヤに対応する複数のスケーラブルな入れ子SEIメッセージを含むメッセージである。
【0301】
実施形態では、3、133、179、180、又は205に等しいペイロードタイプを有するビットストリーム内のいずれかのSEIメッセージは、スケーラブルな入れ子SEIメッセージに含まれることを制限される。
【0302】
実施形態では、DRI SEIメッセージは、3次元(3D)ディスプレイ上でレンダリングする前に、復号されたビューを処理するためにタイプAUX_DEPTHの補足ピクチャのパラメータを指定する。
【0303】
実施形態では、ACI SEIメッセージは、アルファチャネルサンプル値、及びタイプAUX_ALPHAの補助ピクチャ及び1つ以上の関連付けられた主ピクチャにコーディングされた復号アルファプレーンに適用される後処理に関する情報を提供する。
【0304】
実施形態では、方法900は、ビデオコーディング機器によって、SDI SEIメッセージ、MAI SEIメッセージ、DRI SEIメッセージ、及びACI SEIメッセージ、のうちの1つ以上をビットストリームに符号化するステップを更に含む。
【0305】
実施形態では、方法900は、ビデオコーディング機器によって、ビットストリームを復号して、SDI SEIメッセージ、MAI SEIメッセージ、DRI SEIメッセージ、及びACI SEIメッセージ、のうちの1つ以上を取得するステップを更に含む。
【0306】
実施形態では、方法900は、本明細書に開示される他の方法の特徴又は処理の1つ以上を利用するか、又は組み込むことができる。
【0307】
幾つかの実施形態による好ましいソリューションのリストが次に提供される。
【0308】
以下のソリューションは、前の章で議論した技術の例示的な実施形態(例えば、例1)を示す。
【0309】
(項1)ビデオ処理の方法であって、
ビデオと前記ビデオのビットストリームとの間の変換を実行するステップ、を含み、
スケーラビリティ次元情報(SDI)補足拡張情報(SEI)メッセージが前記ビデオについて示され、
前記ルールが、前記SDI SEIメッセージの持続性範囲又は前記SDI SEIメッセージに対する制約を定義する、方法。
【0310】
(項2)前記ルールは、前記SDI SEIメッセージが、復号順で、現在のアクセスユニット(AU)から、前記SDI SEIメッセージと内容が異なる別のSDI SEIメッセージを含む次のAUまで又はビットストリームの末尾まで持続することを指定する、項1に記載の方法。
【0311】
(項3)前記ルールは、前記SDI SEIメッセージが、前記SDI SEIメッセージを含むコーディングされたビデオシーケンス(CVS)に対して持続することを指定する、項1に記載の方法。
【0312】
(項4)前記ルールは、前記SDI SEIメッセージが、コーディングされたビデオシーケンス(CVS)に存在する場合、前記CVSの第1アクセスユニット(AU)内に存在するという制約を定義する、項1~3のいずれかに記載の方法。
【0313】
(項5)前記ルールは、コーディングされたビデオシーケンス内の全てのSDI SEIメッセージが、同一の内容を有するという制約を定義する、項1~4のいずれかに記載の方法。
【0314】
(項6)前記ルールは、前記SDI SEIメッセージの識別子の値が、(a)前記ビットストリーム内のマルチビュー情報の不存在を示すフラグ、又は(b)前記ビットストリーム内の補足情報の不存在を示すフラグに応答して、0であると推定されるという制約を指定する、項1~5のいずれかに記載の方法。
【0315】
(項7)前記ルールは、前記SDI SEIメッセージがスケーラブルな入れ子SEIメッセージ内に存在することが許されないという制約を指定する、項1~6のいずれかに記載の方法。
【0316】
(項8)ビデオ処理の方法であって、
ビデオと前記ビデオのビットストリームとの間の変換を実行するステップ、を含み、
マルチビュー取得情報(multiview acquisition information (MAI))補足拡張情報(supplemental enhancement information (SEI))メッセージが前記ビデオについて示され、
前記ルールが、前記MAI SEIメッセージの持続性範囲又は前記MAI SEIメッセージに対する制約を定義する、方法。
【0317】
(項9)前記ルールは、復号順で、前記MAI SEIメッセージを含む現在のアクセスユニット(AU)から、コンテンツが異なる別のMAI SEIメッセージを含む次のAUまで、又は前記ビットストリームの終わりまで、前記MAI SEIメッセージが持続する持続性範囲を定義する、項8に記載の方法。
【0318】
(項10)前記ルールは、前記MAI SEIメッセージが、コーディングされたビデオシーケンス(CVS)に存在する場合、前記CVSの第1アクセスユニット(AU)内に存在するという制約を定義する、項8~9のいずれかに記載の方法。
【0319】
(項11)ビデオ処理の方法であって、
ビデオと前記ビデオのビットストリームとの間の変換を実行するステップ、を含み、
スケーラビリティ次元情報(scalability dimension information (SDI))補足拡張情報(supplemental enhancement information (SEI))メッセージ及び第2SEIメッセージが前記ビデオについて示され、
前記ルールが、前記SDI SEIメッセージ及び前記第2SEIメッセージを示すフォーマットを定義する、方法。
【0320】
(項12)前記ルールが、前記第2SEIメッセージがマルチビュー取得情報(multiview acquisition information (MAI))SEIメッセージであり、前記MAI SEIメッセージが、復号順でスケーラビリティ次元情報(scalability dimension information (SDI))SEIメッセージの後に生じる順序を指定する、項11に記載の方法。
【0321】
(項13)前記第2SEIメッセージが、深度表現情報(depth representation information (DRI))SEIメッセージであり、
前記ルールが、前記SDI SEIメッセージがレイヤの識別子値2を有することに応答して、前記SDI SEIメッセージが、復号順で前記DRI SEIメッセージの前に生じることを指定する、項11に記載の方法。
【0322】
(項14)前記第2SEIメッセージが、アルファチャネル情報(alpha channel information (ACI))SEIメッセージであり、
前記ルールが、前記SDI SEIメッセージがレイヤの識別子値1を有することに応答して、前記SDI SEIメッセージが、復号順で前記DRI SEIメッセージの前に生じることを指定する、項11に記載の方法。
【0323】
(項15)前記変換は、前記ビデオから前記ビットストリームを生成するか、又は前記ビットストリームから前記ビデオを生成することを含む、項1~14のいずれかに記載の方法。
【0324】
(項16)ビデオ復号機器であって、項1~15のうちの1つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオ復号機器。
【0325】
(項17)ビデオ符号化機器であって、項1~15のうちの1つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオ符号化機器。
【0326】
(項18)格納されたコンピュータコードを有するコンピュータプログラムプロダクトであって、前記コードは、プロセッサにより実行されると、前記プロセッサに項1~15のいずれかに記載の方法を実施させる、コンピュータプログラムプロダクト。
【0327】
(項19)項1~15のいずれかに従い生成されたビットストリームを格納しているコンピュータ可読媒体。
【0328】
(項20)項1~15のいずれかに記載の方法に従い、ビットストリームを生成するステップと、
前記ビットストリームをコンピュータ可読媒体に書き込むステップと、
を含む方法。
【0329】
(項21)本願明細書に記載された開示された方法又はシステムに従い生成される方法、機器、ビットストリーム。
【0330】
以下の文献は、本明細書に開示された技術に関連する追加の詳細を含む場合がある。
【0331】
[1] ITU-T and ISO/IEC, “High efficiency video coding”, Rec. ITU-T H.265 | ISO/IEC 23008-2 (in force edition).
【0332】
[2] J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce, “Algorithm description of Joint Exploration Test Model 7 (JEM7),” JVET-G1001, Aug. 2017.
【0333】
[3] Rec. ITU-T H.266 | ISO/IEC 23090-3, “Versatile Video Coding”, 2020.
【0334】
[4] B. Bross, J. Chen, S. Liu, Y.-K. Wang (editors), “Versatile Video Coding (Draft 10),” JVET-S2001.
【0335】
[5] Rec. ITU-T Rec. H.274 | ISO/IEC 23002-7, “Versatile Supplemental Enhancement Information Messages for Coded Video Bitstreams”, 2020.
【0336】
[6] J. Boyce, V. Drugeon, G. Sullivan, Y.-K. Wang (editors), “Versatile supplemental enhancement information messages for coded video bitstreams (Draft 5),” JVET-S2007.
【0337】
本願明細書に記載された本開示の及び他のソリューション、例、実施形態、モジュール、及び機能動作は、デジタル電子回路で、又は本願明細書に開示された構造を含む、コンピュータソフトウェア、ファームウェア、又はハードウェア、及びそれらの構造的均等物で、又はそれらの1つ以上の結合で、実装できる。本開示の及び他の実施形態は、1つ以上のコンピュータプログラムプロダクト、つまり、データ処理機器による実行のために又はその動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実装できる。コンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリ装置、機械可読伝搬信号に影響を与える物質の組成、又は1つ以上のそれらの組合せであり得る。用語「データ処理機器」は、データを処理するあらゆる機器、装置、及び機械を包含し、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む。機器は、ハードウェアに加えて、対象となるコンピュータプログラムの実行環境を生成するコード、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの1つ以上の組合せを構成するコードを含むことができる。伝搬信号は、人工的に生成された信号、例えば、適切な受信機機器への送信のために情報を符号化するために生成された、機械により生成された電気、光、又は電磁気信号である。
【0338】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる)は、コンパイルされた又はインタープリットされた言語を含む任意の形式のプログラミング言語で記述でき、それは、スタンドアロンプログラム又はモジュール、コンポーネント、サブルーチン、又はコンピューティング環境内での使用に適する他のユニットを含む任意の形式で展開できる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応する必要はない。プログラムは、他のプログラム又はデータ(例えばマークアップ言語文書内に格納された1つ以上のスクリプト)を保持するファイルの一部に、問題のプログラムに専用の単一のファイルに、又は複数の連携ファイル(例えば、1つ以上のモジュール、サブプログラム、又はコードの部分を格納するファイル)に、格納できる。コンピュータプログラムは、1つのコンピュータ上で、又は1つの場所に置かれた若しくは複数の場所に分散されて通信ネットワークにより相互接続される複数のコンピュータ上で、実行されるよう展開できる。
【0339】
本願明細書に記載の処理及びロジックフローは、入力データに作用し及び出力を生成することにより機能を実行する1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサにより実行できる。特定用途論理回路、例えば、FPGA(field programmable gate array)又はASIC(application specific integrated circuit)により、処理及びロジックフローが実行でき、それとして機器が実装できる。
【0340】
コンピュータプログラムの実行に適するプロセッサは、例えば、汎用及び特定用途向けマイクロプロセッサの両方、及び任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。通常、プロセッサは、命令及びデータを読み出し専用メモリ又はランダムアクセスメモリ又は両者から受信する。コンピュータの基本的要素は、命令を実行するプロセッサ、及び命令及びデータを格納する1つ以上のメモリ装置である。通常、コンピュータは、データを格納する1つ以上の大容量記憶装置、例えば、磁気、光磁気ディスク、又は光ディスク、も含み、又はそれらからデータを受信し又はそれらへデータを転送するために又は両者のために動作可能に結合される。しかしながら、コンピュータはこのような装置を有する必要はない。コンピュータプログラム命令及びデータを格納するのに適するコンピュータ可読媒体は、例えば半導体メモリ装置、例えば消去可能プログラマブル読み出し専用メモリ(erasable programmable read-only memory (EPROM))、電気的消去可能プログラマブル読み出し専用メモリ(electrically erasable programmable read-only memory (EEPROM))、及びフラッシュメモリ装置、磁気ディスク、例えば内部ハードディスク又は取り外し可能ディスク、光磁気ディスク、及びコンパクトディスクを含む、全ての形式の不揮発性メモリ、媒体、及びメモリ装置を含む。プロセッサ及びメモリは、特定用途向け論理回路により補足され、又はその中に組み込むことができる。
【0341】
本願明細書は多数の特定事項を含むが、これらは、任意の主題の又は請求され得るものの範囲に対する限定としてではなく、むしろ、特定の技術の特定の実施形態に固有の特徴の説明として考えられるべきである。別個の実装の文脈で本願明細書に記載された特定の特徴は、単一の実施形態において組み合わせることもできる。反対に、単一の実施形態の文脈で記載された種々の特徴は、複数の実施形態の中で別個に又は任意の適切な部分的組み合わせで実装されることもできる。更に、特徴は特定の組み合わせで動作するよう上述され、そのように初めに請求され得るが、請求される組み合わせからの1つ以上の特徴は、幾つかの場合には、組み合わせから切り離されてよく、請求される組み合わせは、部分的組み合わせ又は部分的組み合わせの変形に向けられてよい。
【0342】
同様に、動作は、図中に特定の順序で示されるが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序で又はシーケンシャルに実行されること、及び全ての図示の動作が実行されること、を要求すると理解されるべきではない。更に、本願明細書に記載された実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてこのような分離を必要とすると理解されるべきではない。
【0343】
少数の実装及び例のみが記載され、本願明細書に記載され示されたものに基づき他の実装、拡張、及び変形が行われ得る。
【手続補正書】
【提出日】2023-10-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオデータを処理する方法であって、
ビデオと前記ビデオのビットストリームとの間の変換の間に、
アクセスユニット(AU)がスケーラビリティ次元情報(SDI)SEIメッセージとマルチビュー取得情報(MAI)SEIメッセージの両方を含むときは常に、前記SDI SEIメッセージが復号順で前記MAI SEIメッセージの前にあると決定するステップと、
前記SDI SEIメッセージ及び前記MAI SEIメッセージに基づき、前記変換を実行するステップと、
を含む方法。
【請求項2】
前記AUが、iの少なくとも1つの値について2に等しいsdi_aux_id[i]を有する前記SDI SEIメッセージと、深度表現情報(DRI)SEIメッセージと、の両方を含むときは常に、前記SDI SEIメッセージが、復号順で、前記DRI SEIメッセージの前にあることを決定するステップであって、iは前記ビットストリームのi番目のレイヤを表す整数である、ステップ、を更に含む請求項1に記載の方法。
【請求項3】
前記AUが、iの少なくともつの値について1に等しいsdi_aux_id[i]を有する前記SDI SEIメッセージと、アルファチャネル情報(ACI)SEIメッセージと、の両方を含むときは常に、前記SDI SEIメッセージが、復号順で、前記ACI SEIメッセージの前にあることを決定するステップであって、iは前記ビットストリームのi番目のレイヤを表す整数である、ステップ、を更に含む請求項1に記載の方法。
【請求項4】
前記SDI SEIメッセージが、スケーラブルな入れ子SEIメッセージに含まれることを制限される、請求項1に記載の方法。
【請求項5】
3、133、179、180、又は205に等しいペイロードタイプを有するビットストリーム内のいずれかのSEIメッセージは、スケーラブルな入れ子SEIメッセージに含まれることを制限される、請求項1に記載の方法。
【請求項6】
前記SDI SEIメッセージは、前記ビデオの現在のコーディングされたビデオシーケンス(CVS)の各レイヤにSDIを提供する、請求項1に記載の方法。
【請求項7】
前記SDI SEIメッセージが、前記CVSに含まれる、請求項6に記載の方法。
【請求項8】
前記SDI SEIメッセージが、前記現在のCVSのいずれかのAU内に存在するとき、前記SDI SEIメッセージは、前記現在のCVSの第1AU内に存在しなければならない、請求項6に記載の方法。
【請求項9】
前記現在のCVSのすべてのSDI SEIメッセージは、同一の内容を有しなければならない、請求項8に記載の方法。
【請求項10】
いずれかのMAI SEIメッセージが、CVSのいずれかのAUに存在するときは常に、前記MAI SEIメッセージは、前記CVSの第1AU内に存在する、請求項1に記載の方法。
【請求項11】
前記DRI SEIメッセージは、3次元(3D)ディスプレイ上でレンダリングする前に、復号されたビューを処理するためにタイプAUX_DEPTHの補足ピクチャのパラメータを指定する、請求項2に記載の方法。
【請求項12】
前記ACI SEIメッセージは、アルファチャネルサンプル値、及びタイプAUX_ALPHAの補足ピクチャ及び1つ以上の関連付けられた主ピクチャにコーディングされた復号アルファプレインに適用される後処理に関する情報を提供する、請求項3に記載の方法。
【請求項13】
前記変換は、前記ビデオを前記ビットストリームに符号化することを含む、請求項1~12のいずれかに記載の方法。
【請求項14】
前記変換は、前記ビットストリームから前記ビデオを復号することを含む、請求項1~12のいずれかに記載の方法。
【請求項15】
ビデオデータを処理する機器であって、プロセッサと、命令を格納している非一時的メモリとを含み、前記命令は前記プロセッサにより実行されると前記プロセッサに、
ビデオと前記ビデオのビットストリームとの間の変換の間に、
アクセスユニット(AU)がスケーラビリティ次元情報(SDI)SEIメッセージとマルチビュー取得情報(MAI)SEIメッセージの両方を含むときは常に、前記SDI SEIメッセージが復号順で前記MAI SEIメッセージの前にあると決定させ、
前記SDI SEIメッセージ及び前記MAI SEIメッセージに基づき、前記変換を実行させる、
機器。
【請求項16】
命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令はプロセッサに、
ビデオと前記ビデオのビットストリームとの間の変換の間に、
アクセスユニット(AU)がスケーラビリティ次元情報(SDI)SEIメッセージとマルチビュー取得情報(MAI)SEIメッセージの両方を含むときは常に、前記SDI SEIメッセージが復号順で前記MAI SEIメッセージの前にあると決定させ、
前記SDI SEIメッセージ及び前記MAI SEIメッセージに基づき、前記変換を実行させる、
非一時的コンピュータ可読記憶媒体。
【請求項17】
ビデオのビットストリームを格納する方法であって、
アクセスユニット(AU)がスケーラビリティ次元情報(SDI)SEIメッセージとマルチビュー取得情報(MAI)SEIメッセージの両方を含むときは常に、前記SDI SEIメッセージが復号順で前記MAI SEIメッセージの前にあると決定するステップと、
前記SDI SEIメッセージ及び前記MAI SEIメッセージに基づき、前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的コンピュータ可読記録媒体に格納するステップと、
を含む方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0001
【補正方法】変更
【補正の内容】
【0001】
[関連出願]
本特許出願は、2021年4月8日に出願された国際出願番号PCT/CN2021/085894の利益を主張する、2022年4月8日に出願された国際出願番号PCT/CN2022/085670に基づく。前述の特許出願のすべてはそれらの全体が参照により本明細書に組み込まれる。
【国際調査報告】