知財求人 - 知財ポータルサイト「IP Force」
▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-18
(45)【発行日】2022-03-01
(54)【発明の名称】コンテンツスキャン適応メタデータを用いた光レベル管理
(51)【国際特許分類】
H04N 19/70 20140101AFI20220221BHJP
【ＦＩ】
H04N19/70
【請求項の数】
14
(21)【出願番号】P 2020537620
(86)(22)【出願日】2019-01-08
(65)【公表番号】
(43)【公表日】2021-03-11
(86)【国際出願番号】 US2019012737
(87)【国際公開番号】W WO2019139912
(87)【国際公開日】2019-07-18
【審査請求日】2020-09-02
(31)【優先権主張番号】62/616,057
(32)【優先日】2018-01-11
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】110002952
【氏名又は名称】特許業務法人鷲田国際特許事務所
(72)【発明者】
【氏名】マッカーシー ショーン トーマス
【審査官】坂東 大五郎
(56)【参考文献】
【文献】特開２００８－２５２７６１（ＪＰ，Ａ）
【文献】Recommendation ITU-T H.265(12/2016)，pp.301,309,367
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
コンテンツスキャン適応メタデータの関連するセットを有する画像ビットストリームを処理するための方法であって、前記方法は、ビットストリーム内の符号化ビデオシーケンスを受信することと、
前記コンテンツスキャン適応メタデータのセットが前記ビットストリーム内で受信されたかどうかを確認することと、を含み、
前記コンテンツスキャン適応メタデータのセットは、
前記符号化ビデオシーケンスのフレームについてのすべての個々のサンプルの中の最大光レベルの上限を示す最大コンテンツ光レベルパラメータと、
前記符号化ビデオシーケンスの個々のフレームについてのサンプルの中の最大平均光レベルの上限を示す最大フレーム平均光レベルパラメータと、
前記最大コンテンツ光レベルパラメータに関連付けられたスキャンタイプを示す、コンテンツ光レベルタイプパラメータと、
前記最大フレーム平均光レベルパラメータに関連するスキャンタイプを示す、最大フレーム平均光レベルタイプパラメータと、
前記最大コンテンツ光レベルパラメータに関連する、入力ビデオの入力フォーマットおよび復号された出力ビットストリームの出力フォーマットを示す、コンテンツ光レベル入出力タイプパラメータと、
前記最大フレーム平均光レベルパラメータに関連する、入力ビデオの入力フォーマットおよび復号された出力ビットストリームの出力フォーマットを示す、最大フレーム平均光レベル入出力タイプパラメータと、を含み、
前記最大コンテンツ光レベルパラメータおよび前記最大フレーム平均光レベルパラメータは、共に前記符号化ビデオシーケンスの前記フレームのスキャンタイプに依存し、前記スキャンタイプは、プログレッシブフレームタイプ、相補フィールドペアタイプ、マクロブロック適応フレームフィールドフレームタイプ、および個々のフィールドピクチャタイプのうちの少なくとも１つである、方法。
【請求項2】
前記スキャンタイプは前記マクロブロック適応フレームフィールドフレームタイプであり、フィールドまたはフレームコーディングは、個々のマクロブロックについて識別される、請求項１に記載の方法。
【請求項3】
前記コンテンツ光レベルタイプパラメータは、ルックアップテーブルのための少なくとも３ビットの符号なし整数インデックスである、請求項１に記載の方法。
【請求項4】
前記最大フレーム平均光レベルタイプパラメータは、ルックアップテーブルのための少なくとも３ビットの符号なし整数インデックスである、請求項１に記載の方法。
【請求項5】
前記コンテンツ光レベル入出力タイプパラメータは、ルックアップテーブルのための少なくとも３ビットの符号なし整数インデックスである、請求項１に記載の方法。
【請求項6】
前記コンテンツ光レベル入出力タイプパラメータは、前記最大コンテンツ光レベルパラメータが入力ソースに適用されることを識別する入出力タイプである、入力ソースタイプ、前記最大コンテンツ光レベルパラメータが全体符号化ビデオシーケンスに適用されることを識別する入出力タイプである、全体符号化ビデオシーケンスタイプ、およびライブで符号化されるコンテンツである、ライブ符号化タイプのうちの少なくとも１つを示す、請求項１に記載の方法。
【請求項7】
前記最大フレーム平均光レベル入出力タイプパラメータは、ルックアップテーブルのための少なくとも３ビットの符号なし整数インデックスである、請求項１に記載の方法。
【請求項8】
前記最大フレーム平均光レベル入出力タイプパラメータは、前記最大フレーム平均光レベルパラメータが入力ソースに適用されることを識別する入出力タイプである、入力ソースタイプ、前記最大フレーム平均光レベルパラメータが全体符号化ビデオシーケンスに適用されることを識別する入出力タイプである、全体符号化ビデオシーケンスタイプ、およびライブで符号化されるコンテンツである、ライブ符号化タイプのうちの少なくとも１つを示す、請求項１に記載の方法。
【請求項9】
前記ビットストリーム内の最大コンテンツ光レベル解釈パラメータは、前記最大コンテンツ光レベルパラメータがＣＥＡ規格８６１．３に従って計算されたＭＡＸＣＬＬパラメータであることを示す、請求項１に記載の方法。
【請求項10】
前記ビットストリーム内の最大フレーム平均光レベル解釈パラメータは、前記最大コンテンツ光レベルパラメータがＣＥＡ規格８６１．３に従って計算されたＭＡＸＦＡＬＬパラメータであることを示す、請求項１に記載の方法。
【請求項11】
前記コンテンツスキャン適応メタデータのセットが受信される場合、前記コンテンツスキャン適応メタデータのセットに従って色管理アルゴリズムパラメータを計算することをさらに含む、請求項１に記載の方法。
【請求項12】
前記最大コンテンツ光レベルパラメータおよび前記最大フレーム平均光レベルパラメータは、共に１６ビットの符号なし整数である、請求項１に記載の方法。
【請求項13】
非一時的なコンピュータ可読メモリと、前記非一時的なコンピュータ可読メモリに記憶されたビットストリームと、
前記非一時的なコンピュータ可読メモリに論理的に結合され、前記ビットストリームを処理するように構成されたプロセッサと、を備え、
前記ビットストリームは、
符号化ビデオシーケンスと、
コンテンツスキャン適応メタデータのセットと、を備え、
前記プロセッサは、前記コンテンツスキャン適応メタデータのセットが前記ビットストリーム内で受信されたかどうかを確認し、
前記コンテンツスキャン適応メタデータのセットは、
前記符号化ビデオシーケンスのフレームについてのすべての個々のサンプルの中の最大光レベルの上限を示す最大コンテンツ光レベルパラメータと、
前記符号化ビデオシーケンスの個々のフレームについてのサンプルの中の最大平均光レベルの上限を示す最大フレーム平均光レベルパラメータと、
前記最大コンテンツ光レベルパラメータに関連付けられたスキャンタイプを示す、コンテンツ光レベルタイプパラメータと、
前記最大フレーム平均光レベルパラメータに関連するスキャンタイプを示す、最大フレーム平均光レベルタイプパラメータと、
前記最大コンテンツ光レベルパラメータに関連する、入力ビデオの入力フォーマットおよび復号された出力ビットストリームの出力フォーマットを示す、コンテンツ光レベル入出力タイプパラメータと、
前記最大フレーム平均光レベルパラメータに関連する、入力ビデオの入力フォーマットおよび復号された出力ビットストリームの出力フォーマットを示す、最大フレーム平均光レベル入出力タイプパラメータと、を含み、
前記最大コンテンツ光レベルパラメータおよび前記最大フレーム平均光レベルパラメータは、共に前記符号化ビデオシーケンスの前記フレームのスキャンタイプに依存し、前記スキャンタイプは、プログレッシブフレームタイプ、相補フィールドペアタイプ、マクロブロック適応フレームフィールドフレームタイプ、および個々のフィールドピクチャタイプのうちの少なくとも１つである、ビデオ処理装置。
【請求項14】
コンテンツスキャン適応メタデータの関連するセットを有する画像ビットストリームを配信するための方法であって、前記方法は、前記ビットストリームに含まれるべき、符号化ビデオシーケンスのためのコンテンツスキャン適応メタデータのセットを生成することを含み、
前記コンテンツスキャン適応メタデータのセットは、
前記符号化ビデオシーケンスのフレームについてのすべての個々のサンプルの中の最大光レベルの上限を示す最大コンテンツ光レベルパラメータと、
前記符号化ビデオシーケンスの個々のフレームについてのサンプルの中の最大平均光レベルの上限を示す最大フレーム平均光レベルパラメータと、
前記最大コンテンツ光レベルパラメータに関連付けられたスキャンタイプを示す、コンテンツ光レベルタイプパラメータと、
前記最大フレーム平均光レベルパラメータに関連するスキャンタイプを示す、最大フレーム平均光レベルタイプパラメータと、
前記最大コンテンツ光レベルパラメータに関連する、入力ビデオの入力フォーマットおよび復号された出力ビットストリームの出力フォーマットを示す、コンテンツ光レベル入出力タイプパラメータと、
前記最大フレーム平均光レベルパラメータに関連する、入力ビデオの入力フォーマットおよび復号された出力ビットストリームの出力フォーマットを示す、最大フレーム平均光レベル入出力タイプパラメータと、を含み、
前記最大コンテンツ光レベルパラメータおよび前記最大フレーム平均光レベルパラメータは、共に前記符号化ビデオシーケンスの前記フレームのスキャンタイプに依存し、前記スキャンタイプは、プログレッシブフレームタイプ、相補フィールドペアタイプ、マクロブロック適応フレームフィールドフレームタイプ、および個々のフィールドピクチャタイプのうちの少なくとも１つであり、
前記コンテンツスキャン適応メタデータのセットが前記ビットストリーム内で受信されたかどうかを確認されるように、前記コンテンツスキャン適応メタデータのセットを有する前記ビットストリーム内で前記符号化ビデオシーケンスを送信する、方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１８年１月１１日に出願された米国仮特許仮出願第６２／６１６，０５７号の優先権を主張するものであり、そのすべての内容が参照により本明細書に組み込まれている。
本出願は、２０１８年１月１１日に出願された米国仮特許仮出願第６２／６１６，０５７号の優先権を主張するものであり、そのすべての内容が参照により本明細書に組み込まれている。
【0002】
本発明は圧縮されたデジタルビデオの配信および表示に関し、より詳細にはハイダイナミックレンジ（ＨＤＲ）および標準ダイナミックレンジ（ＳＤＲ）圧縮ビデオのための改良された光レベル管理に関し、個々のフレームはプログレッシブフレーム、相補フィールドペア、およびフィールドおよびプログレッシブ領域の混合物の任意の組み合わせとして符号化される。
【背景技術】
【0003】
本明細書で使用されるように、「ダイナミックレンジ」（ＤＲ）という用語は、画像内の強度(例えば、輝度（ｌｕｍｉｎａｎｃｅ：ルミナンス）、輝度（ｌｕｍａ：ルマ）)の範囲、例えば、最も暗い黒（ダーク）から最も明るい白(ハイライト)までを知覚するための人間の視覚システム（ＨＶＳ）の能力に関することができる。この意味で、ＤＲは「シーン参照」強度に関する。ＤＲはまた、特定の幅の強度範囲を適切にまたは近似的にレンダリングするための表示装置の能力に関することができる。この意味で、ＤＲは「表示参照」強度に関する。本明細書の説明の任意の箇所で特定の意味を有するように明示的に指定されていない限り、この用語はいずれの意味でも、例えば、互換的に使用され得ると推察されるべきである。
【0004】
本明細書で使用されるように、ハイダイナミックレンジまたはＨＤＲという用語は、人間の視覚系（ＨＶＳ）の約１４～１５桁またはそれ以上の大きさにまたがるＤＲ幅に関する。実際には、人間が強度範囲の広い幅を同時に知覚することができるＤＲは、ＨＤＲに関していくらか切り捨てることができる。本明細書で使用されるように、拡張ダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、眼球運動を含む人間の視覚システム（ＨＶＳ）によってシーンまたは画像内で知覚可能なＤＲに個別にまたは互換的に関連し、シーンまたは画像全体にわたるいくつかの光適応変化を可能にすることができる。本明細書で使用されるように、ＥＤＲは、５桁から６桁にわたるＤＲに関連し得る。したがって、真のシーンに比べておそらくいくらか狭いが、ＥＤＲはそれにもかかわらず、広いＤＲ幅を表し、ＨＤＲとも呼ばれ得る。
【0005】
実際には、画像が色空間の１つまたは複数の色成分（例えば、ルマＹ、およびクロマＣｂおよびＣｒ）を含み、ここで、各色成分はピクセルあたりｎビットの精度（例えば、ｎ＝８）によって表される。線形輝度符号化を使用すると、ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）は標準ダイナミックレンジの画像と考えられ、ｎ＞８の画像はエンハンスメントされたダイナミックレンジの画像と考えられる。
【0006】
所与のディスプレイに対する基準電気光学伝達関数（ＥＯＴＦ）は、ディスプレイによって生成される出力スクリーン色値（例えば、スクリーン輝度）に対する入力ビデオ信号の色値（例えば、輝度）間の関係を特徴付ける。例えば、ＩＴＵ Ｒｅｃ．ＩＴＵ－Ｒ ＢＴ．１８８６「ＨＤＴＶスタジオ制作で使用されるフラットパネルディスプレイのための参照電気光学伝達関数」（２０１１年３月）はその全体が参照により本明細書に組み込まれ、フラットパネルディスプレイのための参照ＥＯＴＦを定義する。ビデオストリームのＥＯＴＦについての情報は一般に、メタデータとしてビットストリームに埋め込まれる。追加の説明は、ＩＴＵ－Ｒ Ｒｅｃ．ＢＴ．２１００－１「制作および国際番組交換で使用される高ダイナミックレンジテレビのための画像パラメータ値」（２０１７年６月）で見ることができ、これは、その全体が参照により本明細書に組み込まれる。本明細書で使用されるように、「メタデータ」という用語は、画像ビットストリームの一部として送信される任意の補助情報（例えば、符号化ビットストリーム、Ｈ．２６５ビットストリーム、Ｈ．２６４ビットストリーム、ＨＤＭＩ（登録商標）ビデオ信号など)に関連し、復号された画像をレンダリングするためにデコーダを支援する。そのようなメタデータは本明細書で説明するように、色空間または色域情報、基準表示パラメータ、および補助信号パラメータを含むことができるが、これらに限定されない。
【0007】
２００～１，０００ｃｄ／ｍ２のルミナンスをサポートするディスプレイまたはユニットは、ＥＤＲ（またはＨＤＲ）に関して、標準ダイナミックレンジまたはＳＤＲとも呼ばれる、より低いダイナミックレンジ（ＬＤＲ）を代表する。ＥＤＲコンテンツはよりハイダイナミックレンジ（例えば、１，０００ニト（ｎｉｔｓ）から５，０００ニト以上）をサポートするＥＤＲディスプレイ上に表示されてもよい。そのような表示は、高輝度能力（例えば、０から１０，０００ニト)をサポートする代替ＥＯＴＦを使用して定義され得る。このようなＥＯＴＦの一例は、ＳＭＰＴＥ ＳＴ ２０８４：２０１４「ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ＥＯＴＦ ｏｆ Ｍａｓｔｅｒｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｄｉｓｐｌａｙｓ」(以下、「ＳＭＰＴＥ」という)に定義されており、これは、その全体が参照により本明細書に組み込まれる。追加の説明はＳＭＰＴＥで見つけることができ、「Ｓｔｕｄｙ ｇｒｏｕｐ ｒｅｐｏｒｔ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ（ＨＤＲ）ｉｍａｇｉｎｇ ｅｃｏｓｙｓｔｅｍ」（２０１５）はその全体が参照により本明細書に組み込まれる。本発明者が認識するように、多種多様なＳＤＲおよびＨＤＲ表示装置の可能な限り最高の表示能力を最適かつ効率的にサポートするために使用できるビデオデータを符号化および復号するための改良された技術が望まれる。
【0008】
このセクションで説明されるアプローチは追求されることができるアプローチであるが、必ずしも、以前に考えられたまたは追求されたアプローチではない。したがって、特に断らない限り、このセクションに記載されているアプローチのいずれも、単にこのセクションに含まれているために先行技術として適格であると仮定すべきではない。同様に、１つまたは複数のアプローチに関して特定された問題は特に断らない限り、このセクションに基づいていかなる先行技術においても認識されていると推測すべきではない。
【図面の簡単な説明】
【0009】
本発明の実施形態は限定ではなく例として、添付の図面の図に示されており、同様の参照番号は同様の要素を指す。
【図1】ビデオ配信パイプラインの例示的なプロセスを示す。
【図2A】例示的な画像フレームを示す。
【図2B】ピクセル(またはサンプル)のアレイを備える例示的な画像フレームを示す。
【図2C】部分的にインターリーブされておらず部分的にインターリーブされた画像フレームタイプの画像フレームを示す。
【図2D】例示的な符号化ビデオシーケンスを示す。
【図2E】例示的な符号化ビデオシーケンスを示す。
【図3A】画像フレームと、コンテンツ光レベルメタデータを含むがこれに限定されない対応する画像メタデータとを生成するための例示的なビデオエンコーダを示す。
【図3B】画像フレームと、コンテンツ光レベルメタデータを含むがこれに限定されない対応する画像メタデータとを復号するための例示的なビデオデコーダを示す。
【図4A】例示的なプロセスフローを示す。
【図4B】例示的なプロセスフローを示す。
【図4C】例示的なプロセスフローを示す。
【図4D】例示的なプロセスフローを示す。
【図4E】例示的なプロセスフローを示す。
【図4F】例示的なプロセスフローを示す。
【図4G】例示的なプロセスフローを示す。
【図4H】例示的なプロセスフローを示す。
【図5】本明細書で説明されるコンピュータまたはコンピューティング装置が実装され得る例示的なハードウェアプラットフォームの簡略化されたブロック図を示す。
【発明を実施するための形態】
【0010】
コンテンツ光レベル情報を用いてビデオデータを符号化および復号することが、本明細書で説明される。以下の説明において、説明の目的のために、本発明の完全な理解を提供するために、多数の特定の詳細が記載される。しかしながら、本発明は、これらの特定の詳細なしに実施されてもよいことは明らかであろう。他の例では、本発明を不必要に閉塞し、不明瞭にし、または難読化することを回避するために、周知の構造および装置は網羅的な詳細では説明されない。
【0011】
概要
本明細書で説明される技法は、ＳＤＲおよびＨＤＲビデオコンテンツが様々な輝度、リフレッシュレート、解像度、およびサイズ特性を有する固定ディスプレイおよびモバイルディスプレイ上の様々な視聴条件で消費されることを可能にするために、ビデオ生成、配信、および表示技術に適用され得る。
本明細書で説明される技法は、ＳＤＲおよびＨＤＲビデオコンテンツが様々な輝度、リフレッシュレート、解像度、およびサイズ特性を有する固定ディスプレイおよびモバイルディスプレイ上の様々な視聴条件で消費されることを可能にするために、ビデオ生成、配信、および表示技術に適用され得る。
【0012】
様々なビデオコンテンツの制作、配信、および表示オプションは、コンテンツの制作者、所有者、流通業者、消費者、および装置の製造業者がそれぞれ、ビデオ制作、配信、および消費者の経験における特定の効率的な利益を求めるため、非効率性の機会を作り出す。
【0013】
コンテンツクリエータおよびディストリビュータは、個々の資産が特別な処理および取扱いなしに、広範囲の環境において、広範囲のディスプレイ上で消費され得る場合に、利益を得る。例えば、単一の圧縮ビデオ資産を、固定位置の屋内テレビディスプレイ、屋外デジタルディスプレイ、モバイルスマートフォン、タブレット、ラップトップ、および他のディスプレイに配信し、表示することができる場合に有益である。別の例として、単一の圧縮ビデオ資産を、任意のタイプのＳＤＲディスプレイおよびＨＤＲディスプレイの両方に配信し、表示することができる場合に有益である。本明細書で説明する技法は、圧縮ビットストリームで搬送され、ビデオコンテンツの表示を特定の表示および視聴環境特性に適合させるために使用される情報のためのシステムおよび方法に利用することができる。
【0014】
消費者や装置製造業者は、ディスプレイの効率的な電力管理から利益を得る。電力管理は、バッテリ寿命が主要な関心事であるモバイル装置にとって特に重要であり得る。また、平均光量レベルがエネルギー消費量に影響する場合、ＨＤＲコンテンツの表示に電力管理が特に重要になる。本明細書で説明する技法は、圧縮ビットストリームで搬送され、ビデオ資産および表示装置の性質に基づいてエネルギー消費を管理するために使用される情報のためのシステムおよび方法に利用することができる。
【0015】
コンテンツクリエータおよびオーナは芸術的意図の保存から恩恵を受け、これはマスタリングスタジオまたはライブプロダクションファシリティなどの参照視聴環境においてプロフェッショナルによって観察されるビデオコンテンツの知覚品質が、消費者によって観察されるビデオコンテンツの知覚品質を一貫して予測することを意味する。芸術的意図の保存は、専門的な基準ディスプレイとは著しく異なる(より明るいまたはより暗い)輝度特性を有する消費者ディスプレイにとって特に重要である。芸術的意図の保存はまた、専門的な参照観察環境とは著しく異なる周囲光レベルで観察される消費者ディスプレイにとっても重要である。本明細書で説明する技法は、圧縮ビットストリームで搬送され、広範囲のディスプレイおよび視聴環境にわたって芸術的意図を保存するために使用される情報のためのシステムおよび方法に利用することができる。
【0016】
コンテンツクリエータ、オーナ、ディストリビュータ、消費者、および装置製造業者は、ビデオ標準が装置とサービスとの間の相互運用性を促進し、それによって、製造および流通におけるより多くの消費者の選択およびより優れた規模の経済性が促進される場合に利益を得る。本明細書で説明する技法の下で生成されるコンテンツ光レベル情報は、圧縮されたビットストリームで搬送することができ、表示管理に使用することができ、ビデオ規格と互換性がある。本明細書で使用されるように、コンテンツレベル情報内のコンテンツ光レベルは、１つまたは複数の画像フレーム、１つまたは複数の符号化ビデオシーケンス、プレイリスト内の１つまたは複数の番組などの、画像エリア全体の最大光レベル、平均光レベル、または最小光レベル、画像エリア全体の顕著な部分、視覚的に重要な画像エリアなどの集合光レベル(またはグループ光レベル)を指す。
【0017】
コンテンツクリエータ、オーナ、ディストリビュータ、コンシューマ、および装置製造業者はまた、異なるビデオ圧縮規格が異なる能力を有する復号装置について同等のコンシューマ経験を提供する場合にも利益を得る。例えば、ＨＥＶＣまたはＡＶＣ圧縮規格のいずれかを使用して、同等の芸術的意図、表示光レベル管理、および電力管理能力を提供することが有益である。コンテンツ作成者、所有者、配布者、消費者、および装置製造者は、圧縮されたビデオが１つのビデオ圧縮規格から別のビデオ圧縮規格にトランスコードされ、表示管理のために使用され得る情報を保存することができる場合にも利益を得る。例えば、ＨＥＶＣ圧縮ビデオをＡＶＣ圧縮ビデオにトランスコードして、ＡＶＣ専用デコーダによって駆動されるディスプレイに同等の消費者ビデオ体験を届けることが有益である。本明細書で説明する技法は、ＨＤＭＩなどの業界規格によって指定されたディジタルディスプレイインタフェースにわたって中継することができる、表示管理に使用される圧縮ビットストリーム内の情報を生成し、異なるビデオ規格機能を有する装置上の一貫したディスプレイ光レベル管理のためのビデオ規格間の相互運用性を可能にするシステムおよび方法に利用することができる。
【0018】
したがって、本明細書で説明する技法のいくつかまたはすべてを、ビデオ制作、配信、および表示技術に適用して、必ずしもこれに限定されないが、上記で説明したものを含むいくつかの光レベル管理利点を配信することができる。
【0019】
ＭａｘＣＬＬおよびＭａｘＦＡＬＬなどのコンテンツ光レベルは、絶対輝度の単位(例えば、平方メートル当たりのカンデラまたはｃｄ／ｍ２など)で指定することができ、したがって、絶対輝度を表すビデオ符号値で符号化されたビデオコンテンツに容易に適用可能である。加えて、任意にまたは代替的に、絶対輝度値におけるコンテンツ光レベルは、ビデオコード値を絶対輝度として表示画像に関連付ける電気光学伝達関数（ＥＯＴＦ）、またはビデオコード値をピーク表示輝度に対する輝度に関連付ける他の工業標準のＥＯＴＦと共に使用することができる。したがって、例えば、ＭａｘＣＬＬおよびＭａｘＦＡＬＬなどのコンテンツ光レベルは、ＳＭＰＴＥ ＳＴ ２０８４によって指定された絶対輝度ＥＯＴＦを使用して符号化されたＨＤＲコンテンツ、またはＨＤＴＶスタジオ制作用ＩＴＵ－Ｒ Ｒｅｃ．ＢＴ．１８６６ＩＴＵ－Ｒ Ｒｅｃによって、およびＨｙｂｒｉｄ－ｌｏｇ Ｇａｍｍａ（ＨＬＧ）ＨＤＲテレビ制作用のＩＴＵ－Ｒ Ｒｅｃ．ＢＴ．２１００－１によって指定されるような相対輝度ＥＯＴＦを使用して符号化されたコンテンツに適用され得る。
【0020】
本明細書で説明する技法は、ＭａｘＣＬＬおよびＭａｘＦＡＬＬを使用してプレイリスト内のビデオストリームの再生シーケンス全体の最大値を表すことができる動作シナリオ(例えば、ブルーレイディスクアソシエーションまたはＢＤＡなどの下で)、ならびに、最大値が、プログラムが終了するまで利用可能であってもよいし、なくてもよい動作シナリオ(例えば、ライブ制作および配信など)に適用することができる。さらに、オプションまたは代替として、本明細書で説明する技法は、ＭａｘＣＬＬおよびＭａｘＦＡＬＬなどのコンテンツ光レベルを、広告などの動的に挿入されたコンテンツを含むプログラミングに明確に適用することができる動作シナリオ(例えば、コンテンツ挿入、ディスプレイコンテンツに挿入または混合された異なるコンテンツ光レベルを有するコンテンツなど)に適用することができる。さらに、オプションまたは代替として、本明細書で説明する技法は、ＭａｘＣＬＬおよびＭａｘＦＡＬＬなどのコンテンツ光レベルを、字幕などの動的にオーバーレイされたグラフィックスを含むプログラミングに明確に適用することができる動作シナリオ(例えば、オーバーレイされたグラフィックス、字幕、ディスプレイコンテンツに挿入または混合された異なるコンテンツ光レベルを有するグラフィックスなど)に適用することができる。
【0021】
本明細書で説明されるコンテンツ光レベル情報は、多種多様なビデオ信号フォーマットまたはビットストリーム符号化シンタックスのビデオ信号で、上流の装置（例えば、ビデオエンコーダ、ビデオトランスコーダ、ビデオデコーダ、ブロードキャストサーバ、メディアストリーミングサービス、ビデオソース装置など）から、下流の装置（例えば、ビデオエンコーダ、ビデオトランスコーダ、ビデオデコーダ、ブロードキャストクライアント、メディアストリーミングクライアント、ビデオデスティネーション装置、表示装置、モバイルコンピュータなど）まで、配信され得る。いくつかの実施形態では、コンテンツ光レベル情報は、(例えば、ＴＲ－ＭＥＴＡ－ＣＭ、ＣＴＡ－８６１．３－Ａ、高精細度マルチメディアインタフェース（ＨＤＭＩ）仕様、ＨＥＶＣ、ＡＶＣ、Ｈ．２６４、Ｈ．２６５、ＢＤＡ、Ｕｌｔｒａ ＨＤ、Ｂｌｕ－ｒａｙ（登録商標）などの)ビデオ規格に準拠して符号化／書き込み／復号／読み出しが可能である。ＴＲ－ＭＥＴＡ－ＣＭの説明例としては、ＭｏｖｉｅＬａｂｓの「Ｃｏｍｍｏｎ Ｍｅｔａｄａｔａ，ＴＲ－ＭＥＴＡ－ＣＭ，ｖ２．６」(２０１７年)を参照することができ、その全体が参照により本明細書に組み込まれる。Ｈ．２６５の説明例としては、「ＩＴＵ－Ｔ Ｈ．２６５、Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ」（１２／２０１６年）を参照することができ、その全体が参照により本明細書に組み込まれる。Ｕｌｔｒａ ＨＤの説明例としては、Ｕｌｔｒａ ＨＤ Ｆｏｒｕｍ「Ｐｈａｓｅ Ａガイドライン、Ｒｅｖ１．１(２０１６年)」を参照することができ、その全体が参照により本明細書に組み込まれる。Ｂｌｕ－ｒａｙの説明例としては、Ｂｌｕ－ｒａｙ Ｄｉｓｃ Ａｓｓｏｃｉａｔｉｏｎの「ＢＤ＿ＲＯＭ ｖｅｒｓｉｏｎ３．０のためのＢｌｕ－ｒａｙ Ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｆｏｒｍａｔ（Ｕｌｔｒａｙ ＨＤ Ｂｌｕ－ｒａｙ）ＡＶ仕様」(２０１５年)を参照することができ、その全体が参照により本明細書に組み込まれる。
【0022】
コンテンツ光レベル情報は、コンテンツ光レベル情報が受信装置によってどのように解釈されるべきかを指定するために、タイプおよび／または解釈情報とともに配信され得る。コンテンツ光レベル情報に対するタイプおよび／または解釈情報は、コンテンツ光レベル情報内の値が入力ビデオまたは復号された出力ビットストリームを表しているかどうかを明示することができ、したがって、出力フォーマットは、出力フォーマットとは異なることができる入力フォーマットの走査フォーマット(プログレッシブおよびインターレース)と区別することができる。これは、相補フィールドペアからなる入力フレームが、非インターリーブ画像フレーム(例えば、単一フィールドを有するフレームなど)のシーケンスとして、または各々が両方のフィールド(例えば、上部および下部など)を含む単一プログレッシブフレームとして符号化される動作シナリオにおいて有用である。出力ビットストリームのコンテンツ光レベル情報における値の計算は、符号化スキャンモードに依存し得る。これはまた、１つの明フィールドと１つの調光フィールドとを有する相補フィールドペアが両方のフィールドを含むフレームではなく個々のフィールド画像について計算された値である場合に、異なるコンテンツ光レベル情報値を生成し得る動作シナリオにおいても有用であり得る。そのような相補フィールドペアは、光のフラッシュ、白へのフェード、および黒へのフェードを表すビデオコンテンツに共通であり得る。そのようなビデオ相補フィールドペアは、テレシネされたフィールドペアとして符号化される、フィルム由来の毎秒２４フレームのプログレッシブビデオフレームにも共通である。そのようなシナリオでは、１つのフレームからのフィールドが異なるフレームからのフィールドとペアにされることができ、したがって、入力と出力との間のコンテンツ光レベル情報値の差をもたらす。
【0023】
コンテンツ光レベル情報のタイプおよび／または解釈情報を使用して、ライブ符号化およびトランスコーディングのためのコンテンツ光レベル情報内の値の解釈の曖昧さを解消することができる。これは、シーケンスが完全に符号化されるまで、ＣＬＶＳのピクチャの公称ターゲット輝度光レベルのための上限の計算が完了しない可能性がある動作シナリオにおいて有用であり得る。したがって、本明細書で説明する技法の下でサポートされるユースケースは、ビデオオンデマンド、ファイルベースの符号化などだけでなく、スポーツ、ニュース、ライブエンターテイメント、オンザフライトランスコーディングなどのライブビデオ配信ユースケースもサポートする。
【0024】
いくつかのビデオ信号は、符号化および／または復号のために利用可能なコーデックス走査モードの総数およびダイバーシティに関して、他のビデオ規格(例えば、ＡＶＣ、個々のフィールドピクチャ、フレームピクチャ、および混合フィールドフレームピクチャまたはマクロブロック適応フィールドフレーム(ＭＢＡＦＦ)などのうちの任意のもの)よりも制限的である(例えば、個々のフィールドまたはフレームなどのいずれか)ビデオ規格(例えば、ＨＥＶＣなど)で符号化され得る。許容されるスキャンタイプおよびフレーム内およびシーケンス内のスキャンタイプのミキシングに関するＡＶＣなどのビデオ規格におけるより大きな柔軟性は、コンテンツ光レベル情報内の値が入力と出力との間で異なることができるより多くの方法をもたらす。本明細書で説明する技法の下で生成されるようなコンテンツ光レベルおよびそれらのそれぞれのタイプを含むコンテンツ光レベルメタデータを使用して、ＡＶＣ、ＨＥＶＣなどを含むがこれらに限定されない多種多様なビデオ信号のコンテンツ光レベルの値を正しく解釈することができる。
【0025】
本明細書で説明される例示的な実施形態は、ビデオデータを用いてコンテンツ光レベル情報を符号化することに関する。ソース画像のセットの中のソースピクセルからピクセルが生成される特定の画像フレームについて、特定の画像フレームの中の第１の画像フレーム部分と、特定の画像フレームの中の第２の画像フレーム部分とが決定される。特定の画像フレームは、表示装置によってフレームインターバルについてレンダリングされる。特定の画像フレーム内の第１の画像フレーム部分にインターリーブされるべき第１の画像フィールドおよび第２の画像フィールドは、ソース画像のセット内の第１の画像および第２の画像からそれぞれ生成される。第１の画像フィールドは、フレームインターバルの第１のフレームサブインターバルについてレンダリングされる。第２の画像フィールドは、フレームインターバルの第２のフレームサブインターバルについてレンダリングされる。フレームインターバルの第２のフレームサブインターバルは、フレームインターバルの第１のフレームサブインターバルに続く。特定の画像フレーム内の第２の画像フレーム部分内のすべてのピクセル位置を占有するために使用される第３の画像フィールドは、ソース画像のセット内の第３の画像から生成される。特定の画像フレームを含む複数の画像フレームで符号化される符号化ビデオシーケンスの１つまたは複数のコンテンツ光レベルは、特定の画像フレーム内の第１の画像フィールド、第２の画像フィールド、および第３の画像フィールドのピクセルに少なくとも部分的に基づいて生成される。符号化ビデオシーケンスは、１つまたは複数のコンテンツ光レベルを含むコンテンツ光レベルメタデータと共に、画像ビットストリームで送信される。
【0026】
本明細書で説明される例示的な実施形態は、ビデオデータを用いてコンテンツ光レベル情報を復号することに関する。特定の画像フレームを含む複数の画像フレームで符号化された符号化ビデオシーケンスを含む画像ビットストリームは、複数の画像フレームおよび符号化ビデオシーケンスのための１つまたは複数のコンテンツ光レベルを含むコンテンツ光レベルメタデータに復号される。特定の画像フレームは、ソース画像のセット内のソースピクセルから生成されたピクセルを含み、フレームインターバルについてレンダリングされる。符号化ビデオシーケンスのための１つまたは複数のコンテンツ光レベルは、特定の画像フレーム内の第１の画像フィールド、第２の画像フィールド、および第３の画像フィールドのピクセルに少なくとも部分的に基づいて生成される。特定の画像フレーム内の第１の画像フレーム部分にインターリーブされる第１の画像フィールドおよび第２の画像フィールドは、ソース画像のセット内の第１の画像および第２の画像からそれぞれ生成される。第１の画像フィールドは、フレームインターバルの第１のフレームサブインターバルについてレンダリングされる。第２の画像フィールドは、フレームインターバルの第２のフレームサブインターバルについてレンダリングされる。フレームインターバルの第２のフレームサブインターバルは、フレームインターバルの第１のフレームサブインターバルに続く。特定の画像フレーム内の第２の画像フレーム部分内のすべてのピクセル位置を占有するために使用される第３の画像フィールドは、ソース画像のセット内の第３の画像から生成される。符号化ビデオシーケンスの１つまたは複数のコンテンツ光レベルに少なくとも部分的に基づいて、１つまたは複数の画像処理動作が、特定の画像フレームについて実行されて、ターゲット表示装置のために最適化された表示画像を生成する。最適化された表示画像は、ターゲット表示装置上にレンダリングされる。
【0027】
本明細書で説明される例示的な実施形態は、ビデオデータを用いてコンテンツ光レベル情報を符号化することに関する。符号化ビデオシーケンスは、複数の画像フレームについて生成される。複数の画像フレーム内の各画像フレームは、複数のフレームインターバル内のそれぞれのフレームインターバルについて表示装置によってレンダリングされる。複数の画像フレーム内の各画像フレームは、完全にインターリーブされていない画像フレームタイプ、完全にインターリーブされた画像フレームタイプ、および部分的にインターリーブされておらず部分的にインターリーブされた画像フレームタイプなどを含む複数の画像フレームタイプのうちの１つの画像フレームタイプである。第１の画像フレームタイプの第１の画像フレームのピクセルに少なくとも部分的に基づいて、１つまたは複数の第１のコンテンツ光レベルが、符号化ビデオシーケンス内の画像フレームの第１の適切なサブセットについて生成される。画像フレームの第１の適切なサブセットは、第１の画像フレームを含む。第１の出力画像タイプとは異なる第２の画像フレームタイプの第２の画像フレームのピクセルに少なくとも部分的に基づいて、１つまたは複数の第２のコンテンツ光レベルが、符号化ビデオシーケンス内の画像フレームの第２の適切なサブセットについて生成される。画像フレームの第２の適切なサブセットは、第２の画像フレームを含む。画像フレームの第１の適切なサブセットは、画像フレームの第２の適切なサブセットと共通の画像フレームを共有しない。符号化ビデオシーケンスは、１つまたは複数の第１のコンテンツ光レベルおよび１つまたは複数の第２のコンテンツ光レベルを含む画像メタデータと共に、画像ビットストリームで送信される。
【0028】
本明細書で説明される例示的な実施形態は、ビデオデータを用いてコンテンツ光レベル情報を復号することに関する。符号化ビデオシーケンスを含む画像ビットストリームは、１つまたは複数の第１のコンテンツ光レベルおよび１つまたは複数の第２のコンテンツ光レベルを含む複数の画像フレームおよび画像メタデータに復号される。複数の画像フレーム内の各画像フレームは、複数のフレームインターバル内のそれぞれのフレームインターバルについてレンダリングされる。複数の画像フレーム内の各画像フレームは、完全にインターリーブされていない画像フレームタイプ、完全にインターリーブされた画像フレームタイプ、および部分にインターリーブされておらず部分的にインターリーブされた画像フレームタイプなどを含む複数の画像フレームタイプのうちの１つの画像フレームタイプである。１つまたは複数の第１のコンテンツ光レベルは、画像フレームの第１の適切なサブセット内の第１の画像フレームタイプの第１の画像フレームのピクセルに少なくとも部分的に基づいて、符号化ビデオシーケンス内の画像フレームの第１の適切なサブセットについて生成される。１つまたは複数の第２のコンテンツ光レベルは、第１の出力画像タイプとは異なる第２の画像フレームタイプの第２の画像フレームのピクセルに少なくとも部分的に基づいて、符号化ビデオシーケンス内の画像フレームの第２の適切なサブセットについて生成される。画像フレームの第２の適切なサブセットは、第２の画像フレームを含む。画像フレームの第１の適切なサブセットは、画像フレームの第２の適切なサブセットと共通の画像フレームを共有しない。１つまたは複数の第１のコンテンツ光レベルに少なくとも部分的に基づいて、１つまたは複数の第１の画像処理動作が、画像フレームの第１の適切なサブセットについて実行されて、ターゲット表示装置のために最適化された表示画像の第１のサブセットが生成される。表示画像の第１のサブセットは、ターゲット表示装置上にレンダリングされる。１つまたは複数の第２のコンテンツ光レベルに少なくとも部分的に基づいて、１つまたは複数の第２の異なる画像処理動作が、画像フレームの第２の適切なサブセットについて実行されて、ターゲット表示装置のために最適化された表示画像の第２のサブセットが生成される。表示画像の第２のサブセットは、ターゲット表示装置上にレンダリングされる。
【0029】
ビデオ配信処理パイプラインの例
図１は、ビデオキャプチャからビデオコンテンツ表示までの様々な段階を示すビデオ配信パイプライン(１００)の例示的なプロセスを示す。様々なシステム構成要素は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組合せを介して実現することができる。これらのシステム構成要素のいずれか、いくつか、またはすべては、相互接続され、直接に、または１つまたは複数のネットワークを介して通信され得る。
図１は、ビデオキャプチャからビデオコンテンツ表示までの様々な段階を示すビデオ配信パイプライン(１００)の例示的なプロセスを示す。様々なシステム構成要素は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組合せを介して実現することができる。これらのシステム構成要素のいずれか、いくつか、またはすべては、相互接続され、直接に、または１つまたは複数のネットワークを介して通信され得る。
【0030】
一連のビデオフレーム(１０２)は、画像生成ブロック(１０５)を使用して取り込みまたは生成される。ビデオフレーム(１０２)は、ビデオデータ(１０７)を提供するために(例えば、デジタルカメラによって)デジタル的に取り込まれてもよく、または(例えば、コンピュータアニメーションを使用して)コンピュータによって生成されてもよい。あるいは、ビデオフレーム(１０２)は、フィルムカメラによってフィルム上に取り込まれてもよい。フィルムは、ビデオデータ(１０７)を提供するためにデジタルフォーマットに変換される。プロダクション段階(１１０)では、ビデオデータ(１０７)が編集されて、ビデオ制作ストリーム(１１２)が提供される。
【0031】
次に、プロダクションストリーム(１１２)のビデオデータが、ポストプロダクション編集(１１５)のためにプロセッサに提供される。ポストプロダクション編集(１１５)はビデオクリエータの創作意図に従って、画質を向上させるかまたは画像の特定の外観を達成するために、画像の特定の領域における色または明るさを調整または修正することを含むことができる。これは、「カラータイミング」または「カラーグレーディング」と呼ばれることがある。他の編集(例えば、シーン選択およびシーケンシング、手動および／または自動シーンカット情報生成、画像クロッピング、コンピュータ生成視覚特殊効果の追加など)はポストプロダクション編集(１１５)で実行されて、ＨＤＲ画像またはＳＤＲ画像を表すピクセル値のアレイ(例えば、モノクロフォーマットの輝度サンプルのアレイ、輝度サンプルのアレイ、およびカラーフォーマットの２つの対応するクロマサンプル、ＲＧＢサンプルのアレイなど)をそれぞれが備える、画像フレーム(１１７)の解放バージョンを生成することができる。
【0032】
画像フレーム(１１７)は、符号化ビデオシーケンスの設定に符号化されてもよい。符号化ビデオシーケンス(ＣＶＳ)は、連続するフレームインターバル(同じ時間順序)のシーケンス(単数または複数)について、下流の表示装置によって(同じ時間順序で)レンダリングされる連続する(時間順序で)画像フレームのシーケンス(単数または複数)を含むことができる。符号化ビデオシーケンス内の各画像フレームは、連続するフレームインターバルのシーケンス内の異なる各フレームインターバルについてレンダリングされる(指定される)。符号化ビデオシーケンス内の複数の画像フレーム内の各画像フレームは、完全にインターリーブされていない画像フレームタイプ、完全にインターリーブされた画像フレームタイプ、部分非的にインターリーブされておらず部分的にインターリーブされている画像フレームタイプなどを含む複数の画像フレームタイプのうちの１つの画像フレームタイプである。
【0033】
ポストプロダクション編集(１１５)中に、画像フレーム(１１７)に表されるＨＤＲまたはＳＤＲ画像は、画像フレーム(１１７)に表されるＨＤＲまたはＳＤＲ画像(１１７)についてポストプロダクション編集操作を実行しているカラーリストによって、基準ダイナミックレンジをサポートする基準ディスプレイ(例えば、基準ＨＤＲディスプレイ、基準ＳＤＲディスプレイなど)上で見ることができる。
【0034】
画像フレーム(１１７)内の符号化ビデオシーケンスは、符号化ブロック(１２０)によって画像ビットストリーム(１２２)に圧縮(または符号化)される。一部の実施形態において、符号化ブロック(１２０)は画像ビットストリーム(１２２)を生成するために、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、Ｂｌｕ－Ｒａｙ、ＨＥＶＣ、ＡＶＣ、Ｈ．２６５、Ｈ．２６４、およびその他の配信形式で定義されるものなどのオーディオおよびビデオエンコーダを含むことができる。
【0035】
いくつかの実施形態では、画像ビットストリーム(１２２)は、ＨＤＲまたはＳＤＲ画像がポストプロダクション編集(１１５)で生成される芸術的意図を保存するＨＤＲまたはＳＤＲ画像(画像フレーム(１１７)内)で符号化される。
【0036】
画像フレーム(１１７)は、多種多様なＨＤＲまたはＳＤＲ表示装置(例えば、ＨＤＲディスプレイ、ＳＤＲディスプレイなど)と後方互換性がある(または代替的に後方互換性がない)ビデオ信号(例えば、８ビットＳＤＲビデオ信号、１０ビットＳＤＲビデオ信号など)中のビデオデータに符号化され得る。
【0037】
符号化ビットストリーム(１２２)は、ダウンストリームデコーダが関連する画像処理操作を実行するために使用できる、局所減光操作のための画像メタデータ部分、大域減光操作のための画像メタデータ部分、表示管理(ＤＭ)操作のための画像メタデータ部分、符号語マッピングのための画像メタデータなど、のいくつかまたはすべてを含むがこれに限定されない画像メタデータでさらに符号化される。
【0038】
次いで、画像ビットストリーム(１２２)は、テレビジョンセット、セットトップボックス、映画館などの復号および再生装置にダウンストリームで配信される。受信者(または下流装置)において、画像ビットストリーム(１２２)は、例えば符号化ブロック(１２０)および復号ブロック(１３０)によって生成された、符号化エラーまたは定量化エラーの対象となる画像フレーム(１１７)に表されるＨＤＲまたはＳＤＲ画像と同じであり得る復号画像（１８２）を生成するように、復号ブロック(１３０)によって復号される。第１のターゲットディスプレイ１４０－１が画像フレーム(１１７)内に表されるＨＤＲまたはＳＤＲ画像がカラーグレード付けされる基準ディスプレイ(１２５)の同じ表示能力をサポートするシナリオでは、復号画像(１８２)をレンダリングし、第１のターゲットディスプレイ(１４０－１)上で直接見ることができる。いくつかの実施形態では、受信機は、基準ディスプレイ(１２５)の同じ表示能力をサポートしないことがある第２のターゲットディスプレイ１４０に取り付けることができる。その場合、復号ブロック(１３０)は、第２のターゲットディスプレイ(１４０)のための最適化された表示画像（１３７）を生成するために、復号された画像(１８２)に関して、ローカル調光動作のための画像メタデータ部分に基づく表示装置固有のローカル調光動作、グローバル調光動作のための画像メタデータ部分に基づく表示装置固有のグローバル調光動作、ＤＭ動作のための画像メタデータ部分に基づく表示装置固有のＤＭ動作など、装置固有の画像処理動作１３５を実行することができる。
【0039】
圧縮メタデータによるＳＤＲまたは非ＳＤＲコンテンツの配信
本明細書で説明する技法を使用して、ＤＭ動作で使用されるＤＭメタデータを含むがこれに限定されない画像メタデータを大幅に圧縮することができる。これらの技術は広範な異なる動作シナリオに適しており、画像メタデータを圧縮して、画像メタデータの送信におけるオーバヘッドを著しく最小化し、したがって、画像メタデータおよび画像データを比較的低いビットレートで送信することを可能にするために使用することができる。いくつかの実施例では、本明細書に記載する技術がＳＤＲ画像(１１７)に付随する画像メタデータを圧縮するために行われてもよく、これには、比較的低いビットレートで画像ビットストリーム(１２２)内で送信できるＳＤＲ画像(１１７)と画像メタデータを有するＳＤＲ画像を許容するようにするＤＭメタデータが含まれるが、これらに限定されない。
本明細書で説明する技法を使用して、ＤＭ動作で使用されるＤＭメタデータを含むがこれに限定されない画像メタデータを大幅に圧縮することができる。これらの技術は広範な異なる動作シナリオに適しており、画像メタデータを圧縮して、画像メタデータの送信におけるオーバヘッドを著しく最小化し、したがって、画像メタデータおよび画像データを比較的低いビットレートで送信することを可能にするために使用することができる。いくつかの実施例では、本明細書に記載する技術がＳＤＲ画像(１１７)に付随する画像メタデータを圧縮するために行われてもよく、これには、比較的低いビットレートで画像ビットストリーム(１２２)内で送信できるＳＤＲ画像(１１７)と画像メタデータを有するＳＤＲ画像を許容するようにするＤＭメタデータが含まれるが、これらに限定されない。
【0040】
過去数十年間に世界中で大量のビデオ／ムービーが、比較的低いビットレートで伝送するために符号化されたＳＤＲコンテンツとして作成、記憶、および／または公表されてきたので、本明細書に記載する技術は、以前に作成された広範囲のＳＤＲコンテンツを運ぶ、または後方互換性のある符号化ストリームにおいて、著しく圧縮された画像メタデータを生成するために使用することができる。その結果、画像メタデータは比較的大量のデータを運ぶことができ、多種多様な表示装置および／またはメディアプレーヤに対するＤＭ動作を含むがこれに限定されない画像処理動作の最適化を可能にする。
【0041】
さらに、オプションまたは代替として、これらの技法を拡張して、単一層ビデオ信号であってもなくてもよい符号化ストリーム中に著しく圧縮された画像メタデータを生成することもできる。さらに、オプションまたは代替として、これらの技術を拡張して、画像ビットストリームからＳＤＲ、非ＳＤＲまたはＨＤＲコンテンツを生成するために使用できる符号化ストリーム内に、大幅に圧縮された画像メタデータを生成することもできる。
【0042】
いくつかの実施形態では、画像メタデータの圧縮は、現場または新しい配備において、多種多様なメディア処理装置によってサポートされる拡張ブロック(またはメタデータブロック)を使用して実現することができる。より具体的には、拡張ブロックは、以前に作成されたＳＤＲコンテンツに付随する画像メタデータを圧縮するために使用することができ、また、多種多様なビットレートで符号化された現在または将来のＳＤＲ(またはＳＤＲ以外のメディアコンテンツ)に付随する現在または将来の画像メタデータを圧縮するために使用することができる。いくつかの実施形態では、技法の少なくとも一部(例えば、クライアント側、デコーダ側など)は、ＤＭ動作を含むがこれに限定されない多種多様な画像処理動作において、ＳＤＲ(または非ＳＤＲコンテンツ)に付随する著しく圧縮された画像メタデータを受信し、利用するために、多種多様なＴＶ、モバイル装置、セットトップボックス、スマートプレーヤなどによって実装され、またはそれらに配備されることができる。
【0043】
さらに、ＳＤＲコンテンツがＳＤＲ表示装置のために特に最適化される動作シナリオでは、そのような(例えば、後方互換性などの)ＳＤＲコンテンツは、ＳＤＲレンダリングのみをサポートする装置を含むがそれに限定されない多種多様な下流復号装置に配信され得る。これらの装置は、ＳＤＲコンテンツに付属し、装置でサポートされていない画像メタデータの部分(サポートされていないＤＭ拡張ブロックなど)を無視できる。
【0044】
例えば、本明細書に記載するような圧縮フォーマットの画像メタデータを含む画像ビットストリームを受信する第１のデコーダ(例えば、フィールドに既に配備されているデコーダなど)を有する第１の装置は、画像メタデータを圧縮するために使用されるいくつかの比較的新しい拡張ブロックを認識せず、装置に既知またはアクセス可能なデフォルト値(例えば、ＤＭ静的値など)を使用するためにフォールバックすることができる。第１のデコーダは、第１のデコーダでサポートされている圧縮形式で、画像メタデータの他の部分の復号と処理を保持できる。
【0045】
比較すると、このような画像ビットストリームを受信する第２のデコーダ(例えば、新しくリリースされたデコーダなど)を有する第２の装置は、比較的新しい拡張ブロックを認識することができ、画像ビットストリーム内の圧縮画像メタデータを解凍し、比較的新しい拡張ブロック内の動的または受け取った（ｐａｓｓｅｄ－ｉｎ）値に基づいて画像処理動作(例えば、ＤＭ動作など)を実行することができる。比較的新しい拡張ブロックなどの圧縮フォーマットは、ＤＭ動作を含むがこれに限定されない多種多様な画像処理動作において、ＳＤＲまたは非ＳＤＲコンテンツに付随する著しく圧縮された画像メタデータを受信し、利用するために、多種多様なＴＶ、モバイル装置、セットトップボックス、スマートプレーヤなどによって実装または配備され得る。
【0046】
符号化ビデオシーケンス
図２Ａは、連続する画像フレーム(例えば、２０６－１－１、２０６－１－２、２０６－２－１、２０６－２－２など)の列を構成する画像フレームを例示したものである(例えば、図１の１１７など)。連続する画像フレームのシーケンスは、(例えば、通常の再生、メディア再生などの)時間次元２０２にわたる連続する時間ポイントのシーケンスに対応し得る。画像フレームのシーケンス内の各画像フレームは、連続する時点のシーケンス内の時間次元(２０２)内のそれぞれの時点に対応することができ、それぞれの時点またはその付近のそれぞれのフレームインターバルについて表示装置によってレンダリングされる(指定される)ことができる。
図２Ａは、連続する画像フレーム(例えば、２０６－１－１、２０６－１－２、２０６－２－１、２０６－２－２など)の列を構成する画像フレームを例示したものである(例えば、図１の１１７など)。連続する画像フレームのシーケンスは、(例えば、通常の再生、メディア再生などの)時間次元２０２にわたる連続する時間ポイントのシーケンスに対応し得る。画像フレームのシーケンス内の各画像フレームは、連続する時点のシーケンス内の時間次元(２０２)内のそれぞれの時点に対応することができ、それぞれの時点またはその付近のそれぞれのフレームインターバルについて表示装置によってレンダリングされる(指定される)ことができる。
【0047】
図２Ａに示すように、連続する画像フレームのシーケンスは、第１の符号化ビデオシーケンス２０４－１、第２の符号化ビデオシーケンス２０４－２などの複数の符号化ビデオシーケンスに分割されてもよい。いくつかの実施形態では、これらの符号化ビデオシーケンスのうちの任意の２つは相互に排他的である(または重複しない)。複数の符号化ビデオシーケンス内の各符号化ビデオシーケンスは、画像フレームのそれぞれのセットを含む。例えば、第１の符号化ビデオシーケンス(２０４－１)は、画像フレーム（２０６－１－１、２０６－１－２など）の第１のセットを含むことができる。第１の符号化ビデオシーケンス(２０４－１)の後に(例えば、直ちになど)続く第２の符号化ビデオシーケンス(２０４－２)は、画像フレーム（２０６－２－１、２０６－２－２など）の第２のセットを備えることができる。
【0048】
図２Ｂは、(例えば、虚像、物理像、基準面などの)画像レンダリング面にわたるピクセル位置(またはサンプル位置)のアレイにおいて、２０８－１、２０８－２などのピクセル(またはサンプル)のアレイを含む例示的な画像フレーム（２０６）を示す。図示のように、画像フレーム(２０６)内のピクセルのアレイは、２１４－１、２１４－２、２１４－３などの複数のピクセル行(またはサンプル行)に分割することができる。ピクセル行は画像レンダリング面の第１の空間次元(例えば、水平次元など)に対応することができるが、必ずしもこれに限定されない。複数のピクセル行は、画像レンダリング面の第２の異なる空間次元(例えば、垂直次元など)に沿って行シーケンスインデックスを用いて順序付けられてもよい。
【0049】
本明細書で説明する画像フレームは、多種多様な色空間(例えば、ＹＣｂＣｒ、ＲＧＢ、ＩＰＴ、ＩＣｐＣｔ、線形色空間、非線形色空間、知覚量子化ベースの色空間など)および／または色フォーマット(例えば、４：４：４、４：２：２、４：２：０など)のいずれかで表すことができることに留意されたい。さらに、オプションまたは代替として、画像フレームは、色空間変換動作、色フォーマット変換動作、再サンプリング動作などによって、異なる色空間および／または異なる色フォーマットで表すことができる。したがって、本明細書で説明する画像フレームは、単色フォーマットの輝度サンプルのアレイ、または輝度サンプルのアレイ、および(例えば、４：４：４、４：２：２、４：２：０など)色フォーマットの２つの対応するクロマサンプルによって、(例えば、少なくとも概念的になど)表すことができる。
【0050】
限定ではなく例として、画像ビットストリーム(例えば、図１の１２２など)に符号化される画像フレーム(２０６)は、ＲＧＢピクセルのアレイを備えることができ、その各々は特定のピクセル位置に対応し、赤(Ｒ)サブピクセル、緑(Ｇ)サブピクセル、および青(Ｂ)サブピクセルを備える。
【0051】
いくつかの実施形態では、符号化ビデオシーケンス内の画像フレームのセット(単数または複数)内の各画像フレームが、複数の画像フレームタイプのうちの１つの画像フレームタイプである。本明細書で説明される例示的な画像フレームタイプは、完全にインターリーブされていない画像フレームタイプ、完全にインターリーブされた画像フレームタイプ、部分的にインターリーブされておらず部分的にインターリーブされた画像フレームタイプなどのうちの１つまたは複数を含むことができるが、必ずしもこれらに限定されない。
【0052】
画像フレーム(２０６)が完全にインターリーブされていない画像フレームタイプである場合、画像フレーム(２０６)内のすべてのピクセル行(またはすべてのピクセル行内のすべてのピクセル)は、表示装置によって、フレームインターバルについて、単一の画像フィールド内に同時にレンダリングされる(指定される)。
【0053】
画像フレーム(２０６)を単一の画像フィールドとしてレンダリングするためにラスタ走査が使用される動作シナリオでは、単一の画像フィールド内のピクセル行が、ピクセル行の行シーケンスインデックスと同じ順序でレンダリングするために走査される。これらの動作シナリオでは、第１のピクセル行(２１４－１)が最初にラスタ走査され、第２のピクセル行(２１４－２)が続き、さらに第３のピクセル行(２１４－３)が続く。
【0054】
画像フレーム(２０６)が完全にインターリーブされた画像フレームタイプのものである場合、画像フレーム(２０６)内のピクセル行は、２つの異なる画像フィールド(上部画像フィールドおよび下部画像フィールド)にグループ化または分割される。例えば、奇数番目のピクセル行は上部画像フィールドに分割またはグループ化されてもよく、一方、偶数番目のピクセル行は下部画像フィールドに分割またはグループ化される。フレームインターバルは、２つのフレームサブインターバルに分割される。上部および下部画像フィールドの各々におけるすべてのピクセル行は、表示装置によってフレームインターバルのそれぞれのフレームサブインターバルについて同時にレンダリングされる(指定される)。
【0055】
画像フレーム(２０６)をレンダリングするためにラスタ走査が使用される動作シナリオでは、画像フレーム(２０６)のそのような各画像フィールド内のピクセル行を、その画像フィールド内のピクセル行の行シーケンスインデックスと同じ順序でレンダリングするために走査することができる。これらの動作シナリオでは、画像フレーム(２０６)のトップ画像フィールドをレンダリングするように指定されたフレームインターバルの第１のフレームサブインターバルについて、トップ画像フィールドの第１のピクセル行(２１４－１)が最初にラスタスキャンされ、トップ画像フィールドの第３のピクセル行(２１４－３)が続き、以下同様であり、ボトム画像フィールドの第２のピクセル行(２１４－２)などの偶数番号のピクセル行は第１のフレームサブインターバルについてレンダリングされない。逆に、画像フレーム(２０６)のボトム画像フィールドをレンダリングするように指定されたフレームインターバルの第２の異なるフレームサブインターバルについて、ボトム画像フィールドの第２のピクセル行(２１４－２)は最初にラスタスキャンされ、次にボトム画像フィールドの次の偶数番号のピクセル行(図示せず)が続き、以下同様であり、トップ画像フィールドの第１のピクセル行(２１４－１)のような奇数番号のピクセル行は、第２のフレームサブインターバルについてレンダリングされない。
【0056】
図２Ｃは、部分的にインターリーブされておらず部分的にインターリーブされた画像フレームタイプである画像フレーム（２０６－１）を示す。図示されるように、画像領域輪郭（２１０）は画像フレーム(２０６－１)内で決定または描写されてもよく、画像フレーム(２１０)を、ピクセル(例えば、２０８－３など)を含む第１の画像領域（２１２－１）(例えば、画像領域輪郭(２１０など)によって囲まれる)、ピクセル(例えば、２０８－４など)を含む第２の画像領域（２１２－２）(例えば、画像領域輪郭(２１０など)の外側)などのような異なる画像領域に分割するために使用されてもよい。いくつかの実施形態では、画像フレーム(２０６－１)の異なる画像領域において、異なるインターレースパターンを実施することができる。
【0057】
一例では、第１の画像フィールドおよび第２の画像フィールド(内のピクセル行またはサンプル行)が第１の画像領域(２１２－１)内でインターリーブされてもよく、(第３の画像フィールド（内のピクセル行またはサンプル行)のみが第２の画像領域(２１２－２)内で使用されてもよい。第２の画像領域(２１２－２)を占める第３の画像フィールド内のピクセルは、画像フレーム(２０６－１)がレンダリングされる(指定される)フレームインターバルについて、レンダリングされる(指定される)ことができる。第１の画像領域(２１２－１)の一部(例えば、奇数行)を占める第１の画像フィールド内のピクセルは、フレームインターバルの第１のフレームサブインターバルについてレンダリングされる(指定される)ことができる。第１の画像領域(２１２－１)の第２の部分(例えば、偶数行)を占める第２の画像フィールド内のピクセルは、第１のフレームサブインターバルに続くフレームインターバルの第２のフレームサブインターバルについてレンダリングされる(指定される)ことができる。
【0058】
別の例では、第４の画像フィールドおよび第５の画像フィールド(内のピクセル行またはサンプル行)が第２の画像領域(２１２－２)内でインターリーブされてもよく、第６の画像フィールド（内のピクセル行またはサンプル行)のみが、第１の画像領域(２１２－１)内で使用されてもよい。第１の画像領域(２１２－１)を占める第６の画像フィールド内のピクセルは、画像フレーム(２０６－１)がレンダリングされるように指定されるフレームインターバルについて、レンダリングされる(指定される)ことができる。第２の画像領域(２１２－２)の一部(例えば、偶数行)を占める第４の画像フィールド内のピクセルは、フレームインターバルの第１のフレームサブインターバルについてレンダリングされる(指定される)ことができる。第２の画像領域(２１２－２)の第２の部分(例えば、奇数行)を占める第５の画像フィールド内のピクセルは、第１のフレームサブインターバルに続くフレームインターバルの第２のフレームサブインターバルについてレンダリングされる(指定される)ことができる。
【0059】
本明細書で使用されるように、画像領域輪郭(２１０)は、オブジェクトセグメンテーション技法、面／オブジェクト検出、動き検出(例えば、異なる画像領域における異なる動き性質)などのうちの１つまたは複数を使用して、画像コンテンツ(例えば、ピクセルにおける値の空間分布および統計など)に基づいて描写され得る。さらに、オプションまたは代替として、(例えば、カラーリスト、ビデオプロフェッショナル、メディア処理システムのオペレータなどからの)手動入力を使用して、本明細書で説明する画像領域輪郭を指定または決定することができる。
【0060】
いくつかの実施形態では、部分的にインターリーブされた部分的にインターリーブされていない画像フレーム内の１つまたは複数の画像領域が観察者の中心視覚をカバーするために使用されてもよく、一方、部分的にインターリーブされた部分的にインターリーブされていない画像フレーム内の１つまたは複数の他の画像領域は、例えば、ビデオ表示アプリケーション、拡張現実(ＡＲ)ビデオアプリケーション、仮想現実(ＶＲ)ビデオアプリケーション、混合現実(ＭＲ)ビデオアプリケーション、ゲームアプリケーション、リモートプレゼンスアプリケーションなどにおいて、観察者の非中心視覚をカバーするために使用されてもよい。
【0061】
いくつかの実施形態では、部分的にインターリーブされた部分的にインターリーブされていない画像フレーム内の１つまたは複数の画像領域は、高速で動くオブジェクト／図形を描写するために使用されてもよく、一方、部分的にインターリーブされた部分的にインターリーブされていない画像フレーム内の１つまたは複数の他の画像領域は、動画、放送などを含むが必ずしもこれらに限定されないビデオアプリケーション内の他のオブジェクト／図形／背景をカバーするために使用されてもよい。
【0062】
図２Ｄは、同じタイプの画像フレームを含む例示的な符号化ビデオシーケンス(例えば、図２Ａの第１の符号化ビデオシーケンス(２０４－１)など)を示す。本明細書で説明されるような画像フレーム(例えば、図１の１１７など)は、プロダクション相(例えば、図１の１１０など)および／またはポストプロダクション編集相(例えば、図１の１１５など)において、入力ビデオデータ(例えば、図１の１０７など)から生成(例えば、作成、編集など)され得る。第１の符号化ビデオシーケンス(２０４－１)内の画像フレームのセット(単数または複数)内の各画像フレームは、入力ビデオデータ(１０７)内の１つ、２つ以上の画像の一部またはすべてから生成されてもよい。
【0063】
より具体的には、符号化ビデオシーケンスは、単一の画像フレームタイプの画像フレームを備える(例えば、符号化される、符号化するために使用される、など)ことができる。一例では、符号化ビデオシーケンスは画像フレームを含むことができ、そのすべては完全にインターリーブされていない画像フレームタイプのものである。別の例では、符号化ビデオシーケンスは画像フレームを含むことができ、そのすべては完全にインターリーブされた画像フレームタイプである。さらに別の例では、符号化ビデオシーケンスは画像フレームを含むことができ、図２Ｃに示すように、そのすべては部分的にインターリーブされた部分的にインターリーブされていない画像フレームタイプである。
【0064】
限定ではないが例示として、第１の符号化ビデオシーケンス(２０４－１)内の画像フレームのセット内の第１の画像フレーム（２０６－１－１）は、入力ビデオデータ(１０７)内のソース画像の第１のセット（２１６－１）のいくつかまたはすべてから生成され得る。第１の符号化ビデオシーケンス(２０４－１)内の画像フレームのセット内の第２の画像フレーム（２０６－１－２）は、入力ビデオデータ(１０７)内のソース画像の第２のセット（２１６－２）の一部またはすべてから生成されてもよい。
【0065】
第１の符号化ビデオシーケンス(２０４－１)内の画像フレーム内の異なる画像フィールドは、入力ビデオデータ(１０７)内の異なるソース画像からそれぞれ生成することができる。さらに、オプションまたは代替として、いくつかの実施形態では、第１の符号化ビデオシーケンス(２０４－１)内の画像フレーム内の少なくとも２つの異なる画像フィールドは、入力ビデオデータ(１０７)内の同じソース画像から(例えば、完全に、部分的になど)生成することができる。
【0066】
【0067】
より具体的には、第２の符号化ビデオシーケンス(２０４－２)は、複数の画像フレームタイプのうちの２つ以上の異なる画像フレームタイプの画像フレームを含むことができる。一例では、符号化ビデオシーケンスは画像フレームを含むことができ、そのすべては完全にインターリーブされていない画像フレームタイプまたは完全にインターリーブされた画像フレームタイプのいずれかである。別の例では、符号化ビデオシーケンスは画像フレームを含むことができ、そのすべては完全にインターリーブされていない画像フレームタイプまたは部分的にインターリーブされた部分的にインターリーブされていない画像フレームタイプのいずれかである。さらに別の例では、符号化ビデオシーケンスは画像フレームを含むことができ、そのすべては完全にインターリーブされた画像フレームタイプまたは完全にインターリーブされていない画像フレームタイプのいずれかである。さらに、オプションまたは代替として、符号化ビデオシーケンスは画像フレームを含むことができ、そのうちのいくつかは完全にインターリーブされた画像フレームタイプであり、そのうちのいくつかは完全にインターリーブされていない画像フレームタイプであり、またはそのうちのいくつかは部分的にインターリーブされた部分的にインターリーブされていない画像フレームタイプである。
【0068】
限定ではないが例示として、第２の符号化ビデオシーケンス(２０４－２)内の画像フレームのセット内の第３の画像フレーム（２０６－２－１）は、入力ビデオデータ(１０７)内のソース画像の第３のセット（２１６－３）の一部またはすべてから生成されてもよい。第２の符号化ビデオシーケンス(２０４－２)内の画像フレームのセット内の第４の画像フレーム（２０６－２－２）は、入力ビデオデータ(１０７)内のソース画像の第４のセット（２１６－４）の一部またはすべてから生成されてもよい。第２の符号化ビデオシーケンス(２０４－２)内の画像フレームのセット内の第５の画像フレーム（２０６－２－３）は、入力ビデオデータ(１０７)内のソース画像の第５のセット（２１６－５）の一部またはすべてから生成されてもよい。
【0069】
前述のように、本明細書で説明するように、画像ビットストリーム(例えば、図１の１２２など)で符号化された画像フレーム(例えば、図１の１１７など)内の画像フレーム(例えば、図２Ｄの２０６－１－１、図２Ｄの２０６－１－２、図２Ｅの２０６－２－１、図２Ｅの２０６－２－２、図２Ｅの２０６－２－３など)は、画像フレーム(図１の１１７)が対応する(図２Ａの１０２などの時間次元内の)連続する時点のシーケンス内のそれぞれの時点に対応する。図３Ｃに示すように、第３の画像フレーム(２０６－２－１)は、時間次元(１０２)内の第１の時点（２１８－１）に対応することができ、第１の時点(２１８－１)またはその付近の第１のフレームインターバルでレンダリングするために(指定される)ことができる。第４の画像フレーム(２０６－２－２)は、時間次元(１０２)において、第１の時点(２１８－１)に続く第２の時点（２１８－２）に対応することができ、第２の時点(２１８－２)またはその付近の第２のフレームインターバルでレンダリングするために(指定される)ことができる。第５の画像フレーム(２０６－２－３)は、時間次元(１０２)において、第２の時点(２１８－２)に続く第３の時点（２１８－３）に対応することができ、第３の時点(２１８－３)またはその付近の第３のフレームインターバルでレンダリングするために(指定される)ことができる。
【0070】
コンテンツ光レベルに関するビデオ処理
図３Ａは、画像フレームと、コンテンツ光レベルメタデータを含むがこれに限定されない対応する画像メタデータとを生成するための(例えば、図１の１１７など)例示的なビデオエンコーダを示す。様々なシステム構成要素は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組合せを介して実現することができる。これらのシステム構成要素のいずれか、いくつか、またはすべては、相互接続され、直接に、または１つまたは複数のネットワークを介して通信され得る。
図３Ａは、画像フレームと、コンテンツ光レベルメタデータを含むがこれに限定されない対応する画像メタデータとを生成するための(例えば、図１の１１７など)例示的なビデオエンコーダを示す。様々なシステム構成要素は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組合せを介して実現することができる。これらのシステム構成要素のいずれか、いくつか、またはすべては、相互接続され、直接に、または１つまたは複数のネットワークを介して通信され得る。
【0071】
画像フレーム生成器（１６４）は入力としてソース画像（１８４）を受け取り、ソース画像（１８４）を使用して画像フレーム（１１７）を生成する。いくつかの実施形態では、ソース画像(１８４)は、生のカメラ画像、処理されたカメラ画像、コンピュータ生成グラフィックス、オブジェクトモデルベースの画像レンダリングによって生成された画像、デジタル的にキャプチャされた、またはコンピュータ生成されたビデオフレーム(例えば、図１の１０２など)、編集された、またはカラーグレード化された画像(例えば、図１の１１２など)などのいずれかであってもよいが、必ずしもこれらに限定されない。
【0072】
基準ディスプレイ(例えば、図１の１２５など)上で見るために最適化され得る画像フレーム(１１７)を生成するために、多種多様な画像処理動作における１つまたは複数の画像処理動作の任意の組合せは、ソース画像(１８４)上で画像フレーム生成器(１６４)によって実行することができる。画像フレーム生成器(１６４)によって実行され得る例示的な画像処理動作は、復号、符号化、トランスコーディング、色空間変換、色フォーマット変換、トーンマッピング、順方向または逆方向再整形、ブレンディング、ミキシング、クロッピング、色域変換、逆トーンマッピング、予測、非線形量子化、知覚量子化、圧縮、圧縮解除、ダウンサンプリングまたはアップサンプリングなどの空間的および／または時間的再サンプリング、デブロッキング、ノイズフィルタリング、オブジェクトセグメンテーション、オブジェクト／特徴検出、画像コンテキストおよび／またはピクセル値に基づく動作などのいずれかを含むが、必ずしもこれらに限定されない。
【0073】
コンテンツ光レベル生成器（１６６）は入力として画像フレーム(１１７)を受け取り、画像フレーム(１１７)のコンテンツ光レベル（１６８）を生成する。
【0074】
いくつかの実施形態では、画像フレーム生成器(１６４)およびコンテンツ光レベル生成器(１６６)の一方、いずれか、または両方は、画像フレーム(１１７)内の所与の(例えば、各、特定などの)画像フレームについて１つまたは複数のフレーム当たりのコンテンツ光レベルを決定することができる。本明細書で説明されるように、画像フレームから計算されるフレームごとのコンテンツ光レベルの例は、必ずしも限定されないが、画像フレームのいくつか(例えば、視覚的に関連する領域、顕著な部分、他の画像領域よりも重要であると自動的にまたは手動で識別された画像領域など)またはすべての、最大コンテンツ光レベル、平均コンテンツ光レベル、最小コンテンツ光レベルなどのいずれかを含むことができる。
【0075】
いくつかの実施形態では、画像フレーム生成器(１６４)およびコンテンツ光レベル生成器(１６６)の一方、いずれか、または両方は、画像フレーム(１１７)内の所与の(例えば、各、特定などの)符号化ビデオシーケンスについて１つまたは複数のＣＶＳごとのコンテンツ光レベルを決定することができる。いくつかの実施形態では、符号化ビデオシーケンス内の画像フレームは、共通の視覚特性(例えば、ダイナミックレンジ、色域、白色点、動き特性、画像特徴／オブジェクト、画像テクスチャ、同じ瞬時復号リフレッシュまたはＩＤＲフレームまたはアクセスユニットを共有することなど)を共有することができ、符号化ビデオシーケンス内で連続することができる。さらに、オプションまたは代替として、符号化ビデオシーケンス内の画像フレームは、予測構造、依存構造、レイヤ構造、品質レベル構造、前述のもの組合せなどにおいて、同じレベル、レイヤなどを共有することができる。本明細書で説明されるように、画像フレームから計算されるＣＶＳごとのコンテンツ光レベルの例は、最大コンテンツ光レベル(ＭＡＸＣＬＬ)、最大フレーム平均コンテンツ光レベル(ＭＡＸＦＡＬＬ)、最小コンテンツ光レベルなどのいずれかを含むことができるが、必ずしもそれらに限定されない。
【0076】
いくつかの実施形態では、ＣＶＳ単位コンテンツ光レベルは、符号化ビデオシーケンスを構成する画像フレームのセット(単数または複数)内の各画像フレームについて計算されたフレームごとのコンテンツ光レベルのいくつかまたはすべてを使用して計算することができる。限定ではなく例として、符号化ビデオシーケンスのＭＡＸＣＬＬなどの第１のＣＶＳ単位コンテンツ光レベルは、符号化ビデオシーケンス内の画像フレームのいくつかまたはすべてのフレームごとの最大コンテンツ光レベルとして計算することができる。符号化ビデオシーケンスのＭＡＸＦＡＬＬのような第２のＣＶＳ単位コンテンツ光レベルは、符号化ビデオシーケンス内の画像フレームの一部またはすべてのフレームごとの平均コンテンツ光レベルの最大値として計算することができる。
【0077】
いくつかの実施形態では、画像フレーム生成器(１６４)およびコンテンツ光レベル生成器(１６６)の一方、いずれかまたは両方は、画像フレーム(１１７)内の所与の(例えば、各、特定などの)符号化ビデオシーケンスの細分割について、コンテンツ光レベルの１つまたは複数のＣＶＳの細分割ごとに決定することができる。本明細書で使用されるように、符号化ビデオシーケンスの細分割は、符号化ビデオシーケンスの、画像フレームの複数の適切なサブセット、ピクチャのグループ、または複数のＧＯＰにおけるＧＯＰなどにおける画像フレームの適切なサブセットを参照することができる。いくつかの実施形態では、符号化ビデオシーケンスの細分割における画像フレームは、共通の視覚特性(例えば、ダイナミックレンジ、色域、白色点、動き特性、画像特徴／オブジェクト、画像テクスチャなど)を共有することができ、符号化ビデオシーケンスにおいて連続することができる。さらに、オプションまたは代替として、符号化ビデオシーケンスの細分割における画像フレームは、予測構造、依存構造、レイヤ構造、品質レベル構造、前記の組合せなどにおいて、同じレベル、レイヤなどを共有することができる。本明細書で説明するように、画像フレームから計算されたＣＶＳの細分割単位コンテンツ光レベルの例は、最大コンテンツ光レベル(ＭＡＸＣＬＬ)、最大フレーム平均コンテンツ光レベル(ＭＡＸＦＡＬＬ)、最小コンテンツ光レベルなどのいずれかを含むことができるが、必ずしもそれらに限定されない。
【0078】
いくつかの実施形態では、ＣＶＳの細分割単位コンテンツ光レベルのが、符号化ビデオシーケンスの細分割を構成する画像フレームの適切なセット(単数または複数)内の各画像フレームについて計算されたフレームごとのコンテンツ光レベルの一部またはすべてを使用して計算されてもよい。限定ではなく例として、符号化ビデオシーケンスの細分割のためのＭＡＸＣＬＬなどの第１のＣＶＳの細分割単位コンテンツ光レベルは、符号化ビデオシーケンスの細分割における画像フレームの適切なサブセットのいくつかまたはすべてのフレームごとの最大コンテンツ光レベルとして計算され得る。符号化ビデオシーケンスの細分割のためのＭＡＸＦＡＬＬなどのＣＶＳの細分割単位コンテンツ光レベルは、符号化ビデオシーケンスの細分割における画像フレームの適切なサブセットのいくつかまたはすべてのフレームごとの平均コンテンツ光レベルの最大値として計算することができる。
【0079】
本明細書で説明されるコンテンツ光レベル(例えば、フレームごとのコンテンツ光レベル、ＣＶＳの細分割単位コンテンツ光レベル、ＣＶＳごとのコンテンツ光レベル、前述のいくつかまたはすべてからさらに計算されたメディア番組ごとのコンテンツ光レベルなど)は限定されないが、線形値(例えば、ニト（ｎｉｔ）で表される物理的光強度レベルに線形に比例するか、または線形に変換可能でなど)、または非線形値(例えば、ニト（ｎｉｔ）で表される物理的光強度レベルに非線形に変換可能でなど)として表され得る。いくつかの実施形態では、画像フレームのピクセルで表される、ルマコードワード(例えば、ＩＰＴまたはＩＣｔＣｐ色空間におけるＩ値、ＹＣｂＣｒ色空間におけるＹ値など)、クロマコードワード(例えば、ＩＰＴにおけるＰ値およびＴ値、ＩＣｔＣｐ色空間におけるＣｔ値およびＣｐ値、ＹＣｂＣｒ色空間におけるＣｂ値およびＣｒ値など)、色成分コードワード(例えば、ＲＧＢ空間におけるＲ値、Ｇ値およびＢ値など)は線形値であってもよいし、線形値でなくてもよい。様々な実施形態では、コンテンツ光レベルが線形値として生成されるか非線形値として生成されるかにかかわらず、画像フレームのピクセル内に表されるコードワードは、ガンマコーディングまたはハイブリッドログガンマ(ＨＬＧ)コーディングに関連するものなどの非線形非知覚量子化コードワードマッピング関数(例えば、非線形非ＰＱ電気光学伝達関数またはＥＯＴＦなど)、非線形ＰＱコードワードマッピング関数(例えば、非線形ＰＱ ＥＯＴＦなど)、線形マッピング関数(例えば、露出設定などに基づく)などのうちの１つまたは複数に基づいて生成され得る。
【0080】
いくつかの実施形態では、画像メタデータ生成器（１７０）(例えば、符号化ブロック(１２０)の一部など)は、画像フレーム(１１７)およびコンテンツ光レベル(１６８)を入力として受信し、グローバル調光メタデータ、ローカル調光メタデータ、ＤＭメタデータなどの画像メタデータ（１７６）を生成する。本明細書で説明されるような、フレームごと、ＣＶＳの細分割ごと、ＣＶＳごとなどのコンテンツ光レベルのいくつかまたはすべてを、コンテンツ光レベル(１６８)に含めることができる。一例では、ＣＶＳごとのコンテンツ光レベルのみが、画像メタデータ(１７６)において下流の装置に送信される。別の例では、本明細書で説明するように、フレームごと、ＣＶＳの細分割ごと、ＣＶＳごとなどのコンテンツ光レベルの任意の組合せを、画像メタデータ(１７６)で送信することができる。
【0081】
図３Ａに示すように、圧縮ブロック（１４２）(例えば、図１の符号化ブロック(１２２)などの一部)は、ビデオ信号（１７４）内の画像フレーム(１１７)を圧縮／符号化する。ビデオ信号の一例は、図１の画像ビットストリーム(１２２)であってもよいが、必ずしもこれに限定されない。画像フレーム(１１７)、コンテンツ光レベル(１６８)などに基づいて画像メタデータ生成器(１７０)によって生成される画像メタデータ(１７６)は、(例えば、図１の符号化ブロック(１２２)などによって)ビデオ信号に符号化され得る。
【0082】
画像メタデータ(１７６)は、画像フレームから、インバンドで搬送されるか、またはビデオ信号内の圧縮画像フレーム(１１７)に埋め込まれてもよく、または、(追加的に、または代替的に)ビデオ信号内で(例えば、別個のメタデータコンテナ内で、別個のビットストリーム内で、指定されたサブストリーム内で、コンポーネントストリーム内でなど)別個に搬送されてもよい。例えば、画像メタデータ(１７６)は画像ビットストリーム内の構成要素ストリーム内で符号化されてもよく、この構成要素ストリームは画像フレーム(１１７)が符号化される(画像ビットストリームの)他の構成要素ストリームから分離されていてもいなくてもよい。
【0083】
画像メタデータ(１７６)は、参照ディスプレイ(１２５)と同一の表示能力を有していても、有していなくてもよい異なるターゲットディスプレイについて、異なるターゲット装置固有の画像を直接符号化することを避けるために使用することができる。その代わりに、ビデオ信号内の画像メタデータ(１７６)を使用して、異なるターゲットディスプレイで動作する下流復号装置が復号画像(例えば、図１の１８２)を最適化することができる画像処理／レンダリング動作を実行して、これらのターゲットディスプレイのそれぞれについてそれぞれ最適化された表示画像を生成し、ターゲットディスプレイが、画像フレーム(１１７)が最適化される基準ディスプレイ(１２５)と同じ表示能力を有するかどうかにかかわらず、これらの異なるターゲットディスプレイ上の画像フレーム(１１７)内に表される画像コンテンツを有する最適化された表示画像をレンダリングすることを可能にすることができる。
【0084】
いくつかの実施形態では、コンテンツ光レベルメタデータの一部またはすべてを、画像フレーム(１１７)と共にビデオ信号(１７４)で送信される１つまたは複数の補足的エンハンスメント情報(ＳＥＩ)メッセージに符号化することができる。本明細書に記載するようなコンテンツ軽量レベル情報ＳＥＩメッセージを符号化するために使用されるシンタックスの例を、以下の表１に示す。さまざまな実施形態では、表１に示すように、より多くまたはより少ないシンタックス要素を有する別のシンタックスを使用して、ＳＥＩメッセージ内のコンテンツライトレベル情報を符号化することができることに留意されたい。
【0085】
【表1】
【0086】
このＳＥＩメッセージシンタックスは、符号化ビデオシーケンスのフレームのいずれか、いくつか、またはすべての公称ターゲット輝度光レベルの上限を識別する。例えば、表１に示すように、シンタックスで符号化されたＳＥＩメッセージを使用して、符号化ビデオシーケンス内の１つまたは複数の個々のフレーム、符号化ビデオシーケンスの１つまたは複数の個々の細分割、符号化ビデオシーケンス全体、１つまたは複数の符号化ビデオシーケンス、入力ビデオ信号／ソース、メディアプログラム(例えば、ライブ放送、ＴＶプログラムなど)などの公称ターゲット輝度光レベルの上限を識別することができる。
【0087】
非限定的な例示的実施形態では、ＳＥＩメッセージで伝達される情報は、例えば、消費者技術協会８６１．３－Ａ仕様、Ｈ．２６４、ＡＶＣ、Ｈ．２６５、ＨＥＶＣなどの、ビデオ符号化および／または表示に関連する独自仕様および／または業界標準の使用に対応する目的に適切であることが意図される。限定ではなく例として、いくつかの実施形態では、ビデオ信号(１７４)は、Ｈ．２６４(類似)符号化シンタックスで符号化された画像ビットストリームを表す。
【0088】
コンテンツ光レベル情報ＳＥＩメッセージのセマンティクスは、平方メートル(またはニト)ごとのカンデラの単位で、符号化ビデオシーケンスのフレームの線形光領域における赤、緑、および青色原色強度の４：４：４表現におけるサンプル(またはピクセル)の値に関連して定義することができる。しかしながら、このＳＥＩメッセージは、それ自体では、復号された画像フレームのサンプル値(またはピクセル値)を、復号された画像フレームに対応する線形光領域における赤、緑、および青色原色強度の４：４：４表現におけるＲＧＢフレームのサンプル値に変換するための変換プロセスを識別しない。
【0089】
ビデオ信号(１７４)がＨ．２６４符号化シンタックスで符号化された画像ビットストリームを表す動作シナリオでは、「colour_primaries」、「transfer_characteristics」、「matrix_coeffs」、およびクロマリサンプリングフィルタヒントＳＥＩメッセージ(存在する場合)のようなＨ．２６４符号化シンタックスの他のシンタックス要素がこのような変換プロセスの識別に役立つことがある。
【0090】
ビデオ信号(１７４)がＨ．２６４符号化シンタックスで符号化された画像ビットストリームを表す動作シナリオでは、図３Ａに示されるような、Ｈ．２６４符号化シンタックス内の他のシンタックス要素、本明細書で説明されるようなビデオエンコーダはＩＤＲアクセスユニット内のコンテンツ光レベル情報ＳＥＩメッセージの存在に適用するいくつかの制約(例えば、本明細書で説明されるような画像フレームを符号化するための、ビデオ信号(１７４)の符号化ビデオシーケンス内の符号化ユニットまたはシンタックス要素)を実装することができる。
【0091】
第１の制約の下で、コンテンツ光レベル情報ＳＥＩメッセージが符号化ビデオシーケンスの任意のアクセスユニットに存在し、コンテンツ光レベル情報ＳＥＩメッセージが任意の他のＳＥＩメッセージ内に含まれない場合、任意の他のＳＥＩメッセージ内に含まれないコンテンツ光レベル情報ＳＥＩメッセージは、符号化ビデオシーケンスの第１のアクセスユニットであるＩＤＲアクセスユニット内に存在する。
【0092】
第２の制約の下で、コンテンツ光レベル情報ＳＥＩメッセージが符号化ビデオシーケンスの任意のアクセスユニットに存在し、コンテンツ光レベル情報ＳＥＩメッセージがdependency_id(dId)、quality_id(qId)、およびtemporal_id(tId)に適用されるスケーラブルネストＳＥＩメッセージに含まれる場合、dIdに等しいdependency_id、qIdに等しいquality_id、およびtIdに等しいtemporal_idに適用されるスケーラブルネストＳＥＩメッセージに含まれるコンテンツ光レベル情報ＳＥＩメッセージが、符号化ビデオシーケンスの第１のアクセスユニットであるＩＤＲアクセスユニットに存在する。
【0093】
第３の制約の下で、コンテンツ光レベル情報ＳＥＩメッセージが符号化ビデオシーケンスの任意のアクセスユニットに存在し、コンテンツ光レベル情報ＳＥＩメッセージがview_id(vId)およびtemporal_id(tId)に適用されるＭＶＣスケーラブルネストＳＥＩメッセージに含まれる場合、vIdに等しいview_idおよびtIdに等しいtemporal_idに適用されるＭＶＣスケーラブルネストＳＥＩメッセージに含まれるコンテンツ光レベル情報ＳＥＩメッセージが、符号化ビデオシーケンスの第１のアクセスユニットであるＩＤＲアクセスユニットに存在するものとする。
【0094】
第４の制約の下で、コンテンツ光レベル情報ＳＥＩメッセージが符号化ビデオシーケンスの任意のアクセスユニットに存在し、コンテンツ光レベル情報ＳＥＩメッセージがview_id(vId)およびtemporal_id(tId)を持つテクスチャビューに適用されるＭＶＣＤスケーラブルネストＳＥＩメッセージに含まれる場合、vIdに等しいview_id、およびtIdに等しいtemporal_idを持つテクスチャビューに適用されるＭＶＣＤスケーラブルネストＳＥＩメッセージに含まれるコンテンツ光レベル情報ＳＥＩメッセージが、符号化ビデオシーケンスの第１のアクセスユニットであるＩＤＲアクセスユニットに存在する。
【0095】
いくつかの実施形態では、コンテンツ光レベル情報ＳＥＩメッセージは、符号化ビデオシーケンスの終了まで、現在のアクセスユニットからの復号順序で持続する。
【0096】
いくつかの実施形態では、コンテンツ光レベル情報ＳＥＩメッセージが、任意の他のＳＥＩメッセージにも含まれない場合、１～５の範囲（１と５を含めて）のnal_unit_typeを有するＶＣＬ ＮＡＬユニットにのみ関係する。
【0097】
ＳＥＩメッセージ、スケーラブルネストＳＥＩメッセージ、ＭＶＣスケーラブルネストＳＥＩメッセージ、ＭＶＣＤスケーラブルネストＳＥＩメッセージ、符号化ビデオシーケンス、アクセスユニット、ＩＤＲアクセスユニット、dependency_id(dId)、quality_id(qId)、temporal_id(tId)、view_id(vId)、テクスチャビュー、デコード順序、ＮＡＬユニット、ＶＣＬ ＮＡＬユニット、nal_unit_typeなどの例は、ＩＴＵ－Ｔ Ｈ．２６４「Advanced video coding for generic audiovisual services」（０４／２０１７）にある。
【0098】
いくつかの実施形態では、ビットストリームがスケーラブルビデオビットストリーム(例えば、Ｈ．２６４規格の付属書Ｇなどによる)である場合、他のＳＥＩメッセージ内に含まれないコンテンツ光レベル情報ＳＥＩメッセージはベースレイヤビットストリームにのみ適用される。ビットストリームがマルチビュービデオビットストリーム(例えば、Ｈ．２６４規格の付属書Ｈなどによる)である場合、任意の他のＳＥＩメッセージ内に含まれないコンテンツ光レベル情報ＳＥＩメッセージは、基本レイヤビットストリームにのみ適用される。ビットストリームが深さを有するマルチビュービデオビットストリーム(例えば、Ｈ．２６４規格のＡｎｎｅｘＩまたはＪなどによる)である場合、任意の他のＳＥＩメッセージ内に含まれないコンテンツ光レベル情報ＳＥＩメッセージは、基本テクスチャビューにのみ適用される。
【0099】
ビデオ信号（１７４）がＨ．２６４符号化シンタックスで符号化された画像ビットストリームを表す動作シナリオでは、Ｈ．２６４符号化シンタックス内の他のシンタックス要素、図３Ａに示されるような本明細書で説明されるようなビデオエンコーダは、コンテンツ光レベル情報ＳＥＩメッセージのコンテンツに適用するいくつかのさらなる制約を実装することができる。
【0100】
第１のさらなる制約の下で、同じ符号化ビデオシーケンスに適用され、任意の他のＳＥＩメッセージ内に含まれないすべてのコンテンツ光レベル情報ＳＥＩメッセージは、同じコンテンツを有する。
【0101】
２番目のさらなる制約の下で、同じ符号化ビデオシーケンスに適用され、dependency_id、quality_id、およびtemporal_idの特定の値に適用されるスケーラブルネストＳＥＩメッセージに含まれるすべてのコンテンツ光レベル情報ＳＥＩメッセージは同じコンテンツを持つ。
【0102】
さらに３番目の制約の下で、同じ符号化ビデオシーケンスに適用され、view_idとtemporal_idの特定の値に適用されるＭＶＣスケーラブルネスティングＳＥＩメッセージに含まれるすべてのコンテンツ光レベル情報ＳＥＩメッセージは同じコンテンツを持つ。
【0103】
４番目のさらなる制約の下で、同じ符号化ビデオシーケンスに適用され、view_idとtemporal_idの特定の値をもつテクスチャビューに適用されるＭＶＣＤスケーラブルネスティングＳＥＩメッセージに含まれるすべてのコンテンツ光レベル情報ＳＥＩメッセージは同じコンテンツを持つ。
【0104】
いくつかの実施形態では、前述の制約のいくつかまたはすべては、例えば、符号化ビデオシーケンスの個々のフレームまたは個々の細分割に関係するコンテンツ光レベルをシグナリングする目的で、緩和されてもよい(または実装されなくてもよい)。
【0105】
いくつかの実施形態では、本明細書で説明するコンテンツ光レベルＳＥＩメッセージ内の「max_content_light_level」が０に等しくない場合、１平方メートル当たりのカンデラの単位で、符号化ビデオシーケンスのフレームの赤、緑、および青色原色強度(線形光領域内)の４：４：４表現内のすべての個々のサンプル(またはピクセル)の中の最大光レベルの上限を示す。０に等しい場合、そのような上限は「max_content_light_level」によって示されない。
【0106】
いくつかの実施形態では、本明細書に記載するコンテンツ光レベルＳＥＩメッセージ内の「max_content_light_level_interpretation」が０に等しいかまたは等しくない場合、ＣＴＡ－８６１．３－Ａのようなビデオ符号化標準に従って「max_content_light_level」をＭａｘＣＬＬとして解釈することを示す。存在し、０に等しくない場合、「max_content_light_level」はビデオ符号化標準に規定されていないものを含む他の何らかの手段によって解釈される。いくつかの実施形態では、シンタックス要素「max_content_light_level_interpretation」は、MovieLabs Common Metadata“md”namespace（ＴＲ－ＭＥＴＡ－ＣＭ ２．６版 ２０１７年１２月１１日）に合わせて指定または追加することができる。加えて、オプションまたは代替として、「max_content_light_level_interpretation」を計算する方法は、ＴＲ－ＭＡＴＡ－ＣＭ、ＣＴＡ－８６１．３などの１つとして特定のビデオ符号化標準で指定される方法と同じかまたは類似である。
【0107】
ある実施形態では、本明細書に記載するようなコンテンツ光レベルＳＥＩメッセージ内の「max_content_light_level_type」は、「max_content_light_level」の値を計算するために使用される走査タイプを示す。「max_content_light_level_type」の例の値は、以下の表２に示される「走査タイプ」の値として表されてもよい。
【0108】
【表2】
【0109】
「max_content_light_level_type」および「max_frame_average_light_level」フィールドは、それらの値がフレームレベル(プログレッシブフレーム、相補ファイルペア、ＭＢＡＦＦフレームなど)または個々のフィールドで計算された場合、それぞれ明確にするために使用できる。例えば、インターレースされたソースコンテンツにおける、特にライト、クロスフェード、およびディゾルブのフラッシュのために、画像フレーム内の２つのフィールドが個別ではなく一緒に平均化されると、コンテンツライトレベルの値は異なる。「max_content_light_level_type」および「max_frame_average_light_level」フィールドは、ピクチャタイミングＳＥＩメッセージのclock_timestamp_flagが設定されている場合にのみ存在する「ct_type」シンタックス要素のような他のフィールドから推定しようとすることなく、どのように「max_content_light_level_type」および「max_frame_average_light_level」が計算されるかを確実にシグナリングするのに使用され、いくつかの作動シナリオでは、画像ビットストリーム（例えば、Ｈ．２６４画像ビットストリームなど）は、「ct_type」のような入力走査タイプのインジケータを持たない。さらに、これらのシナリオでは、画像ビットストリームは、画像タイミングＳＥＩメッセージのオプションの「pic_struct」シンタックス要素以外の表示走査タイプのインジケータを持たない。したがって、「ct_type」(入力走査タイプインジケータ)および「pic_struct」(出力走査タイプインジケータ)のようなこれらのフィールドは、「max_content_light_level」が入力ソースまたは出力符号化ビデオシーケンスに適用されるかどうかを示すために拡張することはできない。
【0110】
いくつかの実施形態では、本明細書に記載するコンテンツ光レベルＳＥＩメッセージ内の「max_content_light_level_io_type」は、「max_content_light_level」の値が入力ビデオ信号／ソース、符号化ビデオシーケンス全体、または１つまたは複数の他の信号部分／セグメントに適用されるかどうかを示す。「max_content_light_level_io_type」の値の例は、以下の表３に示す「入力出力タイプ」の値として表されてもよい。
【0111】
【表3】
【0112】
上の表３では、０の値は、「max_content_light level」および「max_frame_average_light_level」のようなコンテンツ光レベル値がソースビデオからパススルーされることを示すために使用されてもよい。１の値は、コンテンツ光レベル値が圧縮後に計算され、例えばファイルベースの符号化を支援するためにビットストリームに挿入されることを示すために使用されてもよい。２の値は、ライブ符号化を支援するために、上限コンテンツ光レベル値を示すために使用されてもよい。
【0113】
「max_content_light_level_io_type」および「max_frame_average_light_level_io_type」フィールドは、「max_content_light_level」および「max_frame_average_light_level」の値が入力ソースコンテンツに適用されるか、または、ファイルベースの符号化やビデオオンデマンド(Ｎｅｔｆｌｉｘ、Ｒｏｋｕ、Ｓｌｉｎｇなど)の場合と同様に、ビデオシーケンス全体を符号化した後に計算された値に適用されるかを明確にするために使用することができる。これらの２つのシンタックス要素を追加することにより、Ｈ．２６４ベースの画像ビットストリームは、番組レベルの静的メタデータがライブ放送などのコンテンツ光レベルのために生成することが困難であり得る動作シナリオにおいても、ライブ符号化およびトランスコーディングをシグナリングすることが可能になる。ライブ符号化をシグナリングすることは、さもなければディスプレイ適応システム、表示管理システム、グローバル／ローカル調光システム、ディスプレイ電力管理システムなどに利用できない有用なガイダンス情報を提供する。
【0114】
いくつかの実施形態では、本明細書で説明するコンテンツ光レベルＳＥＩメッセージ内の「max_frame_average_light_level」は、０に等しくない場合、１平方メートル当たりのカンデラの単位で、符号化ビデオシーケンスの任意の個々のフレームについての赤、緑、および青色原色強度(線形光ドメイン内)の４：４：４表現内のサンプル(またはピクセル)内の最大平均光レベルの上限を示す。０に等しい場合、そのような上限は「max_frame_average_light_level」によって示されない。
【0115】
いくつかの実施形態では、本明細書に記載するようなコンテンツ光レベルＳＥＩメッセージ内の「max_frame_average_light_level_interpretation」は、０に等しいまたは存在しない場合、「max_frame_average_light_level_interpretation」がＣＴＡ－８６１．３－Ａのようなビデオ符号化標準に従ってＭａｘＦＡＬＬとして解釈される。存在するまたは０に等しくない場合、「max_frame_average_light_level」がビデオ符号化標準に規定されていないものを含むがそれに限定されない何らかの他の手段によって解釈されることを示す。いくつかの実施形態では、シンタックス要素「max_frame_average_light_level_interpretation」がMovieLabs Common Metadata“md”namespace（ＴＲ－ＭＥＴＡ－ＣＭ、バージョン２．６、２０１７年１２月１１日)に合わせて指定または追加することができる。さらに、オプションまたは代替として、「max_frame_average_light_level_interpretation」を計算する方法は、ＴＲ－ＭＥＴＡ－ＣＭ、ＣＴＡ－８６１．３などの特定のビデオ符号化標準で規定されている方法と同じかまたは類似するものとすることができる。
【0116】
ある実施形態では、本明細書に記載するようなコンテンツ光レベルＳＥＩメッセージ内の「max_frame_average_light_level_type」は、「max_frame_average_light_level as」の値を計算するために使用される走査タイプを示す。「max_frame_average_light_level_type」の値の例は、上の表２に示される「走査タイプ」の値として表されてもよい。
【0117】
いくつかの実施形態では、本明細書に記載するようなコンテンツ光レベルＳＥＩメッセージ内の「max_frame_average_light_level_io_type」は、「max_frame_average_light_level」の値が入力ビデオ信号／ソース、符号化ビデオシーケンス全体、ライブ符号化、または１つまたは複数の他の信号部分／セグメントに適用されるかどうかを示す。「max_frame_average_light_level_io_type」の値の例は、上の表３に示される「入力出力タイプ」の値として示される。
【0118】
いくつかの実施形態では、視覚的に関連する領域がより高いクロッピングされた復号ピクチャ内の広いピクチャアスペクト比を有するビデオコンテンツの「レターボックス」符号化などの、クロッピングされた復号ピクチャ全体に対応しない場合、示されたフレーム平均は視覚的に関連する領域内でのみ実行され得る。
【0119】
図３Ｂは、画像フレーム(例えば、１８２など)、およびコンテンツ光レベルメタデータを含むがこれに限定されない対応する画像メタデータ(例えば、１７６など)を搬送するビデオ信号（１７４）を処理するための例示的なビデオデコーダ(例えば、図１の復号ブロック(１３０など))を示す。画像フレーム(１８２)は、解凍ブロック（１７８）によってビデオ信号から受信および解凍され、可能性のある符号化エラーおよび／または量子化エラーを受ける図１または図３Ａの画像フレーム(１１７)と同じである。画像メタデータ(１７６)はまた、特定の表示装置が画像フレーム(１８２)について装置共通および／または装置固有の画像処理動作（１８０）を実行して、特定の表示装置についてそれぞれ最適化された装置固有の表示画像(例えば、１３７など)を生成するために、画像メタデータ(１７６)を使用することができるように、画像フレーム(１８２)と共にビデオ信号において符号化され、送信される。
【0120】
最適化された装置固有の表示画像(１３７)は、ＨＤＭＩインタフェース、ビデオリンクなどを介して、ターゲット表示装置に出力され、ターゲット表示装置上にレンダリングされ得る。
【0121】
本明細書で説明されるようなビデオ信号(または画像ビットストリーム)中のコンテンツ光レベル情報などの画像メタデータは、ビデオ信号から復号された画像フレームについていくつかの画像処理動作を実行させるために、受信装置によって使用され得る。
【0122】
一例では、ＭＡＸＦＡＬＬは、グローバル調光動作および／またはローカル調光動作および／または表示管理(ＤＭ)動作を実行して、画像フレーム内の光レベルを表示装置によってサポートされる最大フレーム平均電力消費閾値未満に再マッピングまたはスケールダウンしながら、顕著な画像部分(例えば、中間トーンなど)内の画像詳細(例えば、コントラスト、色など)を保存するために、受信装置によって使用され得る。より高い過渡的なバックライト生成能力を有する特定の表示装置の場合、ビデオ信号中の符号化ビデオシーケンスまたは画像部分のＭＡＸＦＡＬＬを使用して、比較的高いＭＡＸＦＡＬＬを有するこれらの画像フレームのいくつかまたはすべてが、最大フレーム平均電力消費閾値を一時的に超えることによって、画像フレーム中の光レベルを再マッピングまたはスケールダウンすることなく、依然として表示またはレンダリングされ得るかどうかを推定または判定することができる。
【0123】
別の例では、ＭＡＸＣＬＬは、グローバル調光動作および／またはローカル調光動作および／または表示管理(ＤＭ)動作を実行して、画像フレーム内の光レベルを表示装置によってサポートされる最大ピーク輝度閾値未満に再マッピングまたはスケールダウンしながら、顕著な画像部分(例えば、中間トーンなど)内の画像詳細(例えば、コントラスト、色など)を保存するために、受信装置によって使用され得る。より高い過渡的なローカルピークバックライト生成能力を有する特定の表示装置の場合、ビデオ信号中の符号化ビデオシーケンスまたは画像部分のＭＡＸＣＬＬを使用して、比較的高いＭＡＸＣＬＬを有するこれらの画像フレームのいくつかまたはすべてを、画像フレーム中の光レベルを再マッピングまたはスケールダウンすることなく、依然として表示またはレンダリングすることができるかどうかを推定または判定することができる。
【0124】
プロセスフローの例
図４Ａは、本発明の一実施形態による例示的なプロセスフローを示す。いくつかの実施形態では、１つまたは複数のコンピューティング装置またはコンポーネント(例えば、アップストリームエンコーダ、符号化装置／モジュール、トランスコーディング装置／モジュール、復号装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュールなど)がこのプロセスフローを実行し得る。
図４Ａは、本発明の一実施形態による例示的なプロセスフローを示す。いくつかの実施形態では、１つまたは複数のコンピューティング装置またはコンポーネント(例えば、アップストリームエンコーダ、符号化装置／モジュール、トランスコーディング装置／モジュール、復号装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュールなど)がこのプロセスフローを実行し得る。
【0125】
ブロック４０２において、画像処理装置(例えば、符号化ブロック(１２０)など)は、ピクセル(または出力サンプル、例えば、図２Ｃなどの２０８－３、２０８－４など)が画像のセット(例えば、図２Ｄまたは図２Ｅなどの２１６－１、２１６－２、２１６－３、２１６－４、２１６－５など)内のソースピクセル(または入力サンプル)から生成される、特定の画像フレーム(例えば、図２Ａ、図２Ｄまたは図２Ｅなどの２０６－１－１、２０６－１－２、２０６－２－１、２０６－２－２など)について、特定の画像フレーム内の第１の画像フレーム部分(例えば、図２Ｃの第１の画像領域(２１２－１)など)および特定の画像フレーム内の第２の画像フレーム部分(例えば、図２Ｃなどの第２の画像領域(２１２－２)など)を決定する。特定の画像フレーム内の画像フレーム部分(例えば、図２Ｃの第２の画像領域(２１２－２)など)。特定の画像フレームは、(例えば、メディア再生などの)時間次元(例えば、図２Ａ、図２Ｄ、または図２Ｅなどの２０２など)における複数の連続する時点におけるそれぞれの時点に対応することができ、表示装置によってフレームインターバルについてレンダリングされる(指定される)ことができる。特定の画像フレームをレンダリングする(指定する)ことができるフレームインターバルは、(例えば、その時点、その周辺など)それぞれの時点に関連付けられる。
【0126】
ブロック４０４において、画像処理装置は、ソース画像のセット内の第１の画像および第２の画像から、それぞれ、特定の画像フレーム内の第１の画像フレーム部分にインターリーブされる第１の画像フィールドおよび第２の画像フィールドを生成する。第１の画像フィールドまたはその中のピクセルは、フレームインターバルの第１のフレームサブインターバルについてレンダリングされる(指定される)ことができる。第２の画像フィールドまたはその中のピクセルは、フレームインターバルの第２のフレームサブインターバルについてレンダリングされる(指定される)ことができる。いくつかの実施形態では、フレームインターバルの第２のフレームサブインターバルは、フレームインターバルの第１のフレームサブインターバルと少なくとも部分的に重複せず、直後に続くように(指定)されてよい。
【0127】
ブロック４０６において、画像処理装置は、ソース画像のセット内の第３の画像から、例えば複数の画像フィールドをインターレースすることなく、特定の画像フレーム内の第２の画像フレーム部分内のすべてのピクセル位置(またはサンプル位置)を占有するために使用される第３の画像フィールドを生成する。
【0128】
ブロック４０８では、特定の画像フレーム内の第１の画像フィールド、第２の画像フィールドおよび第３の画像フィールドのピクセル(または出力サンプル)に少なくとも部分的に基づいて、画像処理装置は符号化されたビデオシーケンス(例えば、図２Ａまたは図２Ｄの２０４－１、図２Ａまたは図２Ｅの２０４－２など)について、特定の画像フレームを含む複数の画像フレームで符号化される１つまたは複数のコンテンツ光レベルを生成する。
【0129】
ブロック４１０において、画像処理装置は、画像ビットストリーム(例えば、図１の１２２など)において、１つまたは複数のコンテンツ光レベルを含む画像メタデータと共に、符号化ビデオシーケンスを送信する。
【0130】
一実施形態では、第１の画像フレーム部分および第２の画像フレーム部分は、ソース画像のセット内のソースピクセルによって表される画像コンテンツに基づいて、特定の画像フレーム内に描写される。
【0131】
一実施形態では、第１の画像フレーム部分および第２の画像フレーム部分は、第１の画像フレーム部分および第２の画像フレーム部分における画像コンテンツの視覚的特徴差に基づいて、特定の画像フレーム内に描写される。
【0132】
一実施形態では、１つまたは複数のコンテンツ光レベルは、複数の画像フレーム間の最大フレーム平均コンテンツ光レベル、または複数の画像フレーム間の最大コンテンツ光レベルのうちの少なくとも１つを含む。
【0133】
一実施形態では、１つまたは複数のコンテンツ光レベルは、１つまたは複数の関連フィールドを有する画像ビットストリーム内で搬送され、１つまたは複数の関連フィールドは、最大コンテンツ光レベルの解釈、最大コンテンツ光レベルのタイプ、最大コンテンツ光レベルの入出力タイプ、最大フレーム平均光レベルの解釈、最大フレーム平均光レベルのタイプ、最大フレーム平均光レベルの入出力タイプなどのうちの１つまたは複数を含む。
【0134】
一実施形態では、第１の画像フレーム部分および第２の画像フレーム部分は特定の画像フレームにおいて重なり合わない。
【0135】
一実施形態では、画像ビットストリームはＨ．２６４ビデオ信号を表す。
【0136】
一実施形態では、画像フレームはモノクロビデオコンテンツのための輝度サンプルのアレイで表現可能である。
【0137】
一実施形態では、画像フレームは輝度サンプルのアレイ、および多色ビデオコンテンツのためのカラーフォーマットにおけるクロマサンプルの２つの対応するアレイを用いて表現可能である。
【0138】
一実施形態では、第１の画像フレーム部分および第２の画像フレーム部分は、特定の画像フレームで表される画像コンテンツ内の視覚的に関連する領域を集合的に表す。
【0139】
一実施形態では、特定の画像フレームは部分的にインターリーブされた部分的にインターリーブされていない画像フレームタイプであり、符号化ビデオシーケンスは完全にインターリーブされた画像フレームタイプ、完全にインターリーブされていない画像フレームタイプなどのうちの１つである第２の特定の画像フレームを含む。
【0140】
一実施形態では、符号化ビデオシーケンスは、部分的にインターリーブされた部分的にインターリーブされていない画像フレームタイプの画像フレームのみを含む。
【0141】
一実施形態では、１つまたは複数のコンテンツ光レベルのそれぞれは、画像処理動作において、符号化ビデオシーケンス内のすべての画像フレームに適用される。
【0142】
一実施形態では、１つまたは複数のコンテンツ光レベルは、符号化ビデオシーケンス内の画像フレームの適切なサブセットのみに集合的に適用される。
【0143】
一実施形態では、符号化ビデオシーケンス内の画像フレームの第２の適切なサブセットは、１つまたは複数のコンテンツ光レベルと同じタイプの異なるコンテンツ光レベルで適用される。
【0144】
一実施形態では、画像フレームの第１の適切なサブセットは、共通の依存性識別子を共有する。
【0145】
一実施形態では、画像フレームの第１の適切なサブセットは、共通の品質識別子を共有する。
【0146】
一実施形態では、画像フレームの第１の適切なサブセットは、共通の時間的識別子を共有する。
【0147】
一実施形態では、画像フレームの第１の適切なサブセットは、共通ビュー識別子、共通依存性識別子、共通品質識別子などの２つ以上を共有する。
【0148】
一実施形態では、１つまたは複数のコンテンツ光レベルは、１つまたは複数の補足エンハンスメント情報(ＳＥＩ)メッセージ内に存在する。
【0149】
一実施形態では、１つまたは複数のＳＥＩメッセージ内のＳＥＩメッセージは、ＩＤＲフレームで符号化された瞬時復号リフレッシュ(ＩＤＲ)アクセスユニット内に存在する。
【0150】
一実施形態では、第１の画像フレーム部分および第２の画像フレーム部分は、特定の画像フレームに表されるような画像コンテンツに存在するレターボックスを除外する。
【0151】
図４Ｂは、本発明の一実施形態による例示的なプロセスフローを示す。いくつかの実施形態では、１つまたは複数のコンピューティング装置またはコンポーネント(例えば、アップストリームエンコーダ、符号化装置／モジュール、トランスコーディング装置／モジュール、復号装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュールなど)がこのプロセスフローを実行し得る。
【0152】
ブロック４２２において、画像処理装置(例えば、符号化ブロック(１２０)など)は、複数の画像フレーム(例えば、図２Ａまたは図２Ｅの２０６－２－１、２０６－２－２など)のための符号化ビデオシーケンス(例えば、図２Ａまたは図２Ｅの２０４－２など)を生成する。符号化ビデオシーケンス内の複数の画像フレーム内の各画像フレームは、複数のフレームインターバル内の異なるそれぞれのフレームインターバルについて表示装置によってレンダリングされる(指定される)。符号化ビデオシーケンス内の複数の画像フレーム内の各画像フレームは、完全インターリーブされていない画像フレームタイプ、完全にインターリーブされた画像フレームタイプ、部分的にインターリーブされておらず部分的にインターリーブされた画像フレームタイプなどを含む複数の画像フレームタイプのうちの１つの画像フレームタイプである。
【0153】
ブロック４２４において、第１の画像フレームタイプの第１の画像フレーム(例えば、図２Ａまたは図２Ｅの２０６－２－１など)のピクセルに少なくとも部分的に基づいて、画像処理装置は、符号化ビデオシーケンス内の第２の符号化ビデオシーケンスの画像フレームのセット内の画像フレームの第１の適切なサブセットのための１つまたは複数の第１のコンテンツ光レベルを生成する。画像フレームの第１の適切なサブセットは、第１の画像フレームを含む。
【0154】
ブロック４２６において、第１の出力画像タイプとは異なる第２の画像フレームタイプの第２の画像フレーム(例えば、図２Ａまたは図２Ｅの２０６－２－２など)のピクセルに少なくとも部分的に基づいて、画像処理装置は、符号化ビデオシーケンス内の画像フレームの第２の適切なサブセットのための１つまたは複数の第２のコンテンツ光レベルを生成する。画像フレームの第２の適切なサブセットは、第２の画像フレームを含む。ここで、画像フレームの第１の適切なサブセットは、画像フレームの第２の適切なサブセットから相互に排他的であってもよく、共通の画像フレームを共有していなくてもよい。
【0155】
ブロック４２８において、画像処理装置は、画像ビットストリーム(例えば、図１の１２２など)において、１つまたは複数の第１のコンテンツ光レベルおよび１つまたは複数の第２のコンテンツ光レベルを含む画像メタデータと共に、符号化ビデオシーケンスを送信する。
【0156】
一実施形態では、画像フレームの第１の適切なサブセットは第１の画像フレームタイプの画像フレームを含み、画像フレームの第２の適切なサブセットは第２の異なる画像フレームタイプの画像フレームを含む。
【0157】
一実施形態では、１つまたは複数の第１のコンテンツ光レベルのそれぞれは、画像処理動作において画像フレームの第１の適切なサブセット内のすべての画像フレームに適用され、１つまたは複数の第２のコンテンツ光レベルのそれぞれは、画像処理動作において画像フレームの第２の適切なサブセット内のすべての画像フレームに適用される。
【0158】
一実施形態では、１つまたは複数の第１のコンテンツ光レベルは、画像フレームの第１の適切なサブセット内の少なくとも１つの画像フレームのための第１の補足エンハンスメント情報(ＳＥＩ)メッセージ内に存在し、１つまたは複数の第２のコンテンツ光レベルは、画像フレームの第２の適切なサブセット内の少なくとも１つの画像フレームのための第２のＳＥＩメッセージ内に存在する。
【0159】
図４Ｃは、本発明の一実施形態による例示的なプロセスフローを示す。いくつかの実施形態では、１つまたは複数のコンピューティング装置またはコンポーネント(例えば、受信装置、セットトップボックス、スマートテレビ、ダウンストリームデコーダ、復号装置／モジュール、メディア装置／モジュールなど)がこのプロセスフローを実行することができる。
【0160】
ブロック４４２において、画像処理装置(例えば、復号ブロック(１３０)など)は、特定の画像フレームを含む複数の画像フレームで符号化された符号化ビデオシーケンスを含む画像ビットストリームを、複数の画像フレームと、符号化ビデオシーケンスの１つまたは複数のコンテンツ光レベルを含むコンテンツ光レベルメタデータとに復号する。特定の画像フレームは、ソース画像のセット内のソースピクセルから生成されたピクセルを含み、フレームインターバルについてレンダリングされる。符号化ビデオシーケンスのための１つまたは複数のコンテンツ光レベルは、特定の画像フレーム内の第１の画像フィールド、第２の画像フィールド、および第３の画像フィールドのピクセルに少なくとも部分的に基づいて生成される。特定の画像フレーム内の第１の画像フレーム部分にインターリーブされる第１の画像フィールドおよび第２の画像フィールドは、ソース画像のセット内の第１の画像および第２の画像からそれぞれ生成される。第１の画像フィールドは、フレームインターバルの第１のフレームサブインターバルについてレンダリングされるべきであり、第２の画像フィールドは、フレームインターバルの第２のフレームサブインターバルについてレンダリングされるべきである。フレームインターバルの第２のフレームサブインターバルは、フレームインターバルの第１のフレームサブインターバルに続く。特定の画像フレーム内の第２の画像フレーム部分内のすべてのピクセル位置を占有するために使用される第３の画像フィールドは、ソース画像のセット内の第３の画像から生成される。
【0161】
ブロック４４４において、符号化ビデオシーケンスに対する１つまたは複数のコンテンツ光レベルに少なくとも部分的に基づいて、画像処理装置は、特定の画像フレームについて１つまたは複数の画像処理動作を実行して、ターゲット表示装置について最適化された表示画像を生成する。
【0162】
ブロック４４６において、画像処理装置は、最適化された表示画像をターゲット表示装置上にレンダリングさせる。
【0163】
一実施形態では、第１の画像フレーム部分および第２の画像フレーム部分は、ソース画像のセット内のソースピクセルによって表される画像コンテンツに基づいて、特定の画像フレーム内に描写される。
【0164】
一実施形態では、第１の画像フレーム部分および第２の画像フレーム部分は、第１の画像フレーム部分および第２の画像フレーム部分における画像コンテンツの視覚的特徴差に基づいて、特定の画像フレーム内に描写される。
【0165】
一実施形態では、１つまたは複数のコンテンツ光レベルは、複数の画像フレーム間の最大フレーム平均コンテンツ光レベル、複数の画像フレーム間の最大コンテンツ光レベルなどのうちの少なくとも１つを含む。
【0166】
一実施形態では、第１の画像フレーム部分および第２の画像フレーム部分は、特定の画像フレームにおいて重なり合わない。
【0167】
一実施形態では、画像ビットストリームはＨ．２６４ビデオ信号を表す。
【0168】
一実施形態では、１つまたは複数のコンテンツ光レベルに基づく１つまたは複数の画像処理動作は、符号化ビデオシーケンス内の画像フレームの適切なサブセットのみに適用される。
【0169】
一実施形態では、符号化ビデオシーケンス内の画像フレームの第２の適切なサブセットは、１つまたは複数のコンテンツ光レベルと同じタイプの異なるコンテンツ光レベルに基づいて、異なる画像処理動作で適用される。
【0170】
一実施形態では、画像フレームの第１の適切なサブセットは共通の依存性識別子を共有する。
【0171】
一実施形態では、画像フレームの第１の適切なサブセットは共通の品質識別子を共有する。
【0172】
一実施形態では、画像フレームの第１の適切なサブセットは共通の時間的識別子を共有する。
【0173】
一実施形態では、画像フレームの第１の適切なサブセットは、共通ビュー識別子、共通依存性識別子、共通品質識別子などの２つ以上を共有する。
【0174】
一実施形態では、１つまたは複数のコンテンツ光レベルは１つまたは複数の補足エンハンスメント情報(ＳＥＩ)メッセージ内に存在する。
【0175】
一実施形態では、１つまたは複数のＳＥＩメッセージ内のＳＥＩメッセージは、ＩＤＲフレームで符号化された瞬時復号リフレッシュ(ＩＤＲ)アクセスユニット内に存在する。
【0176】
図４Ｄは、本発明の一実施形態による例示的なプロセスフローを示す。いくつかの実施形態では、１つまたは複数のコンピューティング装置またはコンポーネント(例えば、受信装置、セットトップボックス、スマートテレビ、ダウンストリームデコーダ、復号装置／モジュール、メディア装置／モジュールなど)がこのプロセスフローを実行することができる。
【0177】
ブロック４６２において、画像処理装置(例えば、復号ブロック(１３０)など)は、符号化ビデオシーケンスを含む画像ビットストリームを、複数の画像フレーム、および１つまたは複数の第１のコンテンツ光レベルおよび１つまたは複数の第２のコンテンツ光レベルを含む画像メタデータに復号する。複数の画像フレーム内の各画像フレームは、複数のフレームインターバル内のそれぞれのフレームインターバルについてレンダリングされる。複数の画像フレーム内の各画像フレームは、完全にインターリーブされていない画像フレームタイプ、完全にインターリーブされた画像フレームタイプ、部分的にインターリーブされておらず部分的にインターリーブされた画像フレームタイプなどを含む複数の画像フレームタイプのうちの１つの画像フレームタイプである。１つまたは複数の第１のコンテンツ光レベルは、画像フレームの第１の適切なサブセット内の第１の画像フレームタイプの第１の画像フレームのピクセルに少なくとも部分的に基づいて、符号化ビデオシーケンス内の画像フレームの第１の適切なサブセットについて生成される。１つまたは複数の第２のコンテンツ光レベルは、第１の出力画像タイプとは異なる第２の画像フレームタイプの第２の画像フレームのピクセルに少なくとも部分的に基づいて、符号化ビデオシーケンス内の画像フレームの第２の適切なサブセットについて生成される。画像フレームの第２の適切なサブセットは、第２の画像フレームを含む。画像フレームの第１の適切なサブセットは、画像フレームの第２の適切なサブセットと共通の画像フレームを共有しない。
【0178】
ブロック４６４では、１つまたは複数の第１のコンテンツ光レベルに少なくとも部分的に基づいて、画像処理装置は、画像フレームの第１の適切なサブセットについて１つまたは複数の第１の画像処理動作を実行して、ターゲット表示装置のために最適化された表示画像の第１のサブセットを生成する。
【0179】
ブロック４６６において、画像処理装置は、表示画像の第１のサブセットをターゲット表示装置上にレンダリングさせる。
【0180】
ブロック４６８において、１つまたは複数の第２のコンテンツ光レベルに少なくとも部分的に基づいて、画像処理装置は、画像フレームの第２の適切なサブセットについて１つまたは複数の第２の異なる画像処理動作を実行して、ターゲット表示装置のために最適化された表示画像の第２のサブセットを生成する。
【0181】
ブロック４７０において、画像処理装置は、表示画像の第２のサブセットをターゲット表示装置上にレンダリングさせる。
【0182】
一実施形態では、画像フレームの第１の適切なサブセットは第１の画像フレームタイプの画像フレームを含み、画像フレームの第２の適切なサブセットは第２の異なる画像フレームタイプの画像フレームを含む。
【0183】
一実施形態では、１つまたは複数の第１のコンテンツ光レベルのそれぞれは画像処理動作において画像フレームの第１の適切なサブセット内のすべての画像フレームに適用され、１つまたは複数の第２のコンテンツ光レベルのそれぞれは画像処理動作において画像フレームの第２の適切なサブセット内のすべての画像フレームに適用される。
【0184】
一実施形態では、１つまたは複数の第１のコンテンツ光レベルは、画像フレームの第１の適切なサブセット内の少なくとも１つの画像フレームのための第１の補足エンハンスメント情報(ＳＥＩ)メッセージ内に存在し、１つまたは複数の第２のコンテンツ光レベルは、画像フレームの第２の適切なサブセット内の少なくとも１つの画像フレームのための第２のＳＥＩメッセージ内に存在する。
【0185】
図４Ｅは、本発明の一実施形態による例示的なプロセスフローを示す。いくつかの実施形態では、１つまたは複数のコンピューティング装置またはコンポーネント(例えば、アップストリームエンコーダ、符号化装置／モジュール、トランスコーディング装置／モジュール、復号装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュールなど)がこのプロセスフローを実行し得る。
【0186】
ブロック４８２において、画像処理装置(例えば、符号化ブロック(１２０)など)は、複数の画像フレームについて１つまたは複数のコンテンツ光レベルを生成する。
【0187】
ブロック４８４において、画像処理装置は、１つまたは複数のコンテンツ光レベルのための１つまたは複数の関連フィールドを生成する。１つまたは複数の関連フィールドは、１つまたは複数のコンテンツ光レベルのうちの１つのタイプ、１つまたは複数のコンテンツ光レベルのうちの１つの解釈、１つまたは複数のコンテンツ光レベルのうちの１つの入力／出力タイプなどのうちの少なくとも１つを含む。
【0188】
ブロック４８６において、画像処理装置は、１つまたは複数のコンテンツ光レベルおよび１つまたは複数の関連フィールドを含む画像メタデータと共に、複数の画像フレームを画像ビットストリーム内に符号化して送信する。
【0189】
図４Ｆは、本発明の一実施形態による例示的なプロセスフローを示す。いくつかの実施形態では、１つまたは複数のコンピューティング装置またはコンポーネント(例えば、受信装置、セットトップボックス、スマートテレビ、ダウンストリームデコーダ、復号装置／モジュール、メディア装置／モジュールなど)がこのプロセスフローを実行することができる。
【0190】
ブロック４９２において、画像処理装置(例えば、復号ブロック(１３０)など)は、画像ビットストリームを複数の画像フレームと、１つまたは複数のコンテンツ光レベルおよび１つまたは複数の関連フィールドを含む画像メタデータとに復号する。１つまたは複数の関連フィールドは、１つまたは複数のコンテンツ光レベルのうちの１つのタイプ、１つまたは複数のコンテンツ光レベルのうちの１つの解釈、１つまたは複数のコンテンツ光レベルのうちの１つの入力／出力タイプなどのうちの少なくとも１つを含む。
【0191】
ブロック４９４で、１つまたは複数のコンテンツ光レベルおよび１つまたは複数の関連フィールドに少なくとも部分的に基づいて、画像処理装置は、複数の画像フレームについて１つまたは複数の画像処理動作を実行して、ターゲット表示装置に最適化された表示画像を生成する。
【0192】
ブロック４９６において、画像処理装置は、最適化された表示画像をターゲット表示装置上にレンダリングさせる。
【0193】
図４Ｇは、本発明の一実施形態による例示的なプロセスフローを示す。いくつかの実施形態では、１つまたは複数のコンピューティング装置またはコンポーネント(例えば、受信装置、セットトップボックス、スマートテレビ、ダウンストリームデコーダ、復号装置／モジュール、メディア装置／モジュールなど)がこのプロセスフローを実行することができる。
【0194】
ブロック４１２において、画像処理装置(例えば、復号ブロック(１３０)など)は、コンテンツスキャン適応メタデータの関連するセットを有する画像ビットストリーム内の符号化ビデオシーケンスを受信する。
【0195】
ブロック４１４において、画像処理装置は、コンテンツスキャン適応メタデータのセットがビットストリームで受信されたかどうかを確認する。コンテンツスキャン適応メタデータのセットは、符号化ビデオシーケンスのフレームについてのすべての個々のサンプルの中の最大光レベルの上限を示す最大コンテンツ光レベルパラメータ、および符号化ビデオシーケンスの個々のフレームについてのサンプルの中の最大平均光レベルの上限を示す最大フレーム平均光レベルパラメータなどを含む。最大コンテンツ光レベルパラメータおよび最大フレーム平均光レベルパラメータは両方とも、符号化ビデオシーケンスのフレームのスキャンタイプに依存し、スキャンタイプは、プログレッシブフレームタイプ、相補フィールドペアタイプ、マクロブロック適応フレームフィールドフレームタイプ、個別フィールドピクチャタイプなどのうちの少なくとも１つである。
【0196】
一実施形態では、スキャンタイプは、マクロブロック適応フレームフィールドフレームタイプであり、フィールドまたはフレームコーディングは個々のマクロブロックについて識別される。
【0197】
一実施形態では、ビットストリーム内のコンテンツ光レベルタイプパラメータは、最大コンテンツ光レベルパラメータに関連するスキャンタイプを示す。
【0198】
一実施形態では、コンテンツ光レベルタイプパラメータは、ルックアップテーブルのための少なくとも３ビットの符号なし整数インデックスである。
【0199】
一実施形態では、ビットストリーム内の最大フレーム平均光レベルタイプパラメータは、最大フレーム平均光レベルパラメータに関連するスキャンタイプを示す。
【0200】
一実施形態では、最大フレーム平均光レベルタイプパラメータは、ルックアップテーブルのための少なくとも３ビットの符号なし整数インデックスである。
【0201】
一実施形態では、ビットストリーム内のコンテンツ光レベル入出力タイプパラメータは、最大コンテンツ光レベルパラメータに関連する入出力フォーマットを示す。
【0202】
一実施形態では、コンテンツ光レベル入出力タイプパラメータは、ルックアップテーブルのための少なくとも３ビットの符号なし整数インデックスである。
【0203】
一実施形態では、コンテンツ光レベル入出力タイプパラメータは、入力ソースタイプ、符号化ビデオシーケンスタイプ全体、およびライブ符号化タイプのうちの少なくとも１つを示す。
【0204】
一実施形態では、ビットストリーム内の最大フレーム平均光レベル入出力タイプパラメータは、最大フレーム平均光レベルパラメータに関連する入出力フォーマットを示す。
【0205】
一実施形態では、最大フレーム平均光レベル入出力タイプパラメータは、ルックアップテーブルのための少なくとも３ビットの符号なし整数インデックスである。
【0206】
一実施形態では、最大フレーム平均光レベル入出力タイプパラメータは、入力ソースタイプ、符号化ビデオシーケンスタイプ全体、ライブ符号化タイプなどのうちの少なくとも１つを示す。
【0207】
一実施形態では、ビットストリーム内の最大コンテンツ光レベル解釈パラメータは、最大コンテンツ光レベルパラメータがＣＥＡ規格８６１．３に従って計算されたＭａｘＣＬＬパラメータであることを示す。
【0208】
一実施形態では、ビットストリーム内の最大フレーム平均光レベル解釈パラメータは、最大コンテンツ光レベルパラメータがＣＥＡ規格８６１．３に従って計算されたＭａｘＦＡＬＬパラメータであることを示す。
【0209】
一実施形態では、画像処理装置は、コンテンツスキャン適応メタデータのセットが受信されたと判定したことに応答して、コンテンツスキャン適応メタデータのセットに従って色管理アルゴリズムパラメータを計算するようにさらに構成される。
【0210】
一実施形態では、最大コンテンツ光レベルパラメータおよび最大フレーム平均光レベルパラメータは、共に１６ビットの符号なし整数である。
【0211】
図４Ｈは、本発明の一実施形態による例示的なプロセスフローを示す。いくつかの実施形態では、１つまたは複数のコンピューティング装置またはコンポーネント(例えば、アップストリームエンコーダ、符号化装置／モジュール、トランスコーディング装置／モジュール、復号装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュールなど)がこのプロセスフローを実行し得る。
【0212】
ブロック４３２において、画像処理装置(例えば、符号化ブロック(１２０)など)は、ビットストリームに含まれるべき、符号化ビデオシーケンスのためのコンテンツスキャン適応メタデータのセットを生成する。コンテンツスキャン適応メタデータのセットは、符号化ビデオシーケンスのフレームについてのすべての個々のサンプルの中の最大光レベルの上限を示す最大コンテンツ光レベルパラメータ、および符号化ビデオシーケンスの個々のフレームについてのサンプルの中の最大平均光レベルの上限を示す最大フレーム平均光レベルパラメータとなどを含む。最大コンテンツ光レベルパラメータおよび最大フレーム平均光レベルパラメータは、共に符号化ビデオシーケンスのフレームのスキャンタイプに依存し、スキャンタイプは、プログレッシブフレームタイプ、相補フィールドペアタイプ、マクロブロック適応フレームフィールドフレームタイプ、個別フィールドピクチャタイプなどのうちの少なくとも１つである。
【0213】
ブロック４３４で、画像処理装置は、コンテンツスキャン適応メタデータのセットと共に、ビットストリーム内の符号化ビデオシーケンスを送信する。
【0214】
一実施形態では、表示装置、モバイル装置、セットトップボックス、マルチメディア装置などのコンピューティング装置は、前述の方法のいずれかを実行するように構成される。一実施形態では、装置はプロセッサを含み、前述の方法のいずれかを実行するように構成される。一実施形態では、非一時的なコンピュータ可読記憶媒体は、１つまたは複数のプロセッサによって実行されると、前述の方法のいずれかの性能を引き起こすソフトウェア命令を記憶する。
【0215】
一実施形態では、コンピューティング装置は、１つまたは複数のプロセッサ、および１つまたは複数のプロセッサによって実行されると、前述の方法のいずれかの性能を引き起こす命令のセットを記憶する１つまたは複数の記憶媒体を備える。
【0216】
本明細書では別個の実施形態について議論するが、本明細書で議論する実施形態および／または部分的な実施形態の任意の組み合わせを組み合わせて、さらなる実施形態を形成することができることに留意されたい。
【0217】
コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラなどの集積回路(ＩＣ)装置、フィールドプログラマブルゲートアレイ(ＦＰＧＡ)、または別の構成可能またはプログラマブル論理装置(ＰＬＤ)、離散時間またはデジタル信号プロセッサ(ＤＳＰ)、特定用途向けＩＣ(ＡＳＩＣ)、および／またはそのようなシステム、装置、またはコンポーネントのうちの１つまたは複数を含む装置で実装され得る。コンピュータおよび／またはＩＣは、本明細書で説明されるような、ダイナミックレンジが強化された画像の適応知覚量子化に関する命令を実行、制御、または実行することができる。コンピュータおよび／またはＩＣは、本明細書に記載される適応知覚量子化プロセスに関連する様々なパラメータまたは値のいずれかを計算してもよい。画像およびビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらの様々な組合せで実施することができる。
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラなどの集積回路(ＩＣ)装置、フィールドプログラマブルゲートアレイ(ＦＰＧＡ)、または別の構成可能またはプログラマブル論理装置(ＰＬＤ)、離散時間またはデジタル信号プロセッサ(ＤＳＰ)、特定用途向けＩＣ(ＡＳＩＣ)、および／またはそのようなシステム、装置、またはコンポーネントのうちの１つまたは複数を含む装置で実装され得る。コンピュータおよび／またはＩＣは、本明細書で説明されるような、ダイナミックレンジが強化された画像の適応知覚量子化に関する命令を実行、制御、または実行することができる。コンピュータおよび／またはＩＣは、本明細書に記載される適応知覚量子化プロセスに関連する様々なパラメータまたは値のいずれかを計算してもよい。画像およびビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらの様々な組合せで実施することができる。
【0218】
本発明のある特定の実施形態は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの１つまたは複数のプロセッサは、プロセッサにアクセス可能なプログラムメモリ内のソフトウェア命令を実行することによって、上述のようなＨＤＲ画像の適応知覚量子化に関連する方法を実装することができる。本発明はまた、プログラム製品の形態で提供されてもよい。プログラム製品は、データプロセッサによって実行されると、データプロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを搬送する任意の非一時的な媒体を含むことができる。本発明によるプログラム製品は、多種多様な形態のいずれであってもよい。プログラム製品は、例えば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体などの物理媒体を含むことができる。プログラム製品上のコンピュータ可読信号は、オプションとして、圧縮または暗号化することができる。
【0219】
構成要素(例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、装置、回路など)が上記で言及されている場合、別段の指示がない限り、その構成要素への言及(「手段」への言及を含む)は、本発明の例示的な実施形態において機能を実行する開示された構造と構造的に同等でない構成要素を含む、説明された構成要素(例えば、機能的に同等)の機能を実行する任意の構成要素の同等物を含むものとして解釈されるべきである。
【0220】
一実施形態によれば、本明細書で説明する技法は、１つまたは複数の特殊目的のコンピューティング装置によって実装される。特殊目的のコンピューティング装置は、技法を実行するためにハードワイヤードであってもよく、または技法を実行するように永続的にプログラムされた１つまたは複数の特定用途向け集積回路(ＡＳＩＣ)またはフィールドプログラマブルゲートアレイ(ＦＰＧＡ)などのデジタル電子装置を含んでもよく、あるいはファームウェア、メモリ、他のストレージ、またはそれらの組合せ内のプログラム命令に従って技法を実行するようにプログラムされた１つまたは複数の汎用ハードウェアプロセッサを含んでもよい。このような特殊目的のコンピューティング装置は、カスタムハードワイヤードロジック、ＡＳＩＣ、またはＦＰＧＡをカスタム・プログラミングと組み合わせて、技術を達成することもできる。特殊目的のコンピューティング装置は、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルド装置、ネットワーキング装置、または技術を実現するためにハードワイヤードおよび／またはプログラムロジックを組み込んだその他の装置であってもよい。
【0221】
例えば、図５は、本発明の実施形態を実施することができるコンピュータシステム５００を示すブロック図である。コンピュータシステム５００は、情報を通信するためのバス５０２または他の通信メカニズムと、情報を処理するためのバス５０２と結合されたハードウェアプロセッサ５０４とを含む。ハードウェアプロセッサ５０４は、例えば、汎用マイクロプロセッサであってもよい。
【0222】
コンピュータシステム５００は、また、プロセッサ５０４によって実行される情報および命令を記憶するためにバス５０２に結合されたランダムアクセスメモリ（ＲＡＭ）または他のダイナミック記憶装置などのメインメモリ５０６を含む。メインメモリ５０６はまた、プロセッサ５０４によって実行される命令の実行中に、一時変数または他の中間情報を記憶するために使用されてもよい。このような命令は、プロセッサ５０４にアクセス可能な非一時的な記憶媒体に記憶されると、コンピュータシステム５００を、命令で指定された動作を実行するようにカスタマイズされた特殊目的の装置にレンダリングする。
【0223】
コンピュータシステム５００は、さらに、バス５０２に結合された読取り専用メモリ（ＲＯＭ）５０８または他の静的記憶装置を含み、静的情報およびプロセッサ５０４のための命令を記憶する。磁気ディスクまたは光ディスクなどの記憶装置５１０が提供され、情報および命令を記憶するためにバス５０２に結合される。
【0224】
コンピュータシステム５００は、コンピュータユーザに情報を表示するために、バス５０２を介して液晶ディスプレイなどのディスプレイ５１２に結合することができる。英数字および他のキーを含む入力装置５１４は、情報およびコマンド選択をプロセッサ５０４に通信するためにバス５０２に結合される。別のタイプのユーザ入力装置は、プロセッサ５０４に方向情報およびコマンド選択を通信し、ディスプレイ５１２上のカーソル移動を制御するための、マウス、トラックボール、またはカーソル方向キーなどのカーソル制御５１６である。この入力装置は、通常、装置が平面内の位置を指定することを可能にする第１の軸(例えば、ｘ)および第２の軸(例えば、ｙ)の２つの軸における２つの自由度を有する。
【0225】
コンピュータシステム５００は、カスタマイズされたハードワイヤードロジック、１つまたは複数のＡＳＩＣまたはＦＰＧＡ、ファームウェアおよび／またはプログラムロジックを使用して、本明細書に記載する技術を実施することができ、これらをコンピュータシステムと組み合わせて、コンピュータシステム５００を特殊目的の装置にするまたはプログラムする。一実施形態によれば、本明細書で説明する技法は、プロセッサ５０４がメインメモリ５０６に含まれる１つまたは複数の命令の１つまたは複数のシーケンスを実行することに応答して、コンピュータシステム５００によって実行される。このような命令は、記憶装置５１０のような別の記憶媒体からメインメモリ５０６に読み込まれてもよい。メインメモリ５０６に含まれる命令のシーケンスを実行することにより、プロセッサ５０４は、本明細書に記載するプロセスステップを実行する。代替の実施形態では、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路を使用することができる。
【0226】
本明細書で使用される「記憶媒体」という用語は、機械を特定の方式で動作させるデータおよび／または命令を記憶する任意の非一時的な媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含むことができる。不揮発性媒体は、例えば、記憶装置５１０のような光または磁気ディスクを含む。揮発性媒体は、メインメモリ５０６のようなダイナミックメモリを含む。記憶媒体の一般的な形態としては、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または他の任意の磁気データ記憶媒体、ＣＤ－ＲＯＭ、他の任意の光データ記憶媒体、穴のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ、ＮＶＲＡＭ、他の任意のメモリチップまたはカートリッジが挙げられる。
【0227】
記憶媒体は伝送媒体とは異なるが、伝送媒体と併せて使用することができる。伝送媒体は、記憶媒体間の情報転送に関与する。例えば、伝送媒体は、バス５０２を構成するワイヤを含む同軸ケーブル、銅線および光ファイバを含む。伝送媒体は、また、ラジオ波および赤外線データ通信中に生成されるような音波または光波の形態をとることができる。
【0228】
様々な形態の媒体が、実行のために１つまたは複数の命令の１つまたは複数のシーケンスをプロセッサ５０４に搬送することに関与し得る。例えば、命令は最初に、リモートコンピュータの磁気ディスクまたはソリッドステートドライブ上で搬送されてもよい。遠隔コンピュータは、そのダイナミックメモリに命令をロードし、モデムを使用して電話回線を介して命令を送ることができる。コンピュータシステム５００にローカルなモデムは、電話回線上でデータを受信し、赤外線送信機を使用してデータを赤外線信号に変換することができる。赤外線検出器は、赤外線信号において搬送されるデータを受信することができ、適切な回路は、データをバス５０２上に配置することができる。バス５０２は、データをメインメモリ５０６に搬送し、そこからプロセッサ５０４が命令を検索して実行する。メインメモリ５０６によって受信された命令は、プロセッサ５０４による実行の前または後のいずれかで、オプションとして記憶装置５１０に記憶することができる。
【0229】
コンピュータシステム５００は、また、バス５０２に結合された通信インタフェース５１８も含む。通信インタフェース５１８は、ローカルネットワーク５２２に接続されているネットワークリンク５２０への双方向データ通信結合を提供する。例えば、通信インタフェース５１８は、統合サービスデジタルネットワーク(ＩＳＤＮ)カード、ケーブルモデム、衛星モデム、またはモデムであり、対応するタイプの電話回線へのデータ通信接続を提供することができる。別の例として、通信インタフェース５１８は、互換性のあるＬＡＮへのデータ通信接続を提供するためのローカルエリアネットワーク(ＬＡＮ)カードであってもよい。無線リンクを実装することも可能である。任意のそのような実装形態では、通信インタフェース５１８は、様々なタイプの情報を表すデジタルデータストリームを搬送する電気信号、電磁信号、または光信号を送受信する。
【0230】
ネットワークリンク５２０は、典型的には、１つまたは複数のネットワークを介して他のデータ装置にデータ通信を提供する。例えば、ネットワークリンク５２０は、ローカルネットワーク５２２を介して、ホストコンピュータ５２４またはインターネットサービスプロバイダ（ＩＳＰ）５２６によって操作されるデータ装置への接続を提供することができる。ＩＳＰ ５２６は次に、現在一般に「インターネット」５２８と呼ばれているワールドワイドパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク５２２およびインターネット５２８は共に、デジタルデータストリームを搬送する電気信号、電磁信号、または光信号を使用する。コンピュータシステム５００との間でデジタルデータを搬送する、様々なネットワークを介する信号、ならびにネットワークリンク５２０上の信号、および通信インタフェース５１８を介する信号は、伝送媒体の例示的な形態である。
【0231】
コンピュータシステム５００は、ネットワーク、ネットワークリンク５２０および通信インタフェース５１８を介して、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバ５３０は、インターネット５２８、ＩＳＰ５２６、ローカルネットワーク５２２および通信インタフェース５１８を介して、アプリケーションプログラムの要求されたコードを送信することができる。
【0232】
受信されたコードは、受信されたときにプロセッサ５０４によって実行され、および／または、記憶装置５１０、または後に実行するための他の不揮発性記憶装置に記憶されてもよい。
【0233】
等価物、拡張物、代替物およびその他
先述の明細書では、実装ごとに異なる可能性のある多数の具体的詳細を参照して、本発明の実施形態を説明してきた。したがって、本発明が何であり、出願人によって本発明であることが意図されているかの唯一の排他的なインジケータは、後続の補正を含むそのようなクレームが発行される特定の形態で、本出願から発行されるクレームのセットである。当該クレームに含まれる用語につきここに明示的に記載される定義は、クレームで使用される用語の意味に優先する。したがって、クレームに明示的に記載されていない限定、要素、特性、特徴、利点または属性は、当該クレームの範囲をいかなる方法でも制限すべきではない。したがって、本明細書および図面は、制限的な意味ではなく例示的な意味に考えられるべきである。
先述の明細書では、実装ごとに異なる可能性のある多数の具体的詳細を参照して、本発明の実施形態を説明してきた。したがって、本発明が何であり、出願人によって本発明であることが意図されているかの唯一の排他的なインジケータは、後続の補正を含むそのようなクレームが発行される特定の形態で、本出願から発行されるクレームのセットである。当該クレームに含まれる用語につきここに明示的に記載される定義は、クレームで使用される用語の意味に優先する。したがって、クレームに明示的に記載されていない限定、要素、特性、特徴、利点または属性は、当該クレームの範囲をいかなる方法でも制限すべきではない。したがって、本明細書および図面は、制限的な意味ではなく例示的な意味に考えられるべきである。
【0234】
列挙された例示的な実施形態
本発明は、本発明のいくつかの部分の構造、特徴、および機能性を説明する以下の列挙された実施例(ＥＥＥｓ)を含むが、これらに限定されない、本明細書に記載された形態のいずれかで具現化されてもよい。
本発明は、本発明のいくつかの部分の構造、特徴、および機能性を説明する以下の列挙された実施例(ＥＥＥｓ)を含むが、これらに限定されない、本明細書に記載された形態のいずれかで具現化されてもよい。
【0235】
ＥＥＥ１．ビデオデータを用いてコンテンツ光レベル情報を符号化する方法であって、前記方法は、
ソース画像のセット内のソースピクセルからピクセルが生成される特定の画像フレームについて、特定の画像フレーム内の第１の画像フレーム部分と、特定の画像フレーム内の第２の画像フレーム部分とを決定することであって、特定の画像フレームは、表示装置によってフレームインターバルについてレンダリングされる、決定することと、
ソース画像のセット内の第１の画像および第２の画像から、特定の画像フレーム内の第１の画像フレーム部分にインターリーブされる第１の画像フィールドおよび第２の画像フィールドをそれぞれ生成することであって、第１の画像フィールドはフレームインターバルの第１のフレームサブインターバルについてレンダリングされ、第２の画像フィールドはフレームインターバルの第２のフレームサブインターバルについてレンダリングされ、フレームインターバルの第２のフレームサブインターバルは、フレームインターバルの第１のフレームサブインターバルに後続する、生成することと、
ソース画像のセット内の第３の画像から、特定の画像フレーム内の第２の画像フレーム部分内のすべてのピクセル位置を占有するために使用される第３の画像フィールドを生成することと、
特定の画像フレーム内の第１の画像フィールド、第２の画像フィールド、および第３の画像フィールドのピクセルに少なくとも部分的に基づいて、特定の画像フレームを含む複数の画像フレームで符号化される符号化ビデオシーケンスのための１つまたは複数のコンテンツ光レベルを生成することと、
符号化ビデオシーケンスを、１つまたは複数のコンテンツ光レベルを含むコンテンツ光レベルメタデータと共に、画像ビットストリーム内に送信することと、を含む。
ソース画像のセット内のソースピクセルからピクセルが生成される特定の画像フレームについて、特定の画像フレーム内の第１の画像フレーム部分と、特定の画像フレーム内の第２の画像フレーム部分とを決定することであって、特定の画像フレームは、表示装置によってフレームインターバルについてレンダリングされる、決定することと、
ソース画像のセット内の第１の画像および第２の画像から、特定の画像フレーム内の第１の画像フレーム部分にインターリーブされる第１の画像フィールドおよび第２の画像フィールドをそれぞれ生成することであって、第１の画像フィールドはフレームインターバルの第１のフレームサブインターバルについてレンダリングされ、第２の画像フィールドはフレームインターバルの第２のフレームサブインターバルについてレンダリングされ、フレームインターバルの第２のフレームサブインターバルは、フレームインターバルの第１のフレームサブインターバルに後続する、生成することと、
ソース画像のセット内の第３の画像から、特定の画像フレーム内の第２の画像フレーム部分内のすべてのピクセル位置を占有するために使用される第３の画像フィールドを生成することと、
特定の画像フレーム内の第１の画像フィールド、第２の画像フィールド、および第３の画像フィールドのピクセルに少なくとも部分的に基づいて、特定の画像フレームを含む複数の画像フレームで符号化される符号化ビデオシーケンスのための１つまたは複数のコンテンツ光レベルを生成することと、
符号化ビデオシーケンスを、１つまたは複数のコンテンツ光レベルを含むコンテンツ光レベルメタデータと共に、画像ビットストリーム内に送信することと、を含む。
【0236】
ＥＥＥ２．第１の画像フレーム部分および第２の画像フレーム部分は、ソース画像のセット内のソースピクセルによって表される画像コンテンツに基づいて、特定の画像フレーム内に描写される、ＥＥＥ１に記載の方法。
【0237】
ＥＥＥ３．第１の画像フレーム部分および第２の画像フレーム部分は、第１の画像フレーム部分および第２の画像フレーム部分における画像コンテンツの視覚的特徴差に基づいて、特定の画像フレーム内に描写される、ＥＥＥ１に記載の方法。
【0238】
ＥＥＥ４．１つまたは複数のコンテンツ光レベルは、複数の画像フレーム間の最大フレーム平均コンテンツ光レベル、または複数の画像フレーム間の最大コンテンツ光レベルのうちの少なくとも１つを含む、ＥＥＥ１に記載の方法。
【0239】
ＥＥＥ５．１つまたは複数のコンテンツ光レベルが１つまたは複数の関連するフィールドを有する画像ビットストリーム内で搬送され、１つまたは複数の関連するフィールドが最大コンテンツ光レベルの解釈、最大コンテンツ光レベルのタイプ、最大コンテンツ光レベルの入出力タイプ、最大フレーム平均光レベルの解釈、最大フレーム平均光レベルのタイプ、または最大フレーム平均光レベルの入出力タイプのうちの１つまたは複数を含む、ＥＥＥ４に記載の方法。
【0240】
ＥＥＥ６．第１の画像フレーム部分および第２の画像フレーム部分は特定の画像フレームにおいて重複しない、ＥＥＥ１に記載の方法。
【0241】
ＥＥＥ７．画像ビットストリームは、Ｈ．２６４ビデオ信号を表す、ＥＥＥ１に記載の方法。
【0242】
ＥＥＥ８．画像フレームは、モノクロビデオコンテンツのための輝度サンプルのアレイで表現可能である、ＥＥＥ１に記載の方法。
【0243】
ＥＥＥ９．画像フレームは、輝度サンプルのアレイと、多色ビデオコンテンツのためのカラーフォーマットにおけるクロマサンプルの２つの対応するアレイとを用いて表現可能である、ＥＥＥ１に記載の方法。
【0244】
ＥＥＥ１０．第１の画像フレーム部分および第２の画像フレーム部分は、特定の画像フレーム内に表される画像コンテンツ内の視覚的に関連する領域を集合的に表す、ＥＥＥ１に記載の方法。
【0245】
ＥＥＥ１１．特定の画像フレームは部分的にインターリーブされて部分的にインターリーブされていない画像フレームタイプであり、符号化ビデオシーケンスは、完全にインターリーブされた画像フレームタイプまたは完全にインターリーブされていない画像フレームタイプのうちの１つである第２の特定の画像フレームを含む、ＥＥＥ１に記載の方法。
【0246】
ＥＥＥ１２．符号化ビデオシーケンスは、部分的にインターリーブされて部分的にインターリーブされていない画像フレームタイプの画像フレームのみを含む、ＥＥＥ１に記載の方法。
【0247】
ＥＥＥ１３．１つまたは複数のコンテンツ光レベルの各々は、画像処理動作において、符号化ビデオシーケンス内のすべての画像フレームに適用される、ＥＥＥ１に記載の方法。
【0248】
ＥＥＥ１４．１つまたは複数のコンテンツ光レベルは、符号化ビデオシーケンス内の画像フレームの適切なサブセットのみに集合的に適用される、ＥＥＥ１に記載の方法。
【0249】
ＥＥＥ１５．符号化ビデオシーケンス内の画像フレームの第２の適切なサブセットは、１つまたは複数のコンテンツ光レベルと同じタイプの異なるコンテンツ光レベルに適用される、ＥＥＥ１４に記載の方法。
【0250】
ＥＥＥ１６．画像フレームの第１の適切なサブセットは共通の依存性識別子を共有する、ＥＥＥ１４記載の方法。
【0251】
ＥＥＥ１７．画像フレームの第１の適切なサブセットは、共通の品質識別子を共有する、ＥＥＥ１４に記載の方法。
【0252】
ＥＥＥ１８．画像フレームの第１の適切なサブセットは、共通の時間識別子を共有する、ＥＥＥ１４に記載の方法。
【0253】
ＥＥＥ１９．画像フレームの第１の適切なサブセットは、共通のビュー識別子、共通の依存性識別子、共通の品質識別子、または共通の時間識別子のうちの２つ以上を共有するＥＥＥ１４記載の方法。
【0254】
ＥＥＥ２０．１つまたは複数のコンテンツ光レベルが、１つまたは複数の補足エンハンスメント情報(ＳＥＩ)メッセージ中に存在する、ＥＥＥ１に記載の方法。
【0255】
ＥＥＥ２１．１つまたは複数のＳＥＩメッセージ内の１つのＳＥＩメッセージは、瞬時復号リフレッシュ（ＩＤＲ）フレームで符号化された瞬時復号リフレッシュ(ＩＤＲ)アクセスユニット内に存在する、ＥＥＥ２０に記載の方法。
【0256】
ＥＥＥ２２．第１の画像フレーム部分および第２の画像フレーム部分は、特定の画像フレーム内に表されるような画像コンテンツ内に存在するレターボックスを除外する、ＥＥＥ１に記載の方法。
【0257】
ＥＥＥ２３．ビデオデータを用いてコンテンツ光レベル情報を符号化する方法であって、前記方法は、
複数の画像フレームのための符号化ビデオシーケンスを生成することであって、複数の画像フレーム内の各画像フレームは複数のフレームインターバル内のそれぞれのフレームインターバルについて表示装置によってレンダリングされ、複数の画像フレーム内の各画像フレームは、完全にインターリーブされていない画像フレームタイプ、完全にインターリーブされた画像フレームタイプ、および部分的にインターリーブされていない画像フレームタイプを含む複数の画像フレームタイプのうちの１つの画像フレームタイプである、生成することと、
第１の画像フレームタイプの第１の画像フレームのピクセルに少なくとも部分的に基づいて、符号化ビデオシーケンス内の画像フレームの第１の適切なサブセットのための１つまたは複数の第１のコンテンツ光レベルを生成することであって、画像フレームの第１の適切なサブセットが第１の画像フレームを含む、生成することと、
第１の出力画像タイプとは異なる第２の画像フレームタイプの第２の画像フレームのピクセルに少なくとも部分的に基づいて、符号化ビデオシーケンス内の画像フレームの第２の適切なサブセットのための１つまたは複数の第２のコンテンツ光レベルを生成することであって、画像フレームの第２の適切なサブセットは第２の画像フレームを含み、画像フレームの第１の適切なサブセットは、画像フレームの第２の適切なサブセットと共通の画像フレームを共有しない、生成することと、
符号化ビデオシーケンスを、１つまたは複数の第１のコンテンツ光レベルおよび１つまたは複数の第２のコンテンツ光レベルを含む画像メタデータと共に、画像ビットストリーム内に送信することと、を含む。
複数の画像フレームのための符号化ビデオシーケンスを生成することであって、複数の画像フレーム内の各画像フレームは複数のフレームインターバル内のそれぞれのフレームインターバルについて表示装置によってレンダリングされ、複数の画像フレーム内の各画像フレームは、完全にインターリーブされていない画像フレームタイプ、完全にインターリーブされた画像フレームタイプ、および部分的にインターリーブされていない画像フレームタイプを含む複数の画像フレームタイプのうちの１つの画像フレームタイプである、生成することと、
第１の画像フレームタイプの第１の画像フレームのピクセルに少なくとも部分的に基づいて、符号化ビデオシーケンス内の画像フレームの第１の適切なサブセットのための１つまたは複数の第１のコンテンツ光レベルを生成することであって、画像フレームの第１の適切なサブセットが第１の画像フレームを含む、生成することと、
第１の出力画像タイプとは異なる第２の画像フレームタイプの第２の画像フレームのピクセルに少なくとも部分的に基づいて、符号化ビデオシーケンス内の画像フレームの第２の適切なサブセットのための１つまたは複数の第２のコンテンツ光レベルを生成することであって、画像フレームの第２の適切なサブセットは第２の画像フレームを含み、画像フレームの第１の適切なサブセットは、画像フレームの第２の適切なサブセットと共通の画像フレームを共有しない、生成することと、
符号化ビデオシーケンスを、１つまたは複数の第１のコンテンツ光レベルおよび１つまたは複数の第２のコンテンツ光レベルを含む画像メタデータと共に、画像ビットストリーム内に送信することと、を含む。
【0258】
ＥＥＥ２４．画像フレームの第１の適切なサブセットは第１の画像フレームタイプの画像フレームを含み、画像フレームの第２の適切なサブセットは、第２の異なる画像フレームタイプの画像フレームを含む、ＥＥＥ２３に記載の方法。
【0259】
ＥＥＥ２５．１つまたは複数の第１のコンテンツ光レベルの各々は、画像処理動作において、画像フレームの第１の適切なサブセット内のすべての画像フレームに適用され、１つまたは複数の第２のコンテンツ光レベルの各々は、画像処理動作において、画像フレームの第２の適切なサブセット内のすべての画像フレームに適用される、ＥＥＥ２３に記載の方法。
【0260】
ＥＥＥ２６．１つまたは複数の第１のコンテンツ光レベルは、画像フレームの第１の適切なサブセット内の少なくとも１つの画像フレームのための第１の補足エンハンスメント情報(ＳＥＩ)メッセージ内に存在し、１つまたは複数の第２のコンテンツ光レベルは、画像フレームの第２の適切なサブセット内の少なくとも１つの画像フレームのための第２のＳＥＩメッセージ内に存在する、ＥＥＥ２３に記載の方法。
【0261】
ＥＥＥ２７．ビデオデータを用いてコンテンツ光レベル情報を復号する方法であって、前記方法は、
特定の画像フレームを含む複数の画像フレームで符号化された、符号化ビデオシーケンスを含む画像ビットストリームを、複数の画像フレーム、および符号化ビデオシーケンスのための１または複数のコンテンツ光レベルを含むコンテンツ光レベルメタデータへ復号することと、
符号化ビデオシーケンスのための１つまたは複数のコンテンツ光レベルに少なくとも部分的に基づいて、特定の画像フレームについて１つまたは複数の画像処理動作を実行して、ターゲット表示装置のために最適化された表示画像を生成することと、
最適化された表示画像がターゲット表示装置上にレンダリングされることと、を含み、
特定の画像フレームはソース画像のセット内のソースピクセルから生成されたピクセルを含み、フレームインターバルについてレンダリングされ、
符号化ビデオシーケンスのための１つまたは複数のコンテンツ光レベルは、特定の画像フレーム内の第１の画像フィールド、第２の画像フィールド、および第３の画像フィールドのピクセルに少なくとも部分的に基づいて生成され、
特定の画像フレーム内の第１の画像フレーム部分にインターリーブされる第１の画像フィールドおよび第２の画像フィールドは、ソース画像のセット内の第１の画像および第２の画像からそれぞれ生成され、
第１の画像フィールドはフレームインターバルの第１のフレームサブインターバルについてレンダリングされ、第２の画像フィールドはフレームインターバルの第２のフレームサブインターバルについてレンダリングされ、フレームインターバルの第２のフレームサブインターバルは、フレームインターバルの第１のフレームサブインターバルに後続し、
特定の画像フレーム内の第２の画像フレーム部分内のすべてのピクセル位置を占有するために使用される第３の画像フィールドは、ソース画像のセット内の第３の画像から生成される。
特定の画像フレームを含む複数の画像フレームで符号化された、符号化ビデオシーケンスを含む画像ビットストリームを、複数の画像フレーム、および符号化ビデオシーケンスのための１または複数のコンテンツ光レベルを含むコンテンツ光レベルメタデータへ復号することと、
符号化ビデオシーケンスのための１つまたは複数のコンテンツ光レベルに少なくとも部分的に基づいて、特定の画像フレームについて１つまたは複数の画像処理動作を実行して、ターゲット表示装置のために最適化された表示画像を生成することと、
最適化された表示画像がターゲット表示装置上にレンダリングされることと、を含み、
特定の画像フレームはソース画像のセット内のソースピクセルから生成されたピクセルを含み、フレームインターバルについてレンダリングされ、
符号化ビデオシーケンスのための１つまたは複数のコンテンツ光レベルは、特定の画像フレーム内の第１の画像フィールド、第２の画像フィールド、および第３の画像フィールドのピクセルに少なくとも部分的に基づいて生成され、
特定の画像フレーム内の第１の画像フレーム部分にインターリーブされる第１の画像フィールドおよび第２の画像フィールドは、ソース画像のセット内の第１の画像および第２の画像からそれぞれ生成され、
第１の画像フィールドはフレームインターバルの第１のフレームサブインターバルについてレンダリングされ、第２の画像フィールドはフレームインターバルの第２のフレームサブインターバルについてレンダリングされ、フレームインターバルの第２のフレームサブインターバルは、フレームインターバルの第１のフレームサブインターバルに後続し、
特定の画像フレーム内の第２の画像フレーム部分内のすべてのピクセル位置を占有するために使用される第３の画像フィールドは、ソース画像のセット内の第３の画像から生成される。
【0262】
ＥＥＥ２８．第１の画像フレーム部分および第２の画像フレーム部分は、ソース画像のセット内のソースピクセルによって表される画像コンテンツに基づいて、特定の画像フレーム内に描写される、ＥＥＥ２７に記載の方法。
【0263】
ＥＥＥ２９．第１の画像フレーム部分および前第２の画像フレーム部分は、第１の画像フレーム部分および第２の画像フレーム部分における画像コンテンツの視覚的特徴差に基づいて、特定の画像フレームにおいて描写される、ＥＥＥ２７に記載の方法。
【0264】
ＥＥＥ３０．１つまたは複数のコンテンツ光レベルは、複数の画像フレーム間の最大フレーム平均コンテンツ光レベル、または複数の画像フレーム間の最大コンテンツ光レベルのうちの少なくとも１つを含む、ＥＥＥ２７に記載の方法。
【0265】
ＥＥＥ３１．第１の画像フレーム部分および第２の画像フレーム部分は特定の画像フレームにおいて重複しない、ＥＥＥ２７に記載の方法。
【0266】
ＥＥＥ３２．画像ビットストリームは、Ｈ．２６４ビデオ信号を表す、ＥＥＥ２７に記載の方法。
【0267】
ＥＥＥ３３．１つまたは複数のコンテンツ光レベルに基づく１つまたは複数の画像処理動作は、符号化ビデオシーケンス内の画像フレームの適切なサブセットのみに適用される、ＥＥＥ２７に記載の方法。
【0268】
ＥＥＥ３４．符号化ビデオシーケンス内の画像フレームの第２の適切なサブセットが、１つまたは複数のコンテンツ光レベルと同じタイプの異なるコンテンツ光レベルに基づいて、異なる画像処理動作で適用される、ＥＥＥ３３に記載の方法。
【0269】
ＥＥＥ３５．画像フレームの第１の適切なサブセットが共通の依存性識別子を共有する、ＥＥＥ３３に記載の方法。
【0270】
ＥＥＥ３６．画像フレームの第１の適切なサブセットは、共通の品質識別子を共有する、ＥＥＥ３３に記載の方法。
【0271】
ＥＥＥ３７．画像フレームの第１の適切なサブセットは、共通の時間識別子を共有する、ＥＥＥ３３に記載の方法。
【0272】
ＥＥＥ３８．画像フレームの第１の適切なサブセットが、共通のビュー識別子、共通の依存性識別子、共通の品質識別子、または共通の時間識別子のうちの２つ以上を共有するＥＥＥ３３記載の方法。
【0273】
ＥＥＥ３９．１つまたは複数のコンテンツ光レベルが、１つまたは複数の補足エンハンスメント情報(ＳＥＩ)メッセージ中に存在する、ＥＥＥ２７に記載の方法。
【0274】
ＥＥＥ４０．１つまたは複数のＳＥＩメッセージ内の１つのＳＥＩメッセージが、ＩＤＲフレームで符号化された瞬時復号リフレッシュ(ＩＤＲ)アクセスユニット内に存在する、ＥＥＥ３９に記載の方法。
【0275】
ＥＥＥ４１．ビデオデータを用いてコンテンツ光レベル情報を復号する方法であって、前記方法は、
符号化ビデオシーケンスを含む画像ビットストリームを、複数の画像フレームと、１つまたは複数の第１のコンテンツ光レベルおよび１つまたは複数の第２のコンテンツ光レベルを含む画像メタデータとに復号することと、
１つまたは複数の第１のコンテンツ光レベルに少なくとも部分的に基づいて、画像フレームの第１の適切なサブセットについて１つまたは複数の第１の画像処理動作を実行して、ターゲット表示装置のために最適化された表示画像の第１のサブセットを生成することと、
表示画像の第１のサブセットがターゲット表示装置上にレンダリングされるようにすることと、
１つまたは複数の第２のコンテンツ光レベルに少なくとも部分的に基づいて、画像フレームの第２の適切なサブセットについて１つまたは複数の第２の異なる画像処理動作を実行して、ターゲット表示装置のために最適化された表示画像の第２のサブセットを生成することと、
表示画像の２番目のサブセットがターゲット表示装置にレンダリングされるようにすることと、を含み、
複数の画像フレーム内の各画像フレームは複数のフレームインターバル内のそれぞれのフレームインターバルについてレンダリングされ、複数の画像フレーム内の各画像フレームは、完全にインターリーブされていない画像フレームタイプ、完全にインターリーブされた画像フレームタイプ、および部分的にインターリーブされていない画像フレームタイプを含む複数の画像フレームタイプのうちの１つの画像フレームタイプであり、
１つまたは複数の第１のコンテンツ光レベルは、画像フレームの第１の適切なサブセット内の第１の画像フレームタイプの第１の画像フレームのピクセルに少なくとも部分的に基づいて、符号化ビデオシーケンス内の画像フレームの第１の適切なサブセットについて生成され、
１つまたは複数の第２のコンテンツ光レベルは、第１の出力画像タイプとは異なる第２の画像フレームタイプの第２の画像フレームのピクセルに少なくとも部分的に基づいて、符号化ビデオシーケンス内の画像フレームの第２の適切なサブセットについて生成され、画像フレームの第２の適切なサブセットは第２の画像フレームを含み、画像フレームの第１の適切なサブセットは画像フレームの第２の適切なサブセットと共通の画像フレームを共有しない。
符号化ビデオシーケンスを含む画像ビットストリームを、複数の画像フレームと、１つまたは複数の第１のコンテンツ光レベルおよび１つまたは複数の第２のコンテンツ光レベルを含む画像メタデータとに復号することと、
１つまたは複数の第１のコンテンツ光レベルに少なくとも部分的に基づいて、画像フレームの第１の適切なサブセットについて１つまたは複数の第１の画像処理動作を実行して、ターゲット表示装置のために最適化された表示画像の第１のサブセットを生成することと、
表示画像の第１のサブセットがターゲット表示装置上にレンダリングされるようにすることと、
１つまたは複数の第２のコンテンツ光レベルに少なくとも部分的に基づいて、画像フレームの第２の適切なサブセットについて１つまたは複数の第２の異なる画像処理動作を実行して、ターゲット表示装置のために最適化された表示画像の第２のサブセットを生成することと、
表示画像の２番目のサブセットがターゲット表示装置にレンダリングされるようにすることと、を含み、
複数の画像フレーム内の各画像フレームは複数のフレームインターバル内のそれぞれのフレームインターバルについてレンダリングされ、複数の画像フレーム内の各画像フレームは、完全にインターリーブされていない画像フレームタイプ、完全にインターリーブされた画像フレームタイプ、および部分的にインターリーブされていない画像フレームタイプを含む複数の画像フレームタイプのうちの１つの画像フレームタイプであり、
１つまたは複数の第１のコンテンツ光レベルは、画像フレームの第１の適切なサブセット内の第１の画像フレームタイプの第１の画像フレームのピクセルに少なくとも部分的に基づいて、符号化ビデオシーケンス内の画像フレームの第１の適切なサブセットについて生成され、
１つまたは複数の第２のコンテンツ光レベルは、第１の出力画像タイプとは異なる第２の画像フレームタイプの第２の画像フレームのピクセルに少なくとも部分的に基づいて、符号化ビデオシーケンス内の画像フレームの第２の適切なサブセットについて生成され、画像フレームの第２の適切なサブセットは第２の画像フレームを含み、画像フレームの第１の適切なサブセットは画像フレームの第２の適切なサブセットと共通の画像フレームを共有しない。
【0276】
ＥＥＥ４２．画像フレームの第１の適切なサブセットは第１の画像フレームタイプの画像フレームを含み、画像フレームの第２の適切なサブセットは、第２の異なる画像フレームタイプの画像フレームを含む、ＥＥＥ４１に記載の方法。
【0277】
ＥＥＥ４３．１つまたは複数の第１のコンテンツ光レベルの各々は、画像処理動作において、画像フレームの第１の適切なサブセット内のすべての画像フレームに適用され、１つまたは複数の第２のコンテンツ光レベルの各々は、画像処理動作において、画像フレームの第２の適切なサブセット内のすべての画像フレームに適用される、ＥＥＥ４１に記載の方法。
【0278】
ＥＥＥ４４．１つまたは複数の第１のコンテンツ光レベルは、画像フレームの第１の適切なサブセット内の少なくとも１つの画像フレームのための第１の補足エンハンスメント情報(ＳＥＩ)メッセージ内に存在し、１つまたは複数の第２のコンテンツ光レベルは、画像フレームの第２の適切なサブセット内の少なくとも１つの画像フレームのための第２のＳＥＩメッセージ内に存在する、ＥＥＥ４１に記載の方法。
【0279】
ＥＥＥ４５．ビデオデータを用いてコンテンツ光レベル情報を符号化する方法であって、前記方法は、
複数の画像フレームのための１つまたは複数のコンテンツ光レベルを生成することと、
１つまたは複数のコンテンツ光レベルのための１つまたは複数の関連フィールドを生成することであって、１つまたは複数の関連フィールドは、１つまたは複数のコンテンツ光レベルのうちの１つのためのタイプ、１つまたは複数のコンテンツ光レベルのうちの１つのための解釈、または１つまたは複数のコンテンツ光レベルのうちの１つのための入力／出力タイプのうちの少なくとも１つを含む、生成することと、
複数の画像フレームを、１つまたは複数のコンテンツ光レベルおよび１つまたは複数の関連フィールドを含む画像メタデータと共に、画像ビットストリーム内に符号化および送信することと、を含む。
複数の画像フレームのための１つまたは複数のコンテンツ光レベルを生成することと、
１つまたは複数のコンテンツ光レベルのための１つまたは複数の関連フィールドを生成することであって、１つまたは複数の関連フィールドは、１つまたは複数のコンテンツ光レベルのうちの１つのためのタイプ、１つまたは複数のコンテンツ光レベルのうちの１つのための解釈、または１つまたは複数のコンテンツ光レベルのうちの１つのための入力／出力タイプのうちの少なくとも１つを含む、生成することと、
複数の画像フレームを、１つまたは複数のコンテンツ光レベルおよび１つまたは複数の関連フィールドを含む画像メタデータと共に、画像ビットストリーム内に符号化および送信することと、を含む。
【0280】
ＥＥＥ４６．ビデオデータを用いてコンテンツ光レベル情報を復号する方法であって、前記方法は、
画像ビットストリームを、複数の画像フレーム、および１つまたは複数のコンテンツ光レベルと１つまたは複数の関連フィールドとを含む画像メタデータへ復号することと、
１つまたは複数のコンテンツ光レベルおよび１つまたは複数の関連フィールドに少なくとも部分的に基づいて、複数の画像フレームについて１つまたは複数の画像処理動作を実行して、ターゲット表示装置に最適化された表示画像を生成することと、
最適化された表示画像がターゲット表示装置上にレンダリングされることと、を含み、
１つまたは複数の関連フィールドは、１つまたは複数のコンテンツ光レベルのうちの１つに対するタイプ、１つまたは複数のコンテンツ光レベルのうちの１つに対する解釈、または１つまたは複数のコンテンツ光レベルのうちの１つに対する入力／出力タイプのうちの少なくとも１つを含む。
画像ビットストリームを、複数の画像フレーム、および１つまたは複数のコンテンツ光レベルと１つまたは複数の関連フィールドとを含む画像メタデータへ復号することと、
１つまたは複数のコンテンツ光レベルおよび１つまたは複数の関連フィールドに少なくとも部分的に基づいて、複数の画像フレームについて１つまたは複数の画像処理動作を実行して、ターゲット表示装置に最適化された表示画像を生成することと、
最適化された表示画像がターゲット表示装置上にレンダリングされることと、を含み、
１つまたは複数の関連フィールドは、１つまたは複数のコンテンツ光レベルのうちの１つに対するタイプ、１つまたは複数のコンテンツ光レベルのうちの１つに対する解釈、または１つまたは複数のコンテンツ光レベルのうちの１つに対する入力／出力タイプのうちの少なくとも１つを含む。
【0281】
ＥＥＥ４７．ＥＥＥ１～４６に記載の方法のいずれか１つを実行するように構成されたコンピュータシステム。
【0282】
ＥＥＥ４８．プロセッサを含み、ＥＥＥ１～４６に記載された方法のいずれか１つを実行するように構成された装置。
【0283】
ＥＥＥ４９．ＥＥＥ１～４６のいずれかに記載の方法を実行するためのコンピュータ実行可能命令を記憶した非一時的なコンピュータ読み取り可能な記憶媒体。
【0284】
ＥＥＥ５０．関連する光レベルメタデータのセットを用いて画像ビットストリームを処理するための方法であって、前記方法は、
ビットストリーム内の符号化ビデオシーケンスを受信することと、
光レベルメタデータのセットがビットストリームで受信されたかどうかを確認することと、を含み、
光レベルメタデータのセットは、符号化ビデオシーケンスのフレームに対するすべての個々のサンプルの中の光レベルを示す第１の光レベルパラメータ(例えば、最大、最小、５％フロア、９５％シーリングなど)と、符号化ビデオシーケンスの個々のフレームに対するサンプルに関する第２の光レベルパラメータ(例えば、平均、中央値、および平均など)とを含み、
第１および第２の光レベルメタデータパラメータは、共に符号化ビデオシーケンスのフレームのスキャンタイプに依存し、スキャンタイプは、プログレッシブフレームタイプ、相補フィールドペアタイプ、マクロブロック適応フレームフィールドフレームタイプ、および個々のフィールドピクチャタイプのうちの１つである。
ビットストリーム内の符号化ビデオシーケンスを受信することと、
光レベルメタデータのセットがビットストリームで受信されたかどうかを確認することと、を含み、
光レベルメタデータのセットは、符号化ビデオシーケンスのフレームに対するすべての個々のサンプルの中の光レベルを示す第１の光レベルパラメータ(例えば、最大、最小、５％フロア、９５％シーリングなど)と、符号化ビデオシーケンスの個々のフレームに対するサンプルに関する第２の光レベルパラメータ(例えば、平均、中央値、および平均など)とを含み、
第１および第２の光レベルメタデータパラメータは、共に符号化ビデオシーケンスのフレームのスキャンタイプに依存し、スキャンタイプは、プログレッシブフレームタイプ、相補フィールドペアタイプ、マクロブロック適応フレームフィールドフレームタイプ、および個々のフィールドピクチャタイプのうちの１つである。
【0285】
ＥＥＥ５１．第３のパラメータが、第１の光レベルパラメータ、第２の光レベルパラメータ、または第１および第２の光レベルパラメータの両方に関連する入出力フォーマットを示す、ＥＥＥ５０に記載の方法。
【0286】
ＥＥＥ５２．ビットストリーム内のフラグは、第１の光レベルパラメータ、第２の光レベルパラメータ、または第１および第２の光レベルパラメータの両方が所定の方法(例えば、ＣＥＡ規格８６１．３)に従って計算されることを示す、ＥＥＥ５０またはＥＥＥ５１に記載の方法。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図4F】
【図4G】
【図4H】
【図5】
