(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-08-31
(54)【発明の名称】様々な性能の再生システムにおける高ダイナミック・レンジ画像の配信
(51)【国際特許分類】
H04N 19/30 20140101AFI20230824BHJP
H04N 19/46 20140101ALI20230824BHJP
【FI】
H04N19/30
H04N19/46
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2022581412
(86)(22)【出願日】2021-06-30
(85)【翻訳文提出日】2023-02-27
(86)【国際出願番号】 US2021040004
(87)【国際公開番号】W WO2022006346
(87)【国際公開日】2022-01-06
(32)【優先日】2020-07-01
(33)【優先権主張国・地域又は機関】EP
(32)【優先日】2020-07-01
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】アトキンズ,ロビン
(72)【発明者】
【氏名】スゥ,グワン-ミーン
(72)【発明者】
【氏名】ラクシュミナラヤナン,ゴピ
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159LA02
5C159MA17
5C159MA31
5C159PP14
5C159RC11
5C159TA05
5C159TB17
5C159UA02
5C159UA05
(57)【要約】
画像を表示する再生デバイスに高ダイナミック・レンジ(HDR)コンテンツを配信する方法において、HDRコンテンツはHDRビットストリームに符号化されており、HDRビットストリームは以後に再生デバイスによって復号化される。HDRビットストリームは、再生デバイスの処理能力に基づく補助メタデータ・パケットを含む。
【特許請求の範囲】
【請求項1】
高ダイナミック・レンジ(HDR)コンテンツに基づく画像を表示するために再生デバイスにおいてHDRコンテンツを復号化する方法であって:
(a)HDRコンテンツが符号化されているHDRビットストリームを受信するステップであって、前記HDRビットストリームは:
(1)前記HDRビットストリームのHDR画像がマッピングされた指定されたカラー・ボリューム・ベース・レイヤから符号化されたコーディングされたベース・レイヤ;
(2)プライマリ・メタデータ・パケットであって、前記プライマリ・メタデータ・パケットの情報は前記HDRコンテンツに基づいており、前記プライマリ・メタデータ・パケットは:
(i)コンポーザー・メタデータであって、コンポーザーにより前記指定されたカラー・ボリューム・ベース・レイヤに適用されると、前記コンポーザーが、オリジナルのHDRコンテンツを再構築することを引き起こす、コンポーザー・メタデータ;及び
(ii)その再構成されたHDRコンテンツに対応する表示マッピング・メタデータであって、表示マッピング・プロセスにより前記再構成されたHDRコンテンツに適用されると、前記表示マッピング・プロセスが、前記再構成されたHDRコンテンツを、ターゲット・デバイスの能力にマッピングすることを引き起こす、表示マッピング・メタデータを含む、プライマリ・メタデータ・パケット;及び
(3)補助メタデータ・パケットであって、前記補助メタデータ・パケットは:
(i)前記再生デバイスの処理能力を示す識別子;
(ii)前記指定されたカラー・ボリューム・ベース・レイヤに対応する表示マッピング・メタデータであって、表示マッピング・プロセスにより前記指定されたカラー・ボリューム・ベース・レイヤに適用されると、前記表示マッピング・プロセスが、前記指定されたカラー・ボリューム・ベース・レイヤを、前記ターゲット・デバイスの能力にマッピングすることを引き起こす、表示マッピング・メタデータ;及び
(iii)前記HDRビットストリームを復号化する場合に、構築オペレーションを迂回する信号;を含む補助メタデータ・パケットを含む、ステップ;及び
(b)前記HDRビットストリームを復号化するステップであって、前記HDRビットストリームを復号化するステップは:
(1)前記再生デバイスの能力に基づいて、前記プライマリ・メタデータ・パケット及び前記補助メタデータ・パケットから情報を選択するステップ;及び
(2)その選択された情報に基づいて前記HDRビットストリーム内の前記コーディングされたベース・レイヤを処理して、前記再生デバイスにおける表示のための情報を生成するステップを含む、ステップ;
を含む方法。
【請求項2】
請求項1に記載の方法において、前記コーディングされたベース・レイヤは:
標準ダイナミック・レンジ(SDR)カラー・ボリュームを含む最大互換性ベース・レイヤ;
前記HDR画像の前記カラー・ボリュームに対応するカラー・ボリュームを含む最小互換性ベース・レイヤ;及び
前記再生デバイスに対応するカラー・ボリュームを含む中間互換性ベース・レイヤ;
のうちの何れかである、方法。
【請求項3】
請求項1又は請求項2に記載の方法において、前記コーディングされたベース・レイヤを処理するステップは:
前記コーディングされたベース・レイヤを、復号化されたベース・レイヤ画像に復号化するステップ;及び
前記補助メタデータ・パケットにおけるデータに基づいて、前記復号化されたベース・レイヤ画像を、再生デバイスにマッピングするステップ;
を含む、方法。
【請求項4】
請求項2に記載の方法において、前記コーディングされたベース・レイヤを処理するステップは:
前記再生デバイスの処理能力を決定するステップであって、前記再生デバイスの処理能力は:SDR処理、最大互換性ベース・レイヤ処理、又は中間互換性ベース・レイヤ処理の中から選択された処理能力をサポートするように決定される、ステップ;
を含み、前記再生デバイスがSDR処理しかサポートしていない場合、前記HDRビットストリームは、SDRカラー・ボリュームを有する画像としてレンダリングされ;
前記再生デバイスが最大互換性ベース・レイヤ処理をサポートしている場合に、前記再生デバイスはダイナミック処理をサポートしているかどうかを決定し、前記再生デバイスがダイナミック処理をサポートしていない場合、静的な表示マッピングで前記HDRビットストリームをレンダリングし、前記再生デバイスがダイナミック処理をサポートしている場合、動的な表示マッピングで前記HDRビットストリームを復号化してレンダリングし;及び
前記再生デバイスが中間互換性ベース・レイヤ処理をサポートしている場合に、前記再生デバイスはダイナミック処理をサポートしているかどうかを決定し、前記再生デバイスがダイナミック処理をサポートしていない場合、静的な表示マッピングで前記HDRビットストリームをレンダリングし、前記再生デバイスがダイナミック処理をサポートしている場合、動的な表示マッピングで前記HDRビットストリームを復号化してレンダリングする、方法。
【請求項5】
高ダイナミック・レンジ(HDR)コンテンツをHDRビットストリームに符号化する方法であって:
(a)前記HDRコンテンツにおけるHDR画像を、指定されたカラー・ボリューム・ベース・レイヤにマッピングするステップ;
(b)前記HDRコンテンツに基づいてプライマリ・メタデータ・パケットを生成するステップであって、前記プライマリ・メタデータ・パケットは:
(i)コンポーザー・メタデータであって、コンポーザーにより前記指定されたカラー・ボリューム・ベース・レイヤに適用されると、前記コンポーザーが、オリジナルのHDRコンテンツを再構築することを引き起こす、コンポーザー・メタデータ;及び
(ii)その再構成されたHDRコンテンツに対応する表示マッピング・メタデータであって、表示マッピング・プロセスにより前記再構成されたHDRコンテンツに適用されると、前記表示マッピング・プロセスが、前記再構成されたHDRコンテンツを、も・デバイスの能力にマッピングすることを引き起こす、表示マッピング・メタデータを含む、ステップ;
(c)補助メタデータ・パケットを生成するステップであって、前記補助メタデータ・パケットは:
(i)前記再生デバイスの処理能力を示す識別子;
(ii)前記指定されたカラー・ボリューム・ベース・レイヤに対応する表示マッピング・メタデータであって、表示マッピング・プロセスにより前記指定されたカラー・ボリューム・ベース・レイヤに適用されると、前記表示マッピング・プロセスが、前記指定されたカラー・ボリューム・ベース・レイヤを、前記ターゲット・デバイスの能力にマッピングすることを引き起こす、表示マッピング・メタデータ;及び
(iii)前記HDRビットストリームを復号化する場合に、構築オペレーションを迂回する信号を含む、ステップ;
(d)前記指定されたカラー・ボリューム・ベース・レイヤを、コーディングされたベース・レイヤに符号化するステップ;及び
(e)前記コーディングされたベース・レイヤと、前記プライマリ・メタデータ・パケットと、前記補助メタデータ・パケットとを結合して、前記HDRビットストリームを生成するステップ;
を含む方法。
【請求項6】
請求項5に記載の方法において、前記コーディングされたベース・レイヤは:
標準ダイナミック・レンジ(SDR)カラー・ボリュームを含む最大互換性ベース・レイヤ;
前記HDR画像の前記カラー・ボリュームに対応するカラー・ボリュームを含む最小互換性ベース・レイヤ;及び
前記再生デバイスに対応するカラー・ボリュームを含む中間互換性ベース・レイヤ;
のうちの何れかである、方法。
【請求項7】
請求項1-4のうちの何れか1項に記載の方法を実行するように構成されたプロセッサを含む復号化装置。
【請求項8】
請求項5又は請求項6に記載の方法を実行するように構成されたプロセッサを含む符号化装置。
【請求項9】
請求項7に記載の復号化装置と請求項8に記載の符号化装置とを含むシステム。
【請求項10】
1つ以上のプロセッサを用いて請求項1-4のうちの何れか1項に記載の方法を実行するためのコンピュータ実行可能命令を記憶したコンピュータ読み取り可能な記憶媒体。
【請求項11】
1つ以上のプロセッサを用いて請求項5又は請求項6に記載の方法を実行するためのコンピュータ実行可能命令を記憶したコンピュータ読み取り可能な記憶媒体。
【請求項12】
1つ以上のプロセッサを用いて請求項1-6のうちの何れか1項に記載の方法を実行するためのコンピュータ実行可能命令を記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
[0001] 関連出願の相互参照
本願は、2020年7月1日付で出願された米国仮特許出願第63/046,796号、及び2020年7月1日付で出願された欧州特許出願第20183398.5号の優先権を主張するものであり、これらの出願は双方ともに全体的に参照により本件に援用される。
【背景技術】
【0002】
[0002] 1.分野
本発明は、高ダイナミック・レンジ画像に関連する。より詳細には、本発明の一実施形態は、異なるレベルの処理能力を有する再生デバイスに、高ダイナミック・レンジの画像コンテンツを配信することに関連する。
【0003】
[0003] 2.関連出願の説明
本件で使用されているように、用語「ダイナミック・レンジ」(dynamic range,DR)は、例えば、最も暗いグレー(ブラック)から最も明るいホワイト(ハイライト)までのような、画像内の強度のレンジ(例えば、輝度、ルマ)を知覚する人間の視覚系(human visual system,HVS)の能力に関連している可能性がある。この意味で、DRは「シーン参照」(scene-referred)強度に関連している。また、DRは、特定の幅の強度レンジを適切に又は近似的にレンダリングするディスプレイ・デバイスの能力に関連する可能性もある。この意味で、DRは「ディスプレイ参照」(display-referred)強度に関連している。本件の記載の何らかの箇所で、特定の意味を有するように特定の意味が明示的に指定されていない限り、この用語は、何れの意味にも、即ち可換に使用されてもよいことが推察されるべきである。
【0004】
[0004] 本件で使用されるように、用語「高ダイナミック・レンジ(HDR)」は、約14~15倍の人間の視覚系(HVS)の大きさに及ぶDR幅に関連する。実際には、人間が強度レンジにおいて幅広い範囲を同時に知覚できるDRは、HDRとの関係で幾らか打ち切られる可能性がある。HDR再生システムは、HDR画像の表示を促進するシステムである。ビデオ表示システムでは、HDRビデオ再生システムは、典型的には、標準的なビデオ再生システムと比較した場合に、改善されたカラー・レンジ及び改善されたコントラストのビデオ画像の表示によって特徴付けられる。
【0005】
[0005] 現在、ほとんどの消費者向けデスクトップ・ディスプレイは、200ないし300 cd/m2又はニット(nits)の輝度をサポートしている。ほとんどの消費者向けHDTVは、300ないし500 nitの範囲に及び、新たなモデルは1000 nits(cd/m2)に達している。このような従来のディスプレイは、HDRに関連して、標準ダイナミック・レンジ(standard dynamic range,SDR)とも呼ばれる、より低いダイナミック・レンジを表している。キャプチャ装置(例えば、カメラ)及びHDRディスプレイ(例えば、ドルビー・ラボラトリーズからのPRM-4200プロフェッショナル・リファレンス・モニター)の双方の進歩に起因して、HDRコンテンツの利用可能性が増大するにつれて、HDRコンテンツは、より高いダイナミック・レンジ(例えば、1,000 nitsないし5,000 nits以上)をサポートするHDRディスプレイにおいて、カラー・グレーディングされて表示される可能性がある。一般に、本開示の方法は、SDRよりも高い任意のダイナミック・レンジに関連している。
【0006】
[0006] WO 2006/050305 A1は、CRT色空間のものを超える表示能力を有する異なる表示デバイスのための強化された色空間コンテンツ(ターゲット色空間)をマスタリングして配信するための方法及びシステムを開示している。コンテンツ制作者は、各ターゲット色空間について、基本(base)色空間又は基準(reference)色空間及び拡張(enhanced)色空間データを確立する。拡張色空間データはメタデータとして記憶され、基本/基準色空間とは別に、拡張カラー・チャネルを介して伝送される。基本/基準データとメタデータの両方は、送信前に符号化され、コンシューマ側で、別個のデコーダ又は統合されたデコーダを有する表示デバイスの何れかによって復号化される。輝度、ルミナンス、コントラスト及びその他の表示設定のような目標色空間に関する補助データは、拡張カラー・チャネルを介して伝送され復号化されて、表示設定を含む目標色空間設定を制御することができる。色調整メタデータは、補助データに含まれるか、又は補助データから分離して維持されることが可能である。
【0007】
[0007] US 2017/064334 A1は、デジタル・ビデオを符号化する方法を開示しており、この方法は、ビデオの高ダイナミック・レンジ(HDR)マスター、ビデオの参照標準ダイナミック・レンジ(SDR)マスター、及びエンコーダにおけるターゲットSDR表示プロパティを受信するステップと、HDR値をHDRマスターからSDR値へ変換するカラー・ボリューム変換を発見するステップであって、そのSDR値は、ターゲットSDRディスプレイで表示用に変換された場合に、基準SDRマスターにおけるSDR値に実質的に類似しているものである、ステップと、カラー・ボリューム変換を用いてHDR値をHDRマスターからSDR値へ変換するステップと、デコーダに対するカラー・ボリューム変換を識別するメタデータ・アイテムを生成するステップと、SDR値をビットストリームに符号化するステップとを含む。
【0008】
[0008] US 2018/077453 A1は、ビデオ・データ及び高ダイナミック・レンジ情報を含むブロードキャスト信号を送/受信するデバイス及び方法を開示している。ブロードキャスト信号伝送方法は、ビデオ・データを生成するステップと、生成されたビデオ・データ及び画質改善メタデータを含むブロードキャスト信号を生成するステップと、生成されたブロードキャスト信号を送信するステップとを含むことが可能である。
【0009】
[0009] EP 3 367 684 A1は、SDR画像に再構築プロセスを適用することによってHDR画像を再構築する方法及びデバイスを開示しており、そのSDR画像の内容はHDR画像の内容と類似しているが、SDR画像のルミナンス値のダイナミック・レンジはHDR画像のルミナンス値のダイナミック・レンジよりも小さいものであり、再構築プロセスは、ビットストリームから得られるパラメータを必要とする。この方法は、全ての必要なパラメータがビットストリームから利用可能であるかどうかを決定するステップと、欠落した又は破損したパラメータを追加データから復元するステップとを更に含み、再構築プロセスは、復元されたパラメータを更に考慮に入れることを特徴としている。
【発明の概要】
【0010】
[0010] 本発明は独立クレームによって定義される。従属クレームは、本発明の幾つかの実施形態の任意的な選択の特徴に関連している。本発明の実施形態は、高ダイナミック・レンジ(HDR)コンテンツに基づく画像を表示する再生デバイスにHDRコンテンツを配信する方法に基づいており、本方法は:HDRコンテンツをHDRビットストリームに符号化するステップを含み、HDRコンテンツを符号化するステップは:
HDRコンテンツにおけるHDR画像を、1つ以上の指定されたカラー・ボリューム・ベース・レイヤにマッピングするステップ;HDRコンテンツに基づいてプライマリ・メタデータ・パケットを生成するステップ;1つ以上の補助メタデータ・パケットを生成するステップであって、補助メタデータ・パケット内の情報は再生デバイスの能力に基づいている、ステップ;1つ以上の指定されたカラー・ボリューム・ベース・レイヤを、1つ以上の指定されたコーディングされたベース・レイヤに符号化するステップ;1つ以上の指定されたコーディングされたベース・レイヤと、1つ以上のプライマリ・メタデータ・パケットと、1つ以上の補助メタデータ・パケットとを結合して、HDRビットストリームを生成するステップを含み、当該方法は、HDRビットストリームを復号化するステップを含み、HDRビットストリームを復号化するステップは:ターゲット再生デバイスの能力に基づいて、1つ以上のプライマリ・メタデータ・パケット及び1つ以上の補助メタデータ・パケットから情報を選択するステップ ;及びその選択された情報に基づいてHDRビットストリーム内の1つ以上のコーディングされたベース・レイヤを処理して、ターゲット再生デバイスにおける表示のための情報を生成するステップを含む。
【0011】
[0011] 本発明の実施形態は、HDRコンテンツをHDRビットストリームに符号化する方法に基づいており、本方法は:HDRコンテンツ内のHDR画像を、1つ以上の指定されたカラー・ボリューム、電子光学伝達関数(electro-optical transfer function,EOTF)、及びピーク輝度ベース・レイヤにマッピングするステップ;HDRコンテンツに基づいて1つ以上のプライマリ・メタデータ・パケットを生成するステップ;1つ以上の補助メタデータ・パケットを生成するステップであって、補助メタデータ・パケット内の情報は1つ以上の再生デバイスの能力に基づいている、ステップ;1つ以上の指定されたカラー・ボリューム、EOTF、及びピーク輝度ベース・レイヤを、1つ以上の指定されたベース・レイヤに符号化するステップ;及び1つ以上の指定されたベース・レイヤ、1つ以上のプライマリ・メタデータ・パケット、及び1つ以上の補助メタデータ・パケットを組み合わせて、HDRビットストリームを生成するステップを含む。
【0012】
[0012] 本発明の実施形態は、HDRビットストリームを復号化する方法に基づいており、HDRビットストリームは、1つ以上のコーディングされたベース・レイヤ、1つ以上のプライマリ・メタデータ・パケット、及び1つ以上の補助メタデータ・パケットを含み、本方法は:ターゲット再生デバイスの能力に基づいて、 1つ以上のプライマリ・メタデータ・パケット及び1つ以上の補助メタデータ・パケットから情報を選択するステップ;及び選択された情報に基づいて、HDRビットストリーム内の1つ以上のコーディングされたベース・レイヤを処理して、ターゲット再生デバイスにおける表示のための画像を生成するステップを含む。
【図面の簡単な説明】
【0013】
[0013] 本発明の実施形態は、添付図面の図面に例示として非限定的に示されており、図中、同様の参照番号は同様の要素を示す。
【
図1】[0014]
図1は、HDRビットストリーム符号化プロセスの例示的な実装のブロック図を示す。
【
図2】[0015]
図2は、再生プロセスを使用してHDRビットストリームから画像を生成するための例示的なプロセスのブロック図を示す。
【
図3】[0016]
図3は、補助メタデータ・パケットの追加とベース・レイヤの最適化との両方を使用するエンコーダのブロック図を示す。
【
図4】[0017]
図4は、補助メタデータ・パケットを含むHDRビットストリームから画像を生成するための複雑性の低い再生プロセスのブロック図を示す。
【
図5A】[0018]
図5Aは、再生デバイスにおける再生処理の適用に関する意思決定ツリーの例を示す。
【
図5B】[0018]
図5Bは、再生デバイスにおける再生処理の適用に関する意思決定ツリーの例を示す。
【発明を実施するための形態】
【0014】
[0019] 現在のHDRシステムは、主に、ハイ・エンドの再生デバイスの方をターゲットとしている。しかしながら、モバイル・システムに見受けられるようなロー・エンドの再生デバイスが、HDRコンテンツの恩恵を受ける可能性もある。ロー・エンド再生システムは、典型的には、システム内のプロセッサの限界に起因して、最小限の処理しか実行できないか、又は加工を実行できないことによって特徴付けられる。本発明の実施形態は、HDRコンテンツを、非常に低いパフォーマンスから非常に高いパフォーマンスに及ぶ範囲の様々な範囲の再生デバイスへ提供する。
【0015】
[0020] 本件で使用される場合、「メタデータ」とは、ビットストリーム、結果として得られる画像、及び/又はデバイスであって、ビットストリームを結果として得られる画像に変換するプロセスで使用されるものを特徴付けたり又は参照したりするデータを指す。本件で使用される場合、「プライマリ・メタデータ(primary metadata)」は、HDR画像の特性に加えてコンポーザー・データ(composer data)にも言及しているデータを指す。本件で使用される場合、「補助メタデータ(auxiliary metadata)」は、画像の表示マッピング・データに加えて、再生デバイスの能力に言及しているデータを指す。
【0016】
[0021]
図1は、符号化プロセスの例示的な実装のブロック図を示す。
図1では、HDR画像121と何らかの「HDR画像メタデータ」123とがエンコーダ130に入力される。エンコーダ130は、第1の前処理ステップ131と、第2の符号化ステップ135とを含む。実施形態では、符号化ステップ135は、当技術分野で知られているビデオ圧縮ステップ(例えば、AVC、HEVC、AV1など)を含む可能性がある。前処理ステップ131は、選択されたカラー・ボリュームに対してマッピング133を実行してベース・レイヤ画像136を生成し、と同時に、コンポーザー・メタデータ139を生成して(132)、再生デバイスがベース・レイヤ・マッピングを元に戻してオリジナルHDR画像を再構築することを可能にする。典型的には、ベース・レイヤ・マッピングは、特定の再生デバイス、例えば、「SDR」、「HDR10」又は「HLG」デバイスとの互換性を可能にするように選択される。コンポーザー・メタデータ139は、任意のHDR画像メタデータ123に加えて、プライマリ・メタデータ・パケット138を作成するために組み合わせられる。符号化ステップは、コーディングされたベース・レイヤ画像137を、ベース・レイヤ画像136から生成する。コーディングされたビット・ベース・レイヤ画像137とプライマリ・メタデータ・パケット138との組み合わせは、ビットストリーム140(例えば、Dolby Vison(登録商標)ビットストリーム)を含む。
【0017】
[0022]
図2は、再生プロセス260を使用して、ビットストリーム240から画像を生成するための例示的なプロセスのブロック図を示す。
図2に示されるように、再生プロセス260では、デコーダ及びコンポーザー・ステップ242は、先ず、コーディングされたベース・レイヤ画像237を復号化し、次いで、プライマリ・メタデータ・パケット238からのコンポーザー・メタデータを適用して、オリジナルHDR画像221を再構成する。次いで、表示マッピング・ステップ245は、HDR画像メタデータ223のガイダンスの下で、HDR画像221をターゲット・ディスプレイ250にマッピングする。デコーダ及びコンポーザー・プロセス242は、
図1に示される符号化プロセス135と互換性のある復号化プロセスに対応する。
【0018】
[0023]
図2に示されるもののような再生デバイスの動作は、第1に、デコーダ及びコンポーザー・プロセス242を適用する際に、第2に、表示マッピング・プロセス245を適用する際に、かなりの量の処理能力を必要とする可能性があり、これらは両方ともフレーム毎に変わる可能性がある。上述のドルビー・ビジョン及びドルビー・ビジョン・ビットストリームの議論は、HDR画像に関する符号化及び復号化プロセスの概要を提供している。当業者は、ターゲット・ディスプレイにおける表示用のHDR画像を符号化及び復号化するために、他のプロセスが使用してもよいことを理解している。
【0019】
[0025] 本発明の実施形態によれば、再生の複雑性は:1)補助メタデータ・パケットを追加すること、及び2)ターゲット・ディスプレイのクラスにマッピングするためにベース・レイヤ画像を最適化すること、によってシンプルにすることができる。補助メタデータ・パケットの追加は、様々な再生デバイスの処理能力に応じて選択することができる。これらの補助メタデータ・パケットのうちの少なくとも1つは、静的なコンポーザー(再生デバイスにコンポーザーを迂回させる)と、表示マッピング(display mapping,DM)メタデータ(ベース・レイヤのカラー・ボリュームと信号符号化を記述する)とを含むだけである。追加の補助メタデータ・パケットは、完全なメタデータ・パケットに向けて、増加した機能レベルを加えるために、再生デバイス能力に基づいて選択されることが可能である。ベース・レイヤを最適化するための鍵は、動的な高品質マッピングの大部分が符号化(132)の間に実行され、その結果、より少ないセカンダリ・マッピング(二次的なマッピング)(245)しか再生デバイスによって要求されないことである。従って、セカンダリ・マッピングは、複雑さを低減させることができ、従って、より多数の低機能再生デバイスで実行できるようにする。一実施形態では、セカンダリ・マッピングは静的なものであってもよい。
【0020】
[0026]
図3は、補助メタデータ・パケットの追加とベース・レイヤの最適化との両方を使用する例示的なエンコーダ300のブロック図を示す。
図3では、HDR画像321とHDR画像メタデータ323がエンコーダ300に入力される。エンコーダ300は、第1の前処理ステップ331と圧縮又はその他の処理を含む第2の符号化ステップ335とを含み、コーディングされた最適化されたベース・レイヤ画像337をビットストリーム340のために生成する。前処理ステップ331は、最適なカラー・ボリュームに対する最適化されたマッピング333を実行して、最適化されたベース・レイヤ画像336を生成することができる。と同時に、前処理ステップ332は、
図1に関して上述したような方法で、プライマリ・メタデータ・パケット338を生成する。また、前処理ステップ332は、1つ以上の補助メタデータ・パケット339を生成する。符号化ステップ335は、最適化されたベース・レイヤ画像336から、コーディングされた最適化されたベース・レイヤ画像337を生成する。符号化ステップ335は、以下で更に詳細に説明される方法で、同一のオリジナルHDR画像から、コンテンツの1つ以上のバージョンを生成することができる。コーディングされた最適化されたベース・レイヤ画像337、プライマリ・メタデータ・パケット338、及び補助データ・パケット339の組み合わせは、多様な範囲に及ぶ再生デバイス上での再生のために構成されたビットストリーム340を含む。
【0021】
[0027] 補助データ・パケットを有するビットストリームを受信する再生デバイスは、デバイスの処理能力に基づいて、プライマリ・メタデータ・パケット又は補助メタデータ・パケットの間で選択を行うように構成されている可能性がある。これらの能力は、デバイスのハードウェア制限に起因している可能性があり、また、処理能力やバッテリ電力の利用可能性に基づいて動的に選択される可能性もある。非常に能力の高い再生デバイスは、
図1に示されるような動作に従うことが可能である一方、複雑性の低い再生デバイスは、補助メタデータ・パケットを活用して再生処理を単純化することが可能である(例えば、
図4を参照されたい)。
【0022】
[0028]
図4は、プライマリ及び補助メタデータ・パケット431を含むビットストリーム440から画像を生成するための、例示的な複雑性の低い再生プロセスのブロック図を示す。
図4に示されるように、再生プロセスは、コーディングされた最適化されたベース・レイヤ画像437を、最適化されたベース・レイヤ画像436に復号化するデコーダ・ステップ442を有する。表示マッピング・ステップ445は、次いで、補助メタデータ439のガイダンスの下で、最適化されたベース・レイヤ画像436を、ターゲット・ディスプレイ480にマッピングする。
図4に示される低複雑性の実施形態では、(
図2に示すような)コンポーザーは、HDR画像を再構築するためには不要である。むしろ、最適化されたベース・レイヤ画像436は、補助メタデータ・パケット439のみに基づいて出力480にマッピングされる。一実施形態では、この補助メタデータ・パケットは、コンテンツの継続期間中、静的なままであり、従って、最小限の動的処理しか必要としない。
【0023】
[0029] 幾つかの実装(例えば、ドルビー・ビジョン)では、異なる符号化設定で符号化された、同じコンテンツの複数のバージョンが存在する可能性がある。例えば、エンコーダは、異なる再生デバイス用に意図されている2つ以上のビットストリームを生成するように構成されることが可能である。これらのバージョン間の相違は、ベース・レイヤの互換性によるものである。
【0024】
[0030] 例えば、SDR(Standard Dynamic Range)に対応するカラー・ボリュームを有する「最大互換性(most compatible)」ベース・レイヤが存在してもよい。このベース・レイヤは、HDR機能を有しない何らかのレガシーSDR再生デバイス上で見ることが可能である。これに対して、HDR再生デバイスは、
図2に示されるプロセスによって示されているように、「コンポーザー(composer)」と「マッピング」との両方を適用して、画像を最適に表示することができる。本発明によれば、HDR再生デバイスは、補助メタデータ・パケットを代替的に使用して、SDR信号をターゲット・デバイス能力に直接的にマッピングすることができる(例えば、
図4)。
【0025】
[0031] また、オリジナルのHDR画像に対応するカラー・ボリュームを有する「最小互換性(least compatible)」ベース・レイヤが存在する可能性もある。このベース・レイヤは、SDR再生デバイスでは直接的に見ることはできない。HDR再生デバイスは、
図2に従って、ベース・レイヤをコンポーザーと共に処理し、その後に表示マッピングを行うように構成されることが可能である。
【0026】
[0032] 「最大互換性」及び「最小互換性」ベース・レイヤの両極端の間にある「中間互換性(intermediate compatible)」ベース・レイヤが存在してもよい。この中間ベース・レイヤのカラー・ボリュームは、設定することが可能である。好ましい実施形態では、カラー・ボリュームは、ターゲット再生デバイスのカラー・ボリュームの平均に設定される。一実施形態では、ベース・レイヤのカラー・ボリュームは、P3原色及び200-400nitsピーク輝度に対応する。レガシー(非HDR)再生デバイスは、再生デバイスの特性がベース・レイヤの特性と一致する場合、復号化された画像を正しく且つ最適に表示することができるであろう。完全な能力のある再生デバイスは、プライマリ・メタデータ・パケットを使用してコンポーザー及びマッピング・プロセスを適用して、デバイスを最適にレンダリングすることが可能であり(例えば、
図2)、限られた能力の再生デバイスは、補助メタデータ・パケットを使用して限られた表示マッピング・プロセスを復号化及び適用して、これら2つの間の画質を達成することができる(例えば、
図4)。
【0027】
[0033] 本発明による実施形態では、ビットストリームは、プライマリ・メタデータと補助メタデータの両方を含んでもよい。互換性の選択はユーザー次第である。一般に、「最大互換性」は最も多くのデバイスに到達することが可能である一方、「最小互換性」は互換性のあるデバイスに対する最良の画質しか有していない(即ち、SDR画像から最も逸脱した元のHDR画像である)。設定可能なベース・レイヤ及び補助メタデータを用いる本発明の実施形態は、最大互換性と最小互換性の構成の間に該当する可能性のある画像品質を提供する。
図2に示されるような再生システム260は、再生デバイスのカラー・ボリューム及びピーク輝度値に依存して、「最大互換性」、「中間互換性」、又は「最小互換性」のコンテンツ・タイプを使用する再構成されたHDR画像において、僅かな品質の相違を有するかもしれないことに留意されたい。
【0028】
[0034] 本発明によるエンコーダの実施形態は、「最大互換性」コンテンツ・バージョン;「中間互換性」コンテンツ・バージョン;及び「最小互換性」コンテンツ・バージョンを含む、同一のオリジナルHDR画像から1つ以上のバージョンのコンテンツを生成するように構成されてもよい。「最大互換性」コンテンツは、HDRから、互換性のあるベース・レイヤSDRへ、自動的にマッピングすることによって導出される。これはまた、元のHDRを再構築し、HDRからターゲット・ディスプレイへのマッピングを実行するために、再生デバイスのメタデータも含む。ベース・レイヤのカラー・ボリュームは、SDRコンテンツを期待している再生デバイスとの互換性を最大化するために、100 nits,R709とすることが可能である。「中間互換性」コンテンツは、HDRから非互換性ベース・レイヤ(本件では、「中間ダイナミック・レンジ(medium dynamic range)」ベース・レイヤ、又はMDRと言及される)へ、自動的にマッピングすることによって導出される。ベース・レイヤのカラー・ボリュームは、設定可能である。一実施形態では、カラー・ボリュームは、ターゲット再生デバイスのカラー・ボリュームの平均に設定される。別の実施形態では、ベース・レイヤのカラー・ボリュームは、P3原色及び200 nitsピーク輝度に対応する。「最小互換性」バージョンは、本質的には、上記のHDR画像である。
【0029】
[0035] また、エンコーダは、如何なるメタデータもなしに、非HDRバージョンのコンテンツを完全に作成するように構成されてもよいことに留意を要する。この後者のバージョンは、典型的には、異なる処理フローを使用して、HDR画像から独立して導出される。
【0030】
[0036] 本発明の実施形態によれば、ビットストリームは、プライマリ・メタデータ・パケットと1つ以上の補助メタデータ・パケットの両方を含む。プライマリ・メタデータ・パケットは:コンポーザー・メタデータであって、コンポーザーによりベース・レイヤに適用されると、コンポーザーが、可能な限り近いオリジナルのHDRバージョンを再構築することを引き起こす、コンポーザー・メタデータ;及びその再構成されたHDRに対応する表示マッピング・メタデータであって、表示マッピング・プロセスにより、再構成されたHDR画像に適用されると、表示マッピング・プロセスが、再構成されたHDRを、ターゲット・デバイスの能力にマッピングすることを引き起こす、表示マッピング・メタデータを含む。補助メタデータ・パケットは:再生デバイスの処理能力を示す識別子;コンポーザーをバイパスするための信号;及びマッピングされたベース・レイヤに対応する表示マッピング・メタデータであって、表示マッピング・プロセスによりベース・レイヤに適用されると、表示マッピング・プロセスが、ベース・レイヤを、ターゲット・デバイスの能力にマッピングすることを引き起こす、表示マッピング・メタデータを含むことが可能である。
【0031】
[0037] 関連するメタデータを含む様々なコンテンツ・バージョンは、標準コーデックを使用して符号化されることが可能であり、これは適応ビットレートのラダーを含むことが可能であり、配信に利用可能にされる。
【0032】
[0038] 上述したように、広範囲に及ぶ再生デバイスは、同じビットストリームで供給されることが可能である。最終的な画質は、再生デバイスの機能、及び異なるコンテンツ・バージョンの利用可能性に依存する。本発明の実施形態は、このような広範囲に及ぶ再生デバイスの間で再生画像品質の一貫性をもたらす。
【0033】
[0039] 本発明の実施形態によれば、HDRコンテンツに基づく画像を表示する再生デバイスにHDRコンテンツを配信する方法が提供される。コンテンツを配信する例は、ストリーミング、ビデオ・オン・デマンド、ブロードキャスト、デジタル・ファイル伝送などを含む。再生デバイスの例は、コンピュータ、テレビ、タブレット、スマートフォン、プロジェクターなどを含む。この方法は、HDRコンテンツをHDRビットストリームに符号化することを含む可能性がある。符号化は、HDRビットストリーム内のHDR画像の、指定されたカラー・ボリューム・ベース・レイヤへのマッピングを含む可能性があり、従ってこれはコーディングされたベース・レイヤに符号化されることが可能である。例えば、HDR画像は、SDRベース・レイヤ及び/又はMDRベース・レイヤにマッピングされて符号化されることが可能である。また、符号化は、プライマリ及び/又は補助メタデータを、対応するメタデータ・パケットに生成することを含むことも可能である。プライマリ・メタデータはHDRの内容に基づく可能性があり、補助メタデータはベース・レイヤに基づく可能性がある。コーディングされたベース・レイヤと、プライマリ及び補助メタデータの両方とがビットストリームに組み込まれる。また、この方法は、HDRビットストリームを復号化することを含む可能性があり、これは、プライマリ・メタデータ・パケット若しくは補助メタデータ・パケット、又はそれらの組み合わせの中から情報を選択することを含む可能性がある。
【0034】
[0040]
図5A及び5Bは、本発明の実施形態による再生処理の適用におけるデシジョン・ツリーの例である。
図5A及び5Bは、再生能力及びコンテンツ・タイプに応じて画質がどのように改善されるかを示す。限定を伴うことなく、
図5Aに示されるデシジョン・ツリーは、配信される単一のアセット(asset)が存在する状況にのみ対処しており、
図5Bは、最大互換性のビットストリーム及び中間互換性のビットストリームという2つのアセットの配信にのみ対処していることに留意されたい。
【0035】
[0041] 本件で使用される場合、「ベースSDR」は、それに関連付けられたメタデータが無いSDRベース・レイヤであるか、又は最小限のメタデータ・セット(例えば、基本的な機能のみがデバイスによってサポートされている第三者のメタデータ)を有するSDRベース・レイヤを指す。
【0036】
[0042] 本件で使用される場合、「プライマリ・メタデータ」(又はPRIME)は、ディスプレイ・デバイスにおいて動的な処理(例えば、動的な多変量多重回帰及び動的な表示管理)を利用するメタデータを指す。
【0037】
[0043] 本件で使用される場合、「補助メタデータ」(又はAUX)は、デコーダにおける静的な処理をサポートするメタデータであって、動的な処理がディスプレイ・デバイスで使用されない場合に選択されるメタデータを指す。
【0038】
[0044] 本件で使用される「アセット(asset)」は、PRIME及びAUXメタデータの両方が提供されるベース・レイヤを指す。「SDRアセット」は、ベース・レイヤが最大互換性であるアセットを指す。「MDRアセット」は、ベース・レイヤが中間互換性であるアセットを指す。ビットストリームは、ベース・レイヤが同じメタデータを共有する複数のアセットを含む可能性がある。SDRアセットの例は、DOLBY(登録商標) Profile P9.2である。MDRアセットの例は、DOLBY(登録商標) Profile P32である。
【0039】
[0045] 幾つかの実施態様において、アセットのベース・レイヤは、HDRワークフローから導出される。幾つかの実施態様において、アセットのベース・レイヤは、HDRワークフローとは別に導出される
[0046] アセットの使用例は、ビットストリームにおいてSDRアセットを提供するだけであるユーザー生成コンテンツ(user generated content,UGC)プロバイダである可能性があり、これは低ビットレート・コストで最大のリーチを提供する(デバイスとの互換性が最も高い)。アセットの別の使用例は、SDRアセットとMDRアセットの両方をビットストリームで提供するプレミアム(premium)コンテンツ・プロバイダである可能性があり、(最も互換性のあるアセットを含めることによって)最大限のリーチを提供する一方、(中間互換性のアセットを含めることによって)ハイ・エンドのデバイスに増加した品質を提供する。
【0040】
[0047]
図5Aは、一実施形態によるシステムの例示的なフローチャートを示す。再生デバイスがビットストリーム処理について互換性のあるアプリケーションをサポートするかどうか(例えば、デバイスがDolby Vision(登録商標)ビットストリームを再生できるかどうか)の判定511が行われる。「互換性のあるアプリケーション」は、本件で説明される符号化されたビットストリームの再生のために特に設計された再生デバイスにおけるアプリケーションである。サポートしていない場合、基本的なSDRベース・レイヤがデコードされ(547)、SDR画像として画像を生成するためにレンダリングされる(555)。基本的なメタデータ情報が利用可能であれば何であれ、処理に使用される。アプリケーションがサポートされている場合(511)、MDRアセットがビットストリームに存在するかどうかの第2の決定が行われる(521)。
【0041】
[0048] MDRアセットが存在する場合(521)、デバイスがダイナミック処理をサポートしているかどうかの決定が行われる(531)。次いで、ダイナミック処理がサポートされている場合、ハイ・パワー・デコード及びレンダリング動作551が、MDRアセット及びPRIMEメタデータ542に対して実行され、ダイナミック表示マッピング(例えば、ダイナミック表示管理 - ダイナミックDM)及びダイナミック・コンポーザー予測(例えば、ダイナミック多変量多重回帰 - ダイナミックMMR)551とともに画像を生成する(例えば、高パワー処理については、
図2を参照されたい)。
【0042】
[0049] MDRアセットが存在し(521)、デバイスがダイナミック処理をサポートしない場合(531)、静的デコード及びレンダリング処理553が、AUXメタデータ541を用いてMDRアセットに対して実行され、画像を生成する(例えば、低パワー処理については、
図4を参照されたい)。
【0043】
[0050] MDRアセットが存在せず(又はデバイスでサポートされておらず)(521)、デバイスがダイナミック処理をサポートしている場合(533)、PRIMEメタデータとともにSDRアセットが使用されて、動的に処理されたSDR画像を生成することができる。
【0044】
[0051] MDRアセットが存在せず(521)、デバイスがダイナミック処理をサポートしていない場合(533)、AUXメタデータとともにSDRアセットが、スタティック処理で使用されて(554)、SDR画像を生成することができる。
【0045】
[0052] このように、広範囲に及ぶデバイスを使用することが可能である一方、それをサポートするデバイスに対して、ますます改善される画質を依然として提供する。
【0046】
[0053]
図5Bは、別の実施形態によるシステムの例示的なフローチャートを示す。フローチャートは、
図5Aに示されたものと同様であり、SDRアセットが存在するかどうかを確認するための決定(513,323)を伴っている。デバイスが互換性のあるアプリケーション511をサポートしていないが(511)、SDRアセットが存在する場合(513)、SDRアセットはSDRとしてレンダリングされることが可能である。
【0047】
[0054] デバイスがアプリケーションをサポートしているが(511)、MDRアセットが存在せず(521)、SDRアセットが存在し(523)、デバイスがダイナミック処理をサポートしている場合(533)、SDR BL及びPRIMEメタデータを使用して、ダイナミックMMR及びダイナミックDMによりレンダリングされたSDR画像を生成することができる(552)。
【0048】
[0055] デバイスがアプリケーションをサポートしているが(511)、MDRアセットが存在せず(521)、SDRアセットが存在し(523)、デバイスがダイナミック処理をサポートしていない場合(533)、SDR BL及びAUXメタデータを使用して、静的DMによりSDR画像を生成することができる(554)。
【0049】
[0056] デバイスがアプリケーションをサポートしているが(511)、MDRアセットが存在せず(521)、SDRアセットが存在しない場合(523)、利用可能である基本メタデータが何であれ、ベーシック(Basic)SDRを使用して、SDRとしてデコード及びレンダリングすることができる(547,555)。
【0050】
[0057]
図5A及び5Bでは、最小互換性のビットストリーム(例えば、HDRアセット)について、判定分岐は示されていない。最小互換性のビットストリームに関する判定分岐は、左側に更に分岐し(即ち、概して、より高い品質になるはずである)、同様な論理に従うことになるが、最小互換性のビットストリームも動的再生能力をサポートする必要がある点が相違する。
【0051】
[0058]
図5A及び5Bでは、プライマリ(PRIME)又は補助(AUX)メタデータ・パケットを使用するだけの決定はバイナリである。しかしながら、再生デバイスは、プライマリ・メタデータと組み合わせてサポートすることが可能な追加の補助メタデータ・パケットを使用することを選択するように設定されることも可能である。例えば、再生デバイスは、静的なコンポーザー及び静的な表示マッピングのための能力を有するだけであるかもしれないが、デバイスは、動的なサイズ変更、フレーム・レート・レターボックス・パディング/クロッピング、又はその他の機能に関する能力を有していてもよい。また、処理に関する決定は、コンフィギュレーション・ファイル内の値に基づいていてもよく、これは、再生デバイスの処理能力によって指定されてもよい。処理に関する決定は、再生デバイスの電源レベル;再生デバイスの処理能力に対する他の要求;ユーザーの好み;及び追加のコンテンツ・メタデータのような他の要因に基づいていてもよい。
【0052】
[0059] 実際には、再生デバイスは、提供されている全てのアセットを使用しない可能性があり、MDRアセットとSDRアセットが共存することを許容することに依然として価値が存在する。第1に、MDRアセットは、ターゲット・デバイスとの十分な互換性を確保するには十分でない可能性がある。しかしながら、よりハイ・エンドの及びミッド・レンジのデバイスを有するユーザーは、SDRアセットだけで提供されるものよりも良い品質を期待するであろう。MDR BLとHDR画像の間でコンポーザーによるマッピングは少ないので、MDRアセットを含めることは、より良い品質を提供し、静的マッピングのみをサポートするミッド・レンジ・デバイスでさえ提供する。基本レイヤがSDR成果物に厳密に一致することは期待されないので、MDRアセットはより少ない制約を有することに留意されたい。
【0053】
[0060] SDRアセットとMDRアセットの両方を有するプレミアム・コンテンツの例では、少なくとも3つの可能性がある:
1.デバイスは、互換性のあるアプリケーションを有し、HDR及びダイナミック処理をサポートする -> ダイナミック処理とともに、MDRアセットが使用される(PRIMEが使用される);
2.デバイスは、互換性のあるアプリケーションを有し、HDRをサポートするが、ダナミック処理をサポートしていない -> ダイナミック処理を行うことなく、MDRアセットが使用される(AUXが使用される);又は
3.デバイスは、互換性のあるアプリケーションを有していない(例えば、競合他社のデバイス)-> ユニバーサル(ベーシック)メタデータとともに、SDRアセットが使用される。
【0054】
[0061] デバイス側では、互換性のあるアプリケーションとともにダイナミック処理をサポートしているHDR互換性デバイスを有するユーザーの例の場合、少なくとも6つの結果が考えられる:
1.ベーシックSDRストリームが利用可能である(例えば、PRIME/AUX互換性のある符号化を行っていないユーザー生成コンテンツ) -> SDR+ベーシック・メタデータが使用される;
2.旧技術のSDRアセットが利用可能である(PRIMEのみ) -> SDR+PRIMIが使用される;
3.新技術のSDRアセットが利用可能である(PRIME及びAUX) -> SDR+PRIMIが使用される;
4.新技術のSDRアセットが利用可能であるが(PRIME及びAUX)、デバイスは低電力モードにある -> SDR+PRIMIが使用される;
5.新技術のMDRアセットが利用可能である(例えば、プレミアム・コンテンツ) -> MDR+PRIMIが使用される;又は
6.新技術のMDRアセットが利用可能であるが(例えば、プレミアム・コンテンツ)、デバイスは低電力モードにある -> MDR+AUXが使用される。
【0055】
[0062] 高ダイナミック・レンジ画像の配信に関連する例示的な実施形態は、HDRビットストリームの例として、ドルビー・ビジョン又はドルビー・ビジョン・ビットストリームを参照しながら本件では説明されている。当業者は、HDR画像データがドルビー・ビジョン・ビットストリームとは異なるHDRビットストリームに含まれてもよいことを理解している。本発明の実施形態は、他のHDRビットストリームとともに動作し、それをサポートするように構成されることが可能である。
【0056】
[0063] 本発明の実施形態は、コンピュータ・システム、電子回路及び構成要素で構成されるシステム、マイクロコントローラのような集積回路(IC)デバイス、フィールド・プログラマブル・ゲート・アレイ(FPGA)、その他の設定可能な又はプログラム可能な論理デバイス(PLD)、離散時間又はデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)、及び/又は、これらのシステム、デバイス又は構成要素のうちの1つ以上を含む装置を用いて実施することが可能である。コンピュータ及び/又はICは、本件で説明されるような、拡張ダイナミック・レンジを有する画像のブロック・ベースのリシェイピングに関連する命令を実行、制御、又は遂行することが可能である。コンピュータ及び/又はICは、本件で説明される高ダイナミック・レンジ画像の配信に関連する様々な何れのパラメータ又は値でも計算することが可能である。画像及びビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、及びそれらの様々な組み合わせで実装されてもよい。
【0057】
[0064] 本発明の特定の実装は、本発明の方法をプロセッサに実行させるソフトウェア命令を実行するコンピュータ・プロセッサを含む。例えば、ディスプレイ、エンコーダ、セット・トップ・ボックス、トランスコーダ等における1つ以上のプロセッサは、プロセッサにアクセスすることが可能なプログラム・メモリ内のソフトウェア命令を実行することによって、上述したような高ダイナミック・レンジ画像の配信に関する方法を実施することが可能である。本発明は、プログラム製品の形態で提供されてもよい。プログラム製品は、データ・プロセッサによって実行されると、本発明の方法をデータ・プロセッサに実行させる命令を含む一組のコンピュータ読み取り可能な信号を運ぶ任意の非一時的な媒体を含む可能性がある。本発明によるプログラム製品は、広範に及ぶ種々の形態の何れにおけるものであってもよい。プログラム製品は、例えば、フロッピー・ディスケットを含む磁気データ記憶媒体、ハード・ディスク・ドライブ、CD-ROMを含む光データ記憶媒体、DVD、ROMを含む電子データ記憶媒体、フラッシュRAM等のような物理媒体を含む可能性がある。プログラム製品におけるコンピュータ読み取り可能な信号は、オプションとして、圧縮又は暗号化されていてもよい。
【0058】
[0065] 構成要素(例えば、ソフトウェア・モジュール、プロセッサ、アセンブリ、デバイス、回路など)が上記で言及される場合、別段の指示がない限り、当該構成要素への言及(「手段」への言及を含む)は、本発明の例示的に説明された実施形態における機能を実行する開示された構造と構造的には同等でない構成要素を含む、説明された構成要素の機能を実行する任意の構成要素(例えば、機能的に同等であるもの)を、当該構成要素の均等物として含むように解釈されるべきである。
【0059】
[0066] 本件で説明されるように、本発明の実施形態は、以下で列挙される1つ以上の例示的な実施形態に関連する可能性がある。従って、本発明は、本発明のある部分の部分的な構造、特徴、及び機能を述べる以下に列挙される例示的な実施形態(Enumerated Example Embodiments,EEE)を含む、本件で説明される何らかの形態で実施される可能性があるが、これらに限定されるものではない:
[0067] EEE1.
高ダイナミック・レンジ(HDR)コンテンツに基づく画像を表示するために再生デバイスにHDRコンテンツを配信する方法であって:
HDRコンテンツをHDRビットストリームに符号化するステップを含み、HDRコンテンツを符号化するステップは:
HDRコンテンツにおけるHDR画像を、指定されたカラー・ボリューム・ベース・レイヤにマッピングするステップ;
HDRコンテンツに基づいてプライマリ・メタデータ・パケットを生成するステップ;
補助メタデータ・パケットを生成するステップであって、補助メタデータ・パケット内の情報は再生デバイスの能力に基づいている、ステップ;
指定されたカラー・ボリューム・ベース・レイヤを、コーディングされたベース・レイヤに符号化するステップ;及び
コーディングされたベース・レイヤと、プライマリ・メタデータ・パケットと、補助メタデータ・パケットとを結合して、HDRビットストリームを生成するステップを含み、
当該方法は、HDRビットストリームを復号化するステップを含み、HDRビットストリームを復号化するステップは:再生デバイスの能力に基づいて、プライマリ・メタデータ・パケット及び補助メタデータ・パケットから情報を選択するステップ;及びその選択された情報に基づいてHDRビットストリーム内のコーディングされたベース・レイヤを処理して、ターゲット再生デバイスにおける表示のための情報を生成するステップを含む。
【0060】
[0068] EEE2.
列挙された例示的実施形態1に記載の方法において、プライマリ・メタデータ・パケットは:コンポーザー・メタデータと表示マッピング・メタデータとを含む。
【0061】
[0069] EEE3.
列挙された例示的実施形態1又は2に記載の方法において、補助メタデータ・パケットは、再生デバイスの処理能力を記述する識別子;表示マッピング・データ;及びHDRビットストリームを復号化する際に構築オペレーションをバイパスするための信号;を含む。
【0062】
[0070] EEE4.
列挙された例示的実施形態1-3のうちの何れか1項に記載の方法において、HDRビットストリームは、指定されたコーディングされたベース・レイヤを含み、指定されたコーディングされたベース・レイヤを含は:
標準ダイナミック・レンジ(SDR)カラー・ボリュームを含む最大互換性ベース・レイヤ;
HDR画像のカラー・ボリュームに対応するカラー・ボリュームを含む最小互換性ベース・レイヤ;及び
再生デバイスに対応するカラー・ボリュームを含む中間互換性ベース・レイヤ;
のうちの何れかである。
【0063】
[0071] EEE5.
列挙された例示的実施形態4に記載の方法において、コーディングされたベース・レイヤを処理するステップは:
再生デバイスの処理能力を決定するステップであって、再生デバイスの処理能力は:SDR処理、最大互換性ベース・レイヤ処理、又は中間互換性ベース・レイヤ処理の中から選択された処理能力をサポートするように決定される、ステップ;
を含み、再生デバイスがSDR処理しかサポートしていない場合、HDRビットストリームは、SDRカラー・ボリュームを有する画像としてレンダリングされ;
再生デバイスが最大互換性ベース・レイヤ処理をサポートしている場合に、ターゲット再生デバイスはダイナミック処理をサポートしているかどうかを決定し、再生デバイスがダイナミック処理をサポートしていない場合、静的な表示マッピングでHDRビットストリームをレンダリングし、ターゲット再生デバイスがダイナミック処理をサポートしている場合、動的な表示マッピングでHDRビットストリームを復号化してレンダリングし;及び
再生デバイスが中間互換性ベース・レイヤ処理をサポートしている場合に、ターゲット再生デバイスはダイナミック処理をサポートしているかどうかを決定し、ターゲット再生デバイスがダイナミック処理をサポートしていない場合、静的な表示マッピングでHDRビットストリームをレンダリングし、ターゲット再生デバイスがダイナミック処理をサポートしている場合、動的な表示マッピングでHDRビットストリームを復号化してレンダリングする。
【0064】
[0072] EEE6.
列挙された例示的実施形態1-5のうちの何れか1項に記載の方法を実施するように構成され且つプロセッサを含む装置。
【0065】
[0073] EEE7.
列挙された例示的実施形態1-5のうちの何れか1項に記載の方法を1つ以上のプロセッサにより実施するためのコンピュータ読み取り可能な命令を記憶した非一時的なコンピュータ読み取り可能な記憶媒体。
【0066】
[0074] EEE8.
高ダイナミック・レンジ(HDR)コンテンツをHDRビットストリームに符号化する方法であって:
HDRコンテンツにおけるHDR画像を、指定されたカラー・ボリューム・ベース・レイヤにマッピングするステップ;
HDRコンテンツに基づいてプライマリ・メタデータ・パケットを生成するステップ;
補助メタデータ・パケットを生成するステップであって、補助メタデータ・パケット内の情報は再生デバイスの能力に基づいている、ステップ;
指定されたカラー・ボリューム・ベース・レイヤを、指定されたコーディングされたベース・レイヤに符号化するステップ;及び
コーディングされたベース・レイヤと、プライマリ・メタデータ・パケットと、補助メタデータ・パケットとを結合して、HDRビットストリームを生成するステップ;を含む。
【0067】
[0075] EEE9.
列挙された例示的実施形態8に記載の方法において、プライマリ・メタデータ・パケットは:コンポーザー・メタデータ;及び表示マッピング・メタデータを含み、補助メタデータ・パケットは:再生デバイスの処理能力を示す識別子;表示マッピング・メタデータ;及びHDRビットストリームを復号化する場合に、構築オペレーションを迂回する信号を含む。
【0068】
[0076] EEE10.
列挙された例示的実施形態8又は9に記載の方法において、HDRビットストリームは指定されたコーディングされたベース・レイヤを含み、指定されたコーディングされたベース・レイヤは:
標準ダイナミック・レンジ(SDR)カラー・ボリュームを含む最大互換性ベース・レイヤ;
HDR画像のカラー・ボリュームに対応するカラー・ボリュームを含む最小互換性ベース・レイヤ;及び
再生デバイスに対応するカラー・ボリュームを含む中間互換性ベース・レイヤ;のうちの何れかを含む。
【0069】
[0077] EEE11.
列挙された例示的実施形態8-10のうちの何れか1項に記載の方法を実行するように構成され且つプロセッサを含む装置。
【0070】
[0078] EEE12.
列挙された例示的実施形態8-10のうちの何れか1項に記載の方法を1つ以上のプロセッサにより実施するためのコンピュータ読み取り可能な命令を記憶した非一時的なコンピュータ読み取り可能な記憶媒体。
【0071】
[0079] EEE13.
HDRビットストリームを復号化する方法であって、HDRビットストリームは、コーディングされたベース・レイヤと、プライマリ・メタデータ・パケットと、補助メタデータ・パケットとを含み、当該方法は:
ターゲット再生デバイスの能力に基づいて、プライマリ・メタデータ・パケット及び補助メタデータ・パケットから情報を選択するステップ;及び
その選択された情報に基づいてHDRビットストリーム内のコーディングされたベース・レイヤを処理して、再生デバイスにおける表示のための情報を生成するステップを含む。
【0072】
[0080] EEE14.
列挙された例示的実施形態13に記載の方法において、コーディングされたベース・レイヤを処理するステップは:
コーディングされたベース・レイヤを、復号化されたベース・レイヤ画像に復号化するステップ;及び
補助メタデータ・パケットにおけるデータに基づいて、復号化されたベース・レイヤ画像を、再生ディスプレイにマッピングするステップ;を含む。
【0073】
[0081] EEE15.
列挙された例示的実施形態13又は14に記載の方法において、コーディングされたベース・レイヤを処理するステップは:
再生デバイスの処理能力を決定するステップであって、再生デバイスの処理能力は:SDR処理:最大互換性ベース・レイヤ処理;又は中間互換性ベース・レイヤ処理の中から選択された処理能力をサポートするように決定される、ステップ;
を含み、再生デバイスがSDR処理しかサポートしていない場合、HDRビットストリームは、SDRカラー・ボリュームを有する画像としてレンダリングされ;
再生デバイスが最大互換性ベース・レイヤ処理をサポートしている場合に、ターゲット再生デバイスはダイナミック処理をサポートしているかどうかを決定し、再生デバイスがダイナミック処理をサポートしていない場合、静的な表示マッピングでHDRビットストリームをレンダリングし、再生デバイスがダイナミック処理をサポートしている場合、動的な表示マッピングで前記HDRビットストリームを復号化してレンダリングし;及び
再生デバイスが中間互換性ベース・レイヤ処理をサポートしている場合に、再生デバイスはダイナミック処理をサポートしているかどうかを決定し、再生デバイスがダイナミック処理をサポートしていない場合、静的な表示マッピングでHDRビットストリームをレンダリングし、再生デバイスがダイナミック処理をサポートしている場合、動的な表示マッピングでHDRビットストリームを復号化してレンダリングする。
【0074】
[0082] EEE16.
列挙された例示的実施形態13-15のうちの何れか1項に記載の方法を実行するように構成され且つプロセッサを含む装置。
【0075】
[0083] EEE17.
列挙された例示的実施形態13-15のうちの何れか1項に記載の方法を1つ以上のプロセッサにより実施するためのコンピュータ読み取り可能な命令を記憶した非一時的なコンピュータ読み取り可能な記憶媒体。
【0076】
[0084] このように、高ダイナミック・レンジ画像の配信に関する例示的な実施形態が説明されている。本明細書において、本発明の実施形態は、実装ごとに異なる可能性のある多数の具体的な詳細を参照しながら説明されている。従って、何が発明あるか、及び何が出願人により発明であると意図されているのか、についての唯一かつ排他的な指標は、本クレームが発行される具体的な形式で、本願から発行されるクレームのセットである。このようなクレームに含まれる用語について本件で明示的に述べられている如何なる定義も、当該クレームにおいて使用される用語の意味を支配するものとする。従って、クレームに明示的に記載されていない限定、要素、特性、特徴、利点又は属性は、そのようなクレームの範囲を如何なる方法によっても限定しないはずである。従って、明細書及び図面は、限定的な意味ではなく例示的に解釈されるべきである。
【手続補正書】
【提出日】2022-10-04
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
高ダイナミック・レンジ(HDR)コンテンツに基づく画像を表示するために再生デバイスにおいてHDRコンテンツを復号化する方法であって:
(a)HDRコンテンツが符号化されているHDRビットストリームを受信するステップであって、前記HDRビットストリームは:
(1)前記HDRビットストリームのHDR画像がマッピングされた指定されたカラー・ボリューム・ベース・レイヤから符号化されたコーディングされたベース・レイヤ;
(2)プライマリ・メタデータ・パケットであって、前記プライマリ・メタデータ・パケットの情報は前記HDRコンテンツに基づいており、前記プライマリ・メタデータ・パケットは:
(i)コンポーザー・メタデータであって、コンポーザーにより前記指定されたカラー・ボリューム・ベース・レイヤに適用されると、前記コンポーザーが、オリジナルのHDRコンテンツを再構築することを引き起こす、コンポーザー・メタデータ;及び
(ii)
ダイナミック表示マッピングのための再構成されたHDRコンテンツに対応する表示マッピング・メタデータであって、
ダイナミック表示マッピング・プロセスにより前記再構成されたHDRコンテンツに適用されると、前記
ダイナミック表示マッピング・プロセスが、前記再構成されたHDRコンテンツを、
前記再生デバイスの能力にマッピングすることを引き起こす、表示マッピング・メタデータを含む、プライマリ・メタデータ・パケット
;
(3)補助メタデータ・パケットであって、
(i)静的表示マッピングのための前記指定されたカラー・ボリューム・ベース・レイヤに対応する表示マッピング・メタデータ
及び静的コンポーザーであって、
静的表示マッピング・プロセスにより前記指定されたカラー・ボリューム・ベース・レイヤに適用されると、前記
静的表示マッピング・プロセスが、前記指定されたカラー・ボリューム・ベース・レイヤを、前記
再生デバイスの能力にマッピングすることを引き起こす、表示マッピング・メタデータ
及び静的コンポーザー;
(ii)前記再生デバイスの処理能力を示す識別子であって、前記静的コンポーザー及び表示マッピング・メタデータを適用するために必要とされる識別子;
(iii)前記HDRビットストリームを復号化する場合に、構築オペレーションを迂回する信号;を含む補助メタデータ・パケット
;
(4)機能の増加レベルを加えるための再生デバイスの能力に基づく追加的な補助メタデータ・パケット;
を含む、ステップ;及び
(b)前記HDRビットストリームを復号化するステップであって、前記HDRビットストリームを復号化するステップは:
(1)
前記再生デバイスが、前記プライマリ・メタデータ・パケットの要求される処理能力に合致していること、及び前記再生デバイスが、前記追加的な補助メタデータ・パケットにより定められる1つ以上の機能をサポートしていることを判定した場合に、前記追加的な補助メタデータ・パケットを前記プライマリ・メタデータ・パケットと組み合わせて使用するステップ;及び
(2)その選択された
メタデータに基づいて前記HDRビットストリーム内の前記コーディングされたベース・レイヤを処理して、前記再生デバイスにおける表示のための情報を生成するステップを含む、ステップ;
を含む方法。
【請求項2】
請求項1に記載の方法において、前記コーディングされたベース・レイヤは:
標準ダイナミック・レンジ(SDR)カラー・ボリュームを含む最大互換性ベース・レイヤ;
前記HDR画像の前記カラー・ボリュームに対応するカラー・ボリュームを含む最小互換性ベース・レイヤ;及び
前記再生デバイスに対応するカラー・ボリュームを含む中間互換性ベース・レイヤ;
のうちの何れかである、方法。
【請求項3】
請求項1又は請求項2に記載の方法において、前記コーディングされたベース・レイヤを処理するステップは:
前記コーディングされたベース・レイヤを、復号化されたベース・レイヤ画像に復号化するステップ;及び
前記補助メタデータ・パケットにおけるデータに基づいて、前記復号化されたベース・レイヤ画像を、再生デバイスにマッピングするステップ;
を含む、方法。
【請求項4】
請求項2に記載の方法において、前記コーディングされたベース・レイヤを処理するステップは:
前記再生デバイスの処理能力を決定するステップであって、前記再生デバイスの処理能力は:SDR処理、最大互換性ベース・レイヤ処理、又は中間互換性ベース・レイヤ処理の中から選択された処理能力をサポートするように決定される、ステップ;
を含み、前記再生デバイスがSDR処理しかサポートしていない場合、前記HDRビットストリームは、SDRカラー・ボリュームを有する画像としてレンダリングされ;
前記再生デバイスが最大互換性ベース・レイヤ処理をサポートしている場合に、前記再生デバイスはダイナミック処理をサポートしているかどうかを決定し、前記再生デバイスがダイナミック処理をサポートしていない場合、静的な表示マッピングで前記HDRビットストリームをレンダリングし、前記再生デバイスがダイナミック処理をサポートしている場合、動的な表示マッピングで前記HDRビットストリームを復号化してレンダリングし;及び
前記再生デバイスが中間互換性ベース・レイヤ処理をサポートしている場合に、前記再生デバイスはダイナミック処理をサポートしているかどうかを決定し、前記再生デバイスがダイナミック処理をサポートしていない場合、静的な表示マッピングで前記HDRビットストリームをレンダリングし、前記再生デバイスがダイナミック処理をサポートしている場合、動的な表示マッピングで前記HDRビットストリームを復号化してレンダリングする、方法。
【請求項5】
請求項1-4のうちの何れか1項に記載の方法において、前記HDRコンテンツを受信する前に、高ダイナミック・レンジ(HDR)コンテンツをHDRビットストリームに符号化する
ステップであって:
(a)前記HDRコンテンツにおけるHDR画像を、指定されたカラー・ボリューム・ベース・レイヤにマッピングするステップ;
(b)前記HDRコンテンツに基づいてプライマリ・メタデータ・パケットを生成するステップであって、前記プライマリ・メタデータ・パケットは:
(i)コンポーザー・メタデータであって、コンポーザーにより前記指定されたカラー・ボリューム・ベース・レイヤに適用されると、前記コンポーザーが、オリジナルのHDRコンテンツを再構築することを引き起こす、コンポーザー・メタデータ;及び
(ii)
ダイナミック表示マッピングのための再構成されたHDRコンテンツに対応する表示マッピング・メタデータであって、
ダイナミック表示マッピング・プロセスにより前記再構成されたHDRコンテンツに適用されると、前記
ダイナミック表示マッピング・プロセスが、前記再構成されたHDRコンテンツを、
前記再生デバイスの能力にマッピングすることを引き起こす、表示マッピング・メタデータを含む、ステップ;
(c)補助メタデータ・パケットを生成するステップであって、前記補助メタデータ・パケットは:
(i)静的表示マッピングのための前記指定されたカラー・ボリューム・ベース・レイヤに対応する表示マッピング・メタデータ
及び静的コンポーザーであって、
静的表示マッピング・プロセスにより前記指定されたカラー・ボリューム・ベース・レイヤに適用されると、前記
静的表示マッピング・プロセスが、前記指定されたカラー・ボリューム・ベース・レイヤを、前記
再生デバイスの能力にマッピングすることを引き起こす、表示マッピング・メタデータ;
(ii)前記再生デバイスの処理能力を示す識別子であって、前記静的コンポーザー及び表示マッピング・メタデータを適用するために必要とされる識別子;及び
(iii)前記HDRビットストリームを復号化する場合に、構築オペレーションを迂回する信号を含む、ステップ;
(d)機能の増加レベルを加えるための再生デバイスの能力に基づく追加的な補助メタデータ・パケットを生成するステップ;
(
e)前記指定されたカラー・ボリューム・ベース・レイヤを、コーディングされたベース・レイヤに符号化するステップ;及び
(
f)前記コーディングされたベース・レイヤと、前記プライマリ・メタデータ・パケットと、前記補助メタデータ・パケットと
、前記追加的な補助メタデータ・パケットとを結合して、前記HDRビットストリームを生成するステップ;
を含む方法。
【請求項6】
請求項1-4のうちの何れか1項に記載の方法を実行するように構成されたプロセッサを含む復号化装置。
【請求項7】
請求項
6に記載の復号化装置と請求項
5に記載の符号化
するステップを実行するように構成された符号化装置とを含むシステム。
【請求項8】
1つ以上のプロセッサを用いて請求項1-
5のうちの何れか1項に記載の方法を実行するためのコンピュータ実行可能命令を記憶したコンピュータ読み取り可能な記憶媒体。
【国際調査報告】