知財求人 - 知財ポータルサイト「IP Force」
▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-07
(45)【発行日】2024-05-15
(54)【発明の名称】ハイダイナミックレンジ用映像コンテンツタイプメタデータ
(51)【国際特許分類】
H04N 21/84 20110101AFI20240508BHJP
H04N 21/235 20110101ALI20240508BHJP
【ＦＩ】
H04N21/84
H04N21/235
【請求項の数】
11
(21)【出願番号】P 2021578039
(86)(22)【出願日】2020-06-26
(65)【公表番号】
(43)【公表日】2022-09-14
(86)【国際出願番号】 US2020039969
(87)【国際公開番号】W WO2020264409
(87)【国際公開日】2020-12-30
【審査請求日】2023-06-23
(31)【優先権主張番号】19183269.0
(32)【優先日】2019-06-28
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】62/868,070
(32)【優先日】2019-06-28
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(72)【発明者】
【氏名】アトキンス，ロビン
(72)【発明者】
【氏名】クリットマーク，パー ヨナス エー．
【審査官】富樫 明
(56)【参考文献】
【文献】米国特許出願公開第２０１９／００７５３２５（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／０３７６１９４（ＵＳ，Ａ１）
【文献】特表２０１６－５３０７８０（ＪＰ，Ａ）
【文献】特表２００８－５０８６５９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００－２１／８５８
(57)【特許請求の範囲】
【請求項1】
映像コンテンツからデジタル映像ビットストリームを生成する方法であって、前記デジタル映像ビットストリームはコンテンツアウェアメタデータを含み、前記コンテンツアウェアメタデータは、前記デジタル映像ビットストリームの前記映像コンテンツのカテゴリーを指し示す１つ以上のカテゴリーフィールドであって、ターゲットディスプレイに、前記映像コンテンツの前記カテゴリーに対応する表示モードで前記映像コンテンツを表示するための表示設定を選択させる、１つ以上のカテゴリーフィールドと、
前記１つ以上のカテゴリーフィールドが、前記映像コンテンツをリファレンスモードで表示するための表示設定を前記ターゲットディスプレイに選択させるかどうかを指し示す、リファレンスモードフラグであって、前記リファレンスモードは前記映像コンテンツの制作者の制作意図を保持する表示設定を有する表示モードである、リファレンスモードフラグと、を含み、
前記方法は、
前記コンテンツアウェアメタデータ内の前記１つ以上のカテゴリーフィールドを、前記映像コンテンツの前記カテゴリーにしたがって設定することと、
前記コンテンツアウェアメタデータ内の前記リファレンスモードフラグを、前記１つ以上のカテゴリーフィールドが前記リファレンスモードを指し示しているかどうかを示すように設定することと、
を包含する、方法。
【請求項2】
前記コンテンツアウェアメタデータ内の前記１つ以上のカテゴリーフィールドは、映像コンテンツタイプ、および、前記映像コンテンツタイプを洗練させる映像コンテンツサブタイプのうち少なくとも一方を含む、請求項１に記載の方法。
【請求項3】
前記コンテンツアウェアメタデータ内の前記１つ以上のカテゴリーフィールドを設定することは、１つ以上の欧州放送連合Ｃｏｒｅ Ｍｅｔａｄａｔａ Ｔｅｃｈ ３２９３コンテンツタイプを受信することと、
前記１つ以上のカテゴリーフィールドを、受信された１つ以上の欧州放送連合Ｃｏｒｅ Ｍｅｔａｄａｔａ Ｔｅｃｈ ３２９３コンテンツタイプに対応する値に設定することと、
を包含する、請求項１または２に記載の方法。
【請求項4】
前記コンテンツアウェアメタデータは、前記映像コンテンツを前記ターゲットディスプレイ上で表示するときの、前記ターゲットディスプレイの表示設定の映像コンテンツ想定調節を指し示す、１つ以上の調節フィールドをさらに含み、前記１つ以上の調節フィールドは、前記映像コンテンツを前記表示モードで表示するために、前記ターゲットディスプレイに、前記選択された表示設定の少なくとも一部を調節させることにより、前記適用された表示モードを前記調節された表示設定によって洗練させる、請求項１から３のいずれかに記載の方法。
【請求項5】
前記コンテンツアウェアメタデータ内の前記１つ以上の調節フィールドは、映像コンテンツ想定白色点、映像コンテンツ想定シャープネス、映像コンテンツ想定ノイズリダクション、映像コンテンツ想定ＭＰＥＧノイズリダクション、映像コンテンツ想定フレームレート変換、映像コンテンツ平均画像明るさレベル、および映像コンテンツ想定カラーのうち少なくとも１つを指し示す、請求項４に記載の方法。
【請求項6】
ターゲットディスプレイ上において映像コンテンツを、前記映像コンテンツの制作者の制作意図を保持する表示設定を有する表示モードであるリファレンスモードで再生する方法であって、前記映像コンテンツおよびコンテンツアウェアメタデータを含むデジタル映像ビットストリームを受信する工程であって、前記コンテンツアウェアメタデータは、
前記デジタル映像ビットストリームの前記映像コンテンツのカテゴリーを指し示す１つ以上のカテゴリーフィールドおよび、
前記１つ以上のカテゴリーフィールドが、前記映像コンテンツを前記リファレンスモードで表示するための表示設定を前記ターゲットディスプレイに選択させるかどうかを指し示す、リファレンスモードフラグを含む、工程と、
前記映像コンテンツをデコーダにおいて復号化する工程と、
前記コンテンツアウェアメタデータを前記リファレンスモードフラグから取得する工程と、
前記リファレンスモードフラグが、１つ以上のカテゴリーフィールドが、前記映像コンテンツを前記リファレンスモードで表示するための表示設定を前記ターゲットディスプレイに選択させることを指し示す場合、
前記コンテンツアウェアメタデータの前記１つ以上のカテゴリーフィールドから、前記映像コンテンツのカテゴリーを決定し、
前記決定された映像コンテンツのカテゴリーに対応する表示モードを決定し、
前記決定された表示モードの表示設定を前記ターゲットディスプレイに適用し、
前記映像コンテンツを表示する、工程と、
前記リファレンスモードフラグが、１つ以上のカテゴリーフィールドが、前記映像コンテンツを前記リファレンスモードで表示するための表示設定を前記ターゲットディスプレイに選択させることを指し示さない場合、
前記コンテンツアウェアメタデータを適用せずに前記映像コンテンツを表示する、工程と、
を包含する、方法。
【請求項7】
前記コンテンツアウェアメタデータ内の前記１つ以上のカテゴリーフィールドは、映像コンテンツタイプ、および、前記映像コンテンツタイプを洗練させる映像コンテンツサブタイプのうち少なくとも一方を含む、請求項６に記載の方法。
【請求項8】
前記コンテンツアウェアメタデータは、前記映像コンテンツを前記ターゲットディスプレイ上で表示するときの、前記ターゲットディスプレイの表示設定の映像コンテンツ想定調節を指し示す、１つ以上の調節フィールドをさらに含み、前記１つ以上の調節フィールドは、前記映像コンテンツを前記表示モードで表示するために、前記ターゲットディスプレイに、前記選択された表示設定の少なくとも一部を調節させることにより、前記適用された表示モードを前記調節された表示設定によって洗練させる、請求項６または７に記載の方法。
【請求項9】
前記コンテンツアウェアメタデータ内の前記１つ以上の調節フィールドは、映像コンテンツ想定白色点、映像コンテンツ想定シャープネス、映像コンテンツ想定ノイズリダクション、映像コンテンツ想定ＭＰＥＧノイズリダクション、映像コンテンツ想定フレームレート変換、映像コンテンツ平均画像明るさレベル、および映像コンテンツ想定カラーのうち少なくとも１つを指し示す、請求項８に記載の方法。
【請求項10】
請求項１から５のいずれかに記載の方法を実行するように構成された１つ以上のプロセッサを備える装置。
【請求項11】
１つ以上のプロセッサによって実行されるときに、請求項１から５のいずれかに記載の方法を前記１つ以上のプロセッサに実行させる命令を含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本出願は、２０１９年６月２８日付けで出願された米国仮特許出願第６２／８６８，０７０号および２０１９年６月２８日付けで出願された欧州特許出願第１９１８３２６９．０に基づく優先権を主張するものであり、これらの各々の全体を本願に援用する。
本出願は、２０１９年６月２８日付けで出願された米国仮特許出願第６２／８６８，０７０号および２０１９年６月２８日付けで出願された欧州特許出願第１９１８３２６９．０に基づく優先権を主張するものであり、これらの各々の全体を本願に援用する。
【0002】
本開示は、画像全般に関する。より詳細には、本開示の実施形態は、映像コンテンツタイプメタデータに関する。
【背景技術】
【0003】
本明細書において、用語「ダイナミックレンジ」は、人間の視覚システムが画像においてある範囲の強度（例えば、輝度、ルマ）（例えば、最暗の黒（暗部）から最明の白（ハイライト）まで）を知覚する能力に関連し得る。この意味では、ダイナミックレンジはシーン－リファード（ｓｃｅｎｅ－ｒｅｆｅｒｒｅｄ）の強度に関する。ダイナミックレンジはまた、ディスプレイデバイスが特定の幅を有する強度範囲を妥当にまたは近似的に描画する能力にも関連し得る。この意味では、ダイナミックレンジは、ディスプレイ－リファード（ｄｉｓｐｌａｙ－ｒｅｆｅｒｒｅｄ）の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、区別なく）使用できるものとする。
【0004】
本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システムにおいて１４～１５桁ほどにわたるダイナミックレンジ幅に関する。実際において、人間が広範囲の強度範囲を同時に知覚し得るダイナミックレンジは、ＨＤＲに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、個別にまたは区別なく、人間の視覚システムによって同時に知覚されることが可能なダイナミックレンジに関する。本明細書において、ＥＤＲは、５～６桁にわたるダイナミックレンジに関連し得る。従って、真のシーンリファードのＨＤＲに対しては幾分狭いものの、ＥＤＲは広いダイナミックレンジ幅を表し、ＨＤＲとも呼ばれ得る。
【0005】
実際において、画像は１つ以上の色成分（例えばルマＹおよびクロマＣｂおよびＣｒ）を有しており、各色成分は、画素あたりｎビットの精度（例えばｎ＝８）で表される。線形輝度符号化（ｌｉｎｅａｒ ｌｕｍｉｎａｎｃｅ ｃｏｄｉｎｇ）を用いた場合、ｎ＜８の画像（例えばカラー２４ビットＪＰＥＧ画像）はスタンダードダイナミックレンジとされ、ｎ＞８の画像はエンハンストダイナミックレンジの画像とされる。ＥＤＲおよびＨＤＲ画像はまた、Ｉｎｄｕｓｔｒｉａｌ Ｌｉｇｈｔ ａｎｄ Ｍａｇｉｃが開発したＯｐｅｎＥＸＲファイルフォーマットなどの高精度の（例えば１６ビット）浮動小数点フォーマットを用いて、格納および配信され得る。
【0006】
ほとんどのコンシューマー用デスクトップディスプレイは、２００～３００ｃｄ／ｍ２またはニトの輝度をサポートしている。ほとんどのコンシューマー用ＨＤＴＶは３００～１０００ｃｄ／ｍ２の範囲である。このような従来のディスプレイはしたがって、ＨＤＲやＥＤＲに対し、ローダイナミックレンジ（ＬＤＲ）（またはスタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例となる。キャプチャ機器（例えばカメラ）およびＥＤＲディスプレイ（例えばＤｏｌｂｙ ＬａｂｏｒａｔｏｒｉｅｓのＰＲＭ－４２００プロフェッショナルリファレンスモニター）両方の進化によって、ＥＤＲコンテンツの普及率が高まるにつれ、ＥＤＲコンテンツはカラーグレーディングされてより高いダイナミックレンジ（例えば１，０００ニトから５，０００ニト以上）をサポートするＥＤＲディスプレイ上に表示されることがある。
【0007】
本明細書において、「メタデータ」の語は、符号化ビットストリームの一部として送信され、デコーダが復号化画像を描画することを助ける、任意の補助的情報に関する。そのようなメタデータは、本明細書に記載の、色空間または色域情報、リファレンスディスプレイパラメータ、および補助的な信号パラメータを含むが、これらに限定されない。
【0008】
本明細書において、「ディスプレイマネジメント」という用語は、第１のダイナミックレンジ（例えば１，０００ニト）の入力映像信号を第２のダイナミックレンジ（例えば５００ニト）のディスプレイにマッピングするために要求される処理（例えばトーンおよび色域のマッピング）を含むが、これに限定されない。
【0009】
本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。
【発明の概要】
【0010】
本開示による装置および方法は、デコーダまたはターゲットディスプレイにおいて、映像の制作意図を保持するという課題に対するソリューションを提供する。本開示の一実施形態において、映像ビットストリームは、ビットストリーム中においてデコーダまたはターゲットディスプレイに前記映像コンテンツのタイプを伝えるメタデータを含む。このメタデータは、前記映像コンテンツの特性を示す多数のフィールド（コンテンツタイプおよびコンテンツサブタイプなど）を含み得、これらは、前記ターゲットディスプレイに、関連する表示設定を有する対応の表示モードを適用させる。前記ターゲットディスプレイは、前記メタデータ中のフィールド（例えば、想定白色点、映像をリファレンスモードで使用するか否か、想定シャープネス、想定ノイズリダクション、想定ＭＰＥＧノイズリダクション、想定フレームレート変換、想定平均画像明るさレベル、および想定カラーを定義する）に基づき、さらなる調節を個々の表示設定に対して行い得る。固有の階層をともなって、複数のフィールドが、前記メタデータ内に付加される。これらフィールドの階層は、階層内のより高次のレベルに割り当てられたフィールドによって既に調節されている表示設定を、さらに洗練させ得る。例えば、コンテンツタイプは、第１の階層レベルにおいて、特定の表示設定の基本調節を引き起こし得る。第２の階層レベルにおいてより具体的なコンテンツサブタイプを選択すると、選択されたコンテンツサブタイプの内容にしたがって表示設定の一部がさらに調節される。第３の階層レイヤにおいて、フィールドが、特定の表示設定の個々の調節を引き起こす。このメタデータは、コンテンツ制作者が自身のコンテンツに容易にタグ付けできるように設計されている。どれくらいの努力を払ったかに応じて、コンテンツ制作者らは、単に適切なコンテンツタイプを選択することによって基本調節を適用するか、オプションとして、コンテンツサブタイプを選択し得る。ただし、コンテンツ制作者らは、前記ターゲットディスプレイ上の特定の表示設定に直接影響する個別レベルにおいて、さらなる調節を適用してもよい。
【0011】
メタデータにおいて、前記映像コンテンツに前記メタデータを付加できるポイントが複数可能にされている。当初のコンテンツ制作者が前記メタデータを定義したかどうかを識別するために、前記メタデータは、真または偽に設定可能なリファレンスモードフラグを含んでいる。リファレンスモードフラグは、当初のコンテンツ制作者が前記メタデータを付加した場合は、真に設定されることにより、前記メタデータを前記ターゲットディスプレイに適用することで、制作意図が保持されることを示す。このフラグは、当初のコンテンツ制作者以外によって前記メタデータが付加された場合は、偽に設定される。
【0012】
本開示の第１の局面において、メタデータを有するデジタル映像ビットストリームを生成する方法が提供される。前記メタデータは、前記メタデータ内の１つ以上のカテゴリーフィールドが、前記映像コンテンツをリファレンスモードで表示するための表示設定をターゲットディスプレイに選択させるかどうかを指し示す、リファレンスモードフラグであって、前記リファレンスモードは前記映像コンテンツの制作者の制作意図を保持する表示設定を有する表示モードである、リファレンスモードフラグを含む。本方法は、前記デジタル映像ビットストリームの前記映像コンテンツのカテゴリーを指し示す１つ以上のカテゴリーフィールドを、前記メタデータに設定する工程であって、前記１つ以上のカテゴリーフィールドは、ターゲットディスプレイに、前記映像コンテンツの前記カテゴリーに対応する表示モードで前記映像コンテンツを表示するための表示設定を選択させる、工程と、前記１つ以上のカテゴリーフィールドが前記リファレンスモードを指し示しているかどうかを示すように設定する工程と、を包含する。
本開示の第２の局面において、映像コンテンツおよびメタデータを含む、デジタル映像ビットストリームが提供される。前記メタデータは、前記デジタル映像ビットストリームの前記映像コンテンツのカテゴリーを指し示す、１つ以上のカテゴリーフィールドであって、ターゲットディスプレイに、前記映像コンテンツの前記カテゴリーに対応する表示モードで前記映像コンテンツを表示するための表示設定を選択させる、１つ以上のカテゴリーフィールドと、前記１つ以上のカテゴリーフィールドが、前記映像コンテンツをリファレンスモードで表示するための表示設定をターゲットディスプレイに選択させるかどうかを指し示す、リファレンスモードフラグであって、前記リファレンスモードは制作意図を保持する表示設定を有する表示モードである、リファレンスモードフラグと、を含む。
本開示の第２の局面において、映像コンテンツおよびメタデータを含む、デジタル映像ビットストリームが提供される。前記メタデータは、前記デジタル映像ビットストリームの前記映像コンテンツのカテゴリーを指し示す、１つ以上のカテゴリーフィールドであって、ターゲットディスプレイに、前記映像コンテンツの前記カテゴリーに対応する表示モードで前記映像コンテンツを表示するための表示設定を選択させる、１つ以上のカテゴリーフィールドと、前記１つ以上のカテゴリーフィールドが、前記映像コンテンツをリファレンスモードで表示するための表示設定をターゲットディスプレイに選択させるかどうかを指し示す、リファレンスモードフラグであって、前記リファレンスモードは制作意図を保持する表示設定を有する表示モードである、リファレンスモードフラグと、を含む。
【図面の簡単な説明】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【発明を実施するための形態】
【0028】
定義
本開示を通じて、リファレンスモード（ＲＭ）とは、ターゲットディスプレイが当初の制作意図に完全に忠実な映像コンテンツを提示する再生状態を意味する。この再生状態は、ターゲットディスプレイを、関連する表示設定を有する、ある特定の表示モードに設定することによって達成され得る。特定の表示モードの表示設定は、当初の制作意図を保持するようにさらに調節されてもよい。
本開示を通じて、リファレンスモード（ＲＭ）とは、ターゲットディスプレイが当初の制作意図に完全に忠実な映像コンテンツを提示する再生状態を意味する。この再生状態は、ターゲットディスプレイを、関連する表示設定を有する、ある特定の表示モードに設定することによって達成され得る。特定の表示モードの表示設定は、当初の制作意図を保持するようにさらに調節されてもよい。
【0029】
フレームレート変換とは、異なる映像フレームレート間の変換（例えば、６０フレーム／秒から１２０フレーム／秒への変換など）を指す。フレームレート変換とは、異なるフレームレートを有する映像機器でコンテンツを表示するために、フレームを複製（動き推定や動き補正を含む可能性がある）したり、低減したりすることである。
【0030】
知覚的量子化（ＰＱ）は、ハイダイナミックレンジ（ＨＤＲ）画像を効率的に符号化する方法である。各連続する符号値のペアは、ダイナミックレンジ全体にわたり、知覚可能なステップ（ｐｅｒｃｅｉｖａｂｌｅ ｓｔｅｐ）にちょうど満たない差を有することにより、符号値の非常に効率的な使用をもたらす。ＰＱを用いた符号化・復号化の例は、Ｒｅｐｏｒｔ ＩＴＵ－Ｒ ＢＴ． ２３９０、「Ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｔｅｌｅｖｉｓｉｏｎ ｆｏｒ ｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｒｏｇｒａｍｍｅ ｅｘｃｈａｎｇｅ」，ＩＴＵ，２０１６に記載されている。ＰＱを使用することの代替としては、従来の「ガンマ」およびＨＬＧ（Ｈｙｂｒｉｄ Ｌｏｇ－Ｇａｍｍａ）信号パラメータの使用がある。
【0031】
詳細な説明
本明細書において、ハイダイナミックレンジ（ＨＤＲ）用の映像コンテンツタイプメタデータを記載する。以下の記載においては、説明目的のため、本開示を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本請求項に記載の主題を実施可能であることは明白であろう。他方、本開示の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
本明細書において、ハイダイナミックレンジ（ＨＤＲ）用の映像コンテンツタイプメタデータを記載する。以下の記載においては、説明目的のため、本開示を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本請求項に記載の主題を実施可能であることは明白であろう。他方、本開示の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
【0032】
図１は、映像供給パイプライン１００のプロセス例を示しており、映像のキャプチャから映像コンテンツの表示までの、様々な段を示している。画像生成ブロック１０５を用い、映像フレームのシーケンス１０２をキャプチャまたは生成する。映像フレーム１０２は、デジタル的にキャプチャされるか（例えばデジタルカメラにより）またはコンピュータによって生成（例えばコンピュータアニメーションを用いて）されることにより、映像データ１０７が得られる。あるいは映像フレーム１０２は、銀塩カメラによってフィルム上に取得されてもよく、この場合、フィルムがデジタルフォーマットに変換されることによって、映像データ１０７が得られる。プロダクションフェーズ１１０において、映像データ１０７は編集され、映像プロダクションストリーム１１２を得る。
【0033】
映像プロダクションストリーム１１２の映像データは次に、ポストプロダクションブロック１１５のプロセッサに与えられて、ポストプロダクション編集を受ける。ポストプロダクションブロック１１５における編集は、画像の特定の領域の色または明るさを調節または変更することにより、映像制作者の制作意図にしたがってその画像が特定の見え方をするようにしたり、画質を上げたりすることを含み得る。これは、「カラータイミング」あるいは「カラーグレーディング」と呼ばれることがある。ポストプロダクションブロック１１５において、その他の編集（例えば、シーン選択およびシーケンシング、画像クロッピング、コンピュータ生成された視覚的特殊効果の追加など）を行うことにより、プロダクションの、配信用の最終バージョン１１７を作成してもよい。ポストプロダクションブロック１１５のポストプロダクション編集において、映像イメージは、リファレンスディスプレイ１２５上で視聴される。
【0034】
ポストプロダクションブロック１１５におけるポストプロダクションの後、最終バージョン１１７の映像データは、下流のテレビ受像機、セットトップボックス、映画館などの復号化・再生機器まで供給されるために、エンコーダ１２０に供給されてもよい。いくつかの実施形態において、エンコーダ１２０は、符号化されたビットストリーム１２２を生成するための、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、ブルーレイおよびその他の供給フォーマットに規定されるような音声およびビデオエンコーダを含み得る。受信機において、符号化されたビットストリーム１２２は、デコーダ１３０により復号化されることにより、最終バージョン１１７に対応する映像データと同一またはこれに近い近似を表す、復号化された信号１３２を生成し得る。受信機は、リファレンスディスプレイ１２５と全く異なる特性を有し得るターゲットディスプレイ１５１に取り付けられていてもよい。その場合、ディスプレイマネジメントユニット１３５を用いてディスプレイマッピング化信号１３７を生成することで、復号化された信号１３２のダイナミックレンジを、ターゲットディスプレイ１５１の特性にマッピングしてもよい。ターゲットディスプレイ１５１は、リファレンスモニター、コンピュータ用のモニターもしくはディスプレイ、テレビ受像機（ＴＶ）、ヘッドマウントディスプレイ、仮想網膜ディスプレイなどであり得る。
【0035】
Ｄｏｌｂｙ ＶｉｓｉｏｎＴＭは、ハイダイナミックレンジかつ広色域でマスタリングされたコンテンツの制作および配信を可能にする、エンドツーエンドのスイート（ｓｕｉｔｅ）である。Ｄｏｌｂｙ Ｖｉｓｉｏｎのディスプレイマネジメントは、一連のアルゴリズムを用いて信号を任意のＤｏｌｂｙ Ｖｉｓｉｏｎ対応のコンシューマー用テレビにマッピングすることで、所与のテレビの能力にマッチングする。これは、視聴者に最適でシームレスな映像体験を創出する。
【0036】
Ｄｏｌｂｙ Ｖｉｓｉｏｎのように、ハイダイナミックレンジかつ広色域のコンテンツの制作および配信を可能にするエンドツーエンドのスイートには、映像データとともにメタデータも含まれている。例えば、Ｄｏｌｂｙ Ｖｉｓｉｏｎ中において、レベル１（Ｌ１）からレベル１０（Ｌ１０）と呼ばれる異なるレベルのメタデータが存在する。このようなメタデータの記述の例は、Ｒ．ＡｔｋｉｎｓらによるＷＩＰＯ公開ＷＯ２０１９／０５０９７２号「Ｔｏｎｅ－ｃｕｒｖｅ ｏｐｔｉｍｉｚａｔｉｏｎ ｍｅｔｈｏｄ ａｎｄ ａｓｓｏｃｉａｔｅｄ ｖｉｄｅｏ」に記載されている。この全体を本願に援用する。本開示によるデジタル映像ビットストリーム、および、デジタル映像ビットストリームを生成する方法と、映像コンテンツを再生する方法は、デコーダまたはターゲットディスプレイ上において制作意図を保持するという問題に対するソリューションを提供するとともに、映像コンテンツの識別されたカテゴリーに応じて表示設定を調節するために、デコーダまたはターゲットディスプレイにおいて映像コンテンツのカテゴリーを識別するためのソリューションを提供するものである。
【0037】
Ｄｏｌｂｙ Ｖｉｓｉｏｎなどのハイダイナミックレンジかつ広色域の映像制作および配信スイートでは、限定されないが本願ではレベル１１（Ｌ１１）と呼ぶ新たなメタデータのセットが導入され、これによって、デコーダまたはターゲットディスプレイにおける映像コンテンツの再生の特性に関するコンテンツ制作者の意図が指定されている。Ｌ１１メタデータは、コンテンツ制作者の制作意図をデコーダまたはターゲットディスプレイに伝えることができる。このコンテンツアウェアメタデータ（ｃｏｎｔｅｎｔ ａｗａｒｅ ｍｅｔａｄａｔａ）は、ターゲットディスプレイがコンテンツを提示するための最適な方法を知っている。Ｌ１１メタデータは、コンテンツ制作者が自身のコンテンツに容易にタグ付けできるよう、多くのフィールドを含んでいる。
【0038】
本開示によるデジタル映像ビットストリーム、および、デジタル映像ビットストリームを生成する方法と、映像コンテンツを再生する方法は、ハイダイナミックレンジかつ広色域の映像制作および配信スイートに一般的に適用可能であることを理解すべきであり、またＬ１１という用語は、本明細書では例示目的のためのみに使用されており、本開示におけるデジタル映像ビットストリーム、および、デジタル映像ビットストリームを生成する方法と、映像コンテンツを再生する方法に制限を課すことは意図していない。
【0039】
ＴＶなどのターゲットディスプレイには様々な表示モードがあるが、どの表示モードを選択するかはユーザーの判断に委ねられている。例えば、ユーザーは映画を見ているとき、ＴＶ上の表示モードを変更することを選び得る。しかし、多くのユーザーは、異なるタイプのコンテンツを視聴するたびに表示モードを変更するというほど洗練されておらず、またそうする時間に価値があるとは感じていない。特定の表示モードを選択すると、ターゲットディスプレイには、その選択された表示モードに関連した表示設定が適用されることになる。
【0040】
本開示は、ターゲットディスプレイが取るべき表示モードについてスマートな決定を行うことができるように、映像コンテンツのカテゴリーを自動的に識別する装置および方法を提供する。また本開示は、Ｌ１１メタデータを導入することで映像コンテンツに意識性を加えるような、装置および方法を提供する。さらに、本開示は、ターゲットディスプレイが映像コンテンツのカテゴリーを推測する必要がなく、またユーザも映像コンテンツのカテゴリーを推測する必要がないように、ターゲットディスプレイで映像コンテンツを提示するための最良の方法を決定することを可能にする。さらに、本請求項に記載の主題では、ユーザーおよびターゲットディスプレイが、映像コンテンツの再生時において何も実行する必要がない。ターゲットディスプレイは、Ｌ１１メタデータが命令したことを実行するだけである。
【0041】
今日、ターゲットディスプレイは、推測に基づいて映像コンテンツの処理を行っているが、これはあまり正確な処理ではない。コンテンツアウェアメタデータを持つことで、ターゲットディスプレイに映像コンテンツの適切な処理が通知される。これにより、ターゲットディスプレイでの意思決定プロセスに情報が与えられ、毎回正しい結果が得られるようになる。例えば、Ｌ１１メタデータにより、コンテンツがスポーツであることがターゲットディスプレイに通知され、したがってターゲットディスプレイは、再生時にスポーツコンテンツに対応した表示モードに切り替え、それに合わせて表示モードの関連する表示設定を設定する。
【0042】
本開示の一実施形態によれば、映像ビットストリームは、ビットストリーム内の映像コンテンツのカテゴリーをターゲットディスプレイに伝えるメタデータを含む。このメタデータは、コンテンツタイプ、およびコンテンツサブタイプなどの映像コンテンツの特性を示す多数のフィールドを含んでもよい。さらに、想定白色点、映像をリファレンスモードで使用するかどうか、想定シャープネス、想定ノイズリダクション、想定ＭＰＥＧノイズリダクション、想定フレームレート変換（Ｆｒａｍｅ Ｒａｔｅ Ｃｏｎｖｅｒｓｉｏｎ：ＦＲＣ）、想定平均画像レベル（Ａｖｅｒａｇｅ Ｐｉｃｔｕｒｅ Ｌｅｖｅｌ：ＡＰＬ）、想定カラーなどの、特定の表示設定の調節を明示的に指定することで、選択された映像コンテンツのカテゴリーを洗練させることができる。Ｌ１１メタデータの中には、固有の階層を持つ複数のフィールドが追加されている。
【0043】
Ｌ１１メタデータは、コンテンツ制作者が自身のコンテンツに容易にタグ付けできるように設計されている。１）コンテンツ制作者にとって最もわかりやすい方法は、何もしないことであり、これはデフォルトの挙動となる。２）コンテンツ制作者にとって２番目にわかりやすい方法は、ターゲットデコーダまたはターゲットディスプレイに、映画、ゲーム、またはスポーツなどのコンテンツのカテゴリーを伝えることである。このメタデータ情報に基づいて、ＴＶなどのターゲットディスプレイは、表示モードの高レベルの決定を行う。例えばＴＶが映画、ゲーム、またはスポーツモードに切り替えるなどである。ＴＶは、これらのカテゴリーに対応する、適切な表示モードの詳細表示設定をルックアップする。３）最後に、Ｌ１１メタデータは、選択された表示モードをより洗練されたものにするような、ターゲットディスプレイにおける表示設定の詳細を、コンテンツ制作者がさらに指定することを可能にする。例えば、スポーツコンテンツの場合、コンテンツ制作者は、スポーツがウィンタースポーツなのかウォータースポーツなのかなど、コンテンツのサブタイプを指定することができる。さらに、コンテンツ制作者は、例えば、フレームレート変換をハイに設定した状態で映像コンテンツがターゲットディスプレイ上において最も良く見えるよう指定することができる。Ｌ１１メタデータは階層的であるため、情報が不足の場合にコンテンツタイプやコンテンツサブタイプをデフォルトに設定することができる。さらに、Ｌ１１メタデータでは、ケースバイケースでそのようなデフォルトをメタデータによって上書きすることが可能となっている。
【0044】
Ｌ１１メタデータは、コンテンツ制作者が指定できるだけでなく、アプリケーションレベルでも指定することができる。例えば、スマートブルーレイプレーヤがＮｅｔｆｌｉｘ「上付きＲ丸囲み」（Ｎｅｔｆｌｉｘ「上付きＲ丸囲み」はＮｅｔｆｌｉｘ Ｉｎｃ．の登録商標である）などの映画ストリーミングサービスから再生している場合には、スマートブルーレイプレーヤはメタデータを映画やドラマの設定にしたり、スマートブルーレイがゲームから再生している場合にはコンテンツをゲームとタグ付けしたり、放送用セットトップボックスから再生している場合にはコンテンツをスポーツその他のコンテンツが該当するものに設定したりすることができる。このように、Ｌ１１メタデータは、当初のコンテンツ制作者以外の他者が、映像コンテンツのタイプを指定することを許可するものである。その意味で、制作意図を保持するためには、単にコンテンツアウェアメタデータを提供するだけでなく、これらのメタデータがどのように作成されたのか、例えば、コンテンツ制作者が作成したのか、あるいは中間者が作成したのかを示すことが重要である。
【0045】
Ｌ１１メタデータにおいて、映像コンテンツにＬ１１メタデータを付加できるポイントが複数可能にされている。一実施形態において、Ｌ１１メタデータのソースを示すために、Ｌ１１メタデータには、真または偽に設定可能なリファレンスモードフラグ（Ｌ１１リファレンスモードフラグ、略してＬ１１ＲＭフラグともいう）が含まれている。例えば、コンテンツ制作者がゲームを制作し、そのゲームを再生したときに、ターゲットディスプレイ上でゲームの色がより青くなって非常にシャープに見えるようにしたい場合などの特定の理由によって、当初のコンテンツ制作者はＬ１１メタデータを追加することができる。そしてコンテンツ制作者は、Ｌ１１ＲＭフラグを真に設定し得る。これは、ターゲットディスプレイが最高画質モードであっても、制作意図を保持するためにコンテンツアウェアメタデータを適用すべきであることを意味する。
【0046】
一方、コンテンツが例えばゲームであり、Ｌ１１メタデータが自動画像処理など第三者によってさらに下流において付加された場合、Ｌ１１ＲＭフラグは偽に設定される。つまり、ターゲットディスプレイが最高画質モードの場合、Ｌ１１メタデータはコンテンツ制作者以外によって付加されたものであるため、ターゲットディスプレイはＬ１１メタデータを適用すべきではなく、したがってターゲットディスプレイは当初のコンテンツ制作者の意図を保持していないことになる。Ｌ１１ＲＭフラグを偽に設定することは、コンテンツ制作者の意図が変更されたことを意味する。このようにＬ１１ＲＭフラグを利用することで、メタデータはそのままでありながら、フラグの状態に応じてその用途を変更することができる。例えば、制作者の当初の意図を保持するために多くの処理が行われ、最高画質が重要であるリファレンスモードで映像コンテンツを再生する場合、再生時において、Ｌ１１ＲＭフラグを用いて、コンテンツアウェアメタデータをリファレンスモードで使用するかどうかをターゲットディスプレイに伝える。ｉ）メタデータが当初のコンテンツ制作者によって作成されたものならば、コンテンツアウェアメタデータをリファレンスモードにおいて使用すべきである（フラグ状態が真に設定されている）。ｉｉ）メタデータが当初のコンテンツ制作者以外によって下流で作成されたものであれば、コンテンツアウェアメタデータをリファレンスモードにおいて使用すべきではない（フラグ状態が偽に設定されている）。これは、本開示の重要な側面の１つである。これは、視聴者の意図がリファレンスモードで映像コンテンツを見ることである場合に、ターゲットディスプレイがコンテンツアウェアメタデータに従うべきかどうかを重要視するものである。
【0047】
Ｌ１１ＲＭフラグの使用を、図２のテーブル２００にさらにテーブル形式で示す。この例示的なテーブルでは、「メタデータリファレンスモードを使用する」（２１０）は、再生時のターゲットディスプレイの状態を指す。このテーブルは、前の段落で説明した状況をさらに示している。１）テーブルの１行目（２２０）において、メタデータが存在しないため、メタデータは、リファレンスモードにおいても非リファレンスモード（２３０）においても用いられることができない。２）２行目（２４０）では、Ｌ１１メタデータが存在するが、Ｌ１１ＲＭフラグが偽であるため、制作意図を保持するために、ターゲットディスプレイは、リファレンスモードにおいてＬ１１メタデータを使用しないように指示される。ターゲットディスプレイはしかし、非リファレンスモードにあるときには処理中にＬ１１メタデータを用いることを許される。３）３行目（２６０）では、Ｌ１１メタデータが存在し、Ｌ１１ＲＭフラグが真であるため、ターゲットディスプレイは、リファレンスモードおよびその他すべての非リファレンスモードにおいてＬ１１メタデータを使用できることが命令されている。
【0048】
図３は、フローチャート３００におけるＬ１１ＲＭフラグの例示的な使用方法を示している。デコーダまたはターゲットディスプレイは、まず、映像コンテンツ内にＬ１１メタデータが存在するかどうかを調べる（３１０）。答えがノーであれば、デコーダまたはターゲットディスプレイは、他に何もすることがない（３２０）。答えがイエスであれば、デコーダまたはターゲットディスプレイは、Ｌ１１ＲＭフラグが真であるか偽であるかを確認する（３３０）。フラグが偽であり、ユーザーが制作意図を保持することを重視する場合、Ｌ１１メタデータはリファレンスモードにおいて使用されるべきではない（３４０）。フラグが偽であり、ユーザーが制作意図の保持を気にしない場合、Ｌ１１メタデータは、ターゲットディスプレイの非リファレンスモードにおいて使用されてもよい（３６０）。Ｌ１１ＲＭフラグが真の場合、デコーダまたはターゲットディスプレイは、メタデータをリファレンスモードおよび非リファレンスモードの両方において使用してもよい（３５０）。
【0049】
以下の図および図それぞれのテーブルは、Ｌ１１メタデータフィールドの例示的な実施形態と、これらのフィールドを埋めるために使用される例示的な値を示している。
【0050】
図４Ａ～４Ｄは、例示的なＬ１１メタデータの詳細をテーブル形式で示している。図４Ａのテーブル４００Ａでは、Ｌ１１メタデータは、コンテンツタイプ（４１０）およびコンテンツサブタイプ（４１２）を有することが示されている。図４Ｂのテーブル４００Ｂでは、白色点（４２０）、ＲＭフラグ（４２２）、および将来利用（４２４）のためのビットが示されている。図４Ｃのテーブル４００Ｃは、シャープネス（４３０）、ノイズリダクション（４３２）、ＭＰＥＧノイズリダクション（４３４）、およびフレームレート変換（４３６）のためのビットを示す。図４Ｄのテーブル４００Ｄは、明るさ（４４０）、カラー（４４２）、および将来利用（４４４）のためのビットを示す。
【0051】
図５は、コンテンツタイプのさらなる詳細例をテーブル形式で示している。テーブル５００は、Ｌ１１メタデータ内の異なるタイプのコンテンツタイプ（５１０）を説明している。Ｌ１１メタデータは、シーンごとに更新される小さなペイロード、例えば、４ビットを使用する。予約値（５５０）は、将来のコンテンツタイプのためのものであり、メタデータの定義が保管されていない再生機器では、現在の「開封したそのまま（ｏｕｔ ｏｆ ｔｈｅ ｂｏｘ）」でのユーザー体験との一貫性を維持するために、デフォルトでは「０」になる。
【0052】
図６は、Ｌ１１の典型的なカテゴリーの一例を示しており、それぞれが、テーブル形式の複数の表示設定からなる特定の表示モードに対応している。テーブル６００は、コンテンツ制作および配信スイートの所有者（Ｄｏｌｂｙなど）と、ディスプレイターゲットのＯＥＭ業者（Ｏｒｉｇｉｎａｌ Ｅｑｕｉｐｍｅｎｔ Ｍａｎｕｆａｃｔｕｒｅｒ）と、オプションとしてコンテンツ制作者との間の共同作業において、知覚的量子化器（ＰＱ）のチューニング段階で埋められる。
【0053】
図７は、Ｌ１１コンテンツサブタイプの詳細例をテーブル形式で示している。Ｌ１１メタデータは、シーンごとに更新される追加的な４ビットを使用する。コンテンツサブタイプ（７２０）は、コンテンツタイプをさらに洗練することにより、デフォルトの挙動をコンテンツタイプ（５１０）から変更するものであり、これは、選択されたコンテンツサブタイプに関連する特定の表示設定の調節をターゲットディスプレイに行わせる。これは、ＯＥＭ業者が後処理アルゴリズムをさらにファインチューニングすることを可能にし、そのことにより差別化が可能になる。コンテンツ制作者は、希望であれば単純にテーブルに「０」を埋めてよい。
【0054】
図８は、Ｌ１１メタデータの想定白色点の詳細例をテーブル形式で示している。テーブル８００は、ピクチャの描画される白色点をガイドする。白色点は、Ａｕｄｉｏ Ｐｌｕｇ－ｉｎ（ＡＰＩ）システムレベルを介してバイパスされるか、Ｄｏｌｂｙ Ｄｉｓｐｌａｙ Ｍａｎａｇｅｍｅｎｔ（ＤＭ）内で適用されることができ、その場合、ターゲットディスプレイはネイティブ温度にキャリブレーションされることになる。デフォルトに「０」を設定すると、コンテンツタイプに対するデフォルトの白色点が使用される。想定白色点（８１０）は、再生時にターゲットディスプレイにおいてフィルタリングされることにより、急激な変化を防ぐ。
【0055】
図９は、Ｌ１１メタデータの想定シャープネスの詳細例をテーブル形式で示している。テーブル９００は、ターゲットディスプレイにおけるディテール強調／シャープ化アルゴリズムをガイドする。デフォルトに「０」を設定すると、コンテンツタイプに対するデフォルト設定が使用される。ＯＦＦはシャープネスを加えないことを意味する。画像は必要に応じて、双線形補間を用いてリサイズされる。ＨＩＧＨは、最大シャープネス強化に対応する。ＯＦＦとＨＩＧＨとの間の設定は、シャープネスの強さを制御する。このテーブルを利用すれば、シャープネス設定間の遷移はシームレスになるはずである。想定シャープネス（９１０）は、再生時にターゲットディスプレイにおいてフィルタリングされることにより、急激な変化を防ぐ。
【0056】
図１０は、Ｌ１１メタデータの想定ノイズリダクションの詳細例をテーブル形式で示している。テーブル１０００は、ランダムノイズに対するノイズリダクションアルゴリズムをガイドする。デフォルトに「０」を設定すると、コンテンツタイプに対するデフォルト設定が使用される。ＯＦＦは、ノイズリダクションを行わないことに対応する。ＨＩＧＨは、最大ノイズリダクションに対応する。ＯＦＦとＨＩＧＨの間に設定することで、ノイズリダクションの強さを制御する。このテーブルを利用すれば、異なる設定間の遷移はシームレスになるはずである。想定ノイズリダクション（１０１０）は、再生時にターゲットディスプレイにおいてフィルタリングされることにより、急激な変化を防ぐ。
【0057】
図１１は、Ｌ１１メタデータの想定ＭＰＥＧノイズリダクションの詳細例をテーブル形式で示している。テーブル１１００は、圧縮ノイズのノイズリダクションアルゴリズムをガイドする。デフォルトに「０」を設定すると、コンテンツタイプに対するデフォルト設定が使用される。ＯＦＦは、ノイズリダクションを行わないことに対応する。ＨＩＧＨは、最大ノイズリダクションに対応する。ＯＦＦとＨＩＧＨの間に設定することで、ノイズリダクションの強さを制御する。このテーブルを利用すれば、異なる設定間の遷移はシームレスになるはずである。想定ＭＰＥＧノイズリダクション（１１１０）は、再生時にターゲットディスプレイにおいてフィルタリングされることにより、急激な変化を防ぐ。
【0058】
図１２は、Ｌ１１メタデータのフレームレート変換（ＦＲＣ）の詳細例をテーブル形式で示している。テーブル１２００は、フレームレート変換アルゴリズムをガイドする。デフォルトに「０」を設定すると、コンテンツタイプに対するデフォルトのＦＲＣ設定が使用される。ＯＦＦはフレームレート変換なしに対応する。フレームは必要な場合にのみ複製される。ＨＩＧＨは、最大フレームレート変換に対応する。フレームは、ターゲットディスプレイの最大リフレッシュレートまで、スムーズに補間される。ＯＦＦとＨＩＧＨの間に設定することで、ＦＲＣの強さを制御する。原点と中間点の間の端数を補うようにフレームが補間される。このテーブルを利用すれば、異なるＦＲＣ設定間の遷移はシームレスになるはずである（ブラックフレームが発生しない）。結果として、ＦＲＣを完全にバイパスすることはＬ１１ではトリガできない。これは典型的にはブラックフレームを発生させてしまうためである。ＨＤＭＩ２．１におけるＡＬＬＭ（Ａｕｔｏ Ｌｏｗ Ｌａｔｅｎｃｙ Ｍｏｄｅ）のように、ＦＲＣを要求するための仕組みは存在する。想定フレームレート変換(１２１０）は、再生時にターゲットディスプレイにおいてフィルタリングされることにより、急激な変化を防ぐ。
【0059】
図１３は、Ｌ１１メタデータの平均画像レベル（ＡＰＬ）の詳細例をテーブル形式で示している。テーブル１３００は、平均画像レベルをガイドする。デフォルトに「０」を設定すると、コンテンツタイプに対するデフォルト設定が使用される。ＬＯＷは、やや暗めの明るさに対応する。ＭＥＤＩＵＭは、平均的な明るさに対応する。ＨＩＧＨは最大明るさに対応する。このテーブルを利用すれば、異なる設定間の遷移はシームレスになるはずである。想定平均画像レベル（１３１０）は、再生時にターゲットディスプレイにおいてフィルタリングされることにより、急激な変化を防ぐ。
【0060】
図１４は、Ｌ１１メタデータの想定カラーの詳細例をテーブル形式で示している。テーブル１４００は、カラー彩度をガイドする。デフォルトに「０」を設定すると、コンテンツタイプに対するデフォルト設定が使用される。ＬＯＷは、やや低い彩度に対応する。ＭＥＤＩＵＭは、平均的な彩度に対応する。ＨＩＧＨは、最大彩度に対応する。このテーブルを利用すれば、異なる設定間の遷移はシームレスになるはずである。想定カラー彩度（１４１０）は、再生時にターゲットディスプレイにおいてフィルタリングされることにより、急激な変化を防ぐ。
【0061】
ここで、Ｌ１１メタデータのデフォルト設定についてさらに説明する。一例として、ターゲットディスプレイがＤｏｌｂｙ Ｓｍａｒｔ Ｍｏｄｅなどのスマートモードの場合、Ｌ１１メタデータの無い映像コンテンツは、ＤＥＦＡＵＬＴ（例えば、図５では、コンテンツタイプ＝０）をデフォルトとし得る。「その他すべて」（例えば、図５では、コンテンツタイプ＝６）は、全てのコンテンツ（例えば、スポーツ、ドラマ、ソープオペラ、コマーシャル、ゲーム、映画）に対する「平均的な最適設定」と考えてよい。ポストプロダクション（１１５）の間、スタジオは、異なる表示モード（例えば、鮮やか（ｖｉｖｉｄ）、シネマ／映画など）下でリリースの品質をチェックすることができる。スタジオがレンダリング用ディスプレイ（１２５）を「シネマホーム」にしてコンテンツをレビューした場合、Ｌ１１を「シネマ」に設定してスマートモードを使用している人と同じ視聴者体験が得られるとは限らない。これは、ゲームモード、スポーツモード、および標準モードでも同様である。これは、２つのディスプレイ間で白色点やその他のキャリブレーションパラメータの定義が異なるために起こり得る。
【0062】
ここで、Ｌ１１メタデータの生成について説明する。一例として、コンテンツにＬ１１が指定されていない場合に、ターゲットディスプレイデバイスを所望のモードに設定するために、画像生成装置がフィールドを埋めることができる。さらに、コンテンツにＬ１１が指定されていない場合に、ターゲットディスプレイデバイスを設定するために、アプリケーション（アプリ）レベルがフィールドを埋めることができる。例えば、一実施形態において、ＰＳ４／Ｘｂｏｘのゲームアプリがゲームに設定され、ブルーレイプレーヤおよびＮｅｔｆｌｉｘのアプリがシネマに設定され、ＮＢＣのスポーツアプリがスポーツに設定される。さらに、オーサリングツールが、ターゲットディスプレイデバイスを設定するためにフィールドを埋めることもできる。この場合、オーサリングツールは、コンテンツタイプ用のドロップダウンメニューを展開（ｒｅｓｏｌｖｅ）して有効にする。ハリウッドスタジオは常に「シネマ」に設定される。放送局は、スポーツまたはシネマを明示的にカバーしていない限りは、「その他すべて」に設定される。
【0063】
ブロードキャストプレイアウトサーバマッピングの例を、テーブル形式で図１５に与える。テーブル１５００は、ＥＢＵ Ｃｏｒｅ Ｍｅｔａｄａｔａ Ｔｅｃｈ ３２９３よりＬ１１メタデータをマッピングすることによる、欧州放送連合（ＥＢＵ）Ｃｏｒｅ Ｍｅｔａｄａｔａ（ＥＢＵＣｏｒｅ）Ｔｅｃｈ ３２９３（１４１０）からのＬ１１メタデータの生成を示している（“ＥＢＵ Ｃｏｒｅ ｍｅｔａｄａｔａ ｓｅｔ （ＥＢＵＣｏｒｅ），” ｓｐｅｃｉｆｉｃａｔｉｏｎ ｖ１．９， ＭＩＭ－ＡＩ， ＥＢＵ， Ｊａｎ． ２０１９を参照）。
【0064】
ターゲットディスプレイにおけるＬ１１再生の実装について説明する。一例として、ユーザーはターゲットディスプレイ上でＤｏｌｂｙ Ｓｍａｒｔ ＭｏｄｅＴＭなどのスマートモード（工場出荷時設定であり得る）を選択する。コンテンツの種類が変わっても、ターゲットディスプレイはスマートモードのままである。メタデータの変更はシームレスであり、すなわち画像コンテンツのちらつきは発生しない。ユーザーはいつでも旧式ピクチャーモードに変更することができる。
【0065】
以下のさらなる実施形態の説明では、先に説明した実施形態との相違点を中心に説明する。したがって、両実施形態に共通する特徴は、以下の説明では省略されるため、以下の説明で別段の要求がない限り、先に説明した実施形態の特徴は、さらなる実施形態でも実施されているか、または少なくとも実施可能であると仮定されるべきである。
【0066】
本開示の別の実施形態では、ＲＭフラグは、単に再生時だけでなく、より多くの状況で利用される。例えば、メタデータが制作意図を表していない場合、本実施形態による装置および方法は、制作者より下流の誰か（エンコーダ、配信者、再生機器）がメタデータを変更、作成、および／または上書きすることを許可する。しかし、メタデータが制作意図を表している場合は、メタデータを下流で変更することはできない。
【0067】
本開示の代替的な実施形態においては、誰がメタデータを埋めたかについて、より多くの情報が含まれる。本実施形態による装置および方法は、ＲＭフラグフィールドに、より多くのビットを使用させることが可能である。一例として、コンテンツ制作および配信の段階や、Ｌ１１メタデータを埋めた会社の名前などの情報を、ＲＭフラグに格納することができる。この情報は、コンテンツおよびメタデータに添付することができる。この情報は、メタデータをどのように解釈し適用するかを知るために活用できる。いくつかの例を挙げると、ｉ）誰がメタデータを埋めたかの識別と再生の優先順位に応じて、再生機器においてメタデータを適用する、または適用しない、ｉｉ）誰がメタデータを埋めたかに応じて、例えばＤｏｌｂｙおよびそのパートナーを含む様々な配信参加者が、コンテンツ制作および配信の様々な段階でメタデータをさらに変更、強化、または上書きすることを許可する、または許可しない、ｉｉｉ）誰がメタデータを埋めたかと、メタデータが潜在的に公開されている場所（コンシューマーが目にすることができるＧＵＩでのコンテンツタイプの公開など）に応じて、メタデータの一部を公開する、または公開しないである。
【0068】
本開示のさらに別の代替的実施形態においては、ブロックチェーンに概念的に類似したコンテンツフォーマットにおいて、下流の参加者は、追加および／または代替のＬ１１メタデータセットまたはレコードを添付することができる。この場合、各セットやレコードを誰が埋めたかを知ることが極めて重要になる。例えば、あるコンテンツサービスプロバイダは、自身のすべてのコンテンツに対して一貫した、ある１つのＬ１１メタデータのセットで定義された好みの外観を持ち得る一方、当初のコンテンツ制作者によって定義されるような異なるＬ１１メタデータのセットが、各コンテンツに対して維持されることになる。これにより、どちらのＬ１１メタデータのセットを使用するかによって、異なる消費者体験が可能になる。各Ｌ１１メタデータセットについての拡張ＲＭフラグは、どのＬ１１メタデータのセットを使用するかの判断情報となる。
【0069】
本開示の数々の実施形態を記載した。しかし、本開示の趣旨および範囲から離れることなく様々な改変を成し得ることが理解されるであろう。従って、他の実施形態が、以下に続く請求項の範囲に含まれる。
【0070】
上記に提示した例は、当該分野に通常の熟練を有する当業者に対し、本開示の実施形態を作成して使用する方法を完全に開示かつ説明するものとして提供されているのであって、発明者／発明者らが自らの開示であると考えるものの範囲を限定するようには意図されていない。
【0071】
本明細書中に開示された方法およびシステムを実行するための上記の態様に対する改変であって当該分野の当業者にとって明らかなものは、以下に続く請求項の範囲に含まれるものとして意図されている。本明細書において言及された全ての特許および公開は、本開示が関する当該分野の当業者の技術レベルを示す。本開示に引用された全ての文献は、各文献が個別にその全ての開示内容を援用されている場合と同程度に、援用される。
【0072】
本開示は、特定の方法またはシステムには限定されず、もちろん変化し得ることを理解されたい。また、本明細書で用いられる用語は、特定の実施形態を記載する目的のためだけのものであり、限定するようには意図されていないことも理解されたい。本明細書および添付の請求項において用いるとき、単数形の「ある（ａ）」、「一つの（ａｎ）」、および「この（ｔｈｅ）」は、内容によって明らかにそうでないと決まらない限り、複数の指示対象を含む。「複数（ｐｌｕｒａｌｉｔｙ）」という用語は、内容によって明らかにそうでないと決まらない限り、２つ以上の指示対象を含む。別途の定義のない限り、本明細書で用いられる全ての技術的および科学的な用語は、本開示が関する当該技術の当業者によって一般に理解されるものと同一の意味を有する。
【0073】
本開示に記載されている方法およびシステムは、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせで実装され得る。ブロックモジュールまたはコンポーネントとして記述された特徴は、ハードウェア、ソフトウェア、およびファームウェアの組み合わせを使用して、一緒にまたは別々に実装され得る。本開示の方法のソフトウェア部分は、実行されたとき、記載された方法を少なくとも部分的に実行する命令（例えば、実行可能プログラム）を含むコンピュータ可読媒体で構成され得る。コンピュータ可読媒体は、例えば、ランダムアクセスメモリ（ＲＡＭ）および／またはリードオンリーメモリ（ＲＯＭ）で構成され得る。命令は、プロセッサ（例えば、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、またはフィールドプログラマブルロジックアレイ（ＦＰＧＡ））によって実行され得る。
【0074】
本発明の様々な態様を、以下に続く列挙実施形態例（ｅｎｕｍｅｒａｔｅｄ ｅｘａｍｐｌｅ ｅｍｂｏｄｉｍｅｎｔｓ）（ＥＥＥ）から理解することができる。
ＥＥＥ１．メタデータを有するデジタル映像ビットストリームを生成する方法であって、前記メタデータは、制作意図を保持することを指し示すフラグを含み、
前記メタデータに１つ以上の追加的フィールドを設定することにより、前記デジタル映像ビットストリームのコンテンツタイプを示すことと、
前記メタデータ内の前記フラグを設定することにより、前記デジタル映像ビットストリームが、前記デジタル映像ビットストリームを当初の制作意図にしたがって再生および／または表示するべきリファレンスモードにおいて復号化されるときに、前記１つ以上の追加的フィールドが用いられるべきか否かを示すことと、
を包含する、方法。
ＥＥＥ２．前記メタデータ内の前記１つ以上の追加的フィールドは、映像コンテンツタイプ、映像コンテンツサブタイプ、映像コンテンツ想定白色点、映像コンテンツ想定シャープネス、映像コンテンツ想定ノイズリダクション、映像コンテンツ想定ＭＰＥＧノイズリダクション、映像コンテンツ想定フレームレート変換、映像コンテンツ平均画像レベル、および映像コンテンツ想定カラーのうち少なくとも１つを含む、ＥＥＥ１に記載の方法。
ＥＥＥ３．前記メタデータが映像コンテンツ制作者によって生成される場合、前記フラグは第１の論理値に設定され、前記メタデータが第三者によって生成される場合、前記フラグは第２の論理値に設定される、ＥＥＥ２に記載の方法。
ＥＥＥ４．前記メタデータは、映像コンテンツ制作者もしくは自動画像生成器によって、またはアプリケーションレベルにおいて生成される、ＥＥＥ２に記載の方法。
ＥＥＥ５．前記メタデータは、映像コンテンツ制作者もしくは自動画像生成器によって、またはアプリケーションレベルにおいて生成される、ＥＥＥ１から４のいずれかに記載の方法。
ＥＥＥ６．前記メタデータが映像コンテンツ制作者によって生成される場合、前記フラグは第１の論理値に設定され、前記メタデータが第三者によって生成される場合、前記フラグは第２の論理値に設定される、ＥＥＥ１から５のいずれかに記載の方法。
ＥＥＥ７．他のメタデータからのマッピングを用いて前記メタデータを生成する、
ＥＥＥ１から６のいずれかに記載の方法。
ＥＥＥ８．前記他のメタデータは欧州放送連合Ｃｏｒｅ Ｍｅｔａｄａｔａ Ｔｅｃｈ ３２９３である、ＥＥＥ７に記載の方法。
ＥＥＥ９．メタデータを有する映像コンテンツを再生する方法であって、前記メタデータは制作意図を保持することを指し示すフラグを含み、
前記映像コンテンツをデコーダにおいて受信することと、
前記映像コンテンツが、前記デジタル映像ビットストリームを当初の制作意図にしたがって再生および／または表示するべきリファレンスモードにおいて復号化されるときに、前記１つ以上の追加的フィールドが用いられるべきか否かを、前記フラグの状態に基づいて前記デコーダに命令することと、
を包含する、方法。
ＥＥＥ１０．前記フラグが第１の論理値に設定されている場合、前記デコーダは、前記リファレンスモードおよび非リファレンスモードにおいて前記メタデータを利用して前記映像コンテンツタイプを決定するように命令される、ＥＥＥ９に記載の方法。
ＥＥＥ１１．前記フラグが第２の論理値に設定されている場合、前記デコーダは、前記リファレンスモードにおいては前記メタデータを無視し、非リファレンスモードにおいては前記メタデータを利用するように命令される、ＥＥＥ９に記載の方法。
ＥＥＥ１２．前記メタデータは、映像コンテンツタイプ、映像コンテンツサブタイプ、映像コンテンツ想定白色点、映像コンテンツ想定シャープネス、映像コンテンツ想定ノイズリダクション、映像コンテンツ想定ＭＰＥＧノイズリダクション、映像コンテンツ想定フレームレート変換、映像コンテンツ平均画像レベル、および映像コンテンツ想定カラーのうち少なくとも１つを含む、ＥＥＥ９から１１のいずれかに記載の方法。
ＥＥＥ１３．映像コンテンツと、
制作意図を指し示すフラグを含むメタデータであって、前記デジタル映像ビットストリームのコンテンツタイプを示すための１つ以上の追加的フィールドを有する、メタデータと、
を含むデジタル映像ビットストリームであって、
前記メタデータ内の前記フラグは、前記デジタル映像ビットストリームが、前記デジタル映像ビットストリームを当初の制作意図にしたがって再生および／または表示するべきリファレンスモードにおいて復号化されるときに、前記１つ以上の追加的フィールドが用いられるべきか否かを示す、
デジタル映像ビットストリーム。
ＥＥＥ１４．前記メタデータ内の前記１つ以上の追加的フィールドは、映像コンテンツタイプ、映像コンテンツサブタイプ、映像コンテンツ想定白色点、映像コンテンツ想定シャープネス、映像コンテンツ想定ノイズリダクション、映像コンテンツ想定ＭＰＥＧノイズリダクション、映像コンテンツ想定フレームレート変換、映像コンテンツ平均画像レベル、および映像コンテンツ想定カラーのうち少なくとも１つを含む、
ＥＥＥ１３に記載のデジタル映像ビットストリーム。
ＥＥＥ１５．映像ビットストリーム内においてメタデータの使用または不使用を示すための方法であって、
ＥＥＥ１３またはＥＥＥ１４記載の前記デジタル映像ビットストリームを提供することと、
前記メタデータが映像コンテンツ制作者によって生成される場合には前記フラグを第１の論理値に設定し、前記メタデータが第三者によって生成される場合には前記フラグを第２の論理値に設定することと、
を包含する、方法。
ＥＥＥ１６．ハイダイナミックレンジを有する映像ビットストリームを再生する方法であって、
ＥＥＥ１３またはＥＥＥ１４に記載の前記デジタル映像ビットストリームを提供することと、
前記フラグが第１の論理値に設定されている場合、前記リファレンスモードおよび非リファレンスモードにおいて前記メタデータを利用して前記映像コンテンツタイプを決定するように、ビデオデコーダに命令することと、
を包含する、方法。
ＥＥＥ１７．ハイダイナミックレンジを有する映像ビットストリームを再生する方法であって、
ＥＥＥ１３またはＥＥＥ１４に記載の前記デジタル映像ビットストリームを提供することと、
前記フラグが第２の論理値に設定されている場合、前記リファレンスモードにおいては前記メタデータを無視し、非リファレンスモードにおいては前記メタデータを利用するように、ビデオデコーダに命令することと、
を包含する、方法。
ＥＥＥ１８．実行されたとき、ＥＥＥ１から１２、または、ＥＥＥ１５から１７のいずれかに記載の方法の工程を実施する命令を包含する、コンピュータ可読媒体。
ＥＥＥ１．メタデータを有するデジタル映像ビットストリームを生成する方法であって、前記メタデータは、制作意図を保持することを指し示すフラグを含み、
前記メタデータに１つ以上の追加的フィールドを設定することにより、前記デジタル映像ビットストリームのコンテンツタイプを示すことと、
前記メタデータ内の前記フラグを設定することにより、前記デジタル映像ビットストリームが、前記デジタル映像ビットストリームを当初の制作意図にしたがって再生および／または表示するべきリファレンスモードにおいて復号化されるときに、前記１つ以上の追加的フィールドが用いられるべきか否かを示すことと、
を包含する、方法。
ＥＥＥ２．前記メタデータ内の前記１つ以上の追加的フィールドは、映像コンテンツタイプ、映像コンテンツサブタイプ、映像コンテンツ想定白色点、映像コンテンツ想定シャープネス、映像コンテンツ想定ノイズリダクション、映像コンテンツ想定ＭＰＥＧノイズリダクション、映像コンテンツ想定フレームレート変換、映像コンテンツ平均画像レベル、および映像コンテンツ想定カラーのうち少なくとも１つを含む、ＥＥＥ１に記載の方法。
ＥＥＥ３．前記メタデータが映像コンテンツ制作者によって生成される場合、前記フラグは第１の論理値に設定され、前記メタデータが第三者によって生成される場合、前記フラグは第２の論理値に設定される、ＥＥＥ２に記載の方法。
ＥＥＥ４．前記メタデータは、映像コンテンツ制作者もしくは自動画像生成器によって、またはアプリケーションレベルにおいて生成される、ＥＥＥ２に記載の方法。
ＥＥＥ５．前記メタデータは、映像コンテンツ制作者もしくは自動画像生成器によって、またはアプリケーションレベルにおいて生成される、ＥＥＥ１から４のいずれかに記載の方法。
ＥＥＥ６．前記メタデータが映像コンテンツ制作者によって生成される場合、前記フラグは第１の論理値に設定され、前記メタデータが第三者によって生成される場合、前記フラグは第２の論理値に設定される、ＥＥＥ１から５のいずれかに記載の方法。
ＥＥＥ７．他のメタデータからのマッピングを用いて前記メタデータを生成する、
ＥＥＥ１から６のいずれかに記載の方法。
ＥＥＥ８．前記他のメタデータは欧州放送連合Ｃｏｒｅ Ｍｅｔａｄａｔａ Ｔｅｃｈ ３２９３である、ＥＥＥ７に記載の方法。
ＥＥＥ９．メタデータを有する映像コンテンツを再生する方法であって、前記メタデータは制作意図を保持することを指し示すフラグを含み、
前記映像コンテンツをデコーダにおいて受信することと、
前記映像コンテンツが、前記デジタル映像ビットストリームを当初の制作意図にしたがって再生および／または表示するべきリファレンスモードにおいて復号化されるときに、前記１つ以上の追加的フィールドが用いられるべきか否かを、前記フラグの状態に基づいて前記デコーダに命令することと、
を包含する、方法。
ＥＥＥ１０．前記フラグが第１の論理値に設定されている場合、前記デコーダは、前記リファレンスモードおよび非リファレンスモードにおいて前記メタデータを利用して前記映像コンテンツタイプを決定するように命令される、ＥＥＥ９に記載の方法。
ＥＥＥ１１．前記フラグが第２の論理値に設定されている場合、前記デコーダは、前記リファレンスモードにおいては前記メタデータを無視し、非リファレンスモードにおいては前記メタデータを利用するように命令される、ＥＥＥ９に記載の方法。
ＥＥＥ１２．前記メタデータは、映像コンテンツタイプ、映像コンテンツサブタイプ、映像コンテンツ想定白色点、映像コンテンツ想定シャープネス、映像コンテンツ想定ノイズリダクション、映像コンテンツ想定ＭＰＥＧノイズリダクション、映像コンテンツ想定フレームレート変換、映像コンテンツ平均画像レベル、および映像コンテンツ想定カラーのうち少なくとも１つを含む、ＥＥＥ９から１１のいずれかに記載の方法。
ＥＥＥ１３．映像コンテンツと、
制作意図を指し示すフラグを含むメタデータであって、前記デジタル映像ビットストリームのコンテンツタイプを示すための１つ以上の追加的フィールドを有する、メタデータと、
を含むデジタル映像ビットストリームであって、
前記メタデータ内の前記フラグは、前記デジタル映像ビットストリームが、前記デジタル映像ビットストリームを当初の制作意図にしたがって再生および／または表示するべきリファレンスモードにおいて復号化されるときに、前記１つ以上の追加的フィールドが用いられるべきか否かを示す、
デジタル映像ビットストリーム。
ＥＥＥ１４．前記メタデータ内の前記１つ以上の追加的フィールドは、映像コンテンツタイプ、映像コンテンツサブタイプ、映像コンテンツ想定白色点、映像コンテンツ想定シャープネス、映像コンテンツ想定ノイズリダクション、映像コンテンツ想定ＭＰＥＧノイズリダクション、映像コンテンツ想定フレームレート変換、映像コンテンツ平均画像レベル、および映像コンテンツ想定カラーのうち少なくとも１つを含む、
ＥＥＥ１３に記載のデジタル映像ビットストリーム。
ＥＥＥ１５．映像ビットストリーム内においてメタデータの使用または不使用を示すための方法であって、
ＥＥＥ１３またはＥＥＥ１４記載の前記デジタル映像ビットストリームを提供することと、
前記メタデータが映像コンテンツ制作者によって生成される場合には前記フラグを第１の論理値に設定し、前記メタデータが第三者によって生成される場合には前記フラグを第２の論理値に設定することと、
を包含する、方法。
ＥＥＥ１６．ハイダイナミックレンジを有する映像ビットストリームを再生する方法であって、
ＥＥＥ１３またはＥＥＥ１４に記載の前記デジタル映像ビットストリームを提供することと、
前記フラグが第１の論理値に設定されている場合、前記リファレンスモードおよび非リファレンスモードにおいて前記メタデータを利用して前記映像コンテンツタイプを決定するように、ビデオデコーダに命令することと、
を包含する、方法。
ＥＥＥ１７．ハイダイナミックレンジを有する映像ビットストリームを再生する方法であって、
ＥＥＥ１３またはＥＥＥ１４に記載の前記デジタル映像ビットストリームを提供することと、
前記フラグが第２の論理値に設定されている場合、前記リファレンスモードにおいては前記メタデータを無視し、非リファレンスモードにおいては前記メタデータを利用するように、ビデオデコーダに命令することと、
を包含する、方法。
ＥＥＥ１８．実行されたとき、ＥＥＥ１から１２、または、ＥＥＥ１５から１７のいずれかに記載の方法の工程を実施する命令を包含する、コンピュータ可読媒体。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
