特表 2023-537939 ハイダイナミックレンジビデオ用のピクチャメタデータ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-06

(54)【発明の名称】ハイダイナミックレンジビデオ用のピクチャメタデータ

(51)【国際特許分類】

   H04N 5/202 20230101AFI20230830BHJP

   H04N 7/01 20060101ALI20230830BHJP

【ＦＩ】

H04N5/202

H04N7/01

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023509433

(86)(22)【出願日】2021-08-05

(85)【翻訳文提出日】2023-02-08

(86)【国際出願番号】 US2021044580

(87)【国際公開番号】W WO2022039930

(87)【国際公開日】2022-02-24

(31)【優先権主張番号】20191269.8

(32)【優先日】2020-08-17

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】63/066,663

(32)【優先日】2020-08-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】アトキンズ，ロビン

【テーマコード（参考）】

5C063

【Ｆターム（参考）】

5C063BA20

(57)【要約】

動的ピクチャメタデータを生成する方法及びシステムが提示される。マスタリングディスプレイ上で生成された入力画像と、マスタリングディスプレイとは異なるターゲットディスプレイの特性と、入力画像に関する動的メタデータの初期セットとを所与として、反復アルゴリズムが、ディスプレイ管理プロセス及びイメージメタデータに従って、入力画像をターゲットディスプレイ向けのマッピング画像へとマッピングし、視覚的外観一致指標に従って入力画像をマッピング画像と比較し、視覚的外観一致指標に従った入力画像とマッピング画像との間の可視性相違値が閾値を下回るまで、最適化技術を用いてイメージメタデータを更新する。

【特許請求の範囲】

【請求項1】

プロセッサで動的ピクチャメタデータを生成する方法であって、
第１ダイナミックレンジの入力画像と動的イメージメタデータとを受信し、前記入力画像はマスタリングディスプレイ上でマスタリングされており、
ａ）ディスプレイマッピングプロセスを適用して、前記入力画像を、第２ダイナミックレンジのマッピング画像へとマッピングし、前記ディスプレイマッピングプロセスは、前記動的イメージメタデータ、及び前記マスタリングディスプレイとは異なるターゲットディスプレイのディスプレイ特性を考慮に入れるものであり、
ｂ）外観一致指標を用いて前記入力画像と前記マッピング画像とを比較して、可視性相違値を生成し、
前記可視性相違値が閾値より大きい場合には、
ｃ）前記動的イメージメタデータにメタデータ最適化方法を適用することで、前記可視性相違値を減らし、更新イメージメタデータを生成し、
ｄ）前記動的イメージメタデータを前記更新イメージメタデータで置換し、
終了基準まで、別のメタデータ更新反復のためにステップａに戻り、
そうでない場合には、前記入力画像と前記動的イメージメタデータとを有する出力を生成する、
ことを有する方法。

【請求項2】

前記出力は、ネットワーク上で、前記出力を生成することに使用されるプライマリシステムの外部のセカンダリシステムに伝送される、請求項１に記載の方法。

【請求項3】

前記セカンダリシステムが、前記入力画像及び前記動的イメージメタデータを用いて画像がレンダリングされるディスプレイを含む、請求項２に記載の方法。

【請求項4】

前記セカンダリシステムの前記ディスプレイは、前記ターゲットディスプレイと比較して同じ又は異なるディスプレイ特性を持つ、請求項３に記載の方法。

【請求項5】

前記第１ダイナミックレンジはハイダイナミックレンジであり、前記第２ダイナミックレンジはスタンダードダイナミックレンジである、請求項１乃至４のいずれか一項に記載の方法。

【請求項6】

前記終了基準は、メタデータ更新反復の総回数を最大反復回数より少なく制限することを含む、請求項１乃至５のいずれか一項に記載の方法。

【請求項7】

前記外観一致指標は、ＶＭＡＦ（video multimethod assessment fusion metric）、ＳＳＩＭ（structural similarity index measure）、及びＨＤＲ－ＶＤＰ（HDR-visual difference predictor）のうちの１つを有する、請求項１乃至６のいずれか一項の方法。

【請求項8】

前記メタデータ最適化方法は、勾配降下法又はレーベンバーグ・マルカートアルゴリズムの一方を有する、請求項１乃至７のいずれか一項に記載の方法。

【請求項9】

前記入力画像に関する前記動的イメージメタデータは、前記入力画像のピクセル値の統計に基づくメタデータパラメータを有する、請求項１乃至８のいずれか一項に記載の方法。

【請求項10】

前記入力画像に関する前記動的イメージメタデータは、前記ターゲットディスプレイ上で前記入力画像を観察している間に計算された、調整されたメタデータパラメータを有する、請求項１乃至８のいずれか一項に記載の方法。

【請求項11】

ステップａの後に、前記マッピング画像に、前記ターゲットディスプレイに関する追加モデリング処理を適用して、改善マッピング画像を生成し、
ステップｂにて、前記外観一致指標を用いて前記入力画像と前記改善マッピング画像とを比較して、前記可視性相違値を生成する、
ことを更に有する請求項１乃至１０のいずれか一項に記載の方法。

【請求項12】

前記追加モデリング処理は、前記ターゲットディスプレイに関する電力制限、グローバル調光、又は画像エンハンスメント処理を有する、請求項１１に記載の方法。

【請求項13】

ステップａの後に、前記マッピング画像を前記ターゲットディスプレイにレンダリングして、レンダリング画像を生成するとともに、該レンダリング画像をカメラでキャプチャして、キャプチャ画像を生成し、
ステップｂにて、前記外観一致指標を用いて前記入力画像と前記キャプチャ画像とを比較して、前記可視性相違値を生成する、
ことを更に有する請求項１乃至１０のいずれか一項に記載の方法。

【請求項14】

プロセッサを有し、請求項１乃至１３のいずれか一項に記載の方法を実行するように構成された装置。

【請求項15】

請求項１乃至１３のいずれか一項に記載の方法を１つ以上のプロセッサで実行するためのコンピュータ実行可能命令を格納した非一時的コンピュータ読み取り可能記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

この出願は、２０２０年８月１７日に出願された米国仮出願第６３／０６６，６６３号及び２０２０年８月１７日に出願された欧州特許出願第２０１９１２６９．８号に対する優先権を主張するものであり、これらの各々をその全体にてここに援用する。

【0002】

本発明は概して画像に関する。より具体的には、本発明の一実施形態は、ビデオシーケンス及び静止画像に対して動的メタデータを生成することに関する。

【背景技術】

【0003】

ここで使用されるとき、用語‘ダイナミックレンジ’（ＤＲ）は、例えば最も暗い灰色（黒）から最も明るい白（ハイライト）まで、画像における強度（例えば、輝度、ルマ）の範囲を知覚する人間の視覚系（human visual system；ＨＶＳ）の能力に関するとし得る。この意味で、ＤＲは‘シーン参照’強度に関する。ＤＲはまた、特定の幅の強度範囲を十分又は適切にレンダリングするディスプレイ装置の能力にも関し得る。この意味で、ＤＲは‘ディスプレイ参照’強度に関する。ここでの記載のいずれかの時点において特定の意味を持つとして特定の意味が明示的に規定されない限り、この用語は、例えば交換可能に、いずれの意味でも使用され得ると推測されるべきである。

【0004】

ここで使用されるとき、ハイダイナミックレンジという用語は、人間の視覚系（ＨＶＳ）の１４－１５桁の大きさに及ぶＤＲ幅に関係する。実際には、人間がその強度範囲内の広い範囲を同時に知覚できるＤＲは、ＨＤＲに対して幾分切り捨てられてしまい得る。ここで使用されるとき、ビジュアルダイナミックレンジ（ＶＤＲ）又はエンハンストダイナミックレンジ（ＥＤＲ）という用語は、個別に、あるいは交換可能に、目の動きを含んでシーン又は画像にわたっての光順応変化を可能にする人間の視覚系（ＨＶＳ）によってシーン又は画像内で知覚可能なＤＲに関し得る。ここで使用されるとき、ＶＤＲは、５－６桁の大きさのＤＲに関係し得る。従って、ＨＤＲとされる真のシーンに対して幾分狭くなり得るが、ＶＤＲ又はＥＤＲはそれでも広いＤＲ幅を表し、ＨＤＲとも称され得る。

【0005】

実際には、画像は１つ以上の色成分（例えば、ルマＹとクロマＣｂ及びＣｒ）を有し、各色成分が、ピクセル当たりｎビットの精度（例えば、ｎ＝８）で表される。例えば、ガンマルミナンスコーディングを用いると、ｎ≦８の画像（例えば、カラーの２４ビットＪＰＥＧ画像）はスタンダードダイナミックレンジの画像とみなされ、ｎ≧１０の画像はエンハンストダイナミックレンジの画像とみなされ得る。ＨＤＲ画像はまた、例えばIndustrial Light and Magicによって開発されたＯｐｅｎＥＸＲファイルフォーマットなどの、高精度（例：１６ビット）浮動小数点フォーマットを用いて保存及び配布され得る。

【0006】

大抵の消費者向けデスクトップディスプレイは、現在、２００－３００ｃｄ／ｍ^２又はニットの輝度をサポートしている。大抵の消費者向けＨＤＴＶは３００－５００ニットの範囲に及び、新しいモデルは１，０００ニット（ｃｄ／ｍ^２）に達している。そのような従来ディスプレイは、このように、ＨＤＲとの関係でスタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる、低めのダイナミックレンジ（ＬＤＲ）を典型とする。キャプチャ機器（例えば、カメラ）とＨＤＲディスプレイ（例えば、ドルビーラボラトリーズ社からのＰＲＭ－４２００プロフェッショナルリファレンスモニタ）との両方の進歩により、ＨＤＲコンテンツの利用可能性が増大するにつれて、ＨＤＲコンテンツは、カラーグレード化され、より高いダイナミックレンジ（例えば、１，０００ニットから５，０００ニット以上）をサポートするＨＤＲディスプレイ上に表示されることになり得る。

【0007】

ここで使用されるとき、用語“メタデータ”は、コーディングされたビットストリーム又はシーケンスの一部として伝送される補助情報に関係し、デコーダが復号した画像をレンダリングするのを支援する。そのようなメタデータは、以下に限られないが、ここに記載されるもののような、色空間又は色域情報、リファレンスディスプレイパラメータ、及び補助信号パラメータを含み得る。メタデータは、“静的”又は“動的”として特徴付けられることができる。静的メタデータの例は、例えばビデオコンテンツをマスタリングする際に使用されるディスプレイの原色、ホワイトポイント、及び輝度範囲などの、マスタリングディスプレイに関係するパラメータを含む（参考文献［１］）。動的メタデータの例は、デコーダがターゲットディスプレイ上にビットストリームを表示するために使用する、ピクチャフレームの最小、平均、最大の輝度若しくはＲＧＢ値、トリムパスデータ、トーンマッピングパラメータを含む（参考文献［２］）。ここで発明者によって認識されたように、既存及び将来の表示スキームを改善するためには、ビデオシーケンスに対して、特に、限定ではないが、ＨＤＲビデオに対して、ピクチャメタデータを生成するための改善された技術が必要である。

【0008】

このセクションに記載されたアプローチは、先に進められ得るアプローチであり、必ずしもこれまでに考案又は追求されたアプローチではない。従って、別段の断りがない限り、このセクションに記載されたアプローチのいずれも、それらがこのセクションに含まれていることのみを理由にして従来技術をなすと想定されるべきでない。同様に、１以上のアプローチに関して特定された問題は、別段の断りがない限り、このセクションに基づいて、何らかの従来技術において認識されていたと想定されるべきでない。

【図面の簡単な説明】

【0009】

同様の要素は似通った参照符号で指す添付図面の図に、限定としてではなく例として本発明の一実施形態を示す。

【図1】ビデオ配信パイプラインのプロセス例を示している。

【図2】本発明の一実施形態に従った動的ピクチャメタデータを生成するためのプロセスフロー例を示している。

【発明を実施するための形態】

【0010】

動的ピクチャメタデータを生成する方法及びシステムが記述される。以下の説明では、説明の目的で、本発明の完全なる理解を提供するために数多くの具体的詳細が説明される。しかし、明らかなことには、本発明はそれらの具体的詳細を用いずに実施されてもよい。また、本発明をいたずらに塞いだり不明瞭にしたり難読化したりしないために、周知の構造や装置を徹底的な詳細さで説明することはしない。

【0011】

概要
ここに記載される実施形態例は、動的メタデータを生成する方法及びシステムに関する。プロセッサが、マスタリングディスプレイ上でマスタリングされた第１ダイナミックレンジ（例えば、ＨＤＲ又はＳＤＲ）のビデオピクチャのシーケンスと、初期ダイナミックイメージメタデータとを受信し、ピクチャメタデータは、マスタリングディスプレイとは異なり得るターゲットディスプレイ上にビデオピクチャを表示することを可能にするためのシンタックスパラメータを有する。
プロセッサは、
ａ）ディスプレイマッピングプロセスを適用して、入力画像を、第２ダイナミックレンジのマッピング画像へとマッピングし、ディスプレイマッピングプロセスは、動的イメージメタデータ、及びターゲットディスプレイのディスプレイ特性を考慮に入れるものであり、
ｂ）外観一致指標（appearance matching metric）を用いて入力画像とマッピング画像とを比較して、可視性相違値（visibility difference value）を生成し、
可視性相違値が閾値より大きい場合には、
ｃ）動的イメージメタデータにメタデータ最適化方法を適用することで、可視性相違値を減らし、更新イメージメタデータを生成し、
ｄ）動的イメージメタデータを更新イメージメタデータで置換し、
終了基準まで、別のメタデータ更新反復のためにステップａに戻り、
そうでない場合には、入力画像と動的イメージメタデータとを有する出力を生成する。

【0012】

ハイダイナミックレンジビデオ向けのメタデータ
信号のビデオコーディング
図１は、 図１Ａは、映像キャプチャから映像コンテンツ表示までの様々な段階を示す、映像配信パイプライン（１００）のプロセス例を示している。画像生成ブロック（１０５）を用いて、映像フレーム（１０２）のシーケンスがキャプチャ又は生成される。映像フレーム（１０２）は、（例えば、デジタルカメラによって）デジタル的にキャプチャされて、あるいは（例えば、コンピュータアニメーションを用いて）コンピュータによって生成されて、映像データ（１０７）を提供し得る。あるいは、映像フレーム（１０２）は、フィルムカメラによってフィルム上にキャプチャされてもよい。フィルムがデジタルフォーマットに変換されて、映像データ（１０７）を提供する。制作フェーズ（１１０）にて、映像データ（１０７）が編集されて、映像制作ストリーム（１１２）を提供する。

【0013】

次いで、制作ストリーム（１１２）の映像データが、制作後の編集のために、ブロック（１１５）にてプロセッサに提供される。ブロック（１１５）の制作後編集は、映像制作者の創作意図に従って画像の質を高めたり特定の見た目の画像を達成したりするために、映像の特定の領域内の色又は輝度を調整又は修正することを含み得る。これは、“カラータイミング”又は“カラーグレーディング”と呼ばれることもある。これはまた、フレーム／ピクチャレートリサンプリングを含み得る。他の編集（例えば、シーン選択及びシーケンス化、画像クロッピング、コンピュータ生成した視覚的特殊効果の付加、可変フレームレートシーケンシングなど）をブロック（１１５）で実行してもよく、配信のための最終版の制作物（１１７）を産み出すことができる。制作後編集（１１５）の間、リファレンス又はマスタリングディスプレイ（１２５）上でビデオ画像が眺められる。

【0014】

ポスト制作（１１５）に続いて、最終制作物（１１７）の映像データが、例えばテレビジョンセット、セットトップボックス、映画館などの復号再生装置へのダウンストリーム配信のために、符号化ブロック（１２０）に送達され得る。一部の実施形態において、符号化ブロック（１２０）は、符号化ビットストリーム（１２２）を生成するために、例えばＡＴＳＣ、ＤＶＢ、ＤＶＤ、Ｂｌｕ－Ｒａｙ（登録商標）、及び他の配信フォーマットによって定義されるものなどの、オーディオビデオエンコーダを含み得る。受信器にて、符号化ビットストリーム（１２２）が復号ユニット（１３０）によって復号されて、信号（１１７）と同一もの又はそれをよく近似したものを表す復号信号（１３２）を生成する。受信器は、リファレンスディスプレイ（１２５）とは全く異なる特性を持ち得るターゲットディスプレイ（１４０）に取り付けられることがある。その場合、ディスプレイ管理ブロック（１３５）を使用して、ディスプレイマッピングされた信号（１３７）を生成することによって、復号信号（１３２）のダイナミックレンジ又はフレームレートをターゲットディスプレイ（１４０）の特性にマッピングし得る。

【0015】

エコシステム１００を所与として、画像処理パイプラインの様々な段階、特にディスプレイ管理プロセス（１３５）における信号処理をガイドするために、ピクチャメタデータが含められる。例えば、参考文献［２］に記載されるように、限定ではないが、Ｄｏｌｂｙ Ｖｉｓｉｏｎハイダイナミックレンジパイプラインの用語を用いるに、ピクチャメタデータは以下のパラメータのうちの１つ以上を含み得る。

【0016】

Ｌ１メタデータであり、これは、ソースビデオデータ１２２の１つ以上のシーンを表す最小（“ｃｒｕｓｈ”）、中間調（“ｍｉｄ”）、及び最大（”ｃｌｉｐ”）の輝度又はＲＧＢ値をそれぞれ表すｍｉｎ、ｍｉｄ、及びｍａｘのような量を含み得る。

【0017】

Ｌ２メタデータであり、これは、基準ダイナミックレンジを持つリファレンスディスプレイ１２５を備えた制作スタジオで、ディレクター、カラーグレーダー、ビデオ専門家などに由来するビデオ特性調整に関する情報を提供及び／又は記述する。

【0018】

Ｌ３メタデータであり、これは、リファレンスディスプレイ１２５の基準ダイナミックレンジとは異なる第２の基準ダイナミックレンジを持つ例えばターゲットディスプレイ１４０などの第２のリファレンスディスプレイを備えた制作スタジオで、ディレクター、カラーグレーダー、ビデオ専門家などに由来するビデオ特性調整に関する情報を提供及び／又は記述する。Ｌ３メタデータは、例えば、それぞれ（Ｌ１）量ｍｉｎ、ｍｉｄ、及びｍａｘからのオフセットであるΔｍｉｎ、Δｍｉｄ、及びΔｍａｘなどの、Ｌ１メタデータからのオフセット又は調整を含み得る。

【0019】

Ｌ４メタデータであり、これは、グローバルな調光処理に関する情報を提供又は記述する。Ｌ４メタデータは、前処理中にエンコーダによって計算され得るとともに、ＲＧＢ原色を用いて計算され得る。一例において、Ｌ４メタデータには、毎フレームベースでディスプレイパネルのグローバルなバックライト輝度レベルを指示するデータが含み得る。

【0020】

例えばＬ１１メタデータなどの、生成される他のメタデータが、例えば映画コンテンツ、コンピュータゲームコンテンツ、スポーツコンテンツ、及びこれらに類するものなどの、ビデオデータのソースを特定するために使用される情報を提供又は記述し得る。このようなメタデータは更に、例えば意図されたホワイトポイント、シャープネス、及びこれらに類するものなどの、意図されたピクチャ設定を提供又は記述し得る。

【0021】

典型的に、このようなメタデータは、以下を含む多様な手法で生成される：
ａ． コンテンツに従ってプリセット値を手動で指定（例えば、：Ｌ１１内の“ゲーム”）
ｂ． 入力ビデオフレーム単位で解析し、画像の明るさ及び色の統計に基づいてメタデータを計算することによって自動で（例えば、ＬＩのｍｉｎ、ｍｉｄ、ｍａｘ値）
ｃ． 例えば、１つ以上のモニタ上で結果を観察しながらメタデータ値（例えば、“トリムパス”Ｌ２メタデータ）を調整することによって、半手動又は半自動で。

【0022】

デコーダによってコンテンツ１３２が受信されると、ターゲットディスプレイ１４０を所与として、ディスプレイ管理プロセス１３５によってコンテンツが処理され、それにより、ターゲットディスプレイ上での最適化されたレンダリングのために、到着したメタデータによって規定された画像特性を調整する。ディスプレイ管理プロセスの例は、参考文献［３－５］に見出すことができ、以下を含む多様な画像処理演算を含み得る：
・ 前処理及び後処理の色変換（例えば、ＹＣｂＣｒ又はＲＧＢからＩＣｔＣｐへ）
・ 画像スケーリング
・ トーンマッピング
・ 彩度制御
・ カラーボリュームマッピング
・ トリムパス制御、及び
・ 周辺光調整。

【0023】

実施形態例は、ディスプレイレンダリングプロセスを改善するために、動的ピクチャメタデータの生成を改善する。ここに記述される実施形態は、主として、メタデータを生成するための自動化された方法に適用されるが、例えばトリムパスメタデータを調整するための、半手動又は半自動の方法にも適用可能であり得る。

【0024】

図２は、一実施形態に従った動的ピクチャメタデータを生成するプロセス例（２００）を示している。図２に示すように、入力画像又は画像シーケンス２０５を与えられて、ステップ２１０で、既知の手動、自動、又は半自動のメタデータ生成技術に基づいてメタデータの初期セットを生成する。次に、ステップ２１５にて、ターゲットディスプレイ、入力画像（２０５）、及び関連メタデータ（例えば、ステップ２１０からの初期メタデータ又はステップ２３５からの更新メタデータ（２３７））を所与として、好ましくは下流のデコーダによって使用されるものと同様のものであるディスプレイ管理プロセスを入力画像に適用することで、マッピングされた画像（マッピング画像）（２１７）を生成する。次に、ステップ２２０にて、適切な外観一致指標又は視覚的差異品質指標を用いてオリジナル画像（２０５）とマッピング画像（２１７）とを比較する。ここでの目的は、模擬した人間の観察者に従って、オリジナル画像とマッピング画像とが互いにどれだけ同等であるかをシミュレーションすることである。典型的に、指標によって返される誤差が小さいほど、予測される視覚的差異が小さく、より良く一致する。限定するものではないが、このような視覚的な品質指標の例は、ＶＭＡＦ（video multimethod assessment fusion metric）（参考文献［６］）、ＳＳＩＭ（structural similarity index measure）（参考文献［７］）、及びＨＤＲ－ＶＤＰ（HDR-visual difference predictor）（参考文献［８］）を含む。

【0025】

比較されている２つの画像は、異なるカラーボリューム（例えば、ダイナミックレンジ及び色域）並びに異なる解像度若しくはフレームレートを持ち得るので、好適な画像品質指標は、これらの違いにかかわらず、これら２つの画像間の外観一致を予測できるべきである。

【0026】

ステップ２３０にて、反復プロセスを終了する必要があるかの決定を行う必要がある。例えば、マッチングの差が特定の閾値より小さい場合、又は最大量の時間若しくは反復に達した場合に、このプロセスは終了し得る。終了決定が行われた場合には、最終的なメタデータが出力され（２４０）、そうでない場合には、ステップ２３５にて、更新されたメタデータ（更新メタデータ）（２３７）が生成され得る。

【0027】

特定の画像品質指標を所与として、メタデータ更新ステップ（２３７）は、例えば勾配降下法、レーベンバーグ・マルカートアルゴリズム（Levenberg-Marquardt）アルゴリズム、及びこれらに類するものなどの、既知の最適化技術を用いて実装され得る。動的イメージメタデータにメタデータ最適化方法を適用して、可視性相違値を減らし、更新イメージメタデータを生成することが意味するのは、動的イメージメタデータが、低減された可視性相違値を持つ更新イメージメタデータで置換されるということである。可視性相違値を減らす更新メタデータを特定するのがメタデータ最適化方法である。可視性相違値は、外観一致指標を用いて入力画像とマッピング画像とを比較することによって生成される。

【0028】

一実施形態において、一部のメタデータタイプ（例えばＬ２など）について、多様なターゲットディスプレイに対して異なるメタデータが計算され得る。このようなシナリオでは、上述のプロセスを各ターゲットディスプレイに対して複製することができ、異なるディスプレイ環境をターゲットとするビットストリームは異なるメタデータセットを組み込み得る。

【0029】

他の一実施形態において、マッピング画像（２１７）は更に、改善マッピング画像を生成するために、電力制限、グローバル調光、画像エンハンスメント、及びこれらに類するものを含むターゲットディスプレイの追加モデリング処理によって処理されることができ、入力画像との比較ステップ（ステップ２２０）において、マッピング画像（２１７）の代わりに該改善マッピング画像が使用され得る。このプロセスは、ディスプレイ管理プロセスの一部だけではないターゲットディスプレイの特定のディスプレイ処理を考慮に入れたメタデータをもたらす。

【0030】

他の一実施形態において、生成されたマッピング画像（２１７）がディスプレイ装置（例えば、ターゲットディスプレイ）上にレンダリングされ得る。次いで、ディスプレイ装置上に示された画像が、較正されたデジタルカメラによってキャプチャされて、較正されたキャプチャ画像を生成することができ、そして、入力画像との比較ステップ（ステップ２２０）において、マッピング画像（２１７）の代わりに該較正されたキャプチャ画像が使用され得る。このプロセスは、さもなければディスプレイ管理プロセスだけでも改善マッピング画像でも模倣するのが非常に困難であり得るターゲットディスプレイの表示特性とリファレンスディスプレイとの間で外観を保持するように最適化されたメタデータをもたらす。

【0031】

他の一実施形態において、出力は、ネットワーク上で、当該出力を生成することに使用されるプライマリシステムの外部のセカンダリシステムに伝送される。セカンダリシステムは、入力画像及び動的イメージメタデータを用いて画像がレンダリングされるディスプレイを有し得る。セカンダリシステムのディスプレイは、ターゲットディスプレイと比較して同じ又は異なるディスプレイ特性を持ち得る。入力画像と動的イメージメタデータとを出力として提供することの考え得る利点は、この出力を広範なディスプレイに送ることができることである。そして、デコーダは、実際のディスプレイに応じて、最適化されたメタデータを入力画像にどのように適用すべきかを決めることができる。

【0032】

これらの参考文献の各々をその全体にてここに援用する。
参考文献
［１］“Mastering display color volume metadata supporting high luminance and wide color gamut images”，SMPTE ST 2086:2014，The Society of Motion Picture and Television Engineers，2014
［２］A.K.A.Choudhury，et al.，“Tone curve optimization method and associated video”，PCT Application，PCT/US2018/049585，filed on Sept．05，2018，published as WO2019/050972 (March 14，2019)
［３］R.Atkins，“Display management for high dynamic range video”，U.S. Patent 9,961,237
［４］J.A.Pytlarz，et al.，“Ambient light-adaptive display management”，U.S Patent Application Publication 2019/0304379，Oct. 3，2019
［５］R.Atkins，et al.，“Display management for high dynamic range images”，PCT Application PCT/US2020/028552，filed on April 16, 2020
［６］R.Rassool，“VMAF reproducibility: Validating a perceptual practical video quality metric”，2017 IEEE international symposium on broadband multimedia systems and broadcasting (BMSB)，IEEE，2017
［７］Z.Wang，et al.，“Image quality assessment: from error visibility to structural similarity”，IEEE transactions on image processing 13.4 (2004): 600-612
［８］R.Mantiuk，et al.，“HDR-VDP-2: A calibrated visual metric for visibility and quality predictions in all luminance conditions”，ACM Transactions on graphics (TOG) 30.4 (2011): 1-14

【0033】

コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路及びコンポーネントにて構成されたシステム、例えばマイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）や他のコンフィギュラブル若しくはプログラマブルロジックデバイス（ＰＬＤ）、離散時間若しくはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、及び／又はそのようなシステム、デバイス若しくはコンポーネントのうちの１つ以上を含む装置で実装され得る。コンピュータ及び／又はＩＣは、例えばここに記述されたものなどの動的ピクチャメタデータを生成することに関する命令を遂行、制御、又は実行することができる。コンピュータ及び／又はＩＣは、ここに記述された動的ピクチャメタデータを生成することに関する多様なパラメータ又は値のうちのいずれかを計算することができる。画像及びビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、及びこれらの様々な組み合わせで実装され得る。

【0034】

本発明の特定の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを有する。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ、又はこれらに類するもの内の１つ以上のプロセッサが、当該プロセッサがアクセス可能なプログラムメモリ内のソフトウェア命令を実行することによって、上述の動的ピクチャメタデータを生成することに関する方法を実施し得る。本発明はまた、プログラムプロダクトの形態で提供されることもできる。当該プログラムプロダクトは、データプロセッサによって実行されるときに該データプロセッサに本発明の方法を実行させる命令を有するコンピュータ読み取り可能信号のセットを担持する有形で非一時的な媒体を有し得る。本発明に従ったプログラムプロダクトは、多種多様な形態のうちのいずれであってもよい。当該プログラムプロダクトは、例えば、フロッピーディスク（登録商標）、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体、又はこれらに類するものなどの、物理的媒体を有し得る。当該プログラムプロダクト上のコンピュータ読み取り可能信号はオプションで圧縮又は暗号化され得る。

【0035】

上でコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）が言及される場合、別段の断りがない限り、そのコンポーネントへの言及（“手段”への言及を含む）は、そのコンポーネントに均等なものとして、本発明の例示された実施形態例における機能を実行する開示構造に構造的には等価でないコンポーネントを含め、記載されるコンポーネントの機能を実行する任意のコンポーネント（例えば、それは機能的に等価である）を含むものと解釈されるべきである。

【0036】

均等、拡張、代替、及び寄せ集め
動的ピクチャメタデータを生成することに関する実施形態を斯く説明した。以上の明細書では、本発明の実施形態を、実装ごとに変わり得る数多くの具体的詳細を参照して説明している。従って、何が発明であるのか及び出願人によって何が発明であると意図されているのかを唯一排他的に示すものは、この出願に由来する請求項のセットであり、それら請求項が由来する具体的な形態において、その後の訂正を含む。それら請求項に含まれる用語についてここに明示的に記載された定義は、請求項に使用されるそれら用語の意味を支配する。従って、請求項に明示的に記載されていない制限、要素、特性、特徴、利点又は属性は、請求項の範囲を如何様にも限定すべきでない。従って、明細書及び図面は、限定的な意味ではなく例示的な意味で見られるべきである。

【0037】

本発明の様々な態様が、以下の列挙実施形態例（enumerated example embodiment；ＥＥＥ）から理解され得る：
１． プロセッサで動的ピクチャメタデータを生成する方法であって、
第１ダイナミックレンジの入力画像と動的イメージメタデータとを受信し、前記入力画像はマスタリングディスプレイ上でマスタリングされており、
ａ）ディスプレイマッピングプロセスを適用して、前記入力画像を、第２ダイナミックレンジのマッピング画像へとマッピングし、前記ディスプレイマッピングプロセスは、前記動的イメージメタデータ、及び前記マスタリングディスプレイとは異なるターゲットディスプレイのディスプレイ特性を考慮に入れるものであり、
ｂ）外観一致指標を用いて前記入力画像と前記マッピング画像とを比較して、可視性相違値を生成し、
前記可視性相違値が閾値より大きい場合には、
ｃ）前記動的イメージメタデータにメタデータ最適化方法を適用することで、前記可視性相違値を減らし、更新イメージメタデータを生成し、
ｄ）前記動的イメージメタデータを前記更新イメージメタデータで置換し、
終了基準まで、別のメタデータ更新反復のためにステップａに戻り、
そうでない場合には、前記入力画像と前記動的イメージメタデータとを有する出力を生成する、
ことを有する方法。
２． 前記第１ダイナミックレンジはハイダイナミックレンジであり、前記第２ダイナミックレンジはスタンダードダイナミックレンジである、ＥＥＥ１の方法。
３． 前記終了基準は、メタデータ更新反復の総回数を最大反復回数より少なく制限することを含む、ＥＥＥ１又は２の方法。
４． 前記外観一致指標は、ＶＭＡＦ（video multimethod assessment fusion metric）、ＳＳＩＭ（structural similarity index measure）、及びＨＤＲ－ＶＤＰ（HDR-visual difference predictor）のうちの１つを有する、ＥＥＥ１乃至３のいずれか一の方法。
５． 前記メタデータ最適化方法は、勾配降下法又はレーベンバーグ・マルカートアルゴリズムの一方を有する、ＥＥＥ１乃至４のいずれか一の方法。
６． 前記入力画像に関する前記動的イメージメタデータは、前記入力画像のピクセル値の統計に基づくメタデータパラメータを有する、ＥＥＥ１乃至５のいずれか一の方法。
７． 前記入力画像に関する前記動的イメージメタデータは、前記ターゲットディスプレイ上で前記入力画像を観察している間に計算された、調整されたメタデータパラメータを有する、ＥＥＥ１乃至５のいずれか一の方法。
８． ステップａの後に、前記マッピング画像に、前記ターゲットディスプレイに関する追加モデリング処理を適用して、改善マッピング画像を生成し、
ステップｂにて、前記外観一致指標を用いて前記入力画像と前記改善マッピング画像とを比較して、前記可視性相違値を生成する、
ことを更に有するＥＥＥ１乃至７のいずれか一の方法。
９． 前記追加モデリング処理は、前記ターゲットディスプレイに関する電力制限、グローバル調光、又は画像エンハンスメント処理を有する、ＥＥＥ８の方法。
１０． ステップａの後に、前記マッピング画像を前記ターゲットディスプレイにレンダリングして、レンダリング画像を生成するとともに、該レンダリング画像をカメラでキャプチャして、キャプチャ画像を生成し、
ステップｂにて、前記外観一致指標を用いて前記入力画像と前記キャプチャ画像とを比較して、前記可視性相違値を生成する、
ことを更に有するＥＥＥ１乃至７のいずれか一の方法。
１１． プロセッサを有し、ＥＥＥ１乃至１０のいずれか一の方法を実行するように構成された装置。
１２． ＥＥＥ１乃至１０のいずれか一の方法を１つ以上のプロセッサで実行するためのコンピュータ実行可能命令を格納した非一時的コンピュータ読み取り可能記憶媒体。

【図1】

【図2】

【国際調査報告】