特表 2024-527025 画像のダイナミックレンジ変換及び表示管理のためのニューラルネットワーク

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-19

(54)【発明の名称】画像のダイナミックレンジ変換及び表示管理のためのニューラルネットワーク

(51)【国際特許分類】

   H04N 5/20 20060101AFI20240711BHJP

   G06T 5/60 20240101ALI20240711BHJP

【ＦＩ】

H04N5/20

G06T5/60

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024504814

(86)(22)【出願日】2022-07-22

(85)【翻訳文提出日】2024-01-25

(86)【国際出願番号】 US2022037991

(87)【国際公開番号】W WO2023009392

(87)【国際公開日】2023-02-02

(31)【優先権主張番号】21188516.5

(32)【優先日】2021-07-29

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】63/226,847

(32)【優先日】2021-07-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇 利明

(72)【発明者】

【氏名】ワナット，ロバート

(72)【発明者】

【氏名】チョードゥリー，アヌスタプ クマール アタヌ

(72)【発明者】

【氏名】アトキンズ，ロビン

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057AA20

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CE11

5B057DA16

5B057DB02

5B057DB09

(57)【要約】

標準ダイナミックレンジ（ＳＤＲ）画像から高ダイナミックレンジ（ＨＤＲ）表示へのダイナミックレンジの変換及び表示マッピングのための方法及びシステムが記載されている。ＳＤＲ入力画像を考えると、プロセッサは強度（輝度）画像と、任意に、ベースレイヤ画像及びディテールレイヤ画像とを生成する。第１ニューラルネットワークは強度画像を使用して、より高いダイナミックレンジでのＳＤＲ画像の統計を予測する。これらの予測統計は、入力画像の元の画像統計とともに、入力されたＳＤＲ画像をＨＤＲ表示マッピングするための最適なトーンマッピング曲線を導出するために使用される。任意に、第２ニューラルネットワークは、強度画像及びディテールレイヤ画像を用いて、より高いダイナミックレンジへのベースレイヤ画像のトーンマッピングを強化するために、より高いダイナミックレンジで残差ディテールレイヤ画像を生成することができる。

【特許請求の範囲】

【請求項1】

ダイナミックレンジ変換及び表示マッピングの方法であって、
第１ダイナミックレンジ及び第１空間分解能での入力画像にアクセスすることと、
前記入力画像に基づき強度画像を生成することと、
前記第１ダイナミックレンジよりも高い第２ダイナミックレンジでマッピングされるときの前記強度画像の予測統計を生成するよう前記強度画像を第１ニューラルネットワークに適用することと、
前記強度画像の統計及び前記予測統計に基づきトーンマッピング曲線を生成することと
を有する方法。

【請求項2】

前記入力画像及び前記トーンマッピング曲線に基づき、目標ダイナミックレンジによるディスプレイでの表示のために、マッピングされた出力画像を生成することを更に有する、
請求項１に記載の方法。

【請求項3】

前記第２ダイナミックレンジとは異なる目標ダイナミックレンジによりディスプレイで前記入力画像を表示するよう前記トーンマッピング曲線を適用することを更に有する、
請求項１に記載の方法。

【請求項4】

前記強度画像の前記統計は、前記第１ダイナミックレンジでの前記強度画像の強度値を含み、前記予測統計は、前記第２ダイナミックレンジでの予測強度値を含む、
請求項１に記載の方法。

【請求項5】

前記強度画像の前記統計は、前記第１ダイナミックレンジでの前記強度画像の最小強度値、平均強度値、及び最大強度値を含み、前記予測統計は、前記第２ダイナミックレンジでの予測最小強度値、予測平均強度値、及び予測最大強度値を含む、
請求項１に記載の方法。

【請求項6】

前記第１ニューラルネットワークは４つのレイヤを含み、
最初のレイヤは、サイズが３×３×１×４であり、ストライドが２であり、バイアスが４つある第１フィルタバンクと、それに続く第１正規化線形ユニット（ＲｅＬＵ）活性化関数とを含み、
２番目のレイヤは、サイズが３×３×１×８であり、ストライドが２であり、バイアスが８つある第２フィルタバンクと、それに続く第２ＲｅＬＵとを含み、
３番目のレイヤは、サイズが７×７×２×１６であり、ストライドが５であり、バイアスが１６個ある第３フィルタバンクと、それに続く第３ＲｅＬＵとを含み、
４番目のレイヤは、サイズが４８×２７×１６×３であり、全結合されており、バイアスが３つある第４フィルタバンクと、第２ダイナミックレンジでマッピングされるときの前記強度画像の前記予測統計を表す１つの１×３出力とを含む、
請求項１に記載の方法。

【請求項7】

前記強度画像に基づいてベースレイヤ画像及びディテールレイヤ画像を生成することと、
トーンマッピングされたベースレイヤ画像を前記第２ダイナミックレンジで生成するよう前記トーンマッピング曲線を前記ベースレイヤ画像に適用することと
を更に有する、請求項１に記載の方法。

【請求項8】

前記ベースレイヤ画像は、前記強度画像の空間的にブラーされた、エッジ保存されたバージョンを表し、
前記ディテールレイヤ画像を生成することは、

Ｉ_ＤＬ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）－Ｉ_ＢＬ（ｘ，ｙ）＊ｄｇ

を計算することを含み、ここで、ピクセル位置（ｘ，ｙ）において、Ｉ_ＤＬは前記ディテールレイヤ画像を表し、Ｉ_ＢＬは前記ベースレイヤ画像を表し、Ｉは前記強度画像を表し、ｄｇは［０，１］内のディテール－ゲインスカラーを表す、
請求項７に記載の方法。

【請求項9】

出力画像を前記第２ダイナミックレンジで生成するよう前記ディテールレイヤ画像を前記トーンマッピングされたベースレイヤ画像に加えることを更に有する、
請求項７に記載の方法。

【請求項10】

残差レイヤ画像を前記第２ダイナミックレンジで生成するよう前記強度画像及び前記ディテールレイヤ画像を第２ニューラルネットワークに適用することと、
第２ディテールレイヤ画像を生成するよう前記残差レイヤ画像を前記ディテールレイヤ画像に加えることと、
出力画像を前記第２ダイナミックレンジで生成するよう前記第２ディテールレイヤ画像を前記トーンマッピングされたベースレイヤ画像に加えることと
を更に有する、請求項７に記載の方法。

【請求項11】

前記第２ニューラルネットワークは、入力畳み込みネットワーク、それに続く５つの残差ネットワーク（ＲｅｓＮｅｔ）ブロック、それらに続く最終のＲｅＬＵ及び出力畳み込みネットワークを含む、
請求項１０に記載の方法。

【請求項12】

前記入力畳み込みネットワークは、
Ｍ×Ｎ×２入力と、
３×３×２×３２、ストライド１、バイアスなしのフィルタバンクと、
Ｍ×Ｎ×３２出力と、を有し、
前記出力畳み込みネットワークは、
Ｍ×Ｎ×３２入力と、
３×３×３２×１、ストライド１、バイアスなしのフィルタバンクと、
Ｍ×Ｎ×１出力と、を有し、
ここで、Ｍ及びＮは整数である、
請求項１１に記載の方法。

【請求項13】

残差ネットワーク（ＲｅｓＮｅｔ）ブロックは、第１ＲｅＬＵと、それに続く第１畳み込みレイヤと、それに続く第２ＲｅＬＵと、それに続く第２畳み込みレイヤと、それに続く加算器とを含み、前記加算器は、ＲｅｓＮｅｔ出力を生成するよう、当該ＲｅｓＮｅｔブロックへの入力を前記第２畳み込みレイヤの出力と加算し、
前記第１畳み込みレイヤ及び前記第２畳み込みレイヤの夫々が、バイアスがなく且つストライドが１である３×３×３２×３２フィルタバンクを備えている、
請求項１１に記載の方法。

【請求項14】

前記第２ダイナミックレンジとは異なる目標ダイナミックレンジでディスプレイに前記出力画像をマッピングするよう表示マッピングプロセスを適用することを更に有する、
請求項９に記載の方法。

【請求項15】

前記強度画像を前記第１ニューラルネットワークに適用する前に、前記強度画像の前記第１空間分解能を低減させることを更に有する、
請求項１に記載の方法。

【請求項16】

プロセッサを有し、請求項１乃至１５のうちいずれか一項に記載の方法を実行するよう構成される装置。

【請求項17】

請求項１乃至１５のうちいずれか一項に記載の方法を１つ以上のプロセッサにより実行するためのコンピュータ実行可能命令を記憶している非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は概して画像に関係がある。より具体的には、本発明の実施形態は、高ダイナミックレンジ（Ｈｉｇｈ－Ｄｙｎａｍｉｃ Ｒａｎｇｅ，ＨＤＲ）表示への標準ダイナミックレンジ（Ｓｔａｎｄａｒｄ－Ｄｙｎａｍｉｃ Ｒａｎｇｅ，ＳＤＲ）のダイナミックレンジ変換及び表示管理に関係がある。

【背景技術】

【0002】

本明細書で使用されるように、「ダイナミックレンジ」（Ｄｙｎａｍｉｃ Ｒａｎｇｅ，ＤＲ）という用語は、画像内の強さ（例えば、輝度、ルーマ）の範囲、例えば、最も暗い灰色（黒）から最も明るい白色（ハイライト）まで、を認知するための人間の視覚システム（Ｈｕｍａｎ Ｖｉｓｕａｌ Ｓｙｓｔｅｍ，ＨＶＳ）の能力に関係し得る。この意味で、ＤＲは、‘シーンを参照した’強さに関係がある。ＤＲはまた、特定の幅の強度範囲を適切に又は近似的にレンダリングする表示デバイスの能力にも関係し得る。この意味で、ＤＲは、‘表示を参照した’強さに関係がある。本明細書の説明のいずれかの時点で、特定の意味が特定の重要性を有すると明示的に指定されない限り、この用語はいずれの意味でも（例えば、同義的に）使用できると推測されるべきである。

【0003】

本明細書で使用されるように、「高ダイナミックレンジ」（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）の約１４～１５倍に及ぶＤＲ幅に関係がある。実際に、人間が広範囲の強度範囲を同時に知覚できるＤＲは、ＨＤＲと比較すると多少切り詰められる可能性がある。本明細書で使用されるように、「拡張ダイナミックレンジ」（Ｅｎｈａｎｃｅｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ，ＥＤＲ）又は「視覚ダイナミックレンジ」（Ｖｉｓｕａｌ Ｄｙｎａｍｉｃ Ｒａｎｇｅ，ＶＤＲ）という用語は、一部の光適応がシーン又は画像にわたって変化することを可能にする目の動きを含む人間の視覚システム（ＨＶＳ）によってシーン又は画像内で認知可能であるＤＲに個別に又は同義的に関係し得る。

【0004】

実際に、画像は１つ以上の色成分（例えば、ルーマＹ及びクロマＣｂとＣｒ）を含み、各色成分はピクセルごとにｎビット（例えば、ｎ＝８）によって表現される。例えば、ガンマ輝度コーディングを用いて、ｎ≦８である画像（例えば、カラー２４ビットＪＰＥＧ画像）は標準ダイナミックレンジの画像と見なされる一方で、ｎ≧１０である画像は拡張ダイナミックレンジの画像と見なされ得る。ＥＤＲ画像及びＨＤＲ画像はまた、インダストリアル・ライト＆マジックによって開発されたＯｐｅｎＥＸＲファイルフォーマットなどの、高精度（例えば、１６ビット）の浮動小数点フォーマットを用いて記憶及び分配されてもよい。

【0005】

本明細書で使用されるように、「メタデータ」という用語は、コーディングされたビットストリームの部分として伝送される任意の補助情報に関係があり、デコーダが復号化画像をレンダリングするのを支援する。そのようなメタデータには、本明細書で記載されているような、画像の最小輝度値、平均輝度値、及び最大輝度値、色空間又はガマット情報、参照表示パラメータ、及び補助信号パラメータが含まれるが、これらに限られない。

【0006】

ほとんどのコンシューマデスクトップは、２００から３００ｃｄ／ｍ^２又はｎｉｔの輝度を現在サポートしている。ほとんどのコンシューマＨＤＴＶは３００から５００ｎｉｔの範囲に及び、新しいモデルは１０００ｎｉｔ（ｃｄ／ｍ^２）に到達している。そのような従来のディスプレイはこのように、ＨＤＲ又はＥＤＲに対して、標準ダイナミックレンジ（ＳＤＲ）とも呼ばれる、より低いダイナミックレンジ（Ｌｏｗｅｒ Ｄｙｎａｍｉｃ ＲａｎｇｅＬＤＲ）を典型としている。ＨＤＲコンテンツの利用可能性が捕捉装置（例えば、カメラ）及びＨＤＲディスプレイ（例えば、ドルビー・ラボラトリからのＰＲＭ－４２００プロフェッショナル・リファレンス・モニタ）の両方の進歩により高まるにつれて、ＨＤＲコンテンツはカラーグレーディングされて、より高いダイナミックレンジ（例えば、１０００ｎｉｔから５０００ｎｉｔ又はそれ以上）をサポートするＨＤＲディスプレイで表示される可能性がある。一般に、制限なしに、本開示の方法は、ＳＤＲよりも高い任意のダイナミックレンジに関係がある。

【0007】

本明細書で使用されるように、「表示管理」という用語は、対象ディスプレイのためにピクチャをレンダリングするよう受信器で実行されるプロセスを指す。例えば、制限なしに、そのようなプロセスには、トーンマッピング、ガマットマッピング、色管理、フレームレート変換、などが含まれ得る。

【0008】

高ダイナミックレンジ（ＨＤＲ）コンテンツの作成及び再生は、ＨＤＲ技術が以前のフォーマットよりも現実的で実物に近い画像を提供するため、現在広く普及しつつある。しかし、レガシーコンテンツは標準ダイナミックレンジ（ＳＤＲ）でしか利用可能でないことがあり、ブロードキャストインフラストラクチャは、そのようなコンテンツを、ＨＤＲディスプレイの能力を最大限に活用するのに適したフォーマットに変換するためのメタデータを伝送することを許されないことがある。既存の表示スキームを改善するために、ここで本発明者によって認識されているように、ＨＲＤ表示へのＳＤＲ画像のアップコンバージョン及び表示管理のための改善された技術が開発されている。

【0009】

このセクションで記載されているアプローチは、追求され得るアプローチであるが、必ずしも以前より考案又は追求されてきたアプローチではない。従って、別なふうに述べられない限り、このセクションで記載されるアプローチのいずれも、単にこのセクションに含まれているというだけで従来技術として認定されると想定されるべきではない。同様に、１つ以上のアプローチに関して特定された問題は、別なふうに述べられない限り、このセクションに基づいていずれかの従来技術で認識されていると想定すべきではない。

【図面の簡単な説明】

【0010】

本発明の実施形態は、添付の図面の図の中で、限定としてではなく、一例として表されており、図中、同じ参照番号は、類似した要素を参照するものである。

【0011】

【図1】ビデオ配信パイプラインためのプロセスの例を表す。

【図2A】単一のニューラルネットワーク処理ユニットを含む本発明の第１実施例に係るダイナミックレンジアップコンバージョン及び表示管理パイプラインを表す。

【図2B】２つのニューラルネットワーク処理ユニットを含む本発明の第２実施例に係るダイナミックレンジアップコンバージョン及び表示管理パイプラインを表す。

【図3】本発明の実施例に係る、輝度メタデータを予測するためのニューラルネットワークアーキテクチャの例を表す。

【図4A】本発明の実施例に係る、ディテールレイヤ残差画像を予測するためにニューラルネットワークで使用される残差ニューラルネットワーク（ＲｅｓＮｅｔ）ブロック内の処理パイプラインを表す。

【図4B】本発明の実施例に係る、ディテールレイヤ残差画像を予測するためのニューラルネットワーク内の処理パイプラインを表す。

【発明を実施するための形態】

【0012】

ＨＤＲ表示へのＳＤＲ画像のダイナミックレンジ変換及び表示管理の方法が本明細書で記載される。以下の記載では、説明を目的として、多数の具体的な詳細が、本発明の完全な理解をもたらすように示されている。なお、本発明がこれらの具体的な詳細なによらずとも実施され得ることは明らかであろう。他の事例では、よく知られている構造及びデバイスは、本発明を不必要に遮蔽したり、不明りょうにしたり、又は難読化したりすることを避けるために、徹底的に詳細には記載されない。

【0013】

［概要］
本明細書で記載される例示的な実施形態は、ＨＤＲ表示へのＳＤＲ画像のダイナミックレンジ変換及び表示管理の方法に関係がある。実施形態で、プロセッサは、第１ダイナミックレンジ及び第１空間分解能で入力画像（２０２）を受け取る。プロセッサは、入力画像に基づき強度画像（２０７）を生成し、強度画像を第１ニューラルネットワーク（２１０）に適用して、第１ダイナミックレンジよりも高い第２ダイナミックレンジでマッピングされるときの強度画像の予測統計を生成し、強度画像の統計及び予測統計に基づきトーンマッピング曲線を生成（２１５）し、トーンマッピング曲線を適用して、入力画像を、第２ダイナミックレンジとは異なる目標ダイナミックレンジでディスプレイに表示する。実施形態で、ダイナミックレンジ変換及び表示マッピングの方法は、第１ダイナミックレンジ及び第１空間分解能での入力画像にアクセスすることと、入力画像に基づき強度画像を生成することと、第１ダイナミックレンジよりも高い第２ダイナミックレンジでマッピングされるときの強度画像の予測統計を生成するよう強度画像を第１ニューラルネットワークに適用することと、強度画像の統計及び予測統計に基づきトーンマッピング曲線を生成することとを有する。方法は、実施形態において、入力画像及びトーンマッピング曲線に基づき、目標ダイナミックレンジによるディスプレイでの表示のために、マッピングされた出力画像を生成することを有してもよい。目標ダイナミックレンジは第２ダイナミックレンジとは異なってもよい。実施形態で、強度画像の統計は、第１ダイナミックレンジでの強度画像の強度値を含み、予測統計は、第２ダイナミックレンジでの予測強度値（例えば、第２ダイナミックレンジでの対応する予測強度値）を含む。

【0014】

一実施形態で、第１ニューラルネットワークは、第２ダイナミックレンジ（例えば、ＨＤＲ）での参照画像と第１ダイナミックレンジでの参照画像との対に対して訓練されてよい。第１ダイナミックレンジでの参照画像は、第２ダイナミックレンジでの各参照画像を、トーンマッピング操作により第１ダイナミックレンジにマッピングすることによって、生成され得る。第１ニューラルネットワークは、第１ダイナミックレンジでの参照画像についての予測統計（例えば、第１ダイナミックレンジでの参照画像に基づき生成されたおの各々強度画像の予測統計）と第２ダイナミックレンジでの参照画像の統計との間の関係を知る（例えば、誤差を最小限にする）ために、第１ダイナミックレンジ及び第２ダイナミックレンジでの参照画像の対に対して訓練されてよい。一実施形態で、これは、第１ダイナミックレンジ及び第２ダイナミックレンジでの参照画像の対について、第１ニューラルネットワークを用いて第１ダイナミックレンジでの参照画像についての予測統計を繰り返し計算し、該予測統計と第２ダイナミックレンジでの対応する参照画像の統計との間の誤差を第１ニューラルネットワークに逆伝播することによって、行われてもよい。訓練は、基準と予測統計との間の誤差が小さい閾値内にあるか又は非減少プラトー（non-decreasing plateau）に達する場合に終了される。代替的に、他の実施形態では、第１ニューラルネットワーク使用して第１ダイナミックレンジでの参照画像についての予測統計を生成した後、該予測統計は、第１ダイナミックレンジでの参照画像を第２ダイナミックレンジでのその対応する予測画像にアップコンバートするために適用されてもよい。第２ダイナミックレンジでの対応する参照画像と第２ダイナミックレンジでの予測画像とは比較されてよく、第２ダイナミックレンジでの予測画像と参照画像との間の誤差は第１ニューラルネットワークに逆伝播されてよい。

【0015】

一実施形態で、方法は、強度画像に基づいてベースレイヤ画像及びディテールレイヤ画像を生成することと、トーンマッピングされたベースレイヤ画像を第２ダイナミックレンジで生成するようトーンマッピング曲線をベースレイヤ画像に適用することとを更に有してもよい。一実施形態で、方法は、残差レイヤ画像を第２ダイナミックレンジで生成するよう強度画像及びディテールレイヤ画像を第２ニューラルネットワークに適用することと、第２ディテールレイヤ画像を生成するよう残差レイヤ画像をディテールレイヤ画像に加えることと、出力画像を第２ダイナミックレンジで生成するよう第２ディテールレイヤ画像をトーンマッピングされたベースレイヤ画像に加えることとを更に有してもよい。一実施形態で、第２ニューラルネットワークは、第２ダイナミックレンジ（例えば、ＨＤＲ）での参照画像と第１ダイナミックレンジ（例えば、ＳＤＲ）での参照画像との対に対して訓練されてよい。第１ダイナミックレンジでの参照画像は、第２ダイナミックレンジでの各参照画像を、トーンマッピング操作により第１ダイナミックレンジにマッピングすることによって、生成され得る。第２ニューラルネットワークは、第２ダイナミックレンジでの予測画像と第２ダイナミックレンジでの対応する参照画像との間の関係を知る（例えば、誤差を最小限にする）ために、第２ダイナミックレンジ及び第１ダイナミックレンジでの参照画像の対に対して訓練されてよい。第２ダイナミックレンジ及び第１ダイナミックレンジでの参照画像の各対は第２ニューラルネットワークによって処理されてよく、このとき、第２ダイナミックレンジでの参照画像と第２ダイナミックレンジでの対応する予測画像との間の誤差は第２ニューラルネットワークに逆伝播される。各対の予測画像は、第１ダイナミックレンジでの参照画像に基づき生成された強度画像と、対応するディテールレイヤ画像とを第２ニューラルネットワークに適用して、第２ダイナミックレンジでの残差レイヤ画像を生成し、残差レイヤ画像をディテールレイヤ画像に加えて第２ディテールレイヤ画像を生成し、そして、第２ディテールレイヤ画像を、トーンマッピング曲線を強度画像に適用することによって生成されたトーンマッピングされたベースレイヤ画像に加えて、予測出力画像を第２ダイナミックレンジで生成することによって、生成され得る。

【0016】

［ＳＤＲからＨＤＲへの画像マッピング及び表示管理］
ビデオコーディングパイプライン
図１は、ビデオ捕捉からビデオコンテンツ表示までの様々な段階を示す従来のビデオ配信パイプライン（１００）の例示的なプロセスを表す。一連のビデオフレームの（１０２）が画像生成ブロック（１０５）により捕捉又は生成される。ビデオフレーム（１０２）は、ビデオデータ（１０７）を生成するようコンピュータによってデジタルで（例えば、デジタルカメラによって）捕捉されるか又は（例えば、コンピュータアニメーションを用いて）生成され得る。代替的に、ビデオフレーム（１０２）はフィルムカメラによってフィルムに捕捉されてもよい。フィルムは、ビデオデータ（１０７）を供給するようデジタルフォーマットに変換される。プロダクション段階（１１０）で、ビデオデータ（１０７）は、ビデオプロダクションストリーム（１１２）を供給するよう編集される。

【0017】

プロダクションストリーム（１１２）のビデオデータは、次いで、ポストプロダクション編集のためのブロック（１１５）でプロセッサへ供給される。ポストプロダクション編集のブロック（１１５）は、ビデオ作成者の創造的意図に従って画像品質を高めたり又は画像の特定の外観を達成したりするために、画像の特定のエリア内の色又は明るさを調整又は変更することを含み得る。これは時々「カラータイミング」又は「カラーグレーディング」と呼ばれる。他の編集（例えば、シーンの選択及び順序付け、画像クロッピング、コンピュータにより生成された視覚特殊効果の追加、など）が、分配のための作品の最終的なバージョン（１１７）を得るためにブロック（１１５）で実行されてもよい。ポストプロダクション編集（１１５）の間、ビデオ画像は参照ディスプレイ（１２５）で見られる。

【0018】

ポストプロダクション（１１５）に続いて、最終的な作品（１１７）のビデオデータは、テレビ受像機、セットトップボックス、映画館、などの下流の復号及び再生デバイスへ配信するために符号化ブロック（１２０）へ供給されてもよい。いくつかの実施形態で、符号化ブロック（１２０）は、符号化されたビットストリーム（１２２）を生成するよう、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、Ｂｌｕｅ－Ｒａｙ、及び他の配信フォーマットによって定義されているようなオーディオ及びビデオエンコーダを含んでもよい。受信器において、符号化されたビットストリーム（１２２）は、信号（１１７）の同じ又は近い近似を表す復号化信号（１３２）を生成するよう復号化ユニット（１３０）によって復号される。受信器は、参照ディスプレイ（１２５）とは全く異なる特性を持ち得る対象ディスプレイ（１４０）に取り付けられてよい。その場合に、表示管理ブロック（１３５）が、表示マッピング信号（１３７）を生成することによって復号化信号（１３２）のダイナミックレンジを対象ディスプレイ（１４０）の特性にマッピングするために使用されてもよい。制限なしに、表示管理プロセスの例は、参考文献［１］及び［２］に記載されている。

【0019】

ＳＤＲからＨＤＲへのダイナミックレンジ変換パイプライン
従来の表示マッピングでは、マッピングアルゴリズムは、入力ダイナミックレンジを対象ディスプレイのダイナミックレンジにマッピングするためにシグモイドのような関数を適用する（例えば、参考文献［３］及び［４］を参照。）。そのようなマッピング関数は、入力ソース及び対象ディスプレイの特性を用いて生成されたアンカーポイント、ピボット、及び他の多項式パラメータによって特徴付けられる区分線形又は非線形多項式として表され得る。例えば、参考文献［３］及び［４］では、マッピング関数は、入力画像及びディスプレイの輝度特性（例えば、最小輝度、中間（平均）輝度、及び最大輝度）に基づいたアンカーポイントを使用する。なお、他のマッピング関数は、ブロックレベルでの又は画像全体の輝度分散又は輝度標準偏差値などの別の統計データを使用することがある。ＳＤＲ画像の場合、プロセスはまた、伝送されるビデオの部分として伝送されるか又はデコーダ若しくはディスプレイによって計算されるかのどちらかである追加のメタデータによっても支援されることがある。例えば、コンテンツプロバイダがソースコンテンツのＳＤＲ及びＨＤＲの両方のバージョンを持っている場合に、ソースは、デコーダが入来するＳＤＲ画像をＨＤＲ画像に変換するのを助けるためのメタデータ（例えば、前方又は後方リシェイピング関数の区分線形近似）を生成するために両方のバージョンを使用してもよい。しかし、多くのブロードキャストシナリオで、ＨＤＲコンテンツの利用可能性、送信器、通信媒体、及び／又は受信器の制限により、そのようなメタデータの生成又は伝送は禁止され、よって、ＨＤＲディスプレイの最も効率的な使用は妨げられる。

【0020】

図２Ａは、例示的な実施形態に係るダイナミックレンジアップコンバージョン及び表示管理パイプライン（２００Ａ）を表す。図２Ａに表されるように、入力ビデオ（２０２）は、ビデオデコーダから受信されたビデオ及び／又はグラフィクス処理ユニットから（例えば、セットトップボックスから）受信されたビデオ、及び／又は他のビデオ入力（例えば、カメラ、ＴＶ若しくはセットトップボックスのＨＤＭＩ（登録商標）ポート、グラフィクス処理ユニット（ＧＰＵ）、などからのビデオ）を含み得る。制限なしに、入力ビデオ２０２は、ＨＤＲディスプレイで表示される“ＨＤＲ”ビデオにアップコンバージョンされる“ＳＤＲ”ビデオとして特徴付けられてもよい。

【0021】

実施形態で、プロセス２００Ａは、最適化されたＳＤＲ－ＨＤＲマッピングの生成を促すよう予測ＨＤＲ統計（又はメタデータ）の組を生成するためのニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＮＮ）（２１０）を含む。計算上の制限のために、実施形態では、ＮＮユニット（２１０）の前に前処理ユニット（２０５）を配置して、色フォーマット及び分解能に関して入力画像を適切な画像に変換することができる。ＮＮユニット２１０の出力は、マッピングユニット（２１５）によって、最適化されたマッピング曲線を生成するために使用され、最適化されたマッピング曲線は、元の入力（２０２）とともに、マッピング出力２２２を生成するよう表示マッピングユニット（２２０）へ供給される。各コンポーネントの詳細については次に記載される。

【0022】

ニューラルネットワーク入力生成
ブロック２０５で、入力画像は、ＮＮユニット２１０による処理に適したフォーマットに変換される。実施形態で、このプロセスは２つのステップ、つまり、ａ）入力画像の強さ又は輝度の抽出、及びｂ）その解像度の調整、を含む。例えば、強さを抽出するために、入力されたＲＧＢ画像は、当該技術で知られている色変換技術、例えば、ＩＴＵ－Ｒ Ｒｅｃ． ＢＴ ２１００などを用いて、ＹＣｂＣｒ、ＩＣｔＣｐ、などのルーマ－クロマ色フォーマットに変換されてよい。代替の実施形態では、強さは、そのＲ、Ｇ、及びＢ成分のピクセルごとの最大値として特徴付けられてもよい。強さ抽出ステップは、ソース画像が既に単一チャネル強度画像として表されている場合にはバイパスされてもよい。いくつかの実施形態で、ピクセル値はまた、画像統計の計算を容易にするために、予め定義された標準ダイナミックレンジ（例えば、０．００５から１００ｎｉｔの間）に従って［０，１］に正規化されてもよい。

【0023】

大域的メタデータ生成ニューラルネットワーク（２１０）は、通常、固定の画像寸法に対して動作するが、画像の入力寸法はソースコンテンツに基づき変化する可能性がある（例えば、４８０ｐ、７２０ｐ、１０８０ｉ、など）。実施形態で、ユニット２０５は、画像サイズを、ＮＮメタデータ発生器を訓練し操作するために使用される寸法（例えば、９６０×５４０）にリサンプリングしてもよい。例えば、９６０×５４０分解能は、最先端のニューラルネットワークによれば、複雑さと分解能との間の良好なトレードオフを提供することが分かっている。

【0024】

実施形態で、入力画像がＮＮのサポートされている分解能よりも大きい場合、次いでそれは、幅及び高さの両方が所望の分解能以下になるまで、係数２により繰り返しダウンサンプリングされる。例として、制限なしに、ダウンサンプリング操作は、４タップの分離可能な水平及び垂直ローパスフィルタ（例えば、［１ ３ ３ １］／８）と、それに続く、水平及び垂直の両次元で１つおきにピクセルを破棄することとによって、実行されてよい。幅及び高さは、次いで、所望の画像寸法（例えば、９６０×５４０）を得るよう４辺全てにおいて対称的にパディング値でパディングされる。他の実施形態では、ニューラルネットワークは異なる画像寸法について訓練でき、それに応じてこのリサンプリングステップは調整され得る。

【0025】

推定ＨＤＲ統計を生成するニューラルネットワーク
予測ＨＤＲ統計ニューラルネットワーク（２１０）は、ＳＤＲ画像（２０２）の単一チャネル（その輝度）を入力としてとり、必要に応じて、対応するＨＤＲ画像の統計を予測して、ＳＤＲ－ＨＤＲマッピング曲線（例えば、最小輝度値、平均輝度値、及び最大輝度値）を生成する。いくつかの実施形態で、予測ＨＤＲメタデータ（２１２）は、ビデオシーン内のピクチャ間の時間的一貫性を確保するよう時間的にフィルタリングされてもよい。これらの値はまた、例えば、０から１の間に結果をクランプすることによって、又は結果として得られる画像統計の単調性を確保することによって、それらがマッピングに使用できることを確かにするように、一貫性のない結果に対して調整されてもよい。

【0026】

実施形態で、ニューラルネットワーク２１０は、４次元畳み込みの組として定義され、各畳み込みの後、全ての結果に一定のバイアスが加えられる。いくつかレイヤで、畳み込みの後には、負値を０にクランプすることが続く。畳み込みは、ピクセル単位でのそれらのサイズ（Ｍ×Ｎ）、処理対象の画像チャネルの数（Ｃ）、及びフィルタバンク内にあるカーネルの数（Ｋ）によって定義される。その意味で、各畳み込みは、フィルタバンクのサイズＭ×Ｎ×Ｃ×Ｋによって記述できる。例として、サイズ３×３×１×２のフィルタバンクは２つの畳み込みカーネルから成り、各カーネルは１つのチャネルに作用し、３ピクセル×３ピクセルのサイズを持っている。

【0027】

いくつかのフィルタバンクはまたストライドを有することがあり、これはつまり、畳み込みの一部の結果が破棄されることを意味する。１のストライドは、全ての入力ピクセルが出力ピクセルを生成することを意味する。２のストライドは、各次元の１つおきのピクセルのみが出力を生成することを意味する、など。よって、ストライドが２であるフィルタバンクは、（Ｍ／２）×（Ｎ／２）個のピクセルを持った出力を生成することになり、このとき、Ｍ×Ｎは入力画像サイズである。全結合されたカーネルへの入力を除く全ての入力は、１のストライドを設定することにより入力と同数のピクセルを有する出力が得られるように、パディングされる。各畳み込みバンクの出力は、次の畳み込みレイヤへの入力として供給される。

【0028】

図３に表されるように、実施形態で、ニューラルネットワーク（２１０）は、４つのそのような畳み込みレイヤから成る：
・サイズが３×３×１×４であり、ストライドが２であり、バイアスが４つある第１フィルタバンク（３０５）、及びそれに続く第１正規化線形ユニット（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ，ＲｅＬＵ）活性化関数；
・サイズが３×３×１×８であり、ストライドが２であり、バイアスが８つある第２フィルタバンク（３１０）、及びそれに続く第２ＲｅＬＵ；
・サイズが７×７×２×１６であり、ストライドが５であり、バイアスが１６個ある第３フィルタバンク（３１５）、及びそれに続く第３ＲｅＬＵ；
・サイズが４８×２７×１６×３であり、全結合されており、バイアスが３つある第４フィルタバンク（３２０）、及びＳＤＲ入力に対応するＨＤＲ画像の推定される最小、中間、及び最大輝度レベルを表す１つの１×３出力（２１２）。

【0029】

実施形態で、ＮＮ（２１０）は、ＨＤＲ画像とＳＤＲ画像との対に対して訓練される。例えば、ＨＤＲ画像の大規模なコレクションは、参考文献［１］及び［２］に記載されているようなトーンマッピング操作を用いて、対応するＳＤＲ画像にマッピングされる。このプロセスは、トーンマッピングプロセスの間に使用されるＨＤＲ画像からの参照ＨＤＲメタデータ（例えば、最小、中間、及び最大輝度値）の分析を含む。ネットワークの目標は、推定ＨＤＲ画像からのメタデータと参照ＨＤＲ画像との間の関係を知ることである。一実施形態で、これは、ニューラルネットワークアーキテクチャを用いて予測ＨＤＲメタデータを繰り返し計算し、予測ＨＤＲメタデータと参照ＨＤＲメタデータとの間の誤差を、誤差をネットワーク重みに逆伝播することで最小化することによって、行われる。訓練は、参照メタデータと予測メタデータとの間の誤差が小さい閾値内になるか又は非減少プラトーに達すると終了する。

【0030】

代替的に、他の実施形態では、予測ＨＤＲメタデータの生成後、該予測メタデータは、入力ＳＤＲ画像をその対応するＨＤＲ画像にアップコンバージョンするよう適用される。ソースＨＤＲ画像と予測ＨＤＲ画像とは比較され、誤差はネットワークに逆伝播される。元のメタデータと予測されたメタデータとの間の誤差に基づいた訓練よりも、元の画像と予測された画像との間の誤差に基づいた訓練の方が、ニューラルネットワークのパフォーマンスの向上をもたらすことが観察されている。

【0031】

予測ＨＤＲメタデータ（２１２）が与えられると、ステップ２１５は、表示マッピングプロセス（２２０）によって使用される最適なマッピング曲線を生成する。ニューラルネットワーク２１０は、特定のディスプレイのためのマッピングを生成しないことに留意されたい。その結果、そのようなＳＤＲ－ＨＤＲマッピングの出力は、対象ディスプレイの能力を超える可能性があるため、対象ディスプレイの特性を考慮した第２のＨＤＲ（予測画像）－ＨＤＲ（表示）マッピングが必要になる。この第２のＨＤＲ－ＨＤＲマッピングは、生成されたＨＤＲデータが単にオフラインで記憶されるか、又は下流の他のデバイスによって表示されるよう伝送される場合には、スキップされてもよい。

【0032】

例えば、実施形態で、予測ＨＤＲメタデータ（２１２）は、予測されたＨＤＲメタデータを有するＨＤＲ画像をＳＤＲ信号範囲にマッピングするための“順方向マッピング”曲線を生成するよう処理される（参考文献［３］又は［４］を参照。）。追加のステップで、順方向マッピング曲線は、ソース画像のＳＤＲ信号範囲を予測ＨＤＲ画像のＨＤＲ信号範囲に変換する“逆方向マッピング”曲線を生成するよう反転されてもよい。この逆方向マッピング曲線は、次いで、対象ディスプレイの特性（例えば、その最小及び最大輝度）又は他のパラメータ、例えば、所望のコントラスト若しくは周囲の環境光、などに応じて予測ＨＤＲ画像のダイナミックレンジをマッピングするように更に調整される。最終的に、ステップ２２０で、入力されたＳＤＲ画像（２０２）及びステップ２１５で導出されたマッピング曲線（２１７）を用いて、表示マッピングプロセスは対象ディスプレイのための最終的なＨＤＲ画像（２２２）を生成する（例えば、参考文献［１］及び［２］を参照。）。

【0033】

局所トーンマッピング適応
生成されたマッピング曲線（２１７）は画像（２０２）全体に適用されるので、アップコンバージョンプロセス２００Ａは大域的なダイナミックレンジマッピングプロセスと見なされ得る。参考文献［２］に更に詳細に記載されているように、表示マッピング２２０は、入力画像の局所コントラスト及びディテール情報を考慮することによって、更に改善され得る。例えば、付録に記載されるように、ダウンサンプリング及びアップサンプリング／フィルタリングプロセスが、入力画像を２つのレイヤ、つまり、フィルタリングされたベースレイヤ画像と、ディテールレイヤ画像とに分けるために使用されてもよい。トーンマッピング曲線（２１７）をフィルタリングされたベースレイヤに適用し、次いでその結果にディテールレイヤを加え直すことによって、画像の元のコントラストは大域的にも局所的にも保たれ得る。これは「ディテール保持」（detail preservation）又は「精度レンダリング」（precision rendering）と呼ばれ得る。

【0034】

よって、表示マッピングは多段階操作として実行できる：
ａ）ＳＤＲ－ＨＤＲマッピングを導くようベースレイヤ（ＢＬ）画像を生成する；
ｂ）ベースレイヤ画像へのトーンマッピングを実行する；
ｃ）トーンマッピングされたベースレイヤ画像にディテールレイヤ画像を加える。

【0035】

参考文献［２］では、生成されたベースレイヤ（ＢＬ）は、元の画像の空間的にブラーされた、エッジ保存されたバージョンを表す。すなわち、それは、重要なエッジを保ちながら、より細かいディテールをぼやかす。より具体的には、ＢＬ画像の生成には、次が含まれ得る：
・元の画像の強さを使用して、より解像度の低いレイヤを含む画像ピラミッドを生成し、各レイヤを保存する；
・最も低い解像度のレイヤから開始して、より高いレイヤまでアップサンプリングしてベースレイヤを生成する。ベースレイヤ及びディテールレイヤ画像の生成の例は、参考文献［２］及び本明細書の付録に記載されている。

【0036】

図２Ｂは、入力画像のピラミッド表現及び精度レンダリングを利用する第２ニューラルネットワーク（２３０）を使用する逆方向マッピング及び表示管理プロセス（２００Ｂ）の例示的な実施形態を表す。図２Ｂに表されるように、プロセス２００Ｂは新しいブロック（２２５）を含み、新しいブロック（２２５）は、元の画像の強さ（Ｉ）を考慮して、ベースレイヤ（ＢＬ）画像（Ｉ_ＢＬ）及びディテールレイヤ（ＤＬ）画像（Ｉ_ＤＬ）を生成する。実施形態で、ディテールレイヤ画像のピクセル（ｘ，ｙ）は、

Ｉ_ＤＬ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）－Ｉ_ＢＬ（ｘ，ｙ）＊ｄｇ （１）

として生成される。ここで、ｄｇは［０，１］内のディテール－ゲインスカラーを表す。

【0037】

予測ＨＤＲディテールニューラルネットワーク（２３０）は入力として２つのチャネル、つまり、ＳＤＲ画像のディテールレイヤ（ＤＬ）及びソースＳＤＲ画像の強度（Ｉ）チャネル、をとる。それは、ディテールレイヤ画像に加えられる残差値を含みながらディテールレイヤ画像と同じ解像度を有する単一チャネル予測ディテールレイヤ（ＰＤＬ）画像を生成する。実施形態で、ディテールレイヤ残差は、出力画像の局所的なコントラストを引き延ばして、その知覚されるコントラスト及びダイナミックレンジを増大させる。ディテールレイヤ入力及び入力画像の両方を利用することによって、ニューラルネットワークは、ディテールレイヤの内容にだけでなくソース画像の内容にも基づいてコントラストの引き延ばしを予測できる。ある意味、これにより、ベース画像及びディテール画像への固定精度レンダリング分解で発生する可能性がある問題を是正できる可能性がネットワークに与えられる。

【0038】

２００Ｂにおける、輝度画像Ｉを既に生成しているブロック２２５を考えると、２００Ａのブロック２０５は、ニューラルネットワーク２１０の適切な入力解像度（例えば、９６０×５４０）へのＩの適切なダウンサンプリングのみを実行することによって簡略化できる。

【0039】

ニューラルネットワーク２３０は、畳み込みレイヤと残差ニューラルネットワーク（ＲｅｓＮｅｔ）レイヤとから成る。図４Ａに表されるように、実施形態で、各ＲｅｓＮｅｔブロック（４１０）は、ＲｅＬＵユニットを伴った２つの畳み込みレイヤ（４０５ａ，４０５ｂ）を含み、各ＲｅｓＮｅｔユニットへの入力（４０２）は、ＲｅｓＮｅｔ出力（４０７）を生成するよう２番目の畳み込みレイヤ（４０５ｂ）の出力に加えられる。実施形態で、各畳み込みレイヤ（４０５）は、ストライドが１であって、バイアスがない３×３×３２×３２のフィルタバンクを備えている。

【0040】

図４Ｂに表されるように、予測ＨＤＲディテールレイヤニューラルネットワーク２３０は、入力畳み込み（４２０）と、それに続く５つのＲｅｓＮｅｔブロック（４１０）（各１つが図４Ａには表されている。）と、それに続く最後のＲｅＬＵと、出力畳み込み（４３０）とから成る。ネットワークの出力はＭ×Ｎ画像を形成し、入力されたディテールレイヤ画像と同じサイズである。この出力は次いで、最終的なディテールレイヤ画像を形成するよう、入力されたディテールレイヤ画像に加えられる。いくつかの実施形態で、フル解像度（Ｍ×Ｎ）で入力画像（Ｉ，ＤＬ）を使用する代わりに、複雑さを低減するために、サブサンプリングされたバージョンが使用されてもよい。その場合、出力残差画像（ＰＤＬ）はフル解像度にアップスケーリングされ得る。

【0041】

実施形態で、畳み込みネットワーク４２０は、Ｍ×Ｎ×２の入力と、３×３×２×３２、ストライド１、バイアスなしのフィルタバンクと、Ｍ×Ｎ×３２の出力とを有する。同様に、畳み込みネットワーク４３０は、Ｍ×Ｎ×３２の入力と、３×３×３２×１、ストライド１、バイアスなしのフィルタバンクと、Ｍ×Ｎ×１の出力とを有する。

【0042】

ネットワークは、ＨＤＲ画像とＳＤＲ画像との対に対して訓練されてよい。実施形態で、ＨＤＲ画像の大規模なコレクションが、例えば参考文献［２］で記載されるようなトーンマッピング操作を用いて、ＳＤＲにマッピングされる。この対は、次いで、ＨＤＲディテールレイヤ予測ＮＮによって処理され、このとき、参照ＨＤＲ画像と予測ＨＤＲ画像との間の誤差はニューラルネットワークの重みに伝播される。訓練は、誤差が閾値を下回るか又は非減少プラトーに達すると終了する。ＮＮ２３０の訓練の間、式（１）中のｄｇスカラーは１にセットされてもよい。

【0043】

いくつかの実施形態で、

Ｉ_Ｂ＝α＊Ｉ_ＢＬ＋（１－α）＊１

のように、ベースレイヤＩ_ＢＬを直接に又は入力強度画像Ｉと組み合わせて使用できる。ここで、αは［０，１］内のスカラーである。α＝０のとき、トーンマッピングは従来の帯域トーンマッピング（プロセス２００Ａを参照。）と同等である。α＝１のとき、トーンマッピングはベースレイヤ画像に対してのみ実行される。

【0044】

Ｉ_ＤＬを考えると、画像Ｉ_ＤＬ上の［０，１］内の任意のスカラーβは、最終的なトーンマッピング画像を生成するよう、トーンマッピングされた出力の鮮明化（sharpening）を調整するために使用されてもよい：

Ｉ’＝Ｉ’_ＢＬ＋Ｉ_ＤＬ＊β （２）

ここで、Ｉ’_ＢＬは、Ｉ_ＢＬ（又はＩ_Ｂ）のトーンマッピングされた画像を表す。予測ニューラルネットワーク２３０が使用されている場合に：

Ｉ’＝Ｉ’_ＢＬ＋（Ｉ_ＤＬ＋ＰＤＬ）＊β （３）

である。

【0045】

代替の実施では、プロセス２００Ｂは、ＨＤＲディテールレイヤ予測のためのＮＮ（２３０）をバイパス（除去）することによって、及び元のディテールレイヤ（ＤＬ）のみを使用することによって、簡略されてもよい。よって、入力されたＳＤＲ画像のピラミッド表現を考えると、プロセス２００Ｂは、次のように調整され得る：
・ブロック２２５で、入力画像の強さをベースレイヤ及びディテールレイヤに分ける；
・従来通り、ＨＤＲメタデータ生成のためのＮＮの出力（２１２）を使用して、マッピング曲線２１７を生成する；
・マッピング曲線を使用して、入力画像のベースレイヤのみの最適化されたマッピングを生成する；
・最適化されたマッピングに元のディテールレイヤ（ＤＬ）を加えて、最終的なＨＤＲ画像を生成する（例えば、式（２）を参照。）。

【0046】

［参考文献］
ここで挙げられている参考文献の夫々は、その全文を参照により援用される。
［１］米国特許第９９６１２３７号
［２］国際特許出願第ＰＣＴ／ＵＳ２０２０／０２８５５２号（国際公開第２０２０／２１９３４１号）
［３］米国特許第８５９３４８０号
［４］米国特許第１０６００１６６号

【0047】

［例となるコンピュータシステム実施］
本発明の実施形態は、コンピュータシステム；電子回路及び部品において構成されたシステム；マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＧＰＡ）又は他の設定可能若しくはプログラム可能なロジックデバイス（ＰＬＤ）などの集積回路（ＩＣ）デバイス；離散時間又はデジタル信号プロセッサ（ＤＳＰ）；特定用途向けＩＣ（ＡＳＩＣ）；及び／又はそのようなシステム、デバイス若しくはコンポーネントの１つ以上を含む装置、により実施されてよい。コンピュータ及び／又はＩＣは、本明細書で記載されているような画像伝送を実行若しくは制御しても、又は画像伝送に関する命令を実行してもよい。コンピュータ及び／又はＩＣは、本明細書で記載される画像アップコンバージョン及び表示マッピングプロセスに関係がある様々なパラメータ又は値のいずれかを計算してもよい。画像及びビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア及びそれらの様々な組み合わせで実施されてもよい。

【0048】

本発明の特定の実施は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを有する。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ、などの１つ以上のプロセッサは、プロセッサがアクセスすることができるプログラムメモリ内のソフトウェア命令を実行することによって、上述された画像アップコンバージョン及び表示マッピングプロセスに関する方法を実施してもよい。本発明はまた、プログラム製品の形でも提供されてよい。プログラム製品は、データプロセッサによって実行される場合に、データプロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号の組を運ぶ任意の有形且つ非一時的な媒体を有してもよい。本発明に係るプログラム製品は、多種多様な有形な形態のいずれかであってもよい。プログラム製品は、例えば、フロッピー（登録商標）ディスケット、ハードディスクドライブ、ＣＤ ＲＯＭやＤＶＤを含む光学データ記憶媒体、ＲＯＭやフラッシュＲＡＭを含む電子データ記憶媒体、などのような物理媒体を有してもよい。プログラム製品上のコンピュータ可読信号は任意に、圧縮又は暗号化されてもよい。

【0049】

コンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路、など）が上記で言及される場合に、別なふうに述べられない限り、そのコンポーネントへ言及（「手段」への言及を含む。）は、そのコンポーネントの同等物として、本発明の例示されている実施例での機能を実行する開示されている構造と構造上同等でないコンポーネントを含め、記載されているコンポーネントの機能を実行する（例えば、機能上同等である）如何なるコンポーネントも含むものとして解釈されるべきである。

【0050】

［同等物、拡張、代替物、及びその他］
画像ダイナミックレンジ変換及び表示マッピングに関する例示的な実施形態がこのように記載されている。上記の明細書で、本発明の実施形態は、実施ごとに様々であることができる多数の具体的な詳細を参照して記載されてきた。よって、発明が何であるか、及び出願人が何を発明であると意図しているかを示す唯一のかつ排他的な指標は、その後の修正を含む、特許請求の範囲が発行される具体的な形態で、本願から発行される特許請求の範囲である。特許請求の範囲に含まれる用語について本明細書に明示的に記載される定義は、特許請求の範囲で使用される用語の意味を支配するものとする。従って、特許請求の範囲に明示的に記載されていない限定、要素、特性、特徴、利点、又は属性は、いかなる形であっても特許請求の範囲を制限するものではない。然るに、明細書及び図面は、限定的な意味ではなく、例示的な意味として見なされるべきである。

【0051】

［付録］
入力画像からベースレイヤ画像及びディテールレイヤ画像を生成するプロセスの例

【0052】

ピラミッドダウンサンプリング
ソース画像の強度画像が与えられる、ベースレイヤ（ＢＬ）画像は、強度画像に対するダウンサンプリング操作及びアップサンプリング操作の組み合わせによって構成され得る。いくつかの実施形態で、ダウンサンプリング中、ピラミッドのレイヤは、メモリ帯域幅を低減するためにスキップされてもよい。例えば、４Ｋ入力画像の場合、最初のレイヤ（例えば、２Ｋ解像度）はスキップされてもよい。次いで、アップサンプリング中、４分の１解像度の画像は単純に２倍に倍加されることになる。例えば、４Ｋ入力を考えると、実施形態で、ピラミッドは次のレイヤ：１０２４×５７６、５１２×２８８、２５６×１４４、１２８×７２、６４×３６、３２×１８、及び１６×９を生成することができる。同様に、８Ｋ入力画像の場合、２分の１解像度の画像及び４分の１解像度の画像の両方がスキップされてもよい。これは、入力画像サイズと無関係に、ピラミッドの後続のレイヤが同じ寸法を有することを確かにする。

【0053】

ピラミッドはアップサンプリング係数２、４、８などを使用するサブサンプリングに関して記載されているが、他のサブサンプリング係数が一般性を損なわずに使用されてもよい。

【0054】

例として、ピラミッドを生成する際に、ｎ番目のピラミッドレイヤ（例えば、ｎ＝２～７）のｋ番目のラインは、前のレイヤのライン２×ｋ及び２×ｋ－１の適切なフィルタリングによって生成される。実施形態で、そのようなフィルタリングは、分離可能なローパス２×２フィルタ（例えば、フィルタ係数［１ １］／２を有する。）又は分離可能な４×４ローパスフィルタ（例えば、フィルタ係数［１ ３ ３ １］／８を有する。）のどちらか一方を用いて実行される。４×４フィルタは、ピラミッドレベル間のより良いアライメントをもたらすが、追加のラインバッファを必要とする。他の実施形態では、水平方向及び垂直方向で異なるフィルタ、例えば、４タップ水平フィルタ及び２タップ垂直フィルタ、又はその逆、が適用されてもよい。

【0055】

ピラミッドの最初のレベル（例えば、１０２４×５７６）を計算する前に、入力画像は次のためにパディングされてもよい：
・最小のピラミッドレベルから最大のピラミッドレベルまで、全ての空間次元が２で割り切れることを保証する；
・指定された関心領域（ＲＯＩ）を考慮して、境界ピクセルを複製する；
・様々なサイズ又はアスペクト比の入力画像を考慮して、境界ピクセルを複製する。

【0056】

ピラミッドアップサンプリング
アップサンプリングにおいて、プロセッサは、ダウンサンプリングされたピラミッドデータを受信し、各レイヤでエッジ認識（edge-aware）アップサンプリングフィルタを使用して元の画像をその元の解像度で再構成する。ピラミッドの最小レベルが最初にアップサンプリングされ、それから更なるレベルが最も高いピラミッドレベルの解像度までアップサンプリングされる。

【0057】

レイヤｉでのピラミッド画像をＰ（ｉ）と表す。最低解像度レベル（例えば、ｉ＝７）から開始して、最低解像度ピラミッド画像（例えば、Ｐ（７））はエッジ保存フィルタに供給され、エッジ保存フィルタは、Ｉｍａ（７）及びＩｍｂ（７）（以下で定義される。）と表される２つの係数“画像”を生成する。次に、Ｉｍａ及びＩｍｂは両方とも、アップサンプリングされた係数画像ＩｍａＵ（７）及びＩｍｂＵ（７）を生成するよう係数２でアップサンプリングされる。

【0058】

次のレイヤｉ＝６で、ピラミッドのＰ（６）レイヤが、画像

Ｓ（６）＝ＩｍａＵ（７）＊Ｐ（６）＋ＩｍｂＵ（７） （４）

を生成するよう、アップサンプリングされた係数画像ＩｍａＵ（７）及びＩｍｂＵ（７）と結合される。画像Ｓ（６）は、画像Ｐ（６）とともに、係数“画像”Ｉｍａ（６）及びＩｍｂ（６）を生成するようエッジアップサンプルフィルタに供給される。次に、Ｉｍａ（６）及びＩｍｂ（６）は、アップサンプリングされた係数画像ＩｍａＵ（６）及びＩｍｂＵ（６）を生成するよう、係数２でアップサンプリングされる。同じプロセスは残りのピラミッドレイヤについて続く。一般に、ｉ＝７，６，５，・・，２について、

Ｓ（ｉ－１）＝ＩｍａＵ（ｉ）＊Ｐ（ｉ－１）＋ＩｍｂＵ（ｉ） （５）

であり、ここで、係数画像に画像を乗じる演算「＊」は、ピクセルごとにそれらの対応するピクセルを乗算することに対応する。例えば、ピクセル位置（ｍ，ｎ）で、寸法Ｗ（ｉ）×Ｈ（ｉ）を有するピラミッドレベルｉについて、ｍ＝１，２，・・・，Ｗ（ｉ－１）及びｎ＝１，２，・・・，Ｈ（ｉ－１）の場合に

Ｓ（ｉ－１）_ｍ，ｎ
＝ＩｍａＵ（ｉ）_ｍ，ｎ＊Ｐ（ｉ－１）_ｍ，ｎ＋ＩｍｂＵ（ｉ）_ｍ，ｎ （６）

である。

【0059】

ピラミッドの２番目のレベル（ｉ＝２）を処理した後、Ｓ（１）及びＰ（１）を与えられると、エッジフィルタは２つのパラメータ画像Ｉｍａ（１）及びＩｍｂ（１）を生成する。４Ｋ画像を生成するために、Ｉｍａ（１）及びＩｍｂ（１）は２でアップスケーリングされ得る。８Ｋ画像を生成するために、Ｉｍａ（１）及びＩｍｂ（１）は４でアップスケーリングされ得る。２つのアップスケーリングされた係数画像（ＩｍａＵ（１）及びＩｍｂＵ（１））は、入力ビデオの強度画像（Ｉ）と組み合わされて、

ＢＬ＝Ｉ_ＢＬ＝ＩｍａＵ（１）＊Ｉ＊ＩｍｂＵ（１） （７）

として、ベースレイヤ画像を生成するために使用されてもよい。

【0060】

一般化すると、Ｎ個のレイヤピクチャ（例えば、Ｐ（１）からＰ（Ｎ））を考えると、係数画像Ｉｍａ（１）及びＩｍｂ（１）の生成は：
最低空間分解能を有するＮレイヤピラミッド画像であるＰ（Ｎ）及びエッジフィルタを用いてＩｍａ（Ｎ）及びＩｍｂ（Ｎ）を生成することと；
Ｎ－１レイヤの空間分解能と一致するように、Ｉｍａ（Ｎ）及びＩｍｂ（Ｎ）をアップスケーリングすることによってＩｍａＵ（Ｎ）及びＩｍｂＵ（Ｎ）を生成することと；
ｆｏｒ（ｉ＝Ｎ－１～２）｛
Ｓ（ｉ）＝ＩｍａＵ（ｉ＋１）＊Ｐ（ｉ）＋ＩｍｂＵ（ｉ＋１）
エッジフィルタ、Ｓ（ｉ）及びＰ（ｉ）を用いてＩｍａ（ｉ）及びＩｍｂ（ｉ）を生成する
｝
Ｓ（１）＝ＩｍａＵ（２）＊Ｐ（１）＋ＩｍｂＵ（２）を計算することと；
エッジフィルタ、Ｓ（１）及びＰ（１）を用いてＩｍａ（１）及びＩｍｂ（１）を生成することと
を有する。

【0061】

実施形態で、Ｓ（ｉ）、Ｐ（ｉ）、Ｐ^２（ｉ）、及びＰ（ｉ）＊Ｓ（ｉ）の各入力は、水平方向及び垂直方向で３×３の分離可能なローパスフィルタ（例えば、Ｈ＝［１ ２ １］／４）を用いて畳み込まれる。それらの対応する出力は、Ｓｏｕｔ、Ｐｏｕｔ、Ｐ２ｏｕｔ、及びＰＳｏｕｔと表すことができる。これらの信号は各レイヤに特有であるが、簡単のために、インデックスｉは使用されない。その場合に、

Ｐｖａｒ＝Ｐ２ｏｕｔ－Ｐｏｕｔ^２
ＰＳｃｏｖ＝ＰＳｏｕｔ－Ｓｏｕｔ＊Ｐｏｕｔ
Ｉｍａ（ｉ）＝ＰＳｃｏｖ／（Ｐｖａｒ＋ＰＷ（ｉ）） （８）
Ｉｍｂ（ｉ）＝Ｓｏｕｔ－Ｉｍａ（ｉ）＊Ｐｏｕｔ

である。

【0062】

［関連出願への相互参照］
本願は、２０２１年７月２９日に出願された米国特許仮出願第６３／２２６８４７号及び２０２１年７月２９日に出願された欧州特許出願第２１１８８５１６．５号からの優先権の利益を主張するものであり、これらの先の出願の夫々は、その全文を参照により本願に援用される。

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【国際調査報告】