特表 2024-544626 ＳＤＲ－ＨＤＲ局所的再構成のためのノイズ除去

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-03

(54)【発明の名称】ＳＤＲ－ＨＤＲ局所的再構成のためのノイズ除去

(51)【国際特許分類】

   G06T 5/94 20240101AFI20241126BHJP

   G06T 5/70 20240101ALI20241126BHJP

【ＦＩ】

G06T5/94

G06T5/70

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024532163

(86)(22)【出願日】2022-11-01

(85)【翻訳文提出日】2024-07-29

(86)【国際出願番号】 US2022048619

(87)【国際公開番号】W WO2023096728

(87)【国際公開日】2023-06-01

(31)【優先権主張番号】21210983.9

(32)【優先日】2021-11-29

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】63/283,684

(32)【優先日】2021-11-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100101683

【弁理士】

【氏名又は名称】奥田 誠司

(74)【代理人】

【識別番号】100155000

【弁理士】

【氏名又は名称】喜多 修市

(74)【代理人】

【識別番号】100188813

【弁理士】

【氏名又は名称】川喜田 徹

(74)【代理人】

【識別番号】100202197

【弁理士】

【氏名又は名称】村瀬 成康

(72)【発明者】

【氏名】リュー，ルンゼ

(72)【発明者】

【氏名】ファン，ツォン‐ウェイ

(72)【発明者】

【氏名】スゥ，グワン‐ミーン

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC02

5B057CE02

5B057CE05

5B057CE06

5B057CE11

5B057DB02

5B057DB06

5B057DB09

(57)【要約】

方法の例は、第１のダイナミックレンジの画像を第１のダイナミックレンジよりも低い第２のダイナミックレンジの入力画像から生成することに関する。第２のダイナミックレンジの入力画像に関する共起統計量の第１の配列が生成される。複数の再構成関数候補の中から再構成関数を選択するための再構成関数インデックス値の第２の配列が生成される。第１のダイナミックレンジの再構成画像を生成するために、共起統計量の第１の配列に少なくとも部分的に基づいてノイズ除去操作が行われる一方、再構成関数のインデックス値の第２の配列に少なくとも部分的に基づいて再構成操作が行われる。

【特許請求の範囲】

【請求項1】

第１のダイナミックレンジの画像を第２のダイナミックレンジの入力画像から生成する方法であって、
前記第２のダイナミックレンジの入力画像に関する共起統計量の第１の配列を生成するステップであって、共起統計量は、画像または値の配列において共に現れる一対の値の頻度の尺度であり、前記共起統計量の第１の配列は、ノイズ除去される前の再構成関数インデックス値の第３の配列から導出されたバイナリクラスタマスクから収集された共起統計量の第４の配列と、前記入力画像から導出されたクリップ化量子化画像から収集された共起統計量の第５の配列との組み合わせである、ステップと、
複数の再構成関数候補の中から再構成関数を選択するための再構成関数インデックス値の第２の配列を生成するステップであって、前記再構成関数インデックス値の第２の配列は、前記ノイズ除去される前の再構成関数インデックス値の第３の配列に対して前記ノイズ除去操作が行われることによって生成されたノイズ除去された再構成関数インデックス値の配列を表す、ステップと、
（ａ）前記共起統計量の第１の配列に少なくとも部分的に基づくノイズ除去操作、および（ｂ）前記再構成関数インデックス値の第２の配列に少なくとも部分的に基づく再構成操作を行って、前記第１のダイナミックレンジの再構成画像を生成するステップと、
を含む方法。

【請求項2】

前記バイナリクラスタマップは、前記ノイズ除去される前の再構成関数インデックス値の第３の配列に標準偏差フィルタリングを適用するステップから生成される、
請求項１に記載の方法。

【請求項3】

前記標準偏差フィルタリングは、前記ノイズ除去される前の再構成関数インデックス値の第３の配列に、少なくとも２つの異なる空間フィルタリングカーネルサイズを用いて適用される、
請求項２に記載の方法。

【請求項4】

前記共起統計量の第５の配列は、前記入力画像から導出されたクリップ化量子化画像または前記入力画像の一方がダウンサンプリングされた後に、前記クリップ化量子化画像から収集される、
請求項１から３のいずれかに記載の方法。

【請求項5】

前記共起統計量の第４の配列は、第１の共起行列内に格納され、前記共起統計量の第５の配列は、第２の共起行列内に格納され、前記第１の配列内の画素位置における共起統計量は、前記第１の共起行列内の前記画素位置における第１の共起統計量および前記第２の共起行列内の前記画素位置における第２の共起統計量の平均値または最小値の一方を表す、
請求項１から４のいずれかに記載の方法。

【請求項6】

前記再構成関数インデックス値の第２の配列内において表される画素位置における各再構成関数インデックス値は、中間のノイズ除去された再構成関数インデックス値の配列内において表される同じ画素位置における第１の再構成関数インデックス値と、ノイズ除去される前の再構成関数インデックス値の配列内において表される同じ画素位置における第２の再構成関数インデックス値との加重和として生成される、
請求項１から５のいずれかに記載の方法。

【請求項7】

前記加重和は、重みマスク値の配列内の同じ画素位置における重み要素を用いて特定され、前記重みマスク値の配列は、前記ノイズ除去される前の再構成関数インデックス値の配列に標準偏差フィルタリングを適用するステップから得られる、
請求項６に記載の方法。

【請求項8】

前記共起統計量の第１の配列は、レターボックス内の画素位置の共起統計量を除く関心領域マップを用いて生成され、前記レターボックスは、レターボックス、ピラーボックス、卵形、または他の形状などの任意の形状の１つまたは複数の静的領域を指す、
請求項１から７のいずれかに記載の方法。

【請求項9】

前記共起統計量の第１の配列は、共起統計量のサンプリングされる前の配列からダウンサンプリングされる、
請求項１から８のいずれかに記載の方法。

【請求項10】

前記再構成関数インデックス値の第２の配列は、前記第２のダイナミックレンジのノイズ除去された画像内のノイズ除去されたコードワードに少なくとも部分的に基づいて生成され、前記第２のダイナミックレンジの前記ノイズ除去された画像内の前記ノイズ除去されたコードワードは、前記第２のダイナミックレンジの前記入力画像内のノイズ除去される前のコードワードに対して前記ノイズ除去操作が行われることによって生成され、コードワードは画素値を指す、
請求項１に記載の方法。

【請求項11】

前記第１のダイナミックレンジの前記再構成された画像は、前記入力画像または前記ノイズ除去された画像の一方に対して前記再構成操作を行うステップから生成される、
請求項１０に記載の方法。

【請求項12】

前記共起統計量の第１の配列は、前記入力画像内の前記ノイズ除去される前のコードワードから収集される、
請求項１０または１１に記載の方法。

【請求項13】

前記第１のダイナミックレンジは、ハイダイナミックレンジを表し、前記第２のダイナミックレンジは、前記ハイダイナミックレンジよりも低いスタンダードダイナミックレンジを表す、
請求項１から１２のいずれかに記載の方法。

【請求項14】

プロセッサを備え、請求項１から１３に記載の方法のうちのいずれか１つを行うように構成された装置。

【請求項15】

請求項１から１３に記載された方法のいずれかに従って、１つまたは複数のプロセッサを用いて方法を実行するためのコンピュータ実行可能命令を記憶した非一時的コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願への参照］
本願は、２０２１年１１月２９日に出願された米国仮出願第６３／２８３，６８４号および２０２１年１１月２９日に出願された欧州特許出願第２１２１０９８３．９号に基づく優先権を主張するものであり、それらの両方の出願の開示内容をすべて本願に援用する。

【0002】

本開示は、概して画像処理操作に関する。より詳細には、本開示のある実施形態は、ビデオコーデックに関する。

【背景技術】

【0003】

本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、人間の視覚システム（ＨＶＳ）が、画像におけるある範囲の強度（例えば、輝度、ルマ）、例えば最も暗いグレー（黒）から最も明るい白（ハイライト）までを知覚する能力に関連し得る。この意味では、ＤＲはシーン－リファード（scene-referred）の強度に関する。ＤＲはまた、ディスプレイデバイスが特定の幅を有する強度範囲を妥当にまたは近似的に描画する能力にも関連し得る。この意味では、ＤＲは、ディスプレイ－リファード（display-referred）の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、区別なく）使用できるものとする。

【0004】

本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）において１４～１５桁ほどにわたるＤＲ幅に関する。実際において、人間が広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、個別にまたは区別なく、人間の視覚システム（ＨＶＳ）（眼球運動を含み、シーンまたは画像にわたってある程度の明順応変化を可能にする）が、あるシーンまたは画像中において知覚可能なＤＲに関する。本明細書において、ＥＤＲは、５～６桁にわたるＤＲに関連し得る。真のシーンリファードのＨＤＲに対しては幾分狭いものの、ＥＤＲは広いＤＲ幅を表し、ＨＤＲとも呼ばれ得る。

【0005】

実際において、画像は、色空間の１つ以上の色成分（例えばルマＹおよびクロマＣｂおよびＣｒ）を有しており、各色成分は、画素あたりｎビットの精度（例えばｎ＝８）で表される。非線形輝度符号化（non-linear luminance coding）（例えば、ガンマ符号化）を用いた場合、ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）は、スタンダードダイナミックレンジとされ、ｎ＞８の画像はエンハンストダイナミックレンジの画像とされ得る。

【0006】

あるディスプレイについてのリファレンス電気光学伝達関数（ＥＯＴＦ）は、入力ビデオ信号の明度（color values）（例えば輝度）からそのディスプレイによって生成される出力スクリーン明度（例えばスクリーン輝度）への関係を特徴づける。例えば、その開示内容を全て本願に援用するＩＴＵ Ｒｅｃ．ＩＴＵ－Ｒ ＢＴ． １８８６、「Reference electro-optical transfer function for flat panel displays used in HDTV studio production」（２０１１年３月）では、フラットパネルディスプレイについてのリファレンスＥＯＴＦを定義している。あるビデオストリームが与えられたとき、そのＥＯＴＦに関する情報は、（画像）メタデータとしてビットストリーム中に埋め込まれる。本明細書において、「メタデータ」という用語は、符号化ビットストリームの一部として送信され、デコーダが復号化画像を描画することを助ける、任意の補助的情報に関する。そのようなメタデータは、本明細書において記載されるような、色空間または色域情報、リファレンスディスプレイパラメータ、および補助的な信号パラメータなどを含むが、これらに限定されない。

【0007】

本明細書において、用語「ＰＱ」は知覚的な輝度振幅（luminance amplitude）の量子化を指す。人間の視覚システムは、光レベルの増大に対して非常に非線形的に反応する。人間が刺激を見る能力は、その刺激の輝度、その刺激の大きさ、その刺激を構成する空間周波数、および、その刺激を見ている瞬間までに目が適応した輝度レベルに影響される。いくつかの実施形態において、知覚的量子化器関数は、線形入力グレイレベルを、人間の視覚システムにおけるコントラスト感度閾値によりマッチした出力グレイレベルにマッピングする。ＰＱマッピング関数の一例が、その開示内容を全て本願に援用する、SMPTE ST 2084:2014 "High Dynamic Range EOTF of Mastering Reference Displays"（以下、「ＳＭＰＴＥ」）に記載されている。ここでは、ある固定刺激サイズに対して、それぞれの輝度レベル（例えば、刺激レベルなど）について、最高感度の適応レベルおよび最高感度の空間周波数（ＨＶＳモデルによる）に応じて、その輝度レベルにおける最小可視コントラストステップを選択する。

【発明の概要】

【発明が解決しようとする課題】

【0008】

２００～１０００ｃｄ／ｍ^２またはニトの輝度をサポートするディスプレイは、ＥＤＲ（または、ＥＤＲ）に対し、より低いダイナミックレンジ（ＬＤＲ）（または、スタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例となる。ＥＤＲコンテンツは、より高いダイナミックレンジ（例えば、１０００ニト～５０００ニト以上）をサポートするＥＤＲディスプレイ上で表示され得る。そのようなディスプレイは、高輝度能力（例えば、０から１０，０００以上ニト）をサポートする代替的なＥＯＴＦを用いて定義され得る。そのようなＥＯＴＦの一例が、SMPTE ST 2084:2014およびRec.ITU-R BT.2100, "Image parameter values for high dynamic range television for use in production and international programme exchange" （０６／２０２７）に定義されている。本願発明者によって理解されるように、ハイダイナミックレンジを有し、視覚的アーチファクトを全くまたはほとんど有さないビデオコンテンツを生成するための改善された技術が所望される。

【0009】

本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。

【図面の簡単な説明】

【0010】

添付図面の各図において、本発明のある実施形態を限定する事なく例示する。同様の部材には同様の参照符号が付されている。

【0011】

【図1】図１は、ビデオ供給パイプラインのプロセス例を示す。

【0012】

【図2A】図２Ａは、局所的再構成のためのノイズ除去を適用するためのフロー例を例示する。

【図2B】図２Ｂは、局所的再構成のためのノイズ除去を適用するためのフロー例を例示する。

【図2C】図２Ｃは、局所的再構成のためのノイズ除去を適用するためのフロー例を例示する。

【図2D】図２Ｄは、局所的再構成のためのノイズ除去を適用するためのフロー例を例示する。

【図2E】図２Ｅは、局所的再構成のためのノイズ除去を適用するためのフロー例を例示する。

【図2F】共起統計量を収集するための操作例を例示する。

【図2G】図２Ｇは、クリッピングおよび量子化操作例を例示する。

【図2H】図２Ｈは、ダウンサンプリング操作例を例示する。

【図2I】図２Ｉは、バイナリクラスタマップを得るための処理フロー例を例示する。

【図2J】図２Ｊは、共起統計量を有するノイズ除去再構成関数インデックスマップ例を例示する。

【図2K】図２Ｋは、重みマスクを生成するための処理フロー例を例示する。

【0013】

【図3A】図３Ａは、共起統計量の共起行列または配列例を例示する。

【図3B】図３Ｂは、標準偏差マップのクリッピングおよび正規化例を例示する。

【0014】

【図4】図４は、処理フロー例を例示する。

【0015】

【図5】図５は、コンピュータまたは本明細書に記載のコンピューティングデバイスが実装され得るハードウエアプラットホーム例の簡略化したブロック図を例示する。

【発明を実施するための形態】

【0016】

以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

【0017】

［概要］
本明細書に記載のノイズ除去技術は、ＳＤＲ画像データなどの比較的狭いダイナミックレンジの画像データを、局所的なコントラストおよび彩度が強調されたＨＤＲ画像データなどのより高いダイナミックレンジの画像データに（逆向き）再構成またはアップコンバートする再構成技術とともに実装できる。これらの技術は、得られたＨＤＲ画像データにおいて、画質を向上させ、視覚的アーチファクト（ＳＤＲ画像データにおけるノイズによって誘発される）を防止または低減するのに役立つことが可能である。

【0018】

本明細書において、「アップコンバート」または「（逆向き）再構成」は、局所的または大域的再構成操作などの再構成操作を介して、より低いダイナミックレンジの画像データをより高いダイナミックレンジの画像データに変換することを指す。局所的再構成は、局所的再構成関数インデックスマップに従って、入力画像の異なる画素に異なる再構成関数またはマッピングを適用するアップコンバージョンまたは逆向き再構成操作を指す。したがって、局所的再構成において、局所的再構成関数インデックスマップにおいて特定され、かつ、入力画像の第１の画素に適用される第１の再構成関数は、同じ局所的再構成関数インデックスマップにおいて特定され、かつ、入力画像の第２の異なる画素に適用される第２の再構成関数とは異なる関数であり得る。

【0019】

局所的再構成関数インデックスマップは、特定の再構成関数またはマッピングを識別するために使用される（例えば、２次元配列などの）インデックス値を含む。インデックス値は、入力ＳＤＲ画像に対して行われた（エッジ保存、境界保存などの）空間フィルタリングから計算された（局所的な）Ｌ１－ｍｉｄ値を含み得るが、必ずしもこれらのみに限定されない。

【0020】

例示的な局所的再構成操作および局所的再構成関数インデックスマップ（例えば、Ｌ１－ｍｉｄ値等を含む）は、２０２１年１０月１日付け出願のＰＣＴ出願第ＰＣＴ／ＵＳ２０２１／０５３２４１号に記載されており、その内容全体は、本明細書に完全に記載されているかのように本明細書において援用される。大域的操作例は、２０１５年３月２０日付け出願の米国仮特許出願第６２／１３６，４０２号（また、２０１８年１月１８日付け公開の米国特許出願公開第２０１８／００２０２２４号）および２０１９年５月９日付け出願のＰＣＴ出願第ＰＣＴ／ＵＳ２０１９／０３１６２０号に記載されており、それらの内容全体は、本明細書に完全に記載されているかのように本明細書において援用される。

【0021】

局所的再構成操作などの再構成操作は、ダイナミックレンジ（画像部分から画像全体までにおける最も暗いものから最も明るいものまで）、局所的コントラストまたは大域的コントラスト、局所的または大域的彩度などに関して、画像コンテンツにおける視覚的品質を高めるためにＳＤＲ－ＨＤＲアップコンバージョンにおいて使用され得る。

【0022】

しかし、フィルムグレインノイズ、カメラノイズなどのノイズが元のまたは入力ＳＤＲ画像に存在し得る。加えて、ビデオ圧縮などの画像処理／符号化操作からもノイズが導入され得る。これらのノイズは、入力ＳＤＲ画像を再構成するステップから生成されたＨＤＲ画像に導入され、かつ、当該ＨＤＲ画像においてさらに強調または拡大されて、視覚的に目立つ視覚的アーチファクトになり得る。そのような視覚的アーチファクトは、大画面画像ディスプレイ上において特に問題になり得る。なぜなら、人間の視覚システム（ＨＶＳ）は、大画面画像ディスプレイ上では、モバイルデバイスなどの小さな画面の画像ディスプレイと比較して、より多くかつより詳細なディテールを解像できるからである。

【0023】

本明細書に記載の技術は、共起フィルタリングを用いて再構成関数インデックスマップをノイズ除去するために実装できる。次に、その結果のノイズ除去された再構成関数インデックスマップは、ＳＤＲ画像コンテンツなどの入力画像コンテンツに対して局所的再構成操作などの再構成操作を行うために使用され、ノイズの原因となる視覚的アーチファクトを比較的含まないＨＤＲ画像コンテンツなどの比較的高品質な画像コンテンツを生成できる。ＨＤＲ画像コンテンツは、大画面画像ディスプレイを含むがこれに限定されない様々なＨＤＲ画像ディスプレイ上でレンダリングできる。

【0024】

本明細書に記載の例示的な実施形態は、第１のダイナミックレンジの画像を第１のダイナミックレンジよりも低い第２のダイナミックレンジの入力画像から生成することに関する。第２のダイナミックレンジの入力画像に関連した共起統計量の第１の配列が生成される。複数の再構成関数候補の中から再構成関数を選択するための再構成関数インデックス値の第２の配列が生成される。第１のダイナミックレンジの再構成画像を生成するために、共起統計量の第１の配列に少なくとも部分的に基づいてノイズ除去操作が行われる一方、再構成関数のインデックス値の第２の配列に少なくとも部分的に基づいて再構成操作が行われる。

【0025】

［ビデオ供給処理パイプライン例］
図１は、ビデオキャプチャ／生成からＨＤＲまたはＳＤＲディスプレイまでの様々な段階を示すビデオ供給パイプライン（１００）のプロセス例を図示する。ＨＤＲディスプレイの例は、ＴＶ、モバイルデバイス、ホームシアターなどとともに動作する画像ディスプレイを含み得るが、それらに限定されない。ＳＤＲディスプレイの例は、ＳＤＲ ＴＶ、モバイルデバイス、ホームシアターディスプレイ、ヘッドマウントディスプレイデバイス、ウェアラブルディスプレイデバイスなどを含み得るが、それらに限定されない。なお、再構成ノイズ除去は、エンコーダ／サーバ側（ビデオ圧縮前）またはデコーダ／再生側（ビデオ展開後）のいずれにおいても行うことができる。再生側再構成ノイズ除去をサポートするために、図１に図示したものとは異なるシステム構成が使用されてもよい。図１に図示される処理コンポーネントによって使用されるものとは異なる画像メタデータフォーマットを用いて、これらの異なるシステム構成において画像メタデータを伝送してもよい。例示のみを目的として、図１を用いて、ノイズ除去された局所的再構成関数インデックスマップなどのノイズ除去された再構成関数インデックスマップを生成するためにサーバ側で行われる再構成ノイズ除去処理を例示または図示する。

【0026】

１シーケンスの連続した入力ＳＤＲ画像１０２などのビデオフレームは、ＳＤＲ－ＨＤＲアップコンバート１１５またはその中のノイズ除去ブロック１０５によって受信され得る。これらのＳＤＲ画像（１０２）は、ビデオソースから受信されるか、または、ビデオデータストアから取り込まれ得る。ＳＤＲ画像（１０２）の一部またはすべては、例えば、（人間の入力を伴わない自動の、手動の、人間の入力を伴う自動の手段等によって）ビデオ編集または変換操作、カラーグレーディング操作などを介して、ソース画像から生成され得る。ソース画像は、デジタル的にキャプチャされるか（例えば、デジタルカメラなどによって）、フィルム上にキャプチャされたアナログカメラ画像をデジタルフォーマットに変換されるか、（例えば、コンピュータアニメーション、画像レンダリングなどを用いて）コンピュータによって生成され得る。ＳＤＲ画像（１０２）は、映画リリース、アーカイブされたメディア番組、メディア番組ライブラリ、ビデオ録画／クリップ、メディア番組、テレビ番組、ユーザ生成ビデオコンテンツなどのうちの１つ以上に関する画像であり得る。付加として、オプションとして、または代替として、いくつかの操作シナリオにおいて、ＳＤＲ画像（１０２）は、元の再構成される前のＨＤＲ画像または元の構成される前のＳＤＲ画像などのソース画像を前向き再構成することによって生成された再構成ＳＤＲ画像であり得る。

【0027】

ノイズ除去ブロック（１０５）は、連続するＳＤＲ画像（１０２）のシーケンス内の各ＳＤＲ画像に関してノイズ除去操作を行う。例えば、ノイズ除去ブロック（１０５）は、ＳＤＲ画像（１０２）と同じ視覚的意味のコンテンツを描写するが、ＳＤＲ画像（１０２）と比較して、より高いダイナミックレンジ、より鮮やかな色、より少ないノイズ、より少ない視認可能な視覚的アーチファクト等を有する、１シーケンスの対応する連続する（再構成された）ＨＤＲ画像のうちのそれぞれの（再構成された）ＨＤＲ画像を生成するために、連続するＳＤＲ画像（１０２）のシーケンス内の各ＳＤＲ画像にノイズ除去された局所的再構成操作を適用するために使用されるノイズ除去された局所的再構成関数インデックスマップを生成し得る。

【0028】

ＳＤＲ画像（１０２）の一部またはすべておよび／または対応するノイズ除去された局所的再構成関数インデックスマップは、ＳＤＲ－ＨＤＲアップコンバージョンブロック（１１５）によって使用され、逆向き再構成マッピング（例えば、ＢＬＵＴ、逆向き再構成関数／曲線または多項式集合、ＭＭＲ係数など）を生成できる。逆向き再構成マッピングは、入力ＳＤＲ画像（１０２）に適用された際に、対応するＨＤＲ画像１０７を生成する。

【0029】

ＨＤＲ画像（１０７）は、ＨＤＲビデオエンコーダ１２０によって、ビデオ信号１２２（例えば、符号化ビットストリームなど）または１セットの連続するビデオセグメント内に符号化され得る。ビデオ信号（１２２）が与えられると、携帯電話などの受信側デバイスは、受信側デバイスの表示能力内で、ＳＤＲ画像データとともにメタデータを用いて、ＨＤＲなどのダイナミックレンジがより高く、色がより鮮やかで、ノイズがより少なく、視覚的アーチファクトがより少ないなどの画像を生成およびレンダリングすることを、デバイス上におけるビデオ信号（１２２）の内部処理または後処理の一部として、決定できる。

【0030】

ビデオ信号またはビデオセグメントの例としては、シングルレイヤビデオ信号／セグメントなどが含まれ得るが、必ずしもこれらに限定されない。いくつかの実施形態において、ＨＤＲビデオエンコーダ（１２０）は、ビデオ信号（１２２）またはビデオセグメントを生成するために、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、Ｂｌｕ－Ｒａｙ、および他の供給フォーマットによって定義されるものなどのオーディオエンコーダおよびビデオエンコーダを含み得る。

【0031】

次に、ビデオ信号（１２２）またはビデオセグメントは、モバイルデバイス、タブレットコンピュータ、復号および再生デバイス、メディアソースデバイス、メディアストリーミングクライアントデバイス、テレビ受像機（例えば、スマートテレビ、大画面テレビ、壁掛けテレビなど）、セットトップボックス、映画館などの受信機にダウンストリーム供給される。

【0032】

いくつかの操作シナリオにおいて、一旦ＨＤＲ画像がノイズ除去局所的再構成を介して生成されると、ビデオエンコーダは、ビデオ信号の（例えば、ベースレイヤなど）におけるＳＤＲ画像を符号化する代わりに、ビデオ信号の（例えば、ベースレイヤなど）におけるＨＤＲ画像または局所的に再構成されたＨＤＲ画像から導出されたあるバージョンのＨＤＲ画像を符号化できる。そのようなビデオ信号から復号化されたＨＤＲ画像は、ＨＤＲディスプレイ上で直接視聴可能であり得る。

【0033】

［局所的再構成のためのノイズ除去］
図２Ａは、入力ＳＤＲ画像から対応するＨＤＲ画像を生成するために、ノイズ除去された再構成関数インデックスマップを用いて局所的再構成操作（例えば、２１２など）を適用するための第１のフロー例を例示する。画像処理システム、その中の処理ブロック（例えば、図１の１０５など）は、このプロセスフローを実装または行い得る。いくつかの操作シナリオにおいて、入力ＳＤＲ画像２０２が与えられると、大域的再構成ＨＤＲ画像が生成するために大域的再構成関数２０４が選択される。大域的再構成ＨＤＲ画像は、入力ＳＤＲ画像（２０２）から局所的再構成操作（２１２）によって生成される出力ＨＤＲ画像２１４に対するＨＤＲの主な見え方（look）を決定または表現するために使用される。

【0034】

いくつかの操作シナリオにおいて、ＳＤＲ画像からＨＤＲ画像を生成するために使用される（逆向き）再構成関数は、再構成関数インデックス値によって特定され得る。非限定的な例において、再構成関数インデックス値は、Ｌ１－ｍｉｄ値を用いて特定され得る。Ｌ１－ｍｉｄ値などの再構成関数インデックス値の例は、前述の米国仮特許出願第６３／０８６，６９９に記載されている。

【0035】

入力ＳＤＲ画像（２０２）からＨＤＲ画像（２１４）を生成するために、画素単位レベルまでのノイズ除去操作と組み合わせて局所的再構成演算を適用する目的は、ＨＤＲ画像（２１４）の局所領域の局所的な明るさレベルを変化させることなく、かつ、入力ＳＤＲ画像（２０２）内に存在するノイズに由来する可視アーチファクトを有することなく、ＨＤＲ画像（２１４）のその局所領域における局所的なコントラスト比を高めるとともに、ノイズ除去操作と組み合わせた局所的再構成操作から生成されたＨＤＲ画像（２１４）において大域的な再構成関数（２０４）から生成された大域的再構成ＨＤＲ画像の同じ主なＨＤＲの見え方を維持することである。

【0036】

視覚オブジェクト／キャラクタのエッジ／境界に隣接して変化する局所的な明るさレベルから生成され得る、ハロ（ｈａｌｏ）アーチファクトなどの一般的なアーチファクトを防止または低減することを助けるように、マルチレベルエッジ保存フィルタリング２０６などの高精度フィルタリングを入力ＳＤＲ画像（２０２）に適用して、フィルタリングされた画像にし得る。フィルタリングされた画像は、入力ＳＤＲ画像（２０２）の異なる局所領域（画素単位の精度まで、または各画素周辺の局所領域まで）における局所的な明るさレベル（または局所領域固有の明るさレベル）を導出または推定するために使用され得る。入力ＳＤＲ画像（２０２）の異なる局所領域（画素単位の精度まで、または各画素周辺の局所領域まで）における推定された局所的な明るさレベルは、ＨＤＲ画像（２１４）内の局所的なＬ１－ｍｉｄ値（画素単位の精度まで、または各画素周辺の局所領域まで）などの局所的再構成関数インデックス値を推定または予測するために使用され得る。Ｌ１－ｍｉｄ値などの再構成関数インデックス値の予測の例は、前述の米国仮特許出願第６３／０８６，６９９に記載されている。

【0037】

局所的再構成操作の効率または応答時間を改善するために、１ファミリの局所的再構成関数２０８を、システム起動期間中に、本明細書に記載の画像処理システムにおいてロードまたは構築（例えば、最初に、予めなど）してもよい。局所的再構成関数（２０８）のファミリのロードまたは構築は、１シーケンスの連続する入力ＳＤＲ画像のうちの各入力画像（例えば、２０２など）に対してノイズ除去操作と組み合わせた局所的再構成操作を適用して、１シーケンスの対応する連続する出力ＨＤＲ画像のうちの対応するＨＤＲ画像（例えば、２１４など）にすることを、局所的再構成関数（２０８）のファミリに少なくとも部分的に基づいて行う前に、行われ得る。局所的再構成関数（２０８）のファミリは、大域的再構成関数（２０４）を選択するために使用される複数の基本再構成関数から、例えば、外挿および／または補間を介して、生成され得るが、これに限定されない。局所的再構成関数（２０８）のファミリのうちの各局所的再構成関数は、大域的再構成関数（２０４）または大域的再構成関数（２０４）が選択される複数の基本再構成関数のうちの各基本再構成関数の場合と同様に、Ｌ１－ｍｉｄ値などの各再構成関数インデックス値を全体的または部分的に用いて、インデックス付けまたは識別され得る。

【0038】

上記のように、入力ＳＤＲ画像（２０２）にマルチレベルエッジ保存フィルタリング（２０６）を適用することによって生成されたフィルタリングされた画像は、局所的な明るさレベルを生成または推定するために使用され得る。局所的な明るさレベルは、局所的再構成関数インデックス値を生成または予測するための予測モデルにおいて、大域的再構成関数と組み合わせて、または、大域的再構成関数を参照して、使用され得る。これらの局所的再構成関数インデックス値は、（ノイズ除去される前の）局所的再構成関数インデックスマップ２１０のインデックスを形成する。

【0039】

本明細書に記載の技術において、（ノイズ除去される前の）局所的再構成関数インデックスマップ（２１０）を用いて局所的再構成関数（２０８）のファミリ内の画素固有の局所的再構成関数を参照する代わりに、インデックスマップ（２１０）がノイズ除去ブロック（「提案されたノイズ除去モジュール」と表記する）２５２によって最初にノイズ除去されて、ノイズ除去された局所的再構成関数インデックスマップ２５４を生成する。

【0040】

ノイズ除去された局所的再構成関数インデックスマップ（２５４）内でインデックス（または、その値）によって参照された画素固有の局所的再構成関数は、局所的再構成操作（２１２）によって画素単位で入力ＳＤＲ画像（２０２）に適用されて、ルーマチャネルおよびクロマチャネルにおけるＳＤＲコードワードを逆向き再構成して、ルーマチャネルおよびクロマチャネルにおけるＨＤＲ画像（２１４）の再構成されたＨＤＲコードワードにし得る。微調整された（画素単位の精度まで）非線形関数の形態のこれらの画素固有の局所的再構成関数のそれぞれは、ＨＤＲ画像（２１４）において局所的なコントラストおよび／または彩度を高めるために使用され得る。

【0041】

ノイズ除去ブロック（２５２）は、ノイズ除去された局所再構成関数インデックスマップ（２５４）から再構成関数インデックスマップ（２１０）のノイズを低減または除去することによって、入力ＳＤＲ画像（２０２）に由来するノイズの増大を回避する。

【0042】

図２Ａに例示されるように、ノイズ除去ブロック（２５２）は、共起統計量を収集するための第１の処理ブロック２５６を含む。第１の処理ブロック（２５６）は、入力ＳＤＲ画像（２０２）および（ノイズ除去される前の）再構成関数インデックスマップ（２１０）を入力として受け取り、入力ＳＤＲ画像（２０２）からの画素の共起統計量および入力ＳＤＲ画像（２０２）の背景エリアおよびテクスチャエリアを表すバイナリクラスタマップ内の画素の共起統計量を収集する。バイナリクラスタマップおよびバイナリクラスタマスクという用語は、いずれもバイナリクラスタマップと通常呼ばれるものを指す同義語として使用される。

【0043】

ノイズ除去ブロック（２５２）は、再構成関数インデックスマップをノイズ除去するための第２の処理ブロック２５８を含む。第２の処理ブロック（２５８）は、第１の処理ブロック（２５６）から２つの共起統計量を入力として受け取り、２つの共起統計量の組み合わせを用いて、（ノイズ除去される前の）再構成関数インデックスマップ（２１０）をノイズ除去された再構成関数インデックスマップ（２５４）に平滑化する。次に、ノイズ除去された再構成関数インデックスマップ（２５４）は、局所再構成操作（２１２）において用いて、ＳＤＲ－ＨＤＲ局所再構成を行い、ＨＤＲ画像（２１４）を生成し得る。ノイズ除去ブロック（２５２）の第２の処理ブロック（２５８）によって行われる平滑化は、ＨＤＲ画像（２１４）のノイズを低減する役割を有する。付加として、オプションとして、または代替的として、ＨＤＲ画像（２１４）における非ノイズ画像コンテンツを過度に平滑化することによって生じ得るＨＤＲ画像（２１４）における非ノイズ画像コンテンツの強調の意図しない低減を回避するために、重みマスクが標準偏差マップから得られ、平滑化操作において適用され得る。

【0044】

図２Ｂは、入力ＳＤＲ画像から導出されるノイズ除去されたＳＤＲ画像から、対応するＨＤＲ画像を生成するために局所的再構成操作（例えば、２１２など）を適用するための第２のフロー例を例示する。画像処理システム、その中の処理ブロック（例えば、図１の１０５など）は、このプロセスフローを実装または行い得る。いくつかの操作シナリオにおいて、入力ＳＤＲ画像２０２が与えられると、ノイズ除去ブロック２６０が入力ＳＤＲ画像（２０２）に対してノイズ除去操作を行うことによって、ノイズ除去されたＳＤＲ画像２６２が導出される。ノイズ除去されたＳＤＲ画像（２６２）を入力として用いて、ノイズ除去されたＳＤＲ画像（２６２）に対して大域的再構成を行うステップから大域的再構成ＨＤＲ画像を生成するために、大域的再構成関数２０４が選択される。大域的再構成ＨＤＲ画像は、入力ＳＤＲ画像（２０２）から局所的再構成演算（２１２）によって生成されるべき出力ＨＤＲ画像２１４の主なＨＤＲの見え方を決定または表現するために使用される。

【0045】

視覚オブジェクト／キャラクタのエッジ／境界に隣接して変化する局所的な明るさレベルから生成され得るハロ（ｈａｌｏ）アーチファクトなどの一般的なアーチファクトを防止または低減することを助けるように、マルチレベルエッジ保存フィルタリング２０６などの高精度フィルタリングをノイズ除去されたＳＤＲ画像（２６２）に適用して、フィルタリングされた画像にし得る。フィルタリングされた画像は、入力ＳＤＲ画像（２０２）の異なる局所領域（画素単位の精度まで、または各画素周辺の局所領域まで）における局所的な明るさレベル（または、局所領域固有の明るさレベル）を導出または推定するために使用され得る。ノイズ除去されたＳＤＲ画像（２６２）の異なる局所領域（画素単位の精度まで、または各画素周辺の局所領域まで）における推定された局所的な明るさレベルは、ＨＤＲ画像（２１４）における局所的なＬ１－ｍｉｄ値（画素単位の精度まで、または各画素周辺の局所領域まで）などの局所的再構成関数インデックス値を推定または予測するために使用され得る。これらの局所的再構成関数インデックス値は、局所的再構成関数インデックスマップ２１０のインデックスを形成する。

【0046】

局所的再構成関数インデックスマップ（２１０）内のインデックス（または、その値）によって参照された画素固有の局所的再構成関数は、局所的再構成操作（２１２）によって画素単位で入力ＳＤＲ画像（２０２）に適用されて、ルーマチャネルおよびクロマチャネルにおける入力ＳＤＲコードワードを逆向き再構成して、ルーマチャネルおよびクロマチャネルにおけるＨＤＲ画像（２１４）の再構成されたＨＤＲコードワードにし得る。微調整された（画素単位の精度まで）非線形関数の形態のこれらの画素固有の局所的再構成関数のそれぞれは、ＨＤＲ画像（２１４）において局所的なコントラストおよび／または彩度を高めるために使用され得る。

【0047】

ノイズ除去ブロック（２６０）は、ノイズ除去されたＳＤＲ画像（２６２）から入力ＳＤＲ画像（２０２）のノイズを低減または除去することによって、入力ＳＤＲ画像（２０２）に由来するノイズの増大を回避する。付加として、オプションとして、または代替的として、非ノイズ画像コンテンツの平滑化を回避するために、入力ＳＤＲ画像（２０２）において、ノイズの影響を受けた画像コンテンツのみにおいて、または、空間領域（ハイライト領域や明るい領域など）において、低減またはノイズ除去を制限するようにマスクが設計され得る。

【0048】

付加として、オプションとして、または代替として、図２Ｂに示されるように入力ＳＤＲ画像（２０２）に対して局所的再構成操作（２１２）を適用する代わりに、図２Ｃに例示されるように、ノイズ除去操作を伴う局所的再構成操作（例えば、２１２など）を適用するための第３のフロー例において、局所的再構成関数インデックスマップ（２１０）においてインデックス（または、その値）によって参照された画素固有の局所的再構成関数が、局所的再構成操作（２１２）によって画素単位でノイズ除去されたＳＤＲ画像（２６２）に適用され、ノイズ除去されたＳＤＲ画像（２６２）のルーマチャネルおよびクロマチャネルにおけるノイズ除去されたＳＤＲコードワードを逆向きに再構成して、ルーマチャネルおよびクロマチャネルにおけるＨＤＲ画像（２１４）の再構成されたＨＤＲコードワードにし得る。

【0049】

図２Ｄは、図２Ｂまたは図２Ｃのノイズ除去ブロック（２６０）を用いて行われる操作例を例示する。図示されるように、ノイズ除去ブロック（２６０）は、共起統計量を収集するための第１の処理ブロック２６６を含む。第１の処理ブロック（２６６）は、入力として入力ＳＤＲ画像（２０２）を受け取り、入力ＳＤＲ画像（２０２）から画素の共起統計量を収集する。ノイズ除去ブロック（２６０）は、入力ＳＤＲ画像をノイズ除去するための第２の処理ブロック２６８を含む。第２の処理ブロック（２６８）は、第１の処理ブロック（２６６）から共起統計量を入力として受け取り、共起統計量を用いて、入力ＳＤＲ画像（２０２）を平滑化して、ノイズ除去されたＳＤＲ画像（２６２）にする。次に、ノイズ除去されたＳＤＲ画像（２６２）は、ＳＤＲ－ＨＤＲ局所的再構成などの後の処理において使用されて、ＨＤＲ画像（２１４）を生成し得る。ノイズ除去ブロック（２６０）の第２の処理ブロック（２６８）によって行われる平滑化は、ＨＤＲ画像（２１４）においてノイズを低減する役割を有する。付加として、オプションとして、または代替的として、ＨＤＲ画像（２１４）における非ノイズ画像コンテンツを過度に平滑化することによって生じ得るＨＤＲ画像（２１４）における非ノイズ画像コンテンツの強調の意図しない低減を回避するために、重みマスクが標準偏差マップから取得され、平滑化操作において適用され得る。

【0050】

図２Ｅは、入力ＳＤＲ画像から対応するＨＤＲ画像を生成するために、ノイズ除去演算と組み合わせて局所的再構成操作（例えば、２１２など）を適用するための第４のフロー例を例示する。第１のフロー例について図２Ａに例示した処理ブロックに加えて、この第４のフロー例においては、入力ＳＤＲ画像（２６２）に対してノイズ除去操作を行ってノイズ除去されたＳＤＲ画像を生成するために、ノイズ除去ブロック（２６０）が追加される。さらに、図２Ａに示したように入力ＳＤＲ画像（２０２）に対して局所的再構成演算（２１２）を適用する代わりに、図２Ｅに例示するこの第４のフロー例においては、局所再構成関数インデックスマップ（２１０）内のインデックス（または、その値）によって参照された画素固有の局所再構成関数が、局所再構成演算（２１２）によって画素単位でノイズ除去されたＳＤＲ画像（２６２）に適用され、ノイズ除去されたＳＤＲ画像（２６２）のルーマチャネルおよびクロマチャネルにおけるノイズ除去されたＳＤＲコードワードを逆向きに再構成して、ルーマチャネルおよびクロマチャネルにおけるＨＤＲ画像（２１４）の再構成されたＨＤＲコードワードにし得る。第４の例において、入力ＳＤＲ画像（２０２）のノイズ除去および（ノイズ除去される前の）再構成関数マップインデックス（２１０）のノイズ除去の両方を用いて、比較的強力なノイズ除去を達成することができる。

【0051】

［共起統計量の収集］
いくつかの操作シナリオにおいて、画像平滑化操作は、共起フィルタまたは共起フィルタリング（ＣｏＦ）を用いて行うことができる。ＣｏＦを用いた画像平滑化には、共起統計量を収集し、ＣｏＦを用いて画像を平滑化することを含む。ＣｏＦを用いたノイズ除去の例は、Jevnisek, Roy J., and Shai, Avidan, “Co-occurrence filter, ”Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.3184-3192 (2017)に見出すことができる。その全体を本明細書において援用する。

【0052】

単一チャネルの画像Iが与えられると、画素値ａおよびｂの共起統計量Ｃ（ａ，ｂ）を以下から得ることができる。

【数1】

ここで、ｐおよびｑは、Ｉ中においてそれぞれ画素値ａおよびｂを有する２つの画素の位置を表し、［・］は、内側に囲まれている当該式が真の場合に１に等しく、当該式が偽の場合に０に等しく、σは、標準偏差を表し、ｄ（ｐ，ｑ）は、ｐおよびｑ間のユークリッド距離を表す。ｐ＝（ｉ，ｊ），ｑ＝（ｖ，ｗ）の場合、そのユークリッド距離は、以下によって与えられ得る。

【数2】

ここで、iおよびｊは、それぞれ画素配列または画像フレームにおける画素位置ｐの行と列を表し、ｖおよびｗは、それぞれ当該画素配列または画像フレームにおける画素位置ｑの行と列を表す。

【0053】

共起行列Ｍの行列要素は、以下のように、それぞれが同じ画素値ａおよびｂの対を表す画素対の共起統計量を格納するために用いられ得る。

【数3】

ここで、ｈ（ａ）は、画像において値ａを有する画素の数をカウントするものであり、したがって、ｈ（ａ）＝Σ_ｐ［Ｉｐ＝ａ］である。共起行列Ｍの大きさは、

【数4】

であり、ここで、Ｂ^Ｓは、入力画像Ｉのビット深度であり、画像Ｉが表される色空間の、単一チャネルにおけるすべての可能なコードワードを含むコードワード空間のビット深度を表す。

【0054】

共起行列Ｍを用いて、以下のように、サイズがＨ×Ｗである入力画像Ｉを平滑化して、（出力、平滑化）画像Ｊを得ることができる。

【数5】

ここで、Ｎ（ｐ）は、（例えば、矩形状などの）ウィンドウまたは画素近傍における画素位置ｐの近傍画素位置を表す。ウィンドウは、

【数6】

と表すことができる。ここで、ｋ_ｓは、ウィンドウまたは画素近傍の半ウィンドウサイズを示す。上記式（３）において、

【数7】

であり、ここで、σ_sは、標準偏差を表す。

【0055】

あくまで例示であるが、フル高詳細またはＨＤ（１９２０×１０８０）の入力画像Ｉに対して、例示的な標準偏差は、σ_ｓ＝１０であり、および例示的な半ウィンドウサイズは、ｋ_ｓ＝ｃｅｉｌ（σ_ｓ）＝１０であり得る。同じコンテンツであるが異なる大きさを有する入力画像に対して、標準偏差は、画像サイズに比例するように設定され得る。

【0056】

共起フィルタリングは、下記の表１におけるバイラテラルフィルタリングと比較可能である。バイラテラルフィルタリングにおいて、

【数8】

という項は、ｐおよびｑにおける画素が共に平滑化されるべきかどうかを決定または制御（例えば、フィルタリング強度など）し、フィルタリングされた画像内の急峻なエッジを保存するために使用される。比較として、共起フィルタリングは、同じガウシアン項

【数9】

を共通にし、かつ、共起統計量Ｍ（Ｉ_ｐ，Ｉ_ｑ）を用いて、ｐおよびｑにおける画素が共に平滑化されるべきかどうかを決定または制御（例えば、フィルタリング強度など）する。バイラテラルフィルタリングとは異なり、共起フィルタリングは、比較的頻繁に共起する異なる画素値を用いて画素を平滑化できる。

【表1】

【0057】

スライディングウィンドウを用いて共起統計量を計算または収集するための手順例を下記の表２に例示する。

【表2】

【0058】

ＣｏＦを用いて入力画像を平滑化するための手順例を以下の表３に例示する。入力画像の境界は、平滑化画像において比較的良く保存され、比較的頻度の高い共起画素値は、比較的強く平滑化され得る。

【表3】

【0059】

図２Ｆは、本明細書に記載のノイズ除去操作のための共起統計量を収集するための操作例を例示する。図示するように、処理ブロック２７０の第１のインスタンスは、入力ＳＤＲ画像２０２を受け取り、入力ＳＤＲ画像（２０２）内の画素の共起統計量を収集／取得し得る。入力ＳＤＲ画像（２０２）内の画素の共起統計量は、Ｍ_１と表記される第１の共起行列内に格納または収集され得る。

【0060】

付加として、オプションとして、または代替として、処理ブロック２７２は、再構成関数インデックスマップ２１０を受け取り、再構成関数インデックスマップ（２１０）からバイナリクラスタマップを生成または取得し得る。バイナリクラスタマップは、再構成関数インデックスマップ（２１０）を背景エリアおよびテクスチャエリア、入力ＳＤＲ画像（２０２）内の画素の共起統計量に区分け、仕切り、または分割する。処理ブロック（２７０）の第２のインスタンスは、バイナルクラスタマップのクラスタの共起統計量を収集／取得する。バイナリクラスタマップのクラスタの共起統計量は、Ｍ_２と表記される第２の共起行列内に格納または収集され得る。

【0061】

いくつかの操作シナリオにおいて、入力ＳＤＲ画像（例えば、図２Ａから図２Ｃおよび図２Ｅの２０２など）の共起統計量が収集され、そして対応する再構成関数インデックスマップ内の画素位置の画素値またはインデックス値を平滑化すべきかどうか、および、どのように平滑化すべきかを決定または制御（例えば、フィルタリング強度など）するために使用され得る。比較として、再構成関数インデックスマップの共起統計量は、収集されなくてもよく、かつ、対応する再構成関数インデックスマップ内の画素位置の画素値またはインデックス値を平滑化すべきかどうか、および、どのように平滑化すべきかを決定または制御（例えば、フィルタリング強度など）するために使用されなくてもよい。これは、再構成関数インデックスマップの画素位置における類似の画素値またはインデックス値が、入力ＳＤＲ画像の同じ画素位置における非常に異なる画素値に対応可能であるためである。したがって、画素値またはインデックス値の共起統計量は、再構成関数インデックスマップ内の画素位置の画素値またはインデックス値が平滑化されるべきかどうか、およびどのように平滑化されるべきかを決定または制御（例えば、フィルタリング強度など）するには不正確であり得る。

【0062】

例示のみを目的として、入力（例えば、ＹＣｂＣｒ、ＳＤＲなど）画像は、入力画像が表現される色空間の各チャンネルにおけるビット深度が８である画像であり得る。（例えば、ＹＣｂＣｒ、ＲＧＢなどの）色空間などの３チャンネル色空間の各チャンネルにおけるビット深度が８であるコードワード空間における可能な値の総数は、２５６^３×２５６^３であるので、すべての画素値対に対する共起行列Ｍのサイズまたは大きさ（dimensions）は、２５６^３×２５６^３になる。このサイズは、メモリ消費と計算コストが比較的高いため、実際には大きすぎて使用できないことがあり得る。また、特定の画素値対（ａ，ｂ）に対して、比較的高い信頼度で（ａ，ｂ）の共起統計量を取得または収集するには十分な数の画素が存在しないことがあり得る。

【0063】

いくつかの操作シナリオにおいて、各画素値対に対して比較的低いメモリ使用量、比較的高い計算効率、および比較的十分な数の画素を確保することを助けるように、チャネルあたり８ビットの入力画像が量子化され得る。次に、量子化された入力画像は、共起統計量を収集するために使用され得る。

【0064】

入力画像を量子化する可能な方法は、入力画像内の画素値間でＫ平均ベースのクラスタリングを適用することであり得る。しかし、この方法ではまだ時間がかかり得る。

【0065】

いくつかの操作シナリオにおいて、Ｋ平均よりも計算効果または効率の高い量子化方法が適用または実装され得る。図２Ｇに例示されるように、Ｓと表示される入力画像のルーマまたはＹチャネルコードワードを含む単一チャネル画像Ｓ^Ｙがクリップまたは量子化され得る。例えば、単一チャネル画像Ｓ^Ｙ（後で詳述するように、レターボックスにおけるレターボックス画素を除く）のルーマまたはＹチャネルコードワードの５パーセンタイルおよび９５パーセンタイル（ａおよびｂと表記する）が単一チャネル画像Ｓ^Ｙに対して識別され得る。本明細書において使用されるように、「レターボックス」という用語は、矩形、レターボックス、ピラーボックス、卵形、または他の形状などの任意の形状のパディングされた暗色、単色、着色、もしくは白色のエリア、またはレターボックス、ピラーボックス、卵形、またはその他の形状などの任意の形状の非アクティブ（静的）領域のうちの１つ以上を指し得る。単一チャネル画像Ｓ^Ｙの画素値（または、ルマ／Ｙコードワード）は、以下のように、これらのパーセンタイルａおよびｂを下限および上限として用いてクリップされ、Ｓ^Ｙｃとして表記されるクリップ化単一チャネル画像を取得し得る。

【数10】

【0066】

クリップされた単一チャンネル画像Ｓ^Ｙｃは、以下のように、さらにｎＢｉｎｓ＝８個の均一な区間に量子化され、Ｓ^Ｑと表記される量子化クリップ化単一チャンネル画像を生成することができる。

【数11】

ここで、正則化項（または、ｅｐｓ）ε＝１０^－４は、ゼロ（０）による除算を防ぐために使用される。区間の数ｎＢｉｎｓは、比較的速い処理速度および比較的高いノイズ除去品質の両方を確保するために選択または設定する（例えば、８、異なる数など）ことができる。区間の数がより少ないと、処理が速くなり得るが、画像内の（例えば、比較的小さいなどの）エッジをぼけさせる可能性がより高くなり得る。

【0067】

クリップ化単一チャネル画像Ｓ^Ｙｃから量子化クリップ化単一チャネル画像Ｓ^Ｑを得た後、Ｓ^Ｑから共起統計量が収集され得る。いくつかの操作シナリオにおいて、関心領域マップＰ（例えば、レターボックス確率マップ、周辺エリア確率マップなどを補完する）を用いて、入力画像内に存在し得る任意のレターボックスエリア内の画素の影響を除外し得る。レターボックス確率マップまたは周辺エリア確率マップの例は、Ｔ－Ｗ ＨｕａｎｇおよびＧ－Ｍ Ｓｕによる２０２１年６月１１日付け出願の米国仮特許出願シリアル第６３／２０９，６０２号に見出すことができ、その内容全体は、本明細書に完全に記載されているかのように本明細書において援用される。したがって、式（１）および式（２）は、以下のように、関心領域マップＰを用いて変更または調節され得る。

【数12】

【0068】

ｎＢｉｎｓに対応する量子化レベルが８であるため、共起行列Ｍ_１は、８×８のサイズを有する。上記のように、フルＨＤ（１９２０×１０８０）の入力画像に対して、σは、例えば１０の値となるように選択または設定され得、かつ、半ウィンドウサイズｋは、例えば１０の値となるように選択または設定され得る。異なる入力画像サイズに対して、σおよびｋは、画像サイズに比例するか、または画像サイズとともにスケール化するように選択または設定できる。

【0069】

いくつかの操作シナリオにおいて、図２Ｈに例示されるように、量子化画像Ｓ^Ｑは、共起統計量の収集を加速するためにダウンサンプリングされ得る。例えば、サイズＨ×Ｗの量子化画像Ｓ^Ｑは、各行および各列におけるＤ画素（または、ダウンサンプリング係数）毎に１画素を選択することによってダウンサンプリングされ、その結果、サイズ

【数13】

のダウンサンプリング画像Ｓ^Ｑｄが得られ得る。非限定的な例において、ダウンサンプリング係数 Ｄ＝４は、共起を収集すること、および、共起統計量における歪みを回避することを加速するために選択または設定され得る。関心領域マップＰは、ダウンサンプリングレターボックス確率Ｐ^ｄ（または、対応するダウンサンプリングされた相補的周辺エリア確率マップ）を得るために、同じダウンサンプリング係数を用いて同様にダウンサンプリングされ得る。共起行列Ｍ_１は、以下のように共起統計量を格納するために得られ得る。

【数14】

ここで、

【数15】

は、ダウンサンプリングされた画像Ｓ^Ｑｄ内の値ａの画素の総数を計算またはカウントするものである。ダウンサンプリングされた画像を用いて、標準偏差および半ウィンドウサイズが、

【数16】

となるようにダウンサンプリングされ得る。いくつかの操作シナリオにおいて、実際に比較的速い速度を達成するために、画像ダウンサンプリングを最初に単一チャネル画像Ｓ^Ｙに適用し、次に画素値量子化を行って、Ｓ^Ｑｄを得ることができる。

【0070】

図３Ａは、入力画像から生成された量子化ダウンサンプリングされた単一チャネル画像から計算されたサイズ８×８の共起行列Ｍ_１の例を例示する。図示されるように、行列の対角線に沿った、または、対角線に近い要素は、同じような画素値間の比較的強い共起を示す比較的大きな値である一方、行列の対角線から外れた、または、対角線から離れた要素は、比較的大きな差の画素値間の比較的弱い共起を示す比較的小さな値である。

【0071】

いくつかの操作シナリオにおいて、共起統計量は、再構成関数インデックスマップ内のテクスチャエリアにおける共起統計量が比較的大きくあり得る場合でも、入力画像のテクスチャエリアにおける平滑化を防止または低減するために、または、入力画像の背景エリア内の平滑化を制限または限定することを助けるように、再構成関数インデックスマップ内で識別されたクラスタから収集され得る。再構成関数インデックスマップは、背景エリアに対するクラスタとテクスチャエリアに対するクラスタとの２つのクラスタを有するバイナリマップＫに仕切られるか、または、分割され得る。バイナリマップＫは、背景エリア内の画素に対して行われるべき平滑化操作を制限または限定することを助けるように使用できるが、但し入力画像のこれらの背景エリアからの共起統計量が比較的大きいことを条件とする。一方、バイナリマップＫは、入力画像のこれらのテクスチャエリアからの共起統計量がたまたま比較的大きい場合であっても、テクスチャエリア内の画素を用いた平滑化を回避することを助けるように使用できる。付加として、オプションとして、または代替として、後でさらに詳述するように、重みマスクをさらに用いて、入力画像のテクスチャエリアの平滑化を回避できる。

【0072】

背景エリア内の画素値の標準偏差は、テクスチャエリア内の画素値の標準偏差と比較して相対的に小さいので、画素が背景エリアまたはテクスチャエリアのどちらに属するかを決定するために、加重標準偏差フィルタリングからなどの局所的標準偏差が使用され得る。

【0073】

標準偏差マップ（または、ｓｔｄマップ）は、入力画像に対して標準偏差フィルタを用いて得ることができる。画素の位置が与えられると、当該画素の周りの画素パッチまたは近傍内の画素値は、Ｘ＝｛ｘ_１，…，ｘ_Ｎ｝と表記され得る。ここで、ｘ_ｉは、ｉ番目の画素値である。パッチＸのこれらの画素値の分散Ｖａｒ（Ｘ）は、以下のように得ることができる。

【数17】

【0074】

しかし、入力画像内にレターボックスが存在する場合、入力画像内に存在するレターボックスの境界における（局所的な）分散は、比較的大きい可能性がある。加重標準フィルタリングを行って、入力画像の異なる画素位置における局所的分散および／または局所的標準偏差を得てもよい。例えば、パッチＸの画素値の局所的分散Ｖａｒ’（Ｘ）は、上記式（１０）の代わりに、以下のように得ることができる。

【数18】

ここで、各画素値ｘ_ｉに対する個別の重み付け係数ｗ_ｉ∈［０，１］は、関心領域マップＰから得ることができる。加重標準偏差フィルタリングを用いて局所的分散を計算するための手順の例を以下の表４に例示する。

【表4】

【0075】

加重標準偏差フィルタリングの（空間フィルタリング）カーネルサイズが小さいと、エッジなどのより詳細なディテールを有する分散マップまたは標準偏差マップが生じ得る。カーネルサイズが大きいと、よりぼけた分散マップまたは標準偏差マップが生じ得る。

【0076】

図２Ｉは、再構成関数インデックスマップから導出される標準偏差マップから、バイナリクラスタマップＫを得るための処理フロー例を例示する。ｋ_１＝３およびｋ_２＝５１などの２つの異なるカーネルサイズを有する再構成関数インデックスマップに加重標準偏差フィルタリングを適用して、それぞれｓｔｄ＿ｍａｐ_１およびｓｔｄ＿ｍａｐ_２と表示される２つの標準偏差マップを導出し得る。より小さいカーネルサイズを有する加重標準偏差フィルタリングを用いて、結果として得られる標準偏差マップｓｔｄ＿ｍａｐ_１において再構成関数インデックスマップ内のエッジを検出または保存できる。標準偏差マップｓｔｄ＿ｍａｐ_１に、さらに、σ_ｂなどの標準偏差（３、４、５などの値を有する）を用いたガウシアンフィルタを適用することによって、ぼけたｓｔｄ＿ｍａｐ_１を生成できる。以下のように、ぼけたｓｔｄ＿ｍａｐ_１と（ぼけてない）ｓｔｄ＿ｍａｐ_２の両方を、ｔ_１（１８、２０、２２などの値を有する）、ｔ_２（６５、７０、７５、８０などの値を有する）を有する閾値と別々に比較（または、閾値処理）して２つのバイナリマップを得ることができる。

【数19】

【0077】

バイナリマップｉｍｇ_１とｉｍｇ_２は、以下のように組み合わせるか、または、乗算して、バイナリクラスタマップＫを得ることができる。

【数20】

【0078】

画素位置は、当該画素位置がバイナリマップｉｍｇ_１とｉｍｇ_２の両方における背景エリア内にある場合、背景エリア内にあると判定され得る。ぼかしのための閾値、カーネル、標準偏差などに対して使用されるこれらのパラメータは、異なる空間解像度のビデオフレームに対して異なるように経験的に選択できる。

【0079】

第２の共起行列を関心領域マップＰ（または、対応する周辺エリア確率マップ）と共に用いて、以下のようにバイナリクラスタマップＫの共起統計量を生成および格納できる。

【数21】

【0080】

いくつかの操作シナリオにおいて、バイナリクラスタマップＫをダウンサンプリングステップからダウンサンプリングバイナリクラスタマップを生成し、ダウンサンプリングバイナリクラスタマップを用いて共起統計量を第２の共起行列Ｍ_２に収集し得る。

【0081】

バイナリクラスタマップＫからの共起統計量の例を以下の表５に例示する。示されているように、背景エリアに対する共起統計量Ｃ（１，１）は、比較的大きく、背景エリア内の画素値を平滑化するのに役立つことができる。サイズが２×２である第２の共起行列Ｍ_２は、後でさらに詳細に記載するように、再構成関数インデックスマップをノイズ除去するために（第１の）共起行列Ｍ_１と組み合わせることができる。

【表5】

【0082】

［共起フィルタリングおよびノイズ除去］
図２Ｊは、共起統計量を有するノイズ除去された再構成関数インデックスマップ例を例示する。ノイズ除去を背景エリア内に限定することを助け、テクスチャエリア内の局所的再構成ステップからの強調を保存することを助けるように、Ｌとして表記される（ノイズ除去される前の）再構成関数インデックスマップから重みマスクＷが生成または取得される。再構成関数インデックスマップＬは、計算される前の共起行列Ｍ_１およびＭ_２を用いて平滑化され、Ｌ_ｄと表記される中間のノイズ除去された再構成関数インデックスマップを生成する。以下のように、Ｌ_ｆと表記される最終的なノイズ除去された再構成関数インデックスマップが、重みマスク内で特定された重み要素（または、重み付け係数）を用いて、（ノイズ除去される前の）再構成関数インデックスマップＬと中間のノイズ除去された再構成関数インデックスマップＬ_ｄとの加重和として生成され得る。

【数22】

ここで、「．＊」と表記される演算子は、当該演算子の前の第１の因数と当該演算子の後の第２の因数との間の画素単位の乗算演算を表す。より具体的には 最終的なノイズ除去された再構成関数インデックスマップＬ_ｆの複数の画素位置のうちの特定の画素位置における最終的な再構成関数インデックス値は、（ノイズ除去される前の）再構成関数インデックスマップＬの対応する複数の画素位置のうちの特定の画素位置における（ノイズ除去される前の）再構成関数インデックス値と、中間のノイズ除去された再構成関数インデックスマップＬ_ｄの対応する複数の画素位置のうちの特定の画素位置における中間の再構成関数インデックス値との、重みマスクＷの対応する複数の画素位置のうちの特定の画素位置における重み要素（または、重み付け係数）を用いた加重和である。

【0083】

図２Ｋは、重みマスクＷを生成するための処理フロー例を例示する。再構成関数インデックスマップＬのバイナリクラスタマップＫから第２の共起行列Ｍ_２内に収集された共起統計量は、比較的大きな共起統計値を有し得、重みマスクＷを用いずに使用される場合、テクスチャエリア内の画素または画素値が背景エリア内の画素または画素値のように平滑化され、それにより、テクスチャエリア内に描画された画像ディテールの望ましくないぼけを引き起こし、局所的再構成操作による画像ディテールの所望の強調を低減／打ち消しし得る。

【0084】

重みマスクＷは、テクスチャエリアにおける画像ディテールまたはその所望の強調を保存するために使用され得る。再構成関数インデックスマップＬの（例えば、加重などの）分散または標準偏差マップは、（例えば、加重などの）標準偏差フィルタリングを用いて生成され、ワイトマスクＷを得るために使用され得る。テクスチャエリアは、比較的大きな空間周波数視覚コンテンツを有するので、分散または標準偏差マップは、テクスチャエリア内において比較的大きな値を有する。

【0085】

図２Ｋおよび図２Ｉに例示する非限定的な例において、加重標準偏差フィルタリングをｋ_２＝５１などのカーネルサイズを有する再構成関数インデックスマップに適用して、標準偏差マップｓｔｄ＿ｍａｐ_２を導出し得る。標準偏差マップｓｔｄ＿ｍａｐ_２は、σ_０＝５などの標準偏差のガウシアンフィルタを用いてぼかされ得る。図３Ｂに例示されるように、ぼけた標準偏差マップは、下限および上限［ｌ，ｈ］にクリップされ得る。次に、下限および上限［ｌ，ｈ］内のクリップされた値は、［０，１］などの正規化値範囲に正規化されて、（最終的な）重みマスクＷを得ることができる。再構成関数インデックス値範囲の例は、値範囲［０，４０９５］の一部またはすべてであり得る。下限および上限［ｌ，ｈ］は、経験的に選択され、［６０，２００］、［５０，２１０］、［４０，２２０］などのうちのいずれでもよい。クリッピングおよび正規化演算は、以下のように、ぼけた標準偏差マップ内の各画素に関数ｆ_ｃｎを適用することに相当し得る。

【数23】

【0086】

ぼけた標準偏差マップに対してクリッピングおよび正規化演算を用いて重みマスクＷを生成するための手順例を以下の表６に例示する。

【表6】

【0087】

テクスチャエリアに存在する可能性のある画素位置に対して、当該画素位置におけるぼけた標準偏差は、比較的大きい可能性がある。これに対応して、重みマスクＷ内の当該画素位置に対する重み要素は、相対的に小さくなる可能性があり、かつ、最終的なノイズ除去された再構成関数インデックスマップＬ_ｆ内の当該画素位置に対する最終的な再構成関数インデックス値への寄与は、中間のノイズ除去された再構成関数インデックスマップＬ_ｄからよりも、元の（ノイズ除去前の）再構成関数インデックスマップＬからのほうがより大きい。その結果、元の再構成関数インデックスマップ内で特定された局所的再構成操作からのテクスチャエリアの強化は、そうでない場合よりも、より良好に保存され、かつ、平滑化操作による影響をより受けなくすることができる。

【0088】

図２Ｊに図示するように、中間のノイズ除去された再構成関数インデックスマップＬ_ｄは、（ノイズ除去される前の）再構成関数インデックスマップＬを共起行列Ｍ_１およびＭ_２を用いて平滑化することによって生成できる。例として、限定しないが、一例において、以下のように、共起行列Ｍ_１およびＭ_２内の共起値の平均を最終的な共起値とすることができる。

【数24】

【0089】

代替として、平均値の代わりに、

【数25】

の最小値を最終的な共起値とする。この例において、共起行列Ｍ_１およびＭ_２内の共起統計量の両方が比較的大きい場合に、画素対ｐおよびｑが共起フィルタリングを用いて共に平滑化される傾向がある。

【0090】

共起行列Ｍ_１およびＭ_２から組み合わされた最終的な共起値は、以下のように、（ノイズ除去される前の）再構成関数インデックスマップＬをノイズ除去するために使用できる。

【数26】

ここで、標準偏差σ_ｓは、フルＨＤ（１９２０×１０８０）の入力画像に対して、１０などの例示的な値に設定され得、半ウィンドウサイズｋ_ｓは、１０などの例示的な値に設定され得る。フルＨＤでない画像に対しては、標準偏差σ_ｓは、画像サイズに比例してスケーリングされるように設定され得る。

【0091】

標準偏差σ_ｓに対する値が比較的大きいと、フィルタリングされた画像が比較的滑らかにされ得る。背景エリア内におけるノイズ除去の結果は、視覚的に良くなり得るが、テクスチャエリアは、よりぼかされ得る。

【0092】

再構成関数インデックスマップをノイズ除去するための手順例を以下の表７に例示する。

【表7】

【0093】

再構成関数インデックスマップのノイズ除去は、ダウンサンプリングを用いて加速され得る。例えば、再構成関数インデックスマップの行および列内のＤ_ｓ個の画素（または、ダウンサンプリング係数）毎に１画素が、ノイズ除去操作に関係する計算を実施するために選択または使用され得る。非限定的な例において、出力画像（例えば、図２Ａから２Ｃおよび図２Ｅの２１４など）の視覚的品質を保存しながら高速処理速度を達成するために、ダウンサンプリング係数Ｄ_ｓ＝４が選択または設定され得る。画素位置ｐにおいて、中間の平滑化された、または、（ノイズ除去された）関数インデックスマップＬ_ｄ内のインデックス値は、以下のように計算され得る。

【数27】

ここで、Ｎ^ｄ（ｐ）は、行と列内のＤ_ｓ個の画素毎に１画素だけが共起フィルタリングのために選択または使用されるような、画素近傍内におけるｐの近傍画素位置を表す。一方、ガウシアンフィルタ内の標準偏差σ_ｓは、ダウンサンプリングを用いない標準偏差と同じままでよく、例えば、σ_ｓ＝１０などである。

【0094】

ダウンサンプリングを用いて再構成関数インデックスマップをノイズ除去するための手順例を以下の表８に例示する。

【表8】

【0095】

いくつかの操作シナリオにおいて、局所的再構成のためのノイズ除去において線形セグメントベースの構造が使用され得る。線形セグメントベースの構造の例は、Ｈ．ＫａｄｕおよびＧ－Ｍ．Ｓｕによる米国特許第１０，３９７，５７６号、「Reshaping curve optimization in HDR coding」に記載されており、その内容全体は、本明細書に完全に記載されているかのように本明細書において援用される。

【0096】

本明細書において記載の一部またはすべての技術は、放送ビデオアプリケーション、リアルタイムストリーミングアプリケーションなどのためのリアルタイム操作の一部として実装および／または行うことができる。付加として、オプションとして、または代替として、本明細書において記載の一部またはすべての技術は、非リアルタイムストリーミングアプリケーション、映画アプリケーションなどのための時間遅延またはオフライン操作の一部として実装および／または行うことができる。

【0097】

［処理フロー例］
図４は、ある実施形態にかかる、第１のダイナミックレンジの画像を第１のダイナミックレンジよりも低い第２のダイナミックレンジの入力画像から生成するための処理フロー例を例示する。いくつかの実施形態において、このプロセスフローは、１つまたは複数のコンピューティングデバイスまたはコンポーネント（例えば、符号化デバイス／モジュール、トランスコードデバイス／モジュール、復号化デバイス／モジュール、逆トーンマッピングデバイス／モジュール、トーンマッピングデバイス／モジュール、メディアデバイス／モジュール、逆マッピング生成および適用システムなど）によって行われ得る。ブロック４０２において、画像処理システムは、第２のダイナミックレンジの入力画像に関する共起統計量の第１の配列を生成する。

【0098】

ブロック４０４において、画像処理システムは、複数の再構成関数候補の中から再構成関数を選択するための再構成関数インデックス値の第２の配列を生成する。

【0099】

ブロック４０６において、画像処理システムは、（ａ）共起統計量の第１の配列に少なくとも部分的に基づくノイズ除去操作と、（ｂ）再構成関数インデックス値の第２の配列に少なくとも部分的に基づく再構成操作とを行って、第１のダイナミックレンジの再構成画像を生成する。

【0100】

ある実施形態において、再構成関数インデックス値の第２の配列は、ノイズ除去される前の再構成関数インデックス値の第３の配列にノイズ除去操作が行われることによって生成されたノイズ除去された再構成関数インデックス値の配列である。

【0101】

ある実施形態において、共起統計量の第１の配列は、ノイズ除去される前の再構成関数インデックス値の第３の配列から導出されたバイナリクラスタマスクから収集された共起統計量の第４の配列と、入力画像から導出されたクリップ化量子化画像から収集された共起統計量の第５の配列との組み合わせである。共起統計量の第１の配列が共起統計量の第４の配列と共起統計量の第５の配列との組み合わせであることは、共起統計量の第１の配列が第４の配列と第５の配列とを含むことを意味する。第４の配列および第５の配列は、加算されて１つの配列になるのではない。ある例において、言い換えると、第２のダイナミックレンジの入力画像に対して、まず、ノイズ除去される前の再構成関数インデックスマップ（第３の配列）が計算される。次に、ノイズ除去される前の再構成関数マップ（第３の配列）を用いて、バイナリクラスタマップが計算され、次に、バイナリクラスタマップの共起統計量（第４の配列）が計算される。他方、入力画像は、クリップされ、そして量子化され、共起統計量（第５の配列）が計算される。次に、両方の共起統計量（第４の配列および第５の配列）が組み合わされて、組み合わせ共起統計量（第１の配列）を形成する。次に、組み合わされた共起統計量（第１の配列）を用いて、ノイズ除去される前の再構成関数インデックスマップ（第３の配列）をノイズ除去し、ノイズ除去された共起統計量（第２の配列）を得る。次に、ノイズ除去された共起統計量（第２の配列）を用いて、第１のダイナミックレンジの再構成画像が生成される。

【0102】

ある実施形態では、バイナリクラスタマスクは、ノイズ除去される前の再構成関数インデックス値の第３の配列に標準偏差フィルタリングを適用するステップから生成される。

【0103】

ある実施形態では、標準偏差フィルタリングは、ノイズ除去される前の再構成関数インデックス値の第３の配列に、少なくとも２つの異なる空間フィルタリングカーネルサイズを用いて適用される。

【0104】

ある実施形態において、共起統計量の第５の配列は、クリップ化量子化画像または入力画像の一方がダウンサンプリングされた後に、入力画像から導出されたクリップ化量子化画像から収集される。

【0105】

ある実施形態において、共起統計量の第４の配列は、第１の共起行列内に格納され、ここで、共起統計量の第５の配列は、第２の共起行列内に格納され、第１の配列内の画素位置における共起統計量は、第１の共起行列内の画素位置における第１の共起統計量および第２の共起行列内の画素位置における第２の共起統計量の平均値または最小値の一方を表す。

【0106】

ある実施形態において、再構成関数インデックス値の第２の配列内において表された画素位置における各再構成関数インデックス値は、中間のノイズ除去された再構成関数インデックス値の配列内において表された同じ画素位置における第１の再構成関数インデックス値と、ノイズ除去される前の再構成関数インデックス値の配列内において表された同じ画素位置における第２の再構成関数インデックス値との加重和として生成される。

【0107】

ある実施形態において、加重和は、重みマスクの配列内の同じ画素位置における重み要素を用いて特定される。重みマスク値の配列は、標準偏差フィルタリングをノイズ除去される前の再構成関数インデックス値の配列に適用するステップから得られる。

【0108】

ある実施形態において、再構成関数インデックス値の第２の配列は、第２のダイナミックレンジのノイズ除去された画像内のノイズ除去されたコードワードに少なくとも部分的に基づいて生成される。第２のダイナミックレンジのノイズ除去された画像内のノイズ除去されたコードワードは、第２のダイナミックレンジの入力画像内のノイズ除去される前のコードワードに対してノイズ除去操作が行われることによって生成される。

【0109】

ある実施形態において、第１のダイナミックレンジの再構成された画像は、入力画像またはノイズ除去された画像の一方に対して再構成操作を行うステップから生成される。

【0110】

ある実施形態において、共起統計量の第１の配列は、入力画像内のノイズ除去される前のコードワードから収集される。

【0111】

ある実施形態において、第１のダイナミックレンジは、ハイダイナミックレンジを表す。第２のダイナミックレンジは、ハイダイナミックレンジよりも低いスタンダードダイナミックレンジを表す。

【0112】

ある実施形態において、ディスプレイデバイス、モバイルデバイス、セットトップボックス、マルチメディアデバイスなどの、あるコンピューティングデバイスは、上記方法のいずれかを行うように構成される。ある実施形態において、ある装置は、プロセッサを含み、上記方法のいずれかを行うように構成される。ある実施形態において、ある非一時的なコンピュータ読み取り可能な記憶媒体は、ソフトウェア命令を記憶する。ソフトウェア命令は、１つ以上のプロセッサによって実行される際に、上記方法のいずれかを行わせる。

【0113】

ある実施形態において、あるコンピューティングデバイスは、１つ以上のプロセッサおよび１セットの命令を含む１つ以上の記憶媒体を含む。１セットの命令は、１つ以上のプロセッサによって実行される際に、上記方法のいずれかを行わせる。

【0114】

なお、別々の実施形態を本明細書において記載するが、本明細書に記載の実施形態および／または部分的な実施形態の任意の組み合わせが更なる実施形態を形成し得る。

【0115】

［コンピュータシステムの実装例］
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧ
Ａ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のエンハンストダイナミックレンジを有する画像の適応型知覚的量子化に関する命令を行い、制御し、または実行し得る。このコンピュータおよび／またはＩＣは、本明細書に記載の適応型知覚的量子化プロセスに関する様々なパラメータまたは値のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。

【0116】

本発明の特定の態様は、本開示の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のＨＤＲ画像の適応型知覚的量子化に関する方法を実装し得る。本発明の実施形態は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明のある実施形態の方法をデータプロセッサに実行させるための命令を含む１セットの、コンピュータ読み取り可能な信号を格納する任意の非一時的媒体を含み得る。本発明の実施形態によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。

【0117】

上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。

【0118】

一実施形態によると、本明細書に記載の技術は、１つ以上の専用コンピューティングデバイスによって実装される。専用コンピューティングデバイスは、上記技術を行うようにハードワイヤードであってもよいし、または上記技術を行うように永続的にプログラムされた１つ以上の特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのデジタル電子デバイスを含んでもよし、またはファームウェア、メモリ、他の記憶体、またはそれらの組み合わせにおけるプログラム命令にしたがって上記技術を行うようにプログラムされた、１つ以上の汎用ハードウェアプロセッサを含んでもよい。また、そのような専用コンピューティングデバイスは、カスタムハードワイヤードロジック、ＡＳＩＣ、またはＦＰＧＡをカスタムプログラミングと組み合わせて上記技術を達成し得る。専用コンピューティングデバイスは、デスクトップコンピュータシステム、ポータブルコンピュータシステム、携帯デバイス、ネットワーキングデバイス、またはハードワイヤードおよび／もしくはプログラムロジックを含んで上記技術を実装する任意の他のデバイスであり得る。

【0119】

例えば、図５は、本発明のある実施形態が実装され得るコンピュータシステム５００を例示するブロック図である。コンピュータシステム５００は、バス５０２または情報を送受信するための他の通信機構と、バス５０２に接続された、情報を処理するためのハードウェアプロセッサ５０４とを含む。ハードウェアプロセッサ５０４は、例えば、汎用マイクロプロセッサであり得る。

【0120】

また、コンピュータシステム５００は、バス５０２に接続された、情報およびプロセッサ５０４によって実行されることになる命令を記憶するためのランダムアクセスメモリ（ＲＡＭ）または他のダイナミック記憶デバイスなどのメインメモリ５０６を含む。また、メインメモリ５０６は、プロセッサ５０４によって実行されるべき命令の実行中の一時的変数または他の中間情報を記憶するために使用され得る。そのような命令は、プロセッサ５０４がアクセス可能な非一時的な記憶媒体に記憶される場合は、コンピュータシステム５００を、命令において特定される動作を行うようにカスタマイズされた専用マシンにする。

【0121】

コンピュータシステム５００は、バス５０２に接続された、静的情報およびプロセッサ５０４のための命令を記憶するための読み取り専用メモリ（ＲＯＭ）５０８または他の静的記憶デバイスをさらに含む。情報および命令を記憶するために、磁気ディスクまたは光学ディスクなどの記憶デバイス５１０が提供され、バス５０２に接続される。

【0122】

コンピュータシステム５００は、情報をコンピュータユーザに対して表示するための液晶ディスプレイなどのディスプレイ５１２にバス５０２を介して接続され得る。プロセッサ５０４に情報およびコマンド選択を送受信するために、英数字キーまたは他のキーを含む入力デバイス５１４がバス５０２に接続される。プロセッサ５０４に方向情報およびコマンド選択を送受信するための、およびディスプレイ５１２上のカーソル移動を制御するための他の種類のユーザ入力デバイスは、マウス、トラックボール、またはカーソル方向キーなどのカーソル制御５１６である。この入力デバイスは、典型的には２つの軸（第１の軸（例えば、ｘ）および第２の軸（例えば、ｙ））における２つの自由度を有する。これにより、そのデバイスは、平面において位置を特定できる。

【0123】

コンピュータシステム５００は、コンピュータシステムと組み合わされてコンピュータシステム５００を専用マシンにするか、またはプログラムする、ハードワイヤードロジック、１つ以上のＡＳＩＣまたはＦＰＧＡ、ファームウェアおよび／またはプログラムロジックを用いて、上記技術を実装し得る。一実施形態によると、本明細書に記載される技術は、メインメモリ５０６に含まれる１つ以上のシーケンスの１つ以上の命令をプロセッサ５０４が実行することに応答して、コンピュータシステム５００によって行われる。そのような命令は、記憶デバイス５１０などの別の記憶媒体からメインメモリ５０６に読み込まれ得る。メインメモリ５０６に含まれる命令シーケンスを実行することによって、プロセッサ５０４は、本明細書に記載のプロセスステップを行う。別の実施形態において、ハードワイヤードな回路をソフトウェア命令の代わりに、またはそれに組み合わせて使用し得る。

【0124】

本明細書で使用する用語「記憶媒体」は、マシンを特定のやり方で動作させるデータおよび／または命令を記憶する任意の非一時的媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含み得る。非揮発性媒体は、例えば、記憶デバイス５１０などの光学または磁気ディスクを含む。揮発性媒体は、メインメモリ５０６などのダイナミックメモリを含む。記憶媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または任意の他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光学データ記憶媒体、穴のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップまたはカートリッジを含む。

【0125】

記憶媒体は、伝送媒体とは異なるが、それと併せて使用され得る。伝送媒体は、情報を記憶媒体間で転送することに関与する。例えば、伝送媒体は、同軸ケーブル、銅ワイヤ、および光ファイバを含み、バス５０２を含むワイヤを含む。また、伝送媒体は、電波データ通信および赤外データ通信中に生成される音波または光波などの音波または光波の形態をとり得る。

【0126】

様々な形態の媒体が１つ以上のシーケンスの１つ以上の命令を実行のためのプロセッサ５０４に伝送することに関与し得る。例えば、命令は、最初は遠隔のコンピュータの磁気ディスクまたはソリッドステートドライブ上に担持され得る。遠隔コンピュータは、命令をそのダイナミックメモリにロードしたり、命令を、モデムを用いて電話回線を介して送信したりし得る。コンピュータシステム５００に対して局所的なモデムは、電話回線上でデータを受信し、赤外送信機を用いてデータを赤外信号に変換し得る。赤外検出器が赤外信号において伝送されるデータを受信し得る。そして、適切な回路がデータをバス５０２上に配置し得る。バス５０２は、データをメインメモリ５０６に伝送する。プロセッサ５０４は、メインメモリ５０６から命令を取り込んで、実行する。メインメモリ５０６によって受信された命令は、プロセッサ５０４による実行の前または後のいずれかに、必要に応じて記憶デバイス５１０上に記憶され得る。

【0127】

また、コンピュータシステム５００は、バス５０２に接続された通信インターフェース５１８を含む。通信インターフェース５１８は、ローカルネットワーク５２２に接続されたネットワークリンク５２０に接続する双方向データ通信を提供する。例えば、通信インターフェース５１８は、サービス総合デジタル網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、またはデータ通信接続を対応する種類の電話回線に与えるためのモデムであり得る。別の例として、通信インターフェース５１８は、データ通信接続を互換性のあるＬＡＮに与えるためのローカルエリアネットワーク（ＬＡＮ）カードであり得る。また、無線リンクが実装され得る。任意のそのような実装において、通信インターフェース５１８は、様々な種類の情報を表すデジタルデータストリームを伝送する電気、電磁または光学信号を送信および受信する。

【0128】

ネットワークリンク５２０は、典型的には、データ通信を１つ以上のネットワークを介して他のデータデバイスに与える。例えば、ネットワークリンク５２０は、ローカルネットワーク５２２を介してホストコンピュータ５２４、またはインターネットサービスプロバイダ（ＩＳＰ）５２６によって操作されるデータ設備に接続を与え得る。次に、ＩＳＰ５２６は、データ通信サービスを、現在一般的に「インターネット」と呼ばれるワールドワイドパケットデータ通信ネットワーク５２８を介して提供する。ローカルネットワーク５２２およびインターネット５２８の両方は、デジタルデータストリームを伝送する電気、電磁、または光学信号を使用する。コンピュータシステム５００へおよびからデジタルデータを伝送する、様々なネットワークを介する信号ならびにネットワークリンク５２０上のおよび通信インターフェース５１８を介した信号は、伝送媒体の形態例である。

【0129】

コンピュータシステム５００は、ネットワーク、ネットワークリンク５２０、および通信インターフェース５１８を介して、メッセージを送信し、プログラムコードなどのデータを受信し得る。インターネット例において、サーバ５３０は、アプリケーションプログラムについてのリクエストされたコードをインターネット５２８、ＩＳＰ５２６、ローカルネットワーク５２２、および通信インターフェース５１８を介して送信し得る。

【0130】

受信されたコードは、受信されるとプロセッサ５０４によって実行され得るか、および／または後で実行するために、記憶デバイス５１０または他の不揮発性記憶体に記憶され得る。

【0131】

［均等物、拡張物、代替物、その他］
この明細書中において、実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明の請求される実施形態が如何なるものかおよび出願人が本発明の請求される実施形態が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。

【0132】

［列挙実施形態例］
本発明は、本明細書に記載のいずれの形態においても実施され得る。そのような形態は、本発明のいくつかの部分の構造、特徴および機能を説明する、以下の列挙実施形態例（ｅｎｕｍｅｒａｔｅｄ ｅｘａｍｐｌｅ ｅｍｂｏｄｉｍｅｎｔ：ＥＥＥ）を含むが、それらに限定されない。
ＥＥＥ１．
第１のダイナミックレンジの画像を第２のダイナミックレンジの入力画像から生成する方法であって、
前記第２のダイナミックレンジの入力画像に関する共起統計量の第１の配列を生成するステップと、
複数の再構成関数候補の中から再構成関数を選択するための再構成関数インデックス値の第２の配列を生成するステップと、
（ａ）前記共起統計量の第１の配列に少なくとも部分的に基づくノイズ除去操作、および（ｂ）前記再構成関数インデックス値の第２の配列に少なくとも部分的に基づく再構成操作を行って、前記第１のダイナミックレンジの再構成画像を生成するステップと、
を含む方法。
ＥＥＥ２．
前記再構成関数インデックス値の第２の配列は、ノイズ除去される前の再構成関数インデックス値の第３の配列に前記ノイズ除去操作が行われることによって生成されたノイズ除去された再構成関数インデックス値の配列を表す、
ＥＥＥ１の方法。
ＥＥＥ３．
前記共起統計量の第１の配列は、前記ノイズ除去される前の再構成関数インデックス値の第３の配列から導出されたバイナリクラスタマスクから収集された共起統計量の第４の配列と、前記入力画像から導出されたクリップ化量子化画像から収集された共起統計量の第５の配列との組み合わせである、
ＥＥＥ２の方法。
ＥＥＥ４．
前記バイナリクラスタマスクは、前記ノイズ除去される前の再構成関数インデックス値の第３の配列に標準偏差フィルタリングを適用するステップから生成される、
ＥＥＥ３の方法。
ＥＥＥ５．
前記標準偏差フィルタリングは、前記ノイズ除去される前の再構成関数インデックス値の第３の配列に対して、少なくとも２つの異なる空間フィルタリングカーネルサイズを用いて適用される、
ＥＥＥ４の方法。
ＥＥＥ６．
前記共起統計量の第５の配列は、前記入力画像から導出されたクリップ化量子化画像または前記入力画像の一方がダウンサンプリングされた後に、前記クリップ化量子化画像から収集される、
ＥＥＥ３から５のいずれかの方法。
ＥＥＥ７．
前記共起統計量の第４の配列は、第１の共起行列内に格納され、前記共起統計量の第５の配列は、第２の共起行列内に格納され、前記第１の配列内の画素位置における共起統計量は、前記第１の共起行列内の前記画素位置における第１の共起統計量および前記第２の共起行列内の前記画素位置における第２の共起統計量の平均値または最小値の一方を表す、
ＥＥＥ３から６のいずれかの方法。
ＥＥＥ８．
前記再構成関数インデックス値の第２の配列内において表される画素位置における各再構成関数インデックス値は、中間のノイズ除去された再構成関数インデックス値の配列内において表される同じ画素位置における第１の再構成関数インデックス値と、ノイズ除去される前の再構成関数インデックス値の配列内において表される同じ画素位置における第２の再構成関数インデックス値との加重和として生成される、
ＥＥＥ１から７のいずれかの方法。
ＥＥＥ９．
前記加重和は、重みマスク値の配列内の同じ画素位置における重み要素を用いて特定され、前記重みマスク値の配列は、前記ノイズ除去される前の再構成関数インデックス値の配列に標準偏差フィルタリングを適用するステップから得られる、
ＥＥＥ８の方法。
ＥＥＥ１０．
前記共起統計量の第１の配列は、レターボックス内の画素位置の共起統計量を除く関心領域マップを用いて生成される、
ＥＥＥ１から９のいずれかの方法。
ＥＥＥ１１．
前記共起統計量の第１の配列は、共起統計量のサンプリングされる前の配列からダウンサンプリングされる、
ＥＥＥ１から１０のいずれかの方法。
ＥＥＥ１２．
前記再構成関数インデックス値の第２の配列は、前記第２のダイナミックレンジのノイズ除去された画像内のノイズ除去されたコードワードに少なくとも部分的に基づいて生成され、前記第２のダイナミックレンジの前記ノイズ除去された画像内の前記ノイズ除去されたコードワードは、前記第２のダイナミックレンジの前記入力画像内のノイズ除去される前のコードワードに対して前記ノイズ除去操作が行われることによって生成される、
ＥＥＥ１の方法。
ＥＥＥ１３．
前記第１のダイナミックレンジの前記再構成された画像は、前記入力画像または前記ノイズ除去された画像の一方に対して前記再構成操作を行うステップから生成される、
ＥＥＥ１２の方法。
ＥＥＥ１４．
前記共起統計量の第１の配列は、前記入力画像内の前記ノイズ除去される前のコードワードから収集される、
ＥＥＥ１２またはＥＥＥ１３の方法。
ＥＥＥ１５．
前記第１のダイナミックレンジは、ハイダイナミックレンジを表し、前記第２のダイナミックレンジは、前記ハイダイナミックレンジよりも低いスタンダードダイナミックレンジを表す、
ＥＥＥ１から１４のいずれかの方法。
ＥＥＥ１６．
プロセッサを備え、ＥＥＥ１から１５に記載の方法のうちのいずれか１つを行うように構成された装置。
ＥＥＥ１７．
ＥＥＥ１から１５に記載された方法のうちのいずれかに従って、１つまたは複数のプロセッサを用いて方法を実行するためのコンピュータ実行可能命令を記憶した非一時的コンピュータ読み取り可能な記憶媒体。
ＥＥＥ１８．
ＥＥＥ１から１５に記載された方法のうちのいずれか１つを行うように構成されたコンピュータシステム。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図2G】

【図2H】

【図2I】

【図2J】

【図2K】

【図3A】

【図3B】

【図4】

【図5】

【手続補正書】

【提出日】2024-07-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

第１のダイナミックレンジの画像を第２のダイナミックレンジの入力画像から生成する方法であって、
前記第２のダイナミックレンジの入力画像に関する共起統計量の第１の配列を生成するステップであって、共起統計量は、画像または値の配列において共に現れる一対の値の頻度の尺度であり、前記共起統計量の第１の配列は、ノイズ除去される前の再構成関数インデックス値の第３の配列から導出されたバイナリクラスタマスクから収集された共起統計量の第４の配列と、前記入力画像から導出されたクリップ化量子化画像から収集された共起統計量の第５の配列との組み合わせである、ステップと、
複数の再構成関数候補の中から再構成関数を選択するための再構成関数インデックス値の第２の配列を生成するステップであって、前記再構成関数インデックス値の第２の配列は、前記ノイズ除去される前の再構成関数インデックス値の第３の配列に対して前記ノイズ除去操作が行われることによって生成されたノイズ除去された再構成関数インデックス値の配列を表す、ステップと、
（ａ）前記共起統計量の第１の配列に少なくとも部分的に基づくノイズ除去操作、および（ｂ）前記再構成関数インデックス値の第２の配列に少なくとも部分的に基づく再構成操作を行って、前記第１のダイナミックレンジの再構成画像を生成するステップと、
を含む方法。

【請求項2】

前記バイナリクラスタマップは、前記ノイズ除去される前の再構成関数インデックス値の第３の配列に標準偏差フィルタリングを適用するステップから生成される、
請求項１に記載の方法。

【請求項3】

前記標準偏差フィルタリングは、前記ノイズ除去される前の再構成関数インデックス値の第３の配列に、少なくとも２つの異なる空間フィルタリングカーネルサイズを用いて適用される、
請求項２に記載の方法。

【請求項4】

前記共起統計量の第５の配列は、前記入力画像から導出されたクリップ化量子化画像または前記入力画像の一方がダウンサンプリングされた後に、前記クリップ化量子化画像から収集される、
請求項１に記載の方法。

【請求項5】

前記共起統計量の第４の配列は、第１の共起行列内に格納され、前記共起統計量の第５の配列は、第２の共起行列内に格納され、前記第１の配列内の画素位置における共起統計量は、前記第１の共起行列内の前記画素位置における第１の共起統計量および前記第２の共起行列内の前記画素位置における第２の共起統計量の平均値または最小値の一方を表す、
請求項１に記載の方法。

【請求項6】

前記再構成関数インデックス値の第２の配列内において表される画素位置における各再構成関数インデックス値は、中間のノイズ除去された再構成関数インデックス値の配列内において表される同じ画素位置における第１の再構成関数インデックス値と、ノイズ除去される前の再構成関数インデックス値の配列内において表される同じ画素位置における第２の再構成関数インデックス値との加重和として生成される、
請求項１に記載の方法。

【請求項7】

前記加重和は、重みマスク値の配列内の同じ画素位置における重み要素を用いて特定され、前記重みマスク値の配列は、前記ノイズ除去される前の再構成関数インデックス値の配列に標準偏差フィルタリングを適用するステップから得られる、
請求項６に記載の方法。

【請求項8】

前記共起統計量の第１の配列は、レターボックス内の画素位置の共起統計量を除く関心領域マップを用いて生成され、前記レターボックスは、レターボックス、ピラーボックス、卵形、または他の形状などの任意の形状の１つまたは複数の静的領域を指す、
請求項１に記載の方法。

【請求項9】

前記共起統計量の第１の配列は、共起統計量のサンプリングされる前の配列からダウンサンプリングされる、
請求項１に記載の方法。

【請求項10】

前記再構成関数インデックス値の第２の配列は、前記第２のダイナミックレンジのノイズ除去された画像内のノイズ除去されたコードワードに少なくとも部分的に基づいて生成され、前記第２のダイナミックレンジの前記ノイズ除去された画像内の前記ノイズ除去されたコードワードは、前記第２のダイナミックレンジの前記入力画像内のノイズ除去される前のコードワードに対して前記ノイズ除去操作が行われることによって生成され、コードワードは画素値を指す、
請求項１に記載の方法。

【請求項11】

前記第１のダイナミックレンジの前記再構成された画像は、前記入力画像または前記ノイズ除去された画像の一方に対して前記再構成操作を行うステップから生成される、
請求項１０に記載の方法。

【請求項12】

前記共起統計量の第１の配列は、前記入力画像内の前記ノイズ除去される前のコードワードから収集される、
請求項１０に記載の方法。

【請求項13】

前記第１のダイナミックレンジは、ハイダイナミックレンジを表し、前記第２のダイナミックレンジは、前記ハイダイナミックレンジよりも低いスタンダードダイナミックレンジを表す、
請求項１に記載の方法。

【請求項14】

プロセッサを備え、請求項１から１３に記載の方法のうちのいずれか１つを行うように構成された装置。

【請求項15】

請求項１から１３に記載された方法のいずれかに従って、１つまたは複数のプロセッサを用いて方法を実行するためのコンピュータ実行可能命令を記憶した非一時的コンピュータ読み取り可能な記憶媒体。

【国際調査報告】