特許 7171559 画像内の投影領域及び／又はハイライト領域を推定する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-07

(45)【発行日】2022-11-15

(54)【発明の名称】画像内の投影領域及び／又はハイライト領域を推定する方法及び装置

(51)【国際特許分類】

   G06T 7/174 20170101AFI20221108BHJP

   H04N 5/232 20060101ALI20221108BHJP

【ＦＩ】

G06T7/174

H04N5/232 290

【請求項の数】 15

(21)【出願番号】P 2019522738

(86)(22)【出願日】2017-10-26

(65)【公表番号】

(43)【公表日】2020-01-30

(86)【国際出願番号】 EP2017077401

(87)【国際公開番号】W WO2018082996

(87)【国際公開日】2018-05-11

【審査請求日】2020-10-21

(31)【優先権主張番号】16306441.3

(32)【優先日】2016-11-03

(33)【優先権主張国・地域又は機関】EP

【前置審査】

(73)【特許権者】

【識別番号】319002876

【氏名又は名称】インターデジタル マディソン パテント ホールディングス， エスアーエス

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】シュタウダー，ユルゲン

(72)【発明者】

【氏名】ロベール，フィリッペ

(72)【発明者】

【氏名】ジャンドロン，デイビッド

【審査官】佐田 宏史

(56)【参考文献】

【文献】欧州特許出願公開第０２９６１１６９（ＥＰ，Ａ１）

【文献】特開２００７－０８８９１３（ＪＰ，Ａ）

【文献】特開平０７－０２３２８４（ＪＰ，Ａ）

【文献】特表２０１４－５１９２１８（ＪＰ，Ａ）

【文献】特開２００８－１６５３１２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１１／０２５４９７６（ＵＳ，Ａ１）

【文献】国際公開第２０１５／０４８０５３（ＷＯ，Ａ１）

【文献】神納 貴生、奥田 正浩，“ゴースト抑制性能を持つ高ダイナミックレンジ画像の取得法”，映像情報メディア学会技術報告，日本，（社）映像情報メディア学会，2008年05月26日，Vol.32, No.21，pp.15-18

【文献】大倉 史生、外2名，“無人飛行船に搭載された２台の全方位カメラを用いた不可視領域のない全天球ＨＤＲビデオの生成”，日本バーチャルリアリティ学会論文誌，日本，特定非営利活動法人日本バーチャルリアリティ学会，2012年09月30日，Vol.17, No.3，pp.139-149

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

シーン内の投影領域及びハイライト領域を検出する方法であって、前記シーンが、１つのＬＤＲ画像と呼ばれる低ダイナミックレンジ画像、及び前記ＬＤＲ画像よりも高いダイナミックレンジを有する１つのＨＤＲ画像と呼ばれる高ダイナミックレンジ画像によって表され、前記方法が、
ＨＤＲ細部マップ計算手段が、前記１つのＨＤＲ画像から、前記ＨＤＲ画像の細部レベルをこのＨＤＲ画像の各ピクセルに提供するＨＤＲ細部マップを計算するステップと、
ＬＤＲ細部マップ計算手段が、前記１つのＬＤＲ画像から、前記ＬＤＲ画像の細部レベルをこのＬＤＲ画像の各ピクセルに提供するＬＤＲ細部マップを計算するステップと、
検出手段が、前記ＨＤＲ細部マップと前記ＬＤＲ細部マップとの正の差を有する領域を検出するステップと、を含み、
前記検出された前記正の差を有する領域が、前記シーンの投影領域又はハイライト領域に対応する、方法。

【請求項2】

前記ＬＤＲ細部マップ計算手段は、前記ＬＤＲ画像の輝度マップと、前記ＬＤＲ画像のフィルタリング済みの輝度マップとの間のＬＤＲ差に基づき、前記ＬＤＲ細部マップを計算し、
前記ＨＤＲ細部マップ計算手段は、前記ＨＤＲ画像の輝度マップと、前記ＨＤＲ画像のフィルタリング済みの輝度マップとの間のＨＤＲ差に基づき、前記ＨＤＲ細部マップを計算する、請求項１に記載の方法。

【請求項3】

前記ＬＤＲ画像の前記輝度マップに低域通過フィルタを適用することによって、前記ＬＤＲ画像の前記フィルタリング済みの輝度マップが得られる、請求項２に記載の方法。

【請求項4】

前記ＬＤＲ細部マップ計算手段がさらに、前記ＬＤＲ画像内の中間輝度値を有するピクセルに対応する、前記ＬＤＲ細部マップのピクセルの前記細部レベルを低減するために、前記ＬＤＲ差に輝度重み関数を適用する、請求項２又は３のいずれか一項に記載の方法。

【請求項5】

前記ＨＤＲ画像の前記輝度マップに低域通過フィルタを適用することによって、前記ＨＤＲ画像の前記フィルタリング済みの輝度マップが得られる、請求項２～４のいずれか一項に記載の方法。

【請求項6】

前記ＨＤＲ細部マップ計算手段がさらに、前記ＨＤＲ画像内の中間輝度値を有するピクセルに対応する、前記ＨＤＲ細部マップのピクセルの前記細部レベルを低減するために、前記ＨＤＲ差に輝度重み関数を適用する、請求項２～５のいずれか一項に記載の方法。

【請求項7】

前記検出手段は、前記検出された領域のうち、前記ＬＤＲ画像又はＨＤＲ画像の前記ピクセルの輝度値が輝度閾値よりも高い領域をハイライト領域に割り当て、前記ＬＤＲ画像又はＨＤＲ画像の前記ピクセルの輝度値が前記輝度閾値よりも低い領域を投影領域に割り当てる、請求項１～６のいずれか一項に記載の方法。

【請求項8】

請求項１～７のいずれか一項に記載の方法を含む、画像処理方法。

【請求項9】

シーン内の投影領域及びハイライト領域を検出する装置であって、前記シーンが、１つのＬＤＲ画像と呼ばれる低ダイナミックレンジ画像、及び前記ＬＤＲ画像よりも高いダイナミックレンジを有する１つのＨＤＲ画像と呼ばれる高ダイナミックレンジ画像によって表され、前記装置が、
前記１つのＨＤＲ画像から、前記ＨＤＲ画像の細部レベルをこのＨＤＲ画像の各ピクセルに提供するＨＤＲ細部マップを計算し、
前記１つのＬＤＲ画像から、前記ＬＤＲ画像の細部レベルをこのＬＤＲ画像の各ピクセルに提供するＬＤＲ細部マップを計算し、
前記ＨＤＲ細部マップと前記ＬＤＲ細部マップとの正の差を有する領域を検出する、
ように構成された、少なくとも１つのプロセッサを備え、
前記検出された前記正の差を有する領域が、前記シーンの投影領域又はハイライト領域に対応する、装置。

【請求項10】

前記少なくとも１つのプロセッサが、前記ＬＤＲ画像の輝度マップと、前記ＬＤＲ画像のフィルタリング済みの輝度マップとの間のＬＤＲ差に基づいて、前記ＬＤＲ細部マップを計算し、また前記ＨＤＲ画像の輝度マップと、前記ＨＤＲ画像のフィルタリング済みの輝度マップとの間のＨＤＲ差に基づいて、前記ＨＤＲ細部マップを計算するようにさらに構成された、請求項９に記載の装置。

【請求項11】

前記少なくとも１つのプロセッサが、前記検出された領域のうち、前記ＬＤＲ画像又はＨＤＲ画像の前記ピクセルの輝度値が輝度閾値よりも高い領域をハイライト領域に割り当て、前記ＬＤＲ画像又はＨＤＲ画像の前記ピクセルの輝度値が前記輝度閾値よりも低い領域を投影領域に割り当てるようにさらに構成された、請求項９又は１０のいずれか一項に記載の装置。

【請求項12】

請求項９～１１のいずれか一項に記載の装置を組み込む、画像処理装置。

【請求項13】

請求項１２に記載の画像処理装置を組み込む、電子装置。

【請求項14】

カメラ、テレビ受像機、モニタ、ヘッドマウント表示装置、セット・トップ・ボックス、ゲートウェイ、スマートフォン、及びタブレットからなるグループ内で選択される、請求項１３に記載の電子装置。

【請求項15】

プログラムがコンピューティング装置上で実行されるとき、請求項１～８のいずれか一項に記載の方法のステップを実行するための、プログラム・コードの命令を保持する、持続的な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に、画像内の投影領域及び／又はハイライト領域を推定する画像処理の分野に関する。

【背景技術】

【0002】

カメラは、光刺激を色座標に変換する。より正確には、入射光のスペクトルは、カメラ・センサによって統合された色フィルタによって重み付けされ、その結果、赤、緑、及び青での色座標ＲＧＢが得られる。

【0003】

画像処理の様々な分野での問題が、画像解析である。画像解析から推定される特定のタイプの情報は、ハイライト部分及び投影部分である。ハイライト部分は、たとえば、鏡面反射から得られる明るい画像領域である。鏡面反射はしばしば、大量の入射光のせいで、ハイライト領域内において、その最大法定レベルで色座標のクリッピングが生じる。たとえば、ＬＤＲ（低ダイナミックレンジ用）画像又はＳＤＲ（スタンダードダイナミックレンジ用）画像の場合と同様に、色座標の範囲が０～２５５の場合、ハイライト領域での色座標は、２５５にクリッピングされることが多く、又は少なくとも２５５に近い値まで動的にかなり圧縮される。別のタイプのクリッピングは、ソフトクリッピングであり、そこでは、たとえば１０００Ｃｄ／ｍ²からの広範囲の光強度値が、たとえば２５０～２５５の狭い範囲のコード値又は色座標に、マッピング又はソフトクリッピングされる。これにより、光沢のある物体の質感など、配光における細部が品質を低下させる。鏡面反射の同じハイライト領域は一般に、こうした領域の色座標が、１つ又は少数のコード・レベルだけではなく複数のコード・レベル又は色座標内に広がっているという意味で、ＨＤＲ（高ダイナミックレンジ用）画像においてより良好に表される。

【0004】

光源の光が第２の物体に到達するのを第１の物体が妨げると、投影部分が生じる。この第２の物体での投影部分は、周囲のシーンよりもはるかに暗い場合が多く、色座標の非常に小さい画像領域となる。色座標は、ゼロにクリッピングされたり、ゼロに近い値まで動的にかなり圧縮されたりすることさえある。

【0005】

画像内のハイライト領域及び／又は投影領域を検出する問題が、よく知られた多数の方法によって取り組まれてきた。これらの方法は、ＬＤＲ（低ダイナミックレンジ用）画像、又はＨＤＲ（高ダイナミックレンジ用）画像に適用される。

【0006】

たとえば、投影部分を推定する方法が、「The Shadow meets the Mask: Pyramid-Based Shadow Removal」、Y. Shor及びD. Lischinski、Eurographics 2008、及び「Illumination Estimation and Cast Shadow Detection through a Higher-order Graphical Model」、A. Panagopoulosら、CVPR 2011に開示されている。

【0007】

同様に、ハイライト部分を推定する方法が、「Automatic detection and elimination of specular reflectance in color images by means of ms diagram and vector connected filters」、F Ortiz及びF Torres、IEEE Transactions on Systems Man and Cybernetics Part C Applications and Reviews、３６（５）：６８１～６８７、２００６年、及び「Real-Time Surface Light-field Capture for Augmentation of Planar Specular Surfaces」、J. Jachnikら、ISMAR 2012に開示されている。

【0008】

このような方法は一般に、実施するのが複雑であり、及び／又は複数の画像を必要とし、及び／又は複雑なモデル若しくは演算を使用する。このような方法は、様々なダイナミックレンジ・レベルからの情報、たとえばＳＤＲ画像及びＨＤＲ画像からの情報を同時に利用することができない。

【発明の概要】

【0009】

本発明による方法は、こうした既知の方法に代わる方法である。

【0010】

本発明は、ビデオ・シーケンスが、少なくとも２つのバージョン、すなわち１つのＬＤＲ（低ダイナミックレンジ）バージョン、及び１つのＨＤＲ（高ダイナミックレンジ）バージョンにおいて同時にブロードキャストされ、また次第にブロードキャストされることになるという事実を利用する。これらのバージョンは、同じビデオ・フロー、たとえば多層のビデオ・フロー内に存在することができる。これら２つのバージョンを受け取る表示装置は、ＨＤＲ画像又はＬＤＲ画像を表示するためのその能力に応じて、表示されるバージョンを選択することになる。

【0011】

本発明は、同じビデオ・シーケンスの２つのバージョンが利用可能であるとき、これら２つのバージョンの存在を使用して、このビデオ・シーケンスの各画像における投影部分及び／又はハイライト部分を検出することができるという事実を利用する。投影部分（光量が非常に少ない）及びハイライト部分（光量が非常に多い）は、ＨＤＲ画像及びＬＤＲ画像において表現が異なる。投影部分又はハイライト部分の時空的な画像細部の量、質、又は解像度などの細部レベルは、ＬＤＲ画像よりもＨＤＲ画像において相対的に高い。本発明は、ＨＤＲ画像とＬＤＲ画像の間の細部レベルのこの差を利用して、投影領域及びハイライト領域を識別する。

【0012】

したがって、本発明は、シーン内の投影領域又はハイライト領域を推定する方法に関し、前記シーンが、ＬＤＲ画像と呼ばれる低ダイナミックレンジ画像、及びＨＤＲ画像と呼ばれる高ダイナミックレンジ画像によって表され、前記方法が、
－ＬＤＲ細部マップと呼ばれる、ＬＤＲ画像の細部マップを計算するステップであって、前記ＬＤＲ細部マップが、ＬＤＲ画像の各ピクセルに細部レベルを関連付けるステップと、
－ＨＤＲ細部マップと呼ばれる、ＨＤＲ画像の細部マップを計算するステップであって、前記ＨＤＲ細部マップが、ＨＤＲ画像の各ピクセルに細部レベルを関連付けるステップと、
－ＨＤＲ細部マップ内の細部レベルがＬＤＲ細部マップ内の細部レベルよりも大きいシーンの領域を検出するステップであって、前記検出された領域が、シーンの投影領域又はハイライト領域に対応するステップと
を含む。

【0013】

ＨＤＲ画像は、ＬＤＲ画像よりも高いダイナミックレンジを有する。ＨＤＲ画像は、一連のＬＤＲ画像から構築することができる。ＨＤＲ画像は、ＬＤＲ画像の逆トーン・マッピングから得ることができる。ＨＤＲ画像及びＬＤＲ画像は、互いに独立して提供することができる。

【0014】

適切な既知のソフトウェアにより、同じシーンを表すＬＤＲ画像及びＨＤＲ画像を自動的に生成できることに留意されたい。

【0015】

画像の細部マップは、画像の高周波層を表し、及び／又はこの画像の精細な細部に対応する。

【0016】

米国特許出願公開第２０１１／２４５９７６号には、様々な照明光の下で取り込まれた一連のＫ個のＬＤＲ画像から構築されたＨＤＲ画像内のゴーストを検出し、このＨＤＲ画像からこうしたゴーストを除去する方法が開示されていることに留意されたい。このようなゴーストは、この一連の画像間の動きによって生成される。この文書の［００１０７］によれば、こうしたゴーストは、この一連のＫ個の画像において輝度値の分散マップを計算することによって検出される。この文書の段落［０１０８］の終わりに開示されている、この方法の改良においては、このＨＤＲ画像から基準画像とみなされる一連の画像のうち１つの画像を減算することによって、ゴーストの残りが検出される。ＨＤＲ画像の分散マップと別のマップとの差は、どこにも開示されていない。

【0017】

特定の実施形態では、この方法はさらに、投影領域とハイライト領域を区別するステップを含む。この実施形態では、この方法はさらに、検出された領域のうち、ＬＤＲ画像又はＨＤＲ画像の各ピクセルの輝度値が輝度閾値よりも高い領域をハイライト領域に割り当て、前記ＬＤＲ画像又はＨＤＲ画像の各ピクセルの輝度値が前記輝度閾値よりも低い領域を投影領域に割り当てるステップを含む。

【0018】

この輝度閾値は、たとえば、８ビットの色座標を有するＬＤＲ画像において１２８に等しい。

【0019】

具体的な実施形態では、ＨＤＲ細部マップ内の細部レベルがＬＤＲ細部マップ内の細部レベルよりも高いシーンの領域を、ＨＤＲ細部マップとＬＤＲ細部マップとの差を計算することによって検出する。

【0020】

具体的な実施形態では、
－ＬＤＲ画像の各ピクセルについて輝度値を規定して、ＬＤＲ画像での輝度マップを取得することと、
－ＬＤＲ画像の輝度マップに低域通過フィルタを適用して、フィルタリング済みの輝度マップを取得することと、
－輝度マップとフィルタリング済みの輝度マップとの差を計算して、ＬＤＲ細部マップを取得することと
によって、ＬＤＲ細部マップが計算される。

【0021】

たとえば、空間低域通過フィルタが、空間的な画像細部を少なくとも部分的に除去する。したがって、輝度マップとフィルタリング済みの輝度マップとの差から生じるマップは、ＬＤＲ画像の細部を表すマップである。別のタイプの低域通過フィルタは、時間的細部、たとえば振動する物体をフィルタリングする時間低域通過フィルタでもよい。

【0022】

別の実施形態では、輪郭検出、シャープネス解析、ＬＤＲ画像での色の局所分布の解析、このＬＤＲ画像に適用されるコントラスト・ストレッチング演算子、又は他の任意の知られている方法による、それ自体知られている方式でＬＤＲ細部マップが計算されて、画像内の細部を検出する。

【0023】

具体的な実施形態では、ＬＤＲ細部マップを計算するステップはさらに、ＬＤＲ細部マップに輝度重み関数を適用して、ＬＤＲ画像内の中間輝度値を有するピクセルに対応する、ＬＤＲ細部マップの各ピクセルの細部レベルを低減することを含む。

【0024】

具体的な実施形態では、ＬＤＲ細部マップを計算するステップはさらに、ＬＤＲ細部マップにメディアン・フィルタを適用して、ＬＤＲ細部マップ内のノイズを低減することを含む。

【0025】

ＨＤＲ細部マップは、ＨＤＲ画像に適用される同等のステップによって計算される。

【0026】

より具体的には、
－ＨＤＲ画像の各ピクセルについて輝度値を規定して、ＨＤＲ画像での輝度マップを取得することと、
－ＨＤＲ画像の輝度マップに低域通過フィルタを適用して、フィルタリング済みの輝度マップを取得することと、
－輝度マップとフィルタリング済みの輝度マップとの差を計算して、ＨＤＲ細部マップを取得することと
によって、ＨＤＲ細部マップが計算される。

【0027】

別の実施形態では、輪郭検出、シャープネス解析、ＨＤＲ画像での色の局所分布の解析、このＬＤＲ画像に適用されるコントラスト・ストレッチング演算子、又は他の任意の知られている方法による、それ自体知られている方式でＨＤＲ細部マップが計算されて、画像内の細部を検出する。

【0028】

具体的な実施形態では、ＨＤＲ細部マップを計算するステップはさらに、ＨＤＲ細部マップに輝度重み関数を適用して、ＨＤＲ画像内の中間輝度値を有するピクセルに対応する、ＨＤＲ細部マップの各ピクセルの細部レベルを低減することを含む。

【0029】

本発明はまた、前述の方法を含む画像処理方法に関する。このような画像処理方法は、たとえば、自然の画像に挿入される仮想物体の影及び影付けの制御専用とすることができる。

【0030】

本発明はまた、シーン内の投影領域及びハイライト領域を推定する装置に関し、前記シーンが、ＬＤＲ画像と呼ばれる低ダイナミックレンジ画像、及びＨＤＲ画像と呼ばれる高ダイナミックレンジによって表され、前記装置が、
－ＬＤＲ細部マップと呼ばれる、ＬＤＲ画像の細部マップを計算する手段であって、前記ＬＤＲ細部マップが、ＬＤＲ画像の各ピクセルに細部レベルを関連付ける手段と、
－ＨＤＲ細部マップと呼ばれる、ＨＤＲ画像の細部マップを計算する手段であって、前記ＨＤＲ細部マップが、ＨＤＲ画像の各ピクセルに細部レベルを関連付ける手段と、
－ＨＤＲ細部マップ内の細部レベルがＬＤＲ細部マップ内の細部レベルよりも大きいシーンの領域を検出する検出手段であって、前記検出された領域が、シーンの投影領域又はハイライト領域に対応する手段と
を備える。

【0031】

具体的な実施形態では、この検出手段は、検出された領域のうち、ＬＤＲ画像又はＨＤＲ画像の各ピクセルの輝度値が輝度閾値よりも高い領域をハイライト領域に割り当て、前記ＬＤＲ画像又はＨＤＲ画像の各ピクセルの輝度値が前記輝度閾値よりも低い領域を投影領域に割り当てるように構成される。

【0032】

本発明はまた、シーン内の投影領域及びハイライト領域を推定する、前述の装置を組み込む電子装置に関する。この電子装置は、カメラ、テレビ受像機、モニタ、ヘッドマウント型の表示装置、セット・トップ・ボックス、ゲートウェイ、スマートフォン、又はタブレットであることが好ましい。

【0033】

本発明はまた、プログラムがコンピューティング装置上で実行されるときに、前述の方法の各ステップを実行するためのプログラム・コードの命令を有する持続的な記憶媒体に関する。

【0034】

例として提示され、保護範囲を限定するものではない、以下の説明及び図面を参照して、本発明をさらに良好に理解することができる。

【図面の簡単な説明】

【0035】

【図1】本発明の方法の、連続したステップの流れ図である。

【図2】本発明の一実施形態による、ＬＤＲ画像でのＬＤＲ細部マップを計算するステップを示す流れ図である。

【図3】図２の流れ図の輝度重み関数を示す図である。

【図4A】投影領域を含む画像への、本発明の方法の結果を示す。

【図4B】投影領域を含む画像への、本発明の方法の結果を示す。

【図4C】投影領域を含む画像への、本発明の方法の結果を示す。

【図5A】投影領域を含む画像への、本発明の方法の結果を示す。

【図5B】投影領域を含む画像への、本発明の方法の結果を示す。

【図5C】投影領域を含む画像への、本発明の方法の結果を示す。

【図6】本発明の方法を実装する装置の概略図である。

【発明を実施するための形態】

【0036】

例示的な実施形態は、様々な修正形態及び代替形態が実現可能であるが、これらの実施形態は、各図面において一例として示してあり、本明細書において詳細に説明することになる。しかし、例示的な実施形態を、開示された特定の形態に限定する意図はなく、それどころか、例示的な実施形態は、特許請求の範囲に記載の範囲にあるあらゆる修正形態、均等物、及び代替形態を包含することを理解されたい。同様の番号は、各図の説明全体を通して同様の要素を指す。

【0037】

例示的な実施形態をさらに詳細に論じる前に、流れ図として示してあるプロセス又は方法として、いくつかの例示的実施形態が説明されていることに留意されたい。この流れ図は、連続したプロセスとして各動作を説明しているが、この動作の一部を、並列に、並行して、又は同時に実行してもよい。さらに、各動作の順序を再構成してもよい。各プロセスは、その動作が完了したときに終了してもよいが、各図に含まれていない追加のステップを有していてもよい。各プロセスは、方法、機能、手順、サブルーチン、サブプログラムなどに対応してもよい。

【0038】

以下に説明する方法は、その一部を流れ図によって示してあり、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組合せによって実装してもよい。ソフトウェア、ファームウェア、ミドルウェア、又はマイクロコードに実装されるとき、必要なタスクを実行するためのプログラム・コード又はコード・セグメントは、記憶媒体など、マシン又はコンピュータが読取り可能な媒体に記憶してもよい。プロセッサは、必要なタスクを実行することができる。本明細書に開示された特定の構造上及び機能上の詳細は、本発明の例示的な実施形態を説明するための単に代表的なものである。しかし、本発明は、多くの代替形態で実施してもよく、本明細書で説明する各実施形態にのみ限定されるものと解釈すべきではない。

【0039】

本発明は、同じシーンの少なくとも２つの画像、すなわち少なくとも１つのＬＤＲ画像と１つのＨＤＲ画像の存在を利用して、このシーンでの投影領域及び／又はハイライト領域を決定する。ＨＤＲ画像は、ＬＤＲ画像よりも高いダイナミックレンジを有する画像を示す。画像の色が８ビットの色座標で表されるＬＤＲ画像と、画像の色が１０ビットの色座標で表されるＨＤＲ画像とを使用して、本発明の方法を説明する。こうした色座標は、たとえば、ＲＧＢ色空間において表現されることになる。

【0040】

図１を参照すると、本発明の方法は以下のステップを含む。
－ステップＳ１：ＬＤＲ細部マップと呼ばれる細部マップがＬＤＲ画像について生成され、このＬＤＲ細部マップが、このＬＤＲ画像の各ピクセルに細部レベルを割り当てる。
－ステップＳ２：ＨＤＲ細部マップと呼ばれる細部マップがＨＤＲ画像について生成され、このＨＤＲ細部マップが、ＨＤＲ画像の各ピクセルに細部レベルを割り当てる。
－ステップＳ３：ＬＤＲ細部マップ内の細部レベルがＬＤＲ細部マップ内の細部レベルより大きいシーンの領域が検出され、検出されたこの領域が、シーンの投影領域又はハイライト領域に対応する。
－ステップＳ４：有利には、この投影領域が、このハイライト領域から区別される。

【0041】

以下に、前述のステップのそれぞれを詳細に説明する。

【0042】

図２には、ステップＳ１の実行可能な実装形態が示してある。図２を参照すると、以下のサブステップによってＬＤＲ細部マップが計算される。

【0043】

サブステップＳ１０では、ＬＤＲ画像の各ピクセルについて輝度値を規定して、ＬＤＲ画像での輝度マップを得る。ＲＧＢ色空間に８ビットの色座標を有するこのＬＤＲ画像について、以下の式によって輝度Ｙを計算することができる。
Ｙ＝０．２１２６＊Ｒ＋０．７１５２＊Ｇ＋０．０７２２＊Ｂ
したがって、ＬＤＲ画像についての輝度マップが生成される。

【0044】

サブステップＳ１１では、低域通過フィルタをＬＤＲ画像の輝度マップに適用して、フィルタリング済み輝度マップを得る。この低域通過フィルタは、たとえば、画像にボケを挿入するよく知られたガウシアン低域通過フィルタである。たとえば、平均化窓、周波数領域でのフィルタ、又はＦＩＲ（有限インパルス応答）フィルタなど、他の低域通過フィルタを使用することができる。

【0045】

低域通過フィルタリング及び差分計算の代わりに、たとえば高域通過フィルタ又はエッジ検出アルゴリズムを使用して、細部を直接検出することもできる。

【0046】

サブステップＳ１２では、輝度マップとフィルタリング済み輝度マップとの差を計算して、ＬＤＲ細部マップを得る。このＬＤＲ細部マップは、ＬＤＲ画像の各ピクセルに細部レベルを割り当てる。

【0047】

好ましい一実施形態では、サブステップＳ１３において、輝度重み関数がＬＤＲ細部マップに適用される。重み関数の一例を図３に示す。この重み関数のねらいは、ハイライト領域又は影領域には存在しない細部を除去することである。ＬＤＲ細部マップのピクセルに適用される重みは、このピクセルの輝度値（輝度マップでのこのピクセルの値）に依存する。図３において、Ｗ（ｘ）で示される輝度重み関数の式は、Ｗ（ｘ）＝［（Ｙ（ｘ）－１２８）／１２８］²であり、ここで、Ｙ（ｘ）は、輝度マップ内のピクセルｘの輝度値であり、Ｗ（ｘ）は、ピクセルｘの（ＬＤＲ細部マップ内の）細部レベルに適用される重みである。この関数によれば、高い輝度値又は低い輝度値を有するピクセルの細部レベルは、実質的に維持されるが（１に近い重み）、１２８に近い中間輝度値を有するピクセルの細部レベルは、実質的に減少し、ゼロに設定されることさえある。

【0048】

もちろん、中間輝度値を有するピクセルの細部レベルを減少させる他の重み関数を使用してもよい。

【0049】

有利には、追加のサブステップＳ１４において、ＬＤＲ細部マップがメディアン・フィルタによってフィルタリングされて、ＬＤＲマップ細部内のノイズを除去する。

【0050】

再び図１を参照すると、ステップＳ２は、ＨＤＲ細部マップを得るために、ＨＤＲ画像に対してＳ１０～Ｓ１４と同じステップを含む。

【0051】

ステップＳ３において、ＨＤＲ細部マップ内の細部レベルがＬＤＲ細部マップ内の細部レベルよりも高いシーンの領域を、ＨＤＲ細部マップとＬＤＲ細部マップとの差を計算することによって検出する。より具体的には、ＬＤＲ細部マップがＨＤＲ細部マップから減算されて、差分マップが得られる。もちろん、この減算を実行する前に、ＨＤＲマップとＳＤＲマップの細部レベルは、互いに調整されていることが好ましい。たとえば、ＨＤＲ細部マップの細部レベルは、ＬＤＲ画像（８ビット）とＨＤＲ画像（１０ビット）とのビット数の差によって４つに分割される。減算の前にＨＤＲ細部マップをトーン・マッピングすること、又はＨＤＲマップ及びＬＤＲマップを、それぞれＨＤＲ及びＬＤＲの拡散白色のレベルで除算することなど、他のタイプの調整も可能である。正の値を有する差分マップの領域は、画像内のハイライト部分又は投影部分になる可能性の高い領域である。

【0052】

任意選択のステップＳ４において、ＬＤＲ画像又はＨＤＲ画像の輝度値に基づいて、ハイライト領域が投影領域と区別される。たとえば、ＬＤＲ画像を使用するとき、差分マップ内で正の値を有し、輝度値が１２８よりも高いＬＤＲ画像内のピクセルに対応するあらゆる領域が、ハイライト領域として宣言され、差分マップ内で正の値を有し、輝度値が１２７よりも低い又はこれに等しいＬＤＲ画像内のピクセルに対応するあらゆる領域が、投影領域として宣言される。

【0053】

一変形形態では、３つ以上のダイナミックレンジ・レベルが利用可能であるとき、この方法も使用することができる。たとえば、低ダイナミックレンジ（ＬＤＲ）、中間のダイナミックレンジ（ＭＤＲ）、及び高ダイナミックレンジ（ＨＤＲ）の画像が利用可能であるとき、説明したステップＳ１～Ｓ４を、ＬＤＲ及びＭＤＲ（ＨＤＲの代わり）に適用して第１の検出結果をもたらすことができ、次いで、ＭＤＲ（ＬＤＲの代わり）及びＨＤＲに適用して第２の検出結果をもたらすことができる。次いで、この第１の検出結果と第２の検出結果が組み合わされる。この組合せは、たとえば、ハイライト部分が第１及び第２の検出結果に含まれる場合に、このハイライト部分が検出されるように、たとえば、論理積演算を使用して実現することができる。別の実現可能なことは、ＭＤＲ画像での細部マップをさらに計算し、次いでステップＳ３をＬＤＲ及びＭＤＲ（ＨＤＲの代わり）に適用して、さらなる細部の第１の領域をもたらし、次いでＭＤＲ（ＬＤＲの代わり）及びＨＤＲに適用して、さらなる細部の第２の領域をもたらす。次いで、たとえば論理和演算を使用して、第１の領域と第２の領域が組み合わされ、その結果、細部の第１の領域又は第２の領域のいずれかが存在するところに、さらなる細部の領域が定義される。次いで、ステップＳ４が、細部のこうした領域に適用される。

【0054】

図４Ａ～図４Ｃ、及び図５Ａ～図５Ｃには、２組の画像への本発明の方法の結果が示してある。

【0055】

図４Ａ及び図４Ｂは、投影領域を含むシーンのＨＤＲ画像及びＬＤＲ画像である。図４Ｃには、本発明の方法によって検出される投影領域（白いピクセル）が示してある。

【0056】

図５Ａ及び図５Ｂは、ハイライト領域を含むシーンのＨＤＲ画像及びＬＤＲ画像である。図４Ｃには、本発明の方法によって検出されるハイライト領域（白いピクセル）が示してある。

【0057】

この方法を実施する装置の一例が図６に示してある。図６を参照すると、この装置は、
－ステップＳ１で説明したＬＤＲ細部マップを計算するコンピュータ手段１０と、
－説明したようにＨＤＲ細部マップを計算するコンピュータ手段１１と、
－ステップＳ３及びＳ４で説明したように、ＨＤＲ細部マップ内の細部レベルがＬＤＲ細部マップ内の細部レベルよりも大きいシーンの領域を検出し、ハイライト領域と投影領域を区別する検出手段１２と
を備える。

【0058】

本発明による方法の利点は以下の利点である。すなわち、
－ＳＤＲ画像とＨＤＲ画像からの互いに異なるダイナミックレンジ・レベルからの情報を同時に利用することができ、したがって、ハイライト部分及び投影部分の検出のための新規のタイプの情報を利用することができる。
－ダイナミックレンジが互いに異なる２つの画像だけが必要であり、これら必要な２つの画像は、主として階層化されたＨＤＲコンテンツの分配で利用可能である。
－この方法は、輝度値のみに作用し、したがって色座標に作用する方法ほど複雑ではない。
－この方法は、実施するのが簡単である。

【0059】

本発明のいくつかの実施形態が添付図面に示され、前述の詳細な説明に記載されているが、本発明は、開示された実施形態に限定されるものではなく、添付特許請求の範囲によって記載され、定義される本発明から逸脱することなく、数多くの再構成、修正、及び置換えが可能であることを理解されたい。
（付記１）
シーン内の投影領域及びハイライト領域を検出する方法であって、前記シーンが、ＬＤＲ画像と呼ばれる低ダイナミックレンジ画像、及び前記ＬＤＲ画像よりも高いダイナミックレンジを有するＨＤＲ画像と呼ばれる高ダイナミックレンジ画像によって表され、前記方法が、
－前記ＨＤＲ画像から計算されて（Ｓ２）、前記ＨＤＲ画像の細部レベルをこのＨＤＲ画像の各ピクセルに提供するＨＤＲ細部マップと、前記ＬＤＲ画像から計算されて（Ｓ１）、前記ＬＤＲ画像の細部レベルをこのＬＤＲ画像の各ピクセルに提供するＬＤＲ細部マップとの正の差を有する領域を検出するステップ（Ｓ３）を含み、前記検出された領域が、前記シーンの投影領域又はハイライト領域に対応する、方法。
（付記２）
前記ＬＤＲ細部マップを前記計算すること（Ｓ１）が、前記ＬＤＲ画像の輝度マップと、前記ＬＤＲ画像のフィルタリング済みの輝度マップとの間のＬＤＲ差に基づき、前記ＨＤＲ細部マップを前記計算すること（Ｓ２）が、前記ＨＤＲ画像の輝度マップと、前記ＨＤＲ画像のフィルタリング済みの輝度マップとの間のＨＤＲ差に基づく、付記１に記載の方法。
（付記３）
前記ＬＤＲ画像の前記輝度マップに低域通過フィルタを適用すること（Ｓ１１）によって、前記ＬＤＲ画像の前記フィルタリング済みの輝度マップが得られる、付記２に記載の方法。
（付記４）
前記ＬＤＲ細部マップを計算するステップがさらに、前記ＬＤＲ画像内の中間輝度値を有するピクセルに対応する、前記ＬＤＲ細部マップのピクセルの前記細部レベルを低減するために、前記ＬＤＲ差に輝度重み関数を適用することを含む、付記２又は３のいずれか一つに記載の方法。
（付記５）
前記ＨＤＲ画像の前記輝度マップに低域通過フィルタを適用することによって、前記ＨＤＲ画像の前記フィルタリング済みの輝度マップが得られる、付記２～４のいずれか一つに記載の方法。
（付記６）
前記ＨＤＲ細部マップを計算するステップがさらに、前記ＨＤＲ画像内の中間輝度値を有するピクセルに対応する、前記ＨＤＲ細部マップのピクセルの前記細部レベルを低減するために、前記ＨＤＲ差に輝度重み関数を適用することを含む、付記２～５のいずれか一つに記載の方法。
（付記７）
前記検出された領域のうち、前記ＬＤＲ画像又はＨＤＲ画像の前記ピクセルの輝度値が輝度閾値よりも高い領域をハイライト領域に割り当て、前記ＬＤＲ画像又はＨＤＲ画像の前記ピクセルの輝度値が前記輝度閾値よりも低い領域を投影領域に割り当てるステップ（Ｓ４）をさらに含む、付記１～６のいずれか一つに記載の方法。
（付記８）
付記１～７のいずれか一つに記載の方法を含む、画像処理方法。
（付記９）
シーン内の投影領域及びハイライト領域を検出する装置であって、前記シーンが、ＬＤＲ画像と呼ばれる低ダイナミックレンジ画像、及び前記ＬＤＲ画像よりも高いダイナミックレンジを有するＨＤＲ画像と呼ばれる高ダイナミックレンジによって表され、前記装置が、前記ＨＤＲ画像から計算されて（Ｓ２）、前記ＨＤＲ画像の細部レベルをこのＨＤＲ画像の各ピクセルに提供するＨＤＲ細部マップと、前記ＬＤＲ画像から計算されて（Ｓ１）、前記ＬＤＲ画像の細部レベルをこのＬＤＲ画像の各ピクセルに提供するＬＤＲ細部マップとの正の差を有する領域を検出する（Ｓ３）ように構成された、少なくとも１つのプロセッサを備え、前記検出された領域が、前記シーンの投影領域又はハイライト領域に対応する、装置。
（付記１０）
前記少なくとも１つのプロセッサが、前記ＬＤＲ画像の輝度マップと、前記ＬＤＲ画像のフィルタリング済みの輝度マップとの間のＬＤＲ差に基づいて、前記ＬＤＲ細部マップを計算し（Ｓ１）、また前記ＨＤＲ画像の輝度マップと、前記ＨＤＲ画像のフィルタリング済みの輝度マップとの間のＨＤＲ差に基づいて、前記ＨＤＲ細部マップを計算する（Ｓ２）ようにさらに構成された、付記９に記載の装置。
（付記１１）
前記少なくとも１つのプロセッサが、前記検出された領域のうち、前記ＬＤＲ画像又はＨＤＲ画像の前記ピクセルの輝度値が輝度閾値よりも高い領域をハイライト領域に割り当て、前記ＬＤＲ画像又はＨＤＲ画像の前記ピクセルの輝度値が前記輝度閾値よりも低い領域を投影領域に割り当てるようにさらに構成された、付記９又は１０のいずれか一つに記載の装置。
（付記１２）
付記９～１１のいずれか一つに記載の装置を組み込む、画像処理装置。
（付記１３）
付記１２に記載の画像処理装置を組み込む、電子装置。
（付記１４）
カメラ、テレビ受像機、モニタ、ヘッドマウント表示装置、セット・トップ・ボックス、ゲートウェイ、スマートフォン、及びタブレットからなるグループ内で選択される、付記１３に記載の電子装置。
（付記１５）
プログラムがコンピューティング装置上で実行されるとき、付記１～８のいずれか一つに記載の方法のステップを実行するための、プログラム・コードの命令を保持する、持続的な記憶媒体。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図5C】

【図6】