特許 6543786 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6543786

(24)【登録日】2019年6月28日

(45)【発行日】2019年7月17日

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   H04N 1/407 20060101AFI20190705BHJP

   H04N 5/243 20060101ALI20190705BHJP

   H04N 1/58 20060101ALI20190705BHJP

   G06T 1/00 20060101ALI20190705BHJP

【ＦＩ】

   H04N1/407

   H04N5/243

   H04N1/58

   G06T1/00 510

【請求項の数】7

【全頁数】13

(21)【出願番号】特願2014-95853(P2014-95853)

(22)【出願日】2014年5月7日

(65)【公開番号】特開2015-213276(P2015-213276A)

(43)【公開日】2015年11月26日

【審査請求日】2017年3月30日

(73)【特許権者】

【識別番号】518455561

【氏名又は名称】ハンファテクウィン株式会社

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100083138

【弁理士】

【氏名又は名称】相田 伸二

(74)【代理人】

【識別番号】100189625

【弁理士】

【氏名又は名称】鄭 元基

(74)【代理人】

【識別番号】100196139

【弁理士】

【氏名又は名称】相田 京子

(72)【発明者】

【氏名】都築 毅

【審査官】 豊田 好一

(56)【参考文献】

【文献】 米国特許出願公開第２０１２／０２３６０２０（ＵＳ，Ａ１）

【文献】 特開２００９−２９６１７８（ＪＰ，Ａ）

【文献】 特開２００３−０４６８５９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／４０

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １／４６−６２

Ｈ０４Ｎ ５／２４３

(57)【特許請求の範囲】

【請求項1】

入力画像を構成する各画素値のビット数をＡビットからＢビット（ただし、Ａ＞Ｂ）にレンジ圧縮する画像処理装置において、
前記入力画像を構成する画素値の最大値を検出する最大値検出部と、
前記最大値が前記入力画像を構成する画素値の飽和値以上である場合には、零をマージン値として決定するマージン決定部と、
前記最大値と前記マージン値との加算値に基づいて係数を算出する係数算出部と、
前記係数を用いて前記入力画像をレンジ圧縮する圧縮部と、
を備える、画像処理装置。

【請求項2】

前記マージン決定部は、前記飽和値よりも小さい所定の閾値と前記最大値との比較結果に基づいて前記マージン値を決定する、
請求項１に記載の画像処理装置。

【請求項3】

前記マージン決定部は、前記最大値が前記閾値を下回る場合には、規定値を前記マージン値として決定する、
請求項２に記載の画像処理装置。

【請求項4】

前記マージン決定部は、前記最大値が前記飽和値と前記閾値との間である場合には、線形補間により算出された値を前記マージン値として決定する、
請求項３に記載の画像処理装置。

【請求項5】

前記入力画像は、短露光画像と長露光画像との合成画像であり、
前記飽和値は、センサから出力される各画素値のビット数と前記センサによって撮影される前記短露光画像および前記長露光画像の露光比との乗算値である、
請求項１に記載の画像処理装置。

【請求項6】

前記入力画像は、短露光画像と長露光画像との合成画像であり、
前記マージン決定部は、前記短露光画像を構成する画素値の飽和値と前記短露光画像を構成する画素値の最大値との比較結果に基づいて前記マージン値を決定する、
請求項１に記載の画像処理装置。

【請求項7】

入力画像を構成する各画素値のビット数をＡビットからＢビット（ただし、Ａ＞Ｂ）にレンジ圧縮する画像処理方法において、
前記入力画像を構成する画素値の最大値を検出するステップと、
前記最大値が前記入力画像を構成する画素値の飽和値以上である場合には、零をマージン値として決定するステップと、
前記最大値と前記マージン値との加算値に基づいて係数を算出するステップと、
前記係数を用いて前記入力画像をレンジ圧縮するステップと、
を含む、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

近年、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像（以下、「ＷＤＲ信号」とも言う。）を得るＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。

【0003】

ＷＤＲ信号を得る手段としては、短時間露光の画像（以下、単に「短露光画像」とも言う。）および長時間露光の画像（以下、単に「長露光画像」とも言う。）を１枚ずつ連続して撮影して合成する手段や、短露光画像および長露光画像を領域毎に撮影して合成する手段、撮像能力を向上させて１枚撮影で広いダイナミックレンジが得られるセンサを使用する手段などがある。このような手段によって得られるダイナミックレンジは、１６ビットから２０ビット、あるいはそれ以上のレンジである場合もある。

【0004】

しかし、このようなダイナミックレンジを有するＷＤＲ信号が得られたとしても、最終的に表示するディスプレイの表示能力は１０ビット程度に限定されてしまうという状況があり得る他、後段において２０ビット信号精度で様々な信号処理を行っては処理量が膨大になるという問題が発生してしまう。そこで、例えば、各画素値を２０ビットから１０ビットに圧縮するというように、ＷＤＲ信号を大幅にレンジ圧縮する必要がある。

【0005】

ここで、２０ビットのレンジを捉える能力があるＷＤＲシステムを利用した場合であっても、被写体のレンジが２０ビットの上限まで達している時もあれば、シーンによっては１６ビット程度にしか達していない時もある。そのため、入力上限レンジに対する出力上限レンジの比を圧縮比として固定的に使用する場合には、出力レンジの低輝度側しか使わずに暗い画像が出力されてしまうことがあるし、圧縮比が小さ過ぎる場合には、圧縮が不十分となり出力画像が飽和してしまう。

【0006】

したがって、出力画像のダイナミックレンジを有効に活用しつつ、出力画像が飽和することも防ぐためには、入力画像のダイナミックレンジに応じて適応的に圧縮を行う必要がある。このような目的を達成する技術として、以下の特許文献１〜４に開示されているような技術が公開されている。

【0007】

例えば、特許文献１には、入力ＲＧＢ信号の最大値を検出し、入力ＲＧＢ信号に対する入力ＲＧＢ信号の圧縮後の信号が取り得る最大値のレベル比を圧縮比とし、その圧縮比を入力ＲＧＢ信号に対して掛け算する技術が開示されている。かかる演算処理によれば、圧縮後の信号が出力レンジを超えて飽和することを防ぐことが可能である。

【0008】

また、特許文献２には、入力信号のレベルに応じて修正値を定義して、その修正値を入力信号に加算または減算する技術が開示されている。かかる演算により、特に、入力信号のハイライト部のレベルを下げることで色飽和を低減することができる。

【0009】

また、特許文献３には、入力ＲＧＢ信号から輝度信号を算出し、この輝度信号を入力ＲＧＢ信号から減算して色差信号を生成し、輝度信号に対してニー処理を施して、その輝度信号を色差信号に再加算する技術が開示されている。

【0010】

また、特許文献４には、入力ＲＧＢ信号にゲイン演算を行い、演算後のＲＧＢ信号から最大値を検出し、検出した最大値に基づいて抑圧係数を得て、抑圧係数を用いて飽和レベル付近の画素値を圧縮する技術が開示されている。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】特開２０００−１１５７９６号公報

【特許文献2】特開２００５−１０９８７１号公報

【特許文献3】特開２００９−１１１８９４号公報

【特許文献4】特開２００４−１８００９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

しかしながら、特許文献１に記載された技術では、飽和付近のレンジを使うオブジェクトの色再現性は十分ではない。

【0013】

また、特許文献２に記載された技術では、出力信号のレンジを飽和しない範囲に収めることが目的であり、飽和付近のレンジを使うオブジェクトの色再現性は十分ではない。

【0014】

また、特許文献３に記載された技術では、出力信号の飽和付近のレンジを使うオブジェクトの色再現性は十分ではない。また、特許文献３に記載された技術では、ニー処理はあるレベル以上の高輝度部だけをレンジ圧縮するために行われ、大幅なレンジ圧縮に対しては該技術を応用することは難しいと思われる。

【0015】

また、特許文献４に記載された技術においては、各画素値のビット数を８ビットから９ビット程度に増幅し、飽和した画素値を８ビット以内に収める用途が想定されており、強力なレンジ圧縮は想定されていない。また、特許文献４に記載された技術では、飽和付近のレンジを使うオブジェクトの色再現性は十分ではない。

【0016】

そこで、本発明は、飽和付近のレンジを使うオブジェクトの色再現性を改善したレンジ圧縮画像を得ることが可能な技術を提供する。

【課題を解決するための手段】

【0017】

本発明のある実施形態によれば、入力画像を構成する各画素値のビット数をＡビットからＢビット（ただし、Ａ＞Ｂ）にレンジ圧縮する画像処理装置において、前記入力画像を構成する画素値の最大値を検出する最大値検出部と、前記最大値に基づいてマージン値を決定するマージン決定部と、前記最大値と前記マージン値との加算値に基づいて係数を算出する係数算出部と、前記係数を用いて前記入力画像をレンジ圧縮する圧縮部と、を備える、画像処理装置が提供される。

【0018】

かかる構成によれば、出力レンジの上限から一定の領域のレンジを不使用とする制御を行うことによって、高輝度・高彩度のオブジェクトの色再現性を改善したレンジ圧縮画像を得ることが可能となる。

【0019】

前記マージン決定部は、前記入力画像を構成する画素値の飽和値と前記最大値との比較結果に基づいて前記マージン値を決定してもよいし、所定の閾値と前記最大値との比較結果に基づいて前記マージン値を決定してもよい。

【0020】

例えば、前記マージン決定部は、前記最大値が前記飽和値以上である場合には、零を前記マージン値として決定してもよい。入力画像が飽和している場合には、圧縮後の画像も飽和している方が自然だからである。

【0021】

また、例えば、前記マージン決定部は、前記最大値が前記閾値を下回る場合には、規定値を前記マージン値として決定してもよい。また、例えば、前記マージン決定部は、前記最大値が前記飽和値と前記閾値との間である場合には、線形補間により算出された値を前記マージン値として決定してもよい。

【0022】

飽和値はどのように設定されてもよい。例えば、前記入力画像は、短露光画像と長露光画像との合成画像であり、前記飽和値は、センサから出力される各画素値のビット数と前記センサによって撮影される前記短露光画像および前記長露光画像の露光比との乗算値であってもよい。

【0023】

あるいは、前記入力画像は、短露光画像と長露光画像との合成画像であり、前記マージン決定部は、前記短露光画像を構成する画素値の飽和値と前記短露光画像を構成する画素値の最大値との比較結果に基づいて前記マージン値を決定してもよい。

【0024】

また、本発明の別の実施形態によれば、入力画像を構成する各画素値のビット数をＡビットからＢビット（ただし、Ａ＞Ｂ）にレンジ圧縮する画像処理方法において、前記入力画像を構成する画素値の最大値を検出するステップと、前記最大値に基づいてマージン値を決定するステップと、前記最大値と前記マージン値との加算値に基づいて係数を算出するステップと、前記係数を用いて前記入力画像をレンジ圧縮するステップと、
を含む、画像処理方法が提供される。

【0025】

かかる方法によれば、出力レンジの上限から一定の領域のレンジを不使用とする制御を行うことによって、高輝度・高彩度のオブジェクトの色再現性を改善したレンジ圧縮画像を得ることが可能となる。

【発明の効果】

【0026】

以上説明したように、本発明によれば、飽和付近のレンジを使うオブジェクトの色再現性を改善したレンジ圧縮画像を得ることが可能である。

【図面の簡単な説明】

【0027】

【図1】飽和付近のレンジを使用する際の色再現性について説明するための図である。

【図2】本発明の実施形態に係る画像処理装置の機能構成例を示す図である。

【図3】レンジ圧縮部の詳細な機能構成例を示すブロック図である。

【図4】マージン値の決定例を説明するための図である。

【図5】画素値の最大値が飽和値に達していないＷＤＲ合成画像、最大値を用いて１２ビットレンジに圧縮した後のＷＤＲ合成画像および最大値とマージン値との加算値を用いて１２ビットレンジに圧縮した後のＷＤＲ合成画像それぞれのヒストグラムを示す図である。

【図6】画素値の最大値が飽和値に達しているＷＤＲ合成画像、最大値とマージン値との加算値を用いて１２ビットレンジに圧縮した後のＷＤＲ合成画像および最大値を用いて１２ビットレンジに圧縮した後のＷＤＲ合成画像それぞれのヒストグラムを示す図である。

【発明を実施するための形態】

【0028】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

【0029】

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

【0030】

まず、飽和付近のレンジを使用する際の色再現性について、図１を参照しながら説明する。図１は、飽和付近のレンジを使用する際の色再現性について説明するための図である。図１では、青いオブジェクトを表すＲＧＢ画素値それぞれを簡単のため８ビット値で示している。図１に示したように、「短露光画像」が（Ｒ，Ｇ，Ｂ）＝（９６，１４４，１９２）の値を持つ場合は、撮影されたオブジェクトが非常に高い明度を持つ青い物体である。具体的には、快晴の日の真っ青な空が青い物体の典型的な例である。

【0031】

この短露光画像および長露光画像に対してＷＤＲ合成を行った後、従来技術を使用してＷＤＲ合成画像に対して出力レンジに合わせたレンジ圧縮を行うと、図１に示した「出力画像」が出力される。図１の「短露光画像」と「出力画像」とをＨＳＶ表色系で表現して比較すれば、「短露光画像」と「出力画像」との間においては、Ｖ（明度）だけが異なっており、Ｈ（色相）もＳ（彩度）も異なっておらず、飽和もしていないため、「出力画像」には一見すると不具合はない。

【0032】

しかし、「出力画像」の色を観察すると、「出力画像」に映る空は真っ青には見えずに明るい水色に見えてしまって、実物とだいぶ印象が異なってしまう。これを一例として、高輝度・高彩度物体を「短露光画像」で捉えてからＷＤＲ合成画像を生成したとしても、レンジ圧縮を適切に行わないと「出力画像」では深みのある色が再現できずに実物と異なってしまう問題がある。

【0033】

そこで、本明細書においては、入力画像に対するレンジ圧縮を行うに際して、出力画像が出力レンジを超えて飽和することがないようにするだけでなく、飽和レベル付近の色再現性が不十分であることに着目する。具体的には、本明細書においては、出力レンジの上限から一定の領域のレンジを不使用とする制御を行うことによって、高輝度・高彩度のオブジェクトの色再現性を改善したレンジ圧縮画像を得ることが可能な技術を提案する。なお、入力画像の例として、入力ＲＧＢ信号を用いる場合を説明する。

【0034】

続いて、本発明の実施形態について詳細に説明する。まず、本発明の実施形態に係る画像処理装置１の機能構成について説明する。図２は、本発明の実施形態に係る画像処理装置１の機能構成例を示す図である。図２に示すように、画像処理装置１は、センサ１０、フレームメモリ２０、合成部３０およびレンジ圧縮部４０を備える。以下、画像処理装置１が備える各機能ブロックの機能について順次詳細に説明する。

【0035】

画像処理装置１は、センサ１０の露光設定を変えて２枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。しかし、長露光撮影を先に行い、その次に短露光撮影を行ってもよい。このようにして撮影された短露光画像および長露光画像は、ペアとしてフレームメモリ２０に書き込まれる。長露光画像および短露光画像の撮影と撮影された長露光画像および短露光画像のフレームメモリ２０への書き込みは、連続的に行われる。

【0036】

ここで、本明細書においては、少なくとも、現時刻の長露光画像および現時刻の短露光画像がフレームメモリ２０に残っていればよい。したがって、長露光画像および短露光画像が撮影される間隔は特に限定されない。また、長露光画像および短露光画像は、毎フレームがフレームメモリ２０に書き込まれてもよいし、複数フレームに一度フレームメモリ２０に書き込まれてもよい。

【0037】

例えば、図２に示した例のように、長露光画像および短露光画像のペアを書き込む領域がフレームメモリ２０に存在する場合には、画像処理装置１は、長露光画像および短露光画像のペアをその領域に対して連続して書き込めばよい。例えば、フレームメモリ２０に書き込まれた前時刻の短露光画像および前時刻の長露光画像は、現時刻の短露光画像および現時刻の長露光画像によって上書きされてよい。

【0038】

なお、図２に示した例では、画像処理装置１は、長露光画像および短露光画像を出力するための共通の系統を１つ有し、センサ１０が長露光画像と短露光画像とを時分割で出力することとしたが、長露光画像と短露光画像とが同時に出力されてもよい。かかる場合、画像処理装置１は、センサ１０から長露光画像を出力するための系統と短露光画像を出力するための系統との２つの系統を有すればよい。それぞれのシャッタータイムは、例えば、撮影対象のダイナミックレンジやセンサ仕様などによって決まる。

【0039】

本発明の実施形態においては、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された２つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる２つの画像が撮影された場合に、当該２つの画像のうち、相対的に露光時間が短い画像が短露光画像に相当し、相対的に露光時間が長い画像が長露光画像に相当する。例えば、短露光の時間に対する長露光の時間（以下、単に「露光比」とも言う。）を数倍から十数倍に設定してよい。

【0040】

合成部３０は、長露光画像と短露光画像とを合成することによりＷＤＲ合成画像を生成する。具体的には、合成部３０は、使用画像選択情報を参照して、短露光画像使用領域には短露光画像を使用し、長露光画像使用領域には長露光画像を使用して合成画像を生成する。例えば、センサ１０から出力された短露光画像および長露光画像それぞれのビット数が１２ビットであっても、合成部３０によって生成されるＷＤＲ合成画像のビット数は１６ビット程度であってよい。

【0041】

なお、使用画像選択情報は、どのように生成されてもよいが、例えば、長露光画像において飽和してしまった領域は、短露光画像においては飽和していない可能性が高いため、当該領域の使用画像として短露光画像が選択されればよい。一方、例えば、長露光画像において飽和していない領域は、当該領域の使用画像として長露光画像が選択されればよい。

【0042】

レンジ圧縮部４０は、ＷＤＲ合成画像を構成する各画素値のビット数をＡビットからＢビット（ただし、Ａ＞Ｂ）にレンジ圧縮する。かかる圧縮処理としては、ルックアップテーブル（ＬＵＴ）に従ったトーンマッピングが用いられてよいが、特にどのような手法が用いられてもよい。例えば、合成部３０によって生成されるＷＤＲ合成画像のビット数が１６ビット程度であっても、レンジ圧縮部４０は、ＷＤＲ合成画像のビット数が１２ビットとなるように圧縮を行う。

【0043】

レンジ圧縮部４０の後段は、例えば、ベイヤーデータからＲＧＢプレーンを生成するデモザイク部、輪郭強調部、カラーマネージメントなどを含む画像処理エンジンに接続される。そのため、レンジ圧縮部４０からの出力信号のデータ量は、例えば、画像処理エンジンへの入力データのサイズに適合するように（例えば、１２ｂｉｔ程度に）調整されるのが好ましい。単純にデータサイズを低下させるだけでは暗い画像に変換されてしまうため、人間の視覚特性に近づくように高輝度側が強く圧縮されるとよい。

【0044】

以上において説明した例では、露光量の異なる２種類の画像（短露光画像および長露光画像）を撮影して合成する例を説明した。しかし、合成に使用される画像の種類は特に限定されない。例えば、露光量の異なる３種類以上の画像を撮影して合成する例にも本実施形態は適用され得る。３種類以上の画像を撮影して合成する場合には、得られるＷＤＲ合成画像のダイナミックレンジを２０ビット以上に広げることもできるようになると予想される。しかし、レンジ圧縮部４０による圧縮後のレンジは一定であるのがよい。

【0045】

続いて、レンジ圧縮部４０の詳細な機能構成例について、図３を参照しながら説明する。図３は、レンジ圧縮部４０の詳細な機能構成例を示すブロック図である。図３に示したように、画像処理装置１は、最大値検出部４１と、マージン決定部４２と、加算部４３と、係数算出部４４と、圧縮部４５とを備える。なお、以下では、レンジ圧縮部４０への入力ＲＧＢ信号が、合成部３０によって生成されたＷＤＲ合成画像である場合を主に説明するが、レンジ圧縮部４０への入力ＲＧＢ信号はＷＤＲ合成画像に限定されない。

【0046】

最大値検出部４１は、入力画像を構成する画素値の最大値ｈｍａｘを検出する。例えば、図３に示すように、最大値検出部４１は、ダイナミックレンジが拡張された入力ＲＧＢ信号が入力された場合には、この入力ＲＧＢ信号を構成する全画素値から最大値ｈｍａｘを検出してよい。

【0047】

ここで、最大値検出部４１は、入力ＲＧＢ信号を構成する全画素値のヒストグラムを取り、所定数以上存在する画素値のうち最も画素値の大きな値を最大値として検出するのが望ましい。１画素でも最大値として検出してしまうと、欠陥画素を検出してしまったり、非常に小さく画像全体からすると重要性が低い高輝度物体を検出してしまったりする可能性があるが、そのような可能性を低減することができるからである。

【0048】

また、入力ＲＧＢ信号のヒストグラムを取る際に、階調を量子化してからヒストグラムを取るのがさらに望ましい。入力ＲＧＢ信号がＷＤＲ合成画像である場合、全階調のヒストグラムを取れば、ヒストグラムに使用するメモリが非常に大きくなってしまうためである。最大値検出部４１によって検出された最大値ｈｍａｘは、マージン決定部４２および加算部４３に出力される。

【0049】

マージン決定部４２は、最大値検出部４１によって検出された最大値ｈｍａｘに基づいてマージン値ｍａｒｇｉｎを決定する。マージン決定部４２によるマージン値ｍａｒｇｉｎの決定についての詳細は後に説明する。また、加算部４３は、最大値検出部４１によって検出された最大値ｈｍａｘとマージン決定部４２によって決定されたマージン値ｍａｒｇｉｎとの加算値ｈｍａｘ’を算出する。

【0050】

係数算出部４４は、加算値ｈｍａｘ’に基づいて係数ｃｏｅｆｆを算出する。例えば、係数算出部４４は、出力レンジの上限値を加算値ｈｍａｘ’によって除することにより係数ｃｏｅｆｆを算出する。そうすれば、加算値ｈｍａｘ’を出力レンジの上限値に一致させるための係数ｃｏｅｆｆを算出することができる。

【0051】

圧縮部４５は、係数ｃｏｅｆｆを用いて入力ＲＧＢ信号をレンジ圧縮する。圧縮部４５は、入力ＲＧＢ信号の各画素値に対して係数ｃｏｅｆｆを乗じることによって、入力ＲＧＢ信号を圧縮することができる。

【0052】

このようにして、出力レンジの上限から一定の領域のレンジを不使用とする制御を行うことによって、高輝度・高彩度のオブジェクトの色再現性を改善したレンジ圧縮画像を得ることが可能となる。以下、マージン決定部４２によるマージン値ｍａｒｇｉｎの決定の詳細について説明する。図４は、マージン値ｍａｒｇｉｎの決定例を説明するための図である。なお、図４には、最大値ｈｍａｘとマージン値ｍａｒｇｉｎとの対応関係の例が示されている。

【0053】

例えば、マージン決定部４２は、入力ＲＧＢ信号を構成する画素値の飽和値ＶＡＬｕと最大値ｈｍａｘとの比較結果に基づいてマージン値ｍａｒｇｉｎを決定してよい。例えば、図４に示すように、マージン決定部４２は、最大値ｈｍａｘが飽和値ＶＡＬｕ以上である場合には、零をマージン値ｍａｒｇｉｎとして決定してもよい。

【0054】

ここで、飽和値ＶＡＬｕは、入力ＲＧＢ信号が短露光画像と長露光画像とのＷＤＲ合成画像である場合、短露光画像の飽和状態において取り得る何らかの値であってよい。具体的には、飽和値ＶＡＬｕは、ＷＤＲ合成画像の画素値の理論的な上限値であってもよい。例えば、飽和値ＶＡＬｕは、以下の式（１）に示すように、センサ１０から出力される各画素値のビット数ｎとセンサ１０によって撮影される短露光画像に対する長露光画像の露光比Ｅｘｐとの乗算値によって理論的に算出されてもよい。

【0055】

ＶＡＬｕ＝２^ｎ×Ｅｘｐ ・・・（１）

【0056】

センサ１０から出力される各画素値のビット数ｎを１２とし、短露光画像に対する長露光画像の露光比を１０倍とした場合には、ＷＤＲ合成画像の画素値の理論的な上限値は、２^１２×１０＝４０９６０であり、この上限値よりも大きな画素値がＷＤＲ合成画像に存在することは基本的にはないと考えられる。

【0057】

あるいは、飽和値ＶＡＬｕは、短露光画像を構成する画素値の飽和値であってもよい。例えば、かかる場合、マージン決定部４２は、短露光画像を構成する画素値の飽和値と短露光画像を構成する画素値の最大値との比較結果に基づいてマージン値ｍａｒｇｉｎを決定してよい。短露光画像を構成する画素値の飽和値と短露光画像を構成する画素値の最大値との比較は、図示しない比較部によって行われればよい。

【0058】

また、例えば、マージン決定部４２は、所定の閾値ＴＨと最大値ｈｍａｘとの比較結果に基づいてマージン値ｍａｒｇｉｎを決定してもよい。例えば、図４に示すように、マージン決定部４２は、最大値ｈｍａｘが閾値ＴＨを下回る場合には、規定値をマージン値ｍａｒｇｉｎとして決定してもよい。

【0059】

また、図４に示すように、マージン決定部４２は、最大値ｈｍａｘが飽和値ＶＡＬｕと閾値ＴＨとの間である場合には、線形補間により算出された値をマージン値ｍａｒｇｉｎとして決定してもよい。

【0060】

なお、ここでは、短露光画像に対する長露光画像の露光比を用いて説明をしているが、異なる露光量で撮影された３種類以上の画像を用いる場合には、最短露光画像に対する最長露光画像の露光比を用いてＶＡＬｕを算出すればよい。

【0061】

続いて、本発明の実施形態が奏する効果の例を説明する。まず、画素値の最大値ｈｍａｘが飽和値ＶＡＬｕに達していない場合について説明する。図５は、画素値の最大値ｈｍａｘが飽和値ＶＡＬｕに達していないＷＤＲ合成画像（上段）、最大値ｈｍａｘを用いて１２ビットレンジに圧縮した後のＷＤＲ合成画像（中段）および最大値ｈｍａｘとマージン値ｍａｒｇｉｎとの加算値ｈｍａｘ’を用いて１２ビットレンジに圧縮した後のＷＤＲ合成画像（下段）それぞれのヒストグラムを示す図である。

【0062】

最大値ｈｍａｘを用いて圧縮した後のＷＤＲ合成画像（図５の中段）を参照すると、出力レンジをいっぱいまで使い切っている状態であるが、背景技術の項で説明したように高輝度・高彩度部の色再現性が不十分となってしまう。

【0063】

一方、最大値ｈｍａｘとマージン値ｍａｒｇｉｎとの加算値を用いて１２ビットレンジに圧縮した後のＷＤＲ合成画像（図５の下段）を参照すると、出力レンジの飽和付近を使用しないため、高輝度・高彩度のオブジェクトの色再現性が改善される。ただし、マージン値ｍａｒｇｉｎを大きくし過ぎると、出力レンジのハイライト側の不使用階調が多くなって出力画像のコントラストが低下したり、画像が暗く見えたりする可能性もある。したがって、高輝度・高彩度のオブジェクトの色再現性と画像のコントラストとのバランスを取ったマージン値が設定されるとよい。

【0064】

続いて、画素値の最大値ｈｍａｘが飽和値ＶＡＬｕに達した場合について説明する。図７は、画素値の最大値が飽和値に達しているＷＤＲ合成画像（上段）、最大値ｈｍａｘとマージン値ｍａｒｇｉｎとの加算値ｈｍａｘ’を用いて１２ビットレンジに圧縮した後のＷＤＲ合成画像（中段）および最大値ｈｍａｘを用いて１２ビットレンジに圧縮した後のＷＤＲ合成画像（下段）それぞれのヒストグラムを示す図である。

【0065】

画素値の最大値が飽和値に達しているＷＤＲ合成画像（図６の上段）を参照すると、ハイライト部のヒストグラムはＷＤＲ合成画像の飽和値ＶＡＬｕに達しており、ｈｍａｘ＝ＶＡＬｕとなっている。なお、ＷＤＲ合成画像が飽和しているということは、短露光画像でも飽和するような非常に高輝度のオブジェクトが撮影されているということである。

【0066】

最大値ｈｍａｘとマージン値ｍａｒｇｉｎとの加算値ｈｍａｘ’を用いて１２ビットレンジに圧縮した後のＷＤＲ合成画像（図６の中段）を参照すると、最大値ｈｍａｘとマージン値ｍａｒｇｉｎとの加算値ｈｍａｘ’を使用したレンジ圧縮がなされており、ハイライト部が飽和からやや小さい階調を使用して出力されている。その結果、短露光画像だけを見れば飽和して真っ白もしくはそれに近いように見えるのに、合成画像を見ると飽和しておらず明るい灰色のように見えてしまい、不自然に見えてしまう。

【0067】

一方、最大値ｈｍａｘを用いて１２ビットレンジに圧縮した後のＷＤＲ合成画像（図６の下段）を参照すると、ＷＤＲ合成画像が飽和している場合が示されている。このような場合には、圧縮した後のＷＤＲ合成画像も飽和している方が自然である。すなわち、加算値ｈｍａｘ’は用いずに最大値ｈｍａｘを用いてＷＤＲ合成画像を圧縮するのがよい。

【0068】

以上に示した効果の例のように、本発明の実施形態においては、最大値ｈｍａｘと飽和値ＶＡＬｕとを比較して、最大値ｈｍａｘが飽和値ＶＡＬｕに到達している時には、マージン値ｍａｒｇｉｎを零にするなどといった制御を導入する。これによって、ＷＤＲ合成画像が飽和している場合でも自然な結果が得られるように配慮されている。

【0069】

以上、本発明の実施形態について説明した。本発明の実施形態によれば、入力画像を構成する各画素値のビット数をＡビットからＢビット（ただし、Ａ＞Ｂ）にレンジ圧縮する画像処理装置１において、入力画像を構成する画素値の最大値を検出する最大値検出部４１と、最大値に基づいてマージン値を決定するマージン決定部４２と、最大値とマージン値との加算値に基づいて係数を算出する係数算出部４４と、係数を用いて入力画像をレンジ圧縮する圧縮部４５と、を備える、画像処理装置１が提供される。

【0070】

かかる構成によれば、出力レンジの上限から一定の領域のレンジを不使用とする制御を行うことによって、高輝度・高彩度のオブジェクトの色再現性を改善したレンジ圧縮画像を得ることが可能となる。

【0071】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0072】

ワイドダイナミックレンジ技術は、ネットワークカメラの差別化技術として特に重要視されている。本発明の実施形態は、従来技術では色再現性が不十分であった高輝度・高彩度オブジェクトを、より実物に近い色で再現できるようにするもので、マージン値の適応制御によって副作用も抑え込んでいる。そのため、画質を安定的に向上させることができる点、処理が複雑でなく現実的な回路規模で実現できる点、制御が必要な箇所も少ない点などが優れている。

【符号の説明】

【0073】

１ 画像処理装置
１０ センサ
２０ フレームメモリ
３０ 合成部
４０ レンジ圧縮部
４１ 最大値検出部
４２ マージン決定部
４３ 加算部
４４ 係数算出部
４５ 圧縮部
ｃｏｅｆｆ 係数
Ｅｘｐ 露光比
ｈｍａｘ 最大値
ｈｍａｘ’ 加算値
ｍａｒｇｉｎ マージン値
ＴＨ 閾値
ＶＡＬｕ 飽和値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】