特許 6045896 評価値算出装置および評価値算出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6045896

(24)【登録日】2016年11月25日

(45)【発行日】2016年12月14日

(54)【発明の名称】評価値算出装置および評価値算出方法

(51)【国際特許分類】

   H04N 5/235 20060101AFI20161206BHJP

   H04N 5/243 20060101ALI20161206BHJP

   H04N 1/387 20060101ALI20161206BHJP

【ＦＩ】

   H04N5/235

   H04N5/243

   H04N1/387

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2012-265770(P2012-265770)

(22)【出願日】2012年12月4日

(65)【公開番号】特開2014-110621(P2014-110621A)

(43)【公開日】2014年6月12日

【審査請求日】2015年10月7日

(73)【特許権者】

【識別番号】500548884

【氏名又は名称】ハンファテクウィン株式会社

【氏名又は名称原語表記】ＨＡＮＷＨＡ ＴＥＣＨＷＩＮ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】110000981

【氏名又は名称】アイ・ピー・ディー国際特許業務法人

(72)【発明者】

【氏名】都築 毅

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２００３−２７４２７８（ＪＰ，Ａ）

【文献】 特開２００１−０６１１０５（ＪＰ，Ａ）

【文献】 特開２０１２−１１９７６１（ＪＰ，Ａ）

【文献】 特開２０１１−１６００９０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０３Ｂ ７／００ − ７／３０

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ９／４０

Ｈ０４Ｎ １／３８ − １／３９３

Ｈ０４Ｎ ５／３０ − ５／３７８

(57)【特許請求の範囲】

【請求項1】

現フレームの長露光画像の画素値および前フレームの長露光画像の画素値の第１の差分値を算出する第１の算出部と、
現フレームの長露光画像の画素値および前フレームの長露光画像の画素値の平均値を算出する平均値算出部と、
前記平均値と現フレームの短露光画像の画素値に応じた値との第２の差分値を算出する第２の算出部と、
前記第１の差分値と前記第２の差分値とに基づいて、フリッカの強度を表す評価値を算出する評価値算出部と、
を備える、評価値算出装置。

【請求項2】

前記評価値算出装置は、
前記評価値に基づいて、前記現フレームの長露光画像と前記現フレームの短露光画像との混合比率を制御する混合比率制御部を備える、
請求項１に記載の評価値算出装置。

【請求項3】

前記評価値算出装置は、
前記混合比率制御部により制御された混合比率に基づいて、前記現フレームの長露光画像と前記現フレームの短露光画像とを合成する合成部を備える、
請求項２に記載の評価値算出装置。

【請求項4】

前記評価値算出部は、前記第１の差分値が小さいほど、前記評価値を大きく算出する、
請求項１に記載の評価値算出装置。

【請求項5】

前記評価値算出部は、前記第２の差分値が大きいほど、前記評価値を大きく算出する、
請求項１に記載の評価値算出装置。

【請求項6】

前記混合比率制御部は、前記評価値が大きいほど、前記現フレームの長露光画像の混合比率を大きくするように制御する、
請求項２に記載の評価値算出装置。

【請求項7】

現フレームの長露光画像の画素値および前フレームの長露光画像の画素値の第１の差分値を算出するステップと、
現フレームの長露光画像の画素値および前フレームの長露光画像の画素値の平均値を算出するステップと、
前記平均値と現フレームの短露光画像の画素値に応じた値との第２の差分値を算出するステップと、
前記第１の差分値と前記第２の差分値とに基づいて、フリッカの強度を表す評価値を算出するステップと、
を含む、評価値算出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、評価値算出装置および評価値算出方法に関する。

【背景技術】

【0002】

近年、短時間露光の画像（以下、単に「短露光画像」とも言う。）と長時間露光の画像（以下、単に「長露光画像」とも言う。）を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。

【0003】

しかし、短露光画像と長露光画像とを合成するという仕組みから発生する問題が２点ある。一つは、被写体に動きがあると合成時にずれが生じ、輪郭が二重になるといったアーティファクトが発生するという問題である。もう一つは、短露光画像にフリッカが撮影されてしまう場合があり、この短露光画像が合成に使用されるとフリッカを含む合成画像が出力されてしまい、見にくい画像となってしまうという問題である。本明細書においては、主に後者のフリッカについての問題の解決を試みる。

【0004】

フリッカを起こすものとしてはインバータなしの蛍光灯が有名であるが、近年普及し始めたＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）照明の中にも明滅周波数が低いものがあり、このような低い周波数の明滅はフリッカの発生源となることがある。また、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を備えたテレビジョン装置や、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）用ディスプレイの中にも、動画表示性能の向上を目的としてバックライトを明滅させるものが増えているが、バックライトの明滅もフリッカの発生源となり得る。

【0005】

ＷＤＲのフリッカ低減手法としては、以下のようなものがある。例えば、撮影開始前に、数フレームにわたるフリッカ検出シーケンスを撮影し、その撮影結果に基づいてフリッカの有無や周波数を判断する手法がある（例えば、特許文献１参照。）。かかる手法では、その判断結果に基づいてＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度やＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）を制御し、シャッタスピードをフリッカの影響が少ないように設定して撮影する。

【0006】

また、１／２４０秒および１／６０秒それぞれのシャッタタイムで撮影した画像を比較してフリッカを検出する手法がある（特許文献２参照。）。かかる手法においては、フリッカ検出結果に基づいて複数のＷＤＲ合成画像および短露光画像１枚の階調補正画像それぞれに対して優先順位を設定し、当該優先順位に基づいて複数のＷＤＲ合成画像および短露光画像１枚の階調補正画像の表示制御または記録制御をする。

【0007】

また、フラッシュありの環境で撮影された画像を合成した際のＷＢ（Ｗｈｉｔｅ Ｂａｌａｎｃｅ）とフラッシュなしの環境で撮影された画像を合成した際のＷＢとの違いを揃えることを主な目的とする手法がある（特許文献３参照。）。かかる手法においては、複数枚の画像を加算平均することでフリッカを低減する。さらに、かかる手法によれば、複数枚の画像を加算平均することによりＷＤＲ効果も得ることができる。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１２−１２９９７２号公報

【特許文献2】特開２０１２−１１９７６１号公報

【特許文献3】特開２０１１−３５８９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、特許文献１に開示された手法は、撮影前にフリッカの有無や周波数を判断するものであり、その判断のために数フレームを要することから、動画撮影中にフリッカ光源が点灯開始または終了した場合には対応できない。高輝度のフリッカ光源がある場合、高輝度側の情報が十分捉えきれないおそれもある。

【0010】

また、特許文献２に開示された手法によれば、フリッカを検出した場合、ＷＤＲ合成画像の優先順位が低下してしまう。ＷＤＲ合成画像の優先順位が低下してしまうと、例えば、フリッカが画面の一部にしか存在しない場合であっても、画面全体でのＷＤＲ効果がなくなってしまう。

【0011】

また、特許文献３に開示された手法によれば、複数枚の撮影画像の加算平均によってフリッカを低減するため、フリッカが消えるまで撮影・加算を繰り返し行う必要がある。また、ＷＤＲ効果も複数フレームを加算することによって得ており、レンジ拡大効果は小さい。

【0012】

そこで、本発明は、長露光画像および短露光画像を合成するＷＤＲ処理において、フリッカの有無を画素毎に動的に判定するための評価値を算出することを可能とする技術を提供しようとするものである。また、例えば、本発明は、フリッカを検出した場合は長露光画像を選択することでフリッカを回避することを可能とする技術を提供する。また、例えば、本発明は、フリッカ領域を正確に検出し、フリッカがないＷＤＲ処理された動画を得ることを可能とする技術を提供する。

【課題を解決するための手段】

【0013】

本発明のある実施形態によれば、現フレームの長露光画像の画素値および前フレームの長露光画像の画素値の第１の差分値を算出する第１の算出部と、現フレームの長露光画像の画素値および前フレームの長露光画像の画素値の平均値を算出する平均値算出部と、前記平均値と現フレームの短露光画像の画素値に応じた値との第２の差分値を算出する第２の算出部と、前記第１の差分値と前記第２の差分値とに基づいて、フリッカの強度を表す評価値を算出する評価値算出部と、を備える、評価値算出装置が提供される。

【0014】

かかる構成によれば、フリッカの有無を画素毎に動的に判定するための評価値を算出することが可能である。また、例えば、かかる構成によれば、フリッカを検出した場合は長露光画像を選択することでフリッカを回避することが可能である。また、例えば、かかる構成によれば、フリッカ領域を正確に検出し、フリッカがないＷＤＲ処理された動画を得ることが可能となる。

【0015】

前記評価値算出装置は、前記評価値に基づいて、前記現フレームの長露光画像と前記現フレームの短露光画像との混合比率を制御する混合比率制御部を備えてもよい。かかる構成によれば、評価値算出部により算出された評価値に基づいて、現フレームの長露光画像と現フレームの短露光画像との混合比率を制御することが可能である。

【0016】

例えば、混合比率制御部は、評価値が第１の閾値を下回る場合には、評価対象の画素がフリッカではないとして当該画素における長露光画像の混合比率を「０」としてもよい。一方、混合比率制御部は、評価値が閾値を上回る場合には、評価対象の画素がフリッカであるとして当該画素における長露光画像の混合比率をＣｌｉｐの値としてもよい。

【0017】

前記評価値算出装置は、前記混合比率制御部により制御された混合比率に基づいて、前記現フレームの長露光画像と前記現フレームの短露光画像とを合成する合成部を備えてもよい。かかる構成によれば、制御された結果としての混合比率に基づいて、現フレームの長露光画像と現フレームの短露光画像とを合成することができる。

【0018】

前記評価値算出部は、前記第１の差分値が小さいほど、前記評価値を大きく算出してもよい。かかる構成によれば、第１の差分値が小さいほど、フリッカの強度を表す評価値を大きく算出することができる。第１の差分値が小さいということは長露光画像の画素値が安定しているということであり、これはフリッカの持つ性質の一つであるためである。

【0019】

前記評価値算出部は、前記第２の差分値が大きいほど、前記評価値を大きく算出してもよい。かかる構成によれば、第２の差分値が大きいほど、フリッカの強度を表す評価値を大きく算出することができる。第２の差分値が大きいということは長露光画像が短露光画像と異なっているということであり、これはフリッカの持つ性質の一つであるためである。

【0020】

前記混合比率制御部は、前記評価値が大きいほど、前記現フレームの長露光画像の混合比率を大きくするように制御してもよい。かかる構成によれば、フリッカの強度を表す評価値が大きいほど、現フレームの長露光画像の混合比率が大きくなり、現フレームの短露光画像の混合比率が小さくなり、ＷＤＲ合成画像にフリッカが含まれる可能性を低減することができる。

【0021】

また、本発明の別の実施形態によれば、現フレームの長露光画像の画素値および前フレームの長露光画像の画素値の第１の差分値を算出するステップと、現フレームの長露光画像の画素値および前フレームの長露光画像の画素値の平均値を算出するステップと、前記平均値と現フレームの短露光画像の画素値に応じた値との第２の差分値を算出するステップと、前記第１の差分値と前記第２の差分値とに基づいて、フリッカの強度を表す評価値を算出するステップと、を含む、評価値算出方法が提供される。

【0022】

かかる方法によれば、フリッカの有無を画素毎に動的に判定するための評価値を算出することが可能である。また、例えば、かかる方法によれば、フリッカを検出した場合は長露光画像を選択することでフリッカを回避することが可能である。また、例えば、かかる方法によれば、フリッカ領域を正確に検出し、フリッカがないＷＤＲ処理された動画を得ることが可能となる。

【発明の効果】

【0023】

以上説明したように、本発明によれば、長露光画像および短露光画像を合成するＷＤＲ処理において、フリッカの有無を画素毎に動的に判定するための評価値を算出する技術を提供することが可能である。また、例えば、本発明によれば、フリッカを検出した場合は長露光画像を選択することでフリッカを回避することが可能である。また、例えば、本発明によれば、フリッカ領域を正確に検出し、フリッカがないＷＤＲ処理された動画を得ることが可能となる。

【図面の簡単な説明】

【0024】

【図1】一般的なＷＤＲシステムの機能構成例を示す図である。

【図2A】短露光画像の例を示す図である。

【図2B】長露光画像の例を示す図である。

【図2C】一般的なＷＤＲシステムによるＷＤＲ合成画像の例を示す図である。

【図3】本発明の実施形態に係るＷＤＲシステムの機能構成を示す図である。

【図4】フリッカ検出部の詳細な機能構成を示す図である。

【図5】使用画像選択部の詳細な機能構成を示す図である。

【図6A】静止領域の画素値の時間変化の例を示す図である。

【図6B】動き領域の画素値の時間変化の例を示す図である。

【図6C】フリッカ領域の画素値の時間変化の例を示す図である。

【図7】評価値と混合比率の制御との関係の例を示す図である。

【図8A】本発明の実施形態に係るＷＤＲシステムによるフリッカ検出結果の例を示す図である。

【図8B】本発明の実施形態に係るＷＤＲシステムによるＷＤＲ合成画像の例を示す図である。

【図9】本発明の実施形態に係るＷＤＲシステムの動作の流れの例を示す図である。

【発明を実施するための形態】

【0025】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

【0026】

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

【0027】

まず、一般的なＷＤＲシステム９０の機能構成例について説明する。図１は、一般的なＷＤＲシステム９０の機能構成例を示す図である。ＷＤＲシステム９０は、センサ９１０の露光設定を変えて２枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。短露光撮影された短露光画像はメモリ９２０に書き込まれる。ＷＤＲシステム９０は、短露光撮影が終了したら露光設定を変え、長露光撮影を行う。

【0028】

ここで、本発明の実施形態においては、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された２つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる２つの画像が撮影された場合に、当該２つの画像のうち、相対的に露光時間が短い画像が短露光画像に相当し、相対的に露光時間が長い画像が長露光画像に相当する。

【0029】

使用画像選択部９３０は、センサ９１０により検出された長露光画像とメモリ９２０から読み出した短露光画像とを参照し、長露光画像および短露光画像それぞれの飽和状態や動きなどを検出して、短露光画像と長露光画像とのいずれかを使用画像として選択するための選択情報を生成する。短露光画像と長露光画像とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。

【0030】

例えば、長露光画像において飽和してしまった領域は短露光画像においては飽和していない可能性が高いため、当該領域の使用画像としては短露光画像を選択すればよい。しかし、この処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、動きを検出して輪郭が二重になる現象を低減する処理を行ってもよい。かかる処理を含む、短露光画像と長露光画像とのいずれかを選択するアルゴリズムは特に限定されない。

【0031】

合成部９４０は、使用画像選択部９３０からの選択情報を受け、当該選択情報に基づいて短露光画像と長露光画像とを合成することによりＷＤＲ画像を生成する。階調変換部９５０は、ダイナミックレンジの広い画像信号のビットレンジを所定のビットレンジに収めるための圧縮処理と人間の目で見た情景に近づけるような階調補正とを、合成部９４０により生成されたＷＤＲ画像に対して行う。当該圧縮処理と当該階調補正とは、同時に行われてもよいし、異なるタイミングにおいて行われてもよい。

【0032】

図２Ａは、短露光画像の例を示す図であり、図２Ｂは、長露光画像の例を示す図であり、図２Ｃは、一般的なＷＤＲシステム９０によるＷＤＲ合成画像の例を示す図である。

【0033】

図２Ａ、図２Ｂおよび図２Ｃに示された構図は、晴れた日の昼間の屋内にて、窓Ｗの手前に人Ｕが立っている逆光の構図であり、窓Ｗの右下にはフリッカするディスプレイＤがある。図２Ａに示した短露光画像Ｉｍ−ｓでは、窓Ｗの外の雲がはっきりと見えるが、手前の人Ｕや室内は暗く沈んでしまう。また、シャッタタイムが短いことでディスプレイＤには垂直方向に縞状のフリッカが見えている。

【0034】

図２Ｂに示した長露光画像Ｉｍ−ｌは、手前の人Ｕや室内が適正な明るさで見え、シャッタタイムが長いことでディスプレイＤのフリッカもないが、窓Ｗの外は明る過ぎて飽和し雲が全く見えなくなっている。これらをＷＤＲ合成すると、図２Ｃに示したＷＤＲ合成画像Ｉｍ−ｇのようになり、長露光画像Ｉｍ−ｌで飽和した領域に対して短露光画像Ｉｍ−ｓを使用することで窓Ｗの外の雲が見えるようになる。

【0035】

しかし、アルゴリズムにもよるが、フリッカが存在する領域が動き領域として検出される場合には、当該フリッカが存在する領域の使用画像として短露光画像Ｉｍ−ｓが使用画像選択部９３０によって選択される。そのため、短露光画像Ｉｍ−ｓに含まれるディスプレイＤが合成部９４０によって合成されてしまい、ディスプレイＤのフリッカも見えるようになってしまう。

【0036】

続いて、本発明の実施形態に係るＷＤＲシステム１０の機能構成について説明する。図３は、本発明の実施形態に係るＷＤＲシステム１０の機能構成を示す図である。図３に示すように、ＷＤＲシステム１０は、センサ１１０、第１メモリ１２１、第２メモリ１２２、使用画像選択部１３０、合成部１４０、階調変換部１５０およびフリッカ検出部１６０を備える。以下、ＷＤＲシステム１０が備える各機能ブロックの機能について順次詳細に説明する。なお、ＷＤＲシステム１０は、本発明の実施形態に係る評価値算出装置の一例として機能する。

【0037】

センサ１１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。

【0038】

具体的には、センサ１１０は、露光設定を変えて長露光画像と短露光画像とを交互に連続撮影する。長露光撮影された前フレームの長露光画像は第１メモリ１２１に書き込まれる。一方、短露光撮影された現フレームの短露光画像は第２メモリ１２２に書き込まれる。続いて、ＷＤＲシステム１０は、現フレームの短露光撮影が終了したら露光設定を変え、長露光撮影を行うことにより現フレームの長露光画像を取得する。前フレームは現フレームよりも１フレーム前のフレームに相当する。

【0039】

フリッカ検出部１６０は、第１メモリ１２１から出力された前フレームの長露光画像と第２メモリ１２２から出力された現フレームの短露光画像とセンサ１１０から出力された現フレームの長露光画像との３枚の画像を用いて、画素毎にフリッカ検出を行う。フリッカ検出部１６０によるフリッカ検出結果は、使用画像選択部１３０によって使用される。

【0040】

図４は、フリッカ検出部１６０の詳細な機能構成を示す図である。図５は、使用画像選択部１３０の詳細な機能構成を示す図である。ここで、本発明の実施形態に係るフリッカ検出の背景となる事象について説明する。本発明の実施形態における前提条件として、短露光画像および長露光画像の２枚の画像のうち、長露光画像にはフリッカはほとんど含まれておらず常に安定していることがある。

【0041】

長露光画像にフリッカがほとんど含まれない状況とするためには、例えば、長露光画像のシャッタタイムを１／６０秒（あるいは１／５０秒）以下にしなければならない。短露光画像の撮影条件についてはダイナミックレンジ拡大性能の仕様によって自由に決めればよく、長露光撮影のシャッタタイムの数分の一から十数分の一といった範囲で設定することになる。

【0042】

このような前提の上で、静止領域と動き領域とフリッカ領域との相違について説明する。図６Ａは、静止領域の画素値の時間変化の例を示す図であり、図６Ｂは、動き領域の画素値の時間変化の例を示す図であり、図６Ｃは、フリッカ領域の画素値の時間変化の例を示す図である。

【0043】

図６Ａ、図６Ｂおよび図６Ｃにおいて、Ｓは短露光画像の画素値に応じた値、Ｌは長露光画像の画素値を表している。なお、短露光画像の画素値に応じた値は、例えば、短露光画像の画素値に対して、短露光画像に対する長露光画像の露出時間の比を乗じて正規化を行った結果であってもよい。例えば、長露光画像に対して「１／１０」の露出時間で短露光画像を撮影した場合には、短露光画像の画素値に「１０」を乗じることによって、短露光画像の画素値に応じた値が算出され得る。

【0044】

図６Ａに示すように、撮影領域が静止領域であり、かつ、照明環境が一定であれば、短露光画像および長露光画像ともに画素値にほとんど変動がない状態が続く。一方、図６Ｂに示すように、撮影領域が動き領域の場合であり、かつ、その撮影領域が暗いテクスチャから明るいテクスチャに変化した場合には、短露光画像の画素値と長露光画像の画素値とがほぼ同じである定常状態から、過渡状態を経て画素値が上昇し再び定常状態となる。

【0045】

また、図６Ｃに示すように、撮影領域がフリッカ領域の場合には、短露光画像にはフリッカが含まれるので画素値が大きく変動するのに対し、長露光画像にはフリッカがほとんど含まれないため画素値がほとんど変動しないという特徴がある。短露光画像はフリッカ光源の明滅の点灯時を捉えることもあれば消灯時を捉えることもあるのに対し、長露光画像はそれらを平均した輝度を捉える。

【0046】

したがって、短露光画像の画素値は長露光画像の画素値よりも大きいこともあれば小さいこともある。図６Ｂおよび図６Ｃを参照すると、一対の短露光画像および長露光画像それぞれの画素値を比較しただけでは、撮影領域が動き領域であるかフリッカ領域であるかといった区別がつかないが、前フレームの長露光画像をさらに加えて３つの画素値を比較することで、フリッカを正確に判定することができるようになる。このようなフリッカの特徴を踏まえた上で、フリッカ評価関数を以下のように定義する。

【0047】

【数1】

【0048】

式（１）における第一項は、長露光画像の安定度を評価するものであり、第１の算出部１６１は、前フレームの長露光画像の画素値と現フレームの長露光画像の画素値との差分値（第１の差分値）を算出する。この差分値が小さいほど、長露光画像の画素値が安定しているということになる。式（１）においては、一例として、第１の算出部１６１がこの差分値を定数から引いて、フリッカ評価関数によって算出される値（以下、「評価値」とも言う。）が大きいほど安定している、という評価ができるようにしている。第一項が負の値を取った場合は、第１の算出部１６１により当該第一項の値が「０」にクリップされてもよい。

【0049】

式（１）における第二項は、短露光画像の長露光画像に対する乖離度を評価するものであり、平均値算出部１６３は前フレームの長露光画像の画素値と現フレームの長露光画像の画素値との平均値を算出し、第２の算出部１６２は当該平均値と現フレームの短露光画像の画素値に応じた値との差分値（第２の差分値）を算出する。この差分値が大きいほど、短露光画像が長露光画像と異なっていることを表す。現フレームの短露光画像の画素値に応じた値の例については、上記した通りである。

【0050】

続いて、第１の算出部１６１により算出された差分値と第２の算出部１６２により算出された差分値とに基づいて、評価値算出部１６４によって評価値が算出される。評価値はフリッカの強度を表す。上記したように、第１の算出部１６１により算出された差分値が小さいほど、長露光画像の画素値が安定しているということになるため、評価値算出部１６４は、例えば、当該差分値が小さいほど、評価値を大きく算出すればよい。また、第２の算出部１６２により算出された差分値が大きいほど、短露光画像が長露光画像と異なっていることを表すため、評価値算出部１６４は、例えば、当該差分値が大きいほど、評価値を大きく算出すればよい。

【0051】

一例として、評価値は、式（１）に示したようなフリッカ評価関数を用いて算出される。式（１）に示されたように、フリッカ評価関数は、例えば、上記した二項を乗じたものであり、「長露光画像が安定している」かつ「短露光画像が長露光画像と異なっている」という条件を満たす場合に、評価対象の画素をフリッカであると評価するものである。評価値が大きいほど評価対象の画素がフリッカである可能性が高く、強いフリッカであるということを表し、評価値が小さいほど評価対象の画素がフリッカである可能性が低く、弱いフリッカであるということを表す。

【0052】

続いて、混合比率算出部１３１においては、短露光画像と長露光画像との混合比率が算出される。例えば、混合比率算出部１３１は、撮影画像の飽和状態や動きなどに基づいて、短露光画像と長露光画像との混合比率を算出すればよい。例えば、混合比率算出部１３１は、長露光画像の飽和度合いが強いほど、短露光画像の混合比率を大きくしてもよい。また、混合比率算出部１３１は、短露光画像または長露光画像の動きが大きいほど、短露光画像の混合比率を大きくしてもよい。

【0053】

混合比率制御部１３２は、評価値算出部１６４により算出された評価値に基づいて、現フレームの長露光画像と現フレームの短露光画像との混合比率を制御する。本発明の実施形態においては、混合比率制御部１３２による制御対象となる混合比率が、混合比率算出部１３１により算出された混合比率である場合を想定するが、混合比率制御部１３２による制御対象となる混合比率は、混合比率算出部１３１により算出された混合比率でなくてもよい。

【0054】

混合比率制御部１３２による混合比率の制御手法としては、様々な手法が想定される。例えば、混合比率制御部１３２は、評価値算出部１６４により算出された評価値が大きいほど、現フレームの長露光画像の混合比率を大きくするように制御してもよい。図７は、評価値と混合比率の制御との関係の例を示す図である。例えば、混合比率制御部１３２は、図７に示したような入出力特性によって混合比率を調整してもよい。

【0055】

より詳細には、図７に示すように、混合比率制御部１３２は、評価値が第１の閾値ＴＨ１を下回る場合には、評価対象の画素がフリッカではないと検出して、当該画素における長露光画像の混合比率を「０」としてもよい。一方、図７に示すように、混合比率制御部１３２は、評価値が第２の閾値ＴＨ２を上回る場合には、評価対象の画素がフリッカであると検出して、当該画素における長露光画像の混合比率をＣｌｉｐの値としてもよい。Ｃｌｉｐの値は、「１」であってもよいし、他の値であってもよい。

【0056】

第１の閾値ＴＨ１と第２の閾値ＴＨ２との間は、過渡領域に相当する。図７に示すように、例えば、混合比率制御部１３２は、当該過渡領域に相当する画素については、評価値算出部１６４により算出された評価値が大きいほど、現フレームの長露光画像の混合比率を大きくするように制御すればよい。

【0057】

フリッカは輝度の時間方向および／または空間方向の変動であって、Ｙ信号を使って比較すれば、多くのフリッカを検出できる。しかし、ＲＧＢ成分のいずれかに偏って強いフリッカを含む場合には、Ｙ信号ではフリッカ強度が弱まってしまう場合がある。このような場合でも、評価値算出部１６４がＲＧＢ信号それぞれについて評価値を算出し、その算出結果を用いれば高精度なフリッカ検出を行うことができる。

【0058】

より詳細には、例えば、評価値算出部１６４は、ＲＧＢ信号それぞれについて評価値を算出した場合、ＲＧＢ信号それぞれの評価値のうち最大の評価値を使用することにしてもよい。最大の評価値を使用することにすれば、フリッカを低減することができる可能性がより高いと考えられるからである。

【0059】

合成部１４０は、混合比率制御部１３２により制御された混合比率に基づいて、現フレームの長露光画像と現フレームの短露光画像とを合成する。例えば、長露光画像の混合比率をαとした場合、合成部１４０は、現フレームの長露光画像と現フレームの短露光画像とにおいて対応する各画素について、α×（現フレームの長露光画像の画素値）＋（１−α）×（現フレームの短露光画像の画素値）を算出し、算出結果を合成後の画像（ＷＤＲ画像）とすることができる。

【0060】

階調変換部１５０が有する機能については、上記した階調変換部９５０が有する機能と同様である。

【0061】

図８Ａは、本発明の実施形態に係るＷＤＲシステム１０によるフリッカ検出結果の例を示す図である。図８Ｂは、本発明の実施形態に係るＷＤＲシステム１０によるＷＤＲ合成画像の例を示す図である。図８Ａに示すように、フリッカ検出結果Ｉｍ−ｆには、混合比率制御部１３２によってフリッカであると判定された画素群がディスプレイＤとして含まれている。このように、本発明の実施形態に係るＷＤＲシステム１０によれば、フリッカ領域を正確に検出することが可能である。

【0062】

また、図８Ｂに示すように、ＷＤＲ合成画像Ｉｍ−ｇ’を参照すると、図２Ｃに示したＷＤＲ合成画像Ｉｍ−ｇと同様に、窓Ｗについては短露光画像がＷＤＲ合成画像として出力されていることが把握される。また、ＷＤＲ合成画像Ｉｍ−ｇ’を参照すると、フリッカであると判定された画素群に相当するディスプレイＤについては、長露光画像がＷＤＲ合成画像として出力されていることが把握される。一方、他の画素群（例えば、人Ｕなど）については、長露光画像がＷＤＲ合成画像として出力されていることが把握される。このように、本発明の実施形態に係るＷＤＲシステム１０によれば、ディスプレイＤ以外の領域には何ら影響を与えずＷＤＲ処理の性能を維持した状態で、ディスプレイＤに現れていたフリッカを除去することが可能となる。

【0063】

図９は、本発明の実施形態に係るＷＤＲシステム１０の動作の流れの例を示す図である。図９に示すように、第１の算出部１６１は、現フレームの長露光画像の画素値および前フレームの長露光画像の画素値の第１の差分値を算出する（ステップＳ１）。続いて、平均値算出部１６３は、現フレームの長露光画像の画素値および前フレームの長露光画像の画素値の平均値を算出する（ステップＳ２）。第２の算出部１６２は、平均値と現フレームの短露光画像の画素値に応じた値との第２の差分値を算出する（ステップＳ３）。

【0064】

続いて、評価値算出部１６４は、第１の算出部１６１によって算出された第１の差分値と第２の算出部１６２によって算出された第２の差分値とに基づいて評価値を算出する（ステップＳ４）。混合比率制御部１３２は、評価値に基づいて混合比率を制御すると（ステップＳ５）、合成部１４０は、混合比率制御部１３２により制御された混合比率に基づいて現フレームの長露光画像と現フレームの短露光画像とを合成する（ステップＳ６）。

【0065】

ステップＳ１〜ステップＳ６の動作がなされていない画素がある場合には（ステップＳ７で「Ｎｏ」）、ステップＳ１に戻って、その画素についてステップＳ１〜ステップＳ６の動作を繰り返すが、全画素についてステップＳ１〜ステップＳ６の動作が終了した場合には（ステップＳ７で「Ｙｅｓ」）、ステップＳ１〜ステップＳ６の動作を終了する。

【0066】

本発明の実施形態に係る手法によれば、長露光画像および短露光画像を合成するＷＤＲ処理において、フリッカの有無を画素毎に動的に判定するための評価値を算出することが可能である。上記したように、本発明の実施形態に係る手法においては、例えば、フリッカが検出された場合には、合成画像として長露光画像を選択することによってフリッカを含む画像が合成されることを回避することが可能である。

【0067】

また、本発明の実施形態に係る手法においては、フリッカを検出した場合には、合成画像として長露光画像を選択することによってフリッカを含む画像が合成されることを回避することが可能である。また、本発明の実施形態に係る手法においては、フリッカ領域を正確に検出し、フリッカがないＷＤＲ処理された動画を得ることができる。

【0068】

以下、本発明の実施形態に係る手法により奏する効果をさらに詳細に述べる。本発明の実施形態によれば、短露光画像と長露光画像を交互に撮影し合成するＷＤＲ処理において、フリッカを含む短露光画像１枚とフリッカを含まない前後２枚の長露光画像とを利用したフリッカ検出の構成及び評価関数により、「（１）フリッカを正確に判定できる」という効果を奏する。

【0069】

また、本発明の実施形態によれば、フリッカ判定を画素毎に行うため、「（２）撮影画像内にフリッカを含む領域とフリッカを含まない領域とが混在していても、フリッカ領域のみに限定して処理ができ、画面全体でＷＤＲ効果をオフにする必要がなくＷＤＲ合成処理を維持できる」という効果を奏する。また、本発明の実施形態によれば、「（３）動画撮影中にフリッカ光源が点灯または消灯しても対応できる」という効果を奏する。

【0070】

また、本発明の実施形態においては、長露光画像にはフリッカを含まないという条件は必要となり、長露光画像のシャッタタイムを１／６０秒あるいは１／５０秒以下に設定する必要はあるが、短露光画像側には何ら制限がない。そのため、「（４）フリッカ低減を実現するにあたってのＷＤＲの性能低下が少ない」という効果を奏する。本発明の実施形態によれば、以上に示したような特徴を有するＷＤＲ合成処理を行うことができる。

【0071】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0072】

なお、本発明の実施形態に係るフリッカ判定には、１フレーム前の長露光画像を保持するためのメモリが追加となり、これはコストアップの要因となり得る。しかし、１フレーム前の長露光画像はフリッカ判定にしか使われないため精度を落とすことは可能である。例えば、センサからの出力データが１２ビットを有していたとしても、データ量を８ビット程度に落としてメモリに書き込んでもフリッカ判定の精度に影響はほとんどない。また、１画素のフリッカというのは考えにくく、フリッカ領域は通常ある程度の面積を有している。したがって、解像度を落としてメモリに書き込み、低解像度画像でフリッカ判定を行ってもよい。これらの手段により、追加メモリのサイズを大きく削減することが可能である。

【0073】

本発明の実施形態に係る手法による処理対象の信号としては、Ｂａｙｅｒデータを用いる場合が最も好適であるが、当該処理対象の信号として用いられる信号は、Ｂａｙｅｒデータに限定されず、ＲＧＢデータでもよいし、ＹＵＶデータでもよい。

【0074】

また、本発明の実施形態においては、ＷＤＲ撮影の例として、短露光画像を先に撮影し、長露光画像を後に撮影するとして説明したが、短露光画像と長露光画像との撮影順序は特に限定されないため、長露光画像を先に撮影し、短露光画像を後に撮影してもよい。

【0075】

また、本発明の実施形態においては、フリッカを検出した領域には長露光画像を使用するとしたが、長露光画像が飽和している場合などには、ＷＤＲ効果が得られなくなる。したがって、フリッカを含む領域であっても短露光画像を使用したいケースがあることも考えられる。その場合は、フリッカ領域であると判定するための条件を弱めてもよいし、当該条件をなくして無条件に短露光画像を使用してもよい。これらはユーザによる選択に従って設定されてもよい。

【0076】

さらに、上記した特許文献１ないし特許文献３に記載された手法と本発明の実施形態に係る手法との比較結果をさらに詳細に述べる。

【0077】

特許文献１に記載された手法は、フリッカ検出を撮影前に行うものである。また、特許文献１に記載された手法においては、フリッカ検出のために数フレームを要することから、当該手法を動画撮影に適用すると撮影中にフリッカ光源が点灯開始または終了した場合には対応できない。また、フリッカの影響が少ないシャッタスピードにするということは、１／５０秒以下のシャッタスピードにするか、フリッカ源の周波数に同期させるかのどちらかである。しかし、短露光画像を撮影する際に、シャッタスピードを１／５０秒以下にしながらＩＳＯを下げても、通常はＩＳＯ１００程度が上限であり、すぐに飽和してしまって高輝度部を十分に捉えることができないケースが多くなってしまう。

【0078】

本発明の実施形態に係る手法は、上記した特許文献１に開示された手法と異なり、リアルタイムに処理を行うことが可能であるため、動画を対象とする場合にも適用可能である。また、本発明の実施形態に係る手法においては、撮影条件は全く影響を受けないため、ＷＤＲ性能低下がない点が優れている。

【0079】

特許文献２に記載された手法は、撮影画像からフリッカもしくは大きな動きを検出すると、複数枚ＷＤＲ合成画像の優先順位を下げ、短露光画像１枚に階調補正を行った画像を採用するようになりＷＤＲ効果が得られない。フリッカが画面の一部であっても画面全体でのＷＤＲ効果がなくなってしまうのは合理的ではない。

【0080】

本発明の実施形態に係る手法は、上記した特許文献２に開示された手法と異なり、撮影画像にフリッカが存在する場合と撮影画像にフリッカが存在しない場合とにおいて出力画像が変わるのはフリッカが検出された領域のみであり、その他の領域ではＷＤＲ効果が失われない点が優れている。

【0081】

特許文献３に記載された手法においては、フリッカが検出されなくなるまで何枚も撮影・加算を繰り返し行う必要がある。また、特許文献３に記載された手法においては、ＷＤＲ効果も複数フレーム加算によって得ており、レンジ拡大効果は小さい。

【0082】

本発明の実施形態に係る手法は、上記した特許文献３に開示された手法と比較して、ダイナミックレンジ拡大の効果が大きい点、フリッカを消すために何枚も撮影したりする必要がない点などが優れている。

【符号の説明】

【0083】

１０ ＷＤＲシステム（評価値算出装置）
１１０ センサ
１２１ 第１メモリ
１２２ 第２メモリ
１３０ 使用画像選択部
１３１ 混合比率算出部
１３２ 混合比率制御部
１４０ 合成部
１５０ 階調変換部
１６０ フリッカ検出部
１６１ 第１の算出部
１６３ 平均値算出部
１６２ 第２の算出部
１６４ 評価値算出部

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8A】

【図8B】

【図9】