特許 5949519 撮像装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5949519

(24)【登録日】2016年6月17日

(45)【発行日】2016年7月6日

(54)【発明の名称】撮像装置及び画像処理方法

(51)【国際特許分類】

   H04N 5/235 20060101AFI20160623BHJP

   H04N 5/232 20060101ALI20160623BHJP

   G03B 7/00 20140101ALI20160623BHJP

【ＦＩ】

   H04N5/235

   H04N5/232 Z

   G03B7/00

【請求項の数】9

【全頁数】20

(21)【出願番号】特願2012-274264(P2012-274264)

(22)【出願日】2012年12月17日

(65)【公開番号】特開2014-120906(P2014-120906A)

(43)【公開日】2014年6月30日

【審査請求日】2015年5月12日

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】100067828

【弁理士】

【氏名又は名称】小谷 悦司

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100118049

【弁理士】

【氏名又は名称】西谷 浩治

(72)【発明者】

【氏名】麻生 聡志

(72)【発明者】

【氏名】坪井 央樹

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２００８−１８７３９３（ＪＰ，Ａ）

【文献】 特開２００７−０７４１６３（ＪＰ，Ａ）

【文献】 特開平０３−２０１８７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０３Ｂ ７／００ − ７／３０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

画像データを取得する撮像部と、
所定の幾何変換処理が行われる前の前記画像データである変換前画像データから前記幾何変換処理の対象となる対象領域を設定する対象領域設定部と、
前記対象領域設定部により設定された前記対象領域の少なくとも一部を含む矩形状の領域を計算領域として前記変換前画像データに設定する計算領域設定部と、
前記計算領域設定部により設定された前記計算領域における輝度の代表値を算出する輝度算出部と、
前記変換前画像データに対して前記幾何変換処理を行う変換処理部とを含み、
前記計算領域は前記対象領域の外接矩形である撮像装置。

【請求項2】

前記計算領域設定部は、前記対象領域に対して更に内接矩形を設定し、前記外接矩形と前記内接矩形との面積の差が規定値以下の場合、前記内接矩形を前記計算領域として設定する請求項１記載の撮像装置。

【請求項3】

前記計算領域設定部は、前記対象領域の下辺が中心に向かうにつれて前記対象領域の上辺側に向かう形状を持つ場合、前記内接矩形を前記計算領域として設定する請求項２記載の撮像装置。

【請求項4】

前記計算領域設定部は、前記外接矩形の中央部の輝度と前記外接矩形の端部の輝度とに基づき、前記端部にスポット光が照射されているか否かを判定し、前記端部にスポット光が照射されていると判定した場合、前記内接矩形を前記計算領域として設定する請求項２又は３記載の撮像装置。

【請求項5】

前記計算領域設定部は、前記対象領域設定部により２つの前記対象領域が設定された場合、各対象領域に外接矩形を設定し、設定した２つの外接矩形に基づいて前記計算領域を設定する請求項１〜４のいずれかに記載の撮像装置。

【請求項6】

前記撮像部は、所定のフレームレートで前記画像データを取得し、
前記計算領域設定部は、２つの前記外接矩形を所定フレーム毎に交互に切り替えて前記計算領域を設定する請求項５記載の撮像装置。

【請求項7】

前記計算領域設定部は、２つの前記外接矩形において、一部の領域の輝度に基づき、いずれか一方の前記外接矩形にスポット光が照射されているか否かを判定し、前記一方の前記外接矩形にスポット光が照射されていると判定した場合、他方の前記外接矩形を前記計算領域として設定する請求項５記載の撮像装置。

【請求項8】

前記輝度算出部は、前記撮像部から前記変換前画像データを構成する画素データが１画素単位で入力され、
前記計算領域を指定する領域情報を保持するレジスタと、
前記変換前画像データの入力の開始タイミング及び終了タイミングを示すタイミング信号を生成するタイミングジェネレータとを更に含み、
前記計算領域設定部は、前記レジスタに保持された領域情報及び前記タイミング信号に基づき、前記計算領域の画素データが前記輝度算出部に入力されている入力期間を決定し、前記入力期間中、前記タイミング信号をイネーブル状態に設定し、輝度算出部に出力し、
前記輝度算出部は、イネーブル状態のタイミング信号が入力されている期間に入力される画素データを用いて前記代表値を算出する請求項１〜７のいずれかに記載の撮像装置。

【請求項9】

所定の幾何変換処理が行われる前の変換前画像データから前記幾何変換処理の対象となる対象領域を設定する対象領域設定ステップと、
前記対象領域設定ステップにより設定された前記対象領域の少なくとも一部を含む矩形状の領域を計算領域として前記変換前画像データに設定し、前記計算領域における輝度の代表値を算出する輝度算出ステップと、
前記変換前画像データに対して前記幾何変換処理を行う変換処理ステップとを含み、
前記計算領域は前記対象領域の外接矩形である画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像部により取得された画像データに対して画像処理を行う技術に関するものである。

【背景技術】

【0002】

撮像装置においては種々の要因により被写体が歪んで撮像されることがあるため、この歪みを補正する歪み補正処理が行われている。また、撮像装置においては、歪み補正処理以外にも撮像した画像データから被写体の輝度を算出し、露光時間や絞りを制御するＡＥ処理も行われている。

【0003】

ここで、歪み補正処理をＡＥ処理の前に行うと最終的に出力される画像データの色再現性が低下することがある。そこで、歪み補正処理をＡＥ処理の後で実行する撮像装置が提案されている。

【0004】

特許文献１には、レンズの光軸方向に沿って移動する被写体の被写体像の像面移動量から像倍率変化比率を算出し、像倍率変化比率に基づいて被写体の幾何学的な歪みを補正する撮像装置が開示されている。

【0005】

また、特許文献２には、撮像素子により撮像された映像信号に制御処理を施して被写体映像信号を生成し、生成した被写体映像信号に歪み補正処理を行う撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１０−２５８７００号公報

【特許文献2】特開２０１０−５６７３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１、２のいずれにも歪んだ画像データから被写体の平均輝度を算出するに際し、処理負担やメモリ消費量の抑制を目的として平均輝度の算出領域を最適化することが全く開示されていない。したがって、特許文献１、２の手法では、歪んだ画像データから被写体の平均輝度を算出するに際し、処理負担及びメモリ消費量が増大するという問題がある。

【0008】

本発明の目的は、幾何変換処理を行う前に幾何変換処理の対象となる対象領域の輝度の代表値を算出する撮像装置において、輝度の代表値を算出する際の処理負担及びメモリ消費量を低下させることができる技術を提供することである。

【課題を解決するための手段】

【0009】

本発明の一態様による撮像装置は、画像データを取得する撮像部と、所定の幾何変換処理が行われる前の前記画像データである変換前画像データから前記幾何変換処理の対象となる対象領域を設定する対象領域設定部と、前記対象領域設定部により設定された前記対象領域の少なくとも一部を含む矩形状の領域を計算領域として前記変換前画像データに設定する計算領域設定部と、前記計算領域設定部により設定された前記計算領域における輝度の代表値を算出する輝度算出部と、前記変換前画像データに対して前記幾何変換処理を行う変換処理部とを含み、前記計算領域は前記対象領域の外接矩形である。

【0010】

この構成によれば、幾何変換処理が行われる前の変換前画像データから対象領域が設定され、その対象領域の少なくとも一部を含む矩形状の領域が計算領域として設定される。つまり、幾何変換処理が行われる前の複雑な形状を持つ対象領域がそのまま計算領域として設定されるのではなく、矩形状に簡略化された領域が計算領域として設定される。そのため、計算領域の形状が単純化され、計算領域における輝度の代表値を算出する際の処理負担を低下させることができる。また、計算領域が矩形状であるため、４つの頂点の座標データが分かれば計算領域を特定でき、計算領域を保持するためのメモリの消費量を低下させることができる。

【0012】

この構成によれば、対象領域の外接矩形が計算領域として設定されるため、比較的少ない処理量で変換前画像データに計算領域を設定することができる。

【0013】

前記計算領域設定部は、前記対象領域に対して更に内接矩形を設定し、前記外接矩形と前記内接矩形との面積の差が規定値以下の場合、前記内接矩形を前記計算領域として設定することが好ましい。

【0014】

この構成によれば、対象領域の内接矩形と外接矩形との面積の差が小さい場合、内接矩形には対象領域の多くの領域が含まれることになるため、内接矩形が計算領域として設定される。これにより、計算領域の面積が減少し、輝度の代表値を算出する際の処理負担を低下させることができる。一方、内接矩形と外接矩形との面積の差が大きく、対象領域の多くの領域が内接矩形からはみ出してしまう場合、外接矩形が計算領域として設定される。そのため、対象領域の輝度を精度良く示す代表値を求めることができる。

【0015】

前記計算領域設定部は、前記対象領域の下辺が中心に向かうにつれて前記対象領域の上辺側に向かう形状を持つ場合、前記内接矩形を前記計算領域として設定することが好ましい。

【0016】

この構成によれば、対象領域が円筒型や三面鏡型を持つ場合において、内接矩形が計算領域として設定される。そのため、計算領域の面積が減少し、輝度の代表値を算出する際の処理負担を低下させることができる。

【0017】

前記計算領域設定部は、前記外接矩形の中央部の輝度と前記外接矩形の端部の輝度とに基づき、前記端部にスポット光が照射されているか否かを判定し、前記端部にスポット光が照射されていると判定した場合、前記内接矩形を前記計算領域として設定することが好ましい。

【0018】

この構成によれば、外接矩形の端部において、高輝度のスポット光が照射されている場合、内接矩形が計算領域として設定される。そのため、対象領域の輝度を正確に表す代表値を求めことができる。

【0019】

前記計算領域設定部は、前記対象領域設定部により２つの前記対象領域が設定された場合、各対象領域に外接矩形を設定し、設定した２つの外接矩形に基づいて前記計算領域を設定することが好ましい。

【0020】

この構成によれば、２つの対象領域が設定された場合において、計算領域を容易に特定することができる。

【0021】

前記撮像部は、所定のフレームレートで前記画像データを取得し、前記計算領域設定部は、２つの前記外接矩形を所定フレーム毎に交互に切り替えて前記計算領域を設定することが好ましい。

【0022】

変換前画像データに２つの対象領域が含まれている場合、必ずしも２つの領域の輝度代表値を個別に算出する必要はなく、いずれか一方の代表値を求めれば十分の場合もある。この場合において、本構成によれば、１つの対象領域の外接矩形のみが計算領域として設定されるため、処理負担を低下させることができる。

【0023】

一方、２つの対象領域のうち、１方の対象領域の外接矩形のみを計算領域として設定してしまうと、他方の対象領域の方が重要である場合、重要な方の対象領域の輝度の代表値を求めることができなくなる。本構成によれば、２つの外接矩形が所定フレーム毎に切り替えられているため、両対象領域の輝度の代表値をバランスよく求めることができる。また、２つの外接矩形の切り替えが所定フレーム毎に自動的に行われているため、処理負担の更なる低下を図ることができる。

【0024】

前記計算領域設定部は、２つの前記外接矩形において、一部の領域の輝度に基づき、いずれか一方の前記外接矩形にスポット光が照射されているか否かを判定し、前記一方の前記外接矩形にスポット光が照射されていると判定した場合、他方の前記外接矩形を前記計算領域として設定することが好ましい。

【0025】

この構成によれば、２つの外接矩形のうちスポット光が照射されていない外接矩形が計算領域として設定されるため、対象領域の輝度の代表値を正確に求めることができる。

【0026】

前記輝度算出部は、前記撮像部から前記変換前画像データを構成する画素データが１画素単位で入力され、前記計算領域を指定する領域情報を保持するレジスタと、前記変換前画像データの入力の開始タイミング及び終了タイミングを示すタイミング信号を生成するタイミングジェネレータとを更に含み、前記計算領域設定部は、前記レジスタに保持された領域情報及び前記タイミング信号に基づき、前記計算領域の画素データが前記輝度算出部に入力されている入力期間を決定し、前記入力期間中、前記タイミング信号をイネーブル状態に設定し、輝度算出部に出力し、前記輝度算出部は、イネーブル状態のタイミング信号が入力されている期間に入力される画素データを用いて前記代表値を算出することが好ましい。

【0027】

この構成によれば、変換前画像データを構成する画素データが１画素ずつ輝度算出部に入力される。そして、計算領域の入力タイミングになると計算領域設定部からイネーブル状態のタイミング信号が輝度算出部に入力される。したがって、輝度算出部はイネーブル状態のタイミング信号が入力されている期間に入力される画素データを、計算領域を構成する画素データとして判定することができる。そのため、輝度算出部は、容易且つ正確に計算領域を特定し、対象領域の輝度の代表値を算出することができる。

【発明の効果】

【0028】

本発明によれば、幾何変換処理を行う前に幾何変換処理対象となる対象領域の輝度の代表値を算出する撮像装置において、輝度の代表値を算出する際の処理負担及びメモリ消費量を低下させることができる。

【図面の簡単な説明】

【0029】

【図1】本発明の実施の形態による撮像装置のブロック図である。

【図2】対象領域設定部に入力される変換前画像データの模式図である。

【図3】計算領域設定部が外接矩形を計算領域として設定する際の模式図である。

【図4】計算領域設定部が内接矩形を計算領域として設定する際の模式図である。

【図5】計算領域設定部による計算領域の設定手法の一例を示す模式図である。

【図6】対象領域が円筒型の場合の変換前画像データを示した図である。

【図7】対象領域が三面鏡型の場合の変換前画像データを示した図である。

【図8】対象領域が椀型の場合の変換前画像データを示した図である。

【図9】計算領域設定部が計算領域を設定する際の処理を示すフローチャートである。

【図10】計算領域設定部が余剰領域にスポット光が照射されているか否かを判定する際の処理を示す模式図である。

【図11】対象領域が円筒型の場合において、外接矩形の端部にスポット光が照射されているか否かを判定する手法を示す模式図である。

【図12】対象領域が三面鏡型の場合において、外接矩形の端部にスポット光が照射されているか否かを判定する手法を示す模式図である。

【図13】対象領域が扇型の場合において、外接矩形の端部にスポット光が照射されているか否かを判定する他の手法を示した模式図である。

【図14】２つの対象領域を含む変換前画像データを示す模式図である。

【図15】変換前画像データにおいて対象領域の輝度を算出する際に不要となる領域を示した模式図である。

【図16】２つの対象領域が変換前画像データに現れた場合に設定される２つの計算領域を示す模式図である。

【図17】計算領域を所定フレーム毎に切り替える態様を採用した場合において、計算領域が設定される様子を示した模式図である。

【図18】歪み補正処理の様子を示す模式図である。

【図19】歪み補正処理を行う前にＡＥ処理を行う手法を採用した場合において、対象領域の輝度の代表値を算出する様子を示す模式図である。

【図20】カラーチャートに対して歪み補正処理を行った場合の模式図である。

【図21】歪み補正処理を行う前にＡＥ処理を行う手法を採用した場合の課題を説明する図である。

【図22】歪み補正処理を行う前にＡＥ処理を行う手法を採用した場合の課題を説明する図である。

【図23】細かな矩形状のブロックが設定された変換前画像データを示した図である。

【図24】細かな矩形状のブロックに基づいて計算領域が設定された変換前画像データを示した図である。

【発明を実施するための形態】

【0030】

（本発明に至った経緯）
図１８は、歪み補正処理の様子を示す模式図である。図１８において、左側の図は歪み補正処理が行われる前の変換前画像データＰ２０であり、右側の図は歪み補正処理が行われた後の変換後画像データＰ３０である。歪み補正処理では、変換前画像データＰ２０から歪み補正処理の対象となる対象領域Ｄ２０が設定され、設定された対象領域が矩形状に引き延ばされ、歪みが除去された変換後画像データＰ３０が生成される。

【0031】

図２０は、カラーチャートに対して歪み補正処理を行った場合の模式図である。このカラーチャートは、４行×６列で複数の色ブロックが配列されている。図２０において、左側の図は歪み補正処理が行われる前の変換前画像データＰ２０であり、右側の図は歪み補正処理が行われた後の変換後画像データＰ３０である。図２０ではカラーチャートが中心に向かうにつれて面積が大きく、端に向かうにつれて面積が小さくなるように楕円状に歪んで撮像されている。

【0032】

変換前画像データＰ２０に対して歪み補正処理を行うと変換後画像データＰ３０が得られる。変換後画像データＰ３０では、カラーチャートが矩形状に変形され、歪みが除去されていることが分かる。

【0033】

撮像装置では、画像データに含まれる対象領域Ｄ２０の輝度の代表値（例えば、輝度の平均値）が算出され、その代表値から対象領域Ｄ２０の明るさが評価され、露光時間や絞りを調整するＡＥ処理が行われる。変換前画像データＰ２０には対象領域Ｄ２０が歪んで現れているため、対象領域Ｄ２０を構成する全画素データを用いて対象領域Ｄ２０の輝度を算出するのは手間がかかる。

【0034】

そこで、まず、変換前画像データＰ２０に対して歪み補正処理を行って、対象領域Ｄ２０を矩形状に変形させた後、対象領域Ｄ２０の輝度を算出する手法が提案されている。

【0035】

しかしながら、この手法では、変換前画像データＰ２０が例えばＲＧＢベイヤー配列の画像データである場合、色再現性が低下するという課題があった。そこで、歪み補正処理を行う前に対象領域Ｄ２０を設定して対象領域Ｄ２０の輝度の代表値を算出し、ＡＥ処理を行う手法が提案されている。

【0036】

図１９は、歪み補正処理を行う前にＡＥ処理を行う手法を採用した場合において、対象領域Ｄ２０の輝度の代表値を算出する様子を示す模式図である。この手法を採用した場合、対象領域Ｄ２０の全域から輝度の代表値を算出すると処理負担が増大する。そこで、従来では、図１９に示すように、変換前画像データＰ２０を例えば２行×３列程度の複数の矩形状のブロックに分割し、対象領域Ｄ２０を多く含む１つのブロックを抽出し、抽出したブロックの輝度の代表値が算出されていた。

【0037】

図２１及び図２２は、歪み補正処理を行う前にＡＥ処理を行う手法を採用した場合の課題を説明する図である。変換前画像データＰ２０に含まれる対象領域Ｄ２０の形状としては、撮像装置の使用態様や光学系の歪みや被写体の形状等に応じて種々の形状が存在する。

【0038】

例えば、撮像装置を自動車のフロントガラスに搭載し、前方の自動車を撮像する場合、図２１に示すように、変換前画像データＰ２０には前方の自動車が扇状に歪んで現れることがある。また、撮像装置を広角カメラで構成して自動車の先頭に取り付け、自動車の進行方向と直行する方向に位置する自動車を撮像する場合、図２２に示すように、変換前画像データＰ２０には、２つの台形の対象領域Ｄ２０が設定されることがある。

【0039】

これらに示すように、対象領域Ｄ２０が矩形のような単純な形状ではなく、歪んだ形状を持つ場合、変換前画像データＰ２０において、対象領域Ｄ２０が複数のブロックに跨ってしまう。この場合、変換前画像データＰ２０からある１つのブロックを抽出し、対象領域Ｄ２０の輝度の代表値を算出したとしても、そのブロックには対象領域Ｄ２０の一部の領域しか含まれていないことに加えて、対象領域Ｄ２０の背景部分が多く含まれるため、対象領域Ｄ２０の輝度の代表値を正確に算出できないという課題がある。

【0040】

そこで、図２３、図２４に示す手法も提案されている。図２３は、細かな矩形状のブロックが設定された変換前画像データＰ２０を示した図である。図２４は、細かな矩形状のブロックに基づいて計算領域Ｒ２４０が設定された変換前画像データＰ２０を示した図である。

【0041】

この手法では、まず、図２３に示すように、変換前画像データＰ２０が細かな矩形状のブロックに区画される。次に、図２４に示すように、対象領域Ｄ２０が存在するブロックが抽出され、抽出された複数のブロックが計算領域Ｒ２４０として設定される。

【0042】

図２４に示すように計算領域Ｒ２４０は、対象領域Ｄ２０に比べて単純化されているが、矩形まで単純化されていないため、この形状を保存するには、各頂点の座標データを記憶するための多量のレジスタが必要となる。その結果、撮像装置の回路規模が増大するという課題がある。

【0043】

そこで、本実施の形態の撮像装置では、幾何変換処理を行う前に幾何変換処理の対象となる対象領域Ｄ２０の輝度の代表値を算出する撮像装置において、輝度の代表値を算出する際の処理負担及びメモリ消費量を低下させることを目的とする。

【0044】

（実施の形態）
図１は、本発明の実施の形態による撮像装置のブロック図である。なお、図１において、太線は画像データの流れを示し、細線は制御信号の流れを示す。この撮像装置は例えば移動体等に車載センサとして搭載される。但し、これは一例であり、携帯端末に搭載されてもよいし、デジタルスチルカメラに搭載されてもよいし、デジタルムービーカメラに搭載されてもよい。撮像装置は、撮像部１００、対象領域設定部２００、前処理部３００、タイミングジェネレータ（ＴＧ）４００、変換処理部５００、及び出力部６００を含む。撮像部１００は、イメージセンサと、被写体からの光をイメージセンサに導く光学系と、イメージセンサに入射する光量を調整する絞りと、絞り及びイメージセンサを制御する撮像制御部等を含む。イメージセンサとしては、例えば、所定行×所定列で複数の画素が配列されたＣＭＯＳやＣＣＤのイメージセンサが採用される。また、イメージセンサは、例えば、Ｒ、Ｇ、Ｂの色フィルタがベイヤー配列で配列されたカラー画像を撮像するイメージセンサであってもよいし、モノクロの画像データを撮像するイメージセンサであってもよい。本実施の形態では、撮像部１００は、所定のフレームレートで動画を撮像する。また、本実施の形態では、撮像部１００は、ローリングシャッタ方式で被写体を撮像する。

【0045】

対象領域設定部２００は、撮像部１００で撮像された画像データであって、変換処理部５００により幾何変換処理が行われる前の画像データである変換前画像データから幾何変換処理の対象となる対象領域を設定する。ここで、対象領域としては、所定の被写体が現れた領域を採用することができる。所定の被写体としては、種々の物体が採用されるが、本撮像装置が自動車に搭載されるのであれば、例えば自動車や人物を採用することができる。

【0046】

対象領域設定部２００が被写体の現れた領域を対象領域として設定する手法としては、特に限定はされないが、例えば、以下の手法を採用すればよい。対象領域設定部２００は、変換前画像データからエッジ抽出処理を行い、抽出したエッジに取り囲まれた領域であって、予め定められた形状を持つ領域を対象領域として設定すればよい。或いは、対象領域設定部２００は、設定対象となる被写体の画像をテンプレートとして予め保持しておき、このテンプレートと変換前画像データとを比較し、テンプレートマッチングを実行することにより対象領域を設定してもよい。なお、対象領域設定部２００が設定する対象領域は歪んだ形状を持つため、テンプレートマッチングを行う場合、対象領域設定部２００は、この歪みが考慮されたテンプレートを保持しておけばよい。

【0047】

なお、対象領域設定部２００は、変換前画像データをディスプレイ（出力部６００）に表示させ、操作部（図略）を用いてユーザに任意の領域を指定させ、その領域を対象領域として設定してもよい。この場合、対象領域設定部２００は、例えば、対象領域の頂点の座標をマウス等を使ってユーザに入力させ、入力された頂点を直線又は曲線で繋ぐことで対象領域を設定すればよい。

【0048】

前処理部３００は、変換処理部５００による幾何変換処理に先だって変換前画像データに対して画像処理を行う。前処理部３００は、ＡＥ（Automatic Exposure）処理部３１０及びＤＲＣ（dynamic range compression）処理部３２０を含む。ＡＥ処理部３１０は、撮像部１００が露光時間や絞りを決定するための評価値を算出し、撮像部１００に供給する。また、ＡＥ処理部３１０は、計算領域設定部３１１、輝度算出部３１２、及びレジスタ３１３を含む。

【0049】

計算領域設定部３１１は、対象領域設定部２００により設定された対象領域の少なくとも一部を含む矩形状の領域を計算領域として変換前画像データに設定する。本実施の形態では、計算領域設定部３１１は、変換前画像データに設定した計算領域を示す領域情報をレジスタ３１３に書き込む。なお、領域情報としては、計算領域の４つの頂点の座標データを採用することができる。

【0050】

輝度算出部３１２は、計算領域設定部３１１により設定された計算領域における輝度の代表値を算出する。輝度の代表値としては、計算領域における輝度の平均値が採用されてもよいし、計算領域における輝度の中央値が採用されてもよい。いずれにせよ、輝度の代表値としては対象領域の明るさを示す値であればどのような値を採用してもよい。また、輝度の代表値が上記の評価値となる。

【0051】

ＤＲＣ処理部３２０は、変換前画像データのダイナミックレンジを圧縮する。具体的には、ＤＲＣ処理部３２０は以下のようにしてダイナミックレンジを圧縮する。まず、ＤＲＣ処理部３２０は、変換前画像データから照明成分を抽出すると共に、変換前画像データから反射率成分を抽出する。次に、ＤＲＣ処理部３２０は、照明成分を所定の圧縮特性を用いて圧縮する。次に、ＤＲＣ処理部３２０は、圧縮した照明成分と、反射率成分とを合成する。これにより、照明成分が除去され、被写体が高ダイナミックレンジで表された画像データが得られる。

【0052】

タイミングジェネレータ（以下、「ＴＧ」と記述する。）４００は、１枚の変換画像データの入力の開始タイミングと入力の終了タイミングとを示すタイミング信号ＳＧ１を生成し、計算領域設定部３１１に出力する。また、ＴＧ４００は撮像装置を構成する各ブロックの動作を同期させるための信号を生成し、各ブロックに供給する。なお、ＴＧ４００は、開始タイミングから終了タイミングまでの期間、タイミング信号をイネーブル状態にすることで、開始タイミング及び終了タイミングに関する情報をタイミング信号に含ませる。イネーブル状態は、例えばタイミング信号のレベルをハイレベルにすることで実現され、非イネーブル状態は、例えばタイミング信号のレベルをローレベルにすることで実現される。但し、このイネーブル状態の関係は逆であってもよい。

【0053】

変換処理部５００は、変換前画像データに対して幾何変換処理を行う。幾何変換処理としては、例えば、歪み補正処理が採用される。但し、これは一例であり、例えばテクスチャマッピングを行う際に行われるアフィン変換を幾何変換処理として採用してもよい。具体的には、変換処理部５００は、幾何変換処理前の各画素の座標データと幾何変換処理後の各画素の座標データとの関係が予め対応付けられたＬＵＴや関数を保持しておき、このＬＵＴや関数を用いて幾何変換処理を行えばよい。

【0054】

また、変換処理部５００は、特許文献１に記載されているように、１フレーム期間における被写体の移動速度である像面移動速度に基づいて、歪み補正処理を行ってもよい。或いは、変換処理部５００は像面移動速度に基づいてＬＵＴを補正し、補正後のＬＵＴを用いて歪み補正処理を行ってもよい。

【0055】

出力部６００は、例えば、液晶パネル等の表示装置により構成され、変換処理部５００により幾何変換処理が行われた画像データである変換後画像データを表示する。なお、出力部６００は、変換後画像データを外部の装置に送信する通信装置で構成してもよいし、変換後画像データを画像メモリに書き込む書き込み装置であってもよい。

【0056】

図２は、対象領域設定部２００に入力される変換前画像データＰ２０の模式図である。変換前画像データＰ２０には対象領域Ｄ２０が設定されている。図２において、変換前画像データＰ２０は、左下の頂点に原点が設定され、垂直方向にＹ軸が設定され、水平方向にＸ軸が設定され、各位置が（Ｘ、Ｙ）で表される２次元の画像データである。なお、本明細書において示される画像データは全て図２と同じ座標系で表されるものとする。

【0057】

対象領域Ｄ２０は、下側に向けて拡がった扇状の形状を持っており、被写体が歪んで撮像されていることが分かる。ここで、被写体が歪んで撮像される要因としては、例えば、撮像部１００がローリングシャッタ方式で被写体を撮像することや、撮像部１００を構成する光学系の歪み等が挙げられる。ローリングシャッタ方式では、例えば、上側の行から下側の行に向かうにつれて、順次、露光期間がずらされて被写体が撮像される。そのため、被写体が撮像部１００に急速に近づいたような場合、図２に示すように被写体は下側に向けて拡がって撮像される。なお、図２の例で扇状になっているのは光学系の歪みの影響による。

【0058】

図３は、計算領域設定部３１１が外接矩形Ｒ３０を計算領域として設定する際の模式図である。図３に示すように、計算領域設定部３１１は、対象領域Ｄ２０の外接矩形Ｒ３０を計算領域として設定する。ここで、計算領域設定部３１１は、対象領域Ｄ２０の上辺Ｋ１のＹ座標の最大値（Ｋ１＿Ｙｍａｘ）を探索する。次に、計算領域設定部３１１は、最大値（Ｋ１＿Ｙｍａｘ）をＹ座標の値として持つＸ軸と平行な直線Ｌ１を設定する。次に、計算領域設定部３１１は、対象領域Ｄ２０の左辺Ｋ２のＸ座標の最小値（Ｋ２＿Ｘｍｉｎ）を探索する。次に、計算領域設定部３１１は、最小値（Ｋ２＿Ｘｍｉｎ）をＸ座標の値として持つＹ軸と平行な直線Ｌ２を設定する。

【0059】

次に、計算領域設定部３１１は、対象領域Ｄ２０の右辺Ｋ３のＸ座標の最大値（Ｋ３＿Ｘｍａｘ）を探索する。次に、計算領域設定部３１１は、最大値（Ｋ３＿Ｘｍａｘ）をＸ座標の値として持つＹ軸と平行な直線Ｌ３を設定する。次に、計算領域設定部３１１は、対象領域Ｄ２０の下辺Ｋ４のＹ座標の最小値（Ｋ４＿Ｙｍｉｎ）を探索する。次に、計算領域設定部３１１は、最小値（Ｋ４＿Ｙｍｉｎ）をＹ座標の値として持つＸ軸と平行な直線Ｌ４を設定する。そして、計算領域設定部３１１は、直線Ｌ１〜Ｌ４の４本の直線で取り囲まれる領域を外接矩形Ｒ３０として設定する。

【0060】

また、計算領域設定部３１１は、対象領域Ｄ２０の内接矩形を計算領域として設定してもよい。図４は、計算領域設定部３１１が内接矩形Ｒ４０を計算領域として設定する際の模式図である。この場合、計算領域設定部３１１は、まず、対象領域Ｄ２０の上辺Ｋ１のＹ座標の最小値（Ｋ１＿Ｙｍｉｎ）を探索する。次に、計算領域設定部３１１は、対象領域Ｄ２０の左辺Ｋ２においてＹ＝Ｋ１＿Ｙｍｉｎとなる点を探索し、その点のＸ座標の値（Ｘ＝Ｋ２＿Ｘ１）を求める。これにより、頂点ａ（Ｋ２＿Ｘ１、Ｋ１＿Ｙｍｉｎ）が求まる。次に、計算領域設定部３１１は、対象領域Ｄ２０の右辺Ｋ３においてＹ＝Ｋ１＿Ｙｍｉｎとなる点を探索し、その点のＸ座標の値（Ｘ＝Ｋ３＿Ｘ１）を求める。これにより、頂点ｂ（Ｋ３＿Ｘ１、Ｋ１＿Ｙｍｉｎ）が求まる。

【0061】

次に、計算領域設定部３１１は、対象領域Ｄ２０の下辺Ｋ４において、頂点ａのＸ座標の値（Ｘ＝Ｋ２＿Ｘ１）を持つ点を探索し、その点のＹ座標の値（Ｙ＝Ｋ４＿Ｙ１）を求める。これにより、頂点ｃ（Ｋ２＿Ｘ１、Ｋ４＿Ｙ１）が求まる。次に、計算領域設定部３１１は、下辺Ｋ４において、頂点ｂのＸ座標の値（Ｘ＝Ｋ３＿Ｘ１）を持つ点を探索し、その点のＹ座標の値（Ｙ＝Ｋ４＿Ｙ１）を求める。これにより、頂点ｄ（Ｋ３＿Ｘ１、Ｋ４＿Ｙ１）が求まる。次に、計算領域設定部３１１は、頂点ａ、ｂ、ｃ、ｄを頂点とする四角形を対象領域Ｄ２０の内接矩形Ｒ４０として設定する。

【0062】

図５は、計算領域設定部３１１による計算領域の設定手法の一例を示す模式図である。内接矩形Ｒ４０を計算領域として設定した場合、外接矩形Ｒ３０と内接矩形Ｒ４０との面積の差が増大するにつれて、対象領域Ｄ２０において計算領域に含まれない領域が増大する。この場合、対象領域Ｄ２０において計算領域が占める割合が低下し、対象領域Ｄ２０の輝度を正確に特定できない可能性がある。

【0063】

そこで、計算領域設定部３１１は、外接矩形Ｒ３０と内接矩形Ｒ４０との面積の差が規定値より大きい場合、外接矩形Ｒ３０を計算領域として設定してもよい。

【0064】

但し、外接矩形Ｒ３０を計算領域として設定した場合において内接矩形Ｒ４０を取り除いた余剰領域Ｒ５０に極端に明るい光源からのスポット光が照射されている場合、このスポット光の影響を受けて対象領域Ｄ２０の輝度を正確に特定することができない。

【0065】

そこで、計算領域設定部３１１は、外接矩形Ｒ３０と内接矩形Ｒ４０との面積の差が規定値よりも大きい場合、更に余剰領域Ｒ５０にスポット光が照射されているか否かを判定し、スポット光が照射されていると判定した場合、内接矩形Ｒ４０を計算領域として設定すればよい。規定値としては、例えば、外接矩形Ｒ３０の例えば、１／２や、１／３といった値が採用される。

【0066】

図１０は、計算領域設定部３１１が余剰領域Ｒ５０にスポット光が照射されているか否かを判定する際の処理を示す模式図である。まず、計算領域設定部３１１は、外接矩形Ｒ３０の４隅に一定の面積を持つ領域Ｃ１３１を設定すると共に、外接矩形Ｒ３０の中心に一定の面積を持つ領域Ｃ１３２を設定する。ここで、領域Ｃ１３１の面積としては、余剰領域５０内に収まる程度の値が採用される。また、領域Ｃ１３２の面積としては、内接矩形Ｒ４０よりも大幅に小さな値が採用され、例えば、内接矩形Ｒ４の１／１０、１／２０、・・・、１／５０、・・・、１／１００程度の値が採用される。

【0067】

次に、計算領域設定部３１１は、４つの領域Ｃ１３１の輝度の平均値を求めると共に、領域Ｃ１３２の輝度の平均値を求める。次に、計算領域設定部３１１は、領域Ｃ１３１の輝度の平均値から領域Ｃ１３２の輝度の平均値を差し引いた値が所定の閾値より大きければ、余剰領域Ｒ５０にスポット光が照射されていると判定する。そして、計算領域設定部３１１は、余剰領域Ｒ５０にスポット光が照射されていると判定した場合、内接矩形Ｒ４０を計算領域として設定する。なお、計算領域設定部３１１は、余剰領域Ｒ５０にスポット光が照射されているか否かを判定するにあたり、４つの領域Ｃ１３１を用いたが、これは一例にすぎず、４つの領域Ｃ１３１のうち、１つ、２つ、又は３つの領域を用いてスポット光の有無を判定してもよい。

【0068】

上述した計算領域設定部３１１の処理を纏めると以下のようになる。図９は、計算領域設定部３１１が計算領域を設定する際の処理を示すフローチャートである。まず、計算領域設定部３１１は、外接矩形Ｒ３０の面積から内接矩形Ｒ４０の面積を差し引いた差分値を求め、その差分値が規定値より大きいか否かを判定する（Ｓ６０１）。差分値が規定値より大きい場合（Ｓ６０１でＹＥＳ）、計算領域設定部３１１は、余剰領域Ｒ５０にスポット光が照射されているか否かを判定する（Ｓ６０２）。余剰領域Ｒ５０にスポット光が照射されていないと判定した場合（Ｓ６０２でＮＯ）、計算領域設定部３１１は、外接矩形Ｒ３０を計算領域として設定する（Ｓ６０３）。

【0069】

一方、差分値が規定値以下の場合（Ｓ６０１でＮＯ）、計算領域設定部３１１は、内接矩形Ｒ４０を計算領域として設定する（Ｓ６０４）。また、余剰領域Ｒ５０にスポット光が照射されていると判定した場合（Ｓ６０２でＹＥＳ）、計算領域設定部３１１は、内接矩形Ｒ４０を計算領域として設定する（Ｓ６０４）。

【0070】

次に、対象領域設定部２００が設定する対象領域の形状の他の例について説明する。図６は、対象領域Ｄ２０が円筒型の場合の変換前画像データＰ２０を示した図である。図７は、対象領域Ｄ２０が三面鏡型の場合の変換前画像データＰ２０を示した図である。図８は、対象領域Ｄ２０が椀型の場合の変換前画像データＰ２０を示した図である。円筒型、三面鏡型、及び椀型とも、線対称な形状を持つ。

【0071】

図６に示すように、円筒型は、上辺Ｋ１及び下辺Ｋ４が中心に向かうにつれてＹ座標の値が楕円状に増大する形状を持ち、左辺Ｋ２及び右辺Ｋ３がＹ軸と平行な形状を持っている。

【0072】

図７に示すように、三面鏡型は、上辺Ｋ１及び下辺Ｋ４がそれぞれ辺Ｋ１１、Ｋ１２、Ｋ１３で構成され、左辺Ｋ２及び右辺Ｋ３がＹ軸と平行な形状を持っている。辺Ｋ１１はＸ座標の値が増大するにつれてＹ座標の値が増大する直線形状を持つ。辺Ｋ１２はＸ座標と平行な直線形状を持つ。辺Ｋ１３は、Ｘ座標の値が増大するにつれてＹ座標の値が減少する直線形状を持つ。

【0073】

図８に示すように椀型は、上辺Ｋ１が中心に向かうにつれてＹ座標の値が楕円状に増大する形状を持ち、下辺Ｋ４が中心に向かうにつれてＹ座標の値が楕円状に減少する形状を持ち、左辺Ｋ２及び右辺Ｋ３がＹ軸と平行な形状を持っている。

【0074】

対象領域Ｄ２０が円筒型、三面鏡型、及び椀型の形状を持つ場合、計算領域設定部３１１は、内接矩形Ｒ４０を計算領域として設定する。

【0075】

具体的には、計算領域設定部３１１は、下辺Ｋ４の左端のＹ座標の値（Ｙ１ｓｔ）が下辺Ｋ４の中心のＹ座標の値（Ｙｃｅｎ）を探索し、Ｙ１ｓｔ＜Ｙｃｅｎの場合、円筒型又は三面鏡型と判定する。円筒型又は三面鏡型の場合、計算領域設定部３１１は、下辺Ｋ４において、Ｙ座標の最大値（Ｋ４＿Ｙｍａｘ）を探索し、左辺Ｋ２においてＹ＝Ｋ４＿Ｙｍａｘとなる点を探索し、その点のＸ座標の値（Ｘ＝Ｋ２＿Ｘ１）を求める。これにより、頂点ｃ（Ｋ２＿Ｘ１、Ｋ４＿Ｙｍａｘ）が求まる。次に、計算領域設定部３１１は、右辺Ｋ３において、Ｙ＝Ｋ４＿ＹｍａｘをＹ座標の値として持つ点を探索し、その点のＸ座標の値（Ｘ＝Ｋ３＿Ｘ１）を求める。これにより、頂点ｄ（Ｋ３＿Ｘ１、Ｋ４＿Ｙｍａｘ）が求まる。

【0076】

次に、計算領域設定部３１１は、上辺Ｋ１の左端を頂点ａ、上辺Ｋ１の右端を頂点ｂとし、頂点ａ、ｂ、ｃ、ｄで囲まれる領域を内接矩形Ｒ４０として設定する。

【0077】

一方、椀型の場合、計算領域設定部３１１は、上辺Ｋ１の左端を頂点ａ、上辺Ｋ１の右端を頂点ｂ、下辺Ｋ４の左端を頂点ｃ、下辺Ｋ４の右端を頂点ｄとし、頂点ａ、ｂ、ｃ、ｄで囲まれる領域を内接矩形Ｒ４０として設定する。なお、計算領域設定部３１１は、Ｙ１ｓｔ＞Ｙｃｅｎの場合、上辺Ｋ１が上に凸であれば椀型、上辺Ｋ１が下に凸であれば図２に示す扇形と判定すればよい。

【0078】

なお、上記説明では、対象領域Ｄ２０が円筒型、三面鏡型、又は椀型の場合、計算領域設定部３１１は、内接矩形Ｒ４０を設定するとしたが、これに限定されず、外接矩形Ｒ３０の面積から内接矩形Ｒ４０の面積を差し引いた値が規定値より大きければ、外接矩形Ｒ３０を計算領域として設定してもよい。そして、この場合、計算領域設定部３１１は、外接矩形Ｒ３０の端部にスポット光が照射されていれば、内接矩形Ｒ４０を計算領域として設定し、外接矩形の端部にスポット光が照射されていなければ、外接矩形Ｒ３０を計算領域として設定してもよい。

【0079】

図１１は、対象領域Ｄ２０が円筒型の場合において、外接矩形Ｒ３０の端部にスポット光が照射されているか否かを判定する手法を示す模式図である。この場合、計算領域設定部３１１は、外接矩形Ｒ３０の上側の２隅に領域Ｃ１３１を設定すると共に、外接矩形Ｒ３０の下辺に沿うように細長い１つの領域Ｃ１３１を設定する。また、計算領域設定部３１１は、外接矩形Ｒ３０の中心に領域Ｃ１３２を設定する。そして、計算領域設定部３１１は、３つの領域Ｃ１３１の輝度の平均値から領域Ｃ１３２の輝度の平均値を差し引いた値が所定の閾値より大きければ、外接矩形Ｒ３０の端部にスポット光が照射されていると判定する。

【0080】

図１２は、対象領域Ｄ２０が三面鏡型の場合において、外接矩形Ｒ３０の端部にスポット光が照射されているか否かを判定する手法を示す模式図である。この場合も、計算領域設定部３１１は、円筒型の場合と同様、外接矩形Ｒ３の端部に３つの領域Ｃ１３１を設定すると共に、外接矩形Ｒ３０の中心に領域Ｃ１３２を設定する。そして、計算領域設定部３１１は、３つの領域Ｃ１３１の輝度の平均値から領域Ｃ１３２の輝度の平均値を差し引いた値が閾値より大きければ、外接矩形Ｒ３０の端部にスポット光が照射されていると判定すればよい。

【0081】

図１３は、対象領域Ｄ２０が扇型の場合において、外接矩形Ｒ３０の端部にスポット光が照射されているか否かを判定する他の手法を示した模式図である。この場合、計算領域設定部３１１は、外接矩形Ｒ３０から内接矩形Ｒ４０を取り除いた外枠領域Ｒ１３を設定し、外枠領域Ｒ１３を８分割し、８個の領域Ｒ１３１を設定する。ここで、領域１３１は、外枠領域Ｒ１３を内接矩形Ｒ４０の上下左右の４辺で区画することで得られる領域である。次に、計算領域設定部３１１は、８個の領域１３１のそれぞれの輝度の平均値を算出し、各領域１３１の輝度の平均値から領域Ｃ１３２の輝度の平均値を差し引いた差分値をそれぞれ求め、差分値が閾値より大きい領域Ｃ１３１を計算領域から除外し、残りの領域１３１と内接矩形Ｒ４０とで構成される領域を計算領域として設定する。

【0082】

図１４は、２つの対象領域Ｄ２０１、Ｄ２０２を含む変換前画像データＰ２０を示す模式図である。撮像装置の使用態様によっては、図１４に示すように、変換前画像データＰ２０の左右に２つの対象領域Ｄ２０１、Ｄ２０２が現れることもある。使用態様としては、例えば、撮像部１００を広角カメラにより構成して自動車の先頭に設け、自動車の進行方向と直交する方向を移動する自動車を撮像部１００に撮像させる態様が挙げられる。

【0083】

この場合、左側の対象領域Ｄ２０１は変換前画像データＰ２０の左端に向かうにつれて幅が増大する台形の形状を持ち、右側の対象領域Ｄ２０２は変換前画像データＰ２０の右端に向かうにつれて幅が増大する台形の形状を持つ。また、対象領域Ｄ２０１及び対象領域Ｄ２０２は水平方向に距離ｄｌ離間して、変換前画像データＰ２０内に位置している。

【0084】

図１５は、変換前画像データＰ２０において対象領域の輝度を算出する際に不要となる領域を示した模式図である。図１６は、２つの対象領域Ｄ２０１、Ｄ２０２が変換前画像データＰ２０に現れた場合に設定される２つの計算領域を示す模式図である。図１５に示すように、２つの対象領域Ｄ２０１、Ｄ２０２の両方に外接する１つの外接矩形Ｒ３０を設定し、この外接矩形Ｒ３０を計算領域として設定すると、余剰領域Ｒ５０が増大する。この場合、対象領域の輝度を正確に算出することができなくなると同時に、計算領域が増大するため処理負担が増大する。

【0085】

そこで、図１６に示すように、計算領域設定部３１１は、対象領域Ｄ２０１、Ｄ２０２のそれぞれに外接矩形Ｒ３０１、Ｒ３０２を設定し、２つの外接矩形Ｒ３０１、Ｒ３０２を計算領域として設定する。これにより、外接矩形Ｒ３０を計算領域とした場合に外接矩形Ｒ３０の中央部に発生する不要領域Ｒ５００（外接矩形Ｒ３０から外接矩形Ｒ３０１、Ｒ３０２を取り除いた矩形状の領域）が除去された領域を計算領域として設定することができる。

【0086】

次に、不要領域Ｒ５００を計算領域から除去する方法について図１を用いて説明する。まず、撮像部１００から対象領域設定部２００、計算領域設定部３１１、及び輝度算出部３１２への変換前画像データの入力が開始されると、ＴＧ４００から計算領域設定部３１１に入力されるタイミング信号ＳＧ１がイネーブル状態にされる。

【0087】

タイミング信号ＳＧ１がイネーブル状態にされると計算領域設定部３１１はレジスタ３１３から計算領域の領域情報を読み出し、読み出した領域情報と入力される画素データの個数とから、計算領域の画素データの入力期間を決定する。そして、計算領域設定部３１１は、計算領域の画素データの入力期間中、輝度算出部３１２に入力するタイミング信号ＳＧ２をイネーブル状態にして輝度算出部３１２に出力する。

【0088】

本実施の形態では、画素データはラスタ走査順で入力されるため、タイミング信号ＳＧ２は、１ライン単位でイネーブル状態の切り替えが行われる。つまり、変換前画像データの水平方向のある１ラインの画素データが入力されており、その１ライン内に計算領域が含まれていれば、その１ライン内において左側の計算領域の先頭の画素データの入力タイミングになると、計算領域設定部３１１はタイミング信号ＳＧ２をイネーブル状態にし、その１ライン内において左側の計算領域の後端の画素データの入力タイミングになると、計算領域設定部３１１はタイミング信号ＳＧ２を非イネーブル状態にする。また、その１ラインにおいて、右側の計算領域の先頭の画素データの入力タイミングになると、計算領域設定部３１１はタイミング信号ＳＧ２をイネーブル状態にし、その１ライン内において右側の計算領域の後端の画素データの入力タイミングになると、計算領域設定部３１１はタイミング信号ＳＧ２を非イネーブル状態にする。計算領域設定部３１１は、この処理を１ライン毎に繰り返し行い、輝度算出部３１２に計算領域の画素データの入力期間を通知する。

【0089】

一方、輝度算出部３１２は、左右の計算領域のそれぞれにおいて、イネーブル状態のタイミング信号ＳＧ２が出力されている間に撮像部１００から入力される画素データの輝度値を積算し、計算領域の全ての画素データの入力が終了すると積算した輝度値を画素数で割り、計算領域の輝度の平均値（代表値）を求める。これにより、左右それぞれの対象領域の輝度の平均値が個別に求められる。

【0090】

輝度算出部３１２は、対象領域の輝度の平均値を算出すると、その平均値を対象領域の評価値として撮像部１００に通知する。そして、撮像部１００は、通知された評価値に基づいて、露光期間及び絞りを調整する。

【0091】

以上により、図１５において、輝度算出部３１２は、２つの外接矩形Ｒ３０１、Ｒ３０２に属する画素データのみを用いて輝度の代表値を算出することができる。

【0092】

図１６において、変換前画像データＰ２０に含まれる２つの被写体はかなり離れた場所に位置していることもあり、この場合、いずれか一方の被写体の評価値を求めて、ＡＥ制御を行えば十分である。そこで、計算領域設定部３１１は、２つの外接矩形Ｒ３０１、Ｒ３０２を所定フレーム毎に交互に切り替えて計算領域を設定してもよい。

【0093】

図１７は、計算領域を所定フレーム毎に切り替える態様を採用した場合において、計算領域が設定される様子を示した模式図である。まず、計算領域設定部３１１は、左側の外接矩形Ｒ３０１を計算領域として設定する。ここで、ｎフレーム毎に計算領域が切り替えられるとすると、計算領域設定部３１１は、以後、撮像部１００により撮像されるｎフレームの変換前画像データＰ２０に対して左側の外接矩形Ｒ３０１を計算領域として設定する。そして、撮像部１００によりｎ＋１フレーム目の変換前画像データＰ２０が撮像されると、計算領域設定部３１１は、計算領域を左側の外接矩形Ｒ３０１から右側の外接矩形Ｒ３０２に切り替える。以後、撮像部１００により撮像されるｎフレームの変換前画像データＰ２０に対して、計算領域設定部３１１は、右側の外接矩形Ｒ３０２を計算領域として設定する。計算領域設定部３１１はこの処理を繰り返し、計算領域を交互に切り替える。

【0094】

ここで、ｎの値としては、特に限定はされないが、例えば、２、３、４、・・・、１０等の複数であってもよいし、１であってもよい。但し、１フレーム毎に計算領域を切り替えると、両被写体の輝度の差が大きい場合、露光時間が１フレーム毎に大きく変動するため、ちらつきのある画像が表示される可能性がある。よって、ｎの値は、複数であることが好ましい。

【0095】

なお、計算領域設定部３１１は、２つの外接矩形Ｒ３０１、Ｒ３０２において、一部の領域の輝度の平均値を求め、いずれか一方の外接矩形にスポット光が照射されているか否かを判定し、一方の外接矩形にスポット光が照射されていると判定した場合、他方の外接矩形を計算領域として設定してもよい。なお、スポット光が照射されているか否かの判定は、例えば、外接矩形の一部の領域の輝度の平均値が閾値より大きい場合、その外接矩形にスポット光が照射されていると判定すればよい。

【0096】

これにより、スポット光が照射されていない外接矩形を計算領域として設定することができる。なお、外接矩形Ｒ３０１、Ｒ３０２の両方にスポット光が照射されていると判定した場合、計算領域設定部３１１は、上述した所定フレーム毎に計算領域を切り替える態様を採用すればよい。

【0097】

次に、図１に示す撮像装置の動作について説明する。まず、計算領域設定部３１１、輝度算出部３１２、及びＤＲＣ処理部３２０にｉ（ｉはフレームと特定するためにインデックス）フレーム目の変換前画像データを構成する画素データの入力が開始される。

【0098】

次に、輝度算出部３１２は、レジスタ３１３に記憶されているｉ−１フレーム目の変換前画像データにおいて設定された計算領域の座標データから計算領域を構成する画素データの入力期間を検出し、検出した入力期間においてタイミング信号ＳＧ２をイネーブル状態にする。この場合、ｉ−１フレーム目の変換前画像データにおいて設定された計算領域がｉフレーム目の変換前画像データに設定されることになる。

【0099】

次に、輝度算出部３１２は、タイミング信号ＳＧ２がイネーブル状態である期間において、入力される画素データの輝度の積算値を算出し、計算領域の画素データの入力が終了すると、積算値を画素数で割り、輝度の平均値を求める。次に、輝度算出部３１２は、輝度の平均値を評価値として撮像部１００に出力する。次に、撮像部１００は、評価値にしたがって露光期間及び絞りを調整する。

【0100】

ｉフレーム目の変換前画像データの入力が終了すると、対象領域設定部２００は、変換前画像データから対象領域を設定する。次に、計算領域設定部３１１は、対象領域設定部２００により設定された対象領域の輪郭からｉフレーム目の変換前画像データの計算領域を設定し、レジスタ３１３に保持されているｉ−１フレーム目の領域情報をｉフレーム目の領域情報で更新する。

【0101】

一方、ＤＲＣ処理部３２０も計算領域設定部３１１及びＤＲＣ処理部３２０の処理と並行して、ｉフレーム目の変換前画像データに対してダイナミックレンジ圧縮処理を行い、変換処理部５００に出力する。

【0102】

次に、変換処理部５００は、対象領域設定部２００により設定された対象領域を、ダイナミックレンジ圧縮処理が行われた変換前画像データから切り出し、切り出した変換前画像データの歪みを補正する。次に、出力部６００は、変換処理部５００により歪みが補正された画像データを表示する。

【0103】

上記の説明では、ｉ−１フレーム目の計算領域をｉフレーム目の変換前画像データに設定したが、これに限定されない。例えば、計算領域設定部３１１及び輝度算出部３１２への変換前画像データの入力タイミングを、遅延バッファなどを設けて、対象領域設定部２００への変換前画像データの入力タイミングから１フレーム分、遅延させればよい。

【0104】

また、上記説明では、撮像部１００は動画を撮像するものとして説明したが、静止画を撮像するものであってもよい。この場合、撮像装置は、例えば、プレ露光により対象領域の輝度の代表値を求め、その代表値から露光時間や絞りを調整し、本露光を行う構成を採用すればよい。

【符号の説明】

【0105】

１００ 撮像部
２００ 対象領域設定部
３００ 前処理部
３１０ 処理部
３１１ 計算領域設定部
３１２ 輝度算出部
３１３ レジスタ
３２０ 処理部
５００ 変換処理部
６００ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図14】

【図15】

【図16】

【図17】

【図18】

【図21】

【図22】

【図23】

【図24】

【図13】

【図19】

【図20】