特許 7323563 撮像装置および撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-31

(45)【発行日】2023-08-08

(54)【発明の名称】撮像装置および撮像方法

(51)【国際特許分類】

   H04N 23/743 20230101AFI20230801BHJP

   G03B 7/091 20210101ALI20230801BHJP

   G03B 17/00 20210101ALI20230801BHJP

   H04N 23/60 20230101ALI20230801BHJP

【ＦＩ】

H04N23/743

G03B7/091

G03B17/00 Q

H04N23/60

【請求項の数】 7

(21)【出願番号】P 2021031376

(22)【出願日】2021-03-01

(65)【公開番号】P2022132752

(43)【公開日】2022-09-13

【審査請求日】2023-02-27

【早期審査対象出願】

(73)【特許権者】

【識別番号】392016432

【氏名又は名称】株式会社シキノハイテック

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】荒川 直人

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２０１６－０８６４２４（ＪＰ，Ａ）

【文献】特開２０００－１５２０３９（ＪＰ，Ａ）

【文献】特開２００９－２７３０３４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７４３

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １７／００

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

撮影対象を撮影して撮影画像を取得する撮像部と、
前記撮影画像の画質を各々が別々に調整する複数の調整部と、
前記複数の調整部によってそれぞれ画質調整された複数の画像データを１つにパッキングして出力する出力制御部とを備え、
前記出力制御部は、前記複数の画像データが並べて配置された１つのパッキング画像データを生成し、生成された前記パッキング画像データを出力する、撮像装置。

【請求項2】

前記複数の調整部は、前記撮像部の設定パラメータをそれぞれ調整することによって前記撮影画像の画質をそれぞれ異なる画質に調整する、請求項１に記載の撮像装置。

【請求項3】

前記複数の調整部は、前記撮像部の設定パラメータを時分割で順次切り替える、請求項２に記載の撮像装置。

【請求項4】

前記複数の調整部は、前記撮像部の露光を調整することによって前記撮影画像の明るさをそれぞれ異なる明るさに調整する、請求項１～３のいずれかに記載の撮像装置。

【請求項5】

前記複数の調整部は、
前記撮影画像の明るさに応じて自動露光時間を設定し、前記撮像部の露光時間が前記自動露光時間となるように調整する第１調整部と、
前記第１調整部によって設定された前記自動露光時間から所定のオフセット時間だけオフセットされたオフセット露光時間を設定し、前記撮像部の露光時間が前記オフセット露光時間となるように調整する第２調整部とを含む、請求項１～４のいずれかに記載の撮像装置。

【請求項6】

前記第２調整部は、前記所定のオフセット時間を時分割で順次切り替えるブラケット機能を有する、請求項５に記載の撮像装置。

【請求項7】

撮影対象を撮影して撮影画像を取得するステップと、
前記撮影画像の画質を各々が別々に調整して複数の画像データを取得するステップと、
前記複数の画像データを１つにパッキングして出力するステップとを含み、
前記複数の画像データを１つにパッキングして出力するステップは、前記複数の画像データが並べて配置された１つのパッキング画像データを生成し、生成された前記パッキング画像データを出力するステップを含む、撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮影対象を撮像する撮像装置および撮像方法に関する。

【背景技術】

【0002】

たとえば、特開平５－１６１０４８号公報（特許文献１）には、シャッタースピードを制御する手段と、シャッタースピードを変化させて得られた複数の反射レベル信号を用いて適切なシャッタースピードを算出する手段とを備える自動調光装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平５－１６１０４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

たとえば屋外撮影での過逆光あるいは屋内から屋外を撮影する際の逆光が存在する場合、画像全体の露光を調整するだけでは、いわゆる白飛び（明るい部分が真っ白になる現象）が生じる領域と、黒つぶれ（暗い部分が真っ黒になる現象）が生じる領域とが、同一の画像に含まれる場合がある。顔認識システムのような撮影対象に注目した撮影においては、白飛びあるいは黒つぶれによって撮影対象を認識できなくなるため、これらを改善することが望ましい。

【0005】

しかしながら、白飛びおよび黒つぶれの少なくとも一方が画面に発生し得る撮影環境において、白飛びを改善するために画像全体を暗めに調整すると、白飛びは改善されるが、黒つぶれが悪化したり新たな黒つぶれが生じたりすることが懸念される。逆に、黒つぶれを改善するために画像全体を明るめに調整すると、黒つぶれは改善されるが、白飛びが悪化したり新たな白飛びが生じたりすることが懸念される。そのため、単一の画質調整処理で白飛びおよび黒つぶれの双方を改善することは難しく、撮影対象を認識できない領域が生じてしまうことが懸念される。

【0006】

本開示は、上述の課題を解決するためになされたものであって、その目的は、白飛びおよび黒つぶれの少なくとも一方が発生し得る撮影環境で撮影する場合であっても、画像処理の負荷を抑えつつ、撮影対象を認識できない領域が生じることを抑制し易くすることである。

【課題を解決するための手段】

【0007】

（１） 本開示による撮像装置は、撮影対象を撮影して撮影画像を取得する撮像部と、撮影画像の画質を各々が別々に調整する複数の調整部と、複数の調整部によってそれぞれ画質調整された複数の画像データを１つにパッキングして出力する出力制御部とを備える。

【0008】

（２） ある態様においては、出力制御部は、複数の画像データを予め定められた順番に並べた１つの画像データを出力する。

【0009】

（３） ある態様においては、複数の調整部は、撮像部の設定パラメータをそれぞれ調整することによって撮影画像の画質をそれぞれ異なる画質に調整する。

【0010】

（４） ある態様においては、複数の調整部は、撮像部の設定パラメータを時分割で順次切り替える。

【0011】

（５） ある態様においては、複数の調整部は、撮像部の露光を調整することによって撮影画像の明るさをそれぞれ異なる明るさに調整する。

【0012】

（６） ある態様においては、複数の調整部は、撮影画像の明るさに応じて自動露光時間を設定し、撮像部の露光時間が自動露光時間となるように調整する第１調整部と、第１調整部によって設定された自動露光時間から所定のオフセット時間だけオフセットされたオフセット露光時間を設定し、撮像部の露光時間がオフセット露光時間となるように調整する第２調整部とを含む。

【0013】

（７） ある態様においては、第２調整部は、所定のオフセット時間を時分割で順次切り替えるブラケット機能を有する。

【0014】

（８） ある態様においては、撮影対象を撮影して撮影画像を取得するステップと、撮影画像の画質を各々が別々に調整して複数の画像データを取得するステップと、複数の画像データを１つにパッキングして出力するステップとを含む。

【発明の効果】

【0015】

本開示によれば、白飛びおよび黒つぶれの少なくとも一方が発生し得る撮影環境で撮影する場合であっても、画像処理の負荷を抑えつつ、撮影対象を認識できない領域が生じることを抑制し易くすることができる。

【図面の簡単な説明】

【0016】

【図1】撮像装置の構成の一例を模式的に示す図である。

【図2】コントローラの機能ブロック図（その１）である。

【図3】コントローラによるパッキングの処理内容の一例を模式的に示す図（その１）である。

【図4】コントローラの処理手順の一例を示すフローチャートである。

【図5】コントローラの機能ブロック図（その２）である。

【図6】コントローラによるパッキングの処理内容の一例を模式的に示す図（その２）である。

【図7】コントローラの機能ブロック図（その３）である。

【図8】コントローラによるパッキングの処理内容の一例を模式的に示す図（その３）である。

【発明を実施するための形態】

【0017】

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

【0018】

図１は、本実施の形態による撮像装置１の構成の一例を模式的に示す図である。撮像装置１は、撮影対象を撮影し、その画像のデータを外部の画像処理装置１００に出力する。

【0019】

撮像装置１は、レンズ１０と、撮像部２０と、コントローラ３０とを備える。撮影対象からの光はレンズ１０によって集光される。

【0020】

撮像部２０は、撮影対象を撮影して撮影画像を取得する。具体的には、撮像部２０は、レンズ１０によって集光された撮影対象の光をデジタル信号に変換し、変換されたデジタル信号を撮影画像のデータとして出力する。撮像部２０は、たとえば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ技術を使用したイメージセンサ（ＣＩＳ：CMOS Image Sensor）によって実現することができる。

【0021】

撮像部２０は、コントローラ３０からの指令に従って、撮影画像の画質を調整するための設定パラメータを調整するように構成される。設定パラメータには、少なくとも撮影画像の明るさを調整するためのパラメータ（露光時間、ホワイトバランス、ガンマ設定など）が含まれる。なお、設定パラメータに、その他のパラメータ（たとえば焦点距離、被写界深度など）が含まれていてもよい。

【0022】

コントローラ３０は、図示しないＣＰＵ（Central Processing Unit）およびメモリを内蔵する。コントローラ３０は、撮像部２０の設定パラメータを調整するための指令を撮像部２０に出力したり、撮像部２０が撮像した撮影画像のデータをメモリに記憶したり、撮影画像を加工あるいは編集して画像処理装置１００に出力したりする。

【0023】

図２は、コントローラ３０の機能ブロック図である。コントローラ３０は、ｎ（ｎは２以上の整数）個の画質調整モジュールＭ１～Ｍｎと、出力制御部３３とを含む。

【0024】

ｎ個の画質調整モジュールＭ１～Ｍｎは、撮像部２０の設定パラメータを各々が別々に調整することによって、撮像部２０による撮影画像の画質を各々が別々に調整するように構成されている。具体的には、画質調整モジュールＭ１～Ｍｎの各々は、演算部３１と、指令値生成部３２とを含む。

【0025】

演算部３１は、撮像部２０による撮影画像に基づいて所定の演算を行なうことによって、撮影画像の画質調整を行なうため設定パラメータを算出する。設定パラメータとしては、上述したように、少なくとも撮影画像の明るさを調整するためのパラメータ（露光時間など）が含まれる。

【0026】

指令値生成部３２は、演算部３１によって算出された設定パラメータを実現するための指令値を生成し、生成した指令値を撮像部２０に出力する。これにより、撮像部２０の設定パラメータは、演算部３１が算出した設定パラメータに調整される。すなわち、撮像部２０は、演算部３１が算出した設定パラメータで調整された画質の画像を撮影することになる。

【0027】

各演算部３１は、他の演算部３１とは異なる演算を行なって撮像部２０の設定パラメータを算出することによって、撮影画像の画質をそれぞれ異なる画質に調整する。たとえば、設定パラメータとして露光時間を設定する場合には、各演算部３１は、撮像部２０が撮影した撮影画像の平均輝度を解析し、その解析結果に応じて他の演算部３１とは異なる露光時間を設定するように構成されている。これにより、画質調整モジュールＭ１～Ｍｎによってそれぞれ画質調整されたｎ枚の画像Ｇ１～Ｇｎは、それぞれ異なる明るさに調整される。

【0028】

出力制御部３３は、ｎ個の画質調整モジュールＭ１～Ｍｎによる画質調整が予め決められた順番で時分割で行なわれるように、ｎ個の画質調整モジュールＭ１～Ｍｎを制御する。これにより、撮像部２０の設定パラメータは、画質調整モジュールＭ１～Ｍｎによってそれぞれ算出された複数の設定パラメータに、時分割で順次切り替えられる。撮像部２０は、画質調整モジュールＭ１～Ｍｎによってそれぞれ画質調整されたｎ枚の画像Ｇ１～Ｇｎを出力制御部３３に順次出力する。

【0029】

出力制御部３３は、撮像部２０からの画像を順次受け取り、複数の画像を１つにパッキングして画像処理装置１００に出力する。

【0030】

図３は、コントローラ３０によるパッキングの処理内容の一例を模式的に示す図である。図３に示される例では、それぞれ異なる露光時間（明るさ）に調整されたｎ枚の画像Ｇ１～Ｇｎが、この順番で順次撮影される。コントローラ３０は、撮影された時間軸順に、画像データを画像処理装置１００に出力する。具体的には、コントローラ３０は、それまでに撮影された複数の画像を撮影時間軸順に上から並べてパッキングした１枚の画像データ（以下「パッキング画像データＧＰ」ともいう）として出力する。より具体的には、図３に示すように、コントローラ３０は、１枚目の画像Ｇ１が撮影された時点では画像Ｇ１のデータを出力し、２枚目の画像Ｇ２が撮影された時点では画像Ｇ２のデータを出力する。そして、ｎ枚目の画像Ｇｎが撮影された時点で、それまでに撮影されたｎ枚の画像データＧ１～Ｇｎが含まれる１枚のパッキング画像データＧＰとしての出力が完了する。

【0031】

なお、図３では複数の画像を撮影された時間軸順に上から並べて１枚のパッキング画像データＧＰにする例を示したが、本開示による「パッキング」はこのような態様に限定されるものではない。たとえば、複数の画像を露光時間の長い順番で上から並べて１枚の画像データにすることも、本開示による「パッキング」に含まれる。すなわち、複数の画像をパッキング画像データＧＰの予め決められた複数の領域にそれぞれ配置する態様であれば、本開示による「パッキング」に含まれる。また、たとえば複数の画像を１つのフォルダに格納して出力する態様も、本開示による「パッキング」に含まれる。

【0032】

このように、本実施の形態による撮像装置１は、露光時間（明るさ）がそれぞれ異なる複数の画像を１枚のパッキング画像データＧＰとして画像処理装置１００に出力する。そのため、白飛びおよび黒つぶれの少なくとも一方が発生し得る撮影環境下であっても、画像処理装置１００の処理負荷を抑えつつ、画像処理装置１００が撮影対象を認識できない領域が生じることを抑制し易くすることができる。

【0033】

具体的には、撮像部２０が撮影した複数の画像のいずれかに白飛びおよび黒つぶれの少なくとも一方が発生している場合であっても、その白飛びあるいは黒つぶれが改善された画像が、パッキング画像データＧＰのいずれかの領域に含まれ易くなる。その結果、画像処理装置１００が撮影対象を認識できない領域が生じることを抑制し易くすることができる。

【0034】

さらに、複数の画像が、個々に単独で出力されるのではなく、１枚の画像（パッキング画像データＧＰ）として出力される。その結果、画像処理装置１００の処理負荷を抑えることができる。すなわち、仮に複数の画像を個々に単独で出力すると、画像伝送過程で通信エラー等による画像の欠落が生じた場合に、画像処理装置１００において、その欠落を検出すること、および、その欠落した画像がどの明るさのグループに属する画像であるのかを判断すること、が難しくなる。これを解消するための手法として、撮像装置１側で各画像に対して明るさのグループを示す何らかの識別マークを付与し、画像処理装置１００側でその識別マークを認識することも可能ではある。しかしながら、この手法では、識別マークを認識する処理プロセスが画像処理装置１００側で必要となり、画像処理装置１００の処理負荷が増加することが懸念される。これに対し、本実施の形態においては、このような画像処理装置１００側の識別プロセス自体が不要となるため、画像処理装置１００の処理負荷を抑えることができる。

【0035】

以上のように、本実施の形態による撮像装置１は、白飛びおよび黒つぶれの少なくとも一方が発生し得る撮影環境下であっても、画像処理装置１００の処理負荷を抑えつつ、画像処理装置１００が撮影対象を認識できない領域が生じることを抑制し易くすることができる。

【0036】

図４は、コントローラ３０の処理手順の一例を示すフローチャートである。このフローチャートは、予め定められた条件が成立する毎（たとえば所定周期毎）に繰り返し実行される。

【0037】

コントローラ３０は、撮像部２０が現在の設定パラメータの値で撮影した画像データを撮像部２０から取得する（ステップＳ１０）。

【0038】

次いで、コントローラ３０は、ステップＳ１０で取得された画像データを解析することによって画像データの平均輝度などを算出する（ステップＳ２０）。

【0039】

次いで、コントローラ３０は、ステップＳ２０での解析結果を用いて現在の対象モジュールＭｋに対して予め規定された演算（フィードバック演算）を行なうことによって、現在の対象モジュールＭｋの設定値（現在の対象モジュールＭｋによって調整すべき画質の設定パラメータの値）を生成する（ステップＳ３０）。

【0040】

ここで、現在の対象モジュールＭｋとは、ｎ個の画質調整モジュールＭ１～Ｍｎのうち、今回の演算サイクルで画質調整を行なうように割り当てられたモジュールである。「ｋ」は、現在の対象モジュールＭｋを特定するための番号（以下「現在の対象モジュール番号」ともいう）であって、１からｎまでのいずれかの整数である。たとえば現在の対象モジュール番号ｋが「１」である場合、現在の対象モジュールＭｋが「画質調整モジュールＭ１」であることを意味する。なお、対象モジュール番号ｋの初期値は「１」である。現在の対象モジュール番号ｋ、現在の対象モジュールＭｋ、および現在の各モジュールＭ１～Ｍｎの設定値の情報は、コントローラ３０の内部に搭載されるメモリに記憶されている。

【0041】

次いで、コントローラ３０は、現在の対象モジュールＭｋの設定値をステップＳ４０で生成された設定値に更新するとともに、更新された設定値を撮像部２０に出力する（ステップＳ４０）。これにより、現在の対象モジュールＭｋによって画質調整された画像Ｇｋが撮像部２０からコントローラ３０に出力される。

【0042】

次いで、コントローラ３０は、現在の対象モジュールＭｋによって画質調整された画像Ｇｋを撮像部２０から取得して、メモリに記憶する（ステップＳ４２）。

【0043】

次いで、コントローラ３０は、現在の対象モジュール番号ｋがｎであるか否かを判定する（ステップＳ５０）。

【0044】

現在の対象モジュール番号ｋがｎでない場合（ステップＳ５０においてＮＯ）、コントローラ３０は、画像Ｇｋのデータを画像処理装置１００に出力する（ステップＳ６０）。その後、コントローラ３０は、対象モジュール番号ｋを１インクリメントする（ステップＳ７０）。

【0045】

ステップＳ７０の後、コントローラ３０は、処理をリターンに戻す。これにより、現在の対象モジュール番号ｋがｎに達するまで、ステップＳ１０～Ｓ６０の処理が繰り返し実行され、ｎ個の画質調整モジュールＭ１～Ｍｎによる画質調整が時分割で順次行なわれる。その結果、それぞれ異なる画質に調整されたｎ枚の画像Ｇ１～Ｇｎがコントローラ３０のメモリに一時的に記憶される。

【0046】

そして、現在の対象モジュール番号ｋがｎである場合（ステップＳ５０においてＹＥＳ）、コントローラ３０は、ｎ枚の画像Ｇ１～Ｇｎを１枚のパッキング画像データＧＰにして画像処理装置１００に出力する（ステップＳ８０）。その後、コントローラ３０は、ｎ枚の画像Ｇ１～Ｇｎをメモリから消去し（ステップＳ８５）、対象モジュール番号ｋを初期値「１」にリセットする（ステップＳ９０）。

【0047】

以上のように、本実施の形態による撮像装置１は、それぞれ異なる明るさに調整された複数の画像を１枚のパッキング画像データＧＰの予め定められた領域に配置して画像処理装置１００に出力する。そのため、外乱光等の影響で白飛びおよび黒つぶれの少なくとも一方が発生し得る撮影環境下であっても、画像処理装置１００の処理負荷を抑えつつ、画像処理装置１００が撮影対象を認識できない領域が生じることを抑制し易くすることができる。

【0048】

たとえば、画像処理装置１００において撮像装置１によって撮影された人物の顔認証を行なう場合において、顔認証の精度を向上させることが可能である。

【0049】

また、監視用途などで車内の人物と車両のナンバープレートとを撮影する場合、あるいは、ＡＴＭ（Automatic Teller Machine、現金自動預け払い機）を利用する人物とその人物の手元を撮影する場合においても、撮影対象の認識精度を向上させることが可能である。

【0050】

［変形例１］
図５は、本変形例１によるコントローラ３０Ａの機能ブロック図である。図５に示すコントローラ３０Ａは、上述の図２に示すコントローラ３０に対して、ｎ＝２として２個の画質調整モジュールＭ１Ａ，Ｍ２Ａを備えるように変形したものである。画質調整モジュールＭ１Ａ，Ｍ２Ａの各々は、撮像部２０による露光時間（明るさ）を調整する機能を有する。コントローラ３０Ａのその他の基本的な構成は、上述の図２に示すコントローラ３０と同じである。すなわち、コントローラ３０Ａは、２個の画質調整モジュールＭ１Ａ，Ｍ２Ａと、出力制御部３３とを含む。なお、図５においては、出力制御部３３の図示が省略されている。

【0051】

２個の画質調整モジュールＭ１Ａ，Ｍ２Ａは、撮像部２０による露光時間を各々が別々に調整するように構成されている。具体的には、画質調整モジュールＭ１Ａ，Ｍ２Ａの各々は、光量検出部３５と、露光時間演算部３１Ａと、露光時間制御部３２Ａとを含む。

【0052】

光量検出部３５は、撮像部２０が撮影した撮影画像のデータに基づいて、撮影画像の明るさ（撮像部２０が撮影対象から受ける光量）を検出する。

【0053】

露光時間演算部３１Ａは、光量検出部３５によって検出された撮影画像の明るさに応じた露光時間（以下「自動露光時間」ともいう）を、所定の演算を行なうことによって算出する。

【0054】

露光時間制御部３２Ａは、露光時間演算部３１Ａによって算出された自動露光時間を実現するための指令値を生成し、生成した指令値を撮像部２０に出力する。これにより、撮像部２０は、露光時間演算部３１Ａによって算出された自動露光時間に応じた明るさの画像を撮影することになる。

【0055】

２個の画質調整モジュールＭ１Ａ，Ｍ２Ａは、互いに異なる演算で自動露光時間を別々に算出することによって、撮影画像の明るさをそれぞれ異なる明るさに調整する。たとえば、画質調整モジュールＭ１Ａが「暗め」の調整を行ない、画質調整モジュールＭ２Ａが「明るめ」の調整を行なうようにしてもよい。これにより、画質調整モジュールＭ１Ａ，Ｍ２Ａによってそれぞれ撮影された２枚の画像Ｇ１，Ｇ２は、それぞれ異なる明るさに調整される。

【0056】

２個の画質調整モジュールＭ１Ａ，Ｍ２Ａによる露光時間（明るさ）の調整は、時分割で交互に行なわれる。

【0057】

図６は、コントローラ３０Ａによるパッキングの処理内容の一例を模式的に示す図である。図６に示される例では、それぞれ異なる露光時間（明るさ）に調整された２枚の画像Ｇ１，Ｇ２が、時分割で交互に撮影される。コントローラ３０Ａは、２枚の画像Ｇ１，Ｇ２を含む１枚のパッキング画像データＧＰを生成し、生成したパッキング画像データＧＰを画像処理装置１００に出力する。

【0058】

なお、図６には、垂直同期信号ＶＳＹＮＣ（Vertical Synchronizing signal）が発信される毎に、対象モジュールＭｋが切り替えられる例が示されている。たとえば、時刻ｔ１においては、それまでの対象モジュールＭｋである「画質調整モジュールＭ１Ａ」による画像調整が行なわれるとともに、撮像部２０の設定値が次の対象モジュールＭｋである「画質調整モジュールＭ２Ａ」による設定値に切り替えられる。

【0059】

また、図６には、垂直同期信号ＶＳＹＮＣ（Vertical Synchronizing signal）が発信される毎に、直近の２枚の画像Ｇ１，Ｇ２を含む１枚のパッキング画像データＧＰを生成して出力する例が示されている。

【0060】

以上のように、撮影画像の明るさをそれぞれ異なる値に調整する２個の画質調整モジュールＭ１Ａ，Ｍ２Ａを備え、画質調整モジュールＭ１Ａ，Ｍ２Ａによってそれぞれ撮影された２枚の画像Ｇ１，Ｇ２を１枚のパッキング画像データＧＰの予め決められた領域に配置して画像処理装置１００に出力するようにしてもよい。

【0061】

［変形例２］
図７は、本変形例２によるコントローラ３０Ｂの機能ブロック図である。図７に示すコントローラ３０Ｂは、上述の図５に示すコントローラ３０Ａの画質調整モジュールＭ１Ａ，Ｍ２Ａをそれぞれ画質調整モジュールＭ１Ｂ，Ｍ２Ｂに変更したものである。コントローラ３０Ｂのその他の基本的な構成は、上述のコントローラ３０あるいはコントローラ３０Ａと同じである。すなわち、コントローラ３０Ｂは、２個の画質調整モジュールＭ１Ｂ，Ｍ２Ｂと、出力制御部３３とを含む。なお、図７においても、上述の図５と同様、出力制御部３３の図示が省略されている。

【0062】

画質調整モジュールＭ１Ｂは、撮像部２０による撮影画像の明るさを判定して適切な露光が得られるように、撮像部２０の露光時間を自動的に制御する「オートモード」で作動するように構成される。具体的には、画質調整モジュールＭ１Ｂは、光量検出部３５と、露光時間演算部３１Ｂと、露光時間制御部３２Ｂとを含む。

【0063】

光量検出部３５、露光時間演算部３１Ｂおよび露光時間制御部３２Ｂは、それぞれ上述の図５に示す光量検出部３５、露光時間演算部３１Ａおよび露光時間制御部３２Ａと基本的に同じ機能を有する。ただし、本変形例２による画質調整モジュールＭ１Ｂにおいては、露光時間演算部３１Ｂによって算出された自動露光時間が、もう一方の画質調整モジュールＭ２Ｂの露光時間演算部３６にも出力されるように構成されている。

【0064】

画質調整モジュールＭ２Ｂは、互いに異なる複数のオフセット露光時間での撮影を時分割で自動的に行なう「ブラケットモード」で作動するように構成される。

【0065】

具体的には、画質調整モジュールＭ２Ｂは、露光時間演算部３６と、露光時間制御部３７とを含む。

【0066】

露光時間演算部３６には、上述したように、画質調整モジュールＭ１Ｂから、オートモードで設定された「自動露光時間」が入力される。露光時間演算部３６は、画質調整モジュールＭ１Ｂから取得される「自動露光時間」を基準露光時間として、基準露光時間からオフセット時間Δｔだけオフセットされたオフセット露光時間を設定する。さらに、露光時間演算部３６は、オフセット時間Δｔを時分割で順次切り替える。これにより、画質調整モジュールＭ２Ｂの作動中においては、各々が基準露光時間からそれぞれ異なるオフセット時間Δｔだけオフセットされた複数のオフセット露光時間での撮影が、時分割で自動的に行なわれることになる。

【0067】

図８は、コントローラ３０Ｂによるパッキングの処理内容の一例を模式的に示す図である。図８に示されるように、コントローラ３０Ｂは、画質調整モジュールＭ１Ｂによるオートモードでの撮影と、画質調整モジュールＭ２Ｂによるブラケットモードでの撮影とを、時分割で交互に行なう。そして、コントローラ３０Ｂは、２枚の画像Ｇ１，Ｇ２が予め定められた２つの領域にそれぞれ配置された１枚のパッキング画像データＧＰを生成し、生成したパッキング画像データＧＰを画像処理装置１００に出力する。

【0068】

オートモードで撮影される画像Ｇ１の自動露光時間（図８に示す「Ａ」、「Ｂ」…）は、撮影画像の明るさから自動的に算出される。

【0069】

一方、ブラケットモードで撮影される画像Ｇ２の露光時間は、直前のオートモードで算出された自動露光時間を基準値として、基準値からオフセット時間Δｔだけオフセットされたオフセット露光時間に設定される。そして、ブラケットモードでは、オフセット時間Δｔが時分割で順次切り替えられる。これにより、ブラケットモードで撮影される画像Ｇ２の露光時間（明るさ）は、時分割で順次切り替えられることになる。

【0070】

図８には、ブラケットモードでの撮影が、５フレームを１セットとして、２セット（自動露光時間「Ａ」を基準とするブラケット撮影、自動露光時間「Ｂ」を基準とするブラケット撮影）行なわれる例が示されている。以下、主に、自動露光時間「Ａ」を基準とするブラケット撮影について説明するが、自動露光時間「Ｂ」を基準とするブラケット撮影についても同様の処理が行なわれる。

【0071】

１フレーム目においては、オフセット時間Δｔが「０」に設定される。すなわち、１フレーム目の露光時間は、直前のオートモードで撮影された自動露光時間Ａと同じ値に設定される。これにより、１フレーム目の画像Ｇ２の明るさは、直前のオートモードで撮影された画像Ｇ１の明るさと同じとなる。そして、１フレーム目の撮影が終了した時点で、自動露光時間「Ａ」で撮影された画像Ｇ１と、露光時間「Ａ」で撮影された画像Ｇ２とをパッキングした画像が画像処理装置１００に出力される。

【0072】

２フレーム目においては、オフセット時間Δｔが「＋１」に設定される。すなわち、２フレーム目の露光時間は、１フレーム目の自動露光時間Ａよりも少し長い値「Ａ＋１」に設定される。これにより、２フレーム目の画像Ｇ２の明るさは、１フレーム目のオートモードで撮影された画像Ｇ１よりも少し明るくなる。そして、２フレーム目の撮影が終了した時点で、自動露光時間「Ａ」の画像Ｇ１と露光時間「Ａ＋１」の画像Ｇ２とをパッキングした画像が画像処理装置１００に出力される。

【0073】

３フレーム目においては、オフセット時間Δｔが「－１」に設定される。すなわち、３フレーム目の露光時間は、１フレーム目の自動露光時間Ａよりも少し短い値「Ａ－１」に設定される。これにより、３フレーム目の画像Ｇ２の明るさは、１フレーム目のオートモードで撮影された画像Ｇ１よりも少し暗くなる。そして、３フレーム目の撮影が終了した時点で、自動露光時間「Ａ」の画像Ｇ１と露光時間「Ａ－１」の画像Ｇ２とをパッキングした画像が画像処理装置１００に出力される。

【0074】

４フレーム目においては、オフセット時間Δｔが２フレーム目よりもさらに長い「＋２」に設定される。すなわち、４フレーム目の露光時間は「Ａ＋２」に設定される。これにより、４フレーム目の画像Ｇ２の明るさは、１フレーム目のオートモードで撮影された画像Ｇ１よりもかなり明るくなる。そして、４フレーム目の撮影が終了した時点で、自動露光時間「Ａ」の画像Ｇ１と露光時間「Ａ＋２」の画像Ｇ２とをパッキングした画像が画像処理装置１００に出力される。

【0075】

５フレーム目においては、オフセット時間Δｔが３フレーム目よりもさらに短い「－２」に設定される。すなわち、５フレーム目の露光時間は「Ａ－２」に設定される。これにより、５フレーム目の画像Ｇ２の明るさは、１フレーム目のオートモードで撮影された画像Ｇ１よりもかなり暗くなる。そして、５フレーム目の撮影が終了した時点で、自動露光時間「Ａ」の画像Ｇ１と露光時間「Ａ－２」の画像Ｇ２とをパッキングした画像が画像処理装置１００に出力される。

【0076】

画像処理装置１００において、たとえば、１フレーム目の撮影終了時のパッキング画像データＧＰでは黒つぶれによって顔認証が失敗した場合であっても、２フレーム目あるいは４フレーム目の撮影終了時の、明るめに補正されたパッキング画像データＧＰを用いることで、顔認証を成功し易くすることができる。また、１フレーム目の撮影終了時のパッキング画像データＧＰでは白飛びによって顔認証が失敗した場合であっても、３フレーム目あるいは５フレーム目の撮影終了時の、暗めに補正されたパッキング画像データＧＰを用いることで、顔認証を成功し易くすることができる。

【0077】

以上のように、本変形例２によるコントローラ３０Ｂは、オートモードで作動する画質調整モジュールＭ１Ｂと、ブラケットモードで作動する画質調整モジュールＭ２Ｂとを備えている。そして、画質調整モジュールＭ２Ｂは、画質調整モジュールＭ１Ｂで設定された自動露光時間を基準として、ブラケットモードでの撮影を行なう。さらに、コントローラ３０Ｂは、画質調整モジュールＭ１Ｂによるオートモードでの撮影と、画質調整モジュールＭ２Ｂによるブラケットモードでの撮影とを、時分割で交互に行なう。そして、コントローラ３０Ｂは、２枚の画像Ｇ１，Ｇ２を１枚にパッキングした画像を画像処理装置１００に出力する。

【0078】

このように変形しても、白飛びおよび黒つぶれの少なくとも一方が発生し得る撮影環境下であっても、画像処理装置１００の処理負荷を抑えつつ、画像処理装置１００が撮影対象を認識できない領域が生じることを抑制し易くすることができる。

【0079】

なお、本変形例２においては、オートモードで撮影される画像Ｇ１と、ブラケットモードで撮影される画像Ｇ２とをパッキングして出力する例について説明した。しかしながら、２つの画像Ｇ１，Ｇ２をパッキングすることなく、ブラケットモードで撮影された画像Ｇ２のみを出力するようにしてもよい。このようにしても、画像処理装置１００が撮影対象を認識できない領域が生じることを抑制し易くすることができる。

【0080】

すなわち、本変形例２においては、オートモードで算出された自動露光時間を基準値として、ブラケットモードでの露光時間が時分割で順次切り替えられる。したがって、ブラケットモードで撮影された画像の１セット分のなかには、同じ撮影対象に対して明るさの異なる複数の画像が含まれる。画像処理装置１００は、ブラケットモードで撮影された、明るさの異なる複数の画像のいずれかから、撮影対象を認識することができる。その結果、画像処理装置１００が撮影対象を認識できない領域が生じることを抑制し易くすることができる。

【0081】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0082】

１ 撮像装置、１０ レンズ、２０ 撮像部、３０，３０Ａ，３０Ｂ コントローラ、３１ 演算部、３１Ａ，３１Ｂ，３６ 露光時間演算部、３２ 指令値生成部、３２Ａ，３２Ｂ，３７ 露光時間制御部、３３ 出力制御部、３５ 光量検出部、１００ 画像処理装置、Ｍ１～Ｍｎ 画質調整モジュール。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】