(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0010】
[第1実施形態]
本発明の撮像装置の一実施形態を示す電子カメラ10は、
図1に示すように、撮像部11、深度マップ取得部12、ROM13、RAM14、記録部15、フラッシュ制御部16、内蔵フラッシュ17、操作部18、表示制御部19、表示部20、タッチパネル21、及びCPU22を備える。撮像部11、深度マップ取得部12、ROM13、RAM14、記録部15、表示制御部19、及びCPU22は、それぞれバス23に接続されている。また、CPU22には、フラッシュ制御部16、操作部18、及びタッチパネル21が接続されている。タッチパネル21は、表示部20に設けられている。表示部20は、スルー画像等を表示するためのもので、表示制御部19により表示が制御される。フラッシュ制御部16は、内蔵フラッシュ17が接続されており、内蔵フラッシュ17の発光を制御する。
【0011】
操作部18は、電源操作部、レリーズ操作部等を備える。ROM13は、内蔵フラッシュ17の発光情報(ガイドナンバや周辺低下光量を含む情報)や、撮影用プログラムや発光量決定用プログラム等、CPU22に実行させるためのプログラムが記憶されている。RAM14は、CPU22の作業領域やデータの一時的な記憶領域等に使用される。記録部15には、本撮像時に取得する実画像のデータが記録される。
【0012】
撮像部11は、撮像レンズにより結像する被写体の光像を所定の露出により撮像素子の結像面に結像させ、結像される被写体の光像を撮像素子により電気信号に変換して実画像を生成する。なお、撮像部11は、実画像取得部の一例である。
【0013】
深度マップ取得部12は、奥行き情報である深度マップ、又はそれを含む3次元情報(以下、「深度マップ」と称す)を、実画像と略同時に、同じ撮像範囲となるように取得する。取得した深度マップは、実画像と関連付けしてRAM14に格納される。なお、深度マップ取得部12は、周知の「ステレオカメラによる深度マップの生成手法」、「赤外光を利用したTOF(Time of Flight)手法」、「赤外光の反射パターンを利用した手法」、及び「動きベクトルからの深度マップの生成手法」等の技術を利用して深度マップを生成する深度マップ生成回路を備える。生成される深度マップは、例えばある基準位置を基に深さ(被写体までの距離)が深い画素の場合にはその画素の輝度を高くする等、各画素における深度に応じた輝度分布を求めたグレースケールの画像である。なお、深度マップ取得部12は、3次元情報取得部の一例である。
【0014】
CPU22は、AE・AF部24、判定部25、及び決定部26を備える。AE・AF部24は、実画像の一部(測距領域と測光領域)に基づいて被写体輝度の情報と被写体距離の情報(被写体のコントラストを示すAF評価値の情報)とを取得し、これら情報に基づいてISO感度、シャッタ速度、及び絞り値を含む露出が適正露出になるように、また、撮影レンズが合焦位置に移動するように撮像部11を制御する。
【0015】
CPU22は、レリーズ操作部の半押し操作に応答して、低輝度被写体か否かを判定するために撮像部11から実画像を取得する事前撮影を行う。事前撮影時に取得した実画像は、RAM14に一時的に格納される。判定部25は、事前撮影時に取得した実画像の一部の被写体輝度が、例えば予め決めた閾値以下の場合、低輝度被写体であると判定する。
【0016】
CPU22は、判定部25が低輝度被写体であると判定した場合、深度マップ取得部12を動作させて深度マップを取得し、取得した深度マップと事前撮影時に取得した実画像とを利用して適正露光を得るための内蔵フラッシュ17の発光量を決定し、レリーズ操作部の全押し操作に応答して、先に決めた発光量に基づいて内蔵フラッシュ17を発光して本撮影を行う。
【0017】
CPU22は、フラッシュ撮影を行う場合、予め決められた露出値(ISO感度、絞り値、及びシャッタ速度)に撮像部11の露出を設定する。本撮影時に取得した実画像は、撮像データとして記録部15に記憶される。なお、レリーズ操作部としては、半押しと全押しとの二段押し構造の代わりに一段押し構造のものを使用してもてもよい。この場合には、押し操作に応答して事前撮影を行って発光量を決定してから一定時間経過後に、本撮影を行えばよい。
【0018】
決定部26は、事前撮影により取得した実画像と深度マップとに基づいて、内蔵フラッシュ17により距離に応じた被写体を照明した時に得られる仮想の反射光量、すなわち仮想の被写体輝度情報(以下、「仮想輝度情報」と称す。)を作成し、作成された仮想輝度情報に基づいて、着目被写体を含む領域の輝度値が所定の輝度値になるように内蔵フラッシュ17の発光量を決める。なお、決定部26は、決定手段の一例である。
【0019】
具体的には、決定部26は、
図2に示すように、縮小輝度マップ作成部27、縮小深度マップ作成部28、照明輝度マップ作成部29、仮想輝度マップ作成部30、及び発光量決定部31を含む。これら構成は、判定部25が低輝度被写体であると判定した場合、
図3に示す手順に従って発光量を決定する。
【0020】
まず、CPU22は、適度被写体であると判定した場合、深度マップ取得部12を作動して深度マップを取得し、取得した深度マップをRAM14に記憶する(S−1)。なお、この時点では、事前撮影に応答して実画像がRAM14に格納されている。
【0021】
縮小輝度マップ作成部27は、RAM14から実画像を読み出し、読み出した実画像の有効画像領域を分割した領域毎に、各画素の輝度値を平均して求めた平均輝度値を分布させた縮小輝度マップを実画像に基づいて作成する(S−2)。ここで、実画像を
図4(A)に、実画像に対応する深度マップを
図4(B)に、実画像に基づいて作成した縮小輝度マップを
図4(C)にそれぞれ示す。
【0022】
縮小深度マップ作成部28は、前記各領域に対応するエリア毎に、各画素の深度値を平均して求めた平均深度値を前記エリア毎に分布させた縮小深度マップを深度マップ(
図4(D)参照)に基づいて作成する(S−3)。なお、
図4(C)及び同図(D)では、縮小したマップを拡大して示している。
【0023】
照明輝度マップ作成部29は、内蔵フラッシュ17の発光情報(発光量や照射角等の情報)と縮小深度マップとに基づいて、前記発光情報に含まれる基本の発光量で内蔵フラッシュ17を照明した時に得られる被写体からの反射光量を前記エリア毎に算出した仮想の照明輝度マップ(
図4(E)参照)を作成する(S−4)。このとき、発光量と距離とをパラメータとする輝度値のテーブルを予めROM13に記憶しておき、読み出して使用することで照明輝度マップを作成する時の演算を簡略化することができる。
【0024】
仮想輝度マップ作成部30は、照明輝度マップと輝度マップとを合成して仮想輝度マップ(
図4(F)参照)を作成する(S−5)。仮想輝度マップは、実際の環境下(定常光下)で内蔵フラッシュを発光した時に得られる被写体からの反射光量を前記領域毎に算出した仮想の被写体輝度情報である。
【0025】
そして、発光量決定部31は、仮想輝度マップに基づいて、着目被写体を含む領域32(
図4(F)参照)の輝度値が所定の輝度値になるように内蔵フラッシュ17の発光量を決める。この作業は、仮想輝度マップに対して着目被写体を含む領域32の輝度値を抽出し(S−6)、抽出した輝度値が予め決めた所定の輝度値か否かを判定する(S−7)。抽出した輝度値が所定の輝度値ではない場合には、前記基準の発光量に対して再び設定する発光量を増減させて照明輝度マップを作り直し(S−8)、作り直した照明輝度マップと輝度マップとを合成して仮想輝度マップを作り直し(S−9)、作り直した仮想輝度マップから着目被写体を含む領域32の輝度値を抽出し(S−6)、抽出した輝度値が所定の輝度値か否かを判定していく(S−7)。抽出した輝度値が所定の輝度値である場合には、このとき設定した発光量を本撮影時の発光量に決める(S−10)。
【0026】
所定の輝度値としては、許容する範囲をもった値としてもよい。この場合には、着目被写体を含む領域32の輝度値が許容範囲内に収まっているか否かを判定すればよい。ここで、着目被写体を含む領域32としては、仮想輝度マップの領域のうち、輝度値が一番高い領域とするのが好適である。
【0027】
なお、事前撮影後に実画像を表示部20に表示して、表示される実画像上のうち、着目被写体又はそれを含む領域を、タッチパネル21を使って択一的に選択するように構成してもよい。タッチパネル21は、選択手段の一例である。
【0028】
また、照明輝度マップを最初に作成する時に用いる基準の発光量は、後から設定する発光量よりも低めに設定しておくのが好ましい。というのは、後から発光量を徐々に上げて仮想輝度マップを作り直して判定する方が、仮想輝度マップのいずれかの領域の輝度値が高輝度(白飛び)になり難く、よって輝度値の判定を迅速に行うことができるためである。なお、逆に、内蔵フラッシュ17の最大発光量を基準の発光量として設定しておき、後から発光量を徐々に下げるようにしてもよい。
【0029】
[第2実施形態]
第2実施形態は、
図5に示すように、フラッシュ装置45を電子カメラ46から離れた位置に配置して、人物47に対してフラッシュ撮影を行う撮影システム48を示す例である。なお、符号49は、フラッシュ光を反射する物体の反射面を示す。フラッシュ装置45は、照明手段の一例である。
【0030】
電子カメラ46は、
図6に示すように、
図1で説明した構成に加えて、フラッシュ装置45との間で無線通信を行う送受信機50を備える。フラッシュ装置45には、発光部51、送受信部52、位置検出部53、方向検出部54、発光情報記憶部55、及びこれらを統括的に制御する制御部56を備えている。位置検出部53は、測地衛星からの電波を受信して、測定された現在位置を示す位置情報を得る、例えばGPS(Global Positioning Satellite)センサを含む。制御部56は、位置検出部53から得られる位置情報を、電子カメラ46からの要求に応じて、送受信部52を介して電子カメラ46に送信する。
【0031】
方向検出部54は、例えば、電子コンパスと、加速度センサとから構成される。電子コンパスは、ホール素子等の磁気素子により構成され、地磁気を検出して方位を検出し、また、加速度センサは、傾斜(仰角)を検出する。制御部56は、電子カメラ46からの要求に応じて、方向検出部54から得られる発光部51の発光方向の情報を、送受信部52を介して電子カメラ46に送信する。
【0032】
発光情報記憶部55は、発光量(ガイドナンバ)や照射角等の発光部情報を予め記憶している。制御部56は、電子カメラ46からの要求に応じて、発光部情報を発光情報記憶部55から読み出して、送受信部52を介して電子カメラ46に送信する。この実施形態では、位置情報、発光方向の情報、及び発光部情報が発光情報の一例である。
【0033】
制御部56は、送受信部52を介して電子カメラ46で決められる発光量の情報、及びトリガ信号等が送信されることに基づいて、発光部51の発光を制御する。なお、フラッシュ装置45と電子カメラ46とを無線接続しているが、代わりに有線接続してもよい。
【0034】
電子カメラ46のCPU22は、決定部57を備える。決定部57は、
図7に示すように、縮小輝度マップ作成部27、縮小深度マップ作成部28、反射光輝度マップ作成部60、照明輝度マップ作成部61、仮想輝度マップ作成部30、及び発光量決定部31を含む。ここで、第2実施形態では、
図2で説明した構成と比べて、反射光輝度マップ作成部60を備えている。反射光輝度マップ作成部60は、縮小輝度マップと縮小深度マップとに基づいて物体の反射面49の反射率を求めて反射光輝度マップを作成する。照明輝度マップ作成部61は、縮小輝度マップ、発光情報、及び反射光輝度マップに基づいて照明輝度マップを作成する。なお、
図2で説明したと同じ構成には同符号を付与して詳しい説明を省略する。
【0035】
判定部25は、事前撮影により低輝度被写体であると判定した場合、
図8に示す手順に従って発光量を決定する。この第2実施形態では、
図3で説明した手順と比べて、反射光輝度マップ作成部60が縮小輝度マップと縮小深度マップとに基づいて物体の反射面49の反射率を求めて反射光輝度マップを作成する手順(S−11)を含む。具体的には、縮小深度マップに対して、距離の類似性に応じた平滑化を施すことで反射面49を特定し、また、縮小輝度マップに対しては、特定した反射面49の範囲毎に、色の類似性に応じた平滑化を施すことにより各反射面49の反射率を特定する。
【0036】
照明輝度マップ作成部61は、フラッシュ装置45に発光情報の要求を送信し、これに対して受信される発光情報(発光位置、発光方向、発光量、照射角等の情報)、先に作成した縮小深度マップ、及び反射光輝度マップに基づいて、フラッシュ装置45で発光した時に直接届く直接光と、周囲の物体に反射して間接的に届く反射光とにより照明される被写体からの反射光量を領域毎に算出した仮想の照明輝度マップを作成する(S−12)。その後は、第1実施形態で説明と同様に、仮想輝度マップを作成し、仮想輝度マップから得られる着目被写体を含む領域の輝度値が予め決めた所定の輝度値になるように、照明輝度マップを作成する時に設定する発光量を求める。
【0037】
上記第2実施形態では、反射光輝度マップを作成し、定常光、照明光、及び反射光との3つ光に基づいて仮想輝度マップを作っているが、反射光輝度マップ作成部を省略して定常光、及び照明光のみで作ってもよい。また、第2実施形態で説明した反射光輝度マップ作成部を第1実施形態で用いて、第1実施形態でも定常光、照明光、及び反射光との3つ光に基づいて仮想輝度マップを作るようにしてもよい。
【0038】
上記各実施形態では、電子カメラ10として説明しているが、カメラ付き携帯電話やカメラ付電子機器等でもよい。また、放電発光によって閃光を発生する閃光光源を用いた内蔵フラッシュ17、及びフラッシュ装置(外部フラッシュ)45として説明しているが、本発明の照明手段としてはこれに限らず、LED(Light Emitting Diode)を用いた照明手段を使用してもよい。また、照明手段としては、複数使用してもよい。この場合には、マスターフラッシュと、前記マスターフラッシュからの本発光に同調して発光する単体又は複数のスレーブフラッシュとを使用すればよい。
【0039】
上記各実施形態では、照度輝度マップや仮想輝度マップを作るための演算を簡略化するために、実画像(輝度マップ)と深度マップとをそれぞれ縮小しているが、本発明ではこれに限らず、縮小しなくてもよい。また、上記各実施形態では、領域の輝度値や深度値を平均化して縮小マップを得るバイリニア法を用いているが、代わりに、バイキュービック法で縮小化をしてもよい。
【0040】
上記各実施形態では、被写体輝度が低輝度被写体の時に、フラッシュ撮影を行うための発光量を決定しているが、本発明ではこれに限らず、例えば日中シンクロ撮影モードが選択された時には、被写体輝度に関わらず発光量を決定してフラッシュ撮影を行うように構成してもよい。
【0041】
上記各実施形態では、シャッタレリーズの前に実画像、及び深度マップを常に1コマ分だけRAMに記憶しておき、シャッタレリーズの時にその前に記憶しておいた実画像、及び深度マップをRAMから読み出して発光量を決めるように構成してもよい。
【0042】
上記各実施形態では、撮像部11と深度マップ取得部12とを一体に設けた電子カメラ10として説明しているが、撮像部11と深度マップ取得部12とのいずれか一方、又は両方を別に設けた構成であってもよい。この場合、別に設けた方から実画像と深度マップの一方又は両方を外部から入力する構成にすればよい。また、撮像部11、深度マップ取得部12、及び照明手段を別々に設けてもよい。この場合、本発明としては、撮像部11、深度マップ取得部12、及び照明制御手段(CPU22)が省略され、実画像と深度マップとを外部入力とし、入力される実画像と深度マップとに基づいて照明光量を決定する照明光量決定方法、及び装置としてもよい。
【0043】
以上、本発明を好適な実施の形態に基づき具体的に説明したが、本発明は上記各実施形態で説明した構成に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。