特許 7039906 撮像装置、撮像方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-14

(45)【発行日】2022-03-23

(54)【発明の名称】撮像装置、撮像方法及びプログラム

(51)【国際特許分類】

   H04N 5/235 20060101AFI20220315BHJP

   H04N 5/225 20060101ALI20220315BHJP

   H04N 5/232 20060101ALI20220315BHJP

   G03B 7/091 20210101ALI20220315BHJP

   G03B 15/00 20210101ALI20220315BHJP

【ＦＩ】

H04N5/235 300

H04N5/225 800

H04N5/232 290

H04N5/235 500

G03B7/091

G03B15/00 H

【請求項の数】 19

(21)【出願番号】P 2017182580

(22)【出願日】2017-09-22

(65)【公開番号】P2019057887

(43)【公開日】2019-04-11

【審査請求日】2020-09-08

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100189913

【氏名又は名称】鵜飼 健

(72)【発明者】

【氏名】石毛 善樹

【審査官】中嶋 樹理

(56)【参考文献】

【文献】特開２０１４－１５０４７０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００９７９６４（ＵＳ，Ａ１）

【文献】特開２００４－２５４２６９（ＪＰ，Ａ）

【文献】特開２００６－１８０２７０（ＪＰ，Ａ）

【文献】特開平１１－１４４０３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３５

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

可視光で被写体の可視光画像を撮像する可視光撮像部と、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像部と、
前記赤外光撮像部により撮像された前記赤外光画像において前記被写体から輪郭を抽出することができ、前記可視光撮像部により撮像された前記可視光画像において前記被写体の前記輪郭が抽出できなかった場合に、前記赤外光画像の情報に基づいて前記可視光撮像部の露出時間を決定する決定部と、
を備える、
ことを特徴とする撮像装置。

【請求項2】

可視光で被写体の可視光画像を撮像する可視光撮像部と、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像部と、
前記赤外光撮像部によって撮像された赤外光画像の輝度と、撮像のときの赤外光露出時間と、標準となる被写体に対して前記赤外光画像を撮像するための赤外光露出時間と前記赤外光画像と同じ輝度となる前記可視光画像を撮像するための可視光露出時間との対応関係を示すテーブル又は関係式であって、前記標準となる被写体の色温度の複数分割範囲毎に取得された対応テーブル又は関数式と、から前記可視光撮像部によって撮像する可視光露出時間を決定する決定部と、
を、備える、
ことを特徴とする撮像装置。

【請求項3】

可視光で被写体の可視光画像を撮像する可視光撮像部と、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像部と、
前記可視光撮像部により第１の露出時間で撮像された画像において前記被写体の少なくとも１部が白飛びしており、前記赤外光撮像部により撮像された画像において前記可視光画像で白飛びしている前記被写体の少なくとも１部の輪郭が抽出できる場合に、前記可視光撮像部の露出時間を前記第１の露出時間よりも短く決定する決定部と、
を、備える、
ことを特徴とする撮像装置。

【請求項4】

可視光で被写体の可視光画像を撮像する可視光撮像部と、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像部と、
前記可視光撮像部により第２の露出時間で撮像された画像において前記被写体の少なくとも１部が黒つぶれしており、前記赤外光撮像部により撮像された画像において前記可視光画像で黒つぶれしている前記被写体の少なくとも１部の輪郭が抽出できる場合に、前記可視光撮像部の露出時間を前記第２の露出時間よりも長く決定する決定部と、
を、備える、
ことを特徴とする撮像装置。

【請求項5】

可視光で被写体の可視光画像を撮像する可視光撮像部と、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像部と、
前記赤外光撮像部で得た前記赤外光画像の情報に基づいて前記可視光撮像部の露出時間を決定する決定部と、
前記決定部により決定された露出時間で、前記可視光撮像部により撮像された複数の前記可視光画像に基づいて、ハイダイナミックレンジ画像を合成する合成部と、
を備える、
ことを特徴とする撮像装置。

【請求項6】

前記合成部は、前記ハイダイナミックレンジ画像を合成する過程で、中間露出の前記可視光画像の輝度成分の分布を示す合成マップ画像を作成する、
ことを特徴とする請求項５に記載の撮像装置。

【請求項7】

前記合成部は、前記合成マップ画像に基づいて前記複数の可視光画像の合成比率を求めて前記ハイダイナミックレンジ画像を合成する、
ことを特徴とする請求項６に記載の撮像装置。

【請求項8】

前記合成部は、前記可視光画像中の白飛びしている部分と黒飛びしている部分との間を複数の領域に分割し、前記領域毎に合成比率が段階的に変化するように前記ハイダイナミックレンジ画像を合成する、
ことを特徴とする請求項５に記載の撮像装置。

【請求項9】

前記可視光画像の撮像と前記赤外光画像の撮像とは１回の撮像指示に基づいて同時に実行される、
ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。

【請求項10】

可視光で被写体の可視光画像を撮像する可視光撮像工程と、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像工程と、
前記赤外光撮像工程にて撮像された前記赤外光画像において前記被写体から輪郭を抽出することができ、前記可視光撮像工程にて撮像された前記可視光画像において前記被写体の前記輪郭が抽出できなかった場合に、前記赤外光画像の情報に基づいて前記可視光撮像工程の露出時間を決定する決定工程と、
を含む、
ことを特徴とする撮像方法。

【請求項11】

可視光で被写体の可視光画像を撮像する可視光撮像工程と、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像工程と、
前記赤外光撮像工程にて撮像された赤外光画像の輝度と、撮像のときの赤外光露出時間と、標準となる被写体に対して前記赤外光画像を撮像するための赤外光露出時間と前記赤外光画像と同じ輝度となる前記可視光画像を撮像するための可視光露出時間との対応関係を示すテーブル又は関係式であって、前記標準となる被写体の色温度の複数分割範囲毎に取得された対応テーブル又は関数式と、から前記可視光撮像工程にて撮像する可視光露出時間を決定する決定工程と、
を、含む、
ことを特徴とする撮像方法。

【請求項12】

可視光で被写体の可視光画像を撮像する可視光撮像工程と、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像工程と、
前記可視光撮像工程にて第１の露出時間で撮像された画像において前記被写体の少なくとも１部が白飛びしており、前記赤外光撮像工程にて撮像された画像において前記可視光画像で白飛びしている前記被写体の少なくとも１部の輪郭が抽出できる場合に、前記可視光撮像工程の露出時間を前記第１の露出時間よりも短く決定する決定工程と、
を、含む、
ことを特徴とする撮像方法。

【請求項13】

可視光で被写体の可視光画像を撮像する可視光撮像工程と、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像工程と、
前記可視光撮像工程にて第２の露出時間で撮像された画像において前記被写体の少なくとも１部が黒つぶれしており、前記赤外光撮像工程にて撮像された画像において前記可視光画像で黒つぶれしている前記被写体の少なくとも１部の輪郭が抽出できる場合に、前記可視光撮像工程の露出時間を前記第２の露出時間よりも長く決定する決定工程と、
を、含む、
ことを特徴とする撮像方法。

【請求項14】

可視光で被写体の可視光画像を撮像する可視光撮像工程と、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像工程と、
前記赤外光撮像工程で得た前記赤外光画像の情報に基づいて前記可視光撮像工程の露出時間を決定する決定工程と、
前記決定工程にて決定された露出時間で、前記可視光撮像工程にて撮像された複数の前記可視光画像に基づいて、ハイダイナミックレンジ画像を合成する合成工程と、
を含む、
ことを特徴とする撮像方法。

【請求項15】

撮像装置のコンピュータを、
可視光で被写体の可視光画像を撮像する可視光撮像部、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像部、
前記赤外光撮像部により撮像された前記赤外光画像において前記被写体から輪郭を抽出することができ、前記可視光撮像部により撮像された前記可視光画像において前記被写体の前記輪郭が抽出できなかった場合に、前記赤外光画像の情報に基づいて前記可視光撮像部の露出時間を決定する決定部、
として機能させる、
ことを特徴とするプログラム。

【請求項16】

撮像装置のコンピュータを、
可視光で被写体の可視光画像を撮像する可視光撮像部、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像部、
前記赤外光撮像部によって撮像された赤外光画像の輝度と、撮像のときの赤外光露出時間と、標準となる被写体に対して前記赤外光画像を撮像するための赤外光露出時間と前記赤外光画像と同じ輝度となる前記可視光画像を撮像するための可視光露出時間との対応関係を示すテーブル又は関係式であって、前記標準となる被写体の色温度の複数分割範囲毎に取得された対応テーブル又は関数式と、から前記可視光撮像部によって撮像する可視光露出時間を決定する決定部、
として機能させる、
ことを特徴とするプログラム。

【請求項17】

撮像装置のコンピュータを、
可視光で被写体の可視光画像を撮像する可視光撮像部、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像部、
前記可視光撮像部により第１の露出時間で撮像された画像において前記被写体の少なくとも１部が白飛びしており、前記赤外光撮像部により撮像された画像において前記可視光画像で白飛びしている前記被写体の少なくとも１部の輪郭が抽出できる場合に、前記可視光撮像部の露出時間を前記第１の露出時間よりも短く決定する決定部、
として機能させる、
ことを特徴とするプログラム。

【請求項18】

撮像装置のコンピュータを、
可視光で被写体の可視光画像を撮像する可視光撮像部、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像部、
前記可視光撮像部により第２の露出時間で撮像された画像において前記被写体の少なくとも１部が黒つぶれしており、前記赤外光撮像部により撮像された画像において前記可視光画像で黒つぶれしている前記被写体の少なくとも１部の輪郭が抽出できる場合に、前記可視光撮像部の露出時間を前記第２の露出時間よりも長く決定する決定部、
として機能させる、
ことを特徴とするプログラム。

【請求項19】

撮像装置のコンピュータを、
可視光で被写体の可視光画像を撮像する可視光撮像部、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像部、
前記赤外光撮像部で得た前記赤外光画像の情報に基づいて前記可視光撮像部の露出時間を決定する決定部、
前記決定部により決定された露出時間で、前記可視光撮像部により撮像された複数の前記可視光画像に基づいて、ハイダイナミックレンジ画像を合成する合成部、
として機能させる、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、適正な撮像条件を得て撮像を実行する撮像装置、撮像方法及びプログラムに関する。

【背景技術】

【0002】

従来からデジタルカメラにおいては、各種条件下で適正な露出時間を算出した上で、撮像を実行する技術が提案されている。（例えば、特許文献１）

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－０５９４９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

前記特許文献に記載された技術では、露出時間の範囲については撮像の高速性を保つために予め定められた範囲に決められている。このような従来の撮像の場合、露出時間が予め定められた範囲以外における被写体の様相は捉えることができないという問題がある。

【0005】

本発明は前記のような実情に鑑みてなされたもので、目的とするところは、露出時間が予め定められた範囲以外における被写体の様相を捉えることが可能な撮像装置、撮像方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

前記目的を達成するため、本発明に係る撮像装置の一様態は、可視光で被写体の可視光画像を撮像する可視光撮像部と、赤外光で前記被写体の赤外光画像を撮像する赤外光撮像部と、前記赤外光撮像部により撮像された前記赤外光画像において前記被写体から輪郭を抽出することができ、前記可視光撮像部により撮像された前記可視光画像において前記被写体の前記輪郭が抽出できなかった場合に、前記赤外光画像の情報に基づいて前記可視光撮像部の露出時間を決定する決定部と、を備える、ことを特徴とする。

【0007】

前記目的を達成するため、本発明に係る撮像方法の一様態は、可視光で被写体の可視光画像を撮像する可視光撮像工程と、赤外光で前記被写体の赤外光画像を撮像する赤外光撮像工程と、前記赤外光撮像工程にて撮像された前記赤外光画像において前記被写体から輪郭を抽出することができ、前記可視光撮像工程にて撮像された前記可視光画像において前記被写体の前記輪郭が抽出できなかった場合に、前記赤外光画像の情報に基づいて前記可視光撮像工程の露出時間を決定する決定工程と、を含む、ことを特徴とする。

【0008】

前記目的を達成するため、本発明に係るプログラムの一様態は、撮像装置のコンピュータを、可視光で被写体の可視光画像を撮像する可視光撮像部、赤外光で前記被写体の赤外光画像を撮像する赤外光撮像部、前記赤外光撮像部により撮像された前記赤外光画像において前記被写体から輪郭を抽出することができ、前記可視光撮像部により撮像された前記可視光画像において前記被写体の前記輪郭が抽出できなかった場合に、前記赤外光画像の情報に基づいて前記可視光撮像部の露出時間を決定する決定部、として機能させる、ことを特徴とする。

【発明の効果】

【0009】

本発明によれば、露出時間が予め定められた範囲以外における被写体の様相を捉えることが可能な撮像装置、撮像方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係るデジタルカメラの機能回路の構成を示すブロック図。

【図2】一実施形態に係るＨＤＲ（ハイダイナミックレンジ）撮像時の処理内容を抽出して示すフローチャート。

【図3】一実施形態に係る図２のキャリブレーション処理（Ｓ１０２）の詳細な処理内容を示すフローチャート。

【図4】一実施形態に係る可視光画像及び赤外光画像から取得したエッジ抽出画像を例示する図。

【図5】一実施形態に係る赤外光画像から取得したエッジ画素領域の周辺と、黒つぶれ又は白飛びを生じている可視光画像から取得したエッジ画素領域の周辺をそれぞれ拡大した場合の概念を示す図。

【発明を実施するための形態】

【0011】

以下本発明をデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。

【0012】

図１は、一実施形態に係るデジタルカメラ１０の機能回路の構成を示すブロック図である。図１において、１１，１２は共に撮像レンズ部であり、デジタルカメラ１０の図示しない筐体の前面側に並設される。

【0013】

撮像レンズ部１１の合焦位置に、近赤外線透過フィルタを用いた赤外線イメージセンサ１３が設けられる。また撮像レンズ部１２の合焦位置に、可視光の原色カラーフィルタを用いたイメージセンサ１４が設けられる。

【0014】

本実施形態では、２系統の撮像レンズ光学系のパララックスを考慮して、撮像レンズ部１１，１２の各レンズ光軸が確実に平行に設定され、且つ可視光側の撮像レンズ部１２の撮像画角に比して、赤外光側の撮像レンズ部１１の撮像画角が若干広く、撮像レンズ部１２での撮像範囲を確実に撮像レンズ部１１の撮像範囲でカバーすることが可能であるものとする。

【0015】

赤外線イメージセンサ１３での受光により生成される赤外光画像信号は、Ａ／Ｄ変換部１５でデジタル化された後に画像処理部１７へ送られる。

【0016】

一方のイメージセンサ１４での受信により生成される可視光画像信号は、Ａ／Ｄ変換部１６でデジタル化された後に、同じく前記画像処理部１７へ送られる。

【0017】

画像処理部１７は、デジタルカメラ１０の画像エンジンを構成するプロセッサであり、Ａ／Ｄ変換部１５，１６を介して送られてきた赤外光画像データ及び可視光画像データに対する、必要な画像データ処理を実行し、実行結果をバスＢへ出力する。

【0018】

バスＢにはまた、フラッシュ駆動部１８、音声処理部１９、制御部２０、モニタ表示部２１、メモリカードインタフェイス（Ｉ／Ｆ）２２が接続される。

【0019】

フラッシュ駆動部１８は、共にデジタルカメラ１０の筐体の前面に配置される赤外線発光用のＬＥＤ（発光ダイオード）２３、及び白色発光用のＬＥＤ２４を選択的、又は同時に発光駆動してフラッシュ撮像を実行させる。

【0020】

音声処理部１９は、デジタルカメラ１０の筐体の前面に配置されるマイクロホン２５から入力される音声信号をデジタル化し、必要によりデータ圧縮処理を施してバスＢへ出力する。

【0021】

制御部２０は、デジタルカメラ１０全体の動作制御を実行するもので、操作部２６から直接入力されるキー操作信号を受け付けて、他の各回路を制御する。

【0022】

操作部２６は、例えば電源キー、シャッタキー、ズームキー、撮像モードキー、ディスプレイキー、十字カーソルキー、エンターキー、キャンセルキー、ファンクションキー等を有するものとする。

【0023】

モニタ表示部２１は、デジタルカメラ１０の筐体の背面側に設けられる、例えばチルト機構を備えた、バックライト内蔵のカラー液晶パネルとドライバ回路とを含む。モニタ表示部２１は、撮像モード時には、赤外線イメージセンサ１３及びイメージセンサ１４の少なくとも一方で撮像している画像をモニタ表示する一方で、再生モード時には、後述するメモリカード２７から読み出した画像データを用いて表示する。

【0024】

メモリカードインタフェイス２２は、前記制御部２０による制御に従い、カードスロットＣＳを介してデジタルカメラ１０に着脱自在に装着されたメモリカード２７に対して、撮像モード時には撮像により得られた画像データファイルを書き込んで記録させる一方で、再生モード時にはメモリカード２７から読み出して画像データファイルを画像処理部１７へ送出する。

【0025】

次に前記実施形態の動作について説明する。
図２は、撮像モード時に制御部２０が実行する、ＨＤＲ画像撮像時の処理内容を抽出して示すフローチャートである。同図では、操作部２６のシャッタキーの操作に応じて処理を開始すると、まず事前撮像用に赤外線イメージセンサ１３及びイメージセンサ１４の駆動周期を切り替えて、画像処理部１７による赤外光画像と可視光画像のモニタリングを開始させる（ステップＳ１０１）。

【0026】

モニタリング開始の状態で、イメージセンサ１４でのＨＤＲ（ハイダイナミックレンジ）撮像時の適切な露出時間を取得するためのキャリブレーション処理を実行する（ステップＳ１０２）。

【0027】

キャリブレーション処理の終了後、制御部２０は画像処理部１７によりモニタリング中の可視光画像中の被写体に動きがないことを確認させる（ステップＳ１０３）。この処理は、画像処理部１７が得られる可視光画像に対して輪郭抽出処理を実行して被写体となる画像部分を認識した上で、直前に得られた画像中の同一の被写体の画像部分と比較して位置の移動がないことを確認するものである。

【0028】

ここで被写体の位置が移動していると判断した場合（ステップＳ１０３のＮｏ）、制御部２０は再度前記ステップＳ１０２からの処理に戻る。

【0029】

こうしてステップＳ１０２、ステップＳ１０３の処理を繰返し実行することで、キャリブレーション処理により適切な露出時間を取得しながら、画像中の被写体が静止するのを待期する。

【0030】

図３は、前記ステップＳ１０３でのキャリブレーション処理のサブルーチンの詳細な処理内容を示すフローチャートである。

【0031】

当初に制御部２０は、赤外線イメージセンサ１３を走査駆動し、Ａ／Ｄ変換部１５を介して画像処理部１７で赤外光画像を取得させる（ステップＳ２０１）。平行して制御部２０は、イメージセンサ１４を走査駆動し、Ａ／Ｄ変換部１６を介して画像処理部１７で可視光画像を取得させる（ステップＳ２０２）。

【0032】

前記赤外光画像の取得と可視光画像の取得とは、タイミング上、できるだけ同時であることが望ましい。制御部２０は、画像処理部１７により前記赤外光画像と前記可視光画像との双方それぞれに対するエッジ（輪郭）抽出処理を実行させる（ステップＳ２０３）。

【0033】

制御部２０の制御の下で画像処理部１７は、こうして得られる、赤外光画像からのエッジ抽出画像と、可視光画像からのエッジ抽出画像と、をパターンマッチング処理により比較した上で、赤外光画像からのエッジ抽出画像には存在するものの、可視光画像からのエッジ抽出画像の同一画像領域には存在しないエッジがあるか否かを判断する（ステップＳ２０４）。

【0034】

ここで赤外光画像からのエッジ抽出画像に存在するものの、可視光画像からのエッジ抽出画像の同一画像領域には存在しないエッジがあると判断した場合（ステップＳ２０４のＹｅｓ）、画像処理部１７は、可視光画像では抽出することができなかった少なくとも１つのエッジの該当領域が、可視光画像中の黒つぶれを生じている部分にあるか否か、すなわち少なくとも１つのエッジに該当する部分の各画素値のＲ，Ｇ，Ｂ成分が、いずれも「０（ゼロ）」階調であるか否かを判断する（ステップＳ２０５）。

【0035】

図４（Ａ）は、可視光画像から取得したエッジ抽出画像を例示するものである。一方、図４（Ｂ）は、赤外光画像から取得したエッジ抽出画像を例示するものである。図４（Ｂ）中の破線が囲んで示す範囲IV内が、可視光画像では大きく黒つぶれしていて、抽出できなかったエッジ部分を示している。

【0036】

このように黒つぶれにより可視光画像から抽出することできなかったエッジが存在すると判断した場合（ステップＳ２０５のＹｅｓ）、前記ステップＳ２０２での標準的な可視光画像の撮像では黒つぶれ部分が発生していることから、画像処理部１７の判断結果を受けた制御部２０は、ＨＤＲ撮像を行なう場合のうち、特に画像中の暗い部分の階調を取得するために露出時間を長く設定して、全体に暗い方向の画像を撮像する場合の露出時間を、予め設定された標準範囲を外れる値となるように長い値に設定する（ステップＳ２０６）。

【0037】

また前記ステップＳ２０５において、黒つぶれにより可視光画像から抽出することができなかったエッジはなかったと判断した場合（ステップＳ２０５のＮｏ）、制御部２０は前記ステップＳ２０６での処理は実行しない。

【0038】

次に制御部２０の制御の下に画像処理部１７は、可視光画像では抽出することができなかった少なくとも１つのエッジの該当領域が、可視光画像中の白飛びを生じている部分にあるか否か、すなわちその少なくとも１つのエッジに該当する部分の各画素値のＲ，Ｇ，Ｂ成分が、いずれもフル階調（例えば量子化ビット数が８の場合で２５５階調）であるか否かを判断する（ステップＳ２０７）。

【0039】

白飛びにより可視光画像から抽出することできなかったエッジが存在すると判断した場合（ステップＳ２０７のＹｅｓ）、前記ステップＳ２０２での標準的な可視光画像の撮像では白飛び部分が発生していることから、画像処理部１７の判断結果を受けた制御部２０は、ＨＤＲ撮像を行なう場合のうち、特に画像中の明るい部分の階調を取得するために露出時間を短く設定して、全体に明るい方向の画像を撮像する場合の露出時間を、予め設定された標準範囲を外れる値となるように短い値に設定する（ステップＳ２０８）。

【0040】

前記ステップＳ２０７において、白飛びにより可視光画像から抽出することができなかったエッジはなかったと判断した場合（ステップＳ２０７のＮｏ）、制御部２０は前記ステップＳ２０８での処理は実行しない。

【0041】

また前記ステップＳ２０４において、赤外光画像からのエッジ抽出画像に存在するものの、可視光画像からのエッジ抽出画像の同一画像領域には存在しないエッジはなかったと画像処理部１７が判断した場合（ステップＳ２０４のＮｏ）、判断結果を受けた制御部２０は、前記ステップＳ２０５～Ｓ２０８の処理は実行しない。

【0042】

図５（Ａ）は、赤外光画像から取得したエッジ抽出画像中の、エッジ部分の該当画素周辺を拡大した場合の概念を示す図である。図５（Ａ）ではエッジ部分がその周囲と比較してはっきりとしたコントラストとなって抽出できている場合を示す。

【0043】

これに対して、図５（Ｂ）は、可視光無画像から取得したエッジ抽出画像中の、エッジ部分の該当画素周辺を拡大した場合の概念を示す図である。図５（Ｂ）では、可視光画像中に黒つぶれにより、本来はエッジとして抽出できる筈の部分が抽出できない状態となっているものとして、露出時間を多少長くなるように設定するものとする。

【0044】

反対に、図５（Ｃ）は、可視光無画像から取得したエッジ抽出画像中の、エッジ部分の該当画素周辺を拡大した場合の概念を示す図である。図５（Ｃ）では、可視光画像中に白飛びにより、本来はエッジとして抽出できる筈の部分が抽出できない状態となっているものとして、露出時間を多少短くなるように設定するものとする。

【0045】

前記のような処理を終了した後、ＨＤＲ撮像が例えば３枚の連続撮像により得た画像を合成して処理を行なうものとした場合、制御部２０は、全体に暗い方向の画像を撮像する場合、標準画像の撮像の場合、及び全体に明るい方向の画像を撮像する場合についてそれぞれ露出時間を決定し（ステップＳ２０９）、以上でこの図３のサブルーチンを終了して、図２のメインルーチンに戻る。

【0046】

なお、前記ステップＳ２０６又はステップＳ２０８の処理において、全体に暗い方向の画像を撮像する場合の露出時間と、全体に明るい方向の画像を撮像する場合の露出時間と、の一方のみを変更設定した場合には、露出時間を長く、又は、短く変更設定した段階に合わせて、標準画像撮像時の露出時間も半段階分程、変更設定するものとしても良い。

【0047】

図２のメインルーチンにおいて、前記ステップＳ１０２、ステップＳ１０３の処理を繰返し実行し、必要によりキャリブレーション処理によって、黒つぶれ又は白飛びを少なくとも大きな範囲で生じずにＨＤＲ撮像が実行できるような露出時間の設定を終えた段階で、画像中の被写体が静止したと判断すると（ステップＳ１０３のＹＥＳ）、制御部２０は実際のＨＤＲ撮像を開始させ（ステップＳ１０４）、前記撮像レンズ部１２、イメージセンサ１４、Ａ／Ｄ変換部１６及び画像処理部１７による可視光側の撮像系において、予め設定された複数画像を連写により撮像させる（ステップＳ１０５）。

【0048】

制御部２０は、得られた、それぞれ露出時間の異なる複数の可視光画像により、画像処理部１７で画像合成処理によりＨＤＲ画像を算出させる（ステップＳ１０６）。

【0049】

なお、前記ＨＤＲ画像の合成処理時には、標準となる中間露出の可視光画像から、輝度成分の分布を示す合成マップ画像を作成するものとしても良い。

【0050】

加えて、前記ＨＤＲ画像の合成処理時には、可視光画像中の白飛びしている部分と黒飛びしている部分との間を複数のマスク領域に分割して、それぞれのマスク領域毎に白飛びしている領域から黒飛びしている領域までを合成比率が段階的に変化するようにしてＨＤＲ画像を合成するものとしても良い。

【0051】

以上の算出により得たＨＤＲ画像は、適宜予め設定されたデータフォーマットに従ってデータ圧縮を伴うファイルデータ化させた上で、メモリカードインタフェイス２２を介してメモリカード２７に記録させ、以上で一連のＨＤＲ画像の撮像処理を一旦終了する。

【0052】

以上詳述した如く前記実施形態によれば、露出時間が予め定められた範囲以外における被写体の様相を捉えることが可能となる。

【0053】

また、前記実施形態では、赤外光画像と可視光画像とでそれぞれ事前に撮像した画像中からエッジ（輪郭）を抽出した画像を取得して、比較により可視光画像の不適切な撮像条件を判断するものとしたので、画像処理部１７による演算処理の負担を比較的低いものとしながら、適切な露出時間を決定することができる。

【0054】

更に、前記実施形態では、赤外光画像と可視光画像とを同時に撮像するものとしたので、画像中の被写体の動きや撮像者自身の撮像方向の変化等の影響を排除できる。

【0055】

なお、前記実施形態では詳細に説明しなかったが、図３のステップＳ２０６及びステップＳ２０８において露出時間を変更設定するに当たっては、標準となる被写体に対して、赤外光画像を撮像するための赤外光露出時間と、赤外光画像と同じ輝度となる可視光画像を撮像するための可視光露出時間と、の対応関係を予め取得して記録しておき、記録内容に基づいて可視光画像を撮像する際の露出時間を決定するものとすれば、露出時間を決定するための処理を簡易化し、より短いタイムラグで本撮像に移行できる。

【0056】

更に、前記赤外光画像を撮像するための赤外光露出時間と、赤外光画像と同じ輝度となる可視光画像を撮像するための可視光露出時間と、の対応関係を、対応テーブル又は関数式として取得し、記録するものとすれば、更に露出時間を決定するための処理を簡易化できると共に、装置のファームアップ等にも容易に対応させることができる。

【0057】

また、前記対応関係を、標準となる被写体の複数の分割範囲毎に色温度の対応テーブル又は関数式として取得するものとすれば、被写体の画像に合わせて、より適切な露出時間を決定することができる。

【0058】

なお、前記実施形態では、特に本撮像前の事前撮像で得た可視光画像中に白飛びが発生している場合には、露出時間を事前撮像時より短く設定することで、確実に白飛びの発生を抑制できる。

【0059】

同様に、本撮像前の事前撮像で得た可視光画像中に黒つぶれが発生している場合に、露出時間を事前撮像時より長く設定することで、確実に黒つぶれの発生を抑制できる。

【0060】

また、前記実施形態では、本撮像時に露出時間の異なる複数の画像を連写して画像合成処理により階調のダイナミックレンジを拡げるＨＤＲ画像を得るものとしたので、本撮像時の露出時間の決定をより簡易、且つ、短時間で決定することにより、シャッタチャンスを逃さず、迅速に本撮像時の動作を開始させることができる。

【0061】

なお、ＨＤＲ画像の合成処理時には、標準となる中間露出の可視光画像から輝度成分の分布を示す合成マップ画像を作成し、分布領域毎で画像合成を行なっても良いものとした。これにより、画像合成時の演算処理をより簡易化することが可能となると共に、分布領域に応じた合成比率を設定することで、画像全体の階調のバランスを考慮したＨＤＲ画像を得ることができる。

【0062】

また、前記ＨＤＲ画像を得るに当たっては、可視光画像中の白飛びしている部分と黒飛びしている部分との間を複数の領域に分割し、領域毎に合成比率が段階的に変化するようにしてＨＤＲ画像を合成所定も良いものとした。これにより、少ない演算量で、きわめて自然に階調が変化するＨＤＲ画像を生成することができる。

【0063】

なお、前記実施形態では、赤外光画像を撮像する撮像レンズ光学系と、可視光画像を撮像する撮像レンズ光学系と、の２つの撮像レンズ光学系を独立して有するデジタルカメラ１０について説明したが、本発明はこれに限ることなく、１つの撮像レンズ光学系とし、光軸中に赤外線透過フィルタ又は赤外線除去フィルタを装脱可能とする構成や、例えば、ダイクロイックミラー等を用いて周波数帯域によって光路を分岐し、赤外光用のイメージセンサと可視光用のイメージセンサに同時に受光させる構成、又は、光の波長帯域によって透過深度が異なることを利用して、複数の透過深度毎に感光層が多重に積層された固体撮像素子を用いる構成など、他の構成によっても実現可能である。

【0064】

その他、本発明は、実施形態に限定されるものではなく、実施段階では要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合、組み合わせた効果が得られる。更に、実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、構成要件が削除された構成が発明として抽出され得る。

【0065】

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［付記１］
可視光で被写体の可視光画像を撮像する可視光撮像部と、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像部と、
前記赤外光撮像部で得た前記赤外光画像の情報に基づいて前記可視光撮像部の露出時間を決定する決定部と、
を備える、
ことを特徴とする撮像装置。
［付記２］
前記決定部は、前記赤外光撮像部により撮像された前記赤外光画像において前記被写体から輪郭を抽出することができ、前記可視光撮像部により撮像された前記可視光画像において前記被写体の前記輪郭が抽出できなかった場合に、前記赤外光画像の情報に基づいて前記可視光撮像部の露出時間を決定する、
ことを特徴とする付記１に記載の撮像装置。
［付記３］
前記可視光画像の撮像と前記赤外光画像の撮像とは１回の撮像指示に基づいて同時に実行される、
ことを特徴とする付記１又は２に記載の撮像装置。
［付記４］
標準となる被写体に対して、前記赤外光画像を撮像するための赤外光露出時間と、前記赤外光画像と同じ輝度となる前記可視光画像を撮像するための可視光露出時間と、の対応関係を予め取得しておく対応関係取得部と、
前記対応関係取得部により予め取得された対応関係を記録する記録部と、
を更に備え、
前記決定部は、前記赤外光画像の輝度と、前記赤外光露出時間と、前記記録部により読み出された前記対応関係と、から前記可視光露出時間を決定する、
ことを特徴とする付記１乃至３のいずれか１項に記載の撮像装置。
［付記５］
前記対応関係取得部は、前記対応関係を対応テーブル又は関数式として取得する、
ことを特徴とする付記４に記載の撮像装置。
［付記６］
前記対応関係取得部は、前記対応関係を前記標準となる被写体の色温度の複数分割範囲毎に前記対応テーブル又は前記関数式として取得する、
ことを特徴とする付記５に記載の撮像装置。
［付記７］
前記決定部は、前記可視光撮像部により第１の露出時間で撮像された画像において前記被写体の少なくとも１部が白飛びしており、前記赤外光撮像部により撮像された画像において前記可視光画像で白飛びしている前記被写体の少なくとも１部の輪郭が抽出できる場合に、前記可視光撮像部の露出時間を前記第１の露出時間よりも短く決定する、
ことを特徴とする付記１乃至６のいずれか１項に記載の撮像装置。
［付記８］
前記決定部は、前記可視光撮像部により第２の露出時間で撮像された画像において前記被写体の少なくとも１部が黒つぶれしており、前記赤外光撮像部により撮像された画像において前記可視光画像で黒つぶれしている前記被写体の少なくとも１部の輪郭が抽出できる場合に、前記可視光撮像部の露出時間を前記第２の露出時間よりも長く決定する、
ことを特徴とする付記１乃至７のいずれか１項に記載の撮像装置。
［付記９］
前記決定部により決定された露出時間で、前記可視光撮像部により撮像された複数の前記可視光画像に基づいて、ハイダイナミックレンジ画像を合成する合成部を更に備える、
ことを特徴とする付記１乃至８のいずれか１項に記載の撮像装置。
［付記１０］
前記合成部は、前記ハイダイナミックレンジ画像を合成する過程で、中間露出の前記可視光画像の輝度成分の分布を示す合成マップ画像を作成する、
ことを特徴とする付記９に記載の撮像装置。
［付記１１］
前記合成部は、前記合成マップ画像に基づいて前記複数の可視光画像の合成比率を求めて前記ハイダイナミックレンジ画像を合成する、
ことを特徴とする付記１０に記載の撮像装置。
［付記１２］
前記合成部は、前記可視光画像中の白飛びしている部分と黒飛びしている部分との間を複数の領域に分割し、前記領域毎に合成比率が段階的に変化するように前記ハイダイナミックレンジ画像を合成する、
ことを特徴とする付記９に記載の撮像装置。
［付記１３］
可視光で被写体の可視光画像を撮像する可視光撮像工程と、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像工程と、
前記赤外光撮像工程で得た前記赤外光画像の情報に基づいて前記可視光撮像工程の露出時間を決定する決定工程と、
を含む、
ことを特徴とする撮像方法。
［付記１４］
撮像装置のコンピュータを、
可視光で被写体の可視光画像を撮像する可視光撮像部、
赤外光で前記被写体の赤外光画像を撮像する赤外光撮像部、
前記赤外光撮像部で得た前記赤外光画像の情報に基づいて前記可視光撮像部の露出時間を決定する決定部、
として機能させる、
ことを特徴とするプログラム。

【符号の説明】

【0066】

１０…デジタルカメラ
１１，１２…撮像レンズ部
１３…赤外線イメージセンサ
１４…（可視光用）イメージセンサ
１５，１６…Ａ／Ｄ変換部
１７…画像処理部
１８…フラッシュ駆動部
１９…音声処理部
２０…制御部
２１…モニタ表示部
２２…メモリカードインタフェイス（Ｉ／Ｆ）
２３…（赤外線（Ｉｒ））ＬＥＤ
２４…（白色光（Ｗ））ＬＥＤ
２５…マイクロホン
２６…操作部
２７…メモリカード
Ｂ…バス
ＣＳ…カードスロット

【図1】

【図2】

【図3】

【図4】

【図5】