特許7191597撮像装置及びそれを備える監視システム、制御方法並びにプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-09
(45)【発行日】2022-12-19
(54)【発明の名称】撮像装置及びそれを備える監視システム、制御方法並びにプログラム
(51)【国際特許分類】
G03B 7/091 20210101AFI20221212BHJP
G02B 7/16 20210101ALI20221212BHJP
G02B 7/28 20210101ALI20221212BHJP
G03B 11/00 20210101ALI20221212BHJP
G03B 13/34 20210101ALI20221212BHJP
G03B 15/00 20210101ALI20221212BHJP
G03B 15/02 20210101ALI20221212BHJP
G03B 15/03 20210101ALI20221212BHJP
G03B 15/05 20210101ALI20221212BHJP
G03B 17/00 20210101ALI20221212BHJP
G03B 17/02 20210101ALI20221212BHJP
G03B 19/07 20210101ALI20221212BHJP
G03B 37/00 20210101ALI20221212BHJP
H04N 5/225 20060101ALI20221212BHJP
H04N 5/232 20060101ALI20221212BHJP
H04N 5/235 20060101ALI20221212BHJP
H04N 5/243 20060101ALI20221212BHJP
【ＦＩ】
G03B7/091
G02B7/16
G02B7/28 N
G03B11/00
G03B13/34
G03B15/00 P
G03B15/00 S
G03B15/02 G
G03B15/03 Z
G03B15/05
G03B17/00 B
G03B17/02
G03B19/07
G03B37/00 A
H04N5/225 300
H04N5/225 400
H04N5/225 600
H04N5/225 800
H04N5/232 380
H04N5/235
H04N5/235 100
H04N5/235 400
H04N5/243
【請求項の数】
16
(21)【出願番号】P 2018161685
(22)【出願日】2018-08-30
(65)【公開番号】P2020034758
(43)【公開日】2020-03-05
【審査請求日】2021-07-26
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100125254
【弁理士】
【氏名又は名称】別役 重尚
(72)【発明者】
【氏名】沼田 愛彦
【審査官】登丸 久寿
(56)【参考文献】
【文献】特表２０１３－５１９２５４（ＪＰ，Ａ）
【文献】特開２０１６－０５８９９５（ＪＰ，Ａ）
【文献】特開２０１５－１９５４９９（ＪＰ，Ａ）
【文献】特開２００９－０１７４７４（ＪＰ，Ａ）
【文献】特開２００１－２４５２０５（ＪＰ，Ａ）
【文献】特開平１１－２０５６４８（ＪＰ，Ａ）
【文献】特開２０１５－２２２９１６（ＪＰ，Ａ）
【文献】特開２０１４－２２５８２８（ＪＰ，Ａ）
【文献】特開２０１６－２０８３０６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０３Ｂ ７／０９１
Ｇ０２Ｂ ７／１６
Ｇ０２Ｂ ７／２８
Ｇ０３Ｂ １１／００
Ｇ０３Ｂ １３／３４
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ １５／０２
Ｇ０３Ｂ １５／０３
Ｇ０３Ｂ １５／０５
Ｇ０３Ｂ １７／００
Ｇ０３Ｂ １７／０２
Ｇ０３Ｂ １９／０７
Ｇ０３Ｂ ３７／００
Ｈ０４Ｎ ５／２２５
Ｈ０４Ｎ ５／２３２
Ｈ０４Ｎ ５／２３５
Ｈ０４Ｎ ５／２４３
(57)【特許請求の範囲】
【請求項1】
広角画像を生成するため一部が重複する異なる撮影範囲を撮影する複数の撮像部を有する多眼撮像部と、前記多眼撮像部の全ての撮影範囲のうちの一部を撮影する単一の撮像部及び前記単一の撮像部の撮影方向を変更可能な駆動機構を有する単眼撮像部とを備えた撮像装置であって、前記単眼撮像部は、その撮影範囲内に照明強度のピークを有する第１の照明部を備えており、
前記多眼撮像部の前記複数の撮像部は、各々の撮影により取得した画像から測光値を取得する測光部を夫々有しており、
前記照明部を使用して撮影する際に、前記多眼撮像部の前記複数の撮像部のうち、撮影範囲が前記単眼撮像部の撮影範囲と重なっている第１の撮像部の露出レベルを、撮影範囲が前記単眼撮像部の撮影範囲と重なっていない第２の撮像部の露出レベルよりも小さい値となるよう制御する制御手段と、
前記測光部の夫々が前記測光値を計算するための範囲を前記取得した画像の一部に評価枠として設定する評価枠設定手段と、を備え、
前記評価枠設定手段は、前記多眼撮像部の前記複数の撮像部のうち、前記単眼撮像部の撮影方向に近い撮影範囲の撮像部ほど、前記取得した画像の中心部分を含む狭い領域を前記評価枠に設定することを特徴とする撮像装置。
【請求項2】
前記制御手段は、前記多眼撮像部の前記複数の撮像部のうち、前記単眼撮像部の撮影方向に近い撮影範囲を撮影する撮像部ほど、露出レベルを小さくすることを特徴とする請求項１記載の撮像装置。
【請求項3】
前記制御手段は、前記照明部による照明の強度分布の拡がりが、前記単眼撮像部の撮影範囲よりも狭く、前記第２の撮像部が複数存在する場合、前記第２の撮像部の露出レベルを共通の値に設定することを特徴する請求項１又は２記載の撮像装置。
【請求項4】
前記制御手段は、前記照明部の照明強度のピークが、前記単眼撮像部の撮影方向と一致している場合、前記多眼撮像部の前記複数の撮像部のうち、撮影範囲の少なくとも一部が前記単眼撮像部の撮影範囲と重なっている撮像部に対してシェーディング補正を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項5】
前記多眼撮像部を構成する前記複数の撮像部の各々が、各々の撮影範囲内に照明強度のピークを有する第２の照明部を有することを特徴とする、請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項6】
前記制御手段は、前記第２の撮像部のフレームレートを、前記第１の撮像部のフレームレートよりも遅くなるよう制御することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項7】
前記第１の照明部は、狭角照明部と前記狭角照明部より配光角度の広い広角照明部を有し、前記単眼撮像部の撮影画角が所定の画角未満である場合には前記狭角照明部を撮影時における照明に使用し、前記単眼撮像部の撮影画角が前記所定の画角以上である場合には前記広角照明部を撮影時における照明に使用することを特徴とする、請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項8】
前記制御手段は、前記単眼撮像部の撮影方向を変化させた場合に、前記第１の撮像部の露出レベルを前記第２の撮像部の露出レベルよりも小さい値となるよう仮決定する仮決定手段と、
前記仮決定された露出レベルで前記複数の撮像部の各々で撮影を行い、前記複数の撮像部の夫々から画像を取得する第１の取得手段と、
前記第１の取得手段で取得した画像から前記複数の撮像部の夫々の前記測光部で測光値を取得する第２の取得手段と、
前記第２の取得手段で取得した測光値を用いて、前記複数の撮像部の各々の露出レベルを調整する露出レベル調整手段とを備えることを特徴とする、請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項9】
前記第１の照明部の照明波長が近赤外光であって、前記多眼撮像部及び前記単眼撮像部が夫々、可視光を選択的に透過し、近赤外光を選択的に吸収する赤外カットフィルタと、前記赤外カットフィルタを挿抜するための挿抜機構を更に備え、前記挿抜機構により前記多眼撮像部の前記赤外カットフィルタが抜去されている状態で前記第１の照明部を使用して撮影が行われる場合に、前記制御手段による前記多眼撮像部の前記複数の撮像部の露出レベルの制御を行うことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項10】
前記多眼撮像部と前記単眼撮像部の少なくともどちらか一方が可視光用画素と近赤外光用画素を有する固体撮像素子を有することを特徴とする請求項９記載の撮像装置。
【請求項11】
前記多眼撮像部の前記複数の撮像部の各々は、フォーカスレンズ位置を移動させることにより焦点距離を制御可能なフォーカス制御機構を更に備え、且つ、前記単眼撮像部は環境光の明度を測定する環境光測光部を更に備え、前記制御手段は、
前記環境光測光部により測定された明度が所定値以上である場合は、
前記多眼撮像部の前記複数の撮像部のフォーカスレンズ位置をすべて、可視光入射時において第１のフォーカスレンズ位置に前記フォーカス制御機構により移動する移動手段と、
前記環境光測光部により測定された明度が所定値未満となった場合は、前記第１の照明部の使用を開始すると共に、前記第１の撮像部のフォーカスレンズ位置を、赤外光入射時において、可視光入射時における第１のフォーカスレンズ位置に対応する焦点距離となるような、第２のフォーカスレンズ位置に調整するレンズ位置調整手段とを備えることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項12】
前記広角画像を生成する生成手段を更に備えることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
【請求項13】
前記複数の撮像部から取得された複数の画像を、前記広角画像を生成する外部装置に出力する出力手段を更に備えることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
【請求項14】
請求項１乃至１３のいずれか１項に記載の撮像装置、及び前記広角画像及び前記単眼撮像部で撮影された画像を表示すると共に前記撮像装置の制御するための指示を前記撮像装置に送信する情報処理装置を備えることを特徴とする監視システム。
【請求項15】
広角画像を生成するため一部が重複する異なる撮影範囲を撮影する複数の撮像部を有する多眼撮像部と、前記多眼撮像部の全ての撮影範囲のうちの一部を撮影する単一の撮像部及び前記単一の撮像部の撮影方向を変更可能な駆動機構を有する単眼撮像部とを備えた撮像装置の制御方法であって、前記単眼撮像部は、その撮影範囲内に照明強度のピークを有する照明部を備えており、
前記多眼撮像部の前記複数の撮像部は、各々の撮影により取得した画像から測光値を取得する測光部を夫々有しており、
前記照明部を使用して撮影する際に、前記多眼撮像部の前記複数の撮像部のうち、撮影範囲が前記単眼撮像部の撮影範囲と重なっている第１の撮像部の露出レベルを、撮影範囲が前記単眼撮像部の撮影範囲と重なっていない第２の撮像部の露出レベルよりも小さい値となるよう制御する制御ステップと、
前記測光部の夫々が前記測光値を計算するための範囲を前記取得した画像の一部に評価枠として設定する評価枠設定ステップと、を有し、
前記評価枠設定ステップにおいて、前記多眼撮像部の前記複数の撮像部のうち、前記単眼撮像部の撮影方向に近い撮影範囲の撮像部ほど、前記取得した画像の中心部分を含む狭い領域が前記評価枠に設定されることを特徴とする制御方法。
【請求項16】
請求項１５記載の制御方法を実行することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置及びそれを備える監視システム、制御方法並びにプログラムに関し、特に、夜間の監視などの用途に使用される撮像装置及びそれを備える監視システム、制御方法並びにプログラムに関する。
【背景技術】
【0002】
夜間などの低照度時にも鮮明な被写体像を取得するために、赤外ＬＥＤ光源を照明として被写体を照明する撮像装置が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１３－４１２８２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、照明として完全拡散光源を用いた場合でも、被照明平面への照度は、光源直下に比べてその周辺へ行くほどコサイン４乗則に従って低下するため、被写体を均一な照度で照明することは難しい。ましてや、特許文献１のように、指向性の強い配向分布を有しているＬＥＤ光源を照明として用いた場合、被写体を均一な照度で照明することは更に困難である。
【0005】
このように被写体を均一な照度で照明できない場合、画角内の被写体の輝度分布にムラが生じ、撮影される画像の品質が低下してしまう。特に、輝度分布のムラが大きい場合には、撮影される画像に白トビや黒ツブレが生じやすくなってしまう。
【0006】
そこで、本発明は、照明使用時の撮影画像の品質を向上できる撮像装置及びそれを備える監視システム、制御方法並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の請求項１に係る撮像装置は、広角画像を生成するため一部が重複する異なる撮影範囲を撮影する複数の撮像部を有する多眼撮像部と、前記多眼撮像部の全ての撮影範囲のうちの一部を撮影する単一の撮像部及び前記単一の撮像部の撮影方向を変更可能な駆動機構を有する単眼撮像部とを備えた撮像装置であって、前記単眼撮像部は、その撮影範囲内に照明強度のピークを有する第１の照明部を備えており、前記多眼撮像部の前記複数の撮像部は、各々の撮影により取得した画像から測光値を取得する測光部を夫々有しており、前記照明部を使用して撮影する際に、前記多眼撮像部の前記複数の撮像部のうち、撮影範囲が前記単眼撮像部の撮影範囲と重なっている第１の撮像部の露出レベルを、撮影範囲が前記単眼撮像部の撮影範囲と重なっていない第２の撮像部の露出レベルよりも小さい値となるよう制御する制御手段と、前記測光部の夫々が前記測光値を計算するための範囲を前記取得した画像の一部に評価枠として設定する評価枠設定手段と、を備え、前記評価枠設定手段は、前記多眼撮像部の前記複数の撮像部のうち、前記単眼撮像部の撮影方向に近い撮影範囲の撮像部ほど、前記取得した画像の中心部分を含む狭い領域を前記評価枠に設定することを特徴とする。
【0008】
本発明の請求項１４に係る監視システムは、前記撮像装置、及び前記広角画像及び前記単眼撮像部で撮影された画像を表示すると共に前記撮像装置の制御するための指示を前記撮像装置に送信する情報処理装置を備えることを特徴とする。
【発明の効果】
【0009】
本発明によれば、照明使用時の撮影画像の品質を向上できる。
【図面の簡単な説明】
【0010】
【図1A】実施形態１に係る撮像装置を斜めから見た俯瞰図である。
【図3】図１における単眼撮像部の撮影範囲が、多眼撮像部の２つの撮像部と重なっており、その２つの撮像部の一方が他方より単眼撮像部の撮影方向に近い場合の多眼撮像部における撮像装置の露出レベル制御を説明するための図である。
【図4】実施形態２に係る撮像装置の内部の機能ブロック図である。
【図7】実施形態３に係る撮像装置の単眼撮像部の撮影範囲が、多眼撮像部の１つの撮像部とのみ重なっている場合の多眼撮像部における露出レベル制御を説明するための図である。
【図8】実施形態３に係る、多眼撮像部の各撮像部の露出レベルの設定処理の手順を示すフローチャートである。
【図9】実施形態４に係る撮像装置で取得される、フォーカスレンズの位置と焦点距離の関係を示すテーブルである。
【図10】実施形態５に係る、第一及び単眼撮像部の夫々において赤外カットフィルタの挿抜機構を有する場合の単眼撮像部の撮影方向に基づく露出レベル制御の切り替えを示すテーブルである。
【発明を実施するための形態】
【0011】
以下、図を用いて、本発明の実施形態における撮像装置について説明する。
【0012】
［実施形態１］
実施形態１に係る撮像装置について図１Ａ～図１Ｃ（以下、これらを総称する場合、図１と称す）を用いて説明する。図１Ａは、撮像装置１００を斜めから見た俯瞰図、図１Ｂは撮像装置１００を上側、すなわち＋Ｚ軸側から見た図、図１Ｃは撮像装置１００の内部の機能ブロック図である。
実施形態１に係る撮像装置について図１Ａ～図１Ｃ（以下、これらを総称する場合、図１と称す）を用いて説明する。図１Ａは、撮像装置１００を斜めから見た俯瞰図、図１Ｂは撮像装置１００を上側、すなわち＋Ｚ軸側から見た図、図１Ｃは撮像装置１００の内部の機能ブロック図である。
【0013】
図１に示すように、撮像装置１００は、多眼撮像部１１０、合成処理部１１４、単眼撮像部１２０、制御部１３０、及び転送部１４０を備える。
【0014】
多眼撮像部１１０は、広角画像１０１を生成するため一部が重複する異なる撮影範囲を撮影する複数の撮像部１１１ａ～ｄを有する。
【0015】
単眼撮像部１２０は、詳細画像１０２を取得するため、多眼撮像部１１０の全ての撮影範囲のうちの一部を撮影する単一の撮像部１２１を有する。
【0016】
制御部１３０は、多眼撮像部１１０及び単眼撮像部１２０の動作等、撮像装置１００の動作全体を制御する。
【0017】
転送部１４０は、広角画像１０１及び詳細画像１０２を外部のクライアント装置に転送する。具体的には、転送部１４０は、有線または無線などのネットワークを介して、外部のクライアント装置に接続されており、転送する対象の画像を広角画像１０１及び詳細画像１０２の一方に転送部１４０内部の不図示スイッチで切り替える。これにより、転送部１４０から外部のクライアント装置に同一のネットワークを介して広角画像１０１及び詳細画像１０２を順番に転送する。
【0018】
外部のクライアント装置は、撮像装置１００を制御するための指示を、ネットワークを介して転送部１４０に送信する。その後、転送部１４０がコマンドを制御部１３０に送信すると、制御部１３０はこれに応じた処理を撮像装置１００において行い、その処理結果をコマンドに対するレスポンスとしてクライアント装置に送信する。クライアント装置は例えばＰＣなどの外部機器であり、ネットワークは、有線ＬＡＮ、無線ＬＡＮ等により構成されている。また、ネットワークを介して撮像装置１００に電源を供給する構成となっていても良い。
【0019】
すなわち本実施形態では、撮像装置１００及びこれとネットワークを介して接続する外部のクライアント装置（情報処理装置）により、本発明に係る撮像装置を用いた監視システムが構成される。
【0020】
次に、多眼広角カメラである多眼撮像部１１０について説明する。
【0021】
多眼撮像部１１０は、撮影範囲の一部が重複するように配置された複数の撮像部１１１ａ～ｄを有し、撮像部１１１ａ～ｄで取得した複数の画像を、合成処理部１１４において合成することで広角画像１０１を生成している。具体的には、隣接する複数の撮像部（例えば撮像部１１１ａ，１１１ｂ）で取得した画像の重複部分をずらしながら相関係数を求める、所謂パターンマッチングの技術を適用することで、複数の画像間の位置ずらし量を求め、広角画像１０１を生成している。尚、本実施例では、合成処理部１１４により広角画像１０１を生成しているが、これに限定されない。例えば、撮像部１１１ａ～ｄで取得した画像を転送部１４０（出力手段）が外部のクライアント装置に出力し、外部クライアント装置が撮像部１１１ａ～ｄで取得した画像から広角画像１０１を生成するようにしてもよい。
【0022】
複数の撮像部１１１ａ～ｄは各々、結像光学系１１２ａ～ｄ及び、固体撮像素子１１３ａ～ｄを有している。そして、結像光学系１１２ａ～ｄを介して被写体像を固体撮像素子１１３ａ～ｄ上に結像させることで、画像を取得している。
【0023】
各々の固体撮像素子１１３ａ～ｄの駆動と信号読み出しは、制御部１３０によって制御されている。すなわち、制御部１３０は、固体撮像素子１１３ａ～ｄ中の画素への電荷蓄積時間を制御することで、多眼撮像部１１０中の各々の撮像部１１１ａ～ｄの露出レベルを制御する。この露出レベル制御の詳細については後述する。尚、上記露出レベルの制御は、固体撮像素子１１３ａ～ｄ以外の光量・露出調節するパーツに係る露出パラメータ、例えば、デジタルゲイン、絞り値、ＮＤフィルタなどの濃度などを制御することにより行ってもよい。
【0024】
次に、単眼カメラである単眼撮像部１２０について説明する。
【0025】
単眼撮像部１２０は、結像光学系１２２及び固体撮像素子１２３からなる単一の撮像部１２１、撮影方向を変更可能な駆動機構１２４、及び照明部１２５を有する。多眼撮像部１１０と同様に、固体撮像素子１２３の駆動と信号読み出しは、制御部１３０によって制御されている。
【0026】
駆動機構１２４はモーターとギアを備え、モーターを駆動する電力を制御することで、単眼撮像部１２０を一体的に特定の回転軸の周りに回転させる。この駆動機構１２４による単眼撮像部１２０の回転は、制御部１３０によって制御されている。尚、駆動機構１２４にモーターを複数設けることで、単眼撮像部１２０を複数の回転軸の周りに回転させる構成としても良い。
【0027】
照明部１２５は、ＩｎＧａＮやＡｌＧａＡｓなどの化合物半導体材料や、有機半導体などから構成されるＬＥＤであり、単眼撮像部１２０の撮影画角を照明している。即ち、照明部１２５は、単眼撮像部１２０の撮影範囲内に照明強度のピークを有している。照明部１２５から放射される照明光の波長は、各々の撮像部１１１ａ～ｄ，１２１中の固体撮像素子１１３ａ～１１３ｄ，１２３が感度を有する波長に設定されている。例えば、各々の固体撮像素子１１３ａ～ｄ，１２３をシリコンで形成した場合、照明光のピーク波長は３００ｎｍ以上１１００ｎｍ以下に設定すればよい。
【0028】
本発明に示す撮像装置１００は、照明部１２５を使用して撮影を行う際に、単眼撮像部１２０の撮影方向に基づいて、多眼撮像部１１０の複数の撮像部１１１ａ～ｄの露出レベルを制御している。具体的には、多眼撮像部１１０を構成する複数の撮像部１１１ａ～ｄのうち、撮影範囲の少なくとも一部が単眼撮像部１２０と重なっている撮像部の露出レベルを、撮影範囲が単眼撮像部１２０と重なっていない撮像部の露出レベルよりも小さい値に制御している。例えば、図１Ｂの場合は、この露出レベルの制御により多眼撮像部１１０を構成する複数の撮像部１１１ａ～ｄのうち、撮像部１１１ｂ，１１１ｃの露出レベルは、それ以外の撮像部１１１ａ，１１１ｄの露出レベルよりも小さい値となる。
【0029】
このような構成とすることにより、照明部１２５を使用して撮影を行う際に、照明の配光分布に起因して発生する、広角画像１０１の輝度ムラを低減することができる。
【0030】
以下、図２を用いて、単眼撮像部１２０の撮影範囲が、多眼撮像部１１０の１つの撮像部の撮影範囲とのみ重なり、他の撮像部の撮影範囲とは重なっていない場合の多眼撮像部１１０における露出レベル制御を従来例と比較しながら説明する。
【0031】
図２（ａ）は、単眼撮像部１２０の撮影範囲が、多眼撮像部１１０の撮像部１１１ａの撮影範囲とのみ重なっている状態を示す。そして、図２（ｂ）は、その際の照明部１２５によって生じる照明部１２５からの照明の強度分布、図２（ｃ）は、その際に露出レベル調整を行った場合に撮像部１１１ａ～ｄに設定する露出レベルを示す。ここで、露出レベルとは所謂ＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）値である。すなわち、ＥＶ値が１だけ増すと、画像の輝度が２倍に大きくなる。図２（ｄ）は、図２（ｃ）に示す露出レベル調整に加えて、撮像部１１１ａ～ｄの画素信号レベルをフラットにするため撮像部１１１ａの撮影範囲内においてシェーディング調整を行う場合のシェーディング補正値である。このシェーディング調整についての説明は後述する。
【0032】
前述した通り、単眼撮像部１２０が向いている方向に照明部１２５の照明強度のピークが存在する。従って、図２（ｂ）に示すように、多眼撮像部１１０の全ての撮像部１１１ａ～ｄの露出レベルが等しい場合、撮影範囲が単眼撮像部１２０の撮影範囲と重なる撮像部１１１ａのみ、他の撮像部１１１ｂ～ｄより取得される画像が明るくなってしまう。その結果、撮像部１１１ａ～ｄで撮影される画像を合成して生成する広角画像１０１において、輝度ムラが発生してしまう。
【0033】
一方、撮像部１１１ａの露出レベルを、撮像部１１１ｂ～ｄの露出レベルよりも小さくした場合、撮像部１１１ａで取得される画像と、撮像部１１１ｂ～ｄで取得される画像の明るさの差が低減する。その結果、撮像部１１１ａ～ｄで撮影される画像を合成して生成する広角画像１０１における輝度ムラを低減することができる。その結果、広角画像１０１の品質を向上できる。
【0034】
尚、単眼撮像部１２０の撮影画角内で撮像部１１１ａ～ｄの露出レベルを変えるようにしてもよい。すなわち、単眼撮像部１２０の撮影範囲が、多眼撮像部１１０中の複数の撮像部の撮影範囲と重なっている場合、各々の撮像部間で露出レベルを異なる値に制御しても良い。具体的には、撮像部１１１ａ～ｄのうち、単眼撮像部１２０の撮影方向に近い撮影範囲を撮影する撮像部ほど、露出レベルを小さくする方が好ましい。ここで、単眼撮像部１２０の撮影方向とは、結像光学系１２２の光軸の方向を意味する。
【0035】
以下、図３を用いて、単眼撮像部１２０の撮影範囲が、多眼撮像部１１０の２つの撮像部の撮影範囲と重なっており、その２つの撮像部の一方が他方より単眼撮像部の撮影方向に近い場合の多眼撮像部１１０における撮像装置の露出レベル制御を説明する。
【0036】
図３（ａ）は、単眼撮像部１２０の撮影範囲が、多眼撮像部１１０の撮像部１１１ａ，１１１ｂの撮影範囲と重なっており、撮像部１１１ａの方が撮像部１１１ｂより単眼撮像部１２０の撮影方向に近い状態を示す。図３（ｂ）は、その際に生じる照明部１２５からの照明の強度分布、図３（ｃ）は、その際の撮像部１１１ａ～ｄに設定する露出レベルである。
【0037】
図３（ｂ）よりわかるように、撮像部１１１ａ，１１１ｂに対する照明部１２５からの照明の強度分布を比較した場合、単眼撮像部１２０の撮影方向に近い撮像部１１１ａの撮影範囲の方が、撮像部１１１ｂの撮影範囲よりも、照明強度が大きい。従って、撮像部１１１ｂよりも撮像部１１１ａの露出レベルを小さくした方が、生成される広角画像１０１の輝度ムラを低減することができる。
【0038】
また、多眼撮像部１１０の撮像部１１１ａ～ｄのうち単眼撮像部１２０の撮影範囲外にある撮像部の露出レベルも、照明部１２５からの照明の強度分布の拡がりが単眼撮像部１２０の撮影範囲よりも広い場合は制御するようにしてもよい。具体的には、図３（ｂ）の撮像部１１１ｃのように、単眼撮像部１２０の撮影範囲と重なっていないが、照明部１２５からの照明の強度分布の拡がりが撮影範囲の一部に掛っている場合である。このような場合、撮像部１１１ｃ，１１１ｄにおいても、露出レベルを異なる値に制御した方が好ましい。具体的には、図３（ｃ）に示す様に、多眼撮像部１１０の撮像部１１１ａ～ｄのうち、単眼撮像部１２０の撮影方向に近い撮影範囲を撮影する撮像部ほど、露出レベルを小さくするよう制御することが好ましい。
【0039】
一方、照明部１２５からの照明の強度分布の拡がりが、単眼撮像部１２０の撮影範囲よりも狭い場合がある。この場合は、多眼撮像部１１０の撮像部１１１ａ～ｄのうち単眼撮像部１２０の撮影範囲と重なっていない撮像部が複数存在する場合（図２（ｂ）においては撮像部１１１ｂ～ｄ）においては、図２（ｃ）のように、露出レベルを共通の値に設定する方が好ましい。
【0040】
以上では、多眼撮像部１１０の複数の撮像部１１１ａ～ｄの夫々の露出レベルを調整することで、広角画像１０１の輝度ムラが低減する方法を説明した。この方法に加えて、撮像部１１１ａ～ｄの撮影範囲（画角）内での輝度ムラを低減する方がより好ましい。具体的には、多眼撮像部１１０の複数の撮像部１１１ａ～ｄの夫々の撮影範囲内において輝度ムラを補正する、所謂シェーディング補正（調整）を行えばよい。
【0041】
シェーディング補正の係数は、照明部１２５の照度分布をあらかじめ測定して求めておけばよい。具体的には、一様な反射率分布を有する被写体に対して照明部１２５のみ点灯させたときに撮像部１１１ａ～ｄで取得した画像からこの照度分布を測定することができる。
【0042】
照明部１２５の照明強度のピークが単眼撮像部１２０の撮影方向と一致している場合、多眼撮像部１１０の撮像部１１１ａ～ｄのうち、撮影範囲の少なくとも一部が単眼撮像部１２０の撮影範囲と重なっている撮像部に対してシェーディング補正が行われる。より具体的には、図２（ｄ）に示すように、多眼撮像部１１０の撮像部１１１ａ～ｄの撮影範囲に対し、単眼撮像部１２０の撮影方向から遠いほど、画素信号レベルを大きくする補正を行えばよい。
【0043】
図１Ｃでは、単眼撮像部１２０のみが照明部１２５を有し、多眼撮像部１１０は照明部を有していない場合を示した。但し、多眼撮像部１１０の撮像部１１１ａ～ｄの各々が、各々の撮影範囲内に照明強度のピークを有する照明部を有していても良い。この場合、低照度時の広角画像１０１のＳＮ比が向上するため、更に好ましい。
【0044】
また図１Ｂ，図１Ｃでは、多眼撮像部１１０が４つの撮像部１１１ａ～ｄを有する場合を示したが、多眼撮像部１１０が有する撮像部の個数は４つでなくても良い。例えば、多眼撮像部１１０が２つや３つ、ないしは５つ以上の撮像部を有していても良い。また、多眼撮像部１１０の撮影範囲は、図１Ｂの点線で示す範囲でなくても良く、例えば３６０度全周が撮影範囲であっても良い。
【0045】
さらに本実施形態では、転送部１４０は、転送する対象の画像を広角画像１０１及び詳細画像１０２の一方に不図示のスイッチで切り替えて、外部のクライアント装置に同一のネットワークを介して順番に転送したが、転送方法はこれに限定されない。例えば、撮像装置１００は、広角画像１０１の転送専用の転送部と詳細画像１０２の転送専用の転送部を有し、異なるネットワークを介して広角画像１０１及び詳細画像１０２を外部のクライアント装置に転送するようにしてもよい。但し、同一のネットワークを介して配信した方が、広角画像１０１と詳細画像１０２間の対応関係が把握しやすいため、好ましい。
【0046】
本実施形態ではさらに、転送部１４０が、広角画像１０１及び詳細画像１０２を外部のクライアント装置に転送し、且つ外部のクライアント装置からの命令を受信し、制御部１３０が、その命令に応じて撮像装置１００の動作を制御する例を示した。但し、この例に限定されるわけでない。例えば、撮像装置１００が、転送部１４０の代わりに、広角画像１０１及び詳細画像１０２を保存するメモリ、メモリの広角画像１０１や詳細画像１０２を表示するビューア、及びユーザの命令を受け付けるインターフェース部を有していても良い。また、図１Ｃに示す撮像装置１００が、上記メモリ、ビューア、及びインターフェース部を併せ持っていても良い。
【0047】
以上では、多眼撮像部１１０の複数の撮像部１１１ａ～ｄの露出レベルを制御する方法として、固体撮像素子１１３ａ～ｄ中の画素への電荷蓄積時間を制御する例を示したが、必ずしもこの方法を使用しなくても良い。
【0048】
例えば、撮像装置１００が固体撮像素子１１３ａ～ｄにおける信号増幅係数（ゲイン）を制御するゲイン制御部を有している場合は、露出レベルを制御しても良い。尚、固体撮像素子１１３ａ～ｄが、内部にＡＤ変換の機能を有している場合、そのゲイン制御部はＡＤ変換前の信号増幅係数（アナログゲイン）を制御する方が好ましい。また、複数の撮像部１１１ａ～ｄ中の結像光学系１１２ａ～ｄが絞り制御機構を夫々有している場合は、制御部１３０によって各絞り制御機構を制御することで複数の撮像部１１１ａ～ｄの露出レベルを制御しても良い。更に、結像光学系１１２ａ～ｄが光吸収フィルタ及びその挿抜機構を夫々有している場合は、制御部１３０が各挿抜機構を用いて各光吸収フィルタの挿抜を制御することで露出レベルを制御しても良い。あるいは、結像光学系１１２ａ～ｄが光吸収フィルタとして液晶などから構成される透過率可変フィルタを夫々有している場合は、制御部１３０はその透過率可変フィルタに印加する電圧を制御することで露出レベルを制御しても良い。また、以上説明した複数の露出レベルの制御方法を組み合わせても良い。
【0049】
また、照明部１２５による照明強度が強い場合、電荷蓄積時間の制御に加えて、多眼撮像部１１０の各撮像部１１１ａ～ｄのフレームレートを変更しても良い。フレームレートが遅いほど、固体撮像素子１１３ａ～ｄの電荷蓄積時間を長く設定できるため、撮像部１１１ａ～ｄの露出レベルを上げることができる。すなわち、多眼撮像部１１０の各撮像部１１１ａ～ｄのうち、撮影範囲が単眼撮像部１２０の撮影範囲と重なっていない撮像部を、撮影範囲の少なくとも一部が単眼撮像部１２０と重なっている撮像部よりフレームレートが遅くなるよう制御部１３０が制御する。これにより、広角画像１０１の輝度ムラを更に低減することができる。
【0050】
［実施形態２］
以下、実施形態２について説明する。本実施形態の各構成には２００番台を付番する。また、実施形態１と同様の構成については、付番を１００番台から２００番台に変更して用い、実施形態１と重複した説明は行わない。
以下、実施形態２について説明する。本実施形態の各構成には２００番台を付番する。また、実施形態１と同様の構成については、付番を１００番台から２００番台に変更して用い、実施形態１と重複した説明は行わない。
【0051】
実施形態２に係る撮像装置２００は、実施形態１に係る撮像装置１００に対して、単眼撮像部２２０の構成が異なる。
【0052】
図４は、実施形態２に係る撮像装置２００の内部の機能ブロック図である。
【0053】
図４において、撮像装置２００中の単眼撮像部２２０は、単眼撮像部１２０と同様の構成に加えて、撮像部２２１の撮影画角を変更可能なズーム制御機構２２６を有している。ズーム制御機構２２６は、モーターとギアを備え、単眼撮像部２２０中の各結像光学系２２２の一部のレンズを光軸方向に移動することで、ズーム比を変化させる構成とすればよい。
【0054】
また、単眼撮像部２２０の照明部２２５は配光角度の狭い狭角照明部２２５ａと配光角度の広い広角照明部２２５ｂを有しており、単眼撮像部２２０の撮影画角に応じて、狭角照明部２２５ａと広角照明部２２５ｂを使い分けている。具体的には、単眼撮像部２２０の撮影画角が所定の画角未満の狭い画角である場合には狭角照明部２２５ａを撮影時における照明に使用する。一方、単眼撮像部２２０の撮影画角が所定の画角以上の広い画角である場合には広角照明部２２５ｂを撮影時における照明に使用する構成となっている。
【0055】
このように、単眼撮像部２２０の撮影画角に応じて、配光角度の異なる狭角照明部２２５ａと広角照明部２２５ｂを使い分けることで、単眼撮像部２２０を用いて撮影している被写体を効率よく照明することが可能となる。その結果、詳細画像２０２の画質を向上できる。以下で説明を行う。
【0056】
一般に、撮影画角を変更可能な撮像装置を用いて撮影を行う場合、撮像装置からの距離が遠い被写体を撮影する場合ほど、拡大して撮影する必要があるため、撮影画角を狭くする。言い換えると、撮影画角が狭いほど、撮像装置からの距離が遠い被写体を照明する必要がある。一方、照明の光束量を一定と仮定した場合、配光角度を狭くするほど単位角度当たりの光束（光度）を大きくすることができる。
【0057】
従って、単眼撮像部２２０の撮影画角が狭い場合には、配光角度を狭い狭角照明部２２５ａを用いることで光度を上げた方が好ましい。一方、単眼撮像部２２０の撮影画角が広い場合には、配光角度を広い広角照明部２２５ｂを用いることで照射範囲を広げた方が好ましい。これにより、撮影したい被写体を効率よく照明することができる。
【0058】
そして、撮像装置２００では、単眼撮像部２２０の撮影画角に基づいて、多眼撮像部２１０を構成する複数の撮像部２１１ａ～ｄの露出レベルを制御している。具体的には、単眼撮像部２２０の撮影画角が狭いほど、撮像部２１１ａ～ｄのうち、撮影範囲の少なくとも一部が単眼撮像部２２０と重なっている撮像部の露出レベルと、撮影範囲が単眼撮像部２２０と重なっていない撮像部の露出レベルの差を大きくしている。
【0059】
このような構成とすることにより、単眼撮像部２２０の撮影画角が変化した際の、照明強度分布の変化に起因して発生する、広角画像２０１の輝度ムラも低減することができるため、更に好ましい。
【0060】
以下、図５及び図６を用いて、単眼撮像部２２０の撮影範囲が、多眼撮像部２１０の１つの撮像部２１１ａの撮影範囲とのみ重なっており、他の撮像部２１１ｂ～ｄの撮影範囲と重なっていない場合の多眼撮像部２１０における露出レベル制御を説明する。
【0061】
【0062】
前述したように、実施形態２に示す撮像装置２００では、単眼撮像部２２０の撮影画角が狭いほど、照明部２２５からの照明は配光角度が狭くなる。そのため、図５（ｂ）、図６（ｂ）に示す様に、単眼撮像部２２０の撮影画角が狭いほど、照明部２２５からの照明強度のピーク値が大きくなる。従って、図５（ｃ）、図６（ｃ）のように、単眼撮像部２２０の撮影画角が狭いほど、撮像部２１１ａと撮像部２１１ｂ～ｄの間の露出レベルの差を大きくする。これにより、生成される広角画像２０１の輝度ムラを低減させることができる。
【0063】
［実施形態３］
以下、実施形態３について説明する。本実施形態の各構成には３００番台を付番する。また、実施形態１と同様の構成については、付番を１００番台から３００番台に変更して用い、実施形態１と重複した説明は行わない。
以下、実施形態３について説明する。本実施形態の各構成には３００番台を付番する。また、実施形態１と同様の構成については、付番を１００番台から３００番台に変更して用い、実施形態１と重複した説明は行わない。
【0064】
実施形態３に係る撮像装置３００は、実施形態１に係る撮像装置１００に対して、多眼撮像部３１０の各撮像部３１１ａ～ｄは、各々の撮影により取得した画像から測光値を取得する測光部３１５ａ～ｄを夫々有している点が異なる。測光部３１５ａ～ｄは、固体撮像素子３１３ａ～ｄから読み出された画素信号から、多眼撮像部３１０の各撮像部３１１ａ～ｄが撮影した画像の平均的な信号レベルである測光値を取得する。この時、制御部３３０は、測光部３１５ａ～ｄの夫々が測光値を計算するための範囲（以下、評価枠と呼ぶ）を、画像の一部のみに設定しても良く（評価枠設定手段）、また画像の領域によって重みづけ平均を行って測光値を取得しても良い。
【0065】
そして、撮像部３１１ａ～ｄの露出レベルを、単眼撮像部３２０の撮影方向に加えて、測光部３１５ａ～ｄの夫々で取得した測光値に基づいて制御している。このような構成とすることで、広角画像３０１の画質をさらに向上できるため、好ましい。
【0066】
図７を用いて、単眼撮像部３２０の撮影範囲が、多眼撮像部３１０の１つの撮像部３１１ａの撮影範囲とのみ重なっており、他の撮像部３１１ｂ～ｄの撮影範囲とは重なっていない場合の多眼撮像部３１０における露出レベル制御を説明する。
【0067】
前述したように、単眼撮像部３２０の撮影範囲と重なっている撮像部３１１ａの撮影範囲には、照明部３２５からの照明強度のピークが存在する。但し、図７（ｂ）に示す様に、それ以外の環境光の分布によっても、撮像部３１１ａ～ｄの各々の撮影範囲の照度は変化する。
【0068】
言い換えると、撮像部３１１ａの撮影範囲の照度と、撮像部３１１ｂ～ｄの撮影範囲の照度との差は、主に照明部３２５からの照明により決定されるものの、正確には環境光の分布にも依存している。そのため、実施形態３に示す撮像装置３００では、撮像部３１１ａ～ｄの測光値を取得して、撮像部３１１ａと撮像部３１１ｂ～ｄの露出レベルの差を調整することで、広角画像３０１の輝度ムラを更に低減している。
【0069】
尚、撮像装置３００は、単眼撮像部３２０の撮影方向の情報と、測光部３１５ａ～ｄの夫々で取得した測光値の情報の双方を用いて、露出レベルを制御する。これにより、単に測光値だけを用いて露出レベルを制御するよりも、露出レベルの調整が容易となっている。以下で説明を行う。
【0070】
図８は、多眼撮像部３１０の露出レベル設定処理の手順を示すフローチャートである。本処理は、撮像装置３００の制御部３３０により実行され、単眼撮像部３２０の撮影方向に応じて各撮像部３１１ａ～ｄの露出レベルが設定される。
【0071】
具体的にはまず、ステップＳ３１において、ユーザがクライアント装置において、単眼撮像部３２０の撮影方向の変更を指示する。
【0072】
この撮影方向の変更の指示は、ネットワークを介して撮像装置３００に送られ、制御部３３０が駆動部３２４を制御することで、単眼撮像部３２０の撮影方向が変化する（ステップＳ３２）。
【0073】
この変化後の単眼撮像部３２０の撮影方向における照明部３２５からの照明強度に起因する分の輝度差を打ち消すように、多眼撮像部３１０の各撮像部３１１ａ～ｄの露出レベルを仮決定する（ステップＳ３３：仮決定手段）。すなわち、多眼撮像部３１０の撮像部３１１ａ～ｄのうち、撮影範囲が単眼撮像部３２０の撮影範囲と少なくとも一部が重なる撮像部の露出レベルが、撮影範囲が単眼撮像部３２０の撮影範囲と重ならない撮像部の露出レベルより小さい値となるよう仮決定する。
【0074】
その後、ステップＳ３３で仮決定された露出レベルで撮像部３１１ａ～ｄの夫々で撮影を行い、撮像部３１１ａ～ｄの夫々から取得された画像から、測光部３１５ａ～ｄで測光値を取得する（ステップＳ３４：第１及び第２の取得手段）。
【0075】
そして、ステップＳ３５において、ステップＳ３４の測光部３１５ａ～ｄで取得した測光値を用いて、多眼撮像部３１０の各撮像部３１１ａ～ｄの露出レベルを調整する（露出レベル調整手段）。その後、多眼撮像部３１０の夫々で再度撮影を行い、その撮影により得られた画像から広角画像３０１を生成する。
【0076】
従来のように、ステップＳ３３を省略し、多眼撮像部３１０の各撮像部３１１ａ～ｄの露出レベルを仮決定せずに、ステップＳ３４で多眼撮像部３１０の各撮像部３１１ａ～ｄが撮影を行い、得られた画像から取得した測光値により露出レベルを調整してもよい。この場合、最適な露出レベルに落ち着くまでに、複数フレームを有したり、フレーム間で輝度差が激しくなってしまったりする。
【0077】
一方、ステップＳ３３において、単眼撮像部３２０の撮影方向という情報から、撮像部３１１ａ～ｄの露出レベルを仮決定するようにすると、ステップＳ３５における露出レベルの調整が容易となる。その結果、最適な露出レベルで撮影を行うまでの時間が短縮できるため、好ましい。
【0078】
以上のように、本実施形態によれば、単眼撮像部３２０の撮影方向のみを用いた場合よりも、広角画像３０１の輝度ムラを低減させることができ、また、撮像部３１１ａ～ｄの測光値のみを用いた場合よりも、露出レベルの調整を容易とすることができる。
【0079】
尚、制御部３３０は、測光部３１５ａ～ｄの夫々が測光値を取得するための評価枠を、単眼撮像部３２０の撮影方向に基づいて設定するようにしても良い。具体的には、多眼撮像部３１０の撮像部３１１ａ～ｄのうち、撮影範囲の少なくとも一部が単眼撮像部３２０の撮影範囲と重なっている撮像部に対しては、画像の中心部分を評価枠に設定することが好ましい。これにより、照明部３２５によって発生する照明強度のピークをより確実に捉えることが可能となる。一方、多眼撮像部３１０の撮像部３１１ａ～ｄのうち、撮影範囲が単眼撮像部３２０の撮影範囲と重なっていない撮像部に対しては、画像全体を評価枠に設定することが好ましい。これにより、環境光による測光値への影響を確実に捉えることが可能となる。即ち、多眼撮像部３１０の各撮像部３１１ａ～ｄのうち、単眼撮像部３２０の撮影方向に近い撮影範囲の撮像部ほど、取得した画像の中心部分を含む狭い領域を、制御部３３０が評価枠に設定する方が好ましい。
【0080】
［実施形態４］
以下、実施形態４について説明する。本実施形態の各構成には４００番台を付番する。また、実施形態１と同様の構成については、付番を１００番台から４００番台に変更して用い、実施形態１と重複した説明は行わない。
以下、実施形態４について説明する。本実施形態の各構成には４００番台を付番する。また、実施形態１と同様の構成については、付番を１００番台から４００番台に変更して用い、実施形態１と重複した説明は行わない。
【0081】
実施形態４に係る撮像装置４００は、実施形態１に係る撮像装置１００に対して、多眼撮像部４１０の撮像部４１１ａ～ｄの構成が異なる。具体的には、撮像部４１１ａ～ｄは、各々、焦点距離を制御可能なフォーカス制御機構４１５ａ～ｄを有している。フォーカス制御機構４１５ａ～ｄは、モーターとギアを備え、各結像光学系４１２ａ～ｄのフォーカスレンズの位置を光軸方向に移動することで、焦点距離を変化させる構成とすればよい。また、単眼撮像部４２０は、環境光の明度を測光値として測定する測光部４２６（環境光測光部）を有し、測光部４２６により測定された明度が所定値以上である場合にデイモードとし、所定値未満である場合はナイトモードにする。
【0082】
そして、撮像装置４００は、単眼撮像部４２０の撮影方向に基づいて、多眼撮像部４１０の撮像部４１１ａ～ｄの焦点距離を制御している。具体的には、多眼撮像部４１０の撮像部４１１ａ～ｄのうち、撮影範囲の少なくとも一部が単眼撮像部４２０の撮影範囲と重なっている撮像部の焦点距離を、撮影範囲が単眼撮像部４２０の撮影範囲と重なっていない撮像部の焦点距離とは異なる値に制御する。このような構成とすることで、広角画像４０１の画質を更に向上できる。以下で、説明を行う。
【0083】
ここでは、例えば店舗や駐車場の出入口に設けられた監視用途に撮像装置４００が用いられる場合を考える。このような場合、特定の撮影領域（この場合は出入口）にピント位置を合わせたまま撮影し続けた方が好ましい。また、例えば工場での組み立て工程の監視や、障害物検知用の車載用に撮像装置４００が用いられる場合などにおいても、特定の撮影領域にピント位置を合わせたまま撮影し続けた方が好ましい。
【0084】
しかしながら、一般に結像光学系は色収差を有しているため、結像光学系に入射する光の波長に応じて、焦点距離が異なる。特に、波長差が大きくなるほど、焦点距離の差異は大きくなる。その結果、以下のような課題が発生する。
【0085】
例えば、主に可視光が結像光学系４１２ａ～ｄに入射する日中において、被写体にピントが合うようにフォーカス制御機構４１５ａ～ｄで焦点距離を設定した後、夜間に照明部４２５を使用して近赤外光の照明を照射した場合を想定する。すると、撮像部４１１ａ～ｄのうち、可視光と近赤外光の色収差によって、照明部４２５によって照射されている範囲の焦点距離がずれてしまい、被写体にピントが合わなくなってしまう。この問題は、主に照明部４２５による近赤外光が結像光学系４１２ａ～ｄに入射する夜間において顕著となる。
【0086】
そこで、本実施形態では、夜間においては、多眼撮像部４１０の撮像部４１１ａ～ｄのうち、撮影範囲の少なくとも一部が単眼撮像部４２０の撮影範囲と重なっている撮像部のフォーカスレンズの位置を再設定する。このようにすることで、複数の撮像部４１１ａ～ｄで同一の被写体にピントが合った状態で撮影を行うことができる。また、日中、夜間を問わず、同一の被写体にピントが合った状態で多眼撮像部４１０の撮像部４１１ａ～ｄが撮影を行うことができるため、好ましい。
【0087】
照明光によらず、多眼撮像部４１０の撮像部４１１ａ～ｄの間で焦点距離を固定するには、以下のようにすればよい。
【0088】
まず、制御部４３０は、各結像光学系４１２ａ～ｄにおける、透過した光の波長毎のフォーカスレンズの位置と焦点距離の関係を示す図９のテーブルの情報を予め取得しておく。
【0089】
次に、測光部４２６により所定値以上が測定された場合、すなわち、日中であると判定された場合、制御部４３０は、コントラストＡＦや、位相差ＡＦなど種々のフォーカス処理に基づいて、被写体にピントが合う位置にフォーカスレンズの位置を調整する。例えば、図９の可視光入射時のフォーカスレンズ位置であるＰＶＩ＿１にフォーカスレンズの位置を調整する。
【0090】
その後、測光部４２６により所定値未満が測定された場合、すなわち、夜間であると判定された場合、制御部４３０は、照明部４２５の使用を開始する。この開始後は、制御部４３０は、多眼撮像部４１０の撮像部４１１ａ～ｄのうち、撮影範囲の少なくとも一部が単眼撮像部４２０の撮影範囲と重なっている撮像部は、その結像光学系を透過する光の波長が変化したと判定する。
【0091】
かかる判定がされた撮像部については、図９のテーブルに基づき、そのフォーカスレンズ位置を上記設定された焦点距離に対応する赤外光入射時のフォーカスレンズ位置にその撮像部のフォーカスレンズの位置を調整する（レンズ位置調整手段）。例えば、上記例のように、日中のフォーカスレンズの位置がＰＶＩ＿１に設定されていた場合、かかる判定がされた撮像部については、フォーカスレンズの位置をＰＶＩ＿１からＰＩＲ＿１に調整する。
【0092】
［実施形態５］
以下、実施形態５について説明する。本実施形態の各構成には５００番台を付番する。また、実施形態１と同様の構成については、付番を１００番台から５００番台に変更して用い、実施形態１と重複した説明は行わない。
以下、実施形態５について説明する。本実施形態の各構成には５００番台を付番する。また、実施形態１と同様の構成については、付番を１００番台から５００番台に変更して用い、実施形態１と重複した説明は行わない。
【0093】
実施形態５に係る撮像装置５００は、可視光のみによる画像を取得するデイモードと、可視光及び近赤外光の両方による画像を取得するナイトモードの切り替えが可能となっている。
【0094】
具体的には、測光部５２６により測定された明度が所定値以上である場合にデイモードとし、所定値未満である場合にナイトモードとする。また、多眼撮像部５１０中の複数の撮像部５１１ａ～ｄ、及び単眼撮像部５２０の撮像部５２１は夫々、可視光を選択的に透過し、近赤外光を選択的に吸収する赤外カットフィルタと、赤外カットフィルタを挿抜するための挿抜機構を有している。ここで、可視光とは波長３８０ｎｍから７５０ｎｍまでの波長の光、近赤外光とは７５０ｎｍから１１００ｎｍの波長の光のことを意味する。また、単眼撮像部５２０中の照明部５２５の照明波長は近赤外光である。
【0095】
撮像装置５００は、多眼撮像部５１０及び単眼撮像部５２０の夫々において、赤外カットフィルタを挿入するデイモードと、多眼撮像部５１０及び単眼撮像部５２０の双方において、赤外カットフィルタを抜去するナイトモードを有する。そして、ナイトモードの際には、単眼撮像部５２０中の照明部５２５を使用して撮影を行う。
【0096】
ナイトモード時には、単眼撮像部５２０の赤外カットフィルタが抜去され、且つ単眼撮像部５２０中の照明部５２５が使用される。この場合、単眼撮像部５２０の撮影方向に基づいて、多眼撮像部５１０中の複数の撮像部５１１ａ～ｄの露出レベルが制御される。このような構成とすることで、広角画像５０１の輝度ムラを抑制することができる。一方、デイモード時には、照明部５２５を使用しないため、単眼撮像部５２０の撮影方向によらず、一定の露出レベルを設定すればよい。
【0097】
尚、デイモードとナイトモードに加えて、多眼撮像部５１０または単眼撮像部５２０の片方の赤外カットフィルタを抜去し、片方の赤外カットフィルタを挿入するハイブリッドモードを有するようにしても良い。
【0098】
例えば、単眼撮像部５２０中の固体撮像素子５２３の感度が多眼撮像部５１０中の固体撮像素子５１３ａ～ｄよりも低い場合、多眼撮像部５１０の赤外カットフィルタを挿入し、単眼撮像部５２０の赤外カットフィルタを抜去するモードとする方が好ましい。この時、単眼撮像部５２０中の照明部５２５を使用して、単眼撮像部５２０で取得される詳細画像５０２のＳＮ比を向上させる方が好ましい。但し、多眼撮像部５１０には赤外カットフィルタが挿入されているため照明部５２５によって放射される近赤外光は多眼撮像部５１０の固体撮像素子５１３ａ～ｄには入射しない。このため、単眼撮像部５２０の撮影方向によらず、多眼撮像部５１０の撮像部５１１ａ～ｄにおいては、一定の露出レベルを設定すればよい。
【0099】
多眼撮像部５１０中の固体撮像素子５１３ａ～ｄの感度が単眼撮像部５２０中の固体撮像素子５２３よりも低い場合、多眼撮像部５１０の赤外カットフィルタを抜去し、単眼撮像部５２０の赤外カットフィルタを挿入するモードとする方が好ましい。なぜなら、単眼撮像部５２０では可視光のみで十分な画質の画像が取得可能な照度においても、多眼撮像部５１０では可視光のみで十分な画質の画像が取得できなくなってしまうからである。
【0100】
この時、単眼撮像部５２０中の照明部５２５を使用して撮影する方が、多眼撮像部５１０で取得される広角画像５０１のＳＮ比が向上するため好ましい。更に、単眼撮像部５２０の撮影方向に基づいて、多眼撮像部５１０の撮像部５１１ａ～ｄの露出レベルを制御すれば、照明分布によって発生する輝度ムラも抑制することができる。
【0101】
以上で説明した、多眼撮像部５１０及び単眼撮像部５２０の夫々において赤外カットフィルタの挿抜機構を有する場合の単眼撮像部５２０の撮影方向に基づく露出レベル制御の有無を図１０に示す。すなわち、撮像装置５００の露出レベル制御の有無は、上記各モードにおける多眼撮像部５１０及び単眼撮像部５２０の夫々の赤外カットフィルタの挿抜、照明部５２５の使用不使用、単眼撮像部５２０の撮影方向に基づいて行われる。具体的には、挿抜機構により多眼撮像部５１０の赤外カットフィルタが抜去されている状態で照明部５２５を使用して撮影が行われる場合に、露出レベル制御が行われる。このように、撮影モードによって露出レベル制御の方法を切り替えることで、撮影モードによらずに、広角画像５０１の輝度ムラを抑制することができる。
【0102】
また、多眼撮像部５１０の固体撮像素子５１３ａ～ｄ）または単眼撮像部５２０の固体撮像素子５２３のいずれかもしくは双方として、可視光用画素と近赤外光用画素を有する固体撮像素子（以下ＲＧＢＩＲセンサ）を使用しても良い。具体的には、ＲＧＢベイヤー配列の一部の画素のオンチップカラーフィルタを、近赤外光のみ透過可能なカラーフィルタに置き換えた固体撮像素子を使用すればよい。それに対し、ＲＧＢベイヤー配列を有し、可視光用画素のみを有する固体撮像素子をＲＧＢセンサと呼ぶ。
【0103】
また、ＲＧＢセンサを固体撮像素子５１３ａ～ｄとして多眼撮像部５１０が有する場合、多眼撮像部５１０は各撮像部５１１ａ～ｄの撮影範囲の明度を測光値として測定する測光部５１５ａ～ｄをさらに有する。この測光部５１５ａ～ｄにより測定された明度に応じて多眼撮像部５１０における赤外カットフィルタの挿抜は決定される。
【0104】
一方、ＲＧＢセンサを固体撮像素子５２３として単眼撮像部５２０が有する場合、測光部５２６により測定された明度に応じて単眼撮像部５２０における赤外カットフィルタの挿抜は決定される。
【0105】
多眼撮像部５１０及び単眼撮像部５２０のいずれかもしくは双方がＲＧＢＩＲセンサを有する場合の単眼撮像部５２０の撮影方向に基づく多眼撮像部５１０の撮像部５１１ａ～ｄの露出レベル制御の有無を図１１に示す。このように、撮影モードによって露出レベル制御の有無を切り替えることで、撮影モードによらずに、広角画像５０１の輝度ムラを抑制することができる。
【0106】
尚、ＲＧＢＩＲセンサを有する撮像部に赤外カットフィルタを挿入してしまうと、赤外光が近赤外光用画素に入射しなくなってしまう。このため、多眼撮像部５１０または単眼撮像部５２０のうちＲＧＢＩＲセンサが使用される側に対しては、赤外カットフィルタは用いられない。すなわち、図１１（ａ）の多眼撮像部５１０にのみＲＧＢＩＲセンサが使用される場合は多眼撮像部５１０に対して赤外カットフィルタは用いられない。また、図１１（ｂ）の単眼撮像部５２０にのみＲＧＢＩＲセンサが使用される場合は単眼撮像部５２０に対して赤外カットフィルタは用いられない。同様に、図１１（ｃ）の多眼撮像部５１０及び単眼撮像部５２０共にＲＧＢＩＲセンサが使用される場合は多眼撮像部５１０及び単眼撮像部５２０の双方に対して赤外カットフィルタは用いられない。
【0107】
多眼撮像部５１０がＲＧＢＩＲセンサを有し、単眼撮像部５２０がＲＧＢセンサを有する場合、図１１（ａ）のテーブルに示す露出レベル制御が行われる。
【0108】
図１１（ａ）の１行目は、測光部５２６により測定された明度が第１の所定値以上（単眼撮像部５２０の撮影範囲が明るい）、且つ測光部５１５ａ～ｄにより測定された明度が第２の所定値以上（多眼撮像部５１０の撮影範囲が明るい）の場合の制御を示す。この場合、単眼撮像部５２０への赤外カットフィルタを挿入し照明部５２５を不使用とする。
【0109】
図１１（ａ）の２行目は、測光部５２６により測定された明度が第１の所定値以上だが、測光部５１５ａ～ｄにより測定された明度が第２の所定値未満（多眼撮像部５１０の撮影範囲が暗い）の場合の制御を示す。この場合、単眼撮像部５２０への赤外カットフィルタを挿入するが、多眼撮像部５１０の撮影範囲を明るくすべく照明部５２５を使用する。
【0110】
図１１（ａ）の３行目は、測光部５２６により測定された明度が第１の所定値未満、且つ測光部５１５ａ～ｄにより測定された明度も第２の所定値未満の場合の制御を示す。この場合、単眼撮像部５２０の撮影範囲を明るくすべく、単眼撮像部５２０への赤外カットフィルタを抜去し、且つ照明部５２５を使用する。
【0111】
図１１（ａ）の場合、２行目、３行目の制御においては、使用する照明部５２５の影響をなくすべく、多眼撮像部５１０の各撮像部５１１ａ～ｄへの露出レベル調整が行われる。
【0112】
また、多眼撮像部５１０がＲＧＢセンサを有し、単眼撮像部５２０がＲＧＢＩＲセンサを有する場合、図１１（ｂ）のテーブル示す露出レベル制御が行われる。
【0113】
図１１（ｂ）の１行目は、測光部５２６により測定された明度が第１の所定値以上（単眼撮像部５２０の撮影範囲が明るい）、且つ測光部５１５ａ～ｄにより測定された明度が第２の所定値以上（多眼撮像部５１０の撮影範囲が明るい）の場合の制御を示す。この場合、多眼撮像部５１０への赤外カットフィルタを挿入し照明部５２５を不使用とする。
【0114】
図１１（ｂ）の２行目は、測光部５２６により測定された明度が第１の所定値未満（単眼撮像部５２０の撮影範囲が暗い）、且つ測光部５１５ａ～ｄにより測定された明度が第２の所定値以上（多眼撮像部５１０の撮影範囲が明るい）の場合の制御を示す。この場合、多眼撮像部５１０への赤外カットフィルタを挿入し照明部５２５を不使用とする。
【0115】
図１１（ｂ）の３行目は、測光部５２６により測定された明度が第１の所定値以上（単眼撮像部５２０の撮影範囲が明るい）、且つ測光部５１５ａ～ｄにより測定された明度が第２の所定値未満（多眼撮像部５１０の撮影範囲が暗い）の場合の制御を示す。この場合、多眼撮像部５１０への赤外カットフィルタを抜去し照明部５２５を不使用とする。
【0116】
図１１（ｂ）の４行目は、測光部５２６により測定された明度が第１の所定値未満（単眼撮像部５２０の撮影範囲が暗い）、且つ測光部５１５ａ～ｄにより測定された明度が第２の所定値未満（多眼撮像部５１０の撮影範囲が暗い）の場合の制御を示す。この場合、多眼撮像部５１０への赤外カットフィルタを抜去し照明部５２５を使用とする。
【0117】
尚、照明部５２５が使用時であっても多眼撮像部５１０への赤外カットフィルタの挿入時は照明部５２５によって放射される近赤外光は多眼撮像部５１０の固体撮像素子５１３ａ～ｄには入射しない。よって、露出レベル調整は照明部５２５が使用時であって且つ多眼撮像部５１０から赤外カットフィルタが抜去されている状態（図１１（ｂ）の４行目の場合）のみ行われる。
【0118】
また、多眼撮像部５１０及び単眼撮像部５２０の双方がＲＧＢＩＲセンサを有する場合、多眼撮像部５１０及び単眼撮像部５２０のいずれにも赤外カットフィルタが用いられない。よってこの場合は、図１１（ｃ）のテーブルの通り照明部５２５の使用・不使用のみを条件として露出レベル制御が行われる。
【0119】
尚、多眼撮像部５１０と単眼撮像部５２０の双方にＲＧＢセンサを用いた場合には、図１０のように露出レベル制御の有無を切り替えればよい。
【0120】
［その他の実施例］
本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。
本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。
【0121】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0122】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【0123】
また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【0124】
さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施例の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。
【符号の説明】
【0125】
１００ 撮像装置
１０１ 広角画像
１０２ 詳細画像
１１０ 多眼撮像部
１２０ 単眼撮像部
１１１ａ～ｄ，１２１ 撮像部
１１２ａ～ｄ，１２２ 結像光学系
１１３ａ～ｄ，１２３ 固体撮像素子
１１４ 合成処理部
１２４ 駆動機構
１２５ 照明部
１３０ 制御部
１４０ 転送部
１０１ 広角画像
１０２ 詳細画像
１１０ 多眼撮像部
１２０ 単眼撮像部
１１１ａ～ｄ，１２１ 撮像部
１１２ａ～ｄ，１２２ 結像光学系
１１３ａ～ｄ，１２３ 固体撮像素子
１１４ 合成処理部
１２４ 駆動機構
１２５ 照明部
１３０ 制御部
１４０ 転送部
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】