(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022118290
(43)【公開日】2022-08-15
(54)【発明の名称】制御装置
(51)【国際特許分類】
H04N 5/235 20060101AFI20220805BHJP
H04N 5/243 20060101ALI20220805BHJP
G03B 15/00 20210101ALI20220805BHJP
G03B 7/093 20210101ALI20220805BHJP
【ＦＩ】
H04N5/235 200
H04N5/243
G03B15/00 V
G03B7/093
【審査請求】未請求
【請求項の数】3
【出願形態】ＯＬ
(21)【出願番号】P 2021014707
(22)【出願日】2021-02-02
(71)【出願人】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】高木 仁
【テーマコード（参考）】
2H002
5C122
【Ｆターム（参考）】
2H002CC00
2H002CD11
2H002FB22
2H002JA08
5C122DA03
5C122EA13
5C122EA27
5C122FF01
5C122FF11
5C122FF15
5C122FF18
5C122FF22
5C122HB02
5C122HB06
(57)【要約】
【課題】瞬間的な干渉光が生じる状況下でも適切に撮影できるようにする。
【解決手段】露光制御部４８は、明るさが暗方向に変化する場合、第１明るさＫ１から当該第１明るさＫ１よりも暗い第２明るさＫ２までの範囲であり、かつ、干渉光の干渉タイミングＰに対応する干渉対応露光値Ｅａｘを含んだ第１明るさ範囲Ｋｍ１内の明るさＫの露光値Ｅａを制御するとき、露光中に前記干渉タイミングを含まない所定露光時間に前記露光時間Ｄａを固定しつつ、前記ゲインＧａを上げることで前記露光値Ｅａを制御し、前記第２明るさＫ２よりも暗い第２明るさ範囲Ｋｍ２内の明るさＫの露光値Ｅａを制御するとき、前記所定露光時間よりも長い時間を前記露光時間Ｄａに設定して前記露光値Ｅａを制御する。
【選択図】図６
【解決手段】露光制御部４８は、明るさが暗方向に変化する場合、第１明るさＫ１から当該第１明るさＫ１よりも暗い第２明るさＫ２までの範囲であり、かつ、干渉光の干渉タイミングＰに対応する干渉対応露光値Ｅａｘを含んだ第１明るさ範囲Ｋｍ１内の明るさＫの露光値Ｅａを制御するとき、露光中に前記干渉タイミングを含まない所定露光時間に前記露光時間Ｄａを固定しつつ、前記ゲインＧａを上げることで前記露光値Ｅａを制御し、前記第２明るさＫ２よりも暗い第２明るさ範囲Ｋｍ２内の明るさＫの露光値Ｅａを制御するとき、前記所定露光時間よりも長い時間を前記露光時間Ｄａに設定して前記露光値Ｅａを制御する。
【選択図】図６
【特許請求の範囲】
【請求項1】
明るさを測定する明るさ測定部と、
撮像素子から出力される信号のゲインを調整するゲイン調整部と、
露光時間を調整する露光時間調整部と、
前記ゲイン調整部と前記露光時間調整部とを制御することで、前記ゲイン及び前記露光時間の２つのパラメータによって規定された露光値を制御する露光制御部と、を備え、
前記露光制御部は、
前記明るさ測定部によって測定された明るさが暗方向に変化する場合、
第１明るさから当該第１明るさよりも暗い第２明るさまでの範囲であり、かつ、干渉光が発生する干渉タイミングに対応する干渉対応露光値を含んだ第１明るさ範囲内の明るさの露光値を制御するとき、露光中に前記干渉タイミングを含まない所定露光時間に前記露光時間を固定しつつ、前記ゲインを上げることで前記露光値を制御し、
前記第２明るさよりも暗い第２明るさ範囲内の明るさの露光値を制御するとき、前記所定露光時間よりも長い時間を前記露光時間に設定して前記露光値を制御する
ことを特徴とする制御装置。
撮像素子から出力される信号のゲインを調整するゲイン調整部と、
露光時間を調整する露光時間調整部と、
前記ゲイン調整部と前記露光時間調整部とを制御することで、前記ゲイン及び前記露光時間の２つのパラメータによって規定された露光値を制御する露光制御部と、を備え、
前記露光制御部は、
前記明るさ測定部によって測定された明るさが暗方向に変化する場合、
第１明るさから当該第１明るさよりも暗い第２明るさまでの範囲であり、かつ、干渉光が発生する干渉タイミングに対応する干渉対応露光値を含んだ第１明るさ範囲内の明るさの露光値を制御するとき、露光中に前記干渉タイミングを含まない所定露光時間に前記露光時間を固定しつつ、前記ゲインを上げることで前記露光値を制御し、
前記第２明るさよりも暗い第２明るさ範囲内の明るさの露光値を制御するとき、前記所定露光時間よりも長い時間を前記露光時間に設定して前記露光値を制御する
ことを特徴とする制御装置。
【請求項2】
前記露光制御部は、
前記明るさ測定部によって測定された明るさが明方向に変化する場合、
前記第１明るさ範囲内の明るさの露光値を制御するとき、
前記ゲインを固定しつつ、前記露光時間を短くして前記露光値を制御する
ことを特徴とする請求項１に記載の制御装置。
前記明るさ測定部によって測定された明るさが明方向に変化する場合、
前記第１明るさ範囲内の明るさの露光値を制御するとき、
前記ゲインを固定しつつ、前記露光時間を短くして前記露光値を制御する
ことを特徴とする請求項１に記載の制御装置。
【請求項3】
前記露光時間の露光開始タイミングは、
前記干渉光が発生する干渉タイミングと同期している
ことを特徴とする請求項１または２に記載の制御装置。
前記干渉光が発生する干渉タイミングと同期している
ことを特徴とする請求項１または２に記載の制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御装置に関する。
【背景技術】
【0002】
特許文献１の要約書において、「課題」の欄に「被写体の明るさが変化した場合でも、ノイズを迅速に抑圧する。」ことが記載されている。また「解決手段」の欄に、「撮像装置は、ＣＭＯＳ等の撮像素子とＡＥ／ＡＦ制御部を備える。被写体の明るさが減少した場合に（ｂ）、ＡＥ／ＡＦ制御部は次のフレームにおいて画像信号を増幅する増幅器のゲインを増大させる（ｃ）。同時に、このゲインの増大を補償するように、露光時間を減少させる（ｄ）。露光時間は、その後、段階的に元の露光時間まで戻す。」ことが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１１－４９８９２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１では、被写体、及び、その周辺環境の明るさの変化に加え、他の光源による瞬間的な発光が干渉光となって撮影に干渉が生じる状況については考慮されていない。
本発明は、瞬間的な干渉光が生じる状況下でも適切に撮影できる制御装置を提供することを目的とする。
本発明は、瞬間的な干渉光が生じる状況下でも適切に撮影できる制御装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一態様は、明るさを測定する明るさ測定部と、撮像素子から出力される信号のゲインを調整するゲイン調整部と、露光時間を調整する露光時間調整部と、前記ゲイン調整部と前記露光時間調整部とを制御することで、前記ゲイン及び前記露光時間の２つのパラメータによって規定された露光値を制御する露光制御部と、を備え、前記露光制御部は、前記明るさ測定部によって測定された明るさが暗方向に変化する場合、第１明るさから当該第１明るさよりも暗い第２明るさまでの範囲であり、かつ、干渉光が発生する干渉タイミングに対応する干渉対応露光値を含んだ第１明るさ範囲内の明るさの露光値を制御するとき、露光中に前記干渉タイミングを含まない所定露光時間に前記露光時間を固定しつつ、前記ゲインを上げることで前記露光値を制御し、前記第２明るさよりも暗い第２明るさ範囲内の明るさの露光値を制御するとき、前記所定露光時間よりも長い時間を前記露光時間に設定して前記露光値を制御することを特徴とする制御装置である。
【発明の効果】
【0006】
本発明によれば、瞬間的な干渉が生じる状況下でも適切に撮影できる。
【図面の簡単な説明】
【0007】
【図1】本発明の実施形態に係る車載撮影システムの機能的構成を示すブロック図である。
【図2】載撮影システムにおけるＣＭＳ、及びＴＯＦカメラシステムのそれぞれの撮影動作を示す図である。
【図3】ＣＭＳカメラモジュールの撮像素子における蓄積電荷量の変化を示す図である。
【図4】一般的な露光制御の説明図である。
【図5】第１のＩＳＰの機能的構成を示す図である。
【図6】本実施形態に係る露光制御の説明図である。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態に係る車載撮影システム１の機能的構成を示すブロック図である。
車載撮影システム１は、車両２に搭載され、車両２の周辺や車室内などの被写体を撮影するシステムである。本実施形態の車載撮影システム１は、ＣＭＳ（ＣＭＳ：Ｃａｍｅｒａ Ｍｏｎｉｔｏｒ Ｓｙｓｔｅｍ）１０と、ＴＯＦ（ＴＯＦ：Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラシステム２０と、の２つのカメラシステムを備えている。なお、以下の説明において、被写体とその周辺を含む環境を「撮影環境」と言う。
図１は、本実施形態に係る車載撮影システム１の機能的構成を示すブロック図である。
車載撮影システム１は、車両２に搭載され、車両２の周辺や車室内などの被写体を撮影するシステムである。本実施形態の車載撮影システム１は、ＣＭＳ（ＣＭＳ：Ｃａｍｅｒａ Ｍｏｎｉｔｏｒ Ｓｙｓｔｅｍ）１０と、ＴＯＦ（ＴＯＦ：Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラシステム２０と、の２つのカメラシステムを備えている。なお、以下の説明において、被写体とその周辺を含む環境を「撮影環境」と言う。
【0009】
ＣＭＳ１０は、バックミラーやサイドミラーなどの役割を担う電子ミラーを構成するカメラシステムである。具体的には、ＣＭＳ１０は、車両２の外を撮影する第１の撮影装置であるＣＭＳカメラモジュール１２と、ＣＭＳカメラモジュール１２で撮影された画像（本実施形態では映像）を表示する表示装置１４と、ＣＭＳ１０の動作を制御するＣＭＳＥＣＵ（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１６と、を備えている。
ＴＯＦカメラシステム２０は、車両２の周辺や車室内の運転者などの監視等に用いられるカメラシステムであり、対象を撮影する第２の撮影装置であるＴＯＦカメラモジュール２２と、当該ＴＯＦカメラシステム２０の動作を制御するＴＯＦＥＣＵ２６と、を備えている。
車載撮影システム１において、ＣＭＳＥＣＵ１６とＴＯＦＥＣＵ２６とは車載ネットワーク３０に接続されている。
また、ＣＭＳＥＣＵ１６及びＴＯＦＥＣＵ２６はそれぞれ、車載ネットワーク３０を介した通信のための通信トランシーバと、マイクロコントローラとを有し、マイクロコントローラは、通信トランシーバを用いて車載ネットワーク３０を介して相互に通信し、撮影に関する各種のタイミングを示す信号や、その他の適宜の情報を送受する。なお、ＣＭＳＥＣＵ１６とＴＯＦＥＣＵ２６が別体の例を示したが、ＣＭＳＥＣＵ１６とＴＯＦＥＣＵ２６は一体でもよい。
ＴＯＦカメラシステム２０は、車両２の周辺や車室内の運転者などの監視等に用いられるカメラシステムであり、対象を撮影する第２の撮影装置であるＴＯＦカメラモジュール２２と、当該ＴＯＦカメラシステム２０の動作を制御するＴＯＦＥＣＵ２６と、を備えている。
車載撮影システム１において、ＣＭＳＥＣＵ１６とＴＯＦＥＣＵ２６とは車載ネットワーク３０に接続されている。
また、ＣＭＳＥＣＵ１６及びＴＯＦＥＣＵ２６はそれぞれ、車載ネットワーク３０を介した通信のための通信トランシーバと、マイクロコントローラとを有し、マイクロコントローラは、通信トランシーバを用いて車載ネットワーク３０を介して相互に通信し、撮影に関する各種のタイミングを示す信号や、その他の適宜の情報を送受する。なお、ＣＭＳＥＣＵ１６とＴＯＦＥＣＵ２６が別体の例を示したが、ＣＭＳＥＣＵ１６とＴＯＦＥＣＵ２６は一体でもよい。
【0010】
ＣＭＳカメラモジュール１２は、第１のフレームレートの映像（動画像）をＣＭＳＥＣＵ１６に出力するモジュールである。かかるＣＭＳカメラモジュール１２は、撮像素子１７と、第１の発光装置１８と、第１のＩＳＰ（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１９と、を備えている。
撮像素子１７は、カラー画像と近赤外線画像を同時に撮影可能なＲＧＢ－ＩＲ（ＩＲ：Ｉｎｆｒａｒｅｄ）イメージセンサである。
第１の発光装置１８は、撮影環境の明るさを補う光を発する装置である。この光は、運転者が発光を知覚することがない近赤外の光であり、運転者の運転に影響が生じることが防止されている。かかる第１の発光装置１８は、夜間に相当する明るさ程度に撮影環境が暗く、カラー画像が不鮮明になる場合に発光することで鮮明な近赤外画像を撮影可能にする。これにより、夜間においても運転者に影響を与えずに鮮明な画像が得られる。なお、第１の発光装置１８を発光させる撮影環境の明るさの閾値は適宜に設定される。
第１のＩＳＰ１９は、撮像素子１７の電気信号に基づいて画像データを生成する信号処理装置である。第１のＩＳＰ１９は、撮影環境が明るい場合はカラー画像の画像データを生成し、撮影環境が暗く第１の発光装置１８が発光する場合は近赤外画像の画像データを生成する。
この第１のＩＳＰ１９は、撮像素子１７の全画素の電気信号を露光の終了タイミングＴａｅ（図２）で一度に取得する「グローバルシャッター」と称される方式によって撮像素子１７から電気信号を取得する。
なお、第１の発光装置１８及び第１のＩＳＰ１９はＣＭＳカメラモジュールと別体に設けられても良い。
撮像素子１７は、カラー画像と近赤外線画像を同時に撮影可能なＲＧＢ－ＩＲ（ＩＲ：Ｉｎｆｒａｒｅｄ）イメージセンサである。
第１の発光装置１８は、撮影環境の明るさを補う光を発する装置である。この光は、運転者が発光を知覚することがない近赤外の光であり、運転者の運転に影響が生じることが防止されている。かかる第１の発光装置１８は、夜間に相当する明るさ程度に撮影環境が暗く、カラー画像が不鮮明になる場合に発光することで鮮明な近赤外画像を撮影可能にする。これにより、夜間においても運転者に影響を与えずに鮮明な画像が得られる。なお、第１の発光装置１８を発光させる撮影環境の明るさの閾値は適宜に設定される。
第１のＩＳＰ１９は、撮像素子１７の電気信号に基づいて画像データを生成する信号処理装置である。第１のＩＳＰ１９は、撮影環境が明るい場合はカラー画像の画像データを生成し、撮影環境が暗く第１の発光装置１８が発光する場合は近赤外画像の画像データを生成する。
この第１のＩＳＰ１９は、撮像素子１７の全画素の電気信号を露光の終了タイミングＴａｅ（図２）で一度に取得する「グローバルシャッター」と称される方式によって撮像素子１７から電気信号を取得する。
なお、第１の発光装置１８及び第１のＩＳＰ１９はＣＭＳカメラモジュールと別体に設けられても良い。
【0011】
ＴＯＦカメラモジュール２２は、被写体に参照光を照射してから当該被写体で反射した反射光を受光するまでの時間（すなわち飛行時間）に基づいて、ＴＯＦカメラモジュール２２から被写体までの距離を測定し、当該距離に基づいて被写体の三次元画像を生成するカメラモジュールである。
かかるＴＯＦカメラモジュール２２は、参照光を発する第２の発光装置２８と、反射光を受光する受光素子２７と、第２のＩＳＰ２９と、を備えている。
第２の発光装置２８の参照光は、ＣＭＳ１０の第１の発光装置１８と同様に近赤外の光であり、運転への影響防止が図られている。
第２のＩＳＰ２９は、参照光の発光タイミングと受光素子２７での受光タイミングとの時間差に基づいて飛行時間を求め、当該飛行時間に基づいて対象物までの距離を測定し、当該距離に基づいて三次元画像の画像データを生成する信号処理装置である。
また第２のＩＳＰ２９は、第２のフレームレートで第２の発光装置２８を発光させ、第２の発光装置２８が発光するごとに三次元画像の画像データを生成することで、当該フレームレートの映像（動画像）を生成する。
なお、第２の発光装置２８及び第２のＩＳＰ２９はＴＯＦカメラモジュールと別体に設けられても良い。
かかるＴＯＦカメラモジュール２２は、参照光を発する第２の発光装置２８と、反射光を受光する受光素子２７と、第２のＩＳＰ２９と、を備えている。
第２の発光装置２８の参照光は、ＣＭＳ１０の第１の発光装置１８と同様に近赤外の光であり、運転への影響防止が図られている。
第２のＩＳＰ２９は、参照光の発光タイミングと受光素子２７での受光タイミングとの時間差に基づいて飛行時間を求め、当該飛行時間に基づいて対象物までの距離を測定し、当該距離に基づいて三次元画像の画像データを生成する信号処理装置である。
また第２のＩＳＰ２９は、第２のフレームレートで第２の発光装置２８を発光させ、第２の発光装置２８が発光するごとに三次元画像の画像データを生成することで、当該フレームレートの映像（動画像）を生成する。
なお、第２の発光装置２８及び第２のＩＳＰ２９はＴＯＦカメラモジュールと別体に設けられても良い。
【0012】
図２は、車載撮影システム１におけるＣＭＳ１０、及びＴＯＦカメラシステム２０のそれぞれの撮影動作を示す図である。
本実施形態において、ＣＭＳ１０は、６０ｆｐｓ（撮影周期Ａａ＝約３３ｍｓ）のフレームレート（第１のフレームレート）で繰り返し撮影を行っている。各フレームにおいて、ＣＭＳ１０は、撮影環境の明るさが暗いほど長い露光時間Ｄａを設定する。ただし、明るさが所定値を下回っている場合（図中、「夜間」）、ＣＭＳ１０は、第１の発光装置１８によって近赤外光を発して明るさを補い、補われた明るさに応じて露光時間Ｄａを短縮する。そして、露光時間Ｄａの間に撮像素子１７の各画素に蓄積された電荷に基づく電気信号が第１のＩＳＰ１９に入力され、第１のＩＳＰ１９が当該電気信号に基づいて画像データを生成する。
本実施形態において、ＣＭＳ１０は、６０ｆｐｓ（撮影周期Ａａ＝約３３ｍｓ）のフレームレート（第１のフレームレート）で繰り返し撮影を行っている。各フレームにおいて、ＣＭＳ１０は、撮影環境の明るさが暗いほど長い露光時間Ｄａを設定する。ただし、明るさが所定値を下回っている場合（図中、「夜間」）、ＣＭＳ１０は、第１の発光装置１８によって近赤外光を発して明るさを補い、補われた明るさに応じて露光時間Ｄａを短縮する。そして、露光時間Ｄａの間に撮像素子１７の各画素に蓄積された電荷に基づく電気信号が第１のＩＳＰ１９に入力され、第１のＩＳＰ１９が当該電気信号に基づいて画像データを生成する。
【0013】
一方、ＴＯＦカメラシステム２０は、３０ｆｐｓ（撮影周期Ａｂ＝約１６．７ｍｓ）のフレームレート（第２のフレームレート）で繰り返し撮影を行っている。各フレームにおいて、第２の発光装置２８が撮影周期Ａｂに比べて非常に短い一定の発光時間Ｆｂで瞬間的に発光することで近赤外光の参照光を被写体に照射し、これと同期して受光素子２７によって反射光を一定の露光時間Ｄｂに亘って受光する。そして、第２のＩＳＰ２９が発光タイミングと反射光の受光タイミングとの時間差に基づいて上記飛行時間を測定することで被写体までの距離を測定し、当該距離に基づいて三次元画像の画像データを生成する。
【0014】
ここで、ＣＭＳ１０及びＴＯＦカメラシステム２０のそれぞれが互いに同期せずにランダムなタイミングで撮影を行っている場合、ＣＭＳ１０の発光がＴＯＦカメラシステム２０の撮影に干渉し、同様に、ＴＯＦカメラシステム２０の発光がＣＭＳ１０の撮影に干渉する場合がある。このように、一方のカメラシステムにおいて、他方のカメラシステムの発光（以下、「干渉光」という）による干渉が生じた場合、当該干渉光によって撮影環境の明るさが増加し画像に影響が生じる。
【0015】
そこで本実施形態の車載撮影システム１は、ＣＭＳ１０のフレームレートがＴＯＦカメラシステム２０のフレームレートの整数倍であることで、ＣＭＳ１０及びＴＯＦカメラシステム２０のそれぞれの撮影タイミングが互いに同期し、ランダムなタイミングでの干渉の発生が防止されている。
【0016】
加えて、ＣＭＳ１０は、第１の発光装置１８が発光する場合でも、ＴＯＦカメラシステム２０の露光終了タイミングＴｂｅから第１所定時間Ｈａ後に発光を開始し、なおかつ、ＴＯＦカメラシステム２０の次の露光開始タイミングＴｂｓの前までに発光を終了する。
これにより、ＴＯＦカメラシステム２０の露光時間Ｄｂの間にＣＭＳ１０の発光が発生することがないため、当該発光がＴＯＦカメラシステム２０に干渉することがない。
これにより、ＴＯＦカメラシステム２０の露光時間Ｄｂの間にＣＭＳ１０の発光が発生することがないため、当該発光がＴＯＦカメラシステム２０に干渉することがない。
【0017】
一方、ＣＭＳ１０のフレームレートはＴＯＦカメラシステム２０のフレームレートの２倍であるため、１サイクルのＣＭＳ１０の撮影周期ＡａにおいてＴＯＦカメラシステム２０の発光による干渉が発生する回数は、この撮影周期Ａａの全期間に亘ってＣＭＳ１０が露光を行ったとしても最大２回に抑えられる。これに加え、ＣＭＳ１０の最大露光時間Ｄａｍａｘは、２回目のＴＯＦカメラシステム２０の発光タイミング（撮影周期Ａｂの開始タイミング）よりも前に露光が終了する長さに設定されている（図３）。これにより、ＣＭＳ１０は、各フレームの撮影において、２回目のＴＯＦカメラシステム２０の発光が開始する前に必ず露光を終了するため、ＣＭＳ１０が干渉を受ける回数が最大でも１回に限定されることとなる。
【0018】
このように、ＣＭＳ１０及びＴＯＦカメラシステム２０のそれぞれの発光が互いの撮影に干渉する回数が制限されることで、干渉による画像の乱れの発生頻度が抑えられる。
特に、ＣＭＳ１０において、１サイクルの撮影周期Ａａの間にＣＭＳ１０が干渉光の干渉を受ける回数は最大でも１回であるため、複数回の干渉を受ける場合に比べ、画像の明るさの変動が抑えられ、あたかも点滅するようにＣＭＳ１０の映像（動画像）が乱れるといったことも防止される。
特に、ＣＭＳ１０において、１サイクルの撮影周期Ａａの間にＣＭＳ１０が干渉光の干渉を受ける回数は最大でも１回であるため、複数回の干渉を受ける場合に比べ、画像の明るさの変動が抑えられ、あたかも点滅するようにＣＭＳ１０の映像（動画像）が乱れるといったことも防止される。
【0019】
ただし、ＴＯＦカメラシステム２０の発光のような瞬間的な干渉光が発生した場合、一般的な撮像装置で行われる露光制御では、制御系にハンチングを生じ、当該ハンチングにより映像に乱れが生じることがある。
【0020】
詳述すると、ＣＭＳカメラモジュール１２の撮像素子１７における蓄積電荷量を示す値（以下、「ＣＭＳ積分値」という）は、図３に示すように、露光開始タイミングＴａｓから露光時間Ｄａの長さに比例して緩やかな勾配α１で増加する。その後、ＴＯＦカメラシステム２０による干渉光が短時間の間、発生すると、かかる干渉が発生したタイミングからＣＭＳ積分値が干渉光の光量に応じて急激な勾配α２で増加する。この急激な増加は、ＴＯＦカメラシステム２０の発光時間Ｆｂに亘って続き、干渉光の消失に伴ってＣＭＳ積分値の増加の勾配が勾配α１に戻る。以下、かかる干渉が生じるタイミングを干渉タイミングＰといい、かかる干渉タイミングＰは、発光時間Ｆｂに応じた時間幅を有する。
なお、蓄電電荷量は撮影環境の明るさと相関を有することから、図３のＣＭＳ積分値の変化は、撮影環境の明るさの変化を示すものとも言える。
なお、蓄電電荷量は撮影環境の明るさと相関を有することから、図３のＣＭＳ積分値の変化は、撮影環境の明るさの変化を示すものとも言える。
【0021】
一方、露光制御は、撮影環境の明るさに対応した露光値が得られるようにゲイン及び露光時間を可変する制御である。かかる露光値は、ゲインと露光時間との加算値であり、図４に示すように、撮影環境の明るさが暗くなるほど増加するように設定されている。
一般的な露光制御において、露光値を増加させる場合、先ず、ゲインをゼロに固定したまま、露光時間を最大露光時間に達するまで延ばし、その後、露光時間を最大露光時間に固定したままゲインを上昇させている。
一般的な露光制御において、露光値を増加させる場合、先ず、ゲインをゼロに固定したまま、露光時間を最大露光時間に達するまで延ばし、その後、露光時間を最大露光時間に固定したままゲインを上昇させている。
【0022】
しかしながら、この一般的な自動露光制御において、干渉光による瞬間的な明るさの変動に露光値を追従させるようにゲインや露光時間を制御した場合、制御系にハンチングが生じ、結果として映像（動画像）に乱れが生じることがある。
【0023】
そこで、本実施形態のＣＭＳカメラモジュール１２は、瞬間的な干渉光が発生する状況下でも、第１のＩＳＰ１９が適切に撮影を制御するように構成されている。
【0024】
図５は、第１のＩＳＰ１９の機能的構成を示すブロック図である。
第１のＩＳＰ１９は、ＣＭＳカメラモジュール１２の撮影動作を制御する撮影制御部４０と、撮像素子１７の電気信号に対して公知又は周知の適宜の信号処理を施すことで画像データを生成する画像生成部５０と、を備えている。なお、同図に示す露光時間調整部４６とゲイン調整部４４は第１のＩＳＰ１９内ではなく撮像素子１７に備えられても良い。
第１のＩＳＰ１９は、ＣＭＳカメラモジュール１２の撮影動作を制御する撮影制御部４０と、撮像素子１７の電気信号に対して公知又は周知の適宜の信号処理を施すことで画像データを生成する画像生成部５０と、を備えている。なお、同図に示す露光時間調整部４６とゲイン調整部４４は第１のＩＳＰ１９内ではなく撮像素子１７に備えられても良い。
【0025】
撮影制御部４０は、撮影動作の制御機能の一つとして、各フレームの画像の撮影時に撮影環境の明るさに応じて露光値を動的に制御する機能を備え、この機能を実現するために、明るさ測定部４２と、ゲイン調整部４４と、露光時間調整部４６と、露光制御部４８と、を備えている。
【0026】
明るさ測定部４２は、撮像素子１７の電気信号の強度に基づいて撮影環境の明るさを測定する。なお、明るさ測定部４２は、他の公知又は周知の適宜の手法を用いて、撮影環境の明るさを測定してもよい。
ゲイン調整部４４は、撮影時のゲインＧａを調整する手段であり、撮像素子１７の電気信号を、露光制御部４８の制御に基づき増幅する増幅器を備える。
露光時間調整部４６は、撮影時の露光時間Ｄａを調整するものであり、撮像素子１７を制御して受光時間（電荷の蓄電期間）を露光制御部４８の制御に基づき可変する電子シャッターの機能を備える。
露光制御部４８は、撮影環境の明るさに対応する露光値Ｅａが得られるように、各フレームにおける撮影時の露光時間Ｄａ及びゲインＧａを可変する。
ゲイン調整部４４は、撮影時のゲインＧａを調整する手段であり、撮像素子１７の電気信号を、露光制御部４８の制御に基づき増幅する増幅器を備える。
露光時間調整部４６は、撮影時の露光時間Ｄａを調整するものであり、撮像素子１７を制御して受光時間（電荷の蓄電期間）を露光制御部４８の制御に基づき可変する電子シャッターの機能を備える。
露光制御部４８は、撮影環境の明るさに対応する露光値Ｅａが得られるように、各フレームにおける撮影時の露光時間Ｄａ及びゲインＧａを可変する。
【0027】
図６は、露光制御部４８による露光制御の説明図である。
本露光制御において、露光値Ｅａは露光時間ＤａとゲインＧａの２つのパラメータの加算値であり、図６に示すように、撮影環境の明るさＫが暗くなるほど増加するように設定されている。本実施形態では、露光値Ｅａは負の傾きで明るさＫに比例する一次関数によって規定されている。
本露光制御において、露光値Ｅａは露光時間ＤａとゲインＧａの２つのパラメータの加算値であり、図６に示すように、撮影環境の明るさＫが暗くなるほど増加するように設定されている。本実施形態では、露光値Ｅａは負の傾きで明るさＫに比例する一次関数によって規定されている。
【0028】
そして、明るさ測定部４２が各フレームの撮影ごとに撮影環境の明るさＫを測定しており、露光制御部４８は、各フレームの撮影時に直前のフレームで測定された撮影環境の明るさＫに基づき、露光値Ｅａを決定し、この露光値Ｅａが得られるように露光時間ＤａとゲインＧａの両方又は片方のパラメータを可変する。
【0029】
詳述すると、本実施形態では、図６に示すように、撮影環境の明るさＫが第ゼロ明るさ範囲Ｋｍ０、第１明るさ範囲Ｋｍ１、第２明るさ範囲Ｋｍ２、および第３明るさ範囲Ｋｍ３に区画されており、露光制御部４８は、区画された各範囲に応じて露光時間ＤａおよびゲインＧａを適切に可変する。
【0030】
第ゼロ明るさ範囲Ｋｍ０は、第ゼロ明るさＫ０から第１明るさＫ１までの明るさ範囲であり、第１明るさＫ１は、前掲図３を参照して説明した露光制御において、露光時間Ｄａが最大不干渉露光時間Ｄａｘｎとなる明るさである。この最大不干渉露光時間Ｄａｘｎは、干渉光の干渉を受けずに露光可能な最大の露光時間Ｄａであり、前掲図２に示すように、ＣＭＳ１０の露光開始タイミングＴａｓからＴＯＦカメラシステム２０の露光開始タイミングＴｂｓまでの時間から所定マージンＨｂを減じた時間に相当する。
第１明るさ範囲Ｋｍ１は、第１明るさＫ１から第２明るさＫ２までの明るさ範囲であり、この第２明るさＫ２は、干渉対応露光値Ｅａｘよりも大きな値の所定露光値Ｅａｖに対応する明るさである。干渉対応露光値Ｅａｘは、最小干渉露光時間Ｄａｘに対応する露光値である。この最小干渉露光時間Ｄａｘは、ゲインＧａをゼロに固定したまま、露光時間Ｄａのみで露光値Ｅａを制御することを想定した場合に、ＴＯＦカメラシステム２０の発光（干渉光）が終了するタイミング（すなわち、干渉タイミングＰの終了タイミング）に所定マージンＨｃを加えた時間である。
第２明るさ範囲Ｋｍ２は、第２明るさＫ２から第３明るさＫ３までの明るさ範囲であり、この第３明るさＫ３は、ゲインＧａをゼロに固定したまま、露光時間Ｄａのみで露光値Ｅａを制御することを想定した場合に、露光時間Ｄａが最大露光時間Ｄａｍａｘとなる明るさである。
第３明るさ範囲Ｋｍ３は、第３明るさＫ３よりも暗い明るさの範囲である。
第１明るさ範囲Ｋｍ１は、第１明るさＫ１から第２明るさＫ２までの明るさ範囲であり、この第２明るさＫ２は、干渉対応露光値Ｅａｘよりも大きな値の所定露光値Ｅａｖに対応する明るさである。干渉対応露光値Ｅａｘは、最小干渉露光時間Ｄａｘに対応する露光値である。この最小干渉露光時間Ｄａｘは、ゲインＧａをゼロに固定したまま、露光時間Ｄａのみで露光値Ｅａを制御することを想定した場合に、ＴＯＦカメラシステム２０の発光（干渉光）が終了するタイミング（すなわち、干渉タイミングＰの終了タイミング）に所定マージンＨｃを加えた時間である。
第２明るさ範囲Ｋｍ２は、第２明るさＫ２から第３明るさＫ３までの明るさ範囲であり、この第３明るさＫ３は、ゲインＧａをゼロに固定したまま、露光時間Ｄａのみで露光値Ｅａを制御することを想定した場合に、露光時間Ｄａが最大露光時間Ｄａｍａｘとなる明るさである。
第３明るさ範囲Ｋｍ３は、第３明るさＫ３よりも暗い明るさの範囲である。
【0031】
次いで、第ゼロ明るさ範囲Ｋｍ０から第３明るさ範囲Ｋｍ３までの各範囲での露光値制御を説明する。
【0032】
（０）第ゼロ明るさ範囲Ｋｍ０の露光値制御
露光制御部４８は、ゲインＧａを一定値に固定し（通常はゲインＧａ＝ゼロ）、露光時間Ｄａのみで露光値Ｅａを調整する。この場合、露光時間Ｄａは一次関数的に調整される。
露光制御部４８は、ゲインＧａを一定値に固定し（通常はゲインＧａ＝ゼロ）、露光時間Ｄａのみで露光値Ｅａを調整する。この場合、露光時間Ｄａは一次関数的に調整される。
【0033】
（１）第１明るさ範囲Ｋｍ１の露光値制御
露光制御部４８は、第１露光値制御、Ｋ２遷移露光値制御、第２露光値制御、および、Ｋａｘ遷移露光値制御のいずれかを実行する。
露光制御部４８は、第１露光値制御、Ｋ２遷移露光値制御、第２露光値制御、および、Ｋａｘ遷移露光値制御のいずれかを実行する。
【0034】
（Ａ）第１露光値制御
第１露光値制御は、上記「第ゼロ明るさ範囲Ｋｍ０の露光値制御」、または、後述の「Ｋａｘ遷移露光値制御」に続く場合に実行される制御である。すなわち、明るさＫが、第１明るさＫ１、または、第１明るさ範囲Ｋｍ１内の後述する干渉対応明るさＫａｘから変化し、その後、当該第１明るさ範囲Ｋｍ１の範囲で変化する場合に、第１露光値制御が行われる。
第１露光値制御において、露光制御部４８は、露光時間Ｄａを最大不干渉露光時間Ｄａｘｎに固定したまま、ゲインＧａを変化させることで露光値Ｅａを調整する。
例えば、第１露光値制御が後述の「Ｋａｘ遷移露光値制御」に続いて実行されるときには、露光中に干渉タイミングＰを含む状態から、当該干渉タイミングＰを含まない状態へ変化するため、明るさＫの測定値が暗方向に変動する。露光制御部４８は、この暗方向への明るさＫの変動に対応するために、露光時間Ｄａを最大不干渉露光時間Ｄａｘｎに固定したまま、ゲインＧａを一次関数的に上げて露光値Ｅａを上げる。このとき、露光時間Ｄａが最大不干渉露光時間Ｄａｘｎで固定されることで、露光値Ｅａは干渉タイミングＰを必ず含まない範囲で可変されることとなる。
第１露光値制御は、上記「第ゼロ明るさ範囲Ｋｍ０の露光値制御」、または、後述の「Ｋａｘ遷移露光値制御」に続く場合に実行される制御である。すなわち、明るさＫが、第１明るさＫ１、または、第１明るさ範囲Ｋｍ１内の後述する干渉対応明るさＫａｘから変化し、その後、当該第１明るさ範囲Ｋｍ１の範囲で変化する場合に、第１露光値制御が行われる。
第１露光値制御において、露光制御部４８は、露光時間Ｄａを最大不干渉露光時間Ｄａｘｎに固定したまま、ゲインＧａを変化させることで露光値Ｅａを調整する。
例えば、第１露光値制御が後述の「Ｋａｘ遷移露光値制御」に続いて実行されるときには、露光中に干渉タイミングＰを含む状態から、当該干渉タイミングＰを含まない状態へ変化するため、明るさＫの測定値が暗方向に変動する。露光制御部４８は、この暗方向への明るさＫの変動に対応するために、露光時間Ｄａを最大不干渉露光時間Ｄａｘｎに固定したまま、ゲインＧａを一次関数的に上げて露光値Ｅａを上げる。このとき、露光時間Ｄａが最大不干渉露光時間Ｄａｘｎで固定されることで、露光値Ｅａは干渉タイミングＰを必ず含まない範囲で可変されることとなる。
【0035】
（Ｂ）Ｋ２遷移露光値制御
Ｋ２遷移露光値制御は、明るさＫが第１明るさ範囲Ｋｍ１内を変化することで第１露光制御が行われているときに、明るさＫが第２明るさＫ２に至って第２明るさ範囲Ｋｍ２内へ変化するときに行われる制御である。なお、図６において、明るさＫ２の軸線上の露光時間ＤａおよびゲインＧａの遷移方向を示す矢印は、この遷移方向にのみ露光時間ＤａおよびゲインＧａが変化することを意味している。
Ｋ２遷移露光値制御において、露光制御部４８は、明るさＫが第２明るさＫ２に至った場合、露光時間Ｄａを最大不干渉露光時間Ｄａｘｎから第２露光時間Ｄａｖに変え、ゲインＧａを第２露光時間Ｄａｖと最大不干渉露光時間Ｄａｘｎの露光時間差ΔＤａｖ（＝Ｄａｖ－Ｄａｘｎ）に相当する値だけ、そのときの第１ゲインＧａｖから減少させた第２ゲインＧａｖ０にゲインＧａを変える。言い換えると、露光時間差ΔＤａｖは、第１ゲインＧａｖと第２ゲインＧａｖ０のゲイン差ΔＧａｖ（＝Ｇａｖ-Ｇａｖ０）に等しく正の値である。なお、第２ゲインＧａｖ０はゼロでなくてもよい。
Ｋ２遷移露光値制御は、明るさＫが第１明るさ範囲Ｋｍ１内を変化することで第１露光制御が行われているときに、明るさＫが第２明るさＫ２に至って第２明るさ範囲Ｋｍ２内へ変化するときに行われる制御である。なお、図６において、明るさＫ２の軸線上の露光時間ＤａおよびゲインＧａの遷移方向を示す矢印は、この遷移方向にのみ露光時間ＤａおよびゲインＧａが変化することを意味している。
Ｋ２遷移露光値制御において、露光制御部４８は、明るさＫが第２明るさＫ２に至った場合、露光時間Ｄａを最大不干渉露光時間Ｄａｘｎから第２露光時間Ｄａｖに変え、ゲインＧａを第２露光時間Ｄａｖと最大不干渉露光時間Ｄａｘｎの露光時間差ΔＤａｖ（＝Ｄａｖ－Ｄａｘｎ）に相当する値だけ、そのときの第１ゲインＧａｖから減少させた第２ゲインＧａｖ０にゲインＧａを変える。言い換えると、露光時間差ΔＤａｖは、第１ゲインＧａｖと第２ゲインＧａｖ０のゲイン差ΔＧａｖ（＝Ｇａｖ-Ｇａｖ０）に等しく正の値である。なお、第２ゲインＧａｖ０はゼロでなくてもよい。
【0036】
（Ｃ）第２露光値制御
第２露光値制御は、上記「Ｋ２遷移露光値制御」の後、明るさＫが第１明るさ範囲Ｋｍ１において、干渉対応明るさＫａｘから第２明るさＫ２の範囲で変化する場合、または、後述の「第２明るさ範囲Ｋｍ２の露光値制御」の後、明るさＫが第２明るさ範囲Ｋｍ２よりも明るくなって第１明るさ範囲Ｋｍ１において、干渉対応明るさＫａｘから第２明るさＫ２の範囲で変化する場合に実行される制御である。
第２露光値制御において、露光制御部４８は、ゲインＧａを第２ゲインＧａｖ０で固定したまま、露光時間Ｄａを変化させることで露光値Ｅａを調整する。
例えば、第２露光値制御が上記「Ｋ２遷移露光値制御」に続いて行われるときには、露光中に干渉タイミングＰを含まない状態から当該干渉タイミングＰを含む状態に変化するため、明るさＫの測定値が明方向に変動する。露光制御部４８は、この明方向への明るさＫの変動に対応するために、露光時間Ｄａを一次関数的に下げて露光値Ｅａを下げる。このときの露光時間Ｄａの下限値を少なくとも最小干渉露光時間Ｄａｘよりも大きな露光時間とすることで、露光時間Ｄａは、露光中に干渉タイミングＰを必ず含む範囲で可変される。
第２露光値制御は、上記「Ｋ２遷移露光値制御」の後、明るさＫが第１明るさ範囲Ｋｍ１において、干渉対応明るさＫａｘから第２明るさＫ２の範囲で変化する場合、または、後述の「第２明るさ範囲Ｋｍ２の露光値制御」の後、明るさＫが第２明るさ範囲Ｋｍ２よりも明るくなって第１明るさ範囲Ｋｍ１において、干渉対応明るさＫａｘから第２明るさＫ２の範囲で変化する場合に実行される制御である。
第２露光値制御において、露光制御部４８は、ゲインＧａを第２ゲインＧａｖ０で固定したまま、露光時間Ｄａを変化させることで露光値Ｅａを調整する。
例えば、第２露光値制御が上記「Ｋ２遷移露光値制御」に続いて行われるときには、露光中に干渉タイミングＰを含まない状態から当該干渉タイミングＰを含む状態に変化するため、明るさＫの測定値が明方向に変動する。露光制御部４８は、この明方向への明るさＫの変動に対応するために、露光時間Ｄａを一次関数的に下げて露光値Ｅａを下げる。このときの露光時間Ｄａの下限値を少なくとも最小干渉露光時間Ｄａｘよりも大きな露光時間とすることで、露光時間Ｄａは、露光中に干渉タイミングＰを必ず含む範囲で可変される。
【0037】
（Ｄ）Ｋａｘ遷移露光値制御
Ｋａｘ遷移露光値制御は、上記「第２露光値制御」の実行時に、明るさＫが干渉対応明るさＫａｘよりも暗い状態から明方向に変化し、当該干渉対応明るさＫａｘに至って、明るさＫが第１明るさＫ１方向へ変化するときに行われる制御である。なお、干渉対応明るさＫａｘは、図３で説明した露光値制御において干渉対応露光値Ｅａｘに対応する明るさである。また、図６において、この干渉対応明るさＫａｘの軸線上の露光時間ＤａおよびゲインＧａの遷移方向を示す矢印は、この遷移方向にのみ露光時間ＤａおよびゲインＧａが変化することを意味している。
Ｋａｘ遷移露光値制御において、露光制御部４８は、明るさＫが干渉対応明るさＫａｘに至ると、露光時間Ｄａを最小干渉露光時間Ｄａｘから最大不干渉露光時間Ｄａｘｎに遷移させ、ゲインＧａを最小干渉露光時間Ｄａｘと最大不干渉露光時間Ｄａｘｎの露光時間差ΔＤａｘ（＝Ｄａｘ－Ｄａｘｎ）に相当する値だけ、そのときの第２ゲインＧａｖ０から増加させた第３ゲインＧａｘにゲインＧａを変える。言い換えると、露光時間差ΔＤａｘはゲイン差ΔＧａｘ（＝Ｇａｘ－Ｇａｖ０）に等しく、正の値である。
Ｋａｘ遷移露光値制御は、上記「第２露光値制御」の実行時に、明るさＫが干渉対応明るさＫａｘよりも暗い状態から明方向に変化し、当該干渉対応明るさＫａｘに至って、明るさＫが第１明るさＫ１方向へ変化するときに行われる制御である。なお、干渉対応明るさＫａｘは、図３で説明した露光値制御において干渉対応露光値Ｅａｘに対応する明るさである。また、図６において、この干渉対応明るさＫａｘの軸線上の露光時間ＤａおよびゲインＧａの遷移方向を示す矢印は、この遷移方向にのみ露光時間ＤａおよびゲインＧａが変化することを意味している。
Ｋａｘ遷移露光値制御において、露光制御部４８は、明るさＫが干渉対応明るさＫａｘに至ると、露光時間Ｄａを最小干渉露光時間Ｄａｘから最大不干渉露光時間Ｄａｘｎに遷移させ、ゲインＧａを最小干渉露光時間Ｄａｘと最大不干渉露光時間Ｄａｘｎの露光時間差ΔＤａｘ（＝Ｄａｘ－Ｄａｘｎ）に相当する値だけ、そのときの第２ゲインＧａｖ０から増加させた第３ゲインＧａｘにゲインＧａを変える。言い換えると、露光時間差ΔＤａｘはゲイン差ΔＧａｘ（＝Ｇａｘ－Ｇａｖ０）に等しく、正の値である。
【0038】
（２）第２明るさ範囲Ｋｍ２の露光値制御
上記「第１明るさ範囲Ｋｍ１の露光値制御」における「Ｋ２遷移露光値制御」、または、後述の「第２明るさ範囲Ｋｍ２の露光値制御」の実行時に明るさＫが変化し、当該明るさＫが第２明るさ範囲Ｋｍ２内で変化する場合、露光制御部４８は、上記「第２露光値制御」と同様の制御を実行する。すなわち、露光制御部４８は、ゲインＧａを第２ゲインＧａｖ０で固定したまま、露光時間Ｄａを変化させることで露光値Ｅａを調整する。
上記「第１明るさ範囲Ｋｍ１の露光値制御」における「Ｋ２遷移露光値制御」、または、後述の「第２明るさ範囲Ｋｍ２の露光値制御」の実行時に明るさＫが変化し、当該明るさＫが第２明るさ範囲Ｋｍ２内で変化する場合、露光制御部４８は、上記「第２露光値制御」と同様の制御を実行する。すなわち、露光制御部４８は、ゲインＧａを第２ゲインＧａｖ０で固定したまま、露光時間Ｄａを変化させることで露光値Ｅａを調整する。
【0039】
（３）第３明るさ範囲Ｋｍ３の露光値制御
第１明るさ範囲Ｋｍ１または第２明るさ範囲Ｋｍ２における上記「第２露光値制御」の実行時に明るさＫが変化し、当該明るさＫが第３明るさ範囲Ｋｍ３内で変化する場合、露光制御部４８は、露光時間Ｄａを最大露光時間Ｄａｍａｘに固定したまま、ゲインＧａを一次関数的に変化させることで、露光値Ｅａを変化させる。
第１明るさ範囲Ｋｍ１または第２明るさ範囲Ｋｍ２における上記「第２露光値制御」の実行時に明るさＫが変化し、当該明るさＫが第３明るさ範囲Ｋｍ３内で変化する場合、露光制御部４８は、露光時間Ｄａを最大露光時間Ｄａｍａｘに固定したまま、ゲインＧａを一次関数的に変化させることで、露光値Ｅａを変化させる。
【0040】
かかる露光値制御によれば、干渉対応露光値Ｅａｘを含む第１明るさ範囲Ｋｍ１の露光値制御において、何度も干渉タイミングＰを前後するように露光時間Ｄａが可変されることがなく、これにより、制御系のハンチングが防止され、映像の乱れが抑えられる。
また第１明るさ範囲Ｋｍ１の露光値制御において、第１露光値制御および第２露光値制御とで、露光値Ｅａを得るために可変するパラメータが異なっており、制御系のロバスト性を向上させることができる。
また第１明るさ範囲Ｋｍ１の露光値制御において、第１露光値制御および第２露光値制御とで、露光値Ｅａを得るために可変するパラメータが異なっており、制御系のロバスト性を向上させることができる。
【0041】
上述した実施形態によれば、次のような効果を奏する。
【0042】
本実施形態の露光制御部４８は、撮影環境の明るさＫの暗方向への変化に追従して露光値Ｅａを制御する場合、干渉対応露光値Ｅａｘを含む第１明るさ範囲Ｋｍ１内の明るさＫの露光値Ｅａを制御するときは、干渉タイミングＰを含まない最大不干渉露光時間Ｄａｘｎに露光時間Ｄａを固定したまま、ゲインＧａのみを可変させることで制御する。
加えて、露光制御部４８は、第２明るさＫ２よりも暗い第２明るさ範囲Ｋｍ２または第３明るさ範囲Ｋｍ３内の明るさＫの露光値Ｅａを制御するとき、最大不干渉露光時間Ｄａｘｎよりも長い露光時間Ｄａ、すなわち、露光中に必ず干渉タイミングＰを含む時間長の範囲で露光時間Ｄａを設定して露光値Ｅａを制御する。
これにより、露光制御部４８が撮影環境の明るさＫの暗方向への変化に追従して露光値Ｅａを制御する際に、何度も干渉タイミングＰを前後するように露光時間Ｄａを可変することがないため、制御系のハンチングが防止され、ハンチングによる映像の乱れを抑えることができる。
加えて、露光制御部４８は、第２明るさＫ２よりも暗い第２明るさ範囲Ｋｍ２または第３明るさ範囲Ｋｍ３内の明るさＫの露光値Ｅａを制御するとき、最大不干渉露光時間Ｄａｘｎよりも長い露光時間Ｄａ、すなわち、露光中に必ず干渉タイミングＰを含む時間長の範囲で露光時間Ｄａを設定して露光値Ｅａを制御する。
これにより、露光制御部４８が撮影環境の明るさＫの暗方向への変化に追従して露光値Ｅａを制御する際に、何度も干渉タイミングＰを前後するように露光時間Ｄａを可変することがないため、制御系のハンチングが防止され、ハンチングによる映像の乱れを抑えることができる。
【0043】
本実施形態の露光制御部４８は、撮影環境の明るさＫの明方向への変化に追従して露光値Ｅａを制御する場合、第１明るさ範囲Ｋｍ１において、干渉対応明るさＫａｘから第２明るさＫ２の範囲で明るさＫの露光値Ｅａを制御するとき、ゲインＧａを固定しつつ露光時間Ｄａを短くして露光値Ｅａを制御する。
これにより、干渉対応露光値Ｅａｘを含む第１明るさ範囲Ｋｍ１において、干渉対応明るさＫａｘから第２明るさＫ２の範囲での明るさＫの露光値Ｅａの制御において、撮影環境の明るさＫに追従して露光値Ｅａを増加させる場合と、露光値Ｅａを減少させる場合とで、露光値Ｅａを得るために可変するパラメータが異なるため、制御系のロバスト性を向上させることができる。
これにより、干渉対応露光値Ｅａｘを含む第１明るさ範囲Ｋｍ１において、干渉対応明るさＫａｘから第２明るさＫ２の範囲での明るさＫの露光値Ｅａの制御において、撮影環境の明るさＫに追従して露光値Ｅａを増加させる場合と、露光値Ｅａを減少させる場合とで、露光値Ｅａを得るために可変するパラメータが異なるため、制御系のロバスト性を向上させることができる。
【0044】
本実施形態において、ＣＭＳ１０とＴＯＦカメラシステム２０とが同期して撮影することで、露光時間Ｄａの露光開始タイミングＴａｓが干渉タイミングＰと同期する。
これにより、干渉タイミングＰに対応する干渉対応露光値Ｅａｘが正確に定まり、より安定した制御が実現される。
これにより、干渉タイミングＰに対応する干渉対応露光値Ｅａｘが正確に定まり、より安定した制御が実現される。
【0045】
上述した実施形態は、あくまでも本発明の一態様を例示したものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び応用が可能である。
【0046】
例えば、図４に示す撮影制御部４０は、第１のＩＳＰ１９とは異なる制御装置によって実現されてもよい。
また、本発明は、ＣＭＳカメラモジュール１２に限らず、グローバルシャッター方式で撮影を行う任意の撮影装置の露光制御に適用することができる。撮像素子１７は、カラー画像と近赤外線画像を同時に撮影可能なＲＧＢ－ＩＲ（ＩＲ：Ｉｎｆｒａｒｅｄ）イメージセンサである例を記載したが、本発明はＩＲカメラにも適用可能である。
また、上述した実施形態において、各種の数値に係る記載は、特段の断りがない限り、その数値の周辺を除外するものではない。すなわち、これらの数値と同じ作用効果を奏する限りにおいて、実施形態における数値は、その数値の周辺（いわゆる、均等の範囲）を含む。
また、本発明は、ＣＭＳカメラモジュール１２に限らず、グローバルシャッター方式で撮影を行う任意の撮影装置の露光制御に適用することができる。撮像素子１７は、カラー画像と近赤外線画像を同時に撮影可能なＲＧＢ－ＩＲ（ＩＲ：Ｉｎｆｒａｒｅｄ）イメージセンサである例を記載したが、本発明はＩＲカメラにも適用可能である。
また、上述した実施形態において、各種の数値に係る記載は、特段の断りがない限り、その数値の周辺を除外するものではない。すなわち、これらの数値と同じ作用効果を奏する限りにおいて、実施形態における数値は、その数値の周辺（いわゆる、均等の範囲）を含む。
【符号の説明】
【0047】
１ 車載撮影システム
１０ ＣＭＳ
１２ ＣＭＳカメラモジュール
１７ 撮像素子
１８ 第１の発光装置
１９ 第１のＩＳＰ
２０ ＴＯＦカメラシステム
２２ ＴＯＦカメラモジュール
２８ 第２の発光装置
４０ 撮影制御部
４２ 明るさ測定部
４４ ゲイン調整部
４６ 露光時間調整部
４８ 露光制御部
Ｄａ 露光時間
Ｄａｘｎ 最大不干渉露光時間
Ｄａｘ 最小干渉露光時間
Ｅａ 露光値
Ｅａｖ 所定露光値
Ｅａｘ 干渉対応露光値
１０ ＣＭＳ
１２ ＣＭＳカメラモジュール
１７ 撮像素子
１８ 第１の発光装置
１９ 第１のＩＳＰ
２０ ＴＯＦカメラシステム
２２ ＴＯＦカメラモジュール
２８ 第２の発光装置
４０ 撮影制御部
４２ 明るさ測定部
４４ ゲイン調整部
４６ 露光時間調整部
４８ 露光制御部
Ｄａ 露光時間
Ｄａｘｎ 最大不干渉露光時間
Ｄａｘ 最小干渉露光時間
Ｅａ 露光値
Ｅａｖ 所定露光値
Ｅａｘ 干渉対応露光値
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】