(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022183618
(43)【公開日】2022-12-13
(54)【発明の名称】画像生成装置
(51)【国際特許分類】
H04N 5/232 20060101AFI20221206BHJP
G01C 3/06 20060101ALI20221206BHJP
H04N 5/225 20060101ALI20221206BHJP
G03B 15/05 20210101ALI20221206BHJP
G03B 15/03 20210101ALI20221206BHJP
【ＦＩ】
H04N5/232 290
G01C3/06 120R
H04N5/225 600
G03B15/05
G03B15/03 W
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021091034
(22)【出願日】2021-05-31
(71)【出願人】
【識別番号】520423334
【氏名又は名称】ミラクシアエッジテクノロジー株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】山本 真嗣
(72)【発明者】
【氏名】中前 伸崇
【テーマコード（参考）】
2F112
2H053
5C122
【Ｆターム（参考）】
2F112AD03
2F112CA12
2F112FA03
2F112FA35
2F112FA45
2H053AD03
2H053BA33
2H053BA78
2H053CA15
2H053CA45
2H053DA00
2H053DA08
5C122DA14
5C122EA12
5C122FH09
5C122FH18
5C122GE16
5C122GG26
5C122HA88
5C122HB02
(57)【要約】
【課題】鏡面反射による影響を抑制して簡易に画像を生成する。
【解決手段】画像生成装置は、第１の発光部１０および第２の発光部２０と、受光部３０と、発光期間および受光期間を制御する駆動制御部５０と、第１の発光部１０の発光に対応する受光部３０の受光によって出力される第１の画素信号ｓ１、および、第２の発光部２０の発光に対応する受光部３０の受光によって出力される第２の画素信号ｓ２を合成する合成部７０と、を備える。第１の発光部１０および第２の発光部２０は、被写体９から見て重ならない位置に設けられている。駆動制御部５０は、同一フレームにおいて、第１の発光部１０と第２の発光部２０とを異なるタイミングで発光させる。合成部７０は、第１の画素信号ｓ１および第２の画素信号ｓ２のうち、少なくとも一方が所定のレベルよりも大きい画素信号である場合に、所定のレベルよりも大きい画素信号を用いずに合成信号ｓ１０を生成する。
【選択図】図５
【解決手段】画像生成装置は、第１の発光部１０および第２の発光部２０と、受光部３０と、発光期間および受光期間を制御する駆動制御部５０と、第１の発光部１０の発光に対応する受光部３０の受光によって出力される第１の画素信号ｓ１、および、第２の発光部２０の発光に対応する受光部３０の受光によって出力される第２の画素信号ｓ２を合成する合成部７０と、を備える。第１の発光部１０および第２の発光部２０は、被写体９から見て重ならない位置に設けられている。駆動制御部５０は、同一フレームにおいて、第１の発光部１０と第２の発光部２０とを異なるタイミングで発光させる。合成部７０は、第１の画素信号ｓ１および第２の画素信号ｓ２のうち、少なくとも一方が所定のレベルよりも大きい画素信号である場合に、所定のレベルよりも大きい画素信号を用いずに合成信号ｓ１０を生成する。
【選択図】図５
【特許請求の範囲】
【請求項1】
光を発光する第１の発光部および第２の発光部と、
前記第１の発光部および前記第２の発光部で発光したそれぞれの光が、被写体に照射されることで反射したそれぞれの反射光を、二次元状に配置された複数の画素で受光する受光部と、
前記第１の発光部の発光期間、前記第２の発光部の発光期間、および、前記受光部の受光期間を制御する駆動制御部と、
前記第１の発光部の発光に対応する前記受光部の受光によって前記画素から出力される第１の画素信号、および、前記第２の発光部の発光に対応する前記受光部の受光によって前記画素から出力される第２の画素信号を合成して合成信号を生成する合成部と、
を備え、
前記第１の発光部および前記第２の発光部は、前記被写体から見て重ならない位置に設けられ、
前記駆動制御部は、同一フレームにおいて、前記第１の発光部と前記第２の発光部とを異なるタイミングで発光させ、
前記合成部は、前記第１の画素信号および前記第２の画素信号のうち、少なくとも一方が所定のレベルよりも大きい画素信号である場合に、前記所定のレベルよりも大きい画素信号を用いずに前記合成信号を生成する
画像生成装置。
前記第１の発光部および前記第２の発光部で発光したそれぞれの光が、被写体に照射されることで反射したそれぞれの反射光を、二次元状に配置された複数の画素で受光する受光部と、
前記第１の発光部の発光期間、前記第２の発光部の発光期間、および、前記受光部の受光期間を制御する駆動制御部と、
前記第１の発光部の発光に対応する前記受光部の受光によって前記画素から出力される第１の画素信号、および、前記第２の発光部の発光に対応する前記受光部の受光によって前記画素から出力される第２の画素信号を合成して合成信号を生成する合成部と、
を備え、
前記第１の発光部および前記第２の発光部は、前記被写体から見て重ならない位置に設けられ、
前記駆動制御部は、同一フレームにおいて、前記第１の発光部と前記第２の発光部とを異なるタイミングで発光させ、
前記合成部は、前記第１の画素信号および前記第２の画素信号のうち、少なくとも一方が所定のレベルよりも大きい画素信号である場合に、前記所定のレベルよりも大きい画素信号を用いずに前記合成信号を生成する
画像生成装置。
【請求項2】
前記所定のレベルは、前記画素に蓄積される信号電荷が飽和するときの飽和レベルに基づいて予め設定される
請求項１に記載の画像生成装置。
請求項１に記載の画像生成装置。
【請求項3】
前記受光部は、前記第１の発光部の発光に対応して前記画素に蓄積された信号電荷を第１のパケットに読み出し、当該信号電荷に応じた受光量の情報を含む前記第１の画素信号を出力し、および、前記第２の発光部の発光に対応して前記受光部の前記画素に蓄積された信号電荷を第２のパケットに読み出し、当該信号電荷に応じた受光量の情報を含む前記第２の画素信号を出力する
請求項２に記載の画像生成装置。
請求項２に記載の画像生成装置。
【請求項4】
前記第１の発光部および前記第２の発光部は、前記受光部の両外側に配置されている
請求項１～３のいずれか１項に記載の画像生成装置。
請求項１～３のいずれか１項に記載の画像生成装置。
【請求項5】
被写体に向けて光を照射する第１の発光部と、
前記被写体に向けて光を照射する第２の発光部と、
前記第１の発光部および前記第２の発光部で照射した光が前記被写体に反射することで生じたそれぞれの反射光を、二次元状に配置された複数の画素で受光する受光部と、
前記第１の発光部の発光期間、前記第２の発光部の発光期間および前記受光部の受光期間を制御する駆動制御部と、
前記第１の発光部および前記第２の発光部の光の照射に応じて前記受光部の前記画素から出力された第１の画素信号および第２の画素信号が、飽和レベルを超えているか否かを判定する飽和レベル判定部と、
前記飽和レベル判定部の判定結果に基づいて、前記第１の画素信号および前記第２の画素信号を合成して合成信号を生成する合成部と、
を備え、
前記第１の発光部と前記第２の発光部とは、離間して配置され、
前記駆動制御部は、同一フレームにおいて、前記第１の発光部を発光させる第１発光パルスと前記第２の発光部を発光させる第２発光パルスとを異なるタイミングで生成し、および、前記第１の発光部で照射した光が前記被写体に反射することで生じた前記反射光を受光させる第１受光パルスと前記第２の発光部で照射した光が前記被写体に反射することで生じた前記反射光を受光させる第２受光パルスとを異なるタイミングで生成し、
前記受光部は、前記第１受光パルスに従って受光した第１受光量の情報を含む前記第１の画素信号を出力し、および、前記第２受光パルスに従って受光した第２受光量の情報を含む前記第２の画素信号を出力し、
前記飽和レベル判定部は、前記第１受光量、前記第２受光量および前記飽和レベルを比較し、
前記合成部は、
（１）前記第１受光量および前記第２受光量が前記飽和レベルよりも共に小さい場合に、第１の合成係数で前記第１の画素信号および前記第２の画素信号を合成し、
（２）前記第１受光量のみが前記飽和レベルよりも大きい場合に、第２の合成係数で前記第１の画素信号および前記第２の画素信号を合成し、
（３）前記第２受光量のみが前記飽和レベルよりも大きい場合に、第３の合成係数で前記第１の画素信号および前記第２の画素信号を合成する
画像生成装置。
前記被写体に向けて光を照射する第２の発光部と、
前記第１の発光部および前記第２の発光部で照射した光が前記被写体に反射することで生じたそれぞれの反射光を、二次元状に配置された複数の画素で受光する受光部と、
前記第１の発光部の発光期間、前記第２の発光部の発光期間および前記受光部の受光期間を制御する駆動制御部と、
前記第１の発光部および前記第２の発光部の光の照射に応じて前記受光部の前記画素から出力された第１の画素信号および第２の画素信号が、飽和レベルを超えているか否かを判定する飽和レベル判定部と、
前記飽和レベル判定部の判定結果に基づいて、前記第１の画素信号および前記第２の画素信号を合成して合成信号を生成する合成部と、
を備え、
前記第１の発光部と前記第２の発光部とは、離間して配置され、
前記駆動制御部は、同一フレームにおいて、前記第１の発光部を発光させる第１発光パルスと前記第２の発光部を発光させる第２発光パルスとを異なるタイミングで生成し、および、前記第１の発光部で照射した光が前記被写体に反射することで生じた前記反射光を受光させる第１受光パルスと前記第２の発光部で照射した光が前記被写体に反射することで生じた前記反射光を受光させる第２受光パルスとを異なるタイミングで生成し、
前記受光部は、前記第１受光パルスに従って受光した第１受光量の情報を含む前記第１の画素信号を出力し、および、前記第２受光パルスに従って受光した第２受光量の情報を含む前記第２の画素信号を出力し、
前記飽和レベル判定部は、前記第１受光量、前記第２受光量および前記飽和レベルを比較し、
前記合成部は、
（１）前記第１受光量および前記第２受光量が前記飽和レベルよりも共に小さい場合に、第１の合成係数で前記第１の画素信号および前記第２の画素信号を合成し、
（２）前記第１受光量のみが前記飽和レベルよりも大きい場合に、第２の合成係数で前記第１の画素信号および前記第２の画素信号を合成し、
（３）前記第２受光量のみが前記飽和レベルよりも大きい場合に、第３の合成係数で前記第１の画素信号および前記第２の画素信号を合成する
画像生成装置。
【請求項6】
前記第２の合成係数は、前記第１受光量を０とみなして合成する係数であり、
前記第３の合成係数は、前記第２受光量を０とみなして合成する係数である
請求項５に記載の画像生成装置。
前記第３の合成係数は、前記第２受光量を０とみなして合成する係数である
請求項５に記載の画像生成装置。
【請求項7】
前記第１の合成係数は、前記第１受光量を半分とみなし、かつ、前記第２受光量を半分とみなして合成する係数である
請求項５または６に記載の画像生成装置。
請求項５または６に記載の画像生成装置。
【請求項8】
さらに、前記第１受光量の情報または前記第２受光量の情報を補正する補正部を備え、
前記駆動制御部は、前記第１の発光部の光の照射に対応する前記受光部の第１の前記受光期間と、前記第２の発光部の光の照射に対応する前記受光部の第２の前記受光期間とを異なるように制御し、
前記補正部は、第１の前記受光期間と第２の前記受光期間との違いによって生じる受光量に基づいて、前記第１受光量の情報または前記第２受光量の情報を補正し、
前記合成部は、前記補正部で補正された補正後の前記第１受光量の情報または前記第２受光量の情報を用いて、前記第１の画素信号および前記第２の画素信号を合成する
請求項５～７のいずれか１項に記載の画像生成装置。
前記駆動制御部は、前記第１の発光部の光の照射に対応する前記受光部の第１の前記受光期間と、前記第２の発光部の光の照射に対応する前記受光部の第２の前記受光期間とを異なるように制御し、
前記補正部は、第１の前記受光期間と第２の前記受光期間との違いによって生じる受光量に基づいて、前記第１受光量の情報または前記第２受光量の情報を補正し、
前記合成部は、前記補正部で補正された補正後の前記第１受光量の情報または前記第２受光量の情報を用いて、前記第１の画素信号および前記第２の画素信号を合成する
請求項５～７のいずれか１項に記載の画像生成装置。
【請求項9】
さらに、前記第１受光量の情報または前記第２受光量の情報を補正する補正部を備え、
前記駆動制御部は、前記第１の発光部の照射開始から前記受光部による受光開始までの第１の受光開始時間と、前記第２の発光部の照射開始から前記受光部による受光開始までの第２の受光開始時間とを異なるように制御し、
前記補正部は、前記第１の受光開始時間と前記第２の受光開始時間との違いによって生じる受光量に基づいて、前記第１受光量の情報または前記第２受光量の情報を補正し、
前記合成部は、前記補正部で補正された補正後の前記第１受光量の情報または前記第２受光量の情報を用いて、前記第１の画素信号および前記第２の画素信号を合成する
請求項５～７のいずれか１項に記載の画像生成装置。
前記駆動制御部は、前記第１の発光部の照射開始から前記受光部による受光開始までの第１の受光開始時間と、前記第２の発光部の照射開始から前記受光部による受光開始までの第２の受光開始時間とを異なるように制御し、
前記補正部は、前記第１の受光開始時間と前記第２の受光開始時間との違いによって生じる受光量に基づいて、前記第１受光量の情報または前記第２受光量の情報を補正し、
前記合成部は、前記補正部で補正された補正後の前記第１受光量の情報または前記第２受光量の情報を用いて、前記第１の画素信号および前記第２の画素信号を合成する
請求項５～７のいずれか１項に記載の画像生成装置。
【請求項10】
さらに、前記被写体までの距離を演算する距離演算部を備え、
前記距離演算部は、前記補正後の前記第１受光量または前記第２受光量を用いて、前記距離を演算する
請求項８または９に記載の画像生成装置。
前記距離演算部は、前記補正後の前記第１受光量または前記第２受光量を用いて、前記距離を演算する
請求項８または９に記載の画像生成装置。
【請求項11】
被写体に向けて光を照射する第１の発光部と、
前記被写体に向けて光を照射する第２の発光部と、
前記第１の発光部および前記第２の発光部で照射した光が前記被写体に反射することで生じたそれぞれの反射光を、二次元状に配置された複数の画素で受光する受光部と、
前記第１の発光部の発光期間、前記第２の発光部の発光期間および前記受光部の受光期間を制御する駆動制御部と、
前記第１の発光部および前記第２の発光部の光の照射に応じて前記受光部の前記画素から出力された第１の画素信号および第２の画素信号が、飽和レベルを超えているか否かを判定する飽和レベル判定部と、
前記飽和レベル判定部の判定結果に基づいて、前記第１の画素信号および前記第２の画素信号を合成して合成信号を生成する合成部と、
を備え、
前記第１の発光部と前記第２の発光部とは、離間して配置され、
前記駆動制御部は、同一フレームにおいて、前記第１の発光部を発光させる１以上の第１発光パルスと前記第２の発光部を発光させる１以上の第２発光パルスとを異なるタイミングで生成し、および、前記第１の発光部で照射した光が前記被写体に反射することで生じた前記反射光を受光させる１以上の第１受光パルスと前記第２の発光部で照射した光が前記被写体に反射することで生じた前記反射光を受光させる１以上の第２受光パルスとを異なるタイミングで生成し、
前記受光部は、１以上の前記第１受光パルスに従って受光した１以上の第１受光量の情報を含む前記第１の画素信号を出力し、および、１以上の前記第２受光パルスに従って受光した１以上の第２受光量の情報を含む前記第２の画素信号を出力し、
前記飽和レベル判定部は、１以上の前記第１受光量の情報、１以上の前記第２受光量の情報および前記飽和レベルを比較し、
前記合成部は、
（１）１以上の前記第１受光量および１以上の前記第２受光量のそれぞれが、前記飽和レベルよりも全て小さい場合に、第１の合成係数で前記第１の画素信号および前記第２の画素信号を合成し、
（２）１以上の前記第１受光量の少なくとも１つが前記飽和レベルよりも大きい場合に、第２の合成係数で前記第１の画素信号および前記第２の画素信号を合成し、
（３）１以上の前記第２受光量の少なくとも１つが前記飽和レベルよりも大きい場合に、第３の合成係数で前記第１の画素信号および前記第２の画素信号を合成する
画像生成装置。
前記被写体に向けて光を照射する第２の発光部と、
前記第１の発光部および前記第２の発光部で照射した光が前記被写体に反射することで生じたそれぞれの反射光を、二次元状に配置された複数の画素で受光する受光部と、
前記第１の発光部の発光期間、前記第２の発光部の発光期間および前記受光部の受光期間を制御する駆動制御部と、
前記第１の発光部および前記第２の発光部の光の照射に応じて前記受光部の前記画素から出力された第１の画素信号および第２の画素信号が、飽和レベルを超えているか否かを判定する飽和レベル判定部と、
前記飽和レベル判定部の判定結果に基づいて、前記第１の画素信号および前記第２の画素信号を合成して合成信号を生成する合成部と、
を備え、
前記第１の発光部と前記第２の発光部とは、離間して配置され、
前記駆動制御部は、同一フレームにおいて、前記第１の発光部を発光させる１以上の第１発光パルスと前記第２の発光部を発光させる１以上の第２発光パルスとを異なるタイミングで生成し、および、前記第１の発光部で照射した光が前記被写体に反射することで生じた前記反射光を受光させる１以上の第１受光パルスと前記第２の発光部で照射した光が前記被写体に反射することで生じた前記反射光を受光させる１以上の第２受光パルスとを異なるタイミングで生成し、
前記受光部は、１以上の前記第１受光パルスに従って受光した１以上の第１受光量の情報を含む前記第１の画素信号を出力し、および、１以上の前記第２受光パルスに従って受光した１以上の第２受光量の情報を含む前記第２の画素信号を出力し、
前記飽和レベル判定部は、１以上の前記第１受光量の情報、１以上の前記第２受光量の情報および前記飽和レベルを比較し、
前記合成部は、
（１）１以上の前記第１受光量および１以上の前記第２受光量のそれぞれが、前記飽和レベルよりも全て小さい場合に、第１の合成係数で前記第１の画素信号および前記第２の画素信号を合成し、
（２）１以上の前記第１受光量の少なくとも１つが前記飽和レベルよりも大きい場合に、第２の合成係数で前記第１の画素信号および前記第２の画素信号を合成し、
（３）１以上の前記第２受光量の少なくとも１つが前記飽和レベルよりも大きい場合に、第３の合成係数で前記第１の画素信号および前記第２の画素信号を合成する
画像生成装置。
【請求項12】
さらに、被写体までの距離を演算する距離演算部を備え、
前記距離演算部は、１以上の前記第１受光量の合計値および１以上の前記第２受光量の合計値を用いて、前記距離を演算する
請求項１１に記載の画像生成装置。
前記距離演算部は、１以上の前記第１受光量の合計値および１以上の前記第２受光量の合計値を用いて、前記距離を演算する
請求項１１に記載の画像生成装置。
【請求項13】
前記駆動制御部は、前記発光期間および前記受光期間のそれぞれを前記同一フレームで複数回実行する、
請求項５～１２のいずれか１項に記載の画像生成装置。
請求項５～１２のいずれか１項に記載の画像生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、被写体の画像を生成する画像生成装置に関する。
【背景技術】
【0002】
近年、被写体である人の顔をカメラで撮影し、人の健康状態、覚醒状態、集中状態などをリアルタイムで判断するシステムが提案されている。被写体を撮影する際に使用する光源は、可視光と非可視光に分類されるが、環境光の影響を受けず安定した明度の画像を取得するため、非可視光の光源が数多く採用されている。
【0003】
非可視光を被写体に照射し反射光を受光して撮影する際の課題として、鏡面反射による画素信号の飽和が挙げられる。例えば、撮像する際に被写体の一部に鏡面反射が発生すると、受光した光の光量過多によって飽和が発生し、被写体の画像情報の一部が欠落する。被写体の画像情報の一部が欠落すると、人の健康状態、覚醒状態、集中状態などを判断する際の精度低下を招くことになる。
【0004】
非特許文献１では、ステレオカメラ方式で撮像する技術が提案されている。ステレオカメラ方式では、離間して配置された２つのカメラで被写体を撮像する。この技術では、一方のカメラが鏡面反射の影響によって必要な情報が取得できない場合でも、他方のカメラの情報を用いて被写体の画像を生成することができる。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】「ステレオカメラによる瞳孔検出における眼鏡反射問題の改善（Improvement of glasses reflection problem in pupil detection using stereo-calibrated cameras）」、著者 石田寿久、福元 清剛、海老澤 嘉伸、2011年映像情報メディア学会年次大会（ITE Annual Convention 2011）
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし非特許文献１では、離間した場所に設置された２つのカメラで同時に被写体を撮影し、２つの撮像画像を相互に補完する仕組みが必要となり、装置が大型化するという問題がある。
【0007】
そこで本開示は、鏡面反射による影響を抑制して簡易に画像を生成する画像生成装置を提供する。
【課題を解決するための手段】
【0008】
本開示の画像生成装置は、光を発光する第１の発光部および第２の発光部と、前記第１の発光部および前記第２の発光部で発光したそれぞれの光が、被写体に照射されることで反射したそれぞれの反射光を、二次元状に配置された複数の画素で受光する受光部と、前記第１の発光部の発光期間、前記第２の発光部の発光期間、および、前記受光部の受光期間を制御する駆動制御部と、前記第１の発光部の発光に対応する前記受光部の受光によって前記画素から出力される第１の画素信号、および、前記第２の発光部の発光に対応する前記受光部の受光によって前記画素から出力される第２の画素信号を合成して合成信号を生成する合成部と、を備え、前記第１の発光部および前記第２の発光部は、前記被写体から見て重ならない位置に設けられ、前記駆動制御部は、同一フレームにおいて、前記第１の発光部と前記第２の発光部とを異なるタイミングで発光させ、前記合成部は、前記第１の画素信号および前記第２の画素信号のうち、少なくとも一方が所定のレベルよりも大きい画素信号である場合に、前記所定のレベルよりも大きい画素信号を用いずに前記合成信号を生成する。
【0009】
本開示の画像生成装置は、被写体に向けて光を照射する第１の発光部と、前記被写体に向けて光を照射する第２の発光部と、前記第１の発光部および前記第２の発光部で照射した光が前記被写体に反射することで生じたそれぞれの反射光を、二次元状に配置された複数の画素で受光する受光部と、前記第１の発光部の発光期間、前記第２の発光部の発光期間および前記受光部の受光期間を制御する駆動制御部と、前記第１の発光部および前記第２の発光部の光の照射に応じて前記受光部の前記画素から出力された第１の画素信号および第２の画素信号が、飽和レベルを超えているか否かを判定する飽和レベル判定部と、前記飽和レベル判定部の判定結果に基づいて、前記第１の画素信号および前記第２の画素信号を合成して合成信号を生成する合成部と、を備え、前記第１の発光部と前記第２の発光部とは、離間して配置され、前記駆動制御部は、同一フレームにおいて、前記第１の発光部を発光させる第１発光パルスと前記第２の発光部を発光させる第２発光パルスとを異なるタイミングで生成し、および、前記第１の発光部で照射した光が前記被写体に反射することで生じた前記反射光を受光させる第１受光パルスと前記第２の発光部で照射した光が前記被写体に反射することで生じた前記反射光を受光させる第２受光パルスとを異なるタイミングで生成し、前記受光部は、前記第１受光パルスに従って受光した第１受光量の情報を含む前記第１の画素信号を出力し、および、前記第２受光パルスに従って受光した第２受光量の情報を含む前記第２の画素信号を出力し、前記飽和レベル判定部は、前記第１受光量、前記第２受光量および前記飽和レベルを比較し、前記合成部は、（１）前記第１受光量および前記第２受光量が前記飽和レベルよりも共に小さい場合に、第１の合成係数で前記第１の画素信号および前記第２の画素信号を合成し、（２）前記第１受光量のみが前記飽和レベルよりも大きい場合に、第２の合成係数で前記第１の画素信号および前記第２の画素信号を合成し、（３）前記第２受光量のみが前記飽和レベルよりも大きい場合に、第３の合成係数で前記第１の画素信号および前記第２の画素信号を合成する。
【0010】
本開示の画像生成装置は、被写体に向けて光を照射する第１の発光部と、前記被写体に向けて光を照射する第２の発光部と、前記第１の発光部および前記第２の発光部で照射した光が前記被写体に反射することで生じたそれぞれの反射光を、二次元状に配置された複数の画素で受光する受光部と、前記第１の発光部の発光期間、前記第２の発光部の発光期間および前記受光部の受光期間を制御する駆動制御部と、前記第１の発光部および前記第２の発光部の光の照射に応じて前記受光部の前記画素から出力された第１の画素信号および第２の画素信号が、飽和レベルを超えているか否かを判定する飽和レベル判定部と、前記飽和レベル判定部の判定結果に基づいて、前記第１の画素信号および前記第２の画素信号を合成して合成信号を生成する合成部と、を備え、前記第１の発光部と前記第２の発光部とは、離間して配置され、前記駆動制御部は、同一フレームにおいて、前記第１の発光部を発光させる１以上の第１発光パルスと前記第２の発光部を発光させる１以上の第２発光パルスとを異なるタイミングで生成し、および、前記第１の発光部で照射した光が前記被写体に反射することで生じた前記反射光を受光させる１以上の第１受光パルスと前記第２の発光部で照射した光が前記被写体に反射することで生じた前記反射光を受光させる１以上の第２受光パルスとを異なるタイミングで生成し、前記受光部は、１以上の前記第１受光パルスに従って受光した１以上の第１受光量の情報を含む前記第１の画素信号を出力し、および、１以上の前記第２受光パルスに従って受光した１以上の第２受光量の情報を含む前記第２の画素信号を出力し、前記飽和レベル判定部は、１以上の前記第１受光量の情報、１以上の前記第２受光量の情報および前記飽和レベルを比較し、前記合成部は、（１）１以上の前記第１受光量および１以上の前記第２受光量のそれぞれが、前記飽和レベルよりも全て小さい場合に、第１の合成係数で前記第１の画素信号および前記第２の画素信号を合成し、（２）１以上の前記第１受光量の少なくとも１つが前記飽和レベルよりも大きい場合に、第２の合成係数で前記第１の画素信号および前記第２の画素信号を合成し、（３）１以上の前記第２受光量の少なくとも１つが前記飽和レベルよりも大きい場合に、第３の合成係数で前記第１の画素信号および前記第２の画素信号を合成する。
【発明の効果】
【0011】
本開示の画像生成装置によれば、鏡面反射による影響を抑制して簡易に画像を生成することができる。
【図面の簡単な説明】
【0012】
【図1】画像生成装置が設けられる空間の一例を示す図である。
【図2】被写体の一部に鏡面反射が発生している様子を示す図である。
【図3】実施の形態１に係る画像生成装置および被写体を上側から見た図である。
【図4】実施の形態１に係る画像生成装置を被写体側から見た図である。
【図5】実施の形態１に係る画像生成装置のブロック構成図である。
【図6】実施の形態１に係る画像生成装置の動作を示すタイムチャートである。
【図7】実施の形態１に係る画像生成装置の受光部で取得される画素情報等を模式的に示す図である。
【図8】実施の形態１に係る画像生成装置の受光部から出力される画素信号を示す図である。
【図9】飽和レベル判定部の判定結果および合成部における合成処理を示すテーブルである。
【図10】実施の形態１に係る画像生成装置の第１の発光部、第２の発光部および受光部の配置の他の例を示す図である。
【図11】実施の形態２に係る画像生成装置のブロック構成図である。
【図12】実施の形態２に係る画像生成装置の動作を示すタイムチャートである。
【図13】実施の形態２の変形例１に係る画像生成装置の動作を示すタイムチャートである。
【図14】実施の形態２の変形例２に係る画像生成装置の動作を示すタイムチャートである。
【図15】実施の形態２の変形例３に係る画像生成装置の動作を示すタイムチャートである。
【図16】実施の形態３に係る画像生成装置のブロック構成図である。
【図17】実施の形態３に係る画像生成装置の動作を示すタイムチャートである。
【図18】飽和レベル判定部の判定結果および合成部における合成処理を示すテーブルである。
【図19】実施の形態３の変形例に係る画像生成装置の動作を示すタイムチャートである。
【図20】飽和レベル判定部の判定結果および合成部における合成処理を示すテーブルである。
【図21】実施の形態４に係る画像生成装置のブロック構成図である。
【図22】実施の形態４に係る画像生成装置の動作を示すタイムチャートである。
【図23】実施の形態４の変形例に係る画像生成装置の動作を示すタイムチャートである。
【図24】実施の形態５に係る画像生成装置の動作を示すタイムチャートである。
【図25】実施の形態５に係る画像生成装置の動作の他の例を示す図である。
【図26】実施の形態５に係る画像生成装置の動作の他の例を示す図である。
【図27】実施の形態５に係る画像生成装置の動作の他の例を示す図である。
【発明を実施するための形態】
【0013】
（本開示の基礎となる知見）
本開示の基礎となる知見について、図１および図２を参照しながら説明する。なお、本開示の基礎となる知見には、従来技術にはない新たな知見および新たな知見の基礎となる従来の知見も含まれる。
本開示の基礎となる知見について、図１および図２を参照しながら説明する。なお、本開示の基礎となる知見には、従来技術にはない新たな知見および新たな知見の基礎となる従来の知見も含まれる。
【0014】
図１は、画像生成装置が設けられる空間８の一例を示す図である。
【0015】
図１に示すように、画像生成装置は、車室などの所定の空間８内に設けられる。画像生成装置は、被写体９である運転者を撮像して画像を生成する装置であり、運転者の健康状態等を判断するシステムに用いられる。画像生成装置は、光を発する光源と、光を受光するカメラとを備えている。このような画像生成装置では、光源から発した光が、被写体の一部にて鏡面反射することがある。
【0016】
図２は、被写体９の一部に鏡面反射が発生している様子を示す図である。例えば、被写体９が眼鏡を装着している場合、光源から発した光が眼鏡のレンズまたはフレームにて鏡面反射することがある。同図には、眼鏡のレンズに４つの光源の光が鏡面反射している例が示されている。
【0017】
図２に示すように、被写体９の眼鏡にて鏡面反射が発生すると、受光した光の光量過多によって飽和が発生し、被写体９の目の周辺の画像情報が欠落する。この場合、例えば光源の発光量を小さくしても、飽和の発生を完全に防ぐことは難しい。また、光源の発光量を小さくし過ぎると明度が低くなり、被写体９の画像を正確に取得することができない。このように被写体９の画像を正確に取得できないと、被写体９の健康状態、覚醒状態、集中状態などを正しく判断することができなくなる。
【0018】
それに対し、本実施の形態の画像生成装置は、鏡面反射による影響を抑制して簡易に画像を生成するため、以下に示す構成を有している。
【0019】
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の一形態に係る実現形態を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。本開示の実現形態は、現行の独立請求項に限定されるものではなく、他の独立請求項によっても表現され得る。
【0020】
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化される場合がある。
【0021】
【0022】
【0023】
図３および図４に示すように、画像生成装置１は、光を発光する第１の発光部１０および第２の発光部２０と、光を受光する受光部３０と、基板４０と、を備えている。図５に示すように、画像生成装置１は、さらに、第１の発光部１０、第２の発光部２０および受光部３０を制御する駆動制御部５０と、飽和レベル判定部６０と、合成部７０と、を備えている。
【0024】
基板４０は、長方形状であり、例えば縦５０ｍｍ横１５０ｍｍの大きさを有する。基板４０には、第１の発光部１０、第２の発光部２０、受光部３０、駆動制御部５０、飽和レベル判定部６０および合成部７０が設けられている。なお、駆動制御部５０、飽和レベル判定部６０および合成部７０は、基板４０と異なる外部の回路基板に設けられていてもよい。
【0025】
第１の発光部１０および第２の発光部２０は、被写体９に光を照射する光源である。第１の発光部１０および第２の発光部２０から照射される照射光Ｌ１、Ｌ２は、例えば、赤外光またはレーザー光である。第１の発光部１０および第２の発光部２０のそれぞれは、複数の光源（例えば発光素子）によって構成されていてもよい。図４には、第１の発光部１０が２つの光源１０ａおよび１０ｂによって構成され、第２の発光部２０が２つの光源２０ａおよび２０ｂによって構成されている例が示されている。また、第１の発光部１０および第２の発光部２０のそれぞれは、出射光を拡散して照射するための拡散板を有していてもよい。
【0026】
第１の発光部１０および第２の発光部２０は、被写体９から見て重ならない位置、すなわち、被写体９から見て異なる位置に設けられている。具体的には、第１の発光部１０および第２の発光部２０は、基板４０に垂直な方向から見て、受光部３０を間に挟んで、受光部３０の両外側に配置されている。つまり、第１の発光部１０および第２の発光部２０は、基板４０上において互いに離間して配置されている。
【0027】
受光部３０は、第１の発光部１０および第２の発光部２０の間に配置されている。受光部３０は、第１の発光部１０および第２の発光部２０で発光した光が被写体９に照射されることで反射したそれぞれの反射光Ｒ１、Ｒ２を受光する。具体的には、受光部３０は、第１の発光部１０で照射した照射光Ｌ１が被写体９に反射することで生じた反射光Ｒ１を受光し、また、第２の発光部２０で照射した照射光Ｌ２が被写体９に反射することで生じた反射光Ｒ２を受光する。受光部３０は、二次元状に配置された複数の画素３１によって構成される。受光部３０としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ-Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、または、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等が用いられる。
【0028】
駆動制御部５０は、第１の発光部１０の第１の発光期間Ｔｇ１、第２の発光部２０の第２の発光期間Ｔｇ２、および、受光部３０の第１の受光期間Ｔｒ１、第２の受光期間Ｔｒ２を制御する。発光期間および受光期間については、後述する。
【0029】
駆動制御部５０は、同一フレームにおいて、第１の発光部１０を発光させる第１発光パルスＳＧ１と、第２の発光部２０を発光させる第２発光パルスＳＧ２と、を異なるタイミングで生成する。また、駆動制御部５０は、被写体９で反射した反射光Ｒ１を受光させる第１受光パルスＲＧ１と、被写体９で反射した反射光Ｒ２を受光させる第２受光パルスＲＧ２と、を異なるタイミングで生成する。
【0030】
【0031】
駆動制御部５０は、図６に示すように、第１の発光部１０を制御する第１発光パルスＳＧ１を生成する。第１の発光部１０は、駆動制御部５０から出力された第１発光パルスＳＧ１に従って、被写体９に向けて照射光Ｌ１を照射する。
【0032】
また、駆動制御部５０は、第１発光パルスＳＧ１とは異なるタイミングで第２の発光部２０を制御する第２発光パルスＳＧ２を生成する。第２の発光部２０は、駆動制御部５０から出力された第２発光パルスＳＧ２に従って、被写体９に向けて照射光Ｌ２を照射する。
【0033】
照射光Ｌ１およびＬ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第１発光パルスＳＧ１による第１の発光期間Ｔｇ１と、第２発光パルスＳＧ２による第２の発光期間Ｔｇ２と、が等しくなるように制御する。
【0034】
駆動制御部５０は、受光部３０を制御する第１受光パルスＲＧ１を生成する。第１の発光部１０から照射され被写体９で反射した反射光Ｒ１は、受光部３０に入射される。受光部３０は、駆動制御部５０から出力された第１受光パルスＲＧ１に従って反射光Ｒ１を受光し、受光した第１受光量ＲＬ１に関する画素情報を出力する。
【0035】
また、駆動制御部５０は、第１受光パルスＲＧ１とは異なるタイミングで受光部３０を制御する第２受光パルスＲＧ２を生成する。第２の発光部２０から照射され被写体９で反射した反射光Ｒ２は、受光部３０に入射される。受光部３０は、駆動制御部５０から出力された第２受光パルスＲＧ２に従って反射光Ｒ２を受光し、受光した第２受光量ＲＬ２に関する画素情報を出力する。
【0036】
反射光Ｒ１およびＲ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第１の発光部１０による光の照射開始から受光部３０での受光開始までの第１の受光開始時間ｔｓ１と、第２の発光部２０による光の照射開始から受光部３０での受光開始までの第２の受光開始時間ｔｓ２と、が等しくなるように制御する。また、駆動制御部５０は、第１の発光部１０の光の照射に対応する受光部３０の第１の受光期間Ｔｒ１と、第２の発光部２０の光の照射に対応する受光部３０の第２の受光期間Ｔｒ２と、が等しくなるように制御する。
【0037】
図７は、画像生成装置１の受光部３０で取得される画素情報を模式的に示す図である。図７の（ａ）には、第１の発光部１０の発光によって被写体９の一部に鏡面反射が生じている様子が示されている。図７の（ｂ）には、第２の発光部２０の発光によって被写体９の他の一部に鏡面反射が生じている様子が示されている。なお、図７の（ａ）および（ｂ）は、２つのフレームによって生成された２つの画像ではなく、１つのフレームから得られる別々の画素情報を示す図である。図７の（ｃ）には、２つの画素情報が合成されることで生成された１つの画像が示されている。
【0038】
前述したように、第１の発光部１０および第２の発光部２０は、異なる位置に設けられ、異なるタイミングで発光する。そのため、被写体９の同じ位置にて反射した反射光Ｒ１、Ｒ２のそれぞれは、受光部３０上の異なるアドレス、すなわち異なる画素３１に入射する。
【0039】
したがって、図７の（ａ）に示すように、第１の発光部１０で発光した光によって被写体９の一部に鏡面反射が発生した場合であっても、第２の発光部２０で発光した光を用いて、第１の発光部１０で取得できなかった画素情報を取得することができる。また、図７の（ｂ）に示すように、第２の発光部２０で発光した光によって被写体９の他の一部に鏡面反射が発生した場合であっても、第１の発光部１０で発光した光を用いて、第２の発光部２０で取得できなかった画素情報を取得することができる。つまり、一方の発光部の発光した光によって被写体９の一部に鏡面反射が発生した場合であっても、図７の（ａ）および（ｂ）に示す画素情報を合成することで、図７の（ｃ）に示すように、鏡面反射の無い画像を生成することができる。
【0040】
以下、受光部３０で受光した反射光Ｒ１、Ｒ２に基づいて画像を生成するための具体的な構成について説明する。
【0041】
図８は、画像生成装置１の受光部３０から出力される画素信号を示す図である。受光部３０は、二次元状に配置された複数の画素３１のそれぞれにて反射光Ｒ１、Ｒ２を受光し、第１受光量ＲＬ１の情報を含む第１の画素信号ｓ１、および、第２受光量ＲＬ２の情報を含む第２の画素信号ｓ２を出力する。以下では理解を容易にするため、１つの画素３１に着目して説明する。
【0042】
受光部３０は、画素３１に蓄積された信号電荷を読み出すための複数のパケットを有している。図８には、受光部３０が３つのパケットを有している例が示されている。
【0043】
受光部３０は、第１の発光部１０の発光に対応して受光部３０の画素３１に蓄積された信号電荷を第１のパケットｐ１に読み出し、上記信号電荷に応じた第１受光量ＲＬ１の情報を含む第１の画素信号ｓ１を出力する。また、受光部３０は、第２の発光部２０の発光に対応して受光部３０の画素３１に蓄積された信号電荷を第２のパケットｐ２に読み出し、上記信号電荷に応じた第２受光量ＲＬ２の情報を含む第２の画素信号ｓ２を出力する。
【0044】
受光部３０から出力された第１の画素信号ｓ１および第２の画素信号ｓ２は、垂直転送および水平転送され、さらに、アナログデータからデジタルデータに変換された後、飽和レベル判定部６０へ出力される。なお、アナログデータからデジタルデータへの変換は、受光部３０で実行される必要はなく、受光部３０の外部で実行されてもよい。
【0045】
図５に示す飽和レベル判定部６０は、第１受光量ＲＬ１および第２受光量ＲＬ２が所定のレベルを超えているか否かを判定する。所定のレベルは、画素３１に蓄積される信号電荷が飽和するときの飽和レベルＴＨに基づいて予め設定される。例えば、所定のレベルは、画素３１に蓄積される信号電荷が飽和するときの９０％以上１００％以下に設定される。以下、所定のレベルを飽和レベルＴＨと呼ぶ場合がある。
【0046】
例えば、飽和レベル判定部６０は、第１の発光部１０の光の照射に応じて受光部３０の画素から出力された第１の画素信号ｓ１が飽和レベルＴＨを超えているか否かを判定する。また、飽和レベル判定部６０は、第２の発光部２０の光の照射に応じて受光部３０の画素から出力された第２の画素信号ｓ２が飽和レベルＴＨを超えているか否かを判定する。飽和レベルＴＨは、１つの同じ値に設定されるが、それに限られない。飽和レベルＴＨは、第１の画素信号ｓ１と比較する際、および、第２の画素信号ｓ２と比較する際のそれぞれの場合で、異なる値に設定されてもよい。飽和レベル判定部６０によって判定された判定結果は、合成部７０へ出力される。
【0047】
図９は、飽和レベル判定部６０の判定結果および合成部７０における合成処理を示すテーブルである。
【0048】
合成部７０は、飽和レベル判定部６０の判定結果に基づいて、第１の画素信号ｓ１および第２の画素信号ｓ２を合成して合成信号ｓ１０を生成する。
【0049】
例えば、合成部７０は、第１の画素信号ｓ１および第２の画素信号ｓ２の両方にて飽和が発生していない場合、次のように合成信号ｓ１０を生成する。
【0050】
図９の（１）に示すように、合成部７０は、第１受光量ＲＬ１および第２受光量ＲＬ２が、飽和レベルＴＨよりも共に小さい場合に、第１の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。第１の合成係数は、第１受光量ＲＬ１を半分とみなし、かつ、第２受光量ＲＬ２を半分とみなして合成する係数である。つまり合成部７０は、第１受光量ＲＬ１および第２受光量ＲＬ２が飽和レベルＴＨよりも共に小さい場合、第１の画素信号ｓ１および第２の画素信号ｓ２の両方を半分ずつ用いて合成信号ｓ１０を生成する。
【0051】
また、例えば、合成部７０は、第１の画素信号ｓ１および第２の画素信号ｓ２のうち、少なくとも一方に飽和が発生している場合、すなわち、少なくとも一方が所定のレベルよりも大きい画素信号である場合に、所定のレベルよりも大きい画素信号を用いずに合成信号ｓ１０を生成する。
【0052】
具体的には、合成部７０は、第１受光量ＲＬ１のみが飽和レベルＴＨよりも大きい場合に、第２の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。第２の合成係数は、第１受光量ＲＬ１を０とみなして合成する係数である。つまり合成部７０は、第１受光量ＲＬ１のみが飽和レベルＴＨよりも大きい場合に、第１の画素信号ｓ１を用いずに、第２の画素信号ｓ２を用いて合成信号ｓ１０を生成する（図９の（２）参照）。
【0053】
また、合成部７０は、第２受光量ＲＬ２のみが飽和レベルＴＨよりも大きい場合に、第３の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。第３の合成係数は、第２受光量ＲＬ２を０とみなして合成する係数である。つまり合成部７０は、第２受光量ＲＬ２のみが飽和レベルＴＨよりも大きい場合に、第２の画素信号ｓ２を用いずに、第１の画素信号ｓ１を用いて合成信号ｓ１０を生成する（図９の（３）参照）。
【0054】
このように画像生成装置１では、第１の発光部１０で照射した照射光Ｌ１が被写体９にて鏡面反射した場合、第１受光量ＲＬ１の情報を用いずに、鏡面反射の影響を受けていない第２受光量ＲＬ２の情報を用いて合成信号ｓ１０を生成する。また、画像生成装置１では、第２の発光部２０で照射した照射光Ｌ２が被写体９にて鏡面反射した場合、第２受光量ＲＬ２を用いずに、鏡面反射の影響を受けていない第１受光量ＲＬ１を用いて合成信号ｓ１０を生成する。
【0055】
なお、被写体９に光量の多すぎる光が照射された場合、第１受光量ＲＬ１および第２受光量ＲＬ２が共に飽和レベルＴＨよりも大きくなるが、この場合、合成部７０は異常値を出力してもよい。異常値を設定することで、画像に異常が発生していることを通知することができる。
【0056】
このように合成部７０は、飽和レベル判定部６０の判定結果に基づいて、画素３１から出力された複数の画素信号を合成し、合成信号ｓ１０を出力する。画像生成装置１は、複数の画素３１から出力された複数の合成信号ｓ１０に基づいて被写体９の画像を生成する。
【0057】
この画像生成装置１によれば、第１の画素信号ｓ１および第２の画素信号ｓ２の少なくとも一方が所定のレベルよりも大きい画素信号である場合に、所定のレベルよりも大きい画素信号を用いずに合成信号ｓ１０を生成する。これによれば、鏡面反射による影響を抑制して簡易に画像を生成することができる。
【0058】
なお、上記では、４つの光源が、受光部３０の外側に配置されている例を示したが、第１の発光部１０および第２の発光部２０の配置はこれに限られない。
【0059】
図１０は、画像生成装置１の第１の発光部１０、第２の発光部２０および受光部３０の配置の他の例を示す図である。
【0060】
図１０の（ａ）には、第１の発光部１０および第２の発光部２０が、受光部３０に対して左右方向の両外側に配置された例が示されている。図１０の（ｂ）には、第１の発光部１０および第２の発光部２０が、受光部３０に対して上下方向の両外側に配置された例が示されている。図１０の（ｃ）には、第１の発光部１０および第２の発光部２０が、受光部３０に対して斜め方向の両外側に配置された例が示されている。第１の発光部１０および第２の発光部２０は、離間した位置であれば、どのように配置されてもよい。
【0061】
（実施の形態２）
［画像生成装置］
実施の形態２に係る画像生成装置１Ａについて、図１１および図１２を参照しながら説明する。実施の形態２では、画像生成装置１Ａが、さらに、補正部８０および距離演算部９０を備えている例について説明する。実施の形態１と同じ構成については説明を省略することがある。
［画像生成装置］
実施の形態２に係る画像生成装置１Ａについて、図１１および図１２を参照しながら説明する。実施の形態２では、画像生成装置１Ａが、さらに、補正部８０および距離演算部９０を備えている例について説明する。実施の形態１と同じ構成については説明を省略することがある。
【0062】
なお、以下に示す画像生成装置は、画像を生成するだけでなく、距離を測定する機能も備えている。以下に示す画像生成装置は、距離測定装置として使用されてもよい。
【0063】
図１１は、実施の形態２に係る画像生成装置１Ａのブロック構成図である。図１２は、画像生成装置１Ａの動作を示すタイムチャートである。図１２には、１つのフレームにおける画像生成装置１Ａの動作が示されている。
【0064】
図１１に示すように、実施の形態２の画像生成装置１Ａも、第１の発光部１０および第２の発光部２０と、受光部３０と、駆動制御部５０と、飽和レベル判定部６０と、合成部７０と、を備えている。また、画像生成装置１Ａは、受光量の情報を補正する補正部８０と、画像生成装置１Ａから被写体９までの距離を演算する距離演算部９０と、を備えている。
【0065】
駆動制御部５０は、図１２に示すように、第１の発光部１０を制御する第１発光パルスＳＧ３を生成する。第１の発光部１０は、駆動制御部５０から出力された第１発光パルスＳＧ３に従って、被写体９に向けて照射光Ｌ１を照射する。
【0066】
また、駆動制御部５０は、第１発光パルスＳＧ３とは異なるタイミングで第２の発光部２０を制御する第２発光パルスＳＧ４を生成する。第２の発光部２０は、駆動制御部５０から出力された第２発光パルスＳＧ４に従って、被写体９に向けて照射光Ｌ２を照射する。
【0067】
照射光Ｌ１およびＬ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第１発光パルスＳＧ３による第１の発光期間Ｔｇ３と、第２発光パルスＳＧ４による第２の発光期間Ｔｇ４と、が等しくなるように制御する。
【0068】
駆動制御部５０は、受光部３０を制御する第１受光パルスＲＧ３を生成する。第１の発光部１０から照射され被写体９で反射した反射光Ｒ１は、受光部３０に入射される。受光部３０は、駆動制御部５０から出力された第１受光パルスＲＧ３に従って反射光Ｒ１を受光し、受光した第１受光量ＲＬ３に関する画素情報を出力する。
【0069】
また、駆動制御部５０は、第１受光パルスＲＧ３とは異なるタイミングで受光部３０を制御する第２受光パルスＲＧ４を生成する。第２の発光部２０から照射され被写体９で反射した反射光Ｒ２は、受光部３０に入射される。受光部３０は、駆動制御部５０から出力された第２受光パルスＲＧ４に従って反射光Ｒ２を受光し、受光した第２受光量ＲＬ４に関する画素情報を出力する。
【0070】
反射光Ｒ１およびＲ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第１の発光部１０による光の照射開始から受光部３０での受光開始までの第１の受光開始時間ｔｓ３と、第２の発光部２０による光の照射開始から受光部３０での受光開始までの第２の受光開始時間ｔｓ４と、が等しくなるように制御する。また、駆動制御部５０は、第１の発光部１０の光の照射に対応する受光部３０の第１の受光期間Ｔｒ３と、第２の発光部２０の光の照射に対応する受光部３０の第２の受光期間Ｔｒ４と、が異なるように制御する。具体的には、駆動制御部５０は、第１の受光期間Ｔｒ３が第２の受光期間Ｔｒ４の１／２となるように制御する。
【0071】
以下、受光部３０で受光した反射光Ｒ１、Ｒ２に基づいて画像を生成し、また、被写体９までの距離を求めるための具体的な構成について説明する。
【0072】
図１１に示す飽和レベル判定部６０は、第１受光量ＲＬ３および第２受光量ＲＬ４が所定のレベルを超えているか否かを判定する。飽和レベル判定部６０によって判定された判定結果は、補正部８０へ出力される。
【0073】
補正部８０は、例えば、第２受光量ＲＬ４の情報を示す画素信号が飽和レベルＴＨよりも大きいと判断された場合に、第１受光量ＲＬ３の情報を補正する。第１受光量ＲＬ３の情報を補正するのは、第１の受光期間Ｔｒ３が第２の受光期間Ｔｒ４と異なるためである。補正部８０は、補正を行う際に、第１の受光期間Ｔｒ３と第２の受光期間Ｔｒ４との違いによって生じる受光量に基づいて、第１受光量ＲＬ３の情報を補正する。例えば補正部８０は、飽和レベルＴＨよりも小さい周辺画素の受光量の比（周辺画素の第２受光量／周辺画素の第１受光量）を用いて第１受光量ＲＬ３の情報を補正する。周辺画素の受光量は、画素３１に最も近い画素の受光量であってもよいし、画素３１の周辺に位置する複数の画素の受光量の平均値であってもよい。
【0074】
補正部８０で補正された後の補正後の第１受光量ＲＬ３の情報は、以下の（式１）で表される。
【0075】
【数1】
【0076】
補正部８０は、補正後の第１受光量ＲＬ３の情報を、合成部７０および距離演算部９０へ出力する。
【0077】
合成部７０は、補正部８０で補正された補正後の第１受光量ＲＬ３の情報を用いて、第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。具体的に合成部７０は、第２受光量ＲＬ４のみが飽和レベルＴＨよりも大きい場合に、第２受光量ＲＬ４の情報を含む第２の画素信号ｓ２を用いずに、補正後の第１受光量ＲＬ３の情報を含む第１の画素信号ｓ１を用いて合成信号ｓ１０を生成する。
【0078】
なお、合成部７０は、第１受光量ＲＬ３および第２受光量ＲＬ４が飽和レベルＴＨよりも共に小さい場合、および、第１受光量ＲＬ３のみが飽和レベルＴＨよりも大きい場合は、実施の形態１と同様に合成信号ｓ１０を生成する。
【0079】
次に、距離演算部９０による演算処理について説明する。
【0080】
距離演算部９０は、第１受光量ＲＬ３および第２受光量ＲＬ４が飽和レベルＴＨよりも共に小さい場合に、被写体９までの距離を演算することが可能である。例えば、距離演算部９０は、第１受光量ＲＬ３および第２受光量ＲＬ４を用いて、被写体９までの距離を演算することができる。被写体９までの距離をＬ、発光パルス幅をＴｎ、光の速度をｃ（約２９９，７９２，４５８ｍ／ｓ）とすると、距離Ｌは以下に示す（式２）で表される。
【0081】
【数2】
【0082】
この画像生成装置１Ａにおいても、第１の画素信号ｓ１および第２の画素信号ｓ２の少なくとも一方が所定のレベル（飽和レベルＴＨ）よりも大きい画素信号である場合に、所定のレベルよりも大きい画素信号を用いずに合成信号ｓ１０を生成する。これによれば、鏡面反射による影響を抑制して簡易に画像を生成することができる。また、画像生成装置１Ａによれば、第１受光量ＲＬ３および第２受光量ＲＬ４が飽和レベルＴＨよりも共に小さい場合に、被写体９までの距離Ｌを簡易に測定することができる。
【0083】
［実施の形態２の変形例１］
実施の形態２の変形例１に係る画像生成装置１Ｂについて、図１３を参照しながら説明する。実施の形態２の変形例１では、第１の受光開始時間ｔｓ５を、実施の形態２の第１の受光開始時間ｔｓ３よりも遅らせている例について説明する。
実施の形態２の変形例１に係る画像生成装置１Ｂについて、図１３を参照しながら説明する。実施の形態２の変形例１では、第１の受光開始時間ｔｓ５を、実施の形態２の第１の受光開始時間ｔｓ３よりも遅らせている例について説明する。
【0084】
【0085】
駆動制御部５０は、図１３に示すように、第１の発光部１０を制御する第１発光パルスＳＧ５を生成する。第１の発光部１０は、駆動制御部５０から出力された第１発光パルスＳＧ５に従って、被写体９に向けて照射光Ｌ１を照射する。
【0086】
また、駆動制御部５０は、第１発光パルスＳＧ５とは異なるタイミングで第２の発光部２０を制御する第２発光パルスＳＧ６を生成する。第２の発光部２０は、駆動制御部５０から出力された第２発光パルスＳＧ６に従って、被写体９に向けて照射光Ｌ２を照射する。
【0087】
照射光Ｌ１およびＬ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第１発光パルスＳＧ５による第１の発光期間Ｔｇ５と、第２発光パルスＳＧ６による第２の発光期間Ｔｇ６と、が等しくなるように制御する。
【0088】
駆動制御部５０は、受光部３０を制御する第１受光パルスＲＧ５を生成する。第１の発光部１０から照射され被写体９で反射した反射光Ｒ１は、受光部３０に入射される。受光部３０は、駆動制御部５０から出力された第１受光パルスＲＧ５に従って反射光Ｒ１を受光し、受光した第１受光量ＲＬ５に関する画素情報を出力する。
【0089】
また、駆動制御部５０は、第１受光パルスＲＧ５とは異なるタイミングで受光部３０を制御する第２受光パルスＲＧ６を生成する。第２の発光部２０から照射され被写体９で反射した反射光Ｒ２は、受光部３０に入射される。受光部３０は、駆動制御部５０から出力された第２受光パルスＲＧ６に従って反射光Ｒ２を受光し、受光した第２受光量ＲＬ６に関する画素情報を出力する。
【0090】
反射光Ｒ１およびＲ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第１の発光部１０による光の照射開始から受光部３０での受光開始までの第１の受光開始時間ｔｓ５を、第２の発光部２０による光の照射開始から受光部３０での受光開始までの第２の受光開始時間ｔｓ６と異なるように制御する。具体的には、駆動制御部５０は、第１の受光開始時間ｔｓ５を、第２の受光開始時間ｔｓ６および第１の発光期間Ｔｇ５を加算した時間になるように制御する。また、駆動制御部５０は、第１の発光部１０の光の照射に対応する受光部３０の第１の受光期間Ｔｒ５と、第２の発光部２０の光の照射に対応する受光部３０の第２の受光期間Ｔｒ６と、が異なるように制御する。具体的には、駆動制御部５０は、第１の受光期間Ｔｒ５が第２の受光期間Ｔｒ６の１／２となるように制御する。
【0091】
飽和レベル判定部６０は、第１受光量ＲＬ５および第２受光量ＲＬ６が所定のレベルを超えているか否かを判定する。飽和レベル判定部６０によって判定された判定結果は、補正部８０へ出力される。
【0092】
補正部８０は、例えば、第２受光量ＲＬ６の情報を示す画素信号が飽和レベルＴＨよりも大きいと判断された場合に、第１受光量ＲＬ５の情報を補正する。第１受光量ＲＬ５の情報を補正するのは、第１の受光開始時間ｔｓ５が第２の受光開始時間ｔｓ６と異なるためである。補正部８０は、補正を行う際に、第１の受光開始時間ｔｓ５と第２の受光開始時間ｔｓ６との違いによって生じる受光量に基づいて、第１受光量ＲＬ５の情報を補正する。例えば補正部８０は、飽和レベルＴＨよりも小さい周辺画素の受光量の比（周辺画素の第２受光量／周辺画素の第１受光量）を用いて第１受光量ＲＬ５の情報を補正する。
【0093】
補正部８０で補正された後の補正後の第１受光量ＲＬ５の情報は、以下の（式３）で表される。
【0094】
【数3】
【0095】
補正部８０は、補正後の第１受光量ＲＬ５の情報を、合成部７０および距離演算部９０へ出力する。
【0096】
合成部７０は、補正部８０で補正された補正後の第１受光量ＲＬ５の情報を用いて、第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。具体的に合成部７０は、第２受光量ＲＬ６のみが飽和レベルＴＨよりも大きい場合に、第２受光量ＲＬ６の情報を含む第２の画素信号ｓ２を用いずに、補正後の第１受光量ＲＬ５の情報を含む第１の画素信号ｓ１を用いて合成信号ｓ１０を生成する。
【0097】
なお、第１受光量ＲＬ５および第２受光量ＲＬ６が飽和レベルＴＨよりも共に小さい場合、および、第１受光量ＲＬ５のみが飽和レベルＴＨよりも大きい場合は、実施の形態１と同様に合成信号ｓ１０を生成する。
【0098】
距離演算部９０は、第１受光量ＲＬ５および第２受光量ＲＬ６が飽和レベルＴＨよりも共に小さい場合に、被写体９までの距離を演算することが可能である。例えば、距離演算部９０は、第１受光量ＲＬ５および第２受光量ＲＬ６を用いて、被写体９までの距離を演算することができる。被写体９までの距離をＬ、発光パルス幅をＴｎ、光の速度をｃとすると、距離Ｌは以下に示す（式４）で表される。
【0099】
【数4】
【0100】
この画像生成装置１Ｂにおいても、第１の画素信号ｓ１および第２の画素信号ｓ２の少なくとも一方が所定のレベル（飽和レベルＴＨ）よりも大きい画素信号である場合に、所定のレベルよりも大きい画素信号を用いずに合成信号ｓ１０を生成する。これによれば、鏡面反射による影響を抑制して簡易に画像を生成することができる。また、画像生成装置１Ｂによれば、第１受光量ＲＬ５および第２受光量ＲＬ６が飽和レベルＴＨよりも共に小さい場合に、被写体９までの距離Ｌを簡易に測定することができる。
【0101】
［実施の形態２の変形例２］
実施の形態２の変形例２に係る画像生成装置１Ｃについて、図１４を参照しながら説明する。実施の形態２の変形例２では、第２の受光期間Ｔｒ８を、第１の受光期間Ｔｒ７の１／２にしている例について説明する。
実施の形態２の変形例２に係る画像生成装置１Ｃについて、図１４を参照しながら説明する。実施の形態２の変形例２では、第２の受光期間Ｔｒ８を、第１の受光期間Ｔｒ７の１／２にしている例について説明する。
【0102】
【0103】
駆動制御部５０は、図１４に示すように、第１の発光部１０を制御する第１発光パルスＳＧ７を生成する。第１の発光部１０は、駆動制御部５０から出力された第１発光パルスＳＧ７に従って、被写体９に向けて照射光Ｌ１を照射する。
【0104】
また、駆動制御部５０は、第１発光パルスＳＧ７とは異なるタイミングで第２の発光部２０を制御する第２発光パルスＳＧ８を生成する。第２の発光部２０は、駆動制御部５０から出力された第２発光パルスＳＧ８に従って、被写体９に向けて照射光Ｌ２を照射する。
【0105】
照射光Ｌ１およびＬ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第１発光パルスＳＧ７による第１の発光期間Ｔｇ７と、第２発光パルスＳＧ８による第２の発光期間Ｔｇ８と、が等しくなるように制御する。
【0106】
駆動制御部５０は、受光部３０を制御する第１受光パルスＲＧ７を生成する。第１の発光部１０から照射され被写体９で反射した反射光Ｒ１は、受光部３０に入射される。受光部３０は、駆動制御部５０から出力された第１受光パルスＲＧ７に従って反射光Ｒ１を受光し、受光した第１受光量ＲＬ７に関する画素情報を出力する。
【0107】
また、駆動制御部５０は、第１受光パルスＲＧ７とは異なるタイミングで受光部３０を制御する第２受光パルスＲＧ８を生成する。第２の発光部２０から照射され被写体９で反射した反射光Ｒ２は、受光部３０に入射される。受光部３０は、駆動制御部５０から出力された第２受光パルスＲＧ８に従って反射光Ｒ２を受光し、受光した第２受光量ＲＬ８に関する画素情報を出力する。
【0108】
反射光Ｒ１およびＲ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第１の発光部１０による光の照射開始から受光部３０での受光開始までの第１の受光開始時間ｔｓ７と、第２の発光部２０による光の照射開始から受光部３０での受光開始までの第２の受光開始時間ｔｓ８と、が等しくなるように制御する。また、駆動制御部５０は、第１の発光部１０の光の照射に対応する受光部３０の第１の受光期間Ｔｒ７と、第２の発光部２０の光の照射に対応する受光部３０の第２の受光期間Ｔｒ８と、が異なるように制御する。具体的には、駆動制御部５０は、第２の受光期間Ｔｒ８が第１の受光期間Ｔｒ７の１／２となるように制御する。
【0109】
飽和レベル判定部６０は、第１受光量ＲＬ７および第２受光量ＲＬ８が所定のレベルを超えているか否かを判定する。飽和レベル判定部６０によって判定された判定結果は、補正部８０へ出力される。
【0110】
補正部８０は、例えば、第１受光量ＲＬ７の情報を示す画素信号が飽和レベルＴＨよりも大きいと判断された場合に、第２受光量ＲＬ８の情報を補正する。第２受光量ＲＬ８の情報を補正するのは、第２の受光期間Ｔｒ８が第１の受光期間Ｔｒ７と異なるためである。補正部８０は、補正を行う際に、第１の受光期間Ｔｒ７と第２の受光期間Ｔｒ８との違いによって生じる受光量に基づいて、第２受光量ＲＬ８の情報を補正する。例えば補正部８０は、飽和レベルＴＨよりも小さい周辺画素の受光量の比（周辺画素の第１受光量／周辺画素の第２受光量）を用いて第２受光量ＲＬ８の情報を補正する。
【0111】
補正部８０で補正された後の補正後の第２受光量ＲＬ８の情報は、以下の（式５）で表される。
【0112】
【数5】
【0113】
補正部８０は、補正後の第２受光量ＲＬ８の情報を、合成部７０および距離演算部９０へ出力する。
【0114】
合成部７０は、補正部８０で補正された補正後の第２受光量ＲＬ８の情報を用いて、第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。具体的に合成部７０は、第１受光量ＲＬ７のみが飽和レベルＴＨよりも大きい場合に、第１受光量ＲＬ７の情報を含む第１の画素信号ｓ１を用いずに、補正後の第２受光量ＲＬ８の情報を含む第２の画素信号ｓ２を用いて合成信号ｓ１０を生成する。
【0115】
なお、第１受光量ＲＬ７および第２受光量ＲＬ８が飽和レベルＴＨよりも共に小さい場合、および、第２受光量ＲＬ８のみが飽和レベルＴＨよりも大きい場合は、実施の形態１と同様に合成信号ｓ１０を生成する。
【0116】
距離演算部９０は、第１受光量ＲＬ７および第２受光量ＲＬ８が飽和レベルＴＨよりも共に小さい場合に、被写体９までの距離を演算することが可能である。例えば、距離演算部９０は、第１受光量ＲＬ７および第２受光量ＲＬ８を用いて、被写体９までの距離を演算することができる。被写体９までの距離をＬ、発光パルス幅をＴｎ、光の速度をｃとすると、距離Ｌは以下に示す（式６）で表される。
【0117】
【数6】
【0118】
この画像生成装置１Ｃにおいても、第１の画素信号ｓ１および第２の画素信号ｓ２の少なくとも一方が所定のレベル（飽和レベルＴＨ）よりも大きい画素信号である場合に、所定のレベルよりも大きい画素信号を用いずに合成信号ｓ１０を生成する。これによれば、鏡面反射による影響を抑制して簡易に画像を生成することができる。また、画像生成装置１Ｃによれば、第１受光量ＲＬ７および第２受光量ＲＬ８が飽和レベルＴＨよりも共に小さい場合に、被写体９までの距離Ｌを簡易に測定することができる。
【0119】
［実施の形態２の変形例３］
実施の形態２の変形例３に係る画像生成装置１Ｄについて、図１５を参照しながら説明する。実施の形態２の変形例３では、第２の受光開始時間ｔｓ１０を、変形例２の第２の受光開始時間ｔｓ８よりも遅らせている例について説明する。
実施の形態２の変形例３に係る画像生成装置１Ｄについて、図１５を参照しながら説明する。実施の形態２の変形例３では、第２の受光開始時間ｔｓ１０を、変形例２の第２の受光開始時間ｔｓ８よりも遅らせている例について説明する。
【0120】
【0121】
駆動制御部５０は、図１５に示すように、第１の発光部１０を制御する第１発光パルスＳＧ９を生成する。第１の発光部１０は、駆動制御部５０から出力された第１発光パルスＳＧ９に従って、被写体９に向けて照射光Ｌ１を照射する。
【0122】
また、駆動制御部５０は、第１発光パルスＳＧ９とは異なるタイミングで第２の発光部２０を制御する第２発光パルスＳＧ１０を生成する。第２の発光部２０は、駆動制御部５０から出力された第２発光パルスＳＧ１０に従って、被写体９に向けて照射光Ｌ２を照射する。
【0123】
照射光Ｌ１およびＬ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第１発光パルスＳＧ９による第１の発光期間Ｔｇ９と、第２発光パルスＳＧ１０による第２の発光期間Ｔｇ１０と、が等しくなるように制御する。
【0124】
駆動制御部５０は、受光部３０を制御する第１受光パルスＲＧ９を生成する。第１の発光部１０から照射され被写体９で反射した反射光Ｒ１は、受光部３０に入射される。受光部３０は、駆動制御部５０から出力された第１受光パルスＲＧ９に従って反射光Ｒ１を受光し、受光した第１受光量ＲＬ９に関する画素情報を出力する。
【0125】
また、駆動制御部５０は、第１受光パルスＲＧ９とは異なるタイミングで受光部３０を制御する第２受光パルスＲＧ１０を生成する。第２の発光部２０から照射され被写体９で反射した反射光Ｒ２は、受光部３０に入射される。受光部３０は、駆動制御部５０から出力された第２受光パルスＲＧ１０に従って反射光Ｒ２を受光し、受光した第２受光量ＲＬ１０に関する画素情報を出力する。
【0126】
反射光Ｒ１およびＲ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第２の発光部２０による光の照射開始から受光部３０での受光開始までの第２の受光開始時間ｔｓ１０を、第１の受光開始時間ｔｓ９と異なるように制御する。具体的には、駆動制御部５０は、第２の受光開始時間ｔｓ１０を、第１の受光開始時間ｔｓ９および第２の発光期間Ｔｇ１０を加算した時間になるように制御する。また、駆動制御部５０は、第１の発光部１０の光の照射に対応する受光部３０の第１の受光期間Ｔｒ９と、第２の発光部２０の光の照射に対応する受光部３０の第２の受光期間Ｔｒ１０と、が異なるように制御する。具体的には、駆動制御部５０は、第２の受光期間Ｔｒ１０が第１の受光期間Ｔｒ９の１／２となるように制御する。
【0127】
飽和レベル判定部６０は、第１受光量ＲＬ９および第２受光量ＲＬ１０が所定のレベルを超えているか否かを判定する。飽和レベル判定部６０によって判定された判定結果は、補正部８０へ出力される。
【0128】
補正部８０は、例えば、第１受光量ＲＬ９の情報を示す画素信号が飽和レベルＴＨよりも大きいと判断された場合に、第２受光量ＲＬ１０の情報を補正する。第２受光量ＲＬ１０の情報を補正するのは、第１の受光開始時間ｔｓ９と第２の受光開始時間ｔｓ１０とが異なり、また、第１の受光期間Ｔｒ９と第２の受光期間Ｔｒ１０とが異なるためである。補正部８０は、補正を行う際に、第１の受光開始時間ｔｓ９と第２の受光開始時間ｔｓ１０、および、第１の受光期間Ｔｒ９と第２の受光期間Ｔｒ１０との違いによって生じる受光量に基づいて、第２受光量ＲＬ１０の情報を補正する。例えば補正部８０は、飽和レベルＴＨよりも小さい周辺画素の受光量の比（周辺画素の第１受光量／周辺画素の第２受光量）を用いて第２受光量ＲＬ１０の情報を補正する。
【0129】
補正部８０で補正された後の補正後の第２受光量ＲＬ１０の情報は、以下の（式７）で表される。
【0130】
【数7】
【0131】
補正部８０は、補正後の第２受光量ＲＬ１０の情報を、合成部７０および距離演算部９０へ出力する。
【0132】
合成部７０は、補正部８０で補正された補正後の第２受光量ＲＬ１０の情報を用いて、第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。具体的に合成部７０は、第１受光量ＲＬ９のみが飽和レベルＴＨよりも大きい場合に、第１受光量ＲＬ９の情報を含む第１の画素信号ｓ１を用いずに、補正後の第２受光量ＲＬ１０の情報を含む第２の画素信号ｓ２を用いて合成信号ｓ１０を生成する。
【0133】
なお、第１受光量ＲＬ９および第２受光量ＲＬ１０が飽和レベルＴＨよりも共に小さい場合、および、第２受光量ＲＬ１０のみが飽和レベルＴＨよりも大きい場合は、実施の形態１と同様に合成信号ｓ１０を生成する。
【0134】
距離演算部９０は、第１受光量ＲＬ９および第２受光量ＲＬ１０が飽和レベルＴＨよりも共に小さい場合に、被写体９までの距離を演算することが可能である。例えば、距離演算部９０は、第１受光量ＲＬ９および第２受光量ＲＬ１０を用いて、被写体９までの距離を演算することができる。被写体９までの距離をＬ、発光パルス幅をＴｎ、光の速度をｃとすると、距離Ｌは以下に示す（式８）で表される。
【0135】
【数8】
【0136】
この画像生成装置１Ｄにおいても、第１の画素信号ｓ１および第２の画素信号ｓ２の少なくとも一方が所定のレベル（飽和レベルＴＨ）よりも大きい画素信号である場合に、所定のレベルよりも大きい画素信号を用いずに合成信号ｓ１０を生成する。これによれば、鏡面反射による影響を抑制して簡易に画像を生成することができる。また、画像生成装置１Ｄによれば、第１受光量ＲＬ９および第２受光量ＲＬ１０が飽和レベルＴＨよりも共に小さい場合に、被写体９までの距離Ｌを簡易に測定することができる。
【0137】
（実施の形態３）
［画像生成装置］
実施の形態３に係る画像生成装置１Ｅについて、図１６～図１８を参照しながら説明する。実施の形態３では、２つの第１受光パルスＲＧ１１およびＲＧ１１ａ、ならびに、２つの第１の受光期間Ｔｒ１１およびＴｒ１１ａが設定されている例について説明する。なお、実施の形態１および２と同じ構成については説明を省略することがある。
［画像生成装置］
実施の形態３に係る画像生成装置１Ｅについて、図１６～図１８を参照しながら説明する。実施の形態３では、２つの第１受光パルスＲＧ１１およびＲＧ１１ａ、ならびに、２つの第１の受光期間Ｔｒ１１およびＴｒ１１ａが設定されている例について説明する。なお、実施の形態１および２と同じ構成については説明を省略することがある。
【0138】
図１６は、実施の形態３に係る画像生成装置１Ｅのブロック構成図である。図１７は、画像生成装置１Ｅの動作を示すタイムチャートである。図１７には、１つのフレームにおける画像生成装置１Ｅの動作が示されている。
【0139】
図１６に示すように、実施の形態３の画像生成装置１Ｅも、第１の発光部１０および第２の発光部２０と、受光部３０と、駆動制御部５０と、飽和レベル判定部６０と、合成部７０と、補正部８０と、を備えている。また、画像生成装置１Ｅは、画像生成装置１Ｅから被写体９までの距離を演算する距離演算部９０を備えている。実施の形態３の画像生成装置１Ｅは、画像を生成するだけでなく、距離を測定する機能も備えている。
【0140】
駆動制御部５０は、図１７に示すように、第１の発光部１０を制御する第１発光パルスＳＧ１１を生成する。第１の発光部１０は、駆動制御部５０から出力された第１発光パルスＳＧ１１に従って、被写体９に向けて照射光Ｌ１を照射する。
【0141】
また、駆動制御部５０は、第１発光パルスＳＧ１１とは異なるタイミングで第２の発光部２０を制御する第２発光パルスＳＧ１２を生成する。第２の発光部２０は、駆動制御部５０から出力された第２発光パルスＳＧ１２に従って、被写体９に向けて照射光Ｌ２を照射する。
【0142】
照射光Ｌ１およびＬ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第１発光パルスＳＧ１１による第１の発光期間Ｔｇ１１と、第２発光パルスＳＧ１２による第２の発光期間Ｔｇ１２と、が等しくなるように制御する。
【0143】
駆動制御部５０は、受光部３０を制御する２つの第１受光パルスＲＧ１１およびＲＧ１１ａを生成する。第１の発光部１０から照射され被写体９で反射した反射光Ｒ１は、受光部３０に入射される。受光部３０は、駆動制御部５０から出力された第１受光パルスＲＧ１１、ＲＧ１１ａに従って反射光Ｒ１を受光し、受光した第１受光量ＲＬ１１およびＲＬ１１ａに関する画素情報を出力する。
【0144】
受光部３０は、第１受光パルスＲＧ１１に従って受光部３０の画素３１に蓄積された信号電荷を第１のパケットｐ１に読み出し、また、第１受光パルスＲＧ１１ａに従って受光部３０の画素３１に蓄積された信号電荷を第４のパケット（図示省略）に読み出し、上記の信号電荷に応じた第１受光量ＲＬ１１およびＲＬ１１ａの情報を含む第１の画素信号ｓ１を出力する。
【0145】
また、駆動制御部５０は、第１受光パルスＲＧ１１、ＲＧ１１ａとは異なるタイミングで受光部３０を制御する第２受光パルスＲＧ１２を生成する。第２の発光部２０から照射され被写体９で反射した反射光Ｒ２は、受光部３０に入射される。受光部３０は、駆動制御部５０から出力された第２受光パルスＲＧ１２に従って反射光Ｒ２を受光し、受光した第２受光量ＲＬ１２に関する画素情報を出力する。
【0146】
反射光Ｒ１およびＲ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第１受光パルスＲＧ１１に応じた第１の受光期間Ｔｒ１１と、第１受光パルスＲＧ１１ａに応じた第１の受光期間Ｔｒ１１ａと、が等しくなるように制御する。また、駆動制御部５０は、第１の発光部１０による光の照射開始から受光部３０での受光開始までの第１の受光開始時間ｔｓ１１と、第２の発光部２０による光の照射開始から受光部３０での受光開始までの第２の受光開始時間ｔｓ１２と、が等しくなるように制御する。第１受光パルスＲＧ１１ａによる第１の受光開始時間ｔｓ１１ａは、第１受光パルスＲＧ１１による第１の受光開始時間ｔｓ１１および第１の受光期間Ｔｒ１１を加算した時間になるように制御される。また、駆動制御部５０は、第１の受光期間Ｔｒ１１およびＴｒ１１ａを足し合わせた期間と、第２の発光部２０の光の照射に対応する受光部３０の第２の受光期間Ｔｒ１２と、が等しくなるように制御する。
【0147】
飽和レベル判定部６０は、第１受光量ＲＬ１１、ＲＬ１１ａおよび第２受光量ＲＬ１２が所定のレベルを超えているか否かを判定する。飽和レベル判定部６０によって判定された判定結果は合成部７０へ出力される。
【0148】
図１８は、飽和レベル判定部６０の判定結果および合成部７０における合成処理を示すテーブルである。
【0149】
合成部７０は、飽和レベル判定部６０の判定結果に基づいて、第１の画素信号ｓ１および第２の画素信号ｓ２を合成して合成信号ｓ１０を生成する。
【0150】
例えば、合成部７０は、第１の画素信号ｓ１および第２の画素信号ｓ２の両方にて飽和が発生していない場合、次のように合成信号ｓ１０を生成する。
【0151】
図１８の（１）に示すように、合成部７０は、第１受光量ＲＬ１１、ＲＬ１１ａの合計値、および、第２受光量ＲＬ１２が、飽和レベルＴＨよりも共に小さい場合に、第１の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。第１の合成係数は、第１受光量ＲＬ１１、ＲＬ１１ａの合計値を半分とみなし、かつ、第２受光量ＲＬ１２を半分とみなして合成する係数である。つまり合成部７０は、第１受光量ＲＬ１１、ＲＬ１１ａの合計値、および、第２受光量ＲＬ１２が飽和レベルＴＨよりも共に小さい場合、第１の画素信号ｓ１および第２の画素信号ｓ２の両方を半分ずつ用いて合成信号ｓ１０を生成する。
【0152】
また、例えば、合成部７０は、第１の画素信号ｓ１および第２の画素信号ｓ２のうち、少なくとも一方に飽和が発生している場合、すなわち、少なくとも一方が所定のレベルよりも大きい画素信号である場合に、所定のレベルよりも大きい画素信号を用いずに合成信号ｓ１０を生成する。
【0153】
具体的には、合成部７０は、第１受光量ＲＬ１１、ＲＬ１１ａの合計値のみが飽和レベルＴＨよりも大きい場合に、第２の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。第２の合成係数は、第１受光量ＲＬ１１、ＲＬ１１ａの合計値を０とみなして合成する係数である。つまり合成部７０は、第１受光量ＲＬ１１、ＲＬ１１ａの合計値のみが飽和レベルＴＨよりも大きい場合に、第１の画素信号ｓ１を用いずに、第２の画素信号ｓ２を用いて合成信号ｓ１０を生成する（図１８の（２）参照）。
【0154】
また、合成部７０は、第２受光量ＲＬ１２のみが飽和レベルＴＨよりも大きい場合に、第３の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。第３の合成係数は、第２受光量ＲＬ１２を０とみなして合成する係数である。つまり合成部７０は、第２受光量ＲＬ１２のみが飽和レベルＴＨよりも大きい場合に、第２の画素信号ｓ２を用いずに、第１の画素信号ｓ１を用いて合成信号ｓ１０を生成する（図１８の（３）参照）。
【0155】
このように画像生成装置１Ｅでは、第１の発光部１０で照射した照射光Ｌ１が被写体９にて鏡面反射した場合、第１受光量ＲＬ１１、ＲＬ１１ａの情報を用いずに、鏡面反射の影響を受けていない第２受光量ＲＬ１２の情報を用いて合成信号ｓ１０を生成する。また、画像生成装置１Ｅでは、第２の発光部２０で照射した照射光Ｌ２が被写体９にて鏡面反射した場合、第２受光量ＲＬ１２を用いずに、鏡面反射の影響を受けていない第１受光量ＲＬ１１、ＲＬ１１ａの情報を用いて合成信号ｓ１０を生成する。
【0156】
なお、被写体９に光量の多すぎる光が照射された場合、第１受光量ＲＬ１１、ＲＬ１１ａの合計値、および、第２受光量ＲＬ１２が共に飽和レベルＴＨよりも大きくなることがあるが、この場合、合成部７０は異常値を出力してもよい。異常値を設定することで、画像に異常が発生していることを通知することができる。
【0157】
このように合成部７０は、飽和レベル判定部６０の判定結果に基づいて、画素３１から出力された複数の画素信号を合成し、合成信号ｓ１０を出力する。画像生成装置１Ｅは、複数の画素３１から出力された複数の合成信号ｓ１０に基づいて被写体９の画像を生成する。
【0158】
また、実施の形態３の画像生成装置１Ｅでは、第１受光量ＲＬ１１、ＲＬ１１ａの両方が飽和レベルＴＨを超えている場合を除き、被写体９までの距離Ｌを取得することが可能である。
【0159】
例えば、距離演算部９０は、第２受光量ＲＬ１２のみが飽和レベルＴＨよりも大きい場合に、以下に示す（式９）によって、被写体９までの距離Ｌを演算する。距離演算部９０は、第１受光量ＲＬ１１のみが飽和レベルＴＨよりも大きい場合に、以下に示す（式１０）によって、被写体９までの距離Ｌを演算する。距離演算部９０は、第１受光量ＲＬ１１ａのみが飽和レベルＴＨよりも大きい場合に、以下に示す（式１１）によって、被写体９までの距離Ｌを演算する。
【0160】
【数9】
【0161】
【数10】
【0162】
【数11】
【0163】
この画像生成装置１Ｅにおいても、鏡面反射による影響を抑制して簡易に画像を生成することができる。また、この画像生成装置１Ｅでは、第１受光量ＲＬ１１、ＲＬ１１ａの両方が飽和レベルＴＨを超えている場合を除き、被写体９までの距離Ｌを簡易に測定することができる。
【0164】
[実施の形態３の変形例］
実施の形態３の変形例に係る画像生成装置１Ｆについて、図１９および図２０を参照しながら説明する。実施の形態３の変形例では、さらに、２つの第２受光パルスＲＧ１４およびＲＧ１４ａ、ならびに、２つの第２の受光期間Ｔｒ１４およびＴｒ１４ａが設定されている例について説明する。
実施の形態３の変形例に係る画像生成装置１Ｆについて、図１９および図２０を参照しながら説明する。実施の形態３の変形例では、さらに、２つの第２受光パルスＲＧ１４およびＲＧ１４ａ、ならびに、２つの第２の受光期間Ｔｒ１４およびＴｒ１４ａが設定されている例について説明する。
【0165】
【0166】
駆動制御部５０は、図１９に示すように、第１の発光部１０を制御する第１発光パルスＳＧ１３を生成する。第１の発光部１０は、駆動制御部５０から出力された第１発光パルスＳＧ１３に従って、被写体９に向けて照射光Ｌ１を照射する。
【0167】
また、駆動制御部５０は、第１発光パルスＳＧ１３とは異なるタイミングで第２の発光部２０を制御する第２発光パルスＳＧ１４を生成する。第２の発光部２０は、駆動制御部５０から出力された第２発光パルスＳＧ１４に従って、被写体９に向けて照射光Ｌ２を照射する。
【0168】
照射光Ｌ１およびＬ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第１発光パルスＳＧ１３による第１の発光期間Ｔｇ１３と、第２発光パルスＳＧ１４による第２の発光期間Ｔｇ１４と、が等しくなるように制御する。
【0169】
駆動制御部５０は、受光部３０を制御する２つの第１受光パルスＲＧ１３およびＲＧ１３ａを生成する。第１の発光部１０から照射され被写体９で反射した反射光Ｒ１は、受光部３０に入射される。受光部３０は、駆動制御部５０から出力された第１受光パルスＲＧ１３、ＲＧ１３ａに従って反射光Ｒ１を受光し、受光した第１受光量ＲＬ１３およびＲＬ１３ａに関する画素情報を出力する。
【0170】
受光部３０は、第１受光パルスＲＧ１３に従って受光部３０の画素３１に蓄積された信号電荷を第１のパケットｐ１に読み出し、また、第１受光パルスＲＧ１３ａに従って受光部３０の画素３１に蓄積された信号電荷を第４のパケット（図示省略）に読み出し、上記の信号電荷に応じた第１受光量ＲＬ１３およびＲＬ１３ａの情報を含む第１の画素信号ｓ１を出力する。
【0171】
また、駆動制御部５０は、第１受光パルスＲＧ１３、ＲＧ１３ａとは異なるタイミングで受光部３０を制御する第２受光パルスＲＧ１４およびＲＧ１４ａを生成する。第２の発光部２０から照射され被写体９で反射した反射光Ｒ２は、受光部３０に入射される。受光部３０は、駆動制御部５０から出力された第２受光パルスＲＧ１４、ＲＧ１４ａに従って反射光Ｒ２を受光し、受光した第２受光量ＲＬ１４およびＲＬ１４ａに関する画素情報を出力する。
【0172】
受光部３０は、第２受光パルスＲＧ１４に従って受光部３０の画素３１に蓄積された信号電荷を第２のパケットｐ２に読み出し、また、第２受光パルスＲＧ１４ａに従って受光部３０の画素３１に蓄積された信号電荷を第５のパケット（図示省略）に読み出し、上記の信号電荷に応じた第２受光量ＲＬ１４およびＲＬ１４ａの情報を含む第２の画素信号ｓ２を出力する。
【0173】
反射光Ｒ１およびＲ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第１受光パルスＲＧ１３に応じた第１の受光期間Ｔｒ１３と、第１受光パルスＲＧ１３ａに応じた第１の受光期間Ｔｒ１３ａと、第２受光パルスＲＧ１４に応じた第２の受光期間Ｔｒ１４と、第２受光パルスＲＧ１４ａに応じた第２の受光期間Ｔｒ１４ａと、が等しくなるように制御する。第１受光パルスＲＧ１３ａによる第１の受光開始時間ｔｓ１３ａは、第１受光パルスＲＧ１３による第１の受光開始時間ｔｓ１３および第１の受光期間Ｔｒ１３を加算した時間になるように制御される。また、駆動制御部５０は、第１受光パルスＲＧ１３による第１の受光開始時間ｔｓ１３と、第２受光パルスＲＧ１４による第２の受光開始時間ｔｓ１４と、が等しくなるように制御する。第２受光パルスＲＧ１４ａによる第２の受光開始時間ｔｓ１４ａは、第２の受光開始時間ｔｓ１４および第２の受光期間Ｔｒ１４を加算した時間になるように制御される。
【0174】
飽和レベル判定部６０は、第１受光量ＲＬ１３、ＲＬ１３ａおよび第２受光量ＲＬ１４、ＲＬ１４ａが所定のレベルを超えているか否かを判定する。飽和レベル判定部６０によって判定された判定結果は合成部７０へ出力される。
【0175】
図２０は、飽和レベル判定部６０の判定結果および合成部７０における合成処理を示すテーブルである。
【0176】
合成部７０は、飽和レベル判定部６０の判定結果に基づいて、第１の画素信号ｓ１および第２の画素信号ｓ２を合成して合成信号ｓ１０を生成する。
【0177】
例えば、合成部７０は、第１の画素信号ｓ１および第２の画素信号ｓ２の両方にて飽和が発生していない場合、次のように合成信号ｓ１０を生成する。
【0178】
図２０の（１）に示すように、合成部７０は、第１受光量ＲＬ１３、ＲＬ１３ａの合計値、および、第２受光量ＲＬ１４、ＲＬ１４ａの合計値が、飽和レベルＴＨよりも共に小さい場合に、第１の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。第１の合成係数は、第１受光量ＲＬ１３、ＲＬ１３ａの合計値を半分とみなし、かつ、第２受光量ＲＬ１４、ＲＬ１４ａの合計値を半分とみなして合成する係数である。つまり合成部７０は、第１受光量ＲＬ１３、ＲＬ１３ａの合計値、および、第２受光量ＲＬ１４、ＲＬ１４ａの合計値が飽和レベルＴＨよりも共に小さい場合、第１の画素信号ｓ１および第２の画素信号ｓ２の両方を半分ずつ用いて合成信号ｓ１０を生成する。
【0179】
また、例えば、合成部７０は、第１の画素信号ｓ１および第２の画素信号ｓ２のうち、少なくとも一方に飽和が発生している場合、すなわち、少なくとも一方が所定のレベルよりも大きい画素信号である場合に、所定のレベルよりも大きい画素信号を用いずに合成信号ｓ１０を生成する。
【0180】
具体的には、合成部７０は、第１受光量ＲＬ１３、ＲＬ１３ａの合計値のみが飽和レベルＴＨよりも大きい場合に、第２の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。第２の合成係数は、第１受光量ＲＬ１３、ＲＬ１３ａの合計値を０とみなして合成する係数である。つまり合成部７０は、第１受光量ＲＬ１３、ＲＬ１３ａの合計値のみが飽和レベルＴＨよりも大きい場合に、第１の画素信号ｓ１を用いずに、第２の画素信号ｓ２を用いて合成信号ｓ１０を生成する（図２０の（２）参照）。
【0181】
また、合成部７０は、第２受光量ＲＬ１４、ＲＬ１４ａの合計値のみが飽和レベルＴＨよりも大きい場合に、第３の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。第３の合成係数は、第２受光量ＲＬ１４、ＲＬ１４ａを０とみなして合成する係数である。つまり合成部７０は、第２受光量ＲＬ１４、ＲＬ１４ａのみが飽和レベルＴＨよりも大きい場合に、第２の画素信号ｓ２を用いずに、第１の画素信号ｓ１を用いて合成信号ｓ１０を生成する（図２０の（３）参照）。
【0182】
このように画像生成装置１Ｆでは、第１の発光部１０で照射した照射光Ｌ１が被写体９にて鏡面反射した場合、第１受光量ＲＬ１３、ＲＬ１３ａの情報を用いずに、鏡面反射の影響を受けていない第２受光量ＲＬ１４、ＲＬ１４ａの情報を用いて合成信号ｓ１０を生成する。また、画像生成装置１Ｆでは、第２の発光部２０で照射した照射光Ｌ２が被写体９にて鏡面反射した場合、第２受光量ＲＬ１４、ＲＬ１４ａを用いずに、鏡面反射の影響を受けていない第１受光量ＲＬ１３、ＲＬ１３ａの情報を用いて合成信号ｓ１０を生成する。
【0183】
なお、被写体９に光量の多すぎる光が照射された場合、第１受光量ＲＬ１３、ＲＬ１３ａの合計値、および、第２受光量ＲＬ１４、ＲＬ１４ａの合計値が共に飽和レベルＴＨよりも大きくなることがあるが、この場合、合成部７０は異常値を出力してもよい。異常値を設定することで、画像に異常が発生していることを通知することができる。
【0184】
このように合成部７０は、飽和レベル判定部６０の判定結果に基づいて、画素３１から出力された複数の画素信号を合成し、合成信号ｓ１０を出力する。画像生成装置１Ｆは、複数の画素３１から出力された複数の合成信号ｓ１０に基づいて被写体９の画像を生成する。
【0185】
また、実施の形態３の変形例の画像生成装置１Ｆでは、被写体９までの距離Ｌを取得することが可能である。
【0186】
例えば、距離演算部９０は、第１受光量ＲＬ１３のみが飽和レベルＴＨよりも大きい場合に、以下に示す（式１２）によって、被写体９までの距離Ｌを演算する。なお、第１受光量ＲＬ１３ａのみが飽和レベルＴＨよりも大きい場合も、同様の式で距離Ｌが演算される。
【0187】
【数12】
【0188】
距離演算部９０は、第２受光量ＲＬ１４のみが飽和レベルＴＨよりも大きい場合に、以下に示す（式１３）によって、被写体９までの距離Ｌを演算する。なお、第２受光量ＲＬ１４ａのみが飽和レベルＴＨよりも大きい場合も、同様の式で距離Ｌが演算される。
【0189】
【数13】
【0190】
距離演算部９０は、第１受光量ＲＬ１３、ＲＬ１３ａの合計値、および、第２受光量ＲＬ１４、ＲＬ１４ａの合計値が、飽和レベルＴＨよりも共に小さい場合に、以下に示す（式１４）によって、被写体９までの距離を演算する。
【0191】
【数14】
【0192】
この画像生成装置１Ｆにおいても、鏡面反射による影響を抑制して簡易に画像を生成することができる。また、この画像生成装置１Ｆにおいても、鏡面反射による影響を抑止して被写体９までの距離Ｌを簡易に測定することができる。
【0193】
【0194】
図２１は、実施の形態４に係る画像生成装置１Ｇのブロック構成図である。
【0195】
実施の形態４に係る画像生成装置１Ｇは、第１の発光部１０、第２の発光部２０、受光部３０、駆動制御部５０、飽和レベル判定部６０、合成部７０、補正部８０、距離演算部９０を備えている。
【0196】
駆動制御部５０は、同一フレームで、第１の発光部１０で発光させるＮ回の第１発光パルスＳＧ１５と、第２の発光部２０で発光させるＭ回の第２発光パルスＳＧ１６と、を異なるタイミングで生成する。また、上記と同一フレームで、第１の発光部１０から照射した照射光Ｌ１が被写体９で反射して生じた反射光Ｒ１をＮ回受光する第１受光パルスＲＧ１５と、第２の発光部２０から照射した照射光Ｌ２が被写体９で反射して生じた反射光Ｒ２をＭ回受光する第２受光パルスＲＧ１６と、を異なるタイミングで生成する。ＮおよびＭは、１以上の自然数であり、ＮおよびＭの少なくとも一方が２以上になるように制御される。
【0197】
受光部３０は、二次元状に配置された複数の画素３１を有しており、Ｎ回の第１受光パルスＲＧ１５に従って反射光Ｒ１を受光し、受光によって画素３１に蓄積した信号電荷をＮ個の第１受光量ＲＬ１５として生成する。同様に、受光部３０は、Ｍ回の第２受光パルスＲＧ１６に従って反射光Ｒ２を受光し、受光によって画素３１に蓄積した信号電荷をＭ個の第２受光量ＲＬ１６として生成する。Ｎ個の第１受光量ＲＬ１５およびＭ個の第２受光量ＲＬ１６は、デジタルデータに変換して出力される。
【0198】
飽和レベル判定部６０では、Ｎ個の第１受光量ＲＬ１５と飽和レベルとの比較、および、Ｍ個の第２受光量ＲＬ１６と飽和レベルとの比較が実行される。Ｎ個の第１受光量ＲＬ１５と比較する飽和レベル、および、Ｍ個の第２受光量ＲＬ１６と比較する飽和レベルは、それぞれ個別に設定されてもよい。
【0199】
補正部８０では、飽和レベルよりも大きいと判断されたＮ個の第１受光量ＲＬ１５とＭ個の第２受光量ＲＬ１６とを補正する。例えば補正部８０は、飽和レベルよりも小さい周辺画素の受光量を用いて第１受光量ＲＬ１５または第２受光量ＲＬ１６の情報を補正してもよい。周辺画素の受光量は、画素３１に最も近い画素の受光量であってもよいし、画素３１の周辺に位置する複数の画素の受光量の平均値であってもよい。
【0200】
合成部７０は、Ｎ個の第１受光量ＲＬ１５を加算して第１受光量ＲＬ１５の合計値とする。合成部７０は、例えばＮが１の場合は、１つの第１受光量ＲＬ１５を第１受光量ＲＬ１５の合計値とする。また、合成部７０は、Ｍ個の第２受光量ＲＬ１６を加算して第２受光量ＲＬ１６の合計値とする。合成部７０は、例えばＭが１の場合は、１つの第２受光量ＲＬ１６を第２受光量ＲＬ１６の合計値とする。
【0201】
合成部７０は、飽和レベル判定部６０の比較結果に基づき、Ｎ個の第１受光量ＲＬ１５およびＭ個の第２受光量ＲＬ１６のそれぞれが飽和レベルよりも全て小さいときは、第１の合成係数を選択して合成する。合成部７０は、Ｎ個の第１受光量ＲＬ１５の少なくとも１つが飽和レベルよりも大きいときは、第２の合成係数を選択して合成する。合成部７０は、Ｍ個の第２受光量ＲＬ１６の少なくとも１つが飽和レベルよりも大きいときは、第３の合成係数を選択して合成する。
【0202】
【0203】
駆動制御部５０は、第１の発光部１０を制御する第１発光パルスＳＧ１５およびＳＧ１５ａを生成する。第１の発光部１０は第１発光パルスＳＧ１５、ＳＧ１５ａに従って被写体９に向けて照射光Ｌ１を照射する。また、駆動制御部５０は、第１発光パルスＳＧ１５、ＳＧ１５ａとは異なるタイミングで第２の発光部２０を制御する第２発光パルスＳＧ１６を生成する。第２の発光部２０は、第２発光パルスＳＧ１６に従って被写体９に向けて照射光Ｌ２を照射する。
【0204】
照射光Ｌ１およびＬ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第１発光パルスＳＧ１５の第１の発光期間Ｔｇ１５と、第１発光パルスＳＧ１５ａの第１の発光期間Ｔｇ１５ａと、第２発光パルスＳＧ１６の第２の発光期間Ｔｇ１６と、が等しくなるように制御する。
【0205】
受光部３０は、駆動制御部５０が生成した第１受光パルスＲＧ１５に従って反射光Ｒ１を受光し、第１受光パルスＲＧ１５ａに従って反射光Ｒ１を受光し、第２受光パルスＲＧ１６に従って反射光Ｒ２を受光する。
【0206】
反射光Ｒ１およびＲ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、照射開始から第１受光パルスＲＧ１５までの第１の受光開始時間ｔｓ１５と、照射開始から第２受光パルスＲＧ１６までの第２の受光開始時間ｔｓ１６と、が等しくなるように制御する。駆動制御部５０は、第１の受光期間Ｔｒ１５と第１の受光期間Ｔｒ１５ａとが等しくなるように制御する。照射開始から第１受光パルスＲＧ１５ａまでの第１の受光開始時間ｔｓ１５ａは、第１の受光開始時間ｔｓ１５および第１の受光期間Ｔｒ１５を加算した時間になるように制御される。第２の受光期間Ｔｒ１６は、第１の受光期間Ｔｒ１５およびＴｒ１５ａを加算した時間になるように制御される。
【0207】
受光部３０は、第１受光パルスＲＧ１５に応じた受光によって画素３１に蓄積した信号電荷を第１受光量ＲＬ１５として生成する。また、受光部３０は、第１受光パルスＲＧ１５ａに応じた受光によって画素３１に蓄積した信号電荷を第１受光量ＲＬ１５ａとして生成する。また、受光部３０は、第２受光パルスＲＧ１６に応じた受光によって画素３１に蓄積した信号電荷を第２受光量ＲＬ１６として生成する。
【0208】
飽和レベル判定部６０は、第１受光量ＲＬ１５、ＲＬ１５ａおよび第２受光量ＲＬ１６が飽和レベルを超えているか否かを判定する。
【0209】
合成部７０は、飽和レベル判定部６０の比較結果に基づき、第１受光量ＲＬ１５、ＲＬ１５ａおよび第２受光量ＲＬ１６のそれぞれが飽和レベルよりも全て小さいときは、第１の合成係数を選択して合成する。合成部７０は、第１受光量ＲＬ１５、ＲＬ１５ａの少なくとも１つが飽和レベルよりも大きいときは、第２の合成係数を選択して合成する。合成部７０は、第２受光量ＲＬ１６の少なくとも１つが飽和レベルよりも大きいときは、第３の合成係数を選択して合成する。
【0210】
このように合成部７０は、飽和レベル判定部６０の判定結果に基づいて、画素３１から出力された複数の画素信号を合成し、合成信号ｓ１０を出力する。画像生成装置１Ｇは、複数の画素３１から出力された複数の合成信号ｓ１０に基づいて被写体９の画像を生成する。
【0211】
距離演算部９０では、第１受光量ＲＬ１５、ＲＬ１５ａおよび第２受光量ＲＬ１６を用いて、被写体９までの距離Ｌを算出する。
【0212】
例えば、距離演算部９０は、飽和レベル判定部６０にて、第１受光量ＲＬ１５、ＲＬ１５ａまたは第２受光量ＲＬ１６のみが飽和レベルよりも大きいと判断された場合、（式１５）または（式１７）を用いて距離Ｌを演算する。また、距離演算部９０は、飽和レベル判定部６０にて、第２受光量ＲＬ１６のみが飽和レベルよりも大きいと判断された場合、（式１６）を用いて距離Ｌを演算する。その他の場合、距離演算部９０は、（式１６）または（式１７）を用いて距離Ｌを演算する。
【0213】
【数15】
【0214】
【数16】
【0215】
【数17】
【0216】
この画像生成装置１Ｇにおいても、鏡面反射による影響を抑制して簡易に画像を生成することができる。また、この画像生成装置１Ｇにおいても、鏡面反射による影響を抑止して被写体９までの距離Ｌを簡易に測定することができる。
【0217】
［実施の形態４の変形例］
実施の形態４の変形例に係る画像生成装置１Ｈについて、図２３を参照しながら説明する。
実施の形態４の変形例に係る画像生成装置１Ｈについて、図２３を参照しながら説明する。
【0218】
【0219】
駆動制御部５０は、第１の発光部１０を制御する第１発光パルスＳＧ１７およびＳＧ１７ａを生成する。第１の発光部１０は第１発光パルスＳＧ１７、ＳＧ１７ａに従って被写体９に向けて照射光Ｌ１を照射する。また、駆動制御部５０は、第１発光パルスＳＧ１７、ＳＧ１７ａとは異なるタイミングで第２の発光部２０を制御する第２発光パルスＳＧ１８およびＳＧ１８ａを生成する。第２の発光部２０は、第２発光パルスＳＧ１８、ＳＧ１８ａに従って被写体９に向けて照射光Ｌ２を照射する。
【0220】
照射光Ｌ１およびＬ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、第１発光パルスＳＧ１７の第１の発光期間Ｔｇ１７と、第１発光パルスＳＧ１７ａの第１の発光期間Ｔｇ１７ａと、第２発光パルスＳＧ１８の第２の発光期間Ｔｇ１８と、第２発光パルスＳＧ１８ａの第２の発光期間Ｔｇ１８ａとが等しくなるように制御する。
【0221】
受光部３０は、駆動制御部５０が生成した第１受光パルスＲＧ１７に従って反射光Ｒ１を受光し、第１受光パルスＲＧ１７ａに従って反射光Ｒ１を受光し、第２受光パルスＲＧ１８に従って反射光Ｒ２を受光し、第２受光パルスＲＧ１８ａに従って反射光Ｒ２を受光する。
【0222】
反射光Ｒ１およびＲ２は、所定の時間幅を有するパルス波形状の光である。駆動制御部５０は、照射開始から第１受光パルスＲＧ１７までの第１の受光開始時間ｔｓ１７と、照射開始から第２受光パルスＲＧ１８までの第２の受光開始時間ｔｓ１８と、が等しくなるように制御する。駆動制御部５０は、第１の受光期間Ｔｒ１７と、第１の受光期間Ｔｒ１７ａと、第２の受光期間Ｔｒ１８と、第２の受光期間Ｔｒ１８ａと、が等しくなるように制御する。照射開始から第１受光パルスＲＧ１７ａまでの第１の受光開始時間ｔｓ１７ａは、第１の受光開始時間ｔｓ１７および第１の受光期間Ｔｒ１７を加算した時間になるように制御される。照射開始から第２受光パルスＲＧ１８ａまでの第２の受光開始時間ｔｓ１８ａは、第２の受光開始時間ｔｓ１８および第２の受光期間Ｔｒ１８を加算した時間になるように制御される。
【0223】
受光部３０は、第１受光パルスＲＧ１７に応じた受光によって画素３１に蓄積した信号電荷を第１受光量ＲＬ１７として生成する。また、受光部３０は、第１受光パルスＲＧ１７ａに応じた受光によって画素３１に蓄積した信号電荷を第１受光量ＲＬ１７ａとして生成する。また、受光部３０は、第２受光パルスＲＧ１８に応じた受光によって画素３１に蓄積した信号電荷を第２受光量ＲＬ１８として生成する。また、受光部３０は、第２受光パルスＲＧ１８ａに応じた受光によって画素３１に蓄積した信号電荷を第２受光量ＲＬ１８ａとして生成する。
【0224】
飽和レベル判定部６０は、第１受光量ＲＬ１７、ＲＬ１７ａおよび第２受光量ＲＬ１８、ＲＬ１８ａが飽和レベルを超えているか否かを判定する。
【0225】
合成部７０は、飽和レベル判定部６０の比較結果に基づき、第１受光量ＲＬ１７、ＲＬ１７ａおよび第２受光量ＲＬ１８、ＲＬ１８ａのそれぞれが飽和レベルよりも全て小さいときは、第１の合成係数を選択して合成する。合成部７０は、第１受光量ＲＬ１７、ＲＬ１７ａの少なくとも１つが飽和レベルよりも大きいときは、第２の合成係数を選択して合成する。合成部７０は、第２受光量ＲＬ１８、ＲＬ１８ａの少なくとも１つが飽和レベルよりも大きいときは、第３の合成係数を選択して合成する。
【0226】
このように合成部７０は、飽和レベル判定部６０の判定結果に基づいて、画素３１から出力された複数の画素信号を合成し、合成信号ｓ１０を出力する。画像生成装置１Ｈは、複数の画素３１から出力された複数の合成信号ｓ１０に基づいて被写体９の画像を生成する。
【0227】
距離演算部９０では、第１受光量ＲＬ１７、ＲＬ１７ａおよび第２受光量ＲＬ１８、ＲＬ１８ａを用いて被写体９までの距離Ｌを算出する。
【0228】
距離演算部９０は、飽和レベル判定部６０にて、第１受光量ＲＬ１７またはＲＬ１７ａのみが飽和レベルよりも大きいと判断された場合、（式１８）を用いて距離Ｌを演算する。また、距離演算部９０は、飽和レベル判定部６０にて、第２受光量ＲＬ１８またはＲＬ１８ａのみが飽和レベルよりも大きいと判断された場合、（式１９）を用いて距離Ｌを演算する。その他の場合、距離演算部９０は、（式１８）、（式１９）および（式２０）の何れかを用いて距離Ｌを演算する。
【0229】
【数18】
【0230】
【数19】
【0231】
【数20】
【0232】
この画像生成装置１Ｈにおいても、鏡面反射による影響を抑制して簡易に画像を生成することができる。また、この画像生成装置１Ｈにおいても、鏡面反射による影響を抑止して被写体９までの距離Ｌを簡易に測定することができる。
【0233】
（実施の形態５）
実施の形態５に係る画像生成装置について説明する。
実施の形態５に係る画像生成装置について説明する。
【0234】
【0235】
図２４に示すように、画像生成装置は、第１の発光部１０の発光に応じた反射光Ｒ１の受光を複数回繰り返すことで電荷の蓄積を繰り返し、蓄積した電荷を第１受光量として生成してもよい。同様に、画像生成装置は、第２の発光部２０の発光に応じた反射光Ｒ２の受光を複数回繰り返すことで電荷の蓄積を繰り返し、蓄積した電荷を第２受光量として生成してもよい。
【0236】
【0237】
図２５に示すように、画像生成装置は、第１の発光部１０の発光および第２の発光部２０の発光に応じた反射光Ｒ１、Ｒ２の受光を複数回繰り返すことで電荷の蓄積を繰り返し、蓄積した電荷を第１受光量および第２受光量として生成してもよい。
【0238】
図２６は、実施の形態５に係る画像生成装置の動作の他の例を示す図である。図２６には、実施の形態４で示した形態において、Ｎが２、Ｍが２の場合の発光期間と受光期間とを同一フレームで複数回実行した例が示されている。
【0239】
図２６に示すように、画像生成装置は、第１の発光部１０の発光に応じた反射光Ｒ１の受光を複数回繰り返すことで電荷の蓄積を繰り返し、蓄積した電荷を一方の第１受光量として生成してもよい。また、画像生成装置は、第１の発光部１０の発光に応じた反射光Ｒ１の受光を複数回繰り返すことで電荷の蓄積を繰り返し、蓄積した電荷を他方の第１受光量として生成してもよい。同様に、画像生成装置は、第２の発光部２０の発光に応じた反射光Ｒ２の受光を複数回繰り返すことで電荷の蓄積を繰り返し、蓄積した電荷を一方の第２受光量として生成してもよい。また、画像生成装置は、第２の発光部２０の発光に応じた反射光Ｒ２の受光を複数回繰り返すことで電荷の蓄積を繰り返し、蓄積した電荷を他方の第２受光量として生成してもよい。
【0240】
図２７は、実施の形態５に係る画像生成装置の動作の他の例を示す図である。図２７には、実施の形態４で示した形態において、Ｎが２、Ｍが２の場合の発光期間と受光期間とを同一フレームで複数回実行した他の例が示されている。
【0241】
図２７に示すように、画像生成装置は、第１の発光部１０の発光および第２の発光部２０の発光に応じた反射光Ｒ１、Ｒ２の受光を複数回繰り返すことで電荷の蓄積を繰り返し、蓄積した電荷を第１受光量および第２受光量として生成してもよい。
【0242】
このように、同一フレーム内で発光と受光（露光）とを複数回繰り返すことで、１回あたりの発光量を抑えることができる。また、発光を複数回に分散することで、第１の発光部１０および第２の発光部２０のピーク電力を抑えることができる。また、発光を複数回繰り返すことで、ノイズの影響を受けにくくなり、Ｓ／Ｎを向上させることができる。
【0243】
（まとめ）
本実施の形態の画像生成装置１～１Ｈは、光を発光する第１の発光部１０および第２の発光部２０と、第１の発光部１０および第２の発光部２０で発光したそれぞれの光（照射光Ｌ１、Ｌ２）が、被写体９に照射されることで反射したそれぞれの反射光Ｒ１、Ｒ２を、二次元状に配置された複数の画素３１で受光する受光部３０と、第１の発光部１０の発光期間、第２の発光部２０の発光期間、および、受光部３０の受光期間を制御する駆動制御部５０と、第１の発光部１０の発光に対応する受光部３０の受光によって画素３１から出力される第１の画素信号ｓ１、および、第２の発光部２０の発光に対応する受光部３０の受光によって画素３１から出力される第２の画素信号ｓ２を合成して合成信号ｓ１０を生成する合成部７０と、を備える。第１の発光部１０および第２の発光部２０は、被写体９から見て重ならない位置に設けられている。駆動制御部５０は、同一フレームにおいて、第１の発光部１０と第２の発光部２０とを異なるタイミングで発光させる。合成部７０は、第１の画素信号ｓ１および第２の画素信号ｓ２のうち、少なくとも一方が所定のレベルよりも大きい画素信号である場合に、所定のレベルよりも大きい画素信号を用いずに合成信号ｓ１０を生成する。
本実施の形態の画像生成装置１～１Ｈは、光を発光する第１の発光部１０および第２の発光部２０と、第１の発光部１０および第２の発光部２０で発光したそれぞれの光（照射光Ｌ１、Ｌ２）が、被写体９に照射されることで反射したそれぞれの反射光Ｒ１、Ｒ２を、二次元状に配置された複数の画素３１で受光する受光部３０と、第１の発光部１０の発光期間、第２の発光部２０の発光期間、および、受光部３０の受光期間を制御する駆動制御部５０と、第１の発光部１０の発光に対応する受光部３０の受光によって画素３１から出力される第１の画素信号ｓ１、および、第２の発光部２０の発光に対応する受光部３０の受光によって画素３１から出力される第２の画素信号ｓ２を合成して合成信号ｓ１０を生成する合成部７０と、を備える。第１の発光部１０および第２の発光部２０は、被写体９から見て重ならない位置に設けられている。駆動制御部５０は、同一フレームにおいて、第１の発光部１０と第２の発光部２０とを異なるタイミングで発光させる。合成部７０は、第１の画素信号ｓ１および第２の画素信号ｓ２のうち、少なくとも一方が所定のレベルよりも大きい画素信号である場合に、所定のレベルよりも大きい画素信号を用いずに合成信号ｓ１０を生成する。
【0244】
このように、第１の画素信号ｓ１および第２の画素信号ｓ２の少なくとも一方が所定のレベルよりも大きい画素信号である場合に、所定のレベルよりも大きい画素信号を用いずに合成信号ｓ１０を生成することで、鏡面反射による影響を抑制して簡易に画像を生成することができる。
【0245】
また、所定のレベルは、画素３１に蓄積される信号電荷が飽和するときの飽和レベルＴＨに基づいて予め設定されてもよい。
【0246】
これによれば、第１の画素信号ｓ１および第２の画素信号ｓ２の少なくとも一方が飽和するレベルよりも大きい画素信号である場合に、飽和している画素信号を用いずに合成信号ｓ１０を生成することができる。これにより、鏡面反射による影響を抑制して簡易に画像を生成することができる。
【0247】
また、受光部３０は、第１の発光部１０の発光に対応して画素３１に蓄積された信号電荷を第１のパケットｐ１に読み出し、当該信号電荷に応じた受光量の情報を含む第１の画素信号ｓ１を出力し、および、第２の発光部２０の発光に対応して受光部３０の画素３１に蓄積された信号電荷を第２のパケットｐ２に読み出し、当該信号電荷に応じた受光量の情報を含む第２の画素信号ｓ２を出力してもよい。
【0248】
このように、画素３１に蓄積された信号電荷を複数のパケットに読み出して、第１の画素信号ｓ１および第２の画素信号ｓ２を出力することで、同一フレーム内の情報を用いて１つの画像を生成することができる。すなわち、複数のフレームを用いて１つの画像を生成するのでなく、１つのフレーム内の情報を用いて１つの画像を生成することができる。これにより、鏡面反射による影響を抑制して簡易に画像を生成することができる。
【0249】
また、第１の発光部１０および第２の発光部２０は、受光部３０の両外側に配置されていてもよい。
【0250】
このように、第１の発光部１０および第２の発光部２０を受光部３０の片側でなく、受光部３０の両外側に配置することで、第１の画素信号ｓ１および第２の画素信号ｓ２の両方が所定のレベルより大きくなることを抑制できる。これにより、鏡面反射による影響を抑制して簡易に画像を生成することができる。
【0251】
本実施の形態の画像生成装置１～１Ｈは、被写体９に向けて光（照射光Ｌ１）を照射する第１の発光部１０と、被写体９に向けて光（照射光Ｌ２）を照射する第２の発光部２０と、第１の発光部１０および第２の発光部２０で照射した光が被写体９に反射することで生じたそれぞれの反射光Ｒ１、Ｒ２を、二次元状に配置された複数の画素３１で受光する受光部３０と、第１の発光部１０の発光期間、第２の発光部２０の発光期間および受光部３０の受光期間を制御する駆動制御部５０と、第１の発光部１０および第２の発光部２０の光の照射に応じて受光部３０の画素３１から出力された第１の画素信号ｓ１および第２の画素信号ｓ２が、飽和レベルＴＨを超えているか否かを判定する飽和レベル判定部６０と、飽和レベル判定部６０の判定結果に基づいて、第１の画素信号ｓ１および第２の画素信号ｓ２を合成することで合成信号ｓ１０を生成する合成部７０と、を備える。第１の発光部１０と第２の発光部２０とは、離間して配置されている。駆動制御部５０は、同一フレームにおいて、第１の発光部１０を発光させる第１発光パルスと第２の発光部２０を発光させる第２発光パルスとを異なるタイミングで生成し、および、第１の発光部１０で照射した光が被写体９に反射することで生じた反射光Ｒ１を受光させる第１受光パルスと第２の発光部２０で照射した光が被写体９に反射することで生じた反射光Ｒ２を受光させる第２受光パルスとを異なるタイミングで生成する。受光部３０は、第１受光パルスに従って受光した第１受光量の情報を含む第１の画素信号ｓ１を出力し、および、第２受光パルスに従って受光した第２受光量の情報を含む第２の画素信号ｓ２を出力する。飽和レベル判定部６０は、第１受光量、第２受光量および飽和レベルＴＨを比較する。合成部７０は、
（１）第１受光量および第２受光量が飽和レベルＴＨよりも共に小さい場合に、第１の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成し、
（２）第１受光量のみが飽和レベルＴＨよりも大きい場合に、第２の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成し、
（３）第２受光量のみが飽和レベルＴＨよりも大きい場合に、第３の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。
（１）第１受光量および第２受光量が飽和レベルＴＨよりも共に小さい場合に、第１の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成し、
（２）第１受光量のみが飽和レベルＴＨよりも大きい場合に、第２の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成し、
（３）第２受光量のみが飽和レベルＴＨよりも大きい場合に、第３の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。
【0252】
このように、第１受光量、第２受光量および飽和レベルＴＨの比較結果に基づいて、第１の画素信号ｓ１および第２の画素信号ｓ２を合成することで、鏡面反射による影響を抑制して簡易に画像を生成することができる。
【0253】
また、第２の合成係数は、第１受光量を０とみなして合成する係数であり、第３の合成係数は、第２受光量を０とみなして合成する係数であってもよい。
【0254】
これによれば、第１受光量および第２受光量の一方が飽和している場合に、飽和している受光量の情報を含む画素信号を用いずに画像を生成することができる。これにより、鏡面反射による影響を抑制して簡易に画像を生成することができる。
【0255】
また、第１の合成係数は、第１受光量を半分とみなし、かつ、第２受光量を半分とみなして合成する係数であってもよい。
【0256】
これによれば、第１受光量および第２受光量の両方が飽和していない場合に、飽和していない両方の受光量の情報を含む画素信号を半分ずつ用いて画像を生成することができる。これにより、鏡面反射による影響を抑制して簡易に画像を生成することができる。
【0257】
また、画像生成装置１Ａは、さらに、第１受光量の情報または第２受光量の情報を補正する補正部８０を備えていてもよい。駆動制御部５０は、第１の発光部１０の光の照射に対応する受光部３０の第１の受光期間と、第２の発光部２０の光の照射に対応する受光部３０の第２の受光期間とを異なるように制御する。補正部８０は、第１の受光期間と第２の受光期間との違いによって生じる受光量に基づいて、第１受光量の情報または第２受光量の情報を補正する。合成部７０は、補正部８０で補正された補正後の第１受光量の情報または第２受光量の情報を用いて、第１の画素信号ｓ１および第２の画素信号ｓ２を合成してもよい。
【0258】
このように、補正部８０が、第１の受光期間と第２の受光期間との違いによって生じる受光量に基づいて、第１受光量の情報または第２受光量の情報を補正することで、第１の画素信号ｓ１または第２の画素信号ｓ２を適切に生成することができる。これにより、鏡面反射による影響を抑制した画像を適切に生成することができる。
【0259】
また、画像生成装置１Ｂは、さらに、第１受光量の情報または第２受光量の情報を補正する補正部８０を備えていてもよい。駆動制御部５０は、第１の発光部１０の照射開始から受光部３０による受光開始までの第１の受光開始時間と、第２の発光部２０の照射開始から受光部３０による受光開始までの第２の受光開始時間とを異なるように制御する。補正部８０は、第１の受光開始時間と第２の受光開始時間との違いによって生じる受光量に基づいて、第１受光量の情報または第２受光量の情報を補正する。合成部７０は、補正部８０で補正された補正後の第１受光量の情報または第２受光量の情報を用いて、第１の画素信号ｓ１および第２の画素信号ｓ２を合成してもよい。
【0260】
このように、補正部８０が、第１の受光開始時間と第２の受光開始時間との違いによって生じる受光量に基づいて、第１受光量の情報または第２受光量の情報を補正することで、第１の画素信号ｓ１または第２の画素信号ｓ２を適切に生成することができる。これにより、鏡面反射による影響を抑制した画像を適切に生成することができる。
【0261】
また、画像生成装置１Ａ～１Ｈは、さらに、被写体９までの距離Ｌを演算する距離演算部９０を備え、距離演算部９０は、補正後の第１受光量または第２受光量を用いて、距離Ｌを演算してもよい。
【0262】
このように、距離演算部９０が、補正後の第１受光量または第２受光量を用いて距離Ｌを演算することで、被写体９までの距離Ｌを適切に測定することができる。
【0263】
また、本実施の形態の画像生成装置１Ａ～１Ｈは、被写体９に向けて光（照射光Ｌ１）を照射する第１の発光部１０と、被写体９に向けて光（照射光Ｌ２）を照射する第２の発光部２０と、第１の発光部１０および第２の発光部２０で照射した光が被写体９に反射することで生じたそれぞれの反射光Ｒ１、Ｒ２を、二次元状に配置された複数の画素３１で受光する受光部３０と、第１の発光部１０の発光期間、第２の発光部２０の発光期間および受光部３０の受光期間を制御する駆動制御部５０と、第１の発光部１０および第２の発光部２０の光の照射に応じて受光部３０の画素３１から出力された第１の画素信号ｓ１および第２の画素信号ｓ２が、飽和レベルＴＨを超えているか否かを判定する飽和レベル判定部６０と、飽和レベル判定部６０の判定結果に基づいて、第１の画素信号ｓ１および第２の画素信号ｓ２を合成することで合成信号ｓ１０を生成する合成部７０と、を備える。第１の発光部１０と第２の発光部２０とは、離間して配置されている。駆動制御部５０は、同一フレームにおいて、第１の発光部１０を発光させる１以上の第１発光パルスと第２の発光部２０を発光させる１以上の第２発光パルスとを異なるタイミングで生成し、および、第１の発光部１０で照射した光が被写体９に反射することで生じた反射光Ｒ１を受光させる１以上の第１受光パルスと第２の発光部２０で照射した光が被写体９に反射することで生じた反射光Ｒ２を受光させる１以上の第２受光パルスとを異なるタイミングで生成する。受光部３０は、１以上の第１受光パルスに従って受光した１以上の第１受光量の情報を含む第１の画素信号ｓ１を出力し、および、１以上の第２受光パルスに従って受光した１以上の第２受光量の情報を含む第２の画素信号ｓ２を出力する。飽和レベル判定部６０は、１以上の第１受光量の情報、１以上の第２受光量の情報および飽和レベルＴＨを比較する。合成部７０は、
（１）１以上の第１受光量および１以上の第２受光量のそれぞれが、飽和レベルＴＨよりも全て小さい場合に、第１の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成し、
（２）１以上の第１受光量の少なくとも１つが飽和レベルＴＨよりも大きい場合に、第２の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成し、
（３）１以上の第２受光量の少なくとも１つが飽和レベルよりも大きい場合に、第３の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。
（１）１以上の第１受光量および１以上の第２受光量のそれぞれが、飽和レベルＴＨよりも全て小さい場合に、第１の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成し、
（２）１以上の第１受光量の少なくとも１つが飽和レベルＴＨよりも大きい場合に、第２の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成し、
（３）１以上の第２受光量の少なくとも１つが飽和レベルよりも大きい場合に、第３の合成係数で第１の画素信号ｓ１および第２の画素信号ｓ２を合成する。
【0264】
このように、１以上の第１受光量、１以上の第２受光量および飽和レベルＴＨの比較結果に基づいて、第１の画素信号ｓ１および第２の画素信号ｓ２を合成することで、鏡面反射による影響を抑制して簡易に画像を生成することができる。
【0265】
また、画像生成装置１Ａ～１Ｈは、さらに、被写体９までの距離を演算する距離演算部９０を備え、距離演算部９０は、１以上の第１受光量の合計値および１以上の第２受光量の合計値を用いて、距離Ｌを演算してもよい。
【0266】
これによれば、鏡面反射による影響を抑制して、被写体９までの距離Ｌを簡易に測定することができる。
【0267】
また、駆動制御部５０は、発光期間および受光期間のそれぞれを同一フレームで複数回実行してもよい。
【0268】
このように、同一フレーム内で発光期間および受光期間のそれぞれを複数回実行することで、１回あたりの発光量を抑えることができる。また、発光を複数回に分散することで、第１の発光部１０および第２の発光部２０のピーク電力を抑えることができる。
【0269】
（その他の実施の形態）
以上、実施の形態について説明したが、本開示は、上記実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素および機能を任意に組み合わせることで実現される形態も本開示に含まれる。
以上、実施の形態について説明したが、本開示は、上記実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素および機能を任意に組み合わせることで実現される形態も本開示に含まれる。
【0270】
画像生成装置１～１Ｈは、車両に限られず、建物の室内などの所定の空間８内に設けられていてもよい。画像生成装置１～１Ｈは、撮像装置に含まれる装置であってもよい。画像生成装置１Ａ～１Ｈは、距離測定装置に含まれる装置であってもよい。
【産業上の利用可能性】
【0271】
本開示は、人の健康状態、覚醒状態、集中状態などを画像から検出する装置の性能向上に有用である。
【符号の説明】
【0272】
１、１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅ、１Ｆ、１Ｇ、１Ｈ 画像生成装置
８ 空間
９ 被写体
１０ 第１の発光部
１０ａ、１０ｂ 光源
２０ 第２の発光部
２０ａ、２０ｂ 光源
３０ 受光部
３１ 画素
４０ 基板
５０ 駆動制御部
６０ 飽和レベル判定部
７０ 合成部
８０ 補正部
９０ 距離演算部
Ｌ１、Ｌ２ 照射光
ｐ１ 第１のパケット
ｐ２ 第２のパケット
Ｒ１、Ｒ２ 反射光
ＲＧ１、ＲＧ３、ＲＧ５、ＲＧ７、ＲＧ９、ＲＧ１１、ＲＧ１１ａ、ＲＧ１３、ＲＧ１３ａ、ＲＧ１５、ＲＧ１５ａ、ＲＧ１７、ＲＧ１７ａ 第１受光パルス
ＲＧ２、ＲＧ４、ＲＧ６、ＲＧ８、ＲＧ１０、ＲＧ１２、ＲＧ１４、ＲＧ１４ａ、ＲＧ１６、ＲＧ１８、ＲＧ１８ａ 第２受光パルス
ＲＬ１、ＲＬ３、ＲＬ５、ＲＬ７、ＲＬ９、ＲＬ１１、ＲＬ１１ａ、ＲＬ１３、ＲＬ１３ａ、ＲＬ１５、ＲＬ１５ａ、ＲＬ１７、ＲＬ１７ａ 第１受光量
ＲＬ２、ＲＬ４、ＲＬ６、ＲＬ８、ＲＬ１０、ＲＬ１２、ＲＬ１４、ＲＬ１４ａ、ＲＬ１６、ＲＬ１８、ＲＬ１８ａ 第２受光量
ｓ１ 第１の画素信号
ｓ２ 第２の画素信号
ｓ１０ 合成信号
ＳＧ１、ＳＧ３、ＳＧ５、ＳＧ７、ＳＧ９、ＳＧ１１、ＳＧ１３、ＳＧ１５、ＳＧ１５ａ、ＳＧ１７、ＳＧ１７ａ 第１発光パルス
ＳＧ２、ＳＧ４、ＳＧ６、ＳＧ８、ＳＧ１０、ＳＧ１２、ＳＧ１４、ＳＧ１６、ＳＧ１８、ＳＧ１８ａ 第２発光パルス
Ｔｇ１、Ｔｇ３、Ｔｇ５、Ｔｇ７、Ｔｇ９、Ｔｇ１１、Ｔｇ１３、Ｔｇ１５、Ｔｇ１５ａ、Ｔｇ１７、Ｔｇ１７ａ 第１の発光期間
Ｔｇ２、Ｔｇ４、Ｔｇ６、Ｔｇ８、Ｔｇ１０、Ｔｇ１２、Ｔｇ１４、Ｔｇ１６、Ｔｇ１８、Ｔｇ１８ａ 第２の発光期間
ＴＨ 飽和レベル
ｔｓ１、ｔｓ３、ｔｓ５、ｔｓ７、ｔｓ９、ｔｓ１１、ｔｓ１１ａ、ｔｓ１３、ｔｓ１３ａ、ｔｓ１５、ｔｓ１５ａ、ｔｓ１７、ｔｓ１７ａ 第１の受光開始時間
ｔｓ２、ｔｓ４、ｔｓ６、ｔｓ８、ｔｓ１０、ｔｓ１２、ｔｓ１４、ｔｓ１４ａ、ｔｓ１６、ｔｓ１８、ｔｓ１８ａ 第２の受光開始時間
Ｔｒ１、Ｔｒ３、Ｔｒ５、Ｔｒ７、Ｔｒ９、Ｔｒ１１、Ｔｒ１１ａ、Ｔｒ１３、Ｔｒ１３ａ、Ｔｒ１５、Ｔｒ１５ａ、Ｔｒ１７、Ｔｒ１７ａ 第１の受光期間
Ｔｒ２、Ｔｒ４、Ｔｒ６、Ｔｒ８、Ｔｒ１０、Ｔｒ１２、Ｔｒ１４、Ｔｒ１４ａ、Ｔｒ１６、Ｔｒ１８、Ｔｒ１８ａ 第２の受光期間
８ 空間
９ 被写体
１０ 第１の発光部
１０ａ、１０ｂ 光源
２０ 第２の発光部
２０ａ、２０ｂ 光源
３０ 受光部
３１ 画素
４０ 基板
５０ 駆動制御部
６０ 飽和レベル判定部
７０ 合成部
８０ 補正部
９０ 距離演算部
Ｌ１、Ｌ２ 照射光
ｐ１ 第１のパケット
ｐ２ 第２のパケット
Ｒ１、Ｒ２ 反射光
ＲＧ１、ＲＧ３、ＲＧ５、ＲＧ７、ＲＧ９、ＲＧ１１、ＲＧ１１ａ、ＲＧ１３、ＲＧ１３ａ、ＲＧ１５、ＲＧ１５ａ、ＲＧ１７、ＲＧ１７ａ 第１受光パルス
ＲＧ２、ＲＧ４、ＲＧ６、ＲＧ８、ＲＧ１０、ＲＧ１２、ＲＧ１４、ＲＧ１４ａ、ＲＧ１６、ＲＧ１８、ＲＧ１８ａ 第２受光パルス
ＲＬ１、ＲＬ３、ＲＬ５、ＲＬ７、ＲＬ９、ＲＬ１１、ＲＬ１１ａ、ＲＬ１３、ＲＬ１３ａ、ＲＬ１５、ＲＬ１５ａ、ＲＬ１７、ＲＬ１７ａ 第１受光量
ＲＬ２、ＲＬ４、ＲＬ６、ＲＬ８、ＲＬ１０、ＲＬ１２、ＲＬ１４、ＲＬ１４ａ、ＲＬ１６、ＲＬ１８、ＲＬ１８ａ 第２受光量
ｓ１ 第１の画素信号
ｓ２ 第２の画素信号
ｓ１０ 合成信号
ＳＧ１、ＳＧ３、ＳＧ５、ＳＧ７、ＳＧ９、ＳＧ１１、ＳＧ１３、ＳＧ１５、ＳＧ１５ａ、ＳＧ１７、ＳＧ１７ａ 第１発光パルス
ＳＧ２、ＳＧ４、ＳＧ６、ＳＧ８、ＳＧ１０、ＳＧ１２、ＳＧ１４、ＳＧ１６、ＳＧ１８、ＳＧ１８ａ 第２発光パルス
Ｔｇ１、Ｔｇ３、Ｔｇ５、Ｔｇ７、Ｔｇ９、Ｔｇ１１、Ｔｇ１３、Ｔｇ１５、Ｔｇ１５ａ、Ｔｇ１７、Ｔｇ１７ａ 第１の発光期間
Ｔｇ２、Ｔｇ４、Ｔｇ６、Ｔｇ８、Ｔｇ１０、Ｔｇ１２、Ｔｇ１４、Ｔｇ１６、Ｔｇ１８、Ｔｇ１８ａ 第２の発光期間
ＴＨ 飽和レベル
ｔｓ１、ｔｓ３、ｔｓ５、ｔｓ７、ｔｓ９、ｔｓ１１、ｔｓ１１ａ、ｔｓ１３、ｔｓ１３ａ、ｔｓ１５、ｔｓ１５ａ、ｔｓ１７、ｔｓ１７ａ 第１の受光開始時間
ｔｓ２、ｔｓ４、ｔｓ６、ｔｓ８、ｔｓ１０、ｔｓ１２、ｔｓ１４、ｔｓ１４ａ、ｔｓ１６、ｔｓ１８、ｔｓ１８ａ 第２の受光開始時間
Ｔｒ１、Ｔｒ３、Ｔｒ５、Ｔｒ７、Ｔｒ９、Ｔｒ１１、Ｔｒ１１ａ、Ｔｒ１３、Ｔｒ１３ａ、Ｔｒ１５、Ｔｒ１５ａ、Ｔｒ１７、Ｔｒ１７ａ 第１の受光期間
Ｔｒ２、Ｔｒ４、Ｔｒ６、Ｔｒ８、Ｔｒ１０、Ｔｒ１２、Ｔｒ１４、Ｔｒ１４ａ、Ｔｒ１６、Ｔｒ１８、Ｔｒ１８ａ 第２の受光期間
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】