知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-28
(45)【発行日】2024-01-12
(54)【発明の名称】カメラシステム、及び車両走行制御システム
(51)【国際特許分類】
H04N 23/667 20230101AFI20240104BHJP
G03B 15/00 20210101ALI20240104BHJP
H04N 23/60 20230101ALI20240104BHJP
【ＦＩ】
H04N23/667
G03B15/00 H
G03B15/00 Q
G03B15/00 V
H04N23/60 100
【請求項の数】
12
(21)【出願番号】P 2022159892
(22)【出願日】2022-10-04
(62)【分割の表示】P 2019008726の分割
【原出願日】2019-01-22
(65)【公開番号】P2023002588
(43)【公開日】2023-01-10
【審査請求日】2022-10-04
(31)【優先権主張番号】P 2018021977
(32)【優先日】2018-02-09
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】佐藤 嘉晃
(72)【発明者】
【氏名】宍戸 三四郎
(72)【発明者】
【氏名】三宅 康夫
(72)【発明者】
【氏名】西村 佳壽子
(72)【発明者】
【氏名】岩井 浩
(72)【発明者】
【氏名】柴田 修
【審査官】佐藤 直樹
(56)【参考文献】
【文献】特開２０１０－０６６２２１（ＪＰ，Ａ）
【文献】特開２０１０－２４４３０１（ＪＰ，Ａ）
【文献】特開２０１７－２１６７４３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６６７
Ｇ０３Ｂ １５／００
Ｈ０４Ｎ ２３／６０
(57)【特許請求の範囲】
【請求項1】
１回の露光を行う通常露光により第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、制御回路と、
を備え、
前記撮像装置は、第１フレーム期間に前記第２画像を取得し、
前記制御回路は、前記第１フレーム期間に取得された前記第２画像に基づいて、前記第１フレーム期間の後の第２フレーム期間に、通常露光により画像を取得するか多重露光により画像を取得するかを決定する、
カメラシステム。
【請求項2】
画像処理装置をさらに備え、前記画像処理装置が、前記第１フレーム期間に取得された前記第２画像において第１対象物を検出できなかった場合、前記制御回路は、前記第２フレーム期間に前記通常露光により画像を取得することを決定する、
請求項１に記載のカメラシステム。
【請求項3】
画像処理装置をさらに備え、前記画像処理装置が、前記第１フレーム期間に取得された前記第２画像において第１対象物を検出した場合、前記制御回路は、前記第２フレーム期間に前記多重露光により画像を取得することを決定する、
請求項１に記載のカメラシステム。
【請求項4】
１回の露光を行う通常露光により第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、制御回路と、
を備え、
前記撮像装置は、第１フレーム期間に前記第１画像を取得し、
前記制御回路は、前記第１フレーム期間に取得された前記第１画像に基づいて、前記第１フレーム期間の後の第２フレーム期間に、通常露光により画像を取得するか多重露光により画像を取得するかを決定する、
カメラシステム。
【請求項5】
画像処理装置をさらに備え、前記画像処理装置が、前記第１フレーム期間に取得された前記第１画像において第１対象物を検出できなかった場合、前記制御回路は、前記第２フレーム期間に前記通常露光により画像を取得することを決定する、
請求項４に記載のカメラシステム。
【請求項6】
画像処理装置をさらに備え、前記画像処理装置が、前記第１フレーム期間に取得された前記第１画像において第１対象物を検出した場合、前記制御回路は、前記第２フレーム期間に前記多重露光により画像を取得することを決定する、
請求項４に記載のカメラシステム。
【請求項7】
前記多重露光は、第１露光と、前記第１露光と異なる第２露光とを含み、前記第１露光時の感度は、前記第２露光時の感度と異なる、
請求項１から６のいずれか１項に記載のカメラシステム。
【請求項8】
前記多重露光の前記複数回の露光の間の期間における感度は、ゼロよりも大きく前記複数回の露光時の感度よりも小さい、請求項１から７のいずれか１項に記載のカメラシステム。
【請求項9】
１回の露光を行う通常露光により第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、
制御回路と、
を備え、
前記制御回路は、前記撮像装置に対し、
第１フレーム期間に前記第１画像を取得させ、
前記第１フレーム期間の後の１以上の第２フレーム期間に前記第２画像を取得させ、
前記１以上の第２フレーム期間の後の第３フレーム期間に前記第１画像を取得させ、
前記多重露光は、第１露光と、前記第１露光と異なる第２露光とを含み、
前記第１露光時の感度は、前記第２露光時の感度と異なる、
カメラシステム。
【請求項10】
１回の露光を行う通常露光により第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、
制御回路と、
を備え、
前記制御回路は、前記撮像装置に対し、
第１フレーム期間に前記第１画像を取得させ、
前記第１フレーム期間の後の１以上の第２フレーム期間に前記第２画像を取得させ、
前記１以上の第２フレーム期間の後の第３フレーム期間に前記第１画像を取得させ、
前記多重露光の前記複数回の露光の間の期間における感度は、ゼロよりも大きく前記複数回の露光時の感度よりも小さい、
カメラシステム。
【請求項11】
画像処理装置をさらに備え、前記画像処理装置は、前記第２画像に基づいて、第１対象物の運動方向、速度、加速度のうちの少なくとも１つを算出する、
請求項１、４、９、１０のいずれか１項に記載のカメラシステム。
【請求項12】
請求項１１に記載のカメラシステムと、制御装置と
を備え、
前記制御装置は、前記運動方向、前記速度、前記加速度のうちの少なくとも１つに基づいて車両の走行を制御する、
車両走行制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラシステムに関する。
【背景技術】
【0002】
従来、複数回露光を行うことで多重露光画像を取得する撮像装置を備えたカメラシステムが知られている。例えば、特許文献1には、撮像装置によって取得される多重露光画像から被写体の特徴量を抽出し、抽出した特徴量をもとに、多重露光画像における被写体の位置を特定するカメラシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００２－２７３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
多重露光画像における被写体の位置を、より高い精度で特定し得るカメラシステムが求められている。
【課題を解決するための手段】
【0005】
本開示の一態様に係るカメラシステムは、１回の露光を行う通常露光により第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、制御回路と、を備え、前記撮像装置は、第１フレーム期間に前記第２画像を取得し、前記制御回路は、前記第１フレーム期間に取得された前記第２画像に基づいて、前記第１フレーム期間の後の第２フレーム期間に、通常露光により画像を取得するか多重露光により画像を取得するかを決定する。
【0006】
また、本開示の一態様に係るカメラシステムは、１回の露光を行う通常露光により第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、制御回路と、を備え、前記撮像装置は、第１フレーム期間に前記第１画像を取得し、前記制御回路は、前記第１フレーム期間に取得された前記第１画像に基づいて、前記第１フレーム期間の後の第２フレーム期間に、通常露光により画像を取得するか多重露光により画像を取得するかを決定する。
【0007】
また、本開示の一態様に係るカメラシステムは、１回の露光を行う通常露光により第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、制御回路と、を備え、前記制御回路は、前記撮像装置に対し、第１フレーム期間に前記第１画像を取得させ、前記第１フレーム期間の後の１以上の第２フレーム期間に前記第２画像を取得させ、前記１以上の第２フレーム期間の後の第３フレーム期間に前記第１画像を取得させる。
【0008】
包括的または具体的な態様は、素子、デバイス、装置、カメラシステム、集積回路、方法、コンピュータプログラムまたはプログラムが記録されたコンピュータ読み取り可能な記録媒体で実現されてもよい。また、包括的または具体的な態様は、素子、デバイス、装置、カメラシステム、集積回路、方法、コンピュータプログラムおよび記録媒体の任意の組み合わせによって実現されてもよい。
【0009】
開示された実施形態の追加的な効果および利点は、明細書および図面から明らかになる。効果および／または利点は、明細書および図面に開示の様々な実施形態または特徴によって個々に提供され、これらの１つ以上を得るために全てを必要とはしない。
【発明の効果】
【0010】
多重露光画像における被写体の位置を、より高い精度で特定し得るカメラシステムが提供される。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
（本発明者らの知見）
被写体が撮像装置に対して相対的に動いている場合、撮像装置によって取得される多重露光画像では、複数の被写体像が互いにずれて重畳される。このような場合には、従来のカメラシステムでは、多重露光画像から、被写体像の形状、数等を誤って検出してしまうことがある。このような誤検出に起因して、多重露光画像における被写体像の位置を特定する精度が低下してしまうことがある。
被写体が撮像装置に対して相対的に動いている場合、撮像装置によって取得される多重露光画像では、複数の被写体像が互いにずれて重畳される。このような場合には、従来のカメラシステムでは、多重露光画像から、被写体像の形状、数等を誤って検出してしまうことがある。このような誤検出に起因して、多重露光画像における被写体像の位置を特定する精度が低下してしまうことがある。
【0013】
本開示の一態様の概要は以下のとおりである。
［項目１］
１回の露光を行う通常露光により第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、
前記第１画像から第１対象物の特徴量を抽出し、前記第２画像において前記特徴量に対応する少なくとも一つの第１位置を特定する画像処理装置と、
を備える、カメラシステム。
［項目２］
前記撮像装置は、第１フレーム期間に前記第１画像を取得し、前記第１フレーム期間の後の第２フレーム期間に前記第２画像を取得する、項目１に記載のカメラシステム。
［項目３］
前記第２画像に基づいて、前記第２フレーム期間の後の第３フレーム期間に、前記通常露光により画像を取得するか前記多重露光により画像を取得するかを決定する制御回路をさらに備える、項目２に記載のカメラシステム。
［項目４］
前記第２画像において前記特徴量に対応する前記少なくとも一つの第１位置を特定できなかった場合、前記制御回路は、前記第３フレーム期間に、前記通常露光により画像を取得することを決定する、項目３に記載のカメラシステム。
［項目５］
前記第２画像において前記第１対象物とは異なる第２対象物を検出した場合、前記制御回路は、前記第３フレーム期間に、前記通常露光により画像を取得することを決定する、項目３又は項目４に記載のカメラシステム。
［項目６］
前記第２画像の予め定められた領域において前記第１対象物とは異なる第２対象物を検出した場合、前記制御回路は、前記第３フレーム期間に、前記通常露光により画像を取得することを決定する、項目３又は項目４に記載のカメラシステム。
［項目７］
前記撮像装置は、前記複数回の露光のうちの少なくとも１回の露光により生成した信号を非破壊で読み出す、項目１から６のいずれか一項に記載のカメラシステム。
［項目８］
前記撮像装置は、複数の画素を含み、前記複数の画素のうちの一部の画素からの前記信号を非破壊で呼び出す、項目７に記載のカメラシステム。
［項目９］
前記撮像装置は、第１フレーム期間に前記第１画像および前記第２画像を取得し、
前記撮像装置は、前記多重露光のうちの最初の１回の露光により前記第１画像を取得し、前記多重露光により前記第２画像を取得する、項目１に記載のカメラシステム。
［項目１０］
前記撮像装置は、前記最初の１回の露光により発生した信号を非破壊で読み出す、項目９に記載のカメラシステム。
［項目１１］
前記多重露光は、第１露光と、前記第１露光と異なる第２露光とを含み、
前記第１露光時の感度は、前記第２露光時の感度と異なる、項目１から１０のいずれか一項に記載のカメラシステム。
［項目１２］
前記多重露光の前記複数回の露光の間の期間における感度は、ゼロよりも大きく前記複数回の露光時の感度よりも小さい、項目１から１１のいずれか一項に記載のカメラシステム。
［項目１３］
前記第１対象物は、自動車、バイク、電車、自転車、人、動物のうちの少なくとも１つを含む、項目１から１２のいずれか一項に記載のカメラシステム。
［項目１４］
前記画像処理装置は、前記第２画像に基づいて、前記第１対象物の運動方向、速度、加速度のうちの少なくとも１つを算出する、項目１から１３のいずれか一項に記載のカメラシステム。
［項目１５］
前記画像処理装置によって算出された前記運動方向、前記速度、前記加速度のうちの少なくとも１つを表示する表示装置をさらに備える、項目１４に記載のカメラシステム。
［項目１６］
前記画像処理装置は、前記第１対象物の前記特徴量に基づいて、第２画像において前記第１対象物に対応する少なくとも一つの像を検出する、項目１に記載のカメラシステム。
［項目１７］
項目１に記載のカメラシステムと、
制御装置と
を備え、
前記カメラシステムは、前記第２画像に基づいて、前記第１対象物の運動方向、速度、加速度のうちの少なくとも１つを算出し、
前記制御装置は、前記運動方向、前記速度、前記加速度のうちの少なくとも１つに基づいて車両の走行を制御する、車両走行制御システム。
［項目１８］
少なくとも１回の露光を行うことにより第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、
前記第１画像から第１対象物の特徴量を抽出し、前記第２画像において前記特徴量に対応する少なくとも一つの第１位置を特定する画像処理装置と
を備える、カメラシステム。
［項目１９］
前記撮像装置は、第１フレーム期間に前記第１画像および前記第２画像を取得し、
前記撮像装置は、前記多重露光のうちの最初の前記少なくとも１回の露光により前記第１画像を取得し、前記多重露光により前記第２画像を取得する、項目１８に記載のカメラシステム。
［項目２０］
前記画像処理装置は、前記第１対象物の前記特徴量に基づいて、第２画像において前記第１対象物に対応する少なくとも一つの像を検出する、項目１８に記載のカメラシステム。
［項目１］
１回の露光を行う通常露光により第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、
前記第１画像から第１対象物の特徴量を抽出し、前記第２画像において前記特徴量に対応する少なくとも一つの第１位置を特定する画像処理装置と、
を備える、カメラシステム。
［項目２］
前記撮像装置は、第１フレーム期間に前記第１画像を取得し、前記第１フレーム期間の後の第２フレーム期間に前記第２画像を取得する、項目１に記載のカメラシステム。
［項目３］
前記第２画像に基づいて、前記第２フレーム期間の後の第３フレーム期間に、前記通常露光により画像を取得するか前記多重露光により画像を取得するかを決定する制御回路をさらに備える、項目２に記載のカメラシステム。
［項目４］
前記第２画像において前記特徴量に対応する前記少なくとも一つの第１位置を特定できなかった場合、前記制御回路は、前記第３フレーム期間に、前記通常露光により画像を取得することを決定する、項目３に記載のカメラシステム。
［項目５］
前記第２画像において前記第１対象物とは異なる第２対象物を検出した場合、前記制御回路は、前記第３フレーム期間に、前記通常露光により画像を取得することを決定する、項目３又は項目４に記載のカメラシステム。
［項目６］
前記第２画像の予め定められた領域において前記第１対象物とは異なる第２対象物を検出した場合、前記制御回路は、前記第３フレーム期間に、前記通常露光により画像を取得することを決定する、項目３又は項目４に記載のカメラシステム。
［項目７］
前記撮像装置は、前記複数回の露光のうちの少なくとも１回の露光により生成した信号を非破壊で読み出す、項目１から６のいずれか一項に記載のカメラシステム。
［項目８］
前記撮像装置は、複数の画素を含み、前記複数の画素のうちの一部の画素からの前記信号を非破壊で呼び出す、項目７に記載のカメラシステム。
［項目９］
前記撮像装置は、第１フレーム期間に前記第１画像および前記第２画像を取得し、
前記撮像装置は、前記多重露光のうちの最初の１回の露光により前記第１画像を取得し、前記多重露光により前記第２画像を取得する、項目１に記載のカメラシステム。
［項目１０］
前記撮像装置は、前記最初の１回の露光により発生した信号を非破壊で読み出す、項目９に記載のカメラシステム。
［項目１１］
前記多重露光は、第１露光と、前記第１露光と異なる第２露光とを含み、
前記第１露光時の感度は、前記第２露光時の感度と異なる、項目１から１０のいずれか一項に記載のカメラシステム。
［項目１２］
前記多重露光の前記複数回の露光の間の期間における感度は、ゼロよりも大きく前記複数回の露光時の感度よりも小さい、項目１から１１のいずれか一項に記載のカメラシステム。
［項目１３］
前記第１対象物は、自動車、バイク、電車、自転車、人、動物のうちの少なくとも１つを含む、項目１から１２のいずれか一項に記載のカメラシステム。
［項目１４］
前記画像処理装置は、前記第２画像に基づいて、前記第１対象物の運動方向、速度、加速度のうちの少なくとも１つを算出する、項目１から１３のいずれか一項に記載のカメラシステム。
［項目１５］
前記画像処理装置によって算出された前記運動方向、前記速度、前記加速度のうちの少なくとも１つを表示する表示装置をさらに備える、項目１４に記載のカメラシステム。
［項目１６］
前記画像処理装置は、前記第１対象物の前記特徴量に基づいて、第２画像において前記第１対象物に対応する少なくとも一つの像を検出する、項目１に記載のカメラシステム。
［項目１７］
項目１に記載のカメラシステムと、
制御装置と
を備え、
前記カメラシステムは、前記第２画像に基づいて、前記第１対象物の運動方向、速度、加速度のうちの少なくとも１つを算出し、
前記制御装置は、前記運動方向、前記速度、前記加速度のうちの少なくとも１つに基づいて車両の走行を制御する、車両走行制御システム。
［項目１８］
少なくとも１回の露光を行うことにより第１画像を取得し、複数回の露光を行う多重露光により第２画像を取得する撮像装置と、
前記第１画像から第１対象物の特徴量を抽出し、前記第２画像において前記特徴量に対応する少なくとも一つの第１位置を特定する画像処理装置と
を備える、カメラシステム。
［項目１９］
前記撮像装置は、第１フレーム期間に前記第１画像および前記第２画像を取得し、
前記撮像装置は、前記多重露光のうちの最初の前記少なくとも１回の露光により前記第１画像を取得し、前記多重露光により前記第２画像を取得する、項目１８に記載のカメラシステム。
［項目２０］
前記画像処理装置は、前記第１対象物の前記特徴量に基づいて、第２画像において前記第１対象物に対応する少なくとも一つの像を検出する、項目１８に記載のカメラシステム。
【0014】
また、本開示の一態様の概要は以下のとおりである。
【0015】
本開示の一態様に係るカメラシステムは、画像を取得する撮像装置と、画像処理を行う画像処理装置と、を備え、前記撮像装置は、１回の露光を行って第１画像を取得し、複数回の露光を行って第２画像を取得し、前記画像処理装置は、前記第１画像から、第１対象物の特徴量を抽出し、前記特徴量をもとに、前記第２画像における前記第１対象物の位置を特定する。
【0016】
このカメラシステムは、多重露光画像ではない第１画像から、被写体である第１対象物の像の特徴量を抽出する。そして、抽出された特徴量を用いて、多重露光画像から第１対象物の複数の像を抽出する。これにより、このカメラシステムは、多重露光画像から被写体像の特徴量を抽出する従来のカメラシステムに比べて、被写体像の形状、数等を誤って検出してしまう頻度を低減し得る。
【0017】
従って、このカメラシステムは、多重露光画像における被写体の位置の特定の精度を、従来よりも向上し得る。
【0018】
また、例えば、前記撮像装置は、前記１回の露光を第１フレーム期間に行い、前記複数回の露光を前記第１フレーム期間の後の第２フレーム期間に行ってもよい。
【0019】
これにより、第２画像の取得を開始する前に、又は第２画像の取得と並行して、第１対象物の特徴量の抽出を開始することができるようになる。
【0020】
また、例えば、さらに、前記撮像装置を制御する制御回路を備え、前記制御回路は、前記第２画像をもとに、前記第２フレーム期間後の第３フレーム期間に、前記撮像装置が前記１回の露光を行うか、前記複数回の露光を行うかを決定するとしてもよい。
【0021】
これにより、第３フレーム期間に行う露光を１回の露光とするか複数回の露光とするかを、動的に決定し得るようになる。
【0022】
また、例えば、前記制御回路は、前記第３フレーム期間に、前記撮像装置が前記１回の露光を行うとの前記決定を、前記画像処理装置が、前記第２画像において前記第１対象物を検出できなかった場合に行うとしてもよい。
【0023】
これにより、第３フレーム期間に、新たな対象物の特徴量を抽出するための画像を取得することができるようになる。
【0024】
また、例えば、前記制御回路は、前記第３フレーム期間に、前記撮像装置が前記１回の露光を行うとの前記決定を、前記画像処理装置が、前記第２画像において、前記第１対象物とは異なる第２対象物を検出した場合に行うとしてもよい。
【0025】
これにより、第３フレーム期間に、第２対象物の特徴量を抽出するための画像を取得することができるようになる。
【0026】
また、例えば、前記制御回路は、前記第３フレーム期間に、前記撮像装置が前記１回の露光を行うとの前記決定を、前記画像処理装置が、前記第２画像のうちの一部の予め定められた領域において、前記第１対象物とは異なる第２対象物を検出した場合に行うとしてもよい。
【0027】
これにより、第３フレーム期間に１回の露光を行うか複数回の露光を行うかの決定に係る処理量を低減し得るようになる。
【0028】
また、例えば、前記複数回の露光のうち、少なくとも１回の露光によって得られる電荷は、非破壊で読み出されるとしてもよい。
【0029】
これにより、上記少なくとも１回の露光以前の露光による画像を取得することができるようになる。
【0030】
また、例えば、前記非破壊での読み出しの対象となる画素は、前記撮像装置に含まれる画素の一部であるとしてもよい。
【0031】
これにより、非破壊での読み出しの対象とする画素を撮像装置に含まれる画素の全てとする場合に比べて、非破壊での読み出しにおける読み出し時間又は／及び非破壊での読み出しにおける電力消費量を削減し得るようになる。
【0032】
また、例えば、前記１回の露光は、前記複数回の露光のうちの最初の露光であり、前記撮像装置は、前記複数回の露光を、同一のフレーム期間に行うとしてもよい。
【0033】
これにより、第２画像の取得の開始よりも前に、又は第２画像の取得と並行して、第１対象物の特徴量の抽出を開始し得るようになる。
【0034】
また、例えば、前記１回の露光によって得られる電荷は、非破壊で読み出されるとしてもよい。
【0035】
これにより、第１回の露光による被写体を、第２画像に重畳させることができるようになる。
【0036】
また、例えば、前記複数回の露光は、第１の露光感度で行われる第１露光と、前記第１の露光感度とは異なる第２の露光感度で行われる第２露光と、を含むとしてもよい。
【0037】
これにより、第２画像において重畳される、第１露光による被写体の明度と、第２露光によるその被写体の明度とを、互いに異ならせることができるようになる。
【0038】
また、例えば、前記複数回の露光の各々は、所定の露光感度で行われる高感度露光であり、前記撮像装置は、前記高感度露光と、前記所定の露光感度よりも低い露光感度で行われる低感度露光とを、交互に連続して行うことで、前記複数回の露光を行うとしてもよい。
【0039】
これにより、第２画像に、時系列における被写体の位置の推移の軌跡を残すことができるようになる。
【0040】
また、例えば、前記第１対象物は、自動車、バイク、電車、自転車、人、動物のいずれかであるとしてもよい。
【0041】
これにより、第２画像において、自動車、バイク、電車、自転車、人、動物のいずれかの位置を特定し得るようになる。
【0042】
また、例えば、前記画像処理装置は、前記第２画像をもとに、前記第１対象物の動く方向、速度、加速度のうちの少なくとも１つを算出するとしてもよい。
【0043】
これにより、第１対象物の動く方向、速度、加速度のうちの少なくとも１つを算出できるようになる。
【0044】
また、例えば、さらに、前記方向、前記速度、前記加速度のうちの少なくとも１つを表示する表示装置を備えるとしてもよい。
【0045】
これにより、このカメラシステムを利用するユーザは、第１対象物の動く方向、速度、加速度のうちの少なくとも１つを視認し得るようになる。
【0046】
本開示の一態様に係る車両走行制御システムは、走行している自車両の走行を制御する車両走行制御システムであって、上記カメラシステムを備え、前記画像処理装置は、前記第２画像をもとに、前記第１対象物の動く方向、速度、加速度のうちの少なくとも１つを算出し、上記車両走行制御システムは、前記方向、前記速度、前記加速度のうちの少なくとも１つをもとに、上記制御を行う。
【0047】
この車両走行制御システムでは、第１対象物の動く方向、速度、加速度のうちの少なくとも１つをもとに、自車両の走行を制御できるようになる。
【0048】
以下、本開示の一態様に係るカメラシステム、及び車両走行制御システムの具体例について、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって本開示を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
【0049】
（実施の形態１）
以下、実施の形態１に係るカメラシステム、及び実施の形態１に係る車両走行制御システムの構成について、図面を参照しながら説明する。
以下、実施の形態１に係るカメラシステム、及び実施の形態１に係る車両走行制御システムの構成について、図面を参照しながら説明する。
【0050】
［１－１．構成］
図１は、車両走行制御システム１の構成を示すブロック図である。車両走行制御システム１は、車両に搭載され、その車両の走行を制御する。
図１は、車両走行制御システム１の構成を示すブロック図である。車両走行制御システム１は、車両に搭載され、その車両の走行を制御する。
【0051】
図１に示されるように、車両走行制御システム１は、カメラシステム１０と、電子制御ユニット８０とを含んで構成される。
【0052】
カメラシステム１０は、撮像装置２０と、画像処理装置３０と、制御回路４０と、光学系５０と、画像送信部６０と、表示装置７０とを含む。
【0053】
光学系５０は、レンズ群を有する。光学系５０は、カメラシステム１０の外部から入力される光を、撮像装置２０に集光する。レンズ群は、フォーカスレンズを含んでいてもよい。フォーカスレンズは、レンズ群の光軸方向に移動することで、撮像装置２０における被写体像の合焦位置を調整してもよい。
【0054】
撮像装置２０は、画像を取得する。撮像装置２０は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサであってよい。
【0055】
【0056】
図２に示されるように、撮像装置２０は、行列状に配列された複数の画素１０１と、行走査回路１０２と、列走査回路１０３と、列毎に設けられた電流源１０４と、ＡＤ（Analog to Digital）変換回路１０５とを含んで構成される。
【0057】
同じ行に位置する画素１０１は、共通の水平信号線１０７を介して、行走査回路１０２に接続される。そして、同じ列に位置する画素１０１は、共通の垂直信号線１０８と共通のＡＤ変換回路１０５とを介して、列走査回路１０３に接続される。また。各画素１０１への電力は、全ての画素１０１に共通の電源線１０６から供給される。
【0058】
なお、ここでは、各列にＡＤ変換回路１０５を設けることで、列走査回路１０３からデジタル信号が出力される構成を例に挙げて説明した。しかし、ＡＤ変換回路１０５を設けずに、列走査回路１０３からアナログ信号が出力される構成であってもよい。また、列走査回路１０３は、各列に、その列の画素１０１からの信号を加算又は減算する加減算回路を備え、加算結果又は減算結果を出力する構成であってもよい。
【0059】
画素１０１は、光電変換を行う光電変換部を備える。光電変換部は、例えば光電変換膜を利用するものであってもよいし、半導体基板中に設けられたフォトダイオードであってもよい。
【0060】
【0061】
図３に示されるように、画素１０１は、光電変換部２１と、フローティングディフュージョン（以下、「ＦＤ」と呼ぶ。）２２と、増幅トランジスタ２３と、選択トランジスタ２４と、リセットトランジスタ２５とを含む。
【0062】
光電変換部２１は、入射光を光電変換する。ＦＤ２２は、光電変換部２１で生成された電荷を蓄積する。
【0063】
【0064】
図４に示されるように、光電変換部２１は、薄膜状の光電変換層１１０Ｃと、光電変換層１１０Ｃの上方に位置する薄膜状の透明電極１１０Ａと、光電変換層１１０Ｃの下方に位置する薄膜状の画素電極１１０Ｂとを含む。画素電極１１０Ｂは、コンタクトプラグ１１０Ｅを介して、半導体基板１１０Ｄ内に設けられたＦＤ２２に接続される。ＦＤ２２は、例えば不純物を含む拡散層である。
【0065】
光電変換層１１０Ｃは、透明電極１１０Ａと画素電極１１０Ｂとの間にバイアス電圧が印加された状態で受光すると、光電効果による電荷を生成する。生成された電荷のうち、正の電荷と負の電荷とのうちの一方が、画素電極１１０Ｂに収集される。画素電極１１０Ｂに収集された電荷は、ＦＤ２２に蓄積される。
【0066】
光電変換層１１０Ｃに印加されるバイアス電圧を変化させることで、光電変換層１１０Ｃの光電変換効率、すなわち感度を変更することができる。例えば、光電変換層１１０Ｃに印加されるバイアス電圧が比較的高ければ、光電変換層１１０Ｃの光電変換効率、すなわち感度は比較的高くなる。一方、光電変換層１１０Ｃに印加されるバイアス電圧が比較的低ければ、光電変換層１１０Ｃの光電変換効率、すなわち感度は比較的低くなる。
【0067】
また、光電変換層１１０Ｃに印加されるバイアス電圧を所定の閾値よりも小さくすることで、光電変換層１１０Ｃの光電変換効率を実質的に０とすることができる。以下、この閾値のことを露光閾値と呼ぶ。
【0068】
つまり、光電変換層１１０Ｃに印加されるバイアス電圧が、露光閾値よりも大きい状態と小さい状態とを切り替えることで、光電変換部２１の露光状態と非露光状態とを切り替えることができる。これにより、撮像装置２０は、断続的に複数回の露光を行う多重露光動作を行うことができる。
【0069】
再び図３に戻って、画素１０１の説明を続ける。
【0070】
Ｖｒｓｔ信号によってリセットトランジスタ２５をオン状態とすることにより、ＦＤ２２の電位は、所望のリセット電位Ｖ１にリセットされる。
【0071】
増幅トランジスタ２３は、ＦＤ２２に蓄積された電荷の量に対応する信号を出力する。
【0072】
Ｖｓｅｌ信号によって選択トランジスタ２４のオン状態とオフ状態とを切り替えることにより、増幅トランジスタ２３から出力された信号を、垂直信号線１０８へ出力するか否かが選択される。
【0073】
【0074】
図５に示されるように、画素１０１は、フォトダイオード２６と、フローティングディフュージョン（以下、「ＦＤ」と呼ぶ。）２２と、増幅トランジスタ２３と、選択トランジスタ２４と、リセットトランジスタ２５と、転送トランジスタ２７と、排出トランジスタ２８を含んで構成される。
【0075】
フォトダイオード２６は、入射光を光電変換する。
【0076】
Ｖｔｒｓ信号によって転送トランジスタ２７をオン状態とすることにより、フォトダイオード２６で発生した電荷がＦＤ２２に転送される。
【0077】
Ｖｄｒ信号によって排出トランジスタ２８をオン状態とすることにより、フォトダイオード２６で発生した電荷が排出される。
【0078】
撮像装置２０は、フォトダイオード２６で発生した電荷のうち、有効とする露光により生じた電荷を、転送トランジスタ２７を介してＦＤ２２へ転送し、無効とする露光により生じた電荷を、排出トランジスタ２８を介して排出する。これにより、断続的に複数回の露光を行う多重露光動作を行うことができる。
【0079】
再び図１に戻って、車両走行制御システム１の説明を続ける。
【0080】
画像処理装置３０は、撮像装置２０によって取得された画像に対して、各種処理を行う。画像処理装置３０の行う第１動体検出処理については、後ほどフローチャートを用いて説明する。
【0081】
図１に示されるように、画像処理装置３０は、画像処理プロセッサ（Image Signal Processor）（以下、「ＩＳＰ」と呼ぶ。）３１と、動き検出部３２とを含んで構成される。
【0082】
ＩＳＰ３１は、主として、補正処理等を行う。
【0083】
動き検出部３２は、主として、ＩＳＰ３１から出力される画像に対して、特徴量の抽出、及び、動き検出、動体検出等といった動体に関する処理、を行う。動き検出部３２は、例えばプロセッサを含み、プロセッサがプログラムを実行することで動体に関する処理が実現される。動き検出部３２は、画像を格納するフレームメモリを含んでもよいし、プログラム、抽出された特徴量等を格納するメモリを含んでもよい。
【0084】
画像送信部６０は、ＩＳＰ３１から出力された画像等のデータを、外部に出力する。外部とは、例えば電子制御ユニット８０である。画像送信部６０から出力される画像は、例えば、未圧縮、未加工の生データであってもよいし、画像圧縮や所定の画像処理が行われた所定のフォーマットのデータであってもよい。
【0085】
制御回路４０は、カメラシステム１０を制御する。また、制御回路４０は、撮像装置２０を制御する。
【0086】
図１に示されるように、制御回路４０は、例えば、出力部４１と、入力部４２と、マイコン４５と、マイコン４５が実行するプログラムを記憶するプログラムメモリ４３と、マイコン４５が利用するワーキングメモリ４４とを含んで構成されてもよい。
【0087】
表示装置７０は、動き検出部３２によって実行された処理の結果を表示する。表示装置７０は、例えば、動き検出部３２によって算出された、被写体の動く方向、速度、加速度のうちの少なくとも１つを表示してもよい。
【0088】
電子制御ユニット８０は、いわゆるＥＣＵ（Engine Control Unit）と呼ばれるユニットである。電子制御ユニット８０は、搭載される車両の、エンジン、制動、加速等を制御する。電子制御ユニット８０は、例えば、動き検出部３２によって算出された、被写体の動く方向、速度、加速度のうちの少なくとも１つをもとに、上記制御を行うとしてもよい。
【0089】
以下、上記構成のカメラシステム１０が行う動作について、図面を参照しながら説明する。
【0090】
［１－２．動作］
［１－２－１．撮像］
以下、撮像装置２０が行う撮像の詳細について説明する。なお、光電変換部が光電変換膜を利用するものである場合と、フォトダイオードである場合とに分けて、図面を参照しながら説明する。
［１－２－１．撮像］
以下、撮像装置２０が行う撮像の詳細について説明する。なお、光電変換部が光電変換膜を利用するものである場合と、フォトダイオードである場合とに分けて、図面を参照しながら説明する。
【0091】
図６は、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。なお、撮像装置２０の画素１０１は、光電変換膜を利用する光電変換部を備える。
【0092】
図６において、ＶＤのグラフは、所定のフレームレート（例えば、６０ｆｐｓ）でパルス状に変化する垂直同期信号ＶＤの変化を示す。
【0093】
撮像装置２０は、ＶＤが立ち上がるタイミングで、各画素１０１から画素信号を読み出すことで、画像を取得する。画素信号は、ＦＤ２２に蓄積された電荷量に対応する。
【0094】
図６において、ＶＩＴＯのグラフは、透明電極１１０Ａに印加されるバイアス電圧ＶＩＴＯの変化を示す。バイアス電圧ＶＩＴＯは、光電変換層１１０Ｃにかかる電圧とみなすこともできる。バイアス電圧ＶＩＴＯは、露光閾値よりも低いローレベルと、露光閾値よりも高いハイレベルとに交互に設定される。
【0095】
図６に示される例では、ＶＩＴＯがハイレベルとなる期間は、第１フレーム期間では１回、第１フレーム期間の後の第２フレーム期間では３回である。これにより、各画素１０１は、第１フレーム期間において、露光状態となる期間が１回あり、第２フレーム期間において、露光状態となる期間が３回ある。つまり、第１フレーム期間においては１回の露光を行った画像が取得され、第２フレーム期間においては複数回の露光を行った画像が取得される。以下、１回の露光のことを通常露光、同じフレーム期間において複数の露光が行われることを多重露光と呼ぶことがある。通常露光を行って取得される画像のことを基準画像、多重露光を行って取得される画像のことを多重露光画像と呼ぶ。例えば、各画素１０１が１回露光状態となる第１フレーム期間においてＦＤ２２に蓄積された電荷量が読み出される画像は、基準画像となり、各画素１０１が複数回露光状態となる第２フレーム期間においてＦＤ２２に蓄積された電荷量が読み出される画像は、多重露光画像となる。例えば、被写体が撮像装置２０に対して相対的に動いている場合、多重露光画像は、被写体の動きの方向に互いにずれて重畳された複数の被写体像を含む画像となる。一方、基準画像は、被写体が撮像装置２０に対して相対的に動いている場合であっても、動いていない場合であっても、単一の被写体像を含む画像となる。言い換えれば、基準画像は、被写体の動きの方向に互いにずれて重畳された複数の被写体像を含む画像とはならない。
【0096】
【0097】
図７Ａ、図７Ｂ共に、自車両の前方を、他の１台の車両２０１と、互いに外観が似ている３台のバイク２１１、バイク２１２、及びバイク２１３とが走行している状況において取得された画像である。車両２０１は、自車両に対して所定の相対速度で移動しており、バイク２１１、２１２、２１３は、自車両に対して相対速度がほぼゼロである。
【0098】
図７Ａに例示されるように、多重露光画像では、他の車両２０１の像はその相対的な動きの方向にずれた複数の像となる。一方で、３台のバイク２１１、２１２、２１３は、多重露光画像においても、それぞれが一つの像となる。このため、これら３台のバイク２１１、２１２、２１３の像が、異なる３台のバイクの像なのか、同一のバイクの多重露光による像なのかを、この多重露光画像から判定することは比較的難しい。
【0099】
これに対して、図７Ｂに例示されるように、基準画像では、同一の被写体に対して複数の被写体像が得られることはない。
【0100】
図８は、撮像装置２０における、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。なお、撮像装置２０は、光電変換部としてフォトダイオードを備える画素１０１を備えている。
【0101】
図８において、ＶＤのグラフは、所定のフレームレート（例えば、６０ｆｐｓ）でパルス状に変化する垂直同期信号ＶＤの変化を示す。
【0102】
撮像装置２０は、ＶＤが立ち上がるタイミングで、各画素１０１から画素信号を読み出すことで、画像を取得する。画素信号は、ＦＤ２２に蓄積された電荷量に対応する。
【0103】
Ｖｔｒｓのグラフは、転送トランジスタ２７を制御するパルス状の信号Ｖｔｒｓの変化を示す。Ｖｔｒｓがハイレベルの期間、転送トランジスタ２７はオン状態となり、Ｖｔｒｓがローレベルの期間、転送トランジスタ２７はオフ状態となる。言い換えると、Ｖｔｒｓがハイレベルの期間には、フォトダイオード２６で発生した電荷がＦＤ２２に転送され、Ｖｔｒｓがローレベルの期間には、フォトダイオード２６で発生した電荷がＦＤ２２に転送されない。
【0104】
Ｖｄｒのグラフは、排出トランジスタ２８を制御するパルス状の信号Ｖｄｒの変化を示す。Ｖｄｒがハイレベルの期間には、排出トランジスタ２８はオン状態となり、Ｖｄｒがローレベルの期間には、排出トランジスタ２８はオフ状態となる。言い換えると、フレーム期間の開始から、Ｖｄｒがハイレベルになる前までの期間、およびＶｔｒｓがローレベルになってからＶｄｒがハイレベルになる前までの期間には、フォトダイオード２６に発生した電荷が排出され、Ｖｄｒがローレベルの期間には、フォトダイオード２６に発生した電荷が排出されない。
【0105】
従って、Ｖｄｒが立ち下がってから、次にＶｔｒｓが立ち下がるまでの期間が、露光期間となる。
【0106】
図８に示される例では、ＶｄｒとＶｔｒｓとがハイレベルとなる期間は、第１フレーム期間では１回、第２フレーム期間では３回である。いずれの期間においても、まずＶｄｒがハイレベルとなり、その後にＶｔｒｓがハイレベルとなる。これにより、各画素１０１は、第１フレーム期間において、露光状態となる期間が１回あり、第２フレーム期間において、露光状態となる期間が３回ある。つまり、第１フレーム期間においては１回の露光を行った画像が取得され、第２フレーム期間においては複数回の露光を行った画像が取得される。各画素１０１が１回だけ露光状態となる第１フレーム期間においてＦＤ２２に蓄積された電荷量が読み出された画像は、基準画像となる。また、各画素１０１が複数回露光状態となる第２フレーム期間においてＦＤ２２に蓄積された電荷量が読み出された画像は、多重露光画像となる。
【0107】
［１－２－２．第１動体検出処理］
カメラシステム１０は、第１動体検出処理を行う。
カメラシステム１０は、第１動体検出処理を行う。
【0108】
以下、この第１動体検出処理について、図面を参照しながら説明する。
【0109】
図９は、第１動体検出処理のフローチャートである。
【0110】
第１動体検出処理は、例えば、カメラシステム１０が、カメラシステム１０を利用するユーザから、カメラシステム１０の動作モードを、動体検出モードに設定する旨の操作を受け付けることで開始される。
【0111】
【0112】
基準画像が取得されると、画像処理装置３０は、その基準画像から、全ての被写体の特徴量を抽出する。そして、その特徴量に基づいて、その被写体が動きベクトルを抽出する対象となる特定種類の被写体であるか否かを判定する（ステップＳ１１０）。以下、動きベクトルを抽出する対象となる特定種類の被写体のことを「特定被写体」と呼ぶ。
【0113】
ここでの特徴量とは、被写体の照合や判別に利用される、形状の定量的な特徴であり、例えば、エッジパターン、輝度パターン、色パターン、アスペクト比である。エッジパターンとは、例えば被写体の頂点の位置、頂点の個数、エッジの勾配方向、エッジの角度である。輝度パターン、色パターンとは、画像中の輝度、色の分布を特徴量として数値化したものである。アスペクト比とは、画像の縦・横比等を特徴量として数値化したものである。なお、他にも、局所領域間の関係に注目した、SIFT（Scale Invariant Feature Transform）特徴量、HOG（Histogram of oriented gradient）特徴量、EOH（Edge of Orientation Histograms）特徴量、Edgelet特徴量などがある。また、これらに限定されない多様な特徴量が抽出され得る。
【0114】
また、ここでの特定被写体は、例えば、自身で動くことができる物体である。特定被写体は、より具体的には、例えば、自動車、バイク、電車、自転車、人、動物である。
【0115】
車両走行制御システム１においては、動きベクトルを抽出する対象を、動力源を持った移動体、自立して移動することが可能な生体に限定することで、その処理量を低減しつつ、車両走行において危険となり得る対象を効果的にモニタできる。動力源を持った移動体は、例えば自動車、バイク、電車、自転車である。自立して移動することが可能な生体は、例えば、人、動物である。図１０に、基準画像から、被写体の特徴量１０００ａ～１０００ｎが抽出される様子を模式的に示す。
【0116】
画像処理装置３０は、抽出された特徴量から、被写体が何であるかを認識する（ステップＳ１２０）。
【0117】
画像処理装置３０は、例えば、特定被写体とその特徴量との関係を定義したテーブルを予め記憶しており、抽出された特徴量と、そのテーブルにおける特徴量との一致度を調べることで、その被写体を認識してもよい。以下、この認識された被写体のことを、「第１対象物」と呼ぶ。そして、画像処理装置３０は、抽出された第１対象物の特徴量を記憶する。
【0118】
被写体が認識されると、撮像装置２０は、多重露光を行って、多重露光画像を取得する（ステップＳ１３０）。
【0119】
なお、ここでは、便宜上、ステップＳ１１０からステップＳ１２０までの処理が終了してからステップＳ１３０の処理を行うとした。しかし、撮像装置２０と画像処理装置３０とは、互いに独立して動作し得るため、ステップＳ１１０からステップＳ１２０までの処理と、ステップＳ１３０の処理とを、同時に実行することも可能である。
【0120】
多重露光画像が取得されると、画像処理装置３０は、記憶された特徴量をもとに、多重露光画像における第１対象物を抽出する（ステップＳ１４０）。例えば、画像処理装置３０は、記憶された特徴量をテンプレートとするテンプレートマッチングを行うことで、第１対象物を抽出してもよい。また、画像処理装置３０は、多重露光画像において、記憶された特徴量に対応する位置を特定してもよい。
【0121】
多重露光画像から第１対象物が抽出されると、画像処理装置３０は、多重露光画像における第１対象物の位置を特定する（ステップＳ１５０）。
【0122】
そして、画像処理装置３０は、特定された、多重露光画像における第１対象物の位置から、第１対象物の運動方向、速度、加速度を算出する（ステップＳ１６０）。
【0123】
以下、運動方向、速度、加速度を算出する方法について説明する。
【0124】
＜運動方向の算出＞
ここでは、多重露光画像から、第１対象物の運動方向を算出する具体的な方法の例について述べる。
ここでは、多重露光画像から、第１対象物の運動方向を算出する具体的な方法の例について述べる。
【0125】
多重露光画像からは、第１対象物の時間毎の位置が特定される。このため、各位置の時間的変化が判別できれば、第１対象物の運動方向を算出できる。また、微小時間であれば、第１対象物は、運動の始点における位置から徐々に遠ざかる。このため、始点となる位置がわかれば、始点に近いほど過去の位置であると推定でき、運動方向を算出できる。１フレーム前の画像が基準画像である場合には、その基準画像における第１対象物の位置を始点とすることで、多重露光画像から第１対象物の運動方向を算出できる。１フレーム前の画像が基準画像でなく多重露光画像である場合には、１フレーム前の多重露光画像における第１対象物の運動の終点の位置を始点とすることで、対象とする多重露光画像から第１対象物の運動方向を算出できる。
【0126】
＜速度の算出＞
ここでは、多重露光画像から、第１対象物の速度を算出する具体的な算出方法の例について述べる。
ここでは、多重露光画像から、第１対象物の速度を算出する具体的な算出方法の例について述べる。
【0127】
図１１は、時間ｔ毎に複数回（ここでは、３回）の露光を行うことで取得された多重露光画像の一例である。この多重露光画像において、第１対象物は自動車である。
【0128】
図１１に示されるように、多重露光画像において、第１対象物の位置の変位量ｄを算出する。実空間における第１対象物の大きさがわかれば、実空間において時間ｔの間に第１対象物が移動した実距離Ｄがわかる。ここで言う時間ｔは、図６、８における露光周期ｔに対応する。実空間における第１対象物の大きさは、例えば、車のナンバープレート等といった、規格で寸法が決まっているものを基準に推定することができる。また、実空間における第１対象物の大きさは、例えば、第１対象物の種類（例えば、自動車、人等）から、おおよその大きさを推定することもできる。そして、実距離Ｄがわかれば、実距離Ｄを時間ｔで除算することで、第１対象物の速度を算出することができる。
【0129】
なお、ここでは、複数回の露光のうち、１回目の露光による第１対象物の位置と、２回目の露光による第１対象物との位置とに基づいて、第１対象物の速度を算出する算出方法を説明した。しかし、任意の２つの露光による第１対象物の位置に基づいて、第１対象物の速度を算出することもできる。さらには、複数回の露光のうち任意に組合せた２回の露光による第１対象物の位置に基づいて速度の算出を行い、算出された速度を平均して第１対象物の速度としてもよい。
【0130】
なお、ここで算出される速度は、撮像装置２０が移動している場合には、撮像装置２０を基準とした第１対象物の相対速度となる。撮像装置２０が静止している場合には、第１対象物の絶対速度となる。
【0131】
＜加速度の算出＞
ここでは、多重露光画像から第２対象物の加速度を算出する、具体的な算出方法の例について述べる。
ここでは、多重露光画像から第２対象物の加速度を算出する、具体的な算出方法の例について述べる。
【0132】
上述したように、多重露光画像において、複数回の露光のうち任意に組合せた２回の露光による第１対象物の位置に基づいて速度の算出を行ってもよい。これにより、互いに異なる期間における第１対象物の速度を算出することができる。そして、互いに異なる期間における速度の差分から、第１対象物の加速度を算出することができる。
【0133】
再び、図９に戻って、第１動体検出処理の説明を続ける。
【0134】
ステップＳ１６０の処理が終了すると、カメラシステム１０は、動体検出モードを終了するか否かを判定する（ステップＳ１７０）。
【0135】
カメラシステム１０は、例えば、カメラシステム１０を利用するユーザから、カメラシステム１０の動作モードを、動体検出モード以外のモードに設定する旨の操作を受け付けていた場合に、動体検出モードを終了すると判定してもよい。また、カメラシステム１０は、例えば、電子制御ユニット８０から、エンジンが停止した旨の信号を受け付けていた場合に、動体検出モードを終了すると判定してもよい。
【0136】
ステップＳ１７０の処理において、動体検出モードを終了しないと判定する場合に（ステップＳ１７０：Ｎｏ）、制御回路４０は、次のフレーム期間に、通常露光を行うか多重露光を行うかを決定する（ステップＳ１８０）。
【0137】
以下、次のフレーム期間に、通常露光を行うか多重露光を行うかを決定する方法について説明する。
【0138】
＜次のフレーム期間の露光方法の決定＞
一度、基準画像から第１対象物の特徴量を抽出すると、その後の多重露光画像における第１対象物の位置の特定において、その特徴量を繰り返し利用することができる。
一度、基準画像から第１対象物の特徴量を抽出すると、その後の多重露光画像における第１対象物の位置の特定において、その特徴量を繰り返し利用することができる。
【0139】
一方で、その後の多重露光画像において第１対象物が消失した場合、及び、第１対象物とは異なる新たな対象物（以下、「第２対象物」と呼ぶ。）が出現した場合には、再度基準画像から、新たな特徴量の抽出を行う必要がある。
【0140】
このため、制御回路４０は、多重露光画像をもとに、次のフレーム期間に、撮像装置２０が、通常露光を行うか多重露光を行うかを決定する。より具体的には、例えば、制御回路４０は、多重露光画像において第１対象物を検出できなかった場合、及び、多重露光画像において第２対象物を検出した場合、次のフレーム期間には通常露光を行うことを決定する。そして、それら以外の場合には、制御回路４０は、次のフレーム期間に多重露光を行うことを決定する。
【0141】
多重露光画像において第１対象物が消失する場合とは、例えば、第１対象物が、撮像装置２０の撮像範囲外に移動した場合、第１対象物の向きや角度が変化して見え方が変化した場合、第１対象物に他の物体が重なり、撮像装置２０側から見て第１対象物が手前の物体の死角となった場合等が考えられる。
【0142】
第１対象物の消失は、例えば、多重露光画像において、検出された第１対象物の数が多重露光撮影における露光回数よりも少ないかどうかで検出することができる。
【0143】
図１２は、多重露光画像の一例である。
【0144】
第２対象物は、図１２に示されるように、撮像装置２０の撮像範囲における上端領域２００ａ、下端領域２００ｂ、左端領域２００ｃ、右端領域２００ｄから撮像範囲に進入すると考えられる。そこで、これらの領域に対応する画素領域において、多重露光の各露光間で非破壊読み出しを行ってもよい。これにより、撮像装置２０の撮像範囲内へ第２対象物が進入したことを検知することができる。この第２対象物の進入を検知するための領域を、以下の説明において「移動体検出領域」とも呼ぶ。
【0145】
図１３は、移動体検出領域に対応する画素１０１から、ＦＤ２２に蓄積された電荷量を非破壊で読み出す動作タイミングを示す。なお、撮像装置２０の画素１０１は、光電変換膜を利用する光電変換部を備える。
【0146】
図１３において、非破壊読み出し信号のグラフは、画素１０１から、ＦＤ２２に蓄積された電荷量の非破壊読み出しを開始させるパルス信号のタイミングを示す。非破壊読み出し信号がローレベルからハイレベルへと立ち上がるタイミングで、ＦＤ２２に蓄積された電荷が非破壊で読み出される。
【0147】
このように、多重露光の各露光の間に非破壊読み出しを行うことで、撮像装置２０の撮像範囲内へ進入してくる対象物の位置の変化を検出でき、多重露光画像において対象物を検出し易くなる。移動体検出領域の大きさは特に限定されないが、処理量と対処物の大きさとの兼ね合いから移動体検出領域の大きさを決定することが望ましい。
【0148】
なお、ここでは多重露光の各露光の間の全てで非破壊読み出しを行う例を図示して説明したが、各露光の間のうちのいずれか一つにおいて１回だけ非破壊読み出しを行ってもよい。
【0149】
なお、撮像装置２０が車両に搭載される場合には、撮像装置２０の撮像範囲の上部は空である。このような場合、移動体検出領域のうちの上端領域２００ｅを、図１４に示されるように撮像範囲の中央寄りに設定してもよい。
【0150】
また、移動体検出領域は、固定された領域ではなく、可変の領域であってもよい。
【0151】
再び、図９に戻って、第１動体検出処理の説明を続ける。
【0152】
ステップＳ１８０の処理において、次のフレーム期間に通常露光を行うと決定された場合、カメラシステム１０は、再びステップＳ１００の処理に進む（ステップＳ１９０：Ｙｅｓ）。その後、ステップＳ１００以降の処理を行う。
【0153】
ステップＳ１８０の処理において、次のフレーム期間に、通常露光を行うと決定されなかった場合、すなわち、次のフレーム期間に、多重露光を行うと決定された場合、カメラシステム１０は、再びステップＳ１３０の処理に進む（ステップＳ１９０：Ｎｏ）。その後、ステップＳ１３０以降の処理を行う。
【0154】
ステップＳ１７０の処理において、動体検出モードを終了すると判定する場合（ステップＳ１７０：Ｙｅｓ）、カメラシステム１０は、その第１動体検出処理を終了する。
【0155】
［１－３．考察］
カメラシステム１０は、多重露光画像において第１対象物の位置の変化を追跡することで、第１対象物の相対的な運動方向を検出することができる。また、第１対象物の実際の大きさと、光学系５０の焦点距離と、多重露光における露光周期とがわかれば、第１対象物の相対速度、相対加速度等を算出することができる。
カメラシステム１０は、多重露光画像において第１対象物の位置の変化を追跡することで、第１対象物の相対的な運動方向を検出することができる。また、第１対象物の実際の大きさと、光学系５０の焦点距離と、多重露光における露光周期とがわかれば、第１対象物の相対速度、相対加速度等を算出することができる。
【0156】
また、上述した通り、カメラシステム１０は、多重露光画像ではない第１画像から、第１対象物の特徴量を抽出する。そして、抽出された特徴量を用いて、多重露光画像から第１対象物を抽出する。これにより、カメラシステム１０は、第１対象物の形状、数等を誤って検出してしまう頻度を低減し得る。
【0157】
従って、カメラシステム１０は、多重露光画像において第１対象物の位置を精度良く特定できる。
【0158】
（実施の形態２）
［２－１．概要］
以下、実施の形態２に係るカメラシステムについて説明する。
［２－１．概要］
以下、実施の形態２に係るカメラシステムについて説明する。
【0159】
実施の形態１では、基準画像を取得した後には多重露光画像を取得することとしていた。
【0160】
これに対して、実施の形態２では、基準画像を取得した後、取得された基準画像に基づいて、次に基準画像を取得するか多重露光画像を取得するかを決定する。
【0161】
［２－２．構成］
実施の形態２に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
実施の形態２に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
【0162】
［２－３．動作］
実施の形態２に係るカメラシステムは、実施の形態１に係る第１動体検出処理に替えて、第２動体検出処理を行う。
実施の形態２に係るカメラシステムは、実施の形態１に係る第１動体検出処理に替えて、第２動体検出処理を行う。
【0163】
以下、この第２動体検出処理について、図面を参照しながら説明する。
【0164】
図１５は、第２動体検出処理のフローチャートである。
【0165】
図１５に示されるように、第２動体検出処理は、ステップＳ１２０の処理をステップＳ２２０の処理に変更した点で、実施の形態１の第１動体検出処理と異なる。
【0166】
ここでは、ステップＳ２２０の処理を中心に説明する。
【0167】
ステップＳ１１０の処理において、基準画像から、特定被写体の特徴量が抽出されると、画像処理装置３０は、抽出された特定被写体の特徴量をもとに、その基準画像に対して、特定被写体が何であるか認識することを試みる（ステップＳ２２０）。
【0168】
ステップＳ２２０の処理において特定被写体を認識できた場合（ステップＳ２２０：Ｙｅｓ）、ステップＳ１３０の処理に進んで多重露光画像を取得する。
【0169】
ステップＳ２２０の処理において特定被写体を認識できなかった場合（ステップＳ２２０：Ｎｏ）、ステップＳ１００の処理に進んで基準画像を取得する。
【0170】
［２－４．考察］
実施の形態２に係るカメラシステムは、ステップＳ２２０の処理において基準画像から特定被写体が認識されるまで、すなわち、車両走行において危険となり得る対象が認識されるまで、基準画像の取得を繰り返す。そして、ステップＳ２２０の処理において基準画像から特定被写体が認識された場合に限って、多重露光画像を取得する。
実施の形態２に係るカメラシステムは、ステップＳ２２０の処理において基準画像から特定被写体が認識されるまで、すなわち、車両走行において危険となり得る対象が認識されるまで、基準画像の取得を繰り返す。そして、ステップＳ２２０の処理において基準画像から特定被写体が認識された場合に限って、多重露光画像を取得する。
【0171】
このように、実施の形態２に係るカメラシステムは、基準画像から走行車両において危険となり得る対象が検出されない場合には、多重露光画像の取得を行わない。
【0172】
このため、実施の形態２に係るカメラシステムは、動体検出処理の処理量を低減しつつ、車両走行において危険となり得る対象を効果的にモニタし得る。
【0173】
（実施の形態３）
［３－１．概要］
以下、実施の形態３に係るカメラシステムについて説明する。
［３－１．概要］
以下、実施の形態３に係るカメラシステムについて説明する。
【0174】
実施の形態１では、多重露光画像が取得される毎に、次のフレーム期間に基準画像を取得するか多重露光画像を取得するかを判定し、判定結果に基づいて次の画像の取得を行った。
【0175】
これに対して実施の形態３では、基準画像を１回取得した後、多重露光画像を所定の回数だけ連続して取得する。また、基準画像の取得と多重露光画像の取得とを交互に繰り返して行う。
【0176】
［３－２．構成］
実施の形態３に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
実施の形態３に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
【0177】
［３－３．動作］
実施の形態３に係るカメラシステムは、実施の形態１に係る第１動体検出処理に替えて、第３動体検出処理を行う。
実施の形態３に係るカメラシステムは、実施の形態１に係る第１動体検出処理に替えて、第３動体検出処理を行う。
【0178】
以下、この第３動体検出処理について、図面を参照しながら説明する。
【0179】
図１６は、第３動体検出処理のフローチャートである。
【0180】
図１６に示されるように、第３動体検出処理は、ステップＳ１００の処理の前にステップＳ３００の処理を追加した点、ステップＳ１８０の処理をステップＳ３８０の処理に変更した点、ステップＳ１９０の処理をステップＳ３９０の処理に変更した点で、実施の形態１の第１動体検出処理と異なる。
【0181】
ここでは、ステップＳ３００の処理と、ステップＳ３８０の処理と、ステップＳ３９０の処理とを中心に説明する。
【0182】
図１６に示されるように、第３動体検出処理が開始されると、制御回路４０は、インテジャ型の変数ｎを初期化する（ステップＳ３００）。ここでは、変数ｎを初期化するとは、変数ｎに０を代入することをいう。
【0183】
変数ｎを初期化すると、ステップＳ１００の処理に進んで、基準画像を取得する。
【0184】
ステップＳ１７０の処理において、動体検出モードを終了しないと判定する場合（ステップＳ１７０：Ｎｏ）、制御回路４０は、変数ｎにｎ＋１を代入する（ステップＳ３８０）。
【0185】
そして、制御回路４０は、変数ｎに代入された新たな値が、予め設定された１以上の整数Ｘと等しいか否かを調べる（ステップＳ３９０）。すなわち、制御回路４０は、多重露光画像の連続取得回数が、予め設定された所定の回数であるＸ回に達しているか否かを調べる。
【0186】
ここで、Ｘの値は、例えば、撮像装置２０が搭載される車両の走行速度に応じて設定してもよい。Ｘの値は、撮像装置２０が搭載される車両が走行する道路の種類に応じて設定されてもよい。Ｘの値は、撮像装置２０が搭載される車両付近の天候に応じて設定されてもよい。道路の種類としては、例えば高速道路、一般道路が挙げられる。天候としては、例えば晴天、雨天が挙げられる。
【0187】
ステップＳ３９０の処理において、変数ｎに代入された新たな値が整数Ｘと等しい場合（ステップＳ３９０：Ｙｅｓ）、ステップＳ１００の処理に進んで、ステップＳ３００以降の処理を繰り返す。すなわち、変数ｎを初期化して（ステップＳ３００）、基準画像を撮像する（ステップＳ１００）。なお、変数ｎに代入された新たな値が整数Ｘと等しい場合とは、多重露光画像の連続取得回数が予め設定された所定の回数であるＸ回に達した場合である。
【0188】
ステップＳ３９０の処理において、変数ｎに代入された新たな値が、整数Ｘと等しくない場合（ステップＳ３９０：Ｎｏ）、ステップＳ１３０の処理に進んで、ステップＳ１３０以降の処理を繰り返す。すなわち、さらに多重露光画像の連続取得を続ける。なお、変数ｎに代入された新たな値が整数Ｘと等しくない場合とは、多重露光画像の連続取得回数が予め設定された所定の回数であるＸ回に達していない場合である。
【0189】
［３－４．考察］
実施の形態１では、多重露光画像を取得する毎に、次のフレーム期間に通常露光を行うか多重露光を行うかを決定していた。
実施の形態１では、多重露光画像を取得する毎に、次のフレーム期間に通常露光を行うか多重露光を行うかを決定していた。
【0190】
これに対して、実施の形態３では、多重露光画像を取得する毎に、次のフレーム期間に通常露光を行うか多重露光を行うかを決定しない。
【0191】
このため、実施の形態３に係るカメラシステムは、動体検出処理の処理量を、実施の形態１に係るカメラシステムよりもさらに低減し得る。
【0192】
また、上述した通り、実施の形態３に係るカメラシステムは、基準画像を１回取得した後、多重露光画像を予め設定された所定の回数だけ連続して取得する。また、実施の形態３に係るカメラシステムは、上記した処理を繰り返し行う。
【0193】
このため、実施の形態３に係るカメラシステムは、基準画像の取得を定期的に行うことができる。
【0194】
例えば、基準画像を取得するか、多重露光画像を取得するかを判定するための機構に不具合があった場合、あるいは、判定に誤りがあった場合を想定する。そのような場合、基準画像を取得すべきであるにも関わらず、多重露光画像が取得されてしまう可能性がある。そのようなことが起こると、基準画像が一定期間の間取得されず、多重露光画像から対象物を適切に抽出し難くなる可能性がある。
【0195】
これに対し実施の形態３に係るカメラシステムによれば、基準画像が一定期間の間取得されないという状況が発生することを抑止できる。
【0196】
（実施の形態４）
［４－１．概要］
以下、実施の形態４に係るカメラシステムについて説明する。
［４－１．概要］
以下、実施の形態４に係るカメラシステムについて説明する。
【0197】
実施の形態１では、通常露光による基準画像から被写体の特徴量を抽出した。
【0198】
実施の形態４では、多重露光のうちの最初のＮ回の露光による画像から特徴量の抽出を行う。ここでＮは、多重露光画像を取得するときの露光回数よりも小さい１以上の整数とする。
【0199】
［４－２．構成］
実施の形態４に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
実施の形態４に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
【0200】
［４－３．動作］
実施の形態４に係るカメラシステムは、実施の形態１に係る第１動体検出処理に替えて、第４動体検出処理を行う。
実施の形態４に係るカメラシステムは、実施の形態１に係る第１動体検出処理に替えて、第４動体検出処理を行う。
【0201】
以下、この第４動体検出処理について、図面を参照しながら説明する。
【0202】
図１７は、第４動体検出処理のフローチャートである。
【0203】
図１７に示されるように、第４動体検出処理は、ステップＳ１００～ステップＳ１２０の処理を削除した点、ステップＳ４００～ステップＳ４６０の処理を追加した点、ステップＳ１８０の処理をステップＳ４８０の処理に変更した点、ステップＳ１９０の処理をステップＳ４９０の処理に変更した点で、実施の形態１の第１動体検出処理と異なる。
【0204】
よって、ステップＳ４００～ステップＳ４６０の処理と、ステップＳ４８０の処理と、ステップＳ４９０の処理とを中心に説明する。
【0205】
図１７に示されるように、第４動体検出処理が開始されると、撮像装置２０は、多重露光による多重露光画像の撮像を開始する（ステップＳ４００）。そして、多重露光のうちＮ回目の露光が終了するタイミングで、各画素１０１から非破壊による画素値の読み出しを行う（ステップＳ４１０、Ｓ４２０）。これによりＮ回の露光による画像を取得する。以下、この画像のことを「非破壊画像」と呼ぶ。ここで、Ｎは１であることが望ましいが、必ずしも１に限定される必要はない。
【0206】
なお、以下の説明において、多重露光におけるＮ回目の露光が終了するタイミングで非破壊画像を取得する動作モードのことを「非破壊読み出しモード」と呼ぶ。また、多重露光の途中で非破壊画像を取得しない動作モードのことを「通常読み出しモード」と呼ぶ。このとき、ステップＳ４００の処理は、非破壊読み出しモードによる多重露光画像の撮像を開始する処理と言える。
【0207】
図１８は、２つのフレーム期間における多重露光の動作タイミングの例を示す。なお、撮像装置２０の画素１０１は、光電変換膜を利用する光電変換部を備える。
【0208】
図１８に示される非破壊読み出し信号のグラフは、非破壊読み出しのタイミングを制御するパルス状の信号の変化を示す。
【0209】
非破壊読み出し信号は、動作モードが非破壊読み出しモードとなるフレーム期間において、Ｎ回目の露光が終了するタイミングで立ち上がる。図１８は、多重露光の回数が３であり、Ｎが１である場合を例示している。
【0210】
撮像装置２０は、非破壊読み出し信号の立ち上がりのタイミングで非破壊画像を取得する。よって、撮像装置２０は、第１フレーム期間において非破壊画像と多重露光画像とを取得する。また、撮像装置２０は、第２フレーム期間において非破壊画像を取得せずに多重露光画像を取得する。
【0211】
再び図１７に戻って、第４動体検出処理の説明を続ける。
【0212】
非破壊画像が取得されると、画像処理装置３０は、その非破壊画像から全ての被写体の特徴量を抽出する（ステップＳ４３０）。そして、特徴量に基づいて被写体が何であるかを認識する（ステップＳ４４０）。多重露光画像の取得が終了すると（ステップＳ４５０）、ステップＳ１３０の処理に進み、ステップＳ１３０以降の処理を行う。
【0213】
ステップＳ１７０の処理において、動体検出モードを終了しないと判定する場合に（ステップＳ１７０：Ｎｏ）、制御回路４０は、次のフレーム期間に非破壊読み出しモードで多重露光画像を取得するか、通常読み出しモードで多重露光画像を取得するかを決定する（ステップＳ４８０）。
【0214】
次のフレーム期間に非破壊読み出しモードで多重露光画像を取得するか、通常読み出しモードで多重露光画像を取得するかを決定する方法は、実施の形態１に係る第１動体検出処理のステップＳ１８０の処理において説明した方法と同じである。具体的には、ステップＳ１８０の処理の説明において、「通常露光を行う」を「非破壊読み出しモードで多重露光画像を取得する」に読み替え、「多重露光を行う」を「通常読み出しモードで多重露光画像を取得する」に読み替えた方法と同じである。よって、その詳細な説明を省略する。
【0215】
ステップＳ４８０の処理において、次のフレーム期間に、非破壊読み出しモードで多重露光画像を取得すると決定された場合（ステップＳ４９０：Ｙｅｓ）、再びステップＳ４００の処理に進みステップＳ４００以降の処理を行う。
【0216】
ステップＳ４８０の処理において、次のフレーム期間に非破壊読み出しモードで多重露光画像を取得すると決定されなかった場合、すなわち、次のフレーム期間に通常読み出しモードで多重露光画像を取得すると決定された場合（ステップＳ４９０：Ｎｏ）、通常読み出しモードで多重露光画像を取得し始める（ステップＳ４６０）。そして、多重露光画像を取得し終わると（ステップＳ４５０）、ステップＳ１３０の処理に進み、ステップＳ１３０以降の処理を行う。
【0217】
［４－４．考察］
実施の形態４に係るカメラシステムは、非破壊読み出しモードで取得された非破壊画像から特徴量を抽出する。
実施の形態４に係るカメラシステムは、非破壊読み出しモードで取得された非破壊画像から特徴量を抽出する。
【0218】
よって、実施の形態４に係るカメラシステムによれば、通常露光を行うフレーム期間を別に設けなくても、多重露光画像において被写体の位置を精度よく特定できる。また、基準画像を取得するためのフレーム期間を設ける必要がないため、多重露光画像を連続的に取得することができる。したがって、連続して動体の検出を行うことができる。
【0219】
（実施の形態５）
［５－１．概要］
以下、実施の形態５に係るカメラシステムについて説明する。
［５－１．概要］
以下、実施の形態５に係るカメラシステムについて説明する。
【0220】
実施の形態１では、多重露光画像を取得するときの各露光時の感度は一定であった。
【0221】
これに対して、実施の形態５では、多重露光画像を取得するときの各露光時の感度を変化させている。
【0222】
［５－２．構成］
実施の形態５に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
実施の形態５に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
【0223】
［５－３．動作］
実施の形態５に係るカメラシステムは、実施の形態１に係る第１動体検出処理に替えて、第５動体検出処理を行う。
実施の形態５に係るカメラシステムは、実施の形態１に係る第１動体検出処理に替えて、第５動体検出処理を行う。
【0224】
以下、この第５動体検出処理について、図面を参照しながら説明する。
【0225】
第５動体検出処理は、多重露光画像を取得するときの各露光時の感度を２種類の互いに異なる感度のいずれかに設定するように変更した点で、実施の形態１の第１動体検出処理と異なる。第５動体検出処理のフローチャートは、実施の形態１に係る第１動体検出処理のフローチャートと同じである。よって、各ステップの説明を省略する。
【0226】
図１９Ａ～図１９Ｃは、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。なお、撮像装置２０の画素１０１は、光電変換膜を利用する光電変換部を備える。図１９Ａ～図１９Ｃにおいて、第１フレーム期間に通常露光が行われ、第２フレーム期間に多重露光が行われている。
【0227】
図１９Ａ～図１９Ｃに示されるように、多重露光を行う第２フレーム期間における透明電極１１０Ａの電圧は、ローレベルである期間を除いて、ハイレベルの電圧Ｖ１と、Ｖ１よりも低くローレベルよりも高い電圧Ｖ２との２種類の電圧のいずれかに設定される。
【0228】
前述したように、光電変換層１１０Ｃに印加されるバイアス電圧が比較的高いとき光電変換効率は高くなり、光電変換層１１０Ｃに印加されるバイアス電圧が比較的低いとき光電変換効率は低くなる。このため、透明電極１１０Ａの電圧がＶ１である期間の感度は、透明電極１１０Ａの電圧がＶ２である期間の感度よりも高くなる。
【0229】
［５－４．考察］
実施の形態５に係るカメラシステムは、多重露光画像において、同一被写体の複数の像のうち特定の露光による像の明度を変化させることができる。
実施の形態５に係るカメラシステムは、多重露光画像において、同一被写体の複数の像のうち特定の露光による像の明度を変化させることができる。
【0230】
例えば、図１９Ａに示されるように、多重露光のうち最後の露光期間だけ透明電極１１０Ａの電圧をＶ１とし、他の露光期間の透明電極１１０Ａの電圧をＶ２としてもよい。これにより、多重露光画像において、同一被写体の複数の像のうち最後の露光による像の明度を他の像の明度よりも高くすることができる。これにより、多重露光画像において、最後の露光による被写体の像を比較的容易に特定し得る。
【0231】
例えば、図１９Ｂに示されるように、多重露光のうち最初の露光期間だけ透明電極１１０Ａの電圧をＶ１とし、他の露光期間の透明電極１１０Ａの電圧をＶ２としてもよい。これにより、多重露光画像において、同一被写体の複数の像のうち最初の露光による像の明度を他の像の明度よりも高くすることができる。これにより、多重露光画像において、最初の露光による被写体の像を比較的容易に特定し得る。
【0232】
例えば、図１９Ｃに示されるように、多重露光のうち最初と最後の露光期間だけ透明電極１１０Ａの電圧をＶ１とし、他の露光期間の透明電極１１０Ａの電圧をＶ２としてもよい。これにより、多重露光画像において、同一被写体の複数の像のうち最初と最後の露光による像の明度を他の像の明度よりも高くすることができる。これにより、多重露光画像において、同一被写体の複数の像のうち最初と最後の露光による被写体の像を比較的容易に特定し得る。
【0233】
上記したいずれの場合においても、実施の形態５に係るカメラシステムは、実施の形態１に係るカメラシステムよりも、被写体の運動方向を容易に算出し得る。
【0234】
（実施の形態６）
［６－１．概要］
以下、実施の形態６に係るカメラシステムについて説明する。
［６－１．概要］
以下、実施の形態６に係るカメラシステムについて説明する。
【0235】
実施の形態５では、多重露光画像を取得するときの各露光時の感度を２種類とした。
【0236】
これに対して、実施の形態６では、多重露光を取得するときの各露光時の感度を３種類以上としている。
【0237】
［６－２．構成］
実施の形態６に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
実施の形態６に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
【0238】
［６－３．動作］
実施の形態６に係るカメラシステムは、実施の形態５に係る第５動体検出処理に替えて、第６動体検出処理を行う。
実施の形態６に係るカメラシステムは、実施の形態５に係る第５動体検出処理に替えて、第６動体検出処理を行う。
【0239】
以下、この第６動体検出処理について、図面を参照しながら説明する。
【0240】
第６動体検出処理は、多重露光画像を取得するときの各露光時の感度を３種類以上の互いに異なる感度のいずれかに設定するように変更した点で実施の形態１と異なる。第６動体検出処理のフローチャートは、実施の形態１の第１動体検出処理のフローチャートと同じである。よって、各ステップの説明を省略する。
【0241】
図２０Ａ、図２０Ｂは、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。なお、撮像装置２０の画素１０１は、光電変換膜を利用する光電変換部を備える。図２０Ａ、図２０Ｂにおいて、第１フレーム期間に通常露光が行われ、第２フレーム期間に多重露光が行われている。
【0242】
図２０Ａ、図２０Ｂに示されるように、多重露光を行う第２フレーム期間における透明電極１１０Ａの電圧は、ローレベルである期間を除いて、ハイレベルの電圧Ｖ１と、Ｖ１よりも低くローレベルよりも高い電圧Ｖ２と、Ｖ２よりも低くローレベルよりも高い電圧Ｖ３との３種類の電圧のいずれかに設定される。透明電極１１０Ａの電圧がＶ１である期間の方が、透明電極１１０Ａの電圧がＶ２である期間よりも感度は高くなる。また、透明電極１１０Ａの電圧がＶ２である期間の方が、透明電極１１０Ａの電圧がＶ３である期間よりも感度は高くなる。
【0243】
実施の形態６では、透明電極１１０Ａの電圧が、ローレベルを除いて、Ｖ１、Ｖ２、およびＶ３の３種類の場合について説明するが、透明電極１１０Ａの電圧は、ローレベルを除いて４種類以上であってもよい。
【0244】
［６－４．考察］
実施の形態６に係るカメラシステムによれば、多重露光画像において、同一被写体の複数の像のそれぞれの明度を変化させることができる。
実施の形態６に係るカメラシステムによれば、多重露光画像において、同一被写体の複数の像のそれぞれの明度を変化させることができる。
【0245】
例えば、図２０Ａに示されるように、多重露光画像を取得するときの各露光時の透明電極１１０Ａの電圧を、後の露光時ほど高くしてもよい。これにより、多重露光画像において、同一被写体の複数の像のうち後に取得された像ほど明度を高くすることができる。これにより、多重露光画像において、同一被写体の像の時系列の順番を比較的容易に特定し得る。従って、多重露光画像を取得するときの各露光時の感度を変化させない場合よりも容易に、被写体の運動方向を算出し得る。
【0246】
例えば、図２０Ｂに示されるように、多重露光画像を取得するときの各露光時の透明電極１１０Ａ電圧を、後の露光時ほど低くしてもよい。これにより、多重露光画像において、同一被写体の複数の像のうち後に取得された像ほど明度を低くすることができる。これにより、多重露光画像において、同一被写体の像の時系列の順番を比較的容易に特定し得る。従って、多重露光画像を取得するときの各露光時の感度を変化させない場合よりも容易に、被写体の動く方向を算出し得る。
【0247】
（実施の形態７）
［７－１．概要］
以下、実施の形態７に係るカメラシステムについて説明する。
［７－１．概要］
以下、実施の形態７に係るカメラシステムについて説明する。
【0248】
実施の形態１では、多重露光画像を取得するとき、露光期間と非露光期間とを交互に設けて複数回の露光を行う例を示した。
【0249】
ここで、非露光期間とは、例えば、撮像装置２０の画素１０１が、光電変換膜を利用する光電変換部を備える場合には、透明電極１１０Ａの電圧ＶＩＴＯがローレベルになる期間（図６参照）が該当する。また、非露光期間は、例えば、撮像装置２０の画素１０１が、光電変換部としてフォトダイオードを備える場合には、Ｖｔｒｓが立ち下がってから、次にＶｄｒが立ち下がるまでの期間（図８参照）が該当する。
【0250】
これに対して、実施の形態７では、多重露光画像を取得するとき、高感度露光と低感度露光とを交互に行う。
【0251】
［７－２．構成］
実施の形態７に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
実施の形態７に係るカメラシステムは、実施の形態１に係るカメラシステム１０と同様の構成であってよい。よって、各構成要素の説明を省略する。
【0252】
［７－３．動作］
実施の形態７に係るカメラシステムは、実施の形態１に係る第１動体検出処理に替えて、第７動体検出処理を行う。
実施の形態７に係るカメラシステムは、実施の形態１に係る第１動体検出処理に替えて、第７動体検出処理を行う。
【0253】
以下、この第７動体検出処理について、図面を参照しながら説明する。
【0254】
第７動体検出処理は、多重露光画像を取得するとき、高感度露光と低感度露光とを交互に連続して行う点で、実施の形態１に係る第１動体検出処理と異なる。第７動体検出処理のフローチャートは、実施の形態１に係る第１動体検出処理と同様のフローチャートとなる。よって、各ステップの説明を省略する。
【0255】
図２１は、２つのフレーム期間における通常露光および多重露光の動作タイミングの例を示す。なお、撮像装置２０の画素１０１は、光電変換膜を利用する光電変換部を備える。図２１において、第１フレーム期間に通常露光が行われ、第２フレーム期間に多重露光が行われている。
【0256】
図２１に示されるように、多重露光を行う第２フレーム期間における透明電極１１０Ａの電圧は、撮像装置２０の感度が所定の感度となるＶ１と、上記所定の電圧よりも低くローレベルよりも高いＶ４とを交互に連続して繰り返す。
【0257】
［７－４．考察］
上記実施の形態７に係るカメラシステムは、第７動体検出処理において、多重露光画像を取得する際に、透明電極１１０Ａの電圧がＶ１となる高感度露光期間と、透明電極１１０Ａの電圧がＶ２となる低感度露光期間とを交互に連続して繰り返す。これにより、取得された多重露光画像には、被写体の運動の軌跡が残る。
上記実施の形態７に係るカメラシステムは、第７動体検出処理において、多重露光画像を取得する際に、透明電極１１０Ａの電圧がＶ１となる高感度露光期間と、透明電極１１０Ａの電圧がＶ２となる低感度露光期間とを交互に連続して繰り返す。これにより、取得された多重露光画像には、被写体の運動の軌跡が残る。
【0258】
【0259】
【0260】
このように、第７動体検出処理によって取得された多重露光画像には、被写体の運動の軌跡が現れる。被写体の像を探索する場合、予測される進行方向およびその周辺を探索する必要がある。本実施の形態においては、被写体の運動の軌跡を辿ることで、高感度露光による同一被写体の複数の像のそれぞれを探索する範囲を絞ることができる。従って、実施の形態７に係るカメラシステムは、多重露光画像において、高感度露光時に取得された同一被写体の複数の像のそれぞれを比較的容易に検出することができる。
【0261】
（補足）
以上のように、本出願において開示する技術の例示として、実施の形態１から実施の形態７について説明した。しかしながら、本開示による技術は、これらに限定されず、本開示の趣旨を逸脱しない限り、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。
以上のように、本出願において開示する技術の例示として、実施の形態１から実施の形態７について説明した。しかしながら、本開示による技術は、これらに限定されず、本開示の趣旨を逸脱しない限り、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。
【0262】
以下に、本開示における変形例の一例について列記する。
【0263】
（１）実施の形態１において、車両走行制御システム１は、図１に図示される各構成要素を含んで構成されると説明した。しかしながら、本開示における車両走行制御システムは、車両走行制御システム１と同様の機能を実現することができれば、必ずしも、図１に図示された構成例に限定される必要はない。
【0264】
図２３は、変形例に係る車両走行制御システム１ａの構成を示すブロック図である。
【0265】
図２３に示されるように、車両走行制御システム１ａは、動き検出部３２が削除されている点、ＩＳＰ３１がＩＳＰ３１ａに変更されている点で、車両走行制御システム１と異なる。これに伴って、画像処理装置３０が画像処理装置３０ａに変更され、カメラシステム１０がカメラシステム１０ａに変更されている。
【0266】
ＩＳＰ３１ａは、ＩＳＰ３１により実現される機能と、動き検出部３２により実現される機能とを実現する。これにより、車両走行制御システム１ａは、車両走行制御システム１と同様の機能を実現することができる。
【0267】
（２）実施の形態３において、多重露光画像の連続取得を続けるか、多重露光画像の連続取得をやめて基準画像の取得を行うかの決定を、多重露光画像の連続取得回数に基づいて行うと説明した。しかしながら、実施の形態３に係るカメラシステムは、上記決定を、他の基準に基づいて行ってもよい。
【0268】
一例として、上記決定を、多重露光画像の連続して取得し続けた時間に基づいて行ってもよい。また、他の一例として、上記決定を、撮像装置２０が搭載される車両の走行距離に基づいて行ってもよい。
【産業上の利用可能性】
【0269】
本開示に係るカメラシステム、及び車両走行制御システムは、画像を取得するシステムに広く利用可能である。
【符号の説明】
【0270】
１ 車両走行制御システム
１０ カメラシステム
２０ 撮像装置
３０ 画像処理装置
４０ 制御回路
５０ 光学系
６０ 画像送信部
７０ 表示装置
８０ 電子制御ユニット
１０ カメラシステム
２０ 撮像装置
３０ 画像処理装置
４０ 制御回路
５０ 光学系
６０ 画像送信部
７０ 表示装置
８０ 電子制御ユニット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19A】
【図19B】
【図19C】
【図20A】
【図20B】
【図21】
【図22A】
【図22B】
【図23】