特許 7537274 車載用カメラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-13

(45)【発行日】2024-08-21

(54)【発明の名称】車載用カメラ

(51)【国際特許分類】

   H04N 23/73 20230101AFI20240814BHJP

   H04N 23/54 20230101ALI20240814BHJP

   H04N 23/60 20230101ALI20240814BHJP

   H04N 23/68 20230101ALI20240814BHJP

   H04N 25/583 20230101ALI20240814BHJP

【ＦＩ】

H04N23/73

H04N23/54

H04N23/60

H04N23/68

H04N25/583

【請求項の数】 8

(21)【出願番号】P 2020213919

(22)【出願日】2020-12-23

(65)【公開番号】P2022099868

(43)【公開日】2022-07-05

【審査請求日】2023-03-09

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(74)【代理人】

【識別番号】100139480

【弁理士】

【氏名又は名称】日野 京子

(74)【代理人】

【識別番号】100125575

【弁理士】

【氏名又は名称】松田 洋

(74)【代理人】

【識別番号】100175134

【弁理士】

【氏名又は名称】北 裕介

(72)【発明者】

【氏名】中村 賢治

【審査官】東松 修太郎

(56)【参考文献】

【文献】特開２００８－０６０８７３（ＪＰ，Ａ）

【文献】特開２００２－０２７４４８（ＪＰ，Ａ）

【文献】特開２００８－１７４０７８（ＪＰ，Ａ）

【文献】特開２０１１－０２３９６２（ＪＰ，Ａ）

【文献】特開２００５－３１８５６８（ＪＰ，Ａ）

【文献】特開２０１７－２２５０８４（ＪＰ，Ａ）

【文献】特開２０１８－０５６６８４（ＪＰ，Ａ）

【文献】特開２００７－１８４８１４（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／００５６５３７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ５／２２２－５／２５７

Ｈ０４Ｎ２３／００

Ｈ０４Ｎ２３／４０－２３／７６

Ｈ０４Ｎ２３／９０－２３／９５９

Ｈ０４Ｎ２５／５８３

(57)【特許請求の範囲】

【請求項1】

自車に搭載されて前記自車の外界を動画で撮像する車載用カメラ（５０）において、
光情報を収集する複数の画素を備えるイメージセンサ（１５）と、
先幕及び後幕のうちの少なくとも先幕が電子式である電子先幕のシャッタであって、各前記画素での前記光情報の収集を電子制御により開始させることにより開くシャッタ（１２，１３）と、
収集された前記光情報に基づいて画像（３５）を生成する画像処理部（３０）と、
前記シャッタが開いているシャッタ時間が、前記イメージセンサの全画素を複数に分割したエリアごとに互いに異なる長さになるように、前記シャッタを制御する露光制御部（２０）と、
を有し、
前記露光制御部は、所定の前記エリアである第１エリア（Ａ１）のシャッタ時間（Ｔ１）に比べて、前記第１エリアよりも前記自車の近傍を撮像する前記エリアである第２エリア（Ａ２）のシャッタ時間（Ｔ２）の方が短くなるように、前記シャッタを制御し、
前記露光制御部は、前記自車の速度を取得する車速取得部（２１）を備え、前記自車の速度が所定速度よりも小さい場合に比べて前記所定速度よりも大きい場合の方が、前記第１エリアのシャッタ時間と前記第２エリアのシャッタ時間との差（Ｔ１－Ｔ２）が大きくなるように、前記シャッタを制御する、車載用カメラ。

【請求項2】

前記露光制御部は、所定の前記エリアである第１エリア（Ａ１）の前記シャッタ時間（Ｔ１）に比べて、前記第１エリアよりもブレが大きくなると認められる前記エリアである第２エリア（Ａ２）の前記シャッタ時間（Ｔ２）の方が短くなるように、前記シャッタを制御する、請求項１に記載の車載用カメラ。

【請求項3】

前記露光制御部は、前記自車の速度を取得する車速取得部（２１）を備え、前記自車の速度が所定速度よりも小さい場合に比べて前記所定速度よりも大きい場合の方が、各前記エリアのシャッタ時間が短くなるように、前記シャッタを制御する、請求項１又は２に記載の車載用カメラ。

【請求項4】

前記露光制御部は、前記自車のヨーレートを取得するヨーレート取得部（２２）を備え、前記ヨーレートが所定ヨーレートよりも小さい場合に比べて前記所定ヨーレートよりも大きい場合の方が、各前記エリアのシャッタ時間が短くなるように、前記シャッタを制御する、請求項１～３のいずれか１項に記載の車載用カメラ。

【請求項5】

前記露光制御部は、被写体の動きであるオプティカルフローを取得するオプティカルフロー取得部（２３）を備え、前記オプティカルフローに基づいて、前記エリアのシャッタ時間を制御する、請求項１～４のいずれか１項に記載の車載用カメラ。

【請求項6】

前記オプティカルフローに基づいて所定の移動体（Ｍ）があると認められる場合には、少なくとも前記移動体があると認められる前記エリアのシャッタ時間が、前記移動体があると認められない場合に比べて短くなるように、前記シャッタを制御する、請求項５に記載の車載用カメラ。

【請求項7】

前記シャッタは、前記先幕及び前記後幕のいずれも電子式である電子シャッタ（１２）であって、前記画素をグループ化したライン（Ｌ１～Ｌｎ）ごとに時間差で、収集された前記光情報の読み込みを開始させることにより当該電子シャッタを閉じるものであり、
前記イメージセンサは、前記エリアとして、前記シャッタ時間が第１シャッタ時間（Ｔ１）である第１エリア（Ａ１）と、前記シャッタ時間が第２シャッタ時間（Ｔ２）である第２エリア（Ａ２）とを有し、
前記露光制御部は、
前記第１エリアに属する各前記画素については、当該画素の属する前記ラインにおいて前記電子シャッタを閉じるタイミング（ｔ３）よりも前記第１シャッタ時間だけ前の、当該ラインにおける第１タイミング（ｔ１）で前記電子シャッタを開き、
前記第２エリアに属する各前記画素については、当該画素の属する前記ラインにおいて前記電子シャッタを閉じるタイミング（ｔ３）よりも前記第２シャッタ時間だけ前の、当該ラインにおける第２タイミング（ｔ２）で前記電子シャッタを開く、
請求項１～６のいずれか１項に記載の車載用カメラ。

【請求項8】

前記シャッタは、前記先幕及び前記後幕のうちの前記先幕のみが電子式の電子先幕シャッタ（１３）であって、前記後幕としての機械式の後幕（１３８）を備えるものであり、
前記イメージセンサは、前記エリアとして、前記シャッタ時間が第１シャッタ時間（Ｔ１）である第１エリア（Ａ１）と、前記シャッタ時間が第２シャッタ時間（Ｔ２）である第２エリア（Ａ２）とを有し、
前記露光制御部は、前記第１エリアに属する各前記画素では、前記後幕を閉じるタイミング（ｔＥ）よりも前記第１シャッタ時間だけ前の第１タイミング（ｔ１）で前記電子先幕シャッタを開き、前記第２エリアに属する各前記画素では、前記後幕を閉じるタイミングよりも前記第２シャッタ時間だけ前の第２タイミング（ｔ２）で前記電子先幕シャッタを開く、
請求項１～６のいずれか１項に記載の車載用カメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両（自車）に搭載されて自車の外界を動画で撮像する車載用のカメラに関する。

【背景技術】

【0002】

車載用のカメラの中には、次に示すイメージセンサとシャッタと画像処理部とを有するものがある。イメージセンサは、シャッタ時間の間にイメージセンサの各画素に照射された光の強さに基づいて光情報を収集する。その収集された光情報に基づいて、画像処理部が画像を生成する。このような技術を示す文献としては、例えば次の特許文献１がある。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４６７９４６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

シャッタ時間を長くすると、光情報を示す電気信号の強さをノイズの強さで割ったＳＮＲ（Signal to Noise Ratio）は大きくなるが、ブレも大きくなってしまう。他方、シャッタ時間を短くするとブレは小さくなるが、ＳＮＲも小さくなってしまう。しかしながら、画像においては、例えば比較的ブレ難い等の理由によりＳＮＲを優先したいエリアと、比較的ブレ易い等の理由によりブレ抑制を優先したいエリアとが存在する。

【0005】

この対応としては、例えば、長シャッタ撮像と短シャッタ撮像との両方を順に行う対応が考えられる。しかし、その場合、長シャッタ撮像１フレームと短シャッタ撮像１フレームとの２フレームが、実質的な１フレームとなるため、実質的なフレームレートが低下してしまう。

【0006】

本発明は、上記事情に鑑みてなされたものであり、実質的なフレームレートを低下させることなくＳＮＲとブレ抑制との両立を図ることを、主たる目的とする。

【課題を解決するための手段】

【0007】

本発明のカメラは、自車に搭載されて前記自車の外界を動画で撮像する車載用カメラであって、イメージセンサとシャッタと画像処理部と露光制御部とを有する。前記イメージセンサは、光情報を収集する複数の画素を備える。前記シャッタは、先幕及び後幕のうちの少なくとも先幕が電子式である電子先幕のシャッタであって、各前記画素での前記光情報の収集を電子制御により開始させることにより当該シャッタを開く。前記画像処理部は、収集された前記光情報に基づいて画像を生成する。前記露光制御部は、前記シャッタが開いているシャッタ時間が、前記イメージセンサの全画素を複数に分割したエリアごとに互いに異なる長さになるように、前記シャッタを制御する。

【0008】

本発明によれば、電子先幕のシャッタを用いて、シャッタ時間がエリアごとに互いに異なる長さになるように制御する。そのため、ＳＮＲを優先したいエリアではシャッタ時間を長くし、ブレ抑制を優先したいエリアではシャッタ時間を短くすることができる。しかも、長シャッタ撮像と短シャッタ撮像との両方を順に行う場合とは違い、２フレームが実質的な１フレームとなることがないため、実質的なフレームレートが低下してしまうといったことがない。そのため、本発明によれば、実質的なフレームレートを低下させることなく、ＳＮＲとブレ抑制との両立を図ることができる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態のカメラを示す概略図

【図2】カメラにより撮像された画像の一例を示す図

【図3】イメージセンサを示す図

【図4】電子シャッタの制御を示すタイムチャート

【図5】第２実施形態のカメラを示す概略図

【図6】電子先幕シャッタの制御を示すタイムチャート

【図7】他の実施形態における各エリア（円形）を示す図

【図8】他の実施形態における各エリア（横長の楕円形）を示す図

【図9】他の実施形態における各エリア（縦長の楕円形）を示す図

【図10】他の実施形態における各エリア（正方形）を示す図

【図11】他の実施形態における各エリア（横長の長方形）を示す図

【図12】他の実施形態における各エリア（縦長の長方形）を示す図

【図13】他の実施形態における各エリア（縦分割）を示す図

【図14】他の実施形態における各エリア（横分割）を示す図

【図15】他の実施形態における各エリア（縦横分割）を示す図

【図16】他の実施形態における各エリア（特殊分割）を示す図

【図17】他の実施形態における各エリア（特殊分割）を示す図

【図18】他の実施形態における各エリア（特殊分割）を示す図

【図19】他の実施形態におけるエリアの位置の変化を示す図

【発明を実施するための形態】

【0010】

次に本発明の実施形態について、図面を参照しつつ説明する。ただし、本発明は以下の実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で適宜変更して実施できる。

【0011】

［第１実施形態］
図１は、本実施形態のカメラ５０を示す概略図である。カメラ５０は、車両（自車）に搭載されて自車の前方を動画で撮像する車載用カメラである。カメラ５０は、例えば、レーンキープ制御、オートクルーズ制御、プリクラッシュセーフティ制御等の運転支援用のカメラであってもよいし、ドライブレコーダ用のカメラであってもよい。カメラ５０は、撮像部１０と露光制御部２０と画像処理部３０とを有する。

【0012】

撮像部１０は、レンズ１１と電子シャッタ１２とイメージセンサ１５とを備える。レンズ１１は光を集めてイメージセンサ１５に照射させる。イメージセンサ１５は、ＣＣＤセンサやＣＭＯＳセンサ等であり、光情報を収集する複数の画素Ｐを有すると共に、画素Ｐごとに、例えばフォトダイオード１５１とキャパシタ１５２とを備える。そして、電子シャッタ１２が開いているシャッタ時間において、各画素Ｐのフォトダイオード１５１に光が照射されると、その照射光の強さに応じた電流により当該画素Ｐのキャパシタ１５２が充電される。

【0013】

電子シャッタ１２は、先幕及び後幕のいずれもが電子式であって、機械式の先幕及び機械式の後幕のいずれも有しない。具体的には、各画素Ｐにおいてキャパシタ１５２への充電を電子制御により開始させる行為が、先幕（電子先幕）を開く行為に該当する。つまり、各画素Ｐでの光情報の収集を電子制御により開始させる行為が、電子シャッタ１２を開く行為に該当する。そして、キャパシタ１５２の電圧情報の読み込みを開始させる行為が、後幕を閉じる行為に該当する。つまり、各画素Ｐで収集された光情報の読み込みを開始させる行為が、電子シャッタ１２を閉じる行為に該当する。その読み込まれた光情報は、画像処理部３０に送信される。

【0014】

画像処理部３０は、その光情報に基づいて画像処理を行い、画像３５を生成する。露光制御部２０は、撮像部１０の絞り（図示略）や電子シャッタ１２を制御することにより、撮像部１０の露光を制御する。

【0015】

図２は、画像処理部３０により生成された画像３５の一例を示す図であり、図３は、図２に示す画像３５を撮像しているときのイメージセンサ１５の様子を示す平面図である。なお、図３では、視認性のため、イメージセンサ１５の各画素Ｐを実際のものよりも極端に大きく図示している。以下では、画素Ｐを横方向にグループ化した各グループを、「ラインＬ１～Ｌｎ」という。ラインＬ１～Ｌｎは、第１ラインＬ１から最終ラインＬｎまである。

【0016】

次に本実施形態で解決すべき課題について説明する。シャッタ時間を長くすると、ＳＮＲは大きくなるが、ブレも大きくなってしまう。他方、シャッタ時間を短くするとブレは小さくなるが、ＳＮＲも小さくなってしまう。しかしながら、画像３５においては、比較的にブレ難い等の理由によりＳＮＲを優先したいエリアと、比較的ブレ易い等の理由によりブレ抑制を優先したいエリアとが存在する。

【0017】

具体的には、図２に示す画像３５の第１エリアａ１は、道路Ｒが自車の進行方向に真っすぐ延びている場合に、その道路Ｒの無限遠部Ｆとなる部分を中央部に含む円形のエリアである。そして、画像３５内における第１エリアａ１の外側のエリアが、画像３５の第２エリアａ２である。そして、図３に示すイメージセンサ１５の第１エリアＡ１は、図２に示す画像３５の第１エリアａ１を撮像するエリアであり、図３に示すイメージセンサ１５の第２エリアＡ２は、図２に示す画像３５の第２エリアａ２を撮像するエリアである。

【0018】

そのため、第１エリアＡ１（ａ１）は、自車の遠方を撮像することからブレが小さくなると認められる、ＳＮＲを優先したいエリアである。他方、第２エリアＡ２（ａ２）は、第１エリアＡ１よりも自車の近傍を撮像することから第１エリアＡ１よりもブレが大きくなると認められる、ブレ抑制を優先したいエリアである。

【0019】

そこで、露光制御部２０は、第１エリアＡ１（ａ１）に対しては、シャッタ時間として「第１シャッタ時間Ｔ１」を設定する。他方、第２エリアＡ２（ａ２）に対しては、シャッタ時間として、第１シャッタ時間Ｔ１よりも短い「第２シャッタ時間Ｔ２」を設定する。その詳細について、以下に説明する。

【0020】

図４は、露光制御部２０による電子シャッタ１２の制御を示すタイムチャートである。電子シャッタ１２は、いわゆるローリングシャッタ等であって、第１ラインＬ１、第２ラインＬ２、第３ラインＬ３・・最終ラインＬｎの順に、キャパシタ１５２の電圧情報の読み取りを開始させる、すなわち電子シャッタ１２を閉じる。その関係上、各ラインＬ１～Ｌｎにおいて電子シャッタ１２を閉じるタイミングｔ３は、読み取り時間Ｔ３ずつずれている。読み取り時間Ｔ３は、各ラインＬ１～Ｌｎにおいてキャパシタ１５２の電圧情報を読み取るのに要する時間である。

【0021】

露光制御部２０は、図４の１番上のタイムチャート（Ｌ１：Ａ１）に示すように、第１ラインＬ１において第１エリアＡ１に属する各画素Ｐについては、第１ラインＬ１における第１タイミングｔ１で電子シャッタ１２を開く。その第１ラインＬ１における第１タイミングｔ１は、第１ラインＬ１において電子シャッタ１２を閉じるタイミングｔ３よりも第１シャッタ時間Ｔ１だけ前のタイミングである。

【0022】

他方、露光制御部２０は、図４の上から２番目のタイムチャート（Ｌ１：Ａ２）に示すように、第１ラインＬ１において第２エリアＡ２に属する各画素Ｐについては、第１ラインＬ１における第２タイミングｔ２で電子シャッタ１２を開く。その第１ラインＬ１における第２タイミングｔ２は、第１ラインＬ１において電子シャッタ１２を閉じるタイミングｔ３よりも第２シャッタ時間Ｔ２だけ前のタイミングである。

【0023】

露光制御部２０は、図４の上から３番目のタイムチャート（Ｌ２：Ａ１）に示すように、第２ラインＬ２において第１エリアＡ１に属する各画素Ｐについては、第２ラインＬ２における第１タイミングｔ１で電子シャッタ１２を開く。その第２ラインＬ２における第１タイミングｔ１は、第２ラインＬ２において電子シャッタ１２を閉じるタイミングｔ３よりも第１シャッタ時間Ｔ１だけ前のタイミングである。

【0024】

他方、露光制御部２０は、図４の上から４番目のタイムチャート（Ｌ２：Ａ２）に示すように、第２ラインＬ２において第２エリアＡ２に属する各画素Ｐについては、第２ラインＬ２における第２タイミングｔ２で電子シャッタ１２を開く。その第２ラインＬ２における第２タイミングｔ２は、第２ラインＬ２において電子シャッタ１２を閉じるタイミングｔ３よりも第２シャッタ時間Ｔ２だけ前のタイミングである。

【0025】

つまり、露光制御部２０は、いずれのラインＬ１～Ｌｎにおいても、第１エリアＡ１に属する各画素Ｐについては、当該画素Ｐの属するラインＬ１～Ｌｎにおいて電子シャッタ１２を閉じるタイミングｔ３よりも第１シャッタ時間Ｔ１だけ前の、当該ラインＬ１～Ｌｎにおける第１タイミングｔ１で電子シャッタ１２を開く。他方、露光制御部２０は、いずれのラインＬ１～Ｌｎにおいても、第２エリアＡ２に属する各画素Ｐについては、当該画素Ｐの属するラインＬ１～Ｌｎにおいて電子シャッタ１２を閉じるタイミングｔ３よりも第２シャッタ時間Ｔ２だけ前の、当該ラインＬ１～Ｌｎにおける第２タイミングｔ２で電子シャッタ１２を開く。

【0026】

以上により、いずれの互いに異なるラインＬ１～Ｌｎにおいても、第１タイミングｔ１どうし、第２タイミングｔ２どうし及び電子シャッタ１２を閉じるタイミングｔ３どうしは、それぞれ互いに異なるものとなる。しかし、いずれのラインＬ１～Ｌｎにおいても、第１エリアＡ１に属する画素Ｐに対しては、同じ第１シャッタ時間Ｔ１を設定すると共に、第２エリアＡ２に属する画素Ｐに対しては、同じ第２シャッタ時間Ｔ２を設定することができる。

【0027】

画像処理部３０は、図１に示す補正部３１を有している。補正部３１は、図２に示す第１エリアａ１に対するゲインよりも、第２エリアａ２に対するゲインの方が大きくなるように制御する。それにより、第１シャッタ時間Ｔ１と第２シャッタ時間Ｔ２との差であるシャッタ時間差（Ｔ１－Ｔ２）により、第１エリアａ１よりも第２エリアａ２の方が暗くなってしまうのを、防止している。具体的には、補正部３１は、シャッタ時間が長いほどゲインを小さくし、シャッタ時間が短いほどゲインを大きくする。それにより、第１エリアａ１及び第２エリアａ２の輝度が、実際の輝度に応じた輝度になるようにして、第１エリアａ１と第２エリアａ２との間に輝度が変わる境界が現れるのを防止している。

【0028】

露光制御部２０は、図１に示す車速取得部２１とヨーレート取得部２２とオプティカルフロー取得部２３とを有する。車速取得部２１は、自車の速度を取得する。ヨーレート取得部２２は、自車のヨーレートを取得する。オプティカルフロー取得部２３は、被写体の動きであるオプティカルフローを取得する。そして、露光制御部２０は、自車の速度と自車のヨーレートとオプティカルフローとに基づいて、各エリアＡ１，Ａ２のシャッタ時間Ｔ１，Ｔ２を設定する。その詳細について以下に説明する。

【0029】

露光制御部２０は、自車の速度が所定速度よりも小さい場合に比べて当該所定速度よりも大きい場合の方が、つまり自車の速度が相対的に小さい場合に比べて相対的に大きい場合の方が、図３に示す各エリアＡ１，Ａ２のシャッタ時間Ｔ１，Ｔ２が短くなるように制御する。より具体的には、例えば露光制御部２０は、自車の速度がより大きいほど、各エリアＡ１，Ａ２のシャッタ時間Ｔ１，Ｔ２がより短くなるように制御する。自車の速度が大きいほど、第１エリアＡ１及び第２エリアＡ２とも風景が速く流れるからである。

【0030】

このとき露光制御部２０は、第１シャッタ時間Ｔ１よりも第２シャッタ時間Ｔ２を大きく変更する。それにより、自車の速度が相対的に小さい場合に比べて相対的に大きい場合の方が、第１シャッタ時間Ｔ１と第２シャッタ時間Ｔ２との差であるシャッタ時間差（Ｔ１－Ｔ２）が大きくなるように制御する。具体的には、例えば露光制御部２０は、自車の速度がより大きいほど、シャッタ時間差（Ｔ１－Ｔ２）がより大きくなるように制御する。自車の速度が大きいほど、第１エリアＡ１（ａ１）で風景が流れる速度と、第２エリアＡ２（ａ２）で風景が流れる速度との差が、より大きくなるからである。

【0031】

また、露光制御部２０は、ヨーレートが所定ヨーレートよりも小さい場合に比べて当該所定ヨーレートよりも大きい場合の方が、つまりヨーレートが相対的に小さい場合に比べて相対的に大きい場合の方が、各エリアＡ１，Ａ２のシャッタ時間Ｔ１，Ｔ２が短くなるように制御する。より具体的には、例えば露光制御部２０は、ヨーレートがより高いほど、各エリアＡ１，Ａ２のシャッタ時間Ｔ１，Ｔ２がより短くなるように制御する。ヨーレートが高いほど、第１エリアＡ１（ａ１）及び第２エリアＡ２（ａ２）とも風景が速く流れるからである。このとき、例えば一律で各エリアＡ１，Ａ２のシャッタ時間Ｔ１，Ｔ２を短くしてもよいし、互いに異なる量ずつ各エリアＡ１，Ａ２のシャッタ時間Ｔ１，Ｔ２を短くしてもよい。

【0032】

また、露光制御部２０は、オプティカルフローに基づいて、例えば図２に示す対向車等の所定の移動体Ｍがあると認められる場合には、少なくともその移動体Ｍを撮像するエリア（図３ではＡ２）のシャッタ時間が、移動体Ｍがあると認められない場合に比べて短くなるように制御する。移動体Ｍの移動により、当該移動体Ｍの撮像がブレ易くなるおそれがあるからである。なお、その所定の移動体Ｍは、例えば、単に道路Ｒに対して移動していると認められる物体としてもよいし、道路Ｒに対して自車との相対速度が大きくなる方向に移動していると認められる物体としてもよい。

【0033】

以上の通り、露光制御部２０は、自車の速度、自車のヨーレート、オプティカルフローに基づいて、総合的に各エリアＡ１，Ａ２のシャッタ時間Ｔ１，Ｔ２を決定する。その総合的にシャッタ時間Ｔ１，Ｔ２を決定する具体的方法について、以下に説明する。

【0034】

露光制御部２０は、例えばエリアＡ１，Ａ２ごとにブレ指数ｂ１，ｂ２を設定する。このとき、第１エリアＡ１のブレ指数である第１ブレ指数ｂ１よりも第２エリアＡ２のブレ指数である第２ブレ指数ｂ２を大きくする。さらに、自車の速度が大きいほど、各エリアＡ１，Ａ２のブレ指数ｂ１，ｂ２を大きくする。その際、自車の速度が大きいほど、第１ブレ指数ｂ１と第２ブレ指数ｂ２との差（ｂ２－ｂ１）を大きくする。さらに、ヨーレートが大きいほど、各エリアＡ１，Ａ２のブレ指数ｂ１，ｂ２を例えば一律に大きくする。さらに、オプティカルフローに基づいて、所定の移動体Ｍがあると認められるエリア（図３ではＡ２）のブレ指数を大きくする。

【0035】

そして、各エリアＡ１，Ａ２の最終的なブレ指数ｂ１，ｂ２に基づいて、当該エリアＡ１，Ａ２のシャッタ時間Ｔ１，Ｔ２を決定する。つまり、各エリアＡ１，Ａ２について、最終的なブレ指数ｂ１，ｂ２が大きいほど、シャッタ時間Ｔ１，Ｔ２を短くする。これにより、自車の速度、自車のヨーレート、オプティカルフローに基づいて、総合的に各エリアＡ１，Ａ２のシャッタ時間Ｔ１，Ｔ２を決定できる。

【0036】

以下に、本実施形態の効果をまとめる。

【0037】

露光制御部２０は、第１シャッタ時間Ｔ１よりも第２シャッタ時間Ｔ２を短くしている。これにより、相対的に自車の遠方を撮像することにより相対的にブレ難い第１エリアＡ１ではＳＮＲを優先し、相対的に自車の近傍を撮像することにより相対的にブレ易い第２エリアＡ２ではブレ抑制を優先することができる。しかもこのとき、長シャッタ撮像と短シャッタ撮像との両方を順に行う場合とは違い、２フレームが実質的な１フレームとなることがないので、実質的なフレームレートが低下してしまうといったことがない。そのため、実質的なフレームレートを低下させることなく、ＳＮＲとブレ抑制との両立を図ることができる。

【0038】

また、露光制御部２０は、自車の速度が相対的に小さい場合に比べて相対的に大きい場合の方が、各エリアＡ１，Ａ２のシャッタ時間Ｔ１，Ｔ２が短くなるように制御する。そのため、風景が速く流れてブレ易い高速時に、各エリアＡ１，Ａ２のシャッタ時間Ｔ１，Ｔ２を短くできる。

【0039】

また、露光制御部２０は、自車の速度が相対的に小さい場合に比べて相対的に大きい場合の方が、第１シャッタ時間Ｔ１と第２シャッタ時間Ｔ２との差であるシャッタ時間差（Ｔ１－Ｔ２）が大きくなるように制御する。そのため、遠方の風景の流れる速度と近傍の風景の流れる速度との差が大きくなる高速時に、シャッタ時間差（Ｔ１－Ｔ２）を大きくできる。

【0040】

また、露光制御部２０は、自車のヨーレートが相対的に小さい場合に比べて相対的に大きい場合の方が、各エリアＡ１，Ａ２のシャッタ時間Ｔ１，Ｔ２が短くなるように制御する。そのため、自車の旋回により風景が速く流れてブレ易い高ヨーレート時に、各エリアＡ１，Ａ２のシャッタ時間Ｔ１，Ｔ２を短くできる。

【0041】

また、露光制御部２０は、オプティカルフローに基づいて、所定の移動体Ｍがあると認められる場合に、当該移動体Ｍを撮像するエリアのシャッタ時間が短くなるように制御する。そのため、当該移動体Ｍの移動によりブレ易くなり得るエリアのシャッタ時間を短くできる。

【0042】

また、本実施形態では、電子シャッタ１２がローリングシャッタ等であることから、画素ＰのラインＬ１～Ｌｎごとに、電子シャッタ１２を閉じるタイミングｔ３が互いにずれている。その点、露光制御部２０は、第１エリアＡ１に属する各画素Ｐについては、当該画素Ｐの属するラインＬ１～Ｌｎにおいて電子シャッタ１２を閉じるタイミングｔ３よりも第１シャッタ時間Ｔ１だけ前の、当該ラインＬ１～Ｌｎにおける第１タイミングｔ１で電子シャッタ１２を開く。他方、第２エリアＡ２に属する各画素Ｐについては、当該画素Ｐの属するラインＬ１～Ｌｎにおいて電子シャッタ１２を閉じるタイミングｔ３よりも第２シャッタ時間Ｔ２だけ前の、当該ラインＬ１～Ｌｎにおける第２タイミングｔ２で電子シャッタ１２を開く。それにより、いずれのラインＬ１～Ｌｎにおいても、第１エリアＡ１に属する画素Ｐに対しては、同じ第１シャッタ時間Ｔ１を設定すると共に、第２エリアＡ２に属する画素Ｐに対しては、同じ第２シャッタ時間Ｔ２を設定することができる。

【0043】

［第２実施形態］
次に第２実施形態について説明する。以下の実施形態では、それ以前の実施形態のものと同一の又は対応する部材等について同一の符号を付する。本実施形態は、第１実施形態をベースに、これと異なる点を中心に説明し、第１実施形態と同一の又は類似する部分については、適宜説明を省略する。

【0044】

図５は、本実施形態のカメラ５０を示す概略図である。本実施形態は、第１実施形態でいう電子シャッタ１２の代わりに、電子先幕シャッタ１３を有する。電子先幕シャッタ１３は、先幕及び後幕のうちの先幕のみが電子式（電子先幕）であって、機械式の後幕１３８を備えている。その機械式の後幕１３８を閉じる行為が、電子先幕シャッタ１３を閉じる行為に該当する。

【0045】

図６は、露光制御部２０による電子先幕シャッタ１３の制御を示すタイムチャートである。なお、図６に示す「ｔ３」は、シャッタを閉じるタイミングではなく、単にキャパシタ１５２の電圧情報の読み込みを開始するタイミングである。

【0046】

露光制御部２０は、図６の１番上のタイムチャート（Ｌ１：Ａ１）に示すように、第１ラインＬ１において第１エリアＡ１に属する各画素Ｐについては、後幕１３８を閉じるタイミングｔＥよりも第１シャッタ時間Ｔ１だけ前の第１タイミングｔ１で電子先幕シャッタ１３を開く。他方、図６の上から２番目のタイムチャート（Ｌ１：Ａ２）に示すように、第１ラインＬ１において第２エリアＡ２に属する各画素Ｐについては、後幕１３８を閉じるタイミングｔＥよりも第２シャッタ時間Ｔ２だけ前の第２タイミングｔ２で電子先幕シャッタ１３を開く。

【0047】

また、露光制御部２０は、図６の上から３番目のタイムチャート（Ｌ２：Ａ１）に示すように、第２ラインＬ２において第１エリアＡ１に属する各画素Ｐについては、後幕１３８を閉じるタイミングｔＥよりも第１シャッタ時間Ｔ１だけ前の第１タイミングｔ１で電子先幕シャッタ１３を開く。また、図６の上から４番目のタイムチャート（Ｌ２：Ａ２）に示すように、第２ラインＬ２において第２エリアＡ２に属する各画素Ｐについては、後幕１３８を閉じるタイミングｔＥよりも第２シャッタ時間Ｔ２だけ前の第２タイミングｔ２で電子先幕シャッタ１３を開く。

【0048】

つまり、露光制御部２０は、いずれのラインＬ１～Ｌｎにおいても、第１エリアＡ１に属する各画素Ｐについては、後幕１３８を閉じるタイミングｔＥよりも第１シャッタ時間Ｔ１だけ前の第１タイミングｔ１で電子先幕シャッタ１３を開く。他方、露光制御部２０は、いずれのラインＬ１～Ｌｎにおいても、第２エリアＡ２に属する各画素Ｐについては、後幕１３８を閉じるタイミングｔＥよりも第２シャッタ時間Ｔ２だけ前の第２タイミングｔ２で電子先幕シャッタ１３を開く。

【0049】

以上により、いずれのラインＬ１～Ｌｎにおいても、第１エリアＡ１に属する画素Ｐに対しては、第１シャッタ時間Ｔ１を設定すると共に、第２エリアＡ２に属する画素Ｐに対しては、第２シャッタ時間Ｔ２を設定することができる。

【0050】

本実施形態によれば、電子先幕シャッタ１３が機械式の後幕１３８を有し、ローリングシャッタではないことから、いわゆるローリングシャッタ現象等が発生してしまうおそれがない。そのような、電子先幕シャッタ１３のカメラ５０において、第１エリアＡ１に属する各画素Ｐに対して第１シャッタ時間Ｔ１を設定すると共に、第２エリアＡ２に属する各画素Ｐに対して第２シャッタ時間Ｔ２を設定することができる。

【0051】

［他の実施形態］
以上に示した実施形態は、例えば次のように変更して実施できる。

【0052】

第１実施形態等では、画像３５を２つに分割したエリアａ１，ａ２ごとに、シャッタ時間を設定している。これに代えて、図９に示すように、画像３５を３つに分割してもよいし、図７，図８に示すように、画像３５を４つに分割してもよいし、画像３５を５つ以上に分割してもよい。

【0053】

これらの場合、例えば図７に示すように、第２エリアａ２よりも外側のエリアを第３エリアａ３とし、第３エリアａ３よりも外側のエリアを第４エリアａ４とすることができる。そして、第２シャッタ時間Ｔ２よりも短い時間を、第３エリアａ３のシャッタ時間とし、第３エリアａ３のシャッタ時間よりも短い時間を、第４エリアａ４のシャッタ時間とすることができる。各エリアａ１～ａ３（最も外側以外）の形状は、例えば図７に示すように円形であってもよいし、図８に示すように横長の楕円形であってもよいし、図９に示すように縦長の楕円形であってもよい。

【0054】

また、各エリアａ１～ａ３（最も外側以外）の形状は、例えば図１０に示すように正方形であってもよいし、図１１に示すように横長の長方形であってもよいし、図１２に示すように縦長の長方形であってもよい。

【0055】

また、第１実施形態等では、道路Ｒにおける無限遠部Ｆとなる部分を含むエリアを第１エリアａ１とし、その外側のエリアを第２エリアａ２としている。これに代えて、図１３に示すように、画像３５の上下中央のエリアを第１エリアａ１とし、それよりも上側及び下側のエリアを第２エリアａ２として、上側の第２エリアａ２よりも上側、及び下側の第２エリアａ２よりも下側の部分を第３エリアａ３としてもよい。

【0056】

また、図１４に示すように、画像３５の左右中央のエリアを第１エリアａ１とし、それよりも左側及び右側のエリアを第２エリアａ２としてもよい。また、図１５に示すように、画像３５の中央のエリアを第１エリアａ１とし、第１エリアａ１の真上及び真下のエリアを第２エリアａ２とし、第１エリアａ１の真横のエリアを第３エリアａ３とし、第１エリアａ１～第３エリアａ３以外のエリアを第４エリアａ４としてもよい。

【0057】

また、図１６に示すように、画像３５の中央のエリアを第１エリアａ１とし、第１エリアａ１の真下のエリアを第２エリアａ２とし、第１エリアａ１及び第２エリアａ２の真横のエリアを第３エリアａ３とし、第１エリアａ１～第３エリアａ３以外のエリアを第４エリアａ４としてもよい。

【0058】

また、図１７に示すように、道路Ｒが自車の進行方向に真っすぐ延びている場合にその道路Ｒ上となるエリアにおける上半分のエリアを第１エリアａ１とし、下半分のエリアを第２エリアａ２としてもよい。そして、第１エリアａ１及び第２エリアａ２の外側のエリアを第３エリアａ３とし、第３エリアａ３の上側のエリアを第４エリアａ４としてもよい。

【0059】

また、図１８に示すように、道路Ｒが自車の進行方向に真っすぐ延びている場合にその道路Ｒ上となるエリアにおける上半分のエリア、及びその上半分のエリアを無限遠部Ｆを軸に上下に反転させたエリアを、第１エリアａ１としてもよい。そして、道路Ｒ上となるエリアにおける下半分のエリア、及びその下半分のエリアを無限遠部Ｆを軸に上下に反転させたエリアを、第３エリアａ３としてもよい。そして、第１エリアａ１に上下から挟み込まれるエリアを第２エリアａ２とし、第２エリアａ２の側方において第３エリアａ３に上下から挟み込まれるエリアを第４エリアａ４とし、第１エリアａ１～第４エリアａ４以外のエリアを第５エリアａ５としてもよい。

【0060】

また、第１実施形態等では、道路Ｒが自車の進行方向に真っすぐ延びている場合にその道路Ｒの無限遠部Ｆを中央部に含むことになるエリアを、第１エリアａ１としている。これに代えて、露光制御部２０は、例えば画像認識により道路Ｒを認識し、その認識した道路Ｒにおける無限遠部Ｆを中央部に含むエリアを、第１エリアａ１とするようにしてもよい。

【0061】

この場合、例えば図１９（ａ）に示すように道路Ｒがまっすぐ延びている場合には、画像３５の中央のエリアが第１エリアａ１になる。他方、図１９（ｂ）に示すように道路Ｒが左に曲がっている場合には、画像３５の左寄りのエリアが第１エリアａ１になる。他方、図１９（ｃ）に示すように道路Ｒが右に曲がっている場合には、画像３５の右寄りのエリアが第１エリアａ１になる。他方、図１９（ｄ）に示すように、現在の勾配よりも前方の勾配の方が上り側に大きい場合、すなわち、例えば平地を走行中において前方が上り坂の場合や、下り坂を走行中において前方が平地の場合等には、画像３５の上寄りのエリアが第１エリアａ１になる。他方、図１９（ｅ）に示すように、現在の勾配よりも前方の勾配の方が下り側に大きい場合、すなわち、例えば平地を走行中において前方が下り坂の場合や、上り坂を走行中において前方が平地の場合等には、画像３５の下寄りのエリアが第１エリアａ１になる。

【0062】

第１実施形態等では、露光制御部２０は、図１等に示すように、車速取得部２１とヨーレート取得部２２とオプティカルフロー取得部２３とを備え、自車の速度とヨーレートとオプティカルフローとに基づいて、各エリアＡ１，Ａ２のシャッタ時間Ｔ１，Ｔ２を変更している。これに代えて、車速取得部２１とヨーレート取得部２２とオプティカルフロー取得部２３とのうちの一部又は全部を省略して、それによるシャッタ時間の変更を省略してもよい。

【0063】

第１実施形態等では、露光制御部２０は、ブレを基準に、各エリアのシャッタ時間を決めている。これに代えて、例えばＳＮＲを基準に、各エリアのシャッタ時間を決めてもよい。具体的には、例えば、相対的にＳＮＲの要求が小さいエリアのシャッタ時間に比べて、相対的にＳＮＲの要求が大きいエリアのシャッタ時間を長くしてもよい。

【0064】

第１実施形態等では、カメラ５０は、自車の前方を撮像するが、自車の後方やそれ以外の方向を撮像するものであってもよい。

【符号の説明】

【0065】

１２…電子シャッタ、１３…電子先幕シャッタ、１５…イメージセンサ、２０…露光制御部、３０…画像処理部、３５…画像、５０…カメラ、Ａ１…第１エリア、Ａ２…第２エリア、Ｐ…画素、Ｔ１…第１シャッタ時間、Ｔ２…第２シャッタ時間。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】