(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024144469
(43)【公開日】2024-10-11
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 23/54 20230101AFI20241003BHJP
G03B 15/00 20210101ALI20241003BHJP
G02B 7/28 20210101ALI20241003BHJP
【ＦＩ】
H04N23/54
G03B15/00 V
G03B15/00 Q
G02B7/28 N
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
(21)【出願番号】P 2024116931
(22)【出願日】2024-07-22
(62)【分割の表示】P 2022108519の分割
【原出願日】2014-05-29
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】志賀 朗子
(72)【発明者】
【氏名】宮越 徹
(72)【発明者】
【氏名】山口 悟史
(72)【発明者】
【氏名】木下 朗
(72)【発明者】
【氏名】吉野 薫
(57)【要約】
【課題】撮像装置の撮像条件を適切に設定すること。
【解決手段】撮像装置は、車に搭載され、車の外部を撮像する撮像部と、車のステアリングホイールの位置に基づいて撮像部の撮像条件を制御する撮像制御部とを有する。
【選択図】図９
【解決手段】撮像装置は、車に搭載され、車の外部を撮像する撮像部と、車のステアリングホイールの位置に基づいて撮像部の撮像条件を制御する撮像制御部とを有する。
【選択図】図９
【特許請求の範囲】
【請求項1】
車に搭載される撮像装置であって、
被写体を撮像する撮像領域を複数有し、前記撮像領域ごとに撮像条件が設定可能な撮像部と、
周囲の物体との距離に関連する入力部と、
前記撮像部を制御する撮像制御部と、を備え、
前記撮像制御部は、周囲の物体との距離に関連する情報が変化すると、前記撮像部の前記複数の撮像領域のうちの一部の撮像領域の撮像条件を変更する撮像装置。
被写体を撮像する撮像領域を複数有し、前記撮像領域ごとに撮像条件が設定可能な撮像部と、
周囲の物体との距離に関連する入力部と、
前記撮像部を制御する撮像制御部と、を備え、
前記撮像制御部は、周囲の物体との距離に関連する情報が変化すると、前記撮像部の前記複数の撮像領域のうちの一部の撮像領域の撮像条件を変更する撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
車両に搭載したカメラで取得した画像に基づいて車両の走行環境を検出し、検出した走行環境データに基づいて、先行車への追従走行などの自動走行制御や、警報、制動、操舵支援等の運転支援を行う技術が開発されている（特許文献１参照）。
従来技術では、車載カメラにＣＣＤ等の固体撮像素子が用いられている。道路などの画像を取得し続ける車載カメラは自動走行制御や運転支援などにおいて重要な役割を果たすところ、車両への搭載を前提にするカメラの提案は多くなく、カメラの使い勝手が十分とはいえなかった。
従来技術では、車載カメラにＣＣＤ等の固体撮像素子が用いられている。道路などの画像を取得し続ける車載カメラは自動走行制御や運転支援などにおいて重要な役割を果たすところ、車両への搭載を前提にするカメラの提案は多くなく、カメラの使い勝手が十分とはいえなかった。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１０－７９４２４号公報
【発明の概要】
【0004】
本発明による撮像装置は、車に搭載される撮像装置であって、被写体を撮像する撮像領域を複数有し、前記撮像領域ごとに撮像条件が設定可能な撮像部と、周囲の物体との距離に関連する入力部と、前記撮像部を制御する撮像制御部と、を備え、前記撮像制御部は、周囲の物体との距離に関連する情報が変化すると、前記撮像部の前記複数の撮像領域のうちの一部の撮像領域の撮像条件を変更する。
【図面の簡単な説明】
【0005】
【図1】車両の運転支援装置の概略構成図である。
【図2】制御装置の構成を例示するブロック図である。
【図3】積層型撮像素子の断面図である。
【図4】撮像チップの画素配列と単位領域を説明する図である。
【図5】単位領域の回路を説明する図である。
【図6】撮像素子の機能的構成を示すブロック図である。
【図7】撮像素子の撮像面における焦点検出用画素の位置を例示する図である。
【図8】焦点検出画素ラインの一部を含む領域を拡大した図である。
【図9】撮像素子を有するカメラの構成を例示するブロック図である。
【図10】撮像チップの撮像面と、撮像領域および注目領域と、休止領域とを例示する図である。
【図11】制御部が実行するカメラの制御処理の流れを説明するフローチャートである。
【図12】初期設定処理の詳細を説明するフローチャートである。
【図13】初期設定値のテーブルを例示する図である。
【図14】撮像チップの撮像面と、撮像領域および注目領域と、休止領域とを例示する図である。
【図15】撮像チップの撮像面と、撮像領域および注目領域と、休止領域とを例示する図である。
【図16】撮像チップの撮像面と、撮像領域および注目領域と、休止領域とを例示する図である。
【図17】走行アシスト設定処理の詳細を説明するフローチャートである。
【図18】フラグＥｍを説明する図である。
【図19】距離Ｚを説明する図である。
【図20】図２０(a)は一般道路の交差点を右折する場合の注目領域の位置の移動およびサイズの変化を例示する図である。図２０(b)は高速道路において加速しながら車線変更する場合の注目領域の位置の移動およびサイズの変化を例示する図である。
【図21】ターンシグナル方向と注目領域のサイズ変更を説明する図である。
【図22】変形例１によるターンシグナルスイッチの操作時の処理を説明するフローチャートである。
【発明を実施するための形態】
【0006】
以下、図面を参照して本発明を実施するための形態について説明する。
＜カメラの使用場面＞
図１は、本発明の一実施の形態によるカメラ３を搭載した車両１の運転支援装置２の概略構成図である。図１において、自動車等の車両１に運転支援装置２が搭載されている。運転支援装置２は、カメラ３と、制御装置４と、第１の走行制御ユニット５と、第２の走行制御ユニット６等により構成される。なお、本説明では内燃機関を駆動源とする例を説明するが、モータを駆動源とするものでもよい。
＜カメラの使用場面＞
図１は、本発明の一実施の形態によるカメラ３を搭載した車両１の運転支援装置２の概略構成図である。図１において、自動車等の車両１に運転支援装置２が搭載されている。運転支援装置２は、カメラ３と、制御装置４と、第１の走行制御ユニット５と、第２の走行制御ユニット６等により構成される。なお、本説明では内燃機関を駆動源とする例を説明するが、モータを駆動源とするものでもよい。
【0007】
カメラ３は、複数のレンズを有する撮像光学系、撮像素子（本実施形態では積層型撮像素子（図３参照））を備え、例えば車室内の天井前方に取り付けられている。カメラ３は車両１の前方に向けられ、その取り付け高さ（地面からカメラ３までの距離）は、例えば１．４(ｍ)に調整されている。カメラ３は、車両１の進行方向の画像を取得し、取得した画像に基づいて撮影画面内の複数の位置における各被写体（対象物）までの距離測定（測距）を行う。距離測定は、積層型撮像素子に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する。焦点検出用画素および測距については後述する。カメラ３により取得された画像のデータおよび測距データは、制御装置４へ送出される。なお、カメラ３を車外に設けてもよく、車内・車外のカメラ３を協働してもよく、カメラ３の数も適宜設定すればよい。一例を挙げると、後述する白線検出は車外のカメラ３を用い、対象物や障害物の認識は、車内・車外のカメラ３を協働させるようにしてもよい。
【0008】
制御装置４は、図２に例示するように、ＣＰＵ４ａおよび記憶部４ｂを含む。ＣＰＵ４ａは、記憶部４ｂに記憶されている各種プログラムに基づいて、記憶部４ｂに記憶されている制御パラメータや後述する各センサによる検出信号などを用いて各種演算を行う。
【0009】
第１の走行制御ユニット５は、制御装置４からの指示に基づいて、定速走行制御および追従走行制御を行う。定速走行制御は、所定の制御プログラムに基づいて、車両１を一定速度で走行させる制御である。追従走行制御は、定速走行制御を行っている際に、制御装置４にて認識された先行車の速度が車両１に設定されている目標速度以下の場合には、先行車に対して一定の車間距離を保持した状態で走行させる制御である。
【0010】
第２の走行制御ユニット６は、制御装置４からの指示に基づいて、運転支援制御を行う。運転支援制御は、所定の制御プログラムに基づいて、車両１が道路に沿って走行するように操舵制御装置９にステアリング制御信号を出力したり、車両１が対象物と衝突するのを回避するようにブレーキ制御装置８にブレーキ制御信号を出力したりする制御である。
【0011】
図１にはさらに、スロットル制御装置７と、ブレーキ制御装置８と、操舵制御装置９と、ステアリングホイール１０と、ターンシグナルスイッチ１１と、車速センサ１２と、ヨーレートセンサ１３と、表示装置１４と、ＧＰＳ装置１５と、シフトレバー位置検出装置１６と、マイク１７とが図示されている。
【0012】
スロットル制御装置７は、アクセルペダル７ａの踏み込み量に応じて不図示のスロットルバルブの開度を制御する。また、スロットル制御装置７は、第１の走行制御ユニット５から送出されるスロットル制御信号に応じて上記スロットルバルブに対する開度の制御も行う。スロットル制御装置７はさらに、アクセルペダル７ａの踏み込み量を示す信号を制御装置４へ送出する。
【0013】
ブレーキ制御装置８は、ブレーキペダル８ａの踏み込み量に応じて不図示のブレーキバルブの開度を制御する。また、ブレーキ制御装置８は、第２の走行制御ユニット６からのブレーキ制御信号に応じて上記ブレーキバルブに対する開度の制御も行う。ブレーキ制御装置８はさらに、ブレーキペダル８ａの踏み込み量を示す信号を制御装置４へ送出する。
【0014】
操舵制御装置９は、ステアリングホイール１０の回転角に応じて不図示のステアリング装置の舵角を制御する。また、操舵制御装置９は、第２の走行制御ユニット６からのステアリング制御信号に応じて上記ステアリング装置の舵角の制御も行う。操舵制御装置９はさらに、ステアリングホイール１０の回転角を示す信号を第１の走行制御ユニット５と、制御装置４と、にそれぞれ送出する。
【0015】
ターンシグナルスイッチ１１は、不図示のターンシグナル（ウィンカー）装置を作動させるためのスイッチである。ターンシグナル装置は、車両１の進路変更を示す点滅発光装置である。車両１の乗員によってターンシグナルスイッチ１１が操作されると、ターンシグナルスイッチ１１からの操作信号がターンシグナル装置、第２の走行制御ユニット６および制御装置４にそれぞれ送出される。車速センサ１２は車両１の車速Ｖを検出し、検出信号を第１の走行制御ユニット５と、第２の走行制御ユニット６と、制御装置４とにそれぞれ送出する。
【0016】
ヨーレートセンサ１３は車両１のヨーレートを検出し、検出信号を第２の走行制御ユニット６と、制御装置４とにそれぞれ送出する。ヨーレートは、車両１の旋回方向への回転角の変化速度である。表示装置１４は、第１の走行制御ユニット５、および第２の走行制御ユニット６による制御状態を示す情報などを表示する。表示装置１４は、例えばフロントガラスに情報を投映するＨＵＤ(Head Up Display)によって構成される。なお、表示装置１４として、不図示のナビゲーション装置の表示部を利用するようにしてもよい。
【0017】
ＧＰＳ装置１５は、ＧＰＳ衛星からの電波を受信し、電波にのせられている情報を用いて所定の演算を行うことにより、車両１の位置（緯度、経度など）を算出する。ＧＰＳ装置１５で算出した位置情報は、不図示のナビゲーション装置や制御装置４へ送出される。シフトレバー位置検出装置１６は、車両１の乗員によって操作された不図示のシフトレバーの位置（例えば、パーキング（Ｐ）、リバース（Ｒ）、ドライブ（Ｄ）など）を検出する。シフトレバー位置検出装置１６で検出したシフトレバーの位置情報は、制御装置４へ送出される。
【0018】
マイク１７は、例えば前方マイクと、右側方マイクと、左側方マイクとによって構成される。前方マイクは、専ら車両１の前方の音を集音する指向性を有する。右側方マイクは、専ら車両１の右側方の音を集音する指向性を有する。左側方マイクは、専ら車両１の左側方の音を集音する指向性を有する。マイク１７で集音された各音情報（前方、右側方、左側方）は、それぞれ制御装置４へ送出される。
【0019】
＜対象物の検出＞
制御装置４は、車両１の走行路および対象物を検出するために、カメラ３からの画像に対し、以下のように画像処理を行う。先ず、制御装置４は、撮影画面内の複数の位置における測距データに基づいて距離画像（奥行き分布画像）を生成する。制御装置４は、距離画像のデータに基づいて、周知のグルーピング処理を行い、あらかじめ記憶部４ｂに記憶しておいた３次元的な道路形状データ、側壁データ、対象物データ等の枠（ウインドウ）と比較し、白線データ（道路に沿った白線データおよび道路を横断する白線（停止線：交差点情報）データを含む）、道路に沿って存在するガードレール、縁石等の側壁データを抽出するとともに、対象物・障害物を、２輪車、普通車両、大型車両、歩行者、電柱等その他の対象物に分類して抽出する。
本説明では、走行路に引かれた白色または黄色のラインを白線と呼ぶ。また、実線および破線を含めて白線と呼ぶ。
制御装置４は、車両１の走行路および対象物を検出するために、カメラ３からの画像に対し、以下のように画像処理を行う。先ず、制御装置４は、撮影画面内の複数の位置における測距データに基づいて距離画像（奥行き分布画像）を生成する。制御装置４は、距離画像のデータに基づいて、周知のグルーピング処理を行い、あらかじめ記憶部４ｂに記憶しておいた３次元的な道路形状データ、側壁データ、対象物データ等の枠（ウインドウ）と比較し、白線データ（道路に沿った白線データおよび道路を横断する白線（停止線：交差点情報）データを含む）、道路に沿って存在するガードレール、縁石等の側壁データを抽出するとともに、対象物・障害物を、２輪車、普通車両、大型車両、歩行者、電柱等その他の対象物に分類して抽出する。
本説明では、走行路に引かれた白色または黄色のラインを白線と呼ぶ。また、実線および破線を含めて白線と呼ぶ。
【0020】
＜運転支援＞
制御装置４は、上記のように抽出した各情報、すなわち、白線データ、ガードレール側壁データ、および対象物データの各データに基づいて走行路や障害となる対象物・障害物を認識し、認識結果をもとに第２の走行制御ユニット６に上記運転支援制御を行わせる。すなわち、車両１を道路に沿って走行させ、車両１が対象物と衝突するのを回避させる。
制御装置４は、上記のように抽出した各情報、すなわち、白線データ、ガードレール側壁データ、および対象物データの各データに基づいて走行路や障害となる対象物・障害物を認識し、認識結果をもとに第２の走行制御ユニット６に上記運転支援制御を行わせる。すなわち、車両１を道路に沿って走行させ、車両１が対象物と衝突するのを回避させる。
【0021】
＜走行制御＞
制御装置４は、例えば、以下の４ 通りにより自車進行路の推定を行う。
（１）白線に基づく自車進行路推定
カメラ３で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の白線データが得られており、これら白線データから車両１が走行している車線の形状が推定できる場合、制御装置４は、車両１の幅や、車両１の現在の車線内の位置を考慮して、自車進行路が白線と並行であると推定する。
制御装置４は、例えば、以下の４ 通りにより自車進行路の推定を行う。
（１）白線に基づく自車進行路推定
カメラ３で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の白線データが得られており、これら白線データから車両１が走行している車線の形状が推定できる場合、制御装置４は、車両１の幅や、車両１の現在の車線内の位置を考慮して、自車進行路が白線と並行であると推定する。
【0022】
（２）ガードレール、縁石等の側壁データに基づく自車進行路推定
カメラ３で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の側壁データが得られており、これら側壁データから車両１が走行している車線の形状が推定できる場合、制御装置４は、車両１の幅や、車両１の現在の車線内の位置を考慮して、自車進行路が側壁と並行であると推定する。
カメラ３で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の側壁データが得られており、これら側壁データから車両１が走行している車線の形状が推定できる場合、制御装置４は、車両１の幅や、車両１の現在の車線内の位置を考慮して、自車進行路が側壁と並行であると推定する。
【0023】
（３）先行車軌跡に基づく自車進行路推定
制御装置４は、記憶部４ｂに記憶しておいた先行車の過去の走行軌跡に基づいて、自車進行路を推定する。先行車は、車両１と同じ方向に走行する対象物のうち、車両１に最も近い車両をいう。
制御装置４は、記憶部４ｂに記憶しておいた先行車の過去の走行軌跡に基づいて、自車進行路を推定する。先行車は、車両１と同じ方向に走行する対象物のうち、車両１に最も近い車両をいう。
【0024】
（４）車両１の走行軌跡に基づく自車走行路推定
制御装置４は、車両１の運転状態に基づいて、自車進行路を推定する。例えば、ヨーレートセンサ１３による検出信号と、車速センサ１２による検出信号と、に基づく旋回曲率を用いて自車進行路を推定する。旋回曲率Ｃuaは、Ｃua ＝ｄψ／ｄｔ／Ｖ により算出する。ｄψ／ｄｔは上記ヨーレート（旋回方向への回転角の変化速度）であり、Ｖは車両１の車速である。
制御装置４は、車両１の運転状態に基づいて、自車進行路を推定する。例えば、ヨーレートセンサ１３による検出信号と、車速センサ１２による検出信号と、に基づく旋回曲率を用いて自車進行路を推定する。旋回曲率Ｃuaは、Ｃua ＝ｄψ／ｄｔ／Ｖ により算出する。ｄψ／ｄｔは上記ヨーレート（旋回方向への回転角の変化速度）であり、Ｖは車両１の車速である。
【0025】
制御装置４は、記憶部４ｂに記憶されている所定の走行制御プログラムにしたがって、上記対象物ごとに、対象物が存在する位置における車両１の走行領域を自車進行路に基づき推定し、この走行領域と対象物位置とを比較して、それぞれの対象物が走行領域内にあるか否か判定する。制御装置４はさらに、カメラ３の撮像結果に基づき上記先行車を認識する。すなわち、制御装置４は、走行領域内に存在して順方向（車両１と同じ方向）に走行する対象物の中から、車両１に最も近い車両を先行車とする。
【0026】
制御装置４は、先行車と車両１との車間距離情報、および先行車の車速情報を、車外情報として第１の走行制御ユニット５へ出力する。ここで、先行車の車速情報は、所定時間ごとに取得した車両１の車速Ｖと、車速Ｖの取得タイミングに同期して上記所定時間ごとにカメラ３で取得された画像に基づいて測距した撮影画面内の先行車までの距離（車間距離）の変化と、に基づいて算出する。
【0027】
第１の走行制御ユニット５は、車速センサ１２で検出される車速Ｖが、あらかじめセットされている所定の車速（目標速度）に収束するようにスロットル制御装置７へスロットル制御信号を送出する。これにより、スロットル制御装置７が不図示のスロットルバルブの開度をフィードバック制御し、車両１を自動で定速走行させる。
【0028】
また、第１の走行制御ユニット５は、定速状態の走行制御を行っている際に制御装置４から入力された先行車の車速情報が車両１に設定されている目標速度以下の場合には、制御装置４から入力された車間距離情報に基づいてスロットル制御装置７へスロットル制御信号を送出する。具体的には、車両１から先行車までの車間距離および先行車の車速と、車両１の車速Ｖと、に基づいて適切な車間距離の目標値を設定し、カメラ３で取得された画像に基づいて測距される車間距離が、上記車間距離の目標値に収束するようにスロットル制御装置７へスロットル制御信号を送出する。これにより、スロットル制御装置７が不図示のスロットルバルブの開度をフィードバック制御し、車両１を先行車に追従走行させる。
【0029】
＜積層型撮像素子の説明＞
上述したカメラ３に備わる積層型撮像素子１００について説明する。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２－１３９０２６号に記載されているものである。図３は、積層型撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。
上述したカメラ３に備わる積層型撮像素子１００について説明する。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２－１３９０２６号に記載されているものである。図３は、積層型撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。
【0030】
なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面（撮像面）と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図３の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【0031】
撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。
【0032】
ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。
【0033】
カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。
【0034】
配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
【0035】
配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
【0036】
同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
【0037】
なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。
【0038】
信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。
【0039】
図４は、撮像チップ１１３の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１３を裏面（撮像面）側から観察した様子を示す。画素領域には例えば２０００万個以上もの画素がマトリックス状に配列されている。図４の例では、隣接する４画素×４画素の１６画素が一つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。
【0040】
画素領域の部分拡大図に示すように、図４の単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
【0041】
本実施形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義され、各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数（語長）等である。撮像素子１００は、行方向（撮像チップ１１３のＸ軸方向）の間引きのみでなく、列方向（撮像チップ１１３のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
【0042】
図５は、単位領域１３１における回路を説明する図である。図５の例では、隣接する３画素×３画素の９画素により一つの単位領域１３１を形成する。なお、上述したように単位領域１３１に含まれる画素の数はこれに限られず、これ以下でもこれ以上でもよい。単位領域１３１の二次元的な位置を符号Ａ～Ｉにより示す。
【0043】
単位領域１３１に含まれる画素のリセットトランジスタは、画素ごとに個別にオンオフ可能に構成される。図５において、画素Ａのリセットトランジスタをオンオフするリセット配線３００が設けられており、画素Ｂのリセットトランジスタをオンオフするリセット配線３１０が、上記リセット配線３００とは別個に設けられている。同様に、画素Ｃのリセットトランジスタをオンオフするリセット配線３２０が、上記リセット配線３００、３１０とは別個に設けられている。他の画素Ｄから画素Ｉに対しても、それぞれのリセットトランジスタをオンオフするための専用のリセット配線が設けられている。
【0044】
単位領域１３１に含まれる画素の転送トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図５において、画素Ａの転送トランジスタをオンオフする転送配線３０２、画素Ｂの転送トランジスタをオンオフする転送配線３１２、画素Ｃの転送トランジスタをオンオフする転送配線３２２が、別個に設けられている。他の画素Ｄから画素Ｉに対しても、それぞれの転送トランジスタをオンオフするための専用の転送配線が設けられている。
【0045】
さらに、単位領域１３１に含まれる画素の選択トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図５において、画素Ａの選択トランジスタをオンオフする選択配線３０６、画素Ｂの選択トランジスタをオンオフする選択配線３１６、画素Ｃの選択トランジスタをオンオフする選択配線３２６が、別個に設けられている。他の画素Ｄから画素Ｉに対しても、それぞれの選択トランジスタをオンオフするための専用の選択配線が設けられている。
【0046】
なお、電源配線３０４は、単位領域１３１に含まれる画素Ａから画素Ｉで共通に接続されている。同様に、出力配線３０８は、単位領域１３１に含まれる画素Ａから画素Ｉで共通に接続されている。また、電源配線３０４は複数の単位領域間で共通に接続されるが、出力配線３０８は単位領域１３１ごとに個別に設けられる。負荷電流源３０９は、出力配線３０８へ電流を供給する。負荷電流源３０９は、撮像チップ１１３側に設けられてもよいし、信号処理チップ１１１側に設けられてもよい。
【0047】
単位領域１３１のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域１３１に含まれる画素Ａから画素Ｉに対して独立して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域１３１の選択トランジスタを個別にオンオフすることにより、各画素Ａから画素Ｉの画素信号を共通の出力配線３０８を介して出力することができる。
【0048】
ここで、単位領域１３１に含まれる画素Ａから画素Ｉについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図５の例では「ＡＢＣＤＥＦＧＨＩ」の順序で画素信号が出力される。
【0049】
このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位領域１３１間で異なったフレームレートによる画素信号をそれぞれ出力させることができる。また、撮像チップ１１３において一部のエリアに含まれる単位領域１３１に電荷蓄積（撮像）を行わせる間に他のエリアに含まれる単位領域１３１を休ませることにより、撮像チップ１１３の所定のエリアでのみ撮像を行わせて、その画素信号を出力させることができる。さらに、フレーム間で電荷蓄積（撮像）を行わせるエリア（蓄積制御の対象エリア）を切り替えて、撮像チップ１１３の異なるエリアで逐次撮像を行わせて、画素信号を出力させることもできる。
【0050】
図６は、図５に例示した回路に対応する撮像素子１００の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位領域１３１を形成する９個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該単位領域１３１に対応して設けられた出力配線３０８へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。
【0051】
マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。
【0052】
演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図６では１つの単位領域１３１の分の接続を示すが、実際にはこれらが単位領域１３１ごとに存在して、並列で動作する。ただし、演算回路４１５は単位領域１３１ごとに存在しなくてもよく、例えば、一つの演算回路４１５がそれぞれの単位領域１３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。
【0053】
上記の通り、単位領域１３１のそれぞれに対応して出力配線３０８が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０８にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
【0054】
＜測距の説明＞
図７は、撮像素子１００の撮像面における焦点検出用画素の位置を例示する図である。本実施形態では、撮像チップ１１３のＸ軸方向（水平方向）に沿って離散的に焦点検出用画素が並べて設けられている。図７の例では、１５本の焦点検出画素ライン６０が所定の間隔で設けられる。焦点検出画素ライン６０を構成する焦点検出用画素は、測距用の画像信号を出力する。撮像チップ１１３において焦点検出画素ライン６０以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、車外監視用の画像信号を出力する。
図７は、撮像素子１００の撮像面における焦点検出用画素の位置を例示する図である。本実施形態では、撮像チップ１１３のＸ軸方向（水平方向）に沿って離散的に焦点検出用画素が並べて設けられている。図７の例では、１５本の焦点検出画素ライン６０が所定の間隔で設けられる。焦点検出画素ライン６０を構成する焦点検出用画素は、測距用の画像信号を出力する。撮像チップ１１３において焦点検出画素ライン６０以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、車外監視用の画像信号を出力する。
【0055】
図８は、上記焦点検出画素ライン６０のうち一つのラインの一部を含む領域を拡大した図である。図８において、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂと、焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２とが例示される。赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂは、上述したベイヤー配列の規則にしたがって配される。
【0056】
赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂについて例示した正方形状の領域は、撮像用画素の受光領域を示す。各撮像用画素は、撮像光学系３１（図９）の射出瞳を通る光束を受光する。すなわち、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の受光部に到達する。
【0057】
なお、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂの受光領域（マスク開口部）の形状は四角形に限定されず、例えば円形であってもよい。
【0058】
焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２について例示した半円形状の領域は、焦点検出用画素の受光領域を示す。すなわち、焦点検出用画素Ｓ１は、図８において画素位置の左側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ１の受光部に到達する。一方、焦点検出用画素Ｓ２は、図８において画素位置の右側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ２の受光部に到達する。このように、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２は、撮像光学系３１（図９）の射出瞳の異なる領域を通る一対の光束をそれぞれ受光する。
【0059】
なお、撮像チップ１１３における焦点検出画素ラインの位置は、図７に例示した位置に限定されない。また、焦点検出画素ラインの数についても、図７の例に限定されるものではない。さらに、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２におけるマスク開口部の形状は半円形に限定されず、例えば撮像用画素Ｒ、撮像用画素Ｇ、撮像用画素Ｂにおける四角形状受光領域（マスク開口部）を横方向に分割した長方形状としてもよい。
【0060】
また、撮像チップ１１３における焦点検出画素ラインは、撮像チップ１１３のＹ軸方向（鉛直方向）に沿って焦点検出用画素を並べて設けたものでもよい。図８のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。
なお、図８の例では、焦点検出用画素Ｓ１、Ｓ２がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成、いわゆる１ＰＤ構造を説明した。この代わりに、例えば特開２００７－２８２１０７号公報に開示されるように、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成、いわゆる２ＰＤ構造にしてもよい。このように２ＰＤ構造にすることにより、焦点検出用画素からも画像データを読み出すことが可能となり、焦点検出画素が欠陥画素になることがない。
なお、図８の例では、焦点検出用画素Ｓ１、Ｓ２がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成、いわゆる１ＰＤ構造を説明した。この代わりに、例えば特開２００７－２８２１０７号公報に開示されるように、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成、いわゆる２ＰＤ構造にしてもよい。このように２ＰＤ構造にすることにより、焦点検出用画素からも画像データを読み出すことが可能となり、焦点検出画素が欠陥画素になることがない。
【0061】
本実施形態では、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２から出力される測距用の画像信号に基づいて、撮像光学系３１（図９）の異なる領域を通る一対の光束による一対の像の像ズレ量（位相差）を検出することにより、撮像光学系３１の焦点調節状態（デフォーカス量）を演算する。
【0062】
一般に、上記一対の像は、撮像光学系３１が予定焦点面よりも前に対象物（例えば先行車）の鮮鋭像を結ぶいわゆる前ピン状態では互いに近づき、逆に予定焦点面より後ろに対象物の鮮鋭像を結ぶいわゆる後ピン状態では互いに遠ざかる。予定焦点面において対象物の鮮鋭像を結ぶ合焦状態には、上記一対の像が相対的に一致する。したがって、一対の像の相対位置ズレ量は、対象物までの距離（奥行き情報）に対応する。
【0063】
上記位相差に基づくデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。ここで、デフォーカス量と対象物までの距離とは一対一で対応するため、対象物ごとにデフォーカス量を求めることにより、カメラ３から各対象物までの距離を求めることができる。すなわち、撮影画面の複数の位置で、それぞれ上記対象物までの距離測定（測距）が行える。デフォーカス量と対象物までの距離との関係は、あらかじめ数式またはルックアップテーブルとして用意し、不揮発性メモリ３５ｂ（図９）に格納しておく。
【0064】
＜カメラの説明＞
図９は、上述した撮像素子１００を有するカメラ３の構成を例示するブロック図である。図９において、カメラ３は、撮像光学系３１と、撮像部３２と、画像処理部３３と、ワークメモリ３４と、制御部３５と、記録部３６とを有する。
図９は、上述した撮像素子１００を有するカメラ３の構成を例示するブロック図である。図９において、カメラ３は、撮像光学系３１と、撮像部３２と、画像処理部３３と、ワークメモリ３４と、制御部３５と、記録部３６とを有する。
【0065】
撮像光学系３１は、被写界からの光束を撮像部３２へ導く。撮像部３２は、上記撮像素子１００および駆動部３２ａを含み、撮像光学系３１によって撮像チップ１１３上に結像された対象物の像を光電変換する。駆動部３２ａは、撮像素子１００（撮像チップ１１３）に上述したブロック単位で独立した蓄積制御を行わせるために必要な駆動信号を生成する。上記ブロックの位置や形状、その範囲、蓄積時間などの指示は、制御部３５から駆動部３２ａへ送信される。
【0066】
画像処理部３３は、ワークメモリ３４と協働して撮像部３２で撮像された画像データに対する画像処理を行う。画像処理部３３は、例えば輪郭強調処理やガンマ補正などの画像処理に加えて、画像に含まれる対象物の色検出も行う。
【0067】
ワークメモリ３４は、画像処理前後の画像データなどを一時的に記憶する。記録部３６は、不揮発性メモリなどで構成される記憶媒体に画像データなどを記録する。制御部３５は、例えばＣＰＵによって構成され、制御装置４からの制御信号に応じて、カメラ３による全体の動作を制御する。例えば、撮像部３２で撮像された画像信号に基づいて所定の露出演算を行い、適正露出に必要な撮像チップ１１３の蓄積時間を駆動部３２ａへ指示する。
【0068】
制御部３５には、測距演算部３５ａと、不揮発性メモリ３５ｂとが含まれる。測距演算部３５ａは、上述したように撮影画面の複数の位置で、それぞれ上記対象物までの距離測定（測距）を行う。カメラ３で取得した画像データおよびカメラ３で算出した測距データは、制御装置４へ送出される（図１）。不揮発性メモリ３５ｂは、制御部３５ａが実行するプログラム、および測距に必要な情報を記憶する。
【0069】
＜撮像素子のブロック制御＞
制御装置４は、カメラ３の撮像素子１００（撮像チップ１１３）に対し、上述したブロック単位で独立した蓄積制御を行わせる。このため、制御装置４には、車両１の各部から次の信号が入力される（図２）。
（１）アクセルペダル７ａの踏み込み量
スロットル制御装置７から制御装置４に、アクセルペダル７ａの踏み込み量を示す信号が入力される。
（２）ブレーキペダル８ａの踏み込み量
ブレーキ制御装置８から制御装置４に、ブレーキペダル８ａの踏み込み量を示す信号が入力される。
制御装置４は、カメラ３の撮像素子１００（撮像チップ１１３）に対し、上述したブロック単位で独立した蓄積制御を行わせる。このため、制御装置４には、車両１の各部から次の信号が入力される（図２）。
（１）アクセルペダル７ａの踏み込み量
スロットル制御装置７から制御装置４に、アクセルペダル７ａの踏み込み量を示す信号が入力される。
（２）ブレーキペダル８ａの踏み込み量
ブレーキ制御装置８から制御装置４に、ブレーキペダル８ａの踏み込み量を示す信号が入力される。
【0070】
（３）ステアリングホイール１０の回転角
操舵制御装置９から制御装置４に、ステアリングホイール１０の回転角を示す信号が入力される。ステアリングホイール１０の回転角とステアリング装置の舵角との比は、ステアリングのギヤレシオによる。
（４）車両１の車速Ｖ
車速センサ１２による検出信号が、制御装置４に入力される。
操舵制御装置９から制御装置４に、ステアリングホイール１０の回転角を示す信号が入力される。ステアリングホイール１０の回転角とステアリング装置の舵角との比は、ステアリングのギヤレシオによる。
（４）車両１の車速Ｖ
車速センサ１２による検出信号が、制御装置４に入力される。
【0071】
（５）ターンシグナルスイッチ１１の操作信号
ターンシグナルスイッチ１１の操作信号が、制御装置４に入力される。
（６）シフトレバーの操作位置
シフトレバー位置検出装置１６が検出したシフトレバーの操作位置を示す信号が、制御装置４に入力される。
ターンシグナルスイッチ１１の操作信号が、制御装置４に入力される。
（６）シフトレバーの操作位置
シフトレバー位置検出装置１６が検出したシフトレバーの操作位置を示す信号が、制御装置４に入力される。
【0072】
（７）車両１の位置情報
ＧＰＳ装置１５で測位された位置情報が、ＧＰＳ装置１５から制御装置４に入力される。
（８）車両１の周囲の音情報
マイク１７で集音された車両１の前方、右側方、および左側方からの音情報が、それぞれ制御装置４に入力される。
ＧＰＳ装置１５で測位された位置情報が、ＧＰＳ装置１５から制御装置４に入力される。
（８）車両１の周囲の音情報
マイク１７で集音された車両１の前方、右側方、および左側方からの音情報が、それぞれ制御装置４に入力される。
【0073】
図１０は、撮像チップ１１３の撮像面と、撮像チップ１１３において電荷蓄積（撮像）を行わせる領域（撮像領域８１および注目領域８２）と、行方向および列方向の電荷蓄積（撮像）を行わせない領域（休止領域８３）とを例示する図である。注目領域８２は、撮像領域８１と異なる条件で電荷蓄積（撮像）を行う領域である。撮像チップ１１３における撮像領域８１、注目領域８２のサイズや位置も、撮像条件の一つである。
【0074】
制御装置４は、撮像領域８１に含まれる単位領域１３１に対し、それぞれ第１の条件を設定して撮像するように制御するとともに、注目領域８２に含まれる単位領域１３１に対し、それぞれ第２の条件を設定して撮像するように制御する。また、制御装置４は、休止領域８３に含まれる単位領域１３１については撮像しないように休止させる。なお、注目領域８２を複数設けてもよいし、複数の注目領域間で撮像の条件を異ならせてもよい。また、休止領域８３を設けなくてもよい。
【0075】
＜フローチャートの説明＞
以下、フローチャート（図１１，図１２、図１７）を参照して撮像領域８１および注目領域８２の決め方について説明する。図１１は、制御装置４が実行するカメラ３の制御処理の流れを説明するフローチャートである。図１１のフローチャートによる処理を実行するためのプログラムは、制御装置４の記憶部４ｂに格納されている。制御装置４は、例えば車両１から電源供給が開始されたり、エンジンが始動すると、図１１による処理を行うプログラムを起動する。
以下、フローチャート（図１１，図１２、図１７）を参照して撮像領域８１および注目領域８２の決め方について説明する。図１１は、制御装置４が実行するカメラ３の制御処理の流れを説明するフローチャートである。図１１のフローチャートによる処理を実行するためのプログラムは、制御装置４の記憶部４ｂに格納されている。制御装置４は、例えば車両１から電源供給が開始されたり、エンジンが始動すると、図１１による処理を行うプログラムを起動する。
【0076】
図１１のステップＳ１０において、制御装置４は、フラグａ＝０か否かを判定する。フラグａは、初期設定が終了している場合に１、初期設定が終了していない場合に０がセットされるフラグである。制御装置４は、フラグａ＝０の場合にステップＳ１０を肯定判定してステップＳ２０へ進み、フラグａ≠０の場合にステップＳ１０を否定判定してステップＳ３０へ進む。
【0077】
ステップＳ２０において、制御装置４は、初期設定処理を行ってステップＳ３０へ進む。初期設定処理の詳細については後述する。ステップＳ３０において、制御装置４は、走行アシスト設定処理を行ってステップＳ４０へ進む。走行アシスト設定処理では、撮像素子１００に対して撮像領域８１および注目領域８２を決定する。走行アシスト設定処理の詳細については後述する。
【0078】
ステップＳ４０において、制御装置４はカメラ３へ指示を送り、撮像素子１００における撮像領域８１および注目領域８２をそれぞれ所定の条件で駆動させて、画像の取得を行わせる。本実施形態では、例えば、制御装置４は、車速Ｖが０から増加すると撮像領域８１に比べて注目領域８２のフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定する。これにより、カメラ３による撮像が行われるとともに、上述したように撮影画面の複数の位置で距離測定（測距）が行われる。
なお、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの全てを異ならせる必要はなく、少なくとも一つを異ならせるだけでもよい。なお、制御装置４は、注目領域８２については間引きを行わない設定としてもよい。
なお、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの全てを異ならせる必要はなく、少なくとも一つを異ならせるだけでもよい。なお、制御装置４は、注目領域８２については間引きを行わない設定としてもよい。
【0079】
ステップＳ４５において、制御装置４は、画像のデータおよび測距データをカメラ３から取得してステップＳ５０へ進む。ステップＳ５０において、制御装置４は、情報を表示する設定が行われているか否かを判定する。制御装置４は、表示設定が行われている場合にステップ５０を肯定判定してステップＳ６０へ進む。制御装置４は、表示設定が行われていない場合には、ステップ５０を否定判定してステップＳ７０へ進む。
【0080】
ステップＳ６０において、制御装置４は、表示装置１４（図１）に対する表示情報を送出してステップＳ７０へ進む。表示情報は、走行アシスト設定処理（Ｓ３０）の中で判断された車両１の状態に応じた情報で、例えば「停止中です」、「緊急停車します」、「右折します」、「左折します」というメッセージを表示装置１４に表示させる。
なお、表示情報を送出する代わりに、または表示情報の送出とともに、不図示の音声再生装置へ上記メッセージを再生させるための音声信号を送出してもよい。この場合も不図示の音声再生装置として、不図示のナビゲーション装置の音声装置を用いてもよい。
なお、表示情報を送出する代わりに、または表示情報の送出とともに、不図示の音声再生装置へ上記メッセージを再生させるための音声信号を送出してもよい。この場合も不図示の音声再生装置として、不図示のナビゲーション装置の音声装置を用いてもよい。
【0081】
ステップＳ７０において、制御装置４は、オフ操作されたか否かを判定する。制御装置４は、例えば車両１からオフ信号（例えば、エンジンのオフ信号）を受けると、ステップＳ７０を肯定判定し、所定のオフ処理を行って図１１による処理を終了する。制御装置４は、例えば車両１からオフ信号を受けない場合は、ステップＳ７０を否定判定してステップＳ８０へ進む。ステップＳ８０において、制御装置４は、所定時間（例えば０．１秒）待ってステップＳ３０へ戻る。ステップＳ３０へ戻る場合は、上述した処理を繰り返す。
【0082】
＜初期設定処理＞
図１２は、図１１のフローチャートのステップＳ２０初期設定処理の詳細を説明するフローチャートである。図１２のステップＳ２１において、制御装置４は、ＧＰＳ装置１５（図１）から車両１の位置情報を入力してステップＳ２２へ進む。ステップＳ２２において、制御装置４は、位置情報に含まれる緯度、経度に基づいて、車両１が走行する通行帯が道路の左か右か、すなわち左側通行か右側通行かを示すフラグをセットする。具体的には、緯度、経度に基づいて車両１が使用される国名を判別する。そして、不図示のデータベースを参照して当該国における道路が左側通行か右側通行かを示すフラグをセットする。国名と通行帯の左右との関係を示すデータベースは、あらかじめ記憶部４ｂに格納されている。
図１２は、図１１のフローチャートのステップＳ２０初期設定処理の詳細を説明するフローチャートである。図１２のステップＳ２１において、制御装置４は、ＧＰＳ装置１５（図１）から車両１の位置情報を入力してステップＳ２２へ進む。ステップＳ２２において、制御装置４は、位置情報に含まれる緯度、経度に基づいて、車両１が走行する通行帯が道路の左か右か、すなわち左側通行か右側通行かを示すフラグをセットする。具体的には、緯度、経度に基づいて車両１が使用される国名を判別する。そして、不図示のデータベースを参照して当該国における道路が左側通行か右側通行かを示すフラグをセットする。国名と通行帯の左右との関係を示すデータベースは、あらかじめ記憶部４ｂに格納されている。
【0083】
ステップＳ２３において、制御装置４は車両１におけるハンドル（ステアリングホイール１０）の取り付け位置（右または左）を示すフラグをセットしてステップＳ２４へ進む。右ハンドルか左ハンドルかを示す情報は、車両１の諸元情報としてあらかじめ記憶部４ｂに格納されている。ステップＳ２４において、制御装置４は、図１３に例示するテーブルに基づいて初期設定値を決定してステップＳ２５へ進む。なお、ステップＳ２１とステＳ２３との順番は入れ替えてもよい。
【0084】
図１３によれば、車両１におけるステアリングホイール１０の取り付け位置（右または左）と、道路における通行帯の位置（右または左）との組み合わせに応じて「１」から「４」の４通りの初期設定値が用意される。右ハンドルで左側通行の場合、初期設定値は「４」である。
【0085】
ステップＳ２５において、制御装置４は、注目領域８２の初期位置をセットする。注目領域８２の初期位置は、初期設定値に応じた位置とする。具体的には、初期設定値「１」の場合に注目領域８２の初期位置を（Ｘｑ１，Ｙｑ）とし、初期設定値「２」の場合に注目領域８２の初期位置を（Ｘｑ２，Ｙｑ）とし、初期設定値「３」の場合に注目領域８２の初期位置を（Ｘｑ３，Ｙｑ）とし、初期設定値「４」の場合に注目領域８２の初期位置を（Ｘｑ４，Ｙｑ）とする。
【0086】
本説明では、撮像領域８１を表す座標系において、注目領域８２の中央の座標（Ｘｑ，Ｙｑ）で注目領域８２の位置を表す。図１０は、初期設定値が「４」の場合の注目領域８２を例示しており、右ハンドルで左側通行であることから、左側通行帯の中で運転者席側（右寄り）に注目領域８２を設定するように初期位置（Ｘｑ４，Ｙｑ）を定めている。
【0087】
図１４は、初期設定値が「１」の場合の注目領域８２を例示しており、左ハンドルで右側通行であることから、右側通行帯の中で運転者席側（左寄り）に注目領域８２を設定するように初期位置（Ｘｑ１，Ｙｑ）を定めている。
【0088】
図１５は、初期設定値が「３」の場合の注目領域８２を例示しており、左ハンドルで左側通行であることから、左側通行帯の中で運転者席側（左寄り）に注目領域８２を設定するように初期位置（Ｘｑ３，Ｙｑ）を定めている。
【0089】
図１６は、初期設定値が「２」の場合の注目領域８２を例示しており、右ハンドルで右側通行であることから、右側通行帯の中で運転者席側（右寄り）に注目領域８２を設定するように初期位置（Ｘｑ２，Ｙｑ）を定めている。
【0090】
図１２のステップＳ２６において、制御装置４は、注目領域８２の初期サイズをセットする。本実施形態では、注目領域８２の初期サイズ（Ｐｘ（Ｘ軸方向）×Ｐｙ（Ｙ軸方向））を対象物（例えば先行車）の大きさ（寸法）に基づいて決める。制御装置４は、カメラ３で取得した画像に先行車が含まれる場合に、撮像チップ１１３で撮像された先行車の像高と、既知である撮像光学系３１の焦点距離と、測距によって得た車両１から先行車までの距離Ｌと、に基づいて先行車の大きさ（寸法）を推定する。そして、推定した大きさ（例えば幅３(ｍ)×高さ１．４(ｍ)）の先行車を１(ｍ)後方から撮像した場合に撮像チップ１１３上で得られる像を構成するピクセル数（Ｐｘ（Ｘ軸方向）×Ｐｙ（Ｙ軸方向））を、初期サイズとする。
【0091】
ＰｘおよびＰｙは次式（１）、（２）により算出する。
Ｐｘ ＝ ｏｘ×Ｌ …（１）
Ｐｙ ＝ ｏｙ×Ｌ …（２）
ただし、ｏｘはＬ(ｍ)離れて撮像チップ１１３で撮像された先行車の像を構成するＸ軸方向のピクセル数である。ｏｙはＬ(ｍ)離れて撮像チップ１１３で撮像された先行車の像を構成するＹ軸方向のピクセル数である。Ｌ は車両１から先行車までの車間距離である。
なお、撮像領域８１を表す座標系において、初期位置を表す上記Ｙｑは、上記１(ｍ)離れた先行車を撮像した場合に撮像チップ１１３上で得られる像の高さ中心（本例では先行車の高さ０．７(ｍ)の部位）に相当する。
Ｐｘ ＝ ｏｘ×Ｌ …（１）
Ｐｙ ＝ ｏｙ×Ｌ …（２）
ただし、ｏｘはＬ(ｍ)離れて撮像チップ１１３で撮像された先行車の像を構成するＸ軸方向のピクセル数である。ｏｙはＬ(ｍ)離れて撮像チップ１１３で撮像された先行車の像を構成するＹ軸方向のピクセル数である。Ｌ は車両１から先行車までの車間距離である。
なお、撮像領域８１を表す座標系において、初期位置を表す上記Ｙｑは、上記１(ｍ)離れた先行車を撮像した場合に撮像チップ１１３上で得られる像の高さ中心（本例では先行車の高さ０．７(ｍ)の部位）に相当する。
【0092】
ステップＳ２７において、制御装置４は、表示装置１４（図１）に対する表示情報を送出し、フラグａに１をセットして図１２による処理を終了する。表示情報は、初期設定処理を終了したことを示す情報で、例えば「初期設定を終了します」というメッセージを表示装置１４に表示させる。
【0093】
＜走行アシスト設定処理＞
図１７は、走行アシスト設定処理の詳細を説明するフローチャートである。図１７のステップＳ３１０において、制御装置４は、シフトレバー位置検出装置１６（図１）から入力されたシフトレバーの位置情報が「Ｐ」（パーキング）である場合にステップＳ３１０を肯定判定してステップＳ３２０へ進む。制御装置４は、シフトレバー位置検出装置１６（図１）から入力したシフトレバーの位置情報が「Ｐ」でない場合にはステップＳ３１０を否定判定してステップＳ４２０へ進む。なお、シフトレバーが「Ｎ」（ニュートラル）である場合にもステップＳ３１０の判断を適用してもよい。
図１７は、走行アシスト設定処理の詳細を説明するフローチャートである。図１７のステップＳ３１０において、制御装置４は、シフトレバー位置検出装置１６（図１）から入力されたシフトレバーの位置情報が「Ｐ」（パーキング）である場合にステップＳ３１０を肯定判定してステップＳ３２０へ進む。制御装置４は、シフトレバー位置検出装置１６（図１）から入力したシフトレバーの位置情報が「Ｐ」でない場合にはステップＳ３１０を否定判定してステップＳ４２０へ進む。なお、シフトレバーが「Ｎ」（ニュートラル）である場合にもステップＳ３１０の判断を適用してもよい。
【0094】
ステップＳ３２０において、制御装置４は、車速センサ１２から車速Ｖを入力してステップＳ３３０へ進む。制御装置４は、例えば車速Ｖに応じて注目領域８２のフレームレートを変化させる。上述したように、注目領域８２のフレームレートを撮像領域８１のフレームレートに比べて高く設定する場合、制御装置４は、車速Ｖが増加するほど注目領域８２のフレームレートを高く設定し、車速Ｖが減少するほど注目領域８２のフレームレートを低く設定する。この場合、制御装置４は、注目領域８２以外の撮像領域８１のフレームレートも車速Ｖに比例するような制御を適用してもよい。ステップＳ３３０において、制御装置４は、ブレーキ制御装置８（図１）からブレーキペダル８ａの踏み込み量を入力してステップＳ３４０へ進む。
【0095】
ステップＳ３４０において、制御装置４は、車速Ｖとブレーキペダル８ａの踏み込み量（踏み込み角度）とに基づいてフラグＥｍ＝０か否かを判定する。フラグＥｍは、車速Ｖとブレーキペダル８ａの踏み込み量（踏み込み角度）の変化量とに基づき、図１８に例示するようにセットされるフラグである。本実施形態では、Ｅｍ＝１の場合を緊急ブレーキ（急ブレーキ）と判断し、Ｅｍ＝０の場合を通常ブレーキと判断する。制御装置４は、Ｅｍ＝０の場合にステップＳ３４０を肯定判定してステップＳ３５０へ進む。制御装置４は、Ｅｍ＝１の場合にステップＳ３４０を否定判定してステップＳ４３０へ進む。
なお、ブレーキペダル８ａの踏み込み量（踏み込み角度）の変化量の代わりに、不図示のブレーキバルブの開度の変化量に基づいてＥｍ＝１を判定してもよい。また、車速Ｖの変化量に基づいてＥｍ＝１を判定してもよいし、不図示の変速機の減速比の変化量に基づいてＥｍ＝１を判定してもよい。
なお、ブレーキペダル８ａの踏み込み量（踏み込み角度）の変化量の代わりに、不図示のブレーキバルブの開度の変化量に基づいてＥｍ＝１を判定してもよい。また、車速Ｖの変化量に基づいてＥｍ＝１を判定してもよいし、不図示の変速機の減速比の変化量に基づいてＥｍ＝１を判定してもよい。
【0096】
ステップＳ３５０において、制御装置４は、スロットル制御装置７（図１）からアクセルペダル７ａの踏み込み量を入力してステップＳ３６０へ進む。ステップＳ３６０において、制御装置４は、操舵制御装置９からステアリングホイール１０の回転角θを入力してステップＳ３７０へ進む。ステップＳ３７０において、制御装置４は、ステアリング操作がなされたか否かを判定する。制御装置４は、回転角θが所定値より大きい場合にステップＳ３７０を肯定判定してステップＳ３８０へ進み、回転角θが所定値以下の場合にステップＳ３７０を否定判定してステップＳ４４０へ進む。
【0097】
ステップＳ３８０において、制御装置４は、Ｘ軸方向における注目領域８２の移動量Ｘdistを、ステアリングホイール１０の回転角θと車速Ｖとに基づいて、次式（３）により算出する。
Ｘdist ＝ θ×(Ｖ×０．２) …（３）
上式（３）によれば、ステアリング装置の舵角（すなわちステアリングホイール１０の回転角θ）が大きいほど、また、車速Ｖが大きいほど移動量Ｘdistが大きくなる。
Ｘdist ＝ θ×(Ｖ×０．２) …（３）
上式（３）によれば、ステアリング装置の舵角（すなわちステアリングホイール１０の回転角θ）が大きいほど、また、車速Ｖが大きいほど移動量Ｘdistが大きくなる。
【0098】
ステップＳ３９０において、制御装置４は、初期設定処理においてセットした注目領域８２の初期位置（ＸｑＮ，Ｙｑ）をベースに、走行中の注目領域８２の位置（Ｘ座標）を次式（４）により算出する。
Ｘｑ ＝ＸｑＮ ＋Ｘdist …（４）
ただし、Ｎは初期設定処理において決定した初期設定値１～４のいずれかの値である。ＸdistはステップＳ３８０で算出したＸ軸方向における注目領域８２の移動量であり、Ｘ軸方向のピクセル数に対応する。ステップＳ３９０の処理により、ステアリング操作に応じて注目領域８２の位置が変化する。また、車速Ｖの大きさによっても注目領域８２の位置が変化する。
Ｘｑ ＝ＸｑＮ ＋Ｘdist …（４）
ただし、Ｎは初期設定処理において決定した初期設定値１～４のいずれかの値である。ＸdistはステップＳ３８０で算出したＸ軸方向における注目領域８２の移動量であり、Ｘ軸方向のピクセル数に対応する。ステップＳ３９０の処理により、ステアリング操作に応じて注目領域８２の位置が変化する。また、車速Ｖの大きさによっても注目領域８２の位置が変化する。
【0099】
ステップＳ４００において、制御装置４は、初期設定処理においてセットした注目領域８２の初期位置（ＸｑＮ，Ｙｑ）をベースに、走行中の注目領域８２の位置（Ｙ座標）を次式（５）により算出する。
Ｙｑ ＝Ｙｑ ＋Ｐ(Ｚ) …（５）
ただし、Ｐ(Ｚ)はＹ軸方向における注目領域８２の移動量であり、奥行きＺ(ｍ)に対応するＹ軸方向のピクセル数である。例えば、奥行き２０(ｍ)の道路の像がＹ軸方向に何ピクセルに相当するかを表す。奥行きＺとピクセル数との関係Ｐ(Ｚ)は、あらかじめ記憶部４ｂ（図２）に格納しておく。
Ｙｑ ＝Ｙｑ ＋Ｐ(Ｚ) …（５）
ただし、Ｐ(Ｚ)はＹ軸方向における注目領域８２の移動量であり、奥行きＺ(ｍ)に対応するＹ軸方向のピクセル数である。例えば、奥行き２０(ｍ)の道路の像がＹ軸方向に何ピクセルに相当するかを表す。奥行きＺとピクセル数との関係Ｐ(Ｚ)は、あらかじめ記憶部４ｂ（図２）に格納しておく。
【0100】
一般に、平坦な直線道路で進行方向を撮像する場合、撮像チップ１１３上の道路の像に対応するＹ軸方向のピクセル数は、車両１からの奥行きＺ(ｍ)が深くなるにつれて増加する。そこで、上記１(ｍ)離れた先行車を撮像した場合の像の高さ中心に相当するＹｑの値を、注目すべき先行車が遠くなる（すなわち奥行きＺが深くなる）につれて増加させる。
【0101】
制御装置４は、注目すべき先行車の奥行きＺを次式（６）により決定する。
Ｚ ＝Ｚａ＋Ｚｂ …（６）
ただし、Ｚａは乾燥路における制動距離(ｍ)であり、Ｚｂは濡れた路面における制動距離(ｍ)である。ＺａおよびＺｂは、図１９に例示した値に基づく。本実施形態では、車両１の前方の奥行きＺ（すなわち車両１からＺ(ｍ)離れた位置）の先行車を注目領域８２に含めるように、注目領域８２の位置を決定する。これは、緊急ブレーキをかけた場合の停車に必要な距離より遠方を注目するという考え方に基づく。車速Ｖに応じた奥行きＺの値（Ｚａ＋Ｚｂ）は、あらかじめ記憶部４ｂ（図２）に格納しておく。ステップＳ４００の処理によれば、車速Ｖの変化に応じて注目領域８２の位置が変化する。
このように位置を変更した注目領域８２について、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせる。
Ｚ ＝Ｚａ＋Ｚｂ …（６）
ただし、Ｚａは乾燥路における制動距離(ｍ)であり、Ｚｂは濡れた路面における制動距離(ｍ)である。ＺａおよびＺｂは、図１９に例示した値に基づく。本実施形態では、車両１の前方の奥行きＺ（すなわち車両１からＺ(ｍ)離れた位置）の先行車を注目領域８２に含めるように、注目領域８２の位置を決定する。これは、緊急ブレーキをかけた場合の停車に必要な距離より遠方を注目するという考え方に基づく。車速Ｖに応じた奥行きＺの値（Ｚａ＋Ｚｂ）は、あらかじめ記憶部４ｂ（図２）に格納しておく。ステップＳ４００の処理によれば、車速Ｖの変化に応じて注目領域８２の位置が変化する。
このように位置を変更した注目領域８２について、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせる。
【0102】
ステップＳ４１０において、制御装置４は、初期設定処理においてセットした注目領域８２の初期サイズ（Ｐｘ×Ｐｙ）をベースに、走行中の注目領域８２のサイズ（Ｘ_wid, Ｙ_wid）を次式（７）および（８）により算出し、図１７による処理を終了する。
Ｘ_wid ＝Ｐｘ／Ｚ …（７）
Ｙ_wid ＝Ｐｙ／Ｚ …（８）
ただし、ＰｘはステップＳ２６でセットしたＸ軸方向のピクセル数であり、ＰｙはステップＳ２６でセットしたＹ軸方向のピクセル数である。上式（７）、（８）によれば、走行中の注目領域８２のサイズ（Ｘ_wid, Ｙ_wid）は、注目すべき先行車が遠く離れる（奥行きＺが深くなる）ほど、注目領域８２の初期サイズ（Ｐｘ×Ｐｙ）より小さくなる。ステップＳ４１０の処理によれば、車速Ｖの変化に応じて注目領域８２のサイズが変化する。
このようにサイズを変更した注目領域８２について、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせる。
Ｘ_wid ＝Ｐｘ／Ｚ …（７）
Ｙ_wid ＝Ｐｙ／Ｚ …（８）
ただし、ＰｘはステップＳ２６でセットしたＸ軸方向のピクセル数であり、ＰｙはステップＳ２６でセットしたＹ軸方向のピクセル数である。上式（７）、（８）によれば、走行中の注目領域８２のサイズ（Ｘ_wid, Ｙ_wid）は、注目すべき先行車が遠く離れる（奥行きＺが深くなる）ほど、注目領域８２の初期サイズ（Ｐｘ×Ｐｙ）より小さくなる。ステップＳ４１０の処理によれば、車速Ｖの変化に応じて注目領域８２のサイズが変化する。
このようにサイズを変更した注目領域８２について、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせる。
【0103】
上述したステップＳ３１０を否定判定して進むステップＳ４２０において、制御装置４は、停止中の設定処理を行って図１７による処理を終了する。停止中の設定処理は、例えば、１(ｍ)離れた先行車を注目領域８２に含めるように、注目領域８２の位置を決定する。また、注目領域８２のＸ軸方向のサイズを最大にして、車両１の側部に近い位置の対象物もなるべく注目領域８２に含まれるようにする。
【0104】
上述したステップＳ３４０を否定判定して進むステップＳ４３０において、制御装置４は、急ブレーキ判定時の設定処理を行って図１７による処理を終了する。急ブレーキ判定時の設定処理は、例えば、注目領域８２における間引きを止め、フレームレートを最大に上げ、蓄積時間を短くし、ゲインを高く設定する。なお、制御装置４は、注目領域８２以外の撮像領域８１のフレームレートも増加するようにしてもよい。また、制御装置４は、ステップＳ３４０を否定判定した以降の所定時間（例えば５秒～１５秒）の間、カメラ３で取得される画像を記録部３６に保存するようにカメラ３に対して記録の指示を行う。
【0105】
急停車後の制御装置４はさらに、初期設定処理においてセット（図１２のステップＳ２５）した注目領域８２の初期位置へ注目領域８２を移動させるとともに、初期設定処理においてセット（図１２のステップＳ２６）した注目領域８２の初期サイズ（Ｐｘ×Ｐｙ）へ注目領域８２のサイズを変更する。これにより、走行中の車速Ｖによって変化した注目領域８２の位置、サイズが、停車時に適した位置、サイズへ戻る。
【0106】
上述したステップＳ３７０を否定判定して進むステップＳ４４０において、制御装置４は、走行中の注目領域８２の位置（Ｘ座標）を移動させない設定を行う。すなわち、ステアリングホイール１０の回転角θが所定値以下の場合にθ←０とし、Ｘdistの値も０とする。つまり、ステアリングホイール１０の操作角が所定値に満たない場合は、注目領域８２の位置（Ｘ座標）が維持される。このため、旋回操作でない微小操作時における処理負担の軽減に役立つ。
【0107】
図２０(a)は、一般道路の交差点において右折する場合の注目領域８２の位置の移動、および注目領域８２のサイズの変化を例示する図である。上記走行アシスト設定処理によれば、車両１が先行車の後ろで右折待ちをしている場合は、注目領域８２Ａの位置は初期位置にあり、注目領域８２Ａのサイズは初期サイズ（Ｐｘ×Ｐｙ）と略同じである。車両１が前進する状態で運転者が右方向へステアリング操作を始めると、注目領域８２Ｂの位置は右斜め上へ移動する。車速Ｖが低速であるので、注目領域８２Ｂのサイズも初期サイズ（Ｐｘ×Ｐｙ）と略同じである。
【0108】
図２０(b)は、高速道路において右側の追い越し車線へ加速しながら車線変更する場合の注目領域８２の位置の移動、および注目領域８２のサイズの変化を例示する図である。上記走行アシスト設定処理によれば、車両１が高速で走行する場合は、注目領域８２Ａの位置は初期位置より上方にあり、注目領域８２Ａのサイズは初期サイズ（Ｐｘ×Ｐｙ）に比べて小さい。車両１が加速する状態で運転者が右方向へステアリング操作すると、注目領域８２Ｂの位置は右斜め上へ移動する。車速Ｖが速いので、注目領域８２Ｂのサイズはさらに小さくなる。なお、図２０は左側通行の場合の例であり、右側通行の左折や、右側通行の車線変更にも適宜用いることができる。また、不図示の視線検出装置（例えば、ステアリングホイールに視線検出装置を設ける）により運転者の視線を検出して、運転者が注視していない領域や、死角となる領域を注目領域８２と設定するようにしてもよい。なお、視線検出には、赤外線を運転者の角膜で反射させてユーザの視線方向を検出する角膜反射法や、角膜と強膜との光に対する反射率の差を利用するリンバストラッキング法、眼球の映像をカメラで撮像して画像処理により視線を検出する画像解析法などがあり、いずれの視線検出方法を用いてもよい。
【0109】
上述した実施の形態によれば、次の作用効果が得られる。
（１）搭載されている車両１の諸元と、車両１の操作部に対する操作と、の少なくとも一方を認識する制御装置４と、少なくとも注目領域８２と、撮像領域８１とを有し、車両１の外部を撮像する撮像部３２と、制御装置４による認識結果に基づいて、注目領域８２の撮像条件と、撮像領域８１の撮像条件と、を異ならせて設定する制御装置４を備えたので、カメラ３の撮像条件を適切に設定することができる。
（１）搭載されている車両１の諸元と、車両１の操作部に対する操作と、の少なくとも一方を認識する制御装置４と、少なくとも注目領域８２と、撮像領域８１とを有し、車両１の外部を撮像する撮像部３２と、制御装置４による認識結果に基づいて、注目領域８２の撮像条件と、撮像領域８１の撮像条件と、を異ならせて設定する制御装置４を備えたので、カメラ３の撮像条件を適切に設定することができる。
【0110】
（２）制御装置４は、車両１におけるハンドル（ステアリングホイール１０）の取り付け位置（右または左）を認識するので、運転者の乗車位置に応じてカメラ３の撮像条件を適切に設定することができる。
【0111】
（３）設定部は、ステアリングホイール１０の位置に応じて注目領域８２のフレームレートと、撮像領域８１のフレームレートとを異ならせて設定するので、例えば運転者席側（右）の注目領域８２でフレームレートを高めるなど、カメラ３の撮像条件を適切に設定することができる。
【0112】
（４）車両１の車速Ｖに関する情報を検出する制御装置４を備え、制御装置４は、車速Ｖに関する情報の検出結果に応じて、注目領域８２の撮像条件と、撮像領域８１の撮像条件とを異ならせて設定するので、車速Ｖに応じてカメラ３の撮像条件を適切に設定することができる。
【0113】
（５）制御装置４は、車速Ｖに関する情報が増加するときと、減少するときで、注目領域８２の撮像条件と、撮像領域８１の撮像条件との少なくとも一つの撮像条件を変更するので、例えば車速Ｖが速いほどフレームレートを高めるなど、カメラ３の撮像条件を適切に設定することができる。
【0114】
（６）制御装置４は、ハンドル（ステアリングホイール１０）の回転角θが所定値を超えたときに、注目領域８２の撮像のフレームレートと、撮像領域８１の撮像のフレームレートとの少なくとも一つのフレームレートを高く変更するので、旋回操作の場合において、カメラ３の撮像条件を変更することができる。
【0115】
（７）撮像部３２による撮像結果に基づいて、車両１の表示装置１４に対する表示情報を送信する制御装置４を備えたので、車両１の乗員に対して必要な情報を提供できる。
【0116】
（８）ハンドル（ステアリングホイール１０）の回転角θが所定値に達しないときには、制御装置４は、注目領域８２の撮像のフレームレートと、撮像領域８１の撮像のフレームレートとの少なくとも一つのフレームレートの設定を維持するので、旋回操作でない微小操作時における撮像条件の変更を避けることができる。これにより、例えば注目領域８２のフレームレートを必要以上に細かく変更することが防止され、処理負担の軽減に役立つ。
【0117】
（９）制御装置４は、注目領域８２の撮像条件と、撮像領域８１の撮像条件と、の間で異ならせる撮像条件に、撮像のフレームレート、ゲイン、間引き、画素信号加算、蓄積、ビット長、撮像領域のサイズ、および撮像領域の位置の少なくとも１つを含めるので、カメラ３の撮像条件を適切に設定することができる。
【0118】
（１０）制御装置４は、車速Ｖに関する情報の検出結果に基づいて、注目領域８２の中心位置と、撮像領域８１の中心位置との少なくとも一つの中心位置を変更するので、車速Ｖの変化に伴って注目領域８２の位置を変更するなど、カメラ３の撮像条件を適切に設定することができる。
【0119】
（１１）制御装置４は、車速Ｖに関する情報の検出結果に基づいて、注目領域８２のサイズと、撮像領域８１のサイズとの少なくとも一つのサイズを変更するので、車速Ｖの変化に伴って注目領域８２のサイズを変更するなど、カメラ３の撮像条件を適切に設定することができる。
【0120】
（１２）制御装置４は、注目領域８２を囲む撮像領域８１を設定するので、カメラ３の撮像条件を適切に設定することができる。
【0121】
（１３）車両１の操作部としてハンドル（ステアリングホイール１０）を備えており、制御装置４は、ハンドルの操作に基づいて、注目領域８２の中心位置と、撮像領域８１の中心位置との少なくとも一つの中心位置を変更するので、車両１の進路の変化に伴って注目領域８２の位置を変更するなど、カメラ３の撮像条件を適切に設定することができる。なお、上述の実施の形態では、制御装置４の制御によりカメラ３を制御したが、カメラ３の制御の一部をカメラ３の制御部３５により行うようにしてもよい。
【0122】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
走行アシスト設定処理において、制御装置４は、ターンシグナルスイッチ１１からの操作信号に応じて注目領域８２の位置および注目領域８２のサイズを変更するように構成してもよい。制御装置４は、図２１に例示するように、ステップＳ２４において決定された初期設定値と、ターンシグナルスイッチ１１の操作によるターンシグナルの方向とに基づいて注目領域８２のサイズを変更したり、注目領域８２の撮像条件を設定したりする。
（変形例１）
走行アシスト設定処理において、制御装置４は、ターンシグナルスイッチ１１からの操作信号に応じて注目領域８２の位置および注目領域８２のサイズを変更するように構成してもよい。制御装置４は、図２１に例示するように、ステップＳ２４において決定された初期設定値と、ターンシグナルスイッチ１１の操作によるターンシグナルの方向とに基づいて注目領域８２のサイズを変更したり、注目領域８２の撮像条件を設定したりする。
【0123】
例えば、図１０を参照して説明すると、右ハンドルおよび左側通行であって初期設定値が「４」の場合、制御装置４は、ターンシグナルが左方向であれば注目領域８２に道路左端を含めるような制御を行う。具体的には、図１０の注目領域８２を左側へ拡げる。注目領域８２を左側へ拡げるのは、左折時の巻き込み事故防止のためである。反対に、制御装置４は、ターンシグナルが右方向であれば注目領域８２に対向車線を含めるような制御を行う。具体的には、図１０の注目領域８２を右側へ拡げる。
【0124】
図１４を参照して説明すると、左ハンドルおよび右側通行であって初期設定値が「１」の場合、制御装置４は、ターンシグナルが左方向であれば注目領域８２に対向車線を含めるような制御を行う。具体的には、図１４の注目領域８２を左側へ拡げる。反対に、制御装置４は、ターンシグナルが右方向であれば注目領域８２に道路右端を含めるような制御を行う。具体的には、図１４の注目領域８２を右側へ拡げる。右側へ拡げるのは、右折時の巻き込み事故防止のためである。
【0125】
図１６を参照して説明すると、右ハンドルおよび右側通行であって初期設定値が「２」の場合、制御装置４は、ターンシグナルが左方向であれば注目領域８２に対向車線を含めるような制御を行う。具体的には、図１６の注目領域８２を左側へ大きく拡げる。反対に、制御装置４は、ターンシグナルが右方向であれば注目領域８２に道路右端を含めるような制御を行う。具体的には、図１６の注目領域８２を右側へやや拡げる。右側へ拡げるのは、右折時の巻き込み事故防止のためである。
【0126】
図１５を参照して説明すると、左ハンドルおよび左側通行であって初期設定値が「３」の場合、制御装置４は、ターンシグナルが左方向であれば注目領域８２に道路左端を含めるような制御を行う。具体的には、図１５の注目領域８２を左側へやや拡げる。左側へ拡げるのは、左折時の巻き込み事故防止のためである。反対に、制御装置４は、ターンシグナルが右方向であれば注目領域８２に対向車線を含めるような制御を行う。具体的には、図１５の注目領域８２を右側へ大きく拡げる。
【0127】
図２２は、変形例１によるターンシグナルスイッチ１１の操作時の処理を説明するフローチャートである。制御装置４は、走行アシスト設定処理中にターンシグナルスイッチ１１から操作信号が入力されると、サブルーチンとして図２２による処理を起動させる。図２２のステップＳ５１０において、制御装置４は、ターンシグナル方向が左向きか否かを判定する。制御装置４は、ターンシグナル方向が左向きの場合にステップＳ５１０を肯定判定してステップＳ５２０へ進み、ターンシグナル方向が右向きの場合にステップＳ５１０を否定判定してステップＳ５３０へ進む。
【0128】
ステップＳ５２０において、制御装置４は、通行帯の位置が左か否かを判定する。制御装置４は、左側通行の場合にステップＳ５２０を肯定判定してステップＳ５５０へ進み、右側通行の場合にステップＳ５２０を否定判定してステップＳ５４０へ進む。
【0129】
ステップＳ５４０において、制御装置４は、注目領域８２に対向車線を含めるように撮像部３２を制御して図２２による処理を終了する。ステップＳ５５０において、制御装置４は、注目領域８２に道路左端を含めるように撮像部３２を制御して図２２による処理を終了する。
【0130】
ステップＳ５３０において、制御装置４は、通行帯の位置が左か否かを判定する。制御装置４は、左側通行の場合にステップＳ５３０を肯定判定してステップＳ５６０へ進み、右側通行の場合にステップＳ５３０を否定判定してステップＳ５７０へ進む。
【0131】
ステップＳ５６０において、制御装置４は、注目領域８２に対向車線を含めるように撮像部３２を制御して図２２による処理を終了する。ステップＳ５７０において、制御装置４は、注目領域８２に道路右端を含めるように撮像部３２を制御して図２２による処理を終了する。
【0132】
なお、制御装置４は、図２２による処理を実行した後にターンシグナルスイッチ１１がオフされた場合、図２２による注目領域８２のサイズ変更を解除する。また、ターンシグナルスイッチ１１がオンされた場合は、車速Ｖが０であっても撮像領域８１に比べて注目領域８２のフレームレートを高くし、ゲインを高くし、間引き率を低くし、蓄積時間を短く設定してよい。ただし、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせる場合は、異ならせる撮像条件のみを変更する。
【0133】
以上説明した変形例１によれば、ターンシグナルスイッチ１１の操作に応じて注目領域８２の撮像条件と、撮像領域８１の撮像条件と、を異ならせて設定するので、例えば交差点で右左折する場合において、対向車を確実に検出し得るように対向車線を注目領域８２に含めたり、巻き込み事故を防止し得るように道路端を注目領域８２に含めたりして、適切に注目領域８２を設定することができる。さらに、撮像領域８１に比べて注目領域８２のフレームレートを高く設定するなど、撮像領域８１および注目領域８２において撮像条件を適切に設定し得る。
【0134】
（変形例２）
走行アシスト設定処理において、制御装置４は、２輪車、普通車両、大型車両、歩行者などの対象物と車両１との間の距離の変化に応じて注目領域８２の位置および注目領域８２のサイズを変更するように構成してもよい。
走行アシスト設定処理において、制御装置４は、２輪車、普通車両、大型車両、歩行者などの対象物と車両１との間の距離の変化に応じて注目領域８２の位置および注目領域８２のサイズを変更するように構成してもよい。
【0135】
変形例２において、制御装置４は、例えば車両１が先行車に近づいて先行車までの距離Ｌ（車間距離）が短くなると、先行車を注目領域８２に含めるように注目領域８２の位置を決定する。ここで、車両１から先行車までの車間距離Ｌの変化は、車速Ｖの取得タイミングに同期して所定時間ごとにカメラ３で取得する画像に基づいて、カメラ３の測距演算部３５ａが撮影画面内の先行車までの距離Ｌ（車間距離）を逐次測距することによって得る。
【0136】
制御装置４は、上式（５）において奥行きＺの代わりに車間距離Ｌを用いて走行中の注目領域８２の位置（Ｙ座標）を算出する。これにより、平坦な直線道路で先行車を撮像する場合、撮像チップ１１３上でＹ軸方向における注目領域８２の位置を示すＹｑの値は、車間距離Ｌが長くなるにつれて増加し、車間距離Ｌが短くなると減少する。
【0137】
また、制御装置４は、車間距離Ｌが変化して短くなるとカメラ３に先行車が大きく写るので、注目領域８２のサイズを大きく設定する。反対に、制御装置４は、車間距離Ｌが変化して長くなるとカメラ３に先行車が小さく写るので、注目領域８２のサイズを小さく設定する。制御装置４は、上式（７）および（８）において奥行きＺの代わりに車間距離Ｌを代入して走行中の注目領域８２のサイズを算出する。
【0138】
上述した図１７による処理によれば、車速Ｖが速くなると注目領域８２のサイズを小さく設定するところ、変形例２においては、車速Ｖが速くても先行車までの車間距離Ｌが短い場合には注目領域８２のサイズを大きく設定するので、先行車を注目領域８２に適切に含めることができる。このため、注目領域８２のサイズを小さく設定し続ける場合に比べて、カメラ３で取得した画像に基づく先行車の走行状態の変化の検出が容易になる。
このようにサイズや位置を変更した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
このようにサイズや位置を変更した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
【0139】
（変形例３）
制御装置４は、既設の注目領域８２以外にも、２輪車、普通車両、大型車両、歩行者などの車両１の周辺の対象物を検出した場合に、この対象物を含む注目領域８２を新たに設定してもよい。変形例３において、制御装置４は、検出した対象物が移動した場合に、この対象物を含む注目領域８２を新たに設定する。例えば、制御装置４は、検出した対象物と車両１との距離が所定距離以内に近づいた場合に、この対象物を含む注目領域８２を新たに設定する。そして、制御装置４は、検出した対象物と車両１との距離が所定距離以上に離れた場合に、この対象物を含む注目領域８２の設定を解除する。
このように設定した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
制御装置４は、既設の注目領域８２以外にも、２輪車、普通車両、大型車両、歩行者などの車両１の周辺の対象物を検出した場合に、この対象物を含む注目領域８２を新たに設定してもよい。変形例３において、制御装置４は、検出した対象物が移動した場合に、この対象物を含む注目領域８２を新たに設定する。例えば、制御装置４は、検出した対象物と車両１との距離が所定距離以内に近づいた場合に、この対象物を含む注目領域８２を新たに設定する。そして、制御装置４は、検出した対象物と車両１との距離が所定距離以上に離れた場合に、この対象物を含む注目領域８２の設定を解除する。
このように設定した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
【0140】
変形例３によれば、カメラ３からの情報に基づいて車両１の周辺の移動物を検出する制御装置４を備え、制御装置４は、移動物の検出結果に基づいて、注目領域８２の撮像条件と、撮像領域８１の撮像条件との少なくとも一つの撮像条件を変更するので、移動物の有無に応じてカメラ３の撮像条件を適切に設定することができる。
【0141】
また、カメラ３からの情報に基づいて車両１と移動物との距離が所定距離以内に近づいていると検出した際に、制御装置４は、注目領域８２の撮像のフレームレートと、撮像領域８１の撮像のフレームレートとの少なくとも一つのフレームレートを高く変更するので、カメラ３で取得した画像に基づく移動物の移動状態の変化の検出が容易になる。
【0142】
（変形例４）
カメラ３によって取得された画像の色に基づいて注目領域８２を新たに設定してもよい。制御装置４は、画像のうち赤色の対象物を含む領域を注目領域８２として設定する。赤色の対象物を含む領域を注目領域８２に加えることで、例えば赤信号、鉄道の踏切の警報機、緊急車両の赤色灯などを注目領域８２に含めることができる。
このように設定した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
カメラ３によって取得された画像の色に基づいて注目領域８２を新たに設定してもよい。制御装置４は、画像のうち赤色の対象物を含む領域を注目領域８２として設定する。赤色の対象物を含む領域を注目領域８２に加えることで、例えば赤信号、鉄道の踏切の警報機、緊急車両の赤色灯などを注目領域８２に含めることができる。
このように設定した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
【0143】
（変形例５）
車両１のマイク１７で集音された音情報に基づいて注目領域８２を新たに設定してもよい。制御装置４は、例えば車両１の右側方の音情報のレベルが所定値を超えて入力された場合、撮像領域８１のうち右側へ注目領域８２を拡げる、または撮像領域８１のうち右側へ新たに注目領域８２を設定する。右側へ注目領域８２を設けるのは、車両１の右側の車外情報を集めるためである。
車両１のマイク１７で集音された音情報に基づいて注目領域８２を新たに設定してもよい。制御装置４は、例えば車両１の右側方の音情報のレベルが所定値を超えて入力された場合、撮像領域８１のうち右側へ注目領域８２を拡げる、または撮像領域８１のうち右側へ新たに注目領域８２を設定する。右側へ注目領域８２を設けるのは、車両１の右側の車外情報を集めるためである。
【0144】
また、制御装置４は、例えば車両１の左側方の音情報のレベルが所定値を超えて入力された場合、撮像領域８１のうち左側へ注目領域８２を拡げる、または撮像領域８１のうち左側へ新たに注目領域８２を設定する。左側へ注目領域８２を設けるのは、車両１の左側の車外情報を集めるためである。
このように設定した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
このように設定した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
【0145】
（変形例６）
上記実施形態では、先行車を含む注目領域８２を設定する場合を説明したが、車両１の対向車を含む注目領域８２を設定してもよい。変形例６において、制御装置４は、上述した走行領域内に存在して逆方向（車両１と対向）に走行する対象物の中から、車両１に最も近い車両を対向車として認識する。
上記実施形態では、先行車を含む注目領域８２を設定する場合を説明したが、車両１の対向車を含む注目領域８２を設定してもよい。変形例６において、制御装置４は、上述した走行領域内に存在して逆方向（車両１と対向）に走行する対象物の中から、車両１に最も近い車両を対向車として認識する。
【0146】
制御装置４は、カメラ３で取得された画像のうち、上記対向車の位置に相当する領域を注目領域８２として設定する。制御装置４は、とくに対向車のナンバープレートや、対向車の運転席で運転する運転者の顔を含めて注目領域８２を設定する。
【0147】
対向車のナンバープレートや対向車の運転者の顔を含む領域を注目領域８２とすることで、車両１に近づいてくる対向車を適切に注目領域８２に含めることができる。
このように設定した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
このように設定した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
【0148】
（変形例７）
上述した説明では、撮像領域８１が注目領域８２を含む（注目領域８２を囲む）例を説明したが、撮像領域８１と注目領域８２とを左右に並べて設定してもよい。撮像領域８１と注目領域８２の境界線を左右に動かすことで、撮像領域８１と注目領域８２のサイズや位置の変更を行える。このように設定した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
上述した説明では、撮像領域８１が注目領域８２を含む（注目領域８２を囲む）例を説明したが、撮像領域８１と注目領域８２とを左右に並べて設定してもよい。撮像領域８１と注目領域８２の境界線を左右に動かすことで、撮像領域８１と注目領域８２のサイズや位置の変更を行える。このように設定した注目領域８２についても、撮像領域８１と注目領域８２との間でフレームレート、ゲイン、間引き率、蓄積時間などの少なくとも一つを異ならせてよい。
【0149】
以上の説明では、カメラ３で行う距離測定として、撮像素子１００に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する手法を用いたが、ステレオカメラによる２枚の画像を用いて距離測定を行う手法を用いてもよい。また、カメラ３と別にミリ波レーダを用いて距離測定を行う手法を用いてもよい。
【0150】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【0151】
１…車両
２…運転支援装置
３…カメラ
４…制御装置
４ｂ…記憶部
５…第１の走行制御ユニット
６…第２の走行制御ユニット
７…スロットル制御装置
７ａ…アクセルペダル
８…ブレーキ制御装置
８ａ…ブレーキペダル
９…操舵制御装置
１０…ステアリングホイール
１１…ターンシグナルスイッチ
１２…車速センサ
１４…表示装置
１５…ＧＰＳ装置
１６…シフトレバー位置検出装置
１７…マイク
３１…撮像光学系
３２…撮像部
３２ａ…駆動部
３３…画像処理部
３４…ワークメモリ
３５…制御部
３５ａ…測距演算部
３６…記録部
６０…焦点検出画素ライン
８１…撮像領域
８２、８２Ａ、８２Ｂ…注目領域
８３…休止領域
１００…撮像素子
１１３…撮像チップ
２…運転支援装置
３…カメラ
４…制御装置
４ｂ…記憶部
５…第１の走行制御ユニット
６…第２の走行制御ユニット
７…スロットル制御装置
７ａ…アクセルペダル
８…ブレーキ制御装置
８ａ…ブレーキペダル
９…操舵制御装置
１０…ステアリングホイール
１１…ターンシグナルスイッチ
１２…車速センサ
１４…表示装置
１５…ＧＰＳ装置
１６…シフトレバー位置検出装置
１７…マイク
３１…撮像光学系
３２…撮像部
３２ａ…駆動部
３３…画像処理部
３４…ワークメモリ
３５…制御部
３５ａ…測距演算部
３６…記録部
６０…焦点検出画素ライン
８１…撮像領域
８２、８２Ａ、８２Ｂ…注目領域
８３…休止領域
１００…撮像素子
１１３…撮像チップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】