特許 6354578 撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6354578

(24)【登録日】2018年6月22日

(45)【発行日】2018年7月11日

(54)【発明の名称】撮像システム

(51)【国際特許分類】

   H04N 9/04 20060101AFI20180702BHJP

   H04N 9/73 20060101ALI20180702BHJP

【ＦＩ】

   H04N9/04 B

   H04N9/73 A

【請求項の数】5

【全頁数】22

(21)【出願番号】特願2014-264621(P2014-264621)

(22)【出願日】2014年12月26日

(65)【公開番号】特開2016-127329(P2016-127329A)

(43)【公開日】2016年7月11日

【審査請求日】2017年3月30日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】高見 悦也

【審査官】 松永 隆志

(56)【参考文献】

【文献】 特開2007-329555（ＪＰ，Ａ）

【文献】 特開2007-311970（ＪＰ，Ａ）

【文献】 特開2010-252015（ＪＰ，Ａ）

【文献】 特開2004-54928（ＪＰ，Ａ）

【文献】 特開2004-88247（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０４

Ｈ０４Ｎ ９／７３

(57)【特許請求の範囲】

【請求項1】

同一の移動体に搭載され、被写体を撮像して画像を取得する複数の撮像装置と、
前記各撮像装置で取得された画像に対して共通した目標ホワイトバランス値を算出する制御部とを備え、
前記各撮像装置は、
前記撮像装置で取得した画像の個別ホワイトバランス値を算出するホワイトバランス算出部と、
目標ホワイトバランス値に基づいて、前記各撮像装置で撮像された被写体の画像の個別ホワイトバランス値を目標ホワイトバランス値に補正するホワイトバランス補正部と、
を有し、
前記制御部は、
前記各撮像装置毎に設定された重み付け係数に基づいて、前記各撮像装置から与えられた個別ホワイトバランス値に対して、それぞれ個別に重み付けする重み付け部と、
重み付けされた個別ホワイトバランス値の平均値を算出し、個別ホワイトバランス値の平均値を前記目標ホワイトバランス値とする平均値算出部と、
を有することを特徴とする撮像システム。

【請求項2】

前記制御部は、個別ホワイトバランス値が同時に目標ホワイトバランス値に補正されるように、個別ホワイトバランス値を目標ホワイトバランス値に補正する補正速度を、前記各撮像装置に対して個別に算出する補正速度算出部
を有し、
前記ホワイトバランス補正部は、前記補正速度算出部で算出された補正速度に基づいて、前記撮像装置で撮像された被写体の画像の個別ホワイトバランス値を目標ホワイトバランス値に補正する
ことを特徴とする請求項１に記載の撮像システム。

【請求項3】

前記制御部は、所定の期間内に算出された目標ホワイトバランス値が所定の範囲内に収まっている場合に、個別ホワイトバランスを目標ホワイトバランスに補正すると判別する補正判別部
を有することを特徴とする請求項１または２に記載の撮像システム。

【請求項4】

前記各撮像装置は、車両に搭載され、
前記重み付け部は、前記車両の走行状態に応じて重み付け係数を変化させる
ことを特徴とする請求項１〜３のいずれか１項に記載の撮像システム。

【請求項5】

前記重み付け部は、前記車両の走行状態が継続している時間に基づいて重み付け係数を変化させる
ことを特徴とする請求項４に記載の撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の撮像装置で撮像された被写体の画像のホワイトバランス値を補正する撮像システムに関する。

【背景技術】

【0002】

従来、この種の技術としては、特許文献１に記載されたものが知られている。特許文献１には、テレビ放送用の複数の撮像カメラのホワイトバランス調整を行うカメラシステムが記載されている。

【0003】

このカメラシステムでは、撮像前に各撮像カメラにおいて白い被写体を撮像して得られたホワイトバランス情報が平均化される。平均化されたホワイトバランス情報はすべての撮像カメラに送信され、すべての撮像カメラは平均化されたホワイトバランス情報に基づいて自らのホワイトバランス調整を行う。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７−９６７６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

複数の撮像カメラが同一の移動体の異なる場所に設置されている場合には、各撮像カメラが撮像する被写体の画像の明るさなどが、各撮像カメラ毎に頻繁かつ激しく変化する可能性がある。

【0006】

このような場合に、従来のカメラシステムで採用された技術では、単に各撮像カメラのホワイトバランス情報が平均化されているだけで、各撮像カメラ毎の特性が考慮されていなかった。このため、従来のカメラシステムでは、各撮影カメラで撮像された画像のホワイトバランス値を最適に共通化するのが困難になっていた。

【0007】

本発明の目的は、移動体に設置された複数の撮像装置で撮像された被写体の画像のホワイトバランス値を最適に共通化して補正する撮像システムを提供することである。

【課題を解決するための手段】

【0008】

本発明は、同一の移動体に搭載され、被写体を撮像して画像を取得する複数の撮像装置と、前記各撮像装置で取得された画像に対して共通した目標ホワイトバランス値を算出する制御部とを備え、前記各撮像装置は、前記撮像装置で取得した画像の個別ホワイトバランス値を算出するホワイトバランス算出部と、目標ホワイトバランス値に基づいて、前記各撮像装置で撮像された被写体の画像の個別ホワイトバランス値を目標ホワイトバランス値に補正するホワイトバランス補正部と、有し、前記制御部は、前記各撮像装置毎に設定された重み付け係数に基づいて、前記各撮像装置から与えられた個別ホワイトバランス値に対して、それぞれ個別に重み付けする重み付け部と、重み付けされた個別ホワイトバランス値の平均値を算出し、個別ホワイトバランス値の平均値を前記目標ホワイトバランス値とする平均値算出部と、を有することを特徴とする撮像システムを提供する。

【発明の効果】

【0009】

本発明の撮像システムによれば、移動体に設置された複数の撮像装置で撮像された被写体の画像のホワイトバランス値を最適に共通化して補正することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る撮像システムの全体構成の一例を示す図である。

【図2】本発明の実施形態に係る撮像システムの全体構成の他の一例を示す図である。

【図3】本発明の実施形態に係る撮像システムで得られた画像が表示される一例の表示装置が搭載された車両の運転席周囲の様子を模式的に表した図である。

【図4】複数の撮像装置で撮像された画像が１つの表示装置に表示された表示例の一例を示す図である。

【図5】車両に搭載された各撮像装置の配置位置の一例を示す図である。

【図6】１つの表示装置に複数の撮像装置で撮像された画像が合成されて表示された表示例の一例を示す図である。

【図7】撮像装置の構成を示す図である。

【図8】制御部の構成を示す図である。

【図9】車両に配置される撮像装置の配置場所を特定する際に設定された配置場所の区分を示す図である。

【図10】図９に示す９つの設置場所に設置される撮像装置で撮像された画像のホワイトバランス値の重み付け係数の具体的な数値の一例を示す図である。

【図11】重み付け係数をパラメータとして、撮像装置で撮像された色温度の変化の一例を示す図である。

【図12】本発明の実施形態に係る動作処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を用いて本発明を実施するための実施形態を説明する。

【0012】

（実施形態）
まず、図１を参照して、本発明の実施形態に係る撮像システムの全体構成を説明する。

【0013】

撮像システム１は、複数の撮像装置１１と制御部１２とを備えている。撮像システム１は、複数例えば４つの撮像装置１１が１つの制御部１２に共通に接続されて構成されている。各撮像装置１１は、例えば車両や船舶、飛行体などの同一の移動体に搭載され、被写体を撮像して画像データを得る。

【0014】

以下に説明する実施形態では、複数の撮像装置１１及び制御部１２は車両に搭載された場合を一例として説明する。したがって、以下に記載された車両とは、撮像システム１が搭載された車両を指すものとする。

【0015】

制御部１２は、図１に示すシステム構成では、複数の撮像装置１１に対して別体として設けられているが、図２に示すように、複数の撮像装置１１のいずれか１つの撮像装置１１内に設けられ、１つの撮像装置１１と一体化されていてもよい。

【0016】

各撮像装置１１と制御部１２との間では、有線や無線などの通信により必要な情報が伝送される。

【0017】

撮像システム１は、各撮像装置１１に対して共通となる目標ホワイトバランス値を算出し、各撮像装置１１が個別に算出した個別ホワイトバランス値を目標ホワイトバランス値に補正する。各撮像装置１１で撮像されて目標ホワイトバランス値に補正された画像は、適宜組み合わされて各撮像装置１１に接続された表示装置２に表示することができる。すなわち、表示装置２に各撮像装置１１で撮像された複数の画像が表示される際に、表示される複数の画像のホワイトバランス値はすべて目標ホワイトバランスに統一される。

【0018】

なお、表示装置２は、図１及び図２では１つしか記載されていないが、複数であってもよい。

【0019】

図３は車両の運転席周囲の様子を模式的に表した図である。

【0020】

表示装置２は、図３に示すように、撮像装置１１で撮像された画像を表示する液晶ディスプレイなどで構成された例えばデジタルルームミラー３１やデジタルサイドミラー３２（３２−Ｌ，３２−Ｒ）で構成される。また、表示装置２は、図３に示す例えばナビゲーションシステムにおいて地図情報などを表示する液晶ディスプレイで構成されたナビゲーションディスプレイ３３で構成される。

【0021】

また、表示装置２としては、図３には図示していないが、例えばフロントガラスに画像を表示するヘッドアップディスプレイや、ダッシュボードに配置された計器類に隣接して配置され車両の周囲の画像を表示するクラスターディスプレイなどで構成される。

【0022】

表示装置２は、上記に限らず各撮像装置１１で撮像された画像を表示できる表示装置であれば、どのような構成の表示装置であってもよい。

【0023】

図４はデジタルルームミラー３１に表示される画像の一例を示す図である。

【0024】

図４において、デジタルルームミラー３１には、その中央に車両の後方の画像４１が表示されている。デジタルルームミラー３１には、画像４１の左隣に車両の左後方の画像４２が画像４１と並んで表示されている。デジタルルームミラー３１には、画像４１の右隣に車両の右後方の画像４３が画像４１と並んで表示されている。

【0025】

図５は撮像システム１が例えば４つの撮像装置１１を備えている場合に、車両５１における各撮像装置１１の設置位置の一例を示す図である。各撮像装置１１は、図５に示す設置位置に限らず任意の位置に配置することができる。

【0026】

デジタルルームミラー３１に表示された画像４１は、図５に示す車両５１の後部に設置された撮像装置１１−Ｒで撮像されたものである。デジタルルームミラー３１に表示された画像４２は、図５に示す車両５１の左側方のドアミラーに設置された撮像装置１１−ＳＬで撮像されたものである。デジタルルームミラー３１に表示された画像４３は、図５に示す車両５１の右側方のドアミラーに設置された撮像装置１１−ＳＲで撮像されたものである。

【0027】

左側のデジタルサイドミラー３２−Ｌには、例えば撮像装置１１−ＳＬで撮像された画像が表示され、右側のデジタルサイドミラー３２−Ｒには、例えば撮像装置１１−ＳＲで撮像された画像が表示される。

【0028】

図６はナビゲーションディスプレイ３３に表示される画像の一例を示す。図６において、ナビゲーションディスプレイ３３には、車両５１の異なる位置に設置された複数の撮像装置で撮像された画像を合成して生成された、車両５１を含む車両周囲の俯瞰画像６１が表示されている。

【0029】

ナビゲーションディスプレイ３３に表示された車両５１の周囲の俯瞰画像６１は、俯瞰画像６２〜６５とが組み合わされて構成されている。俯瞰画像６２は、車両５１の前方の俯瞰画像であり、俯瞰画像６３は、車両５１の左側方の俯瞰画像であり、俯瞰画像６４は、車両５１の右側方の俯瞰画像であり、俯瞰画像６５は、車両５１の後方の俯瞰画像である。

【0030】

俯瞰画像６２は、例えば図５に示す車両５１の前部に設置された撮像装置１１−Ｆで撮像された画像に基づいて生成され、俯瞰画像６３は、例えば図５に示す撮像装置１１−ＳＬで撮像された画像に基づいて生成される。俯瞰画像６４は、例えば図５に示す撮像装置１１−ＳＲで撮像された画像に基づいて生成され、俯瞰画像６５は、例えば図５に示す撮像装置１１−Ｒで撮像された画像に基づいて生成される。

【0031】

次に、図７を参照して、撮像装置１１の構成を説明する。

【0032】

各撮像装置１１は、図７に示すように構成されている。各撮像装置１１は、図１に示すシステム構成ではすべて同一構成であるので、１つの撮像装置１１を代表して撮像装置１１の構成を説明する。

【0033】

図７において、撮像装置１１は、被写体を撮像して、被写体のアナログ画像信号を得る撮像部１００を備えている。

【0034】

撮像部１００は、ズームレンズ１００１、フォーカスレンズ１００２、絞り１００３、及びイメージセンサなどで構成される撮像素子１００４を備えている。

【0035】

ズームレンズ１００１は図示しないズームアクチュエータによって光軸に沿って移動する。同様に、フォーカスレンズ１００２は、図示しないフォーカスアクチュエータによって光軸に沿って移動する。絞り１００３は、図示しない絞りアクチュエータに駆動されて動作する。

【0036】

撮像部１００を用いた撮像は以下の手順で行われる。撮像素子１００４はズームレンズ１００１、フォーカスレンズ１００２、及び絞り１００３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。生成されたアナログ画像信号は、アナログ画像信号処理部１０１に与えられる。

【0037】

アナログ画像信号処理部１０１は、このアナログ画像信号を増幅した後、Ａ／Ｄ変換部１０２が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ１０３は、Ａ／Ｄ変換部１０２から与えられたデジタル画像データを取り込んで、取り込んだデジタル画像データをバス１０４を介してバス１０４に接続されたＲＡＭ１０５に記憶する。

【0038】

バス１０４には、デジタル信号処理部１０６、ホワイトバランス補正部１０７、撮像制御部１０８が接続されている。

【0039】

デジタル信号処理部１０６は、撮像制御部１０８の制御の下に、バス１０４を介してＲＡＭ１０５に格納されたデジタル画像データを読み込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。

【0040】

デジタル信号処理部１０６は、撮像素子１００４から出力される撮像時の感度情報、例えばＡＧＣゲインまたはＩＳＯ感度に基づき、デジタル画像データの各種デジタル補正処理を行う。各種デジタル補正処理は、例えばオフセット処理、ガンマ補正処理、ゲイン処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等である。

【0041】

ＡＧＣは、Automatic Gain Control：自動利得制御の略称であり、ＩＳＯは、International Organization for Standardization：国際標準化機構の略称である。

【0042】

ホワイトバランス補正部１０７は、後述する制御部１２で算出された目標ホワイトバランス値及び補正速度に基づいて、各撮像装置１１で算出された個別ホワイトバランス値を目標ホワイトバランス値に補正する。

【0043】

撮像制御部１０８は、バス１０４を介してＲＯＭ１０９に記憶された撮像装置１１の全体の動作を制御する制御プログラムを読み出し、読み出した制御プログラムに基づいて撮像装置１１の全体の動作を統括制御する。撮像制御部１０８は、ＣＰＵを有するマイクロコンピュータによって構成することができる。

【0044】

撮像制御部１０８は、アクチュエータ・センサ制御部１０８１、ホワイトバランス算出部１０８２、補正判別部１０８３、ＩＲセンサ信号取得部１０８４、通信部１０８５を備えている。

【0045】

アクチュエータ・センサ制御部１０８１は、前述した撮像部１００の図示しないズームアクチュエータ、フォーカスアクチュエータ及び絞りアクチュエータの駆動を制御する。アクチュエータ・センサ制御部１０８１は、撮像素子１００４の光電変換動作を制御する。

【0046】

ホワイトバランス算出部１０８２は、バス１０４を介してＲＡＭ１０５に記憶されたデジタル画像データを参照し、デジタル画像データの色情報のＲ（赤）Ｇ（緑）Ｂ（青）値の分布を測定する。ホワイトバランス算出部１０８２は、分布を測定しようとするデジタル画像データを複数の領域に分割し、分割した各領域毎にＲＧＢ値の平均値を求めてヒストグラムを作成することで、デジタル画像データのＲＧＢ値の分布を測定する。

【0047】

ホワイトバランス算出部１０８２は、作成したヒストグラムと、予め用意されたホワイトバランス算出用テーブルのヒストグラムとを照合するパターンマッチング処理を行う。このホワイトバランス算出用テーブルは、ＲＧＢ値の分布を表したヒストグラムとホワイトバランス値及び画像の色温度との対応関係を示すテーブルであり、記憶装置例えばＲＯＭ１０９に記憶されて予め用意される。

【0048】

ホワイトバランス算出部１０８２は、パターンマッチング処理の結果、作成したヒストグラムに一致する、または最も近いヒストグラムに対応したホワイトバランス値をデジタル画像データのホワイトバランス値として算出する。この算出されたホワイトバランス値は、各撮像装置１１毎に個別に算出される個別ホワイトバランス値となる。

【0049】

なお、ホワイトバランス算出部１０８２は、ホワイトバランス値に代えてデジタル画像データの色温度を算出し、色温度からホワイトバランス値を算出するようにしてもよい。また、ホワイトバランス算出部１０８２は、ホワイトバランス値と色温度との双方を算出してもよい。

【0050】

ホワイトバランス値と色温度との対応関係は、撮像部１００のレンズ類（ズームレンズ１００１、フォーカスレンズ１００２）や、撮像素子１００４、フィルタ（図示せず）などの特性に依存する。このため、ホワイトバランス値と色温度との対応関係は、各撮像装置１１毎に固有なものとなるので、各撮像装置１１の生産時に各撮像装置１１のホワイトバランス用ＲＯＭ１１０に予め記憶しておく。

【0051】

以下の説明では、ホワイトバランス算出部１０８２は、ヒストグラムから個別ホワイトバランス値のみを算出し、算出した個別ホワイトバランス値に基づいて後述する各種処理を行って目標ホワイトバランス値を算出するものとする。

【0052】

補正判別部１０８３は、制御部１２を介してＥＣＵ（エンジン・コントロール・ユニット）（図示せず）から与えられるエンジンの始動、停止の通知に基づいて、個別ホワイトバランス値の補正処理の開始、継続及び終了を判別する。ＥＣＵは、電子制御された装置によりエンジンの運転を制御する際に、それらを統括制御する装置である。

【0053】

補正判別部１０８３は、制御部１２を介してＥＣＵからエンジンの始動が通知されると補正処理の開始を判別する。これにより、撮像制御部１０８及びホワイトバランス補正部１０７は補正処理を開始する。補正判別部１０８３は、制御部１２を介してＥＣＵからエンジンの停止が通知されると補正処理の終了を判別する。これにより、撮像制御部１０８及びホワイトバランス補正部１０７は補正処理を終了する。補正判別部１０８３は、補正処理が開始された後、制御部１２を介してＥＣＵからエンジンの停止が通知されまでは補正処理を継続するものと判別する。これにより、撮像制御部１０８及びホワイトバランス補正部１０７は、補正処理を継続して行う。

【0054】

ＩＲセンサ信号取得部１０８４は、ＩＲ（赤外線）センサ３で得られたＩＲセンサ信号を取得する。ＩＲセンサ３は、受光した赤外線を電気信号に変換し、変換で得られた電気信号をＩＲセンサ信号としてＩＲセンサ信号取得部１０８４に与える。ＩＲセンサ３は、各撮像装置１１が搭載された車両に設けられている。

【0055】

ＩＲセンサ信号取得部１０８４は、取得したＩＲセンサ信号を通信部１０８５を介して制御部１２に与える。ＩＲセンサ信号は、後述するように車両の周囲の環境を把握するために用いられる。

【0056】

通信部１０８５は、撮像装置１１と制御部１２との間の情報の入出力を制御し、撮像装置１１と制御部１２との間で必要な情報を有線または無線で通信する。

【0057】

バス１０４には、入出力Ｉ／Ｆ１１１を介して入出力端子１１２が接続されている。入出力端子１１２には、表示装置２が接続される。

【0058】

次に、図８を参照して、制御部１２の構成を説明する。

【0059】

制御部１２は、図８に示すように構成されている。図８において、制御部１２は、ホワイトバランス制御部２００を備えている。

【0060】

ホワイトバランス制御部２００は、バス２０１を介してＲＯＭ２０２に記憶された制御部１２の全体の動作を制御する制御プログラムを読み出し、読み出した制御プログラムに基づいて制御部１２の全体の動作を統括制御する。ホワイトバランス制御部２００は、ＣＰＵを有するマイクロコンピュータによって構成することができる。

【0061】

バス２０１には、ホワイトバランス制御部２００及びＲＯＭ２０２の他に、ＲＡＭ２０３、重み付け係数用ＲＯＭ２０４及びＥＣＵ−ＩＦ２０５が接続されている。

【0062】

ホワイトバランス制御部２００は、バス２０１を介して以下に示す各種処理を行う際に必要となるデータを記憶するＲＡＭ２０３、及び重み付け係数用ＲＯＭ２０４との間でデータの入出力を行い、各種処理を実行する。

【0063】

ホワイトバランス制御部２００は、車速検出部２００１、舵角検出部２００２、シフトレバーポジション検出部２００３、車両走行状態判別部２００４、重み付け部２００５、平均値算出部２００６を備えている。

【0064】

車速検出部２００１は、車両に設けられた車速センサ４から与えられた車速信号に基づいて、車速を検出する。車速信号は、ＥＣＵなどに与えられる車速に応じた電気信号である。

【0065】

舵角検出部２００２は、車両に設けられた舵角センサ５から与えられた舵角信号に基づいて、車両の旋回角度を検出する。舵角信号は、ＥＣＵなどに与えられる車両の舵角に応じた電気信号である。

【0066】

シフトレバーポジション検出部２００３は、車両に設けられたシフトレバーセンサ６から与えられたシフトレバーポジション信号に基づいて、シフトレバーのポジション（シフトレンジ）を検出する。シフトレバーポジション信号は、ＥＣＵなどに与えられるシフトレバーのポジションを示す電気信号である。

【0067】

シフトレバーポジション信号は、シフトレバーが車両が前進するレンジ例えばＤ（ドライブ）レンジ、または車両が後進するＲ（リバース）レンジにあることを示す電気信号である。また、シフトレバーポジション信号は、シフトレバーが車両がＰ（駐車状態）レンジにあることを示す電気信号である。

【0068】

車両走行状態判別部２００４は、車速検出部２００１で検出された車速、舵角検出部２００２で検出された舵角、シフトレバーポジション検出部２００３で検出されたシフトレバーのポジションに基づいて、車両の走行状態を判別する。また、車両走行状態判別部２００４は、検出された車速及び舵角が継続している継続時間に基づいて、車両の走行状態を判別する。

【0069】

車両走行状態判別部２００４は、シフトレバーのポジションが車両が前進するレンジにあり、車速の変動量が所定値以下であり、かつこのような状態が所定時間以上継続している場合には、車両は前進しているものと判別する。あるいは、車両走行状態判別部２００４は、シフトレバーのポジションが車両が前進するレンジにあり、車速の変動量が所定値以上、旋回角度の変動量が所定値以下、かつこのような状態が所定時間継続している場合には、車両は前進しているものと判別する。ここでは、この走行状態を前進状態と呼ぶ。

【0070】

車両走行状態判別部２００４は、前進状態が第１所定時間継続しているか否かを判別する。また、車両走行状態判別部２００４は、前進状態が第２所定時間継続しているか否かを判別する。第２所定時間は第１所定時間よりも長く設定される。

【0071】

車両走行状態判別部２００４は、シフトレバーの位置がＲ（リバース）レンジにあり、車速の変動量が所定値以下であり、かつこのような状態が所定時間以上継続している場合には、車両は後進しているものと判別する。あるいは、車両走行状態判別部２００４は、シフトレバーの位置がＲ（リバース）レンジにあり、車速の変動量が所定値以上、旋回角度の変動量が所定値以下、かつこのような状態が所定時間継続している場合には、車両は後進しているものと判別する。ここでは、この走行状態を後進状態と呼ぶ。

【0072】

車両走行状態判別部２００４は、後進状態が第３所定時間継続しているか否かを判別する。また、車両走行状態判別部２００４は、後進状態が第４所定時間継続しているか否かを判別する。第４所定時間は第３所定時間よりも長く設定される。

【0073】

車両走行状態判別部２００４は、車速が所定値以上の減少を続け、同時にもしくはその後旋回角度の変動量が所定値以上の場合には、車両は交差点などで旋回を開始したものと判別する。ここでは、この走行状態を旋回状態と呼ぶ。

【0074】

車両走行状態判別部２００４は、車速の変動量が所定値以下、かつ旋回角度の変動量が所定値以下である場合には、車両はカーブなどで旋回している、または車線を変更しているものと判別する。ここでは、この走行状態を一時的変化状態と呼ぶ。

【0075】

車両走行状態判別部２００４は、シフトレバーのポジションがＰレンジにある場合、または車速が「０」の場合には、車両は停車状態にあるものと判別する。

【0076】

重み付け部２００５は、車両走行状態判別部２００４で判別された車両の走行状態に基づいて、各撮像装置１１から与えられた個別ホワイトバランス値に重み付け係数を乗算して重み付けを行う。

【0077】

重み付け係数は、予め任意に設定されて用意され、重み付け係数用ＲＯＭ２０４に記憶される。なお、重み付け係数は、重み付け係数用ＲＯＭ２０４に代えてＲＯＭ２０２などの他の記憶装置に記憶してもよい。

【0078】

車両が前進状態にある場合に、車両の前部に設置された撮像装置１１で撮像された画像のホワイトバランス値の重み付け係数は、他の撮像装置１１で撮像された画像のホワイトバランス値の重み付け係数よりも大きくする。車両が前進状態にある場合に、車両の前部に設置された撮像装置１１で撮像された画像のホワイトバランス値の重み付け係数は、車両が前進状態にある継続時間が長くなるほど増加する。増加する重み付け係数には、予め上限値が設けられる。

【0079】

撮像装置１１が設置される車両の前部としては、例えばフロントバンパーなどがあげられる。

【0080】

車両が後進状態にある場合に、車両の後部に設置された撮像装置１１で撮像された画像のホワイトバランス値の重み付け係数は、他の撮像装置１１で撮像された画像のホワイトバランス値の重み付け係数よりも大きくする。車両が後進状態にある場合に、車両の後部に設置された撮像装置１１で撮像された画像のホワイトバランス値の重み付け係数は、車両が後進状態にある継続時間が長くなるほど増加する。増加する重み付け係数には、予め上限値が設けられる。

【0081】

撮像装置１１が設置される車両の後部としては、例えばリアバンパーやバックドアなどがあげられる。

【0082】

車両が旋回状態または停車状態にある場合には、重み付け係数は初期状態に戻り、各撮像装置１１で撮像された画像のすべてのホワイトバランス値の重み付け係数は同一になる。

【0083】

車両が一時的変化状態にある場合には、重み付け係数は、それまでの重み付け係数が継続されて維持される。

【0084】

図９は車両に設置される撮像装置１１の設置場所を特定する際に設定された設置場所の区分けを示す図である。

【0085】

図９において、設置場所の区分けは車両９１を上から見たときに例えば９つに区分けされている。ここでは、車両９１を車両９１の前後方向に対して前部、中間部、後部の３つに分け、車両９１の左右方向に対して左、中央、右の３つに分けるものとする。この場合に、９つの設置場所の区分けは、図９に示すように、左前部ＬＦ、中央前部ＣＦ、右前部ＲＦ、左中間部ＬＭ、中央中間部ＣＭ、右中間部ＲＭ、左後部ＬＲ、中央後部ＣＲ、右後部ＲＲとする。

【0086】

なお、上記の設置場所の区分け例は一例であり、区分けの数ならびに区分けの仕方は任意に決めることができる。

【0087】

車両９１に搭載される撮像装置１１としては、少なくとも車両９１の前方を撮像する撮像装置１１と車両の後方を撮像する撮像装置１１とが搭載される。車両の前方を撮像する撮像装置１１は、図９に示す区分け例では例えば左前部ＬＦ、中央前部ＣＦ、右前部ＲＦ、中央中間部ＣＭのいずれかの設置場所に設置される。車両の後方を撮像する撮像装置１１は、図９に示す区分け例では例えば左後部ＬＲ、中央後部ＣＲ、右後部ＲＲ、中央中間部ＣＭのいずれかの設置場所に設置される。

【0088】

車両の左側方を撮像する撮像装置１１を搭載する場合には、図９に示す区分け例では例えば左前部ＬＦ、左中間部ＬＭ、左後部ＬＲのいずれかの設置場所に設置される。

【0089】

車両の右側方を撮像する撮像装置１１を搭載する場合には、図９に示す区分け例では例えば右前部ＲＦ、右中間部ＲＭ、右後部ＲＲのいずれかの設置場所に設置される。

【0090】

図１０は図９に示す９つの設置場所に設置される撮像装置１１で撮像された画像のホワイトバランス値の重み付け係数の具体的な数値の一例を示す図である。

【0091】

図１０において、重み付け係数が初期状態ですべて同一の場合には、図１０（ａ）に示すようにすべての撮像装置１１の重み付け係数はすべて「１」とする。

【0092】

車両が前進状態にあると判別された後、９つの設置場所に設置される撮像装置１１の重み付け係数は以下に示すようになる。

【0093】

車両が前進状態にあると判別された直後は、図１０（ｂ）に示すように、中央前部ＣＦに設置される撮像装置１１の重み付け係数は「３」とする。また、左前部ＬＦ、右前部ＲＦ及び中央中間部ＣＭに設置される撮像装置１１の重み付け係数は「２」とする。また、左中間部ＬＭ、右中間部ＲＭ、左後部ＬＲ、中央後部ＣＲ及び右後部ＲＲに設置される撮像装置１１の重み付け係数は、「１」とする。

【0094】

車両が前進状態にあると判別された後、前進状態が前述した第１所定時間継続した場合には、図１０（ｃ）に示すように、中央中間部ＣＭに設置される撮像装置１１の重み付け係数は、「３」から「４」に増加する。他の撮像装置１１の重み付け係数は変わらない。

【0095】

車両が前進状態にあると判別された後、前進状態が第１所定時間を超えて前述した第２所定時間継続した場合には、図１０（ｄ）に示すように、撮像装置１１の重み付け係数は以下に示すようになる。中央中間部ＣＭに設置される撮像装置１１の重み付け係数は、「４」から「８」に増加する。また、左前部ＬＦ、右前部ＲＦ及び中央中間部ＣＭに設置される撮像装置１１の重み付け係数は「２」から「４」に増加する。また、左中間部ＬＭ、右中間部ＲＭに設置された撮像装置１１の重み付け係数は、「１」から「２」に増加する。他の撮像装置１１の重み付け係数は変わらない。

【0096】

一方、車両が後進状態にあると判別された後、９つの設置場所に設置される撮像装置１１の重み付け係数は、図示しないが前進状態の場合と逆となる。

【0097】

すなわち、車両が後進状態にあると判別された後、９つの設置場所に設置される撮像装置１１の重み付け係数は以下に示すようになる。

【0098】

車両が後進状態にあると判別された直後は、中央後部ＣＲに設置される撮像装置１１の重み付け係数は「３」とする。また、左後部ＬＲ、右後部ＲＲ及び中央中間部ＣＭに設置される撮像装置１１の重み付け係数は「２」とする。また、左中間部ＬＭ、右中間部ＲＭ、左前部ＬＦ、中央前部ＣＦ及び右前部ＲＦに設置される撮像装置１１の重み付け係数は、「１」とする。

【0099】

車両が後進状態にあると判別された後、後進状態が前述した第１所定時間継続した場合には、中央中間部ＣＭに設置される撮像装置１１の重み付け係数は、「３」から「４」に増加する。他の撮像装置１１の重み付け係数は変わらない。

【0100】

車両が後進状態にあると判別された後、後進状態が第１所定時間を超えて前述した第２所定時間継続した場合には、撮像装置１１の重み付け係数は以下に示すようになる。中央中間部ＣＭに設置される撮像装置１１の重み付け係数は、「４」から「８」に増加する。また、左後部ＬＲ、右後部ＲＲ及び中央中間部ＣＭに設置される撮像装置１１の重み付け係数は「２」から「４」に増加する。また、左中間部ＬＭ、右中間部ＲＭに設置された撮像装置１１の重み付け係数は、「１」から「２」に増加する。他の撮像装置１１の重み付け係数は変わらない。

【0101】

車両が旋回状態または停車状態にあると判別された直後は、すべての撮像装置１１の重み付け係数は初期状態の「１」に戻る。

【0102】

図８に戻って、平均値算出部２００６は、重み付け部２００５で重み付けされた各撮像装置１１の個別ホワイトバランス値の平均値を算出する。平均値算出部２００６は、重み付けされた個別ホワイトバランス値の総和を撮像装置１１の総数で除して平均値を算出する。

【0103】

算出されたホワイトバランス値の平均値は、前述した目標ホワイトバランス値となり、すべての撮像装置１１に共通したホワイトバランス値となる。算出されたホワイトバランス値の平均値は、目標ホワイトバランス値として後述する通信部２０１１、及び撮像装置１１の通信部１０８５を介して各撮像装置１１のホワイトバランス補正部１０７に与えられる。

【0104】

図１１は各撮像装置１１で撮像された画像の色温度に対して図１０に示す重み付け係数にしたがって重み付けした色温度の変化の一例を示す図であり、縦軸は色温度であり、横軸は色温度が変化する経過時間である。図１１は色温度の変化を示しているが、色温度は上述したようにホワイトバランス値に対応した値となるので、図１１に示す色温度の変化は、ホワイトバランス値の変化を表すことになる。

【0105】

図１１において、色温度ＴＣＦは、図９に示す中央前部ＣＦの配置場所に設けられた撮像装置１１で撮像された画像の色温度である。色温度ＴＬＭは、図９に示す左中間部ＬＭの配置場所に設けられた撮像装置１１で撮像された画像の色温度である。色温度ＴＲＭは、図９に示す右中間部ＲＭの配置場所に設けられた撮像装置１１で撮像された画像の色温度である。色温度ＴＣＲは、図９に示す中央後部ＣＲの配置場所に設けられた撮像装置１１で撮像された画像の色温度である。

【0106】

色温度ＴＴは、上記各撮像装置１１で撮像された画像の色温度の平均値である。したがって、図１１に示す色温度ＴＴの変化は、平均値算出部２００６で算出されたホワイトバランス値の平均値、すなわち目標ホワイトバランス値の変化を表すことになる。

【0107】

図１１（ａ）は各撮像装置１１で撮像された画像の色温度に対して、図１０（ａ）に示す重み付け係数が適用された場合であり、図１１（ｂ）は図１０（ｂ）に示す重み付け係数が適用された場合である。図１１（ｃ）は図１０（ｃ）に示す重み付け係数が適用された場合であり、図１１（ｄ）は図１０（ｄ）に示す重み付け係数が適用された場合である。

【0108】

図１１から分かるように、車両が前進状態を継続して車両の走行状態が変化しない場合に、色温度ＴＴの平均値は、時間の経過とともに中央前部ＣＦに配置された撮像装置１１で撮像された画像の色温度に近づく。また、図示されてはいないが、車両が後進状態にある場合に、色温度ＴＴの平均値は、時間の経過とともに中央後部ＣＲに配置された撮像装置１１で撮像された画像の色温度に近づく。

【0109】

したがって、目標ホワイトバランス値の算出にあたっては、車両の運転者が注視する車両の進行方向を撮像した画像の個別ホワイトバランス値の重みが増していく。言い換えれば、重み付け係数は、車両の走行状態が変化しない場合に、目標ホワイトバランス値に対して車両の進行方向を撮像した画像の個別ホワイトバランス値の重みが時間の経過とともに増すように設定される。

【0110】

図８に戻って、ホワイトバランス制御部２００は、補正判別部２００７、補正速度算出部２００８、第１車両周囲環境判別部２００９、第２車両周囲環境判別部２０１０、通信部２０１１を備えている。

【0111】

補正判別部２００７は、各撮像装置１１の個別ホワイトバランス値を目標ホワイトバランス値に補正するか否かを判別する。

【0112】

走行している車両の周囲の環境は、車両の移動にともなって変化する場合が多いので、各撮像装置１１で撮像される被写体の画像のホワイトバランス値は、車両の移動にともなって変動する可能性が大きいと推測される。このため、ホワイトバランス値の変動に厳密に追従して各撮像装置１１で撮像された画像のホワイトバランス値を補正すると、ホワイトバランス値は激しく変動する可能がある。この場合に、ホワイトバランス値が激しく変動する画像は、視認者には不快感を与える可能性がある。

【0113】

このような不具合を回避するために、補正判別部２００７は、所定時間内に算出された目標ホワイトバランス値が所定の範囲内に収まり、目標ホワイトバランス値が安定したと判別した場合に、ホワイトバランス値を補正する。一方、補正判別部２００７は、所定時間内に算出された目標ホワイトバランス値が所定の範囲内に収まらず、目標ホワイトバランス値が不安定であると判別した場合には、ホワイトバランス値を補正せず、それまでのホワイトバランス値を維持する。

【0114】

車両が屋内外またはトンネルを出入りした直後は、ホワイトバランス値が変わる可能性が大きいと推測される。したがって、補正判別部２００７は、車両が屋内外またはトンネルを出入りした直後は、目標ホワイトバランス値が安定したか否かを判別することなくホワイトバランス値を補正する。

【0115】

補正判別部２００７は、後述するＥＣＵ−ＩＦ２０５を介してＥＣＵ（図示せず）から与えられるばエンジンの始動、停止の通知に基づいて、ホワイトバランス値の補正処理の開始、継続及び終了を判別する。

【0116】

補正判別部２００７は、ＥＣＵ−ＩＦ２０５を介してＥＣＵからエンジンの始動が通知されると補正処理の開始を判別する。これにより、制御部１２は補正処理を開始する。補正判別部２００７は、ＥＣＵ−ＩＦ２０５を介してＥＣＵからエンジンの停止が通知されると補正処理の終了を判別する。これにより、制御部１２は補正処理を終了する。補正判別部２００７は、補正処理が開始された後、ＥＣＵ−ＩＦ２０５を介してＥＣＵからエンジンの停止が通知されまでは補正処理を継続するものと判別する。これにより、制御部１２は、補正処理を継続して行う。

【0117】

補正速度算出部２００８は、各撮像装置１１毎に個別ホワイトバランス値を目標ホワイトバランス値に補正する補正速度を算出する。各撮像装置１１は、製造上のばらつきによりホワイトバランス値を補正する補正時間にばらつきがある。また、各撮像装置１１は、個別ホワイトバランス値が各撮像装置１１で異なるので、個別ホワイトバランス値と目標ホワイトバランス値との差分が異なる。

【0118】

これらのことから、各撮像装置１１では、個別ホワイトバランス値から目標ホワイトバランス値に補正が完了するまでの時間が異なる。したがって、目標ホワイトバランス値に補正された各撮像装置１１の画像を適宜組み合わせて表示したときに、ホワイトバランス値が速く補正される画像と遅く補正される画像とが生じる可能性がある。この結果、表示された画像は、視認者に違和感を与える可能性がある。

【0119】

そこで、補正速度算出部２００８は、各撮像装置１１に共通となる目標補正時間でホワイトバランス値の補正が完了するように、補正速度を算出する。すなわち、補正速度算出部は、各撮像装置１１の個別ホワイトバランス値が同時に目標ホワイトバランス値に補正されるように各撮像装置１１毎に補正速度を算出する。補正速度算出部２００８は、以下に示す手順にしたがって補正速度を算出する。

【0120】

補正速度算出部２００８は、まず通信部１０８５、２０１１を介して各撮像装置１１の個別ホワイトバランス値を取得する。補正速度算出部２００８は、取得した個別ホワイトバランス値と目標ホワイトバランス値との差分を算出する。補正速度算出部２００８は、個別ホワイトバランス値と目標ホワイトバランス値との差分を目標補正時間で除して補正速度を算出する。

【0121】

算出された補正速度は、通信部１０８５、２０１１を介して各撮像装置１１のホワイトバランス補正部１０７に与えられる。

【0122】

第１車両周囲環境判別部２００９は、車両に搭載されたＧＰＳ（Global Positioning System：全地球測位網）受信機７で受信したＧＰＳ衛星からの情報に基づいて、車両の現在位置を特定する。第１車両周囲環境判別部２００９は、車両の現在位置と第１車両周囲環境判別部２００９に備えた地図データとを照合して、現在車両が屋内外またはトンネルを出入りしたか否かを判別する。

【0123】

第２車両周囲環境判別部２０１０は、前述したＩＲセンサ３で取得されて撮像装置１１から与えられたＩＲセンサ信号に基づいて、現在車両が屋内外またはトンネルを出入りしたか否かを判別する。一般的に屋内外、及びトンネル内外の赤外線の光量は異なる。第２車両周囲環境判別部２０１０は、車両が屋内外またはトンネルを出入りした際の赤外線の光量の変化をＩＲセンサ信号に基づいて算出する。第２車両周囲環境判別部２０１０は、算出した赤外線の光量の変化に基づいて車両の屋内外またはトンネルの出入りを判別する。

【0124】

第１車両周囲環境判別部２００９及び第２車両周囲環境判別部２０１０のいずれか一方または双方が、屋内外またはトンネル内外の出入りを判別したときに、車両は屋内外またはトンネル内外を出入りしたものと判別する。

【0125】

なお、ホワイトバランス制御部２００は、第１車両周囲環境判別部２００９または第２環境判別部２０１０９のいずれか一方を備え、車両の屋内外またはトンネルの出入りを判別するようにしてもよい。

【0126】

通信部２０１１は、撮像装置１１と制御部１２との間の情報の入出力を制御し、撮像装置１１の撮像制御部１０８と制御部１２のホワイトバランス制御部２００との間で必要な情報を有線または無線で通信する。

【0127】

ＥＣＵ−ＩＦ２０５は、ホワイトバランス制御部２００とＥＣＵとの間で有線または無線により通信を行い、ホワイトバランス値を補正する処理の開始及び終了の指令となるエンジンの始動、停止を示す信号をＥＣＵから受信する。

【0128】

図１２は個別ホワイトバランス値を目標ホワイトバランス値に補正する処理が開始された後の補正処理の手順を示すフローチャートである。

【0129】

図１２において、ステップＳ１２０１〜Ｓ１２０９で示す処理は、各撮像装置１１で実行される処理であり、ステップＳ１３０１〜１３１５で示す処理は、制御部１２で実行される処理である。

【0130】

まず、各撮像装置１１で実行される処理から説明する。

【0131】

撮像部１００、アナログ画像信号処理部１０１、Ａ／Ｄ変換部１０２、画像入力コントローラ１０３は、ステップＳ１２０１にて、以下に示す処理を実行して、被写体のデジタル画像データを取得する。

【0132】

撮像部１００は、被写体を撮像して被写体のアナログ画像信号を生成する。アナログ画像信号処理部１０１は、生成されたアナログ画像信号を増幅する。Ａ／Ｄ変換部１０２は、増幅された信号をデジタル画像データに変換する。画像入力コントローラ１０３は、デジタル画像データを取り込んで、取り込んだデジタル画像データをバス１０４を介してＲＡＭ１０５に記憶する。

【0133】

ホワイトバランス算出部１０８２は、ステップＳ１２０２にて、取得したデジタル画像データにおけるＲＧＢ値のヒストグラムを作成し、作成したヒストグラムに基づいて取得したデジタル画像データの個別ホワイトバランス値を算出する。

【0134】

通信部１０８５は、ステップＳ１２０３にて、算出した個別ホワイトバランス値を制御部１２に伝送する。

【0135】

次に、制御部１２で実行される処理に移って、制御部１２で実行される一連の処理を説明する。

【0136】

制御部１２の通信部２０１１は、ステップＳ１３０１にて、撮像装置１１の通信部１０８５から伝送された各撮像装置１１の個別ホワイトバランス値を受信して取得する。

【0137】

車速検出部２００１は、ステップＳ１３０２にて、車速センサ４から車速信号を取得し、車速信号に基づいて車速を検出する。

【0138】

舵角検出部２００２は、ステップＳ１３０３にて、舵角センサ５から舵角信号を取得し、舵角信号に基づいて舵角を検出する。

【0139】

シフトレバーポジション検出部２００３は、ステップＳ１３０４にて、シフトレバーセンサ６からシフトレバーポジション信号を取得し、シフトレバーポジション信号に基づいてシフトレバーの位置を検出する。

【0140】

車両走行状態判別部２００４は、ステップＳ１３０５にて、検出された車速、舵角及びシフトレバーの位置に基づいて車両の走行状態として、停止状態、前進状態、後進状態、旋回状態、一時変化状態を判別する。また、車両走行状態判別部２００４は、ステップＳ１３０５にて、前進状態、後進状態が継続している継続時間を判別する。

【0141】

重み付け部２００５は、ステップＳ１３０６にて、車両の走行状態に基づいて、重み付け係数用ＲＯＭ２０４に記憶された重み付け係数を参照し、各撮像装置１１から与えられた個別ホワイトバランス値に重み付け係数を乗算して重み付けを行う。

【0142】

平均値算出部２００６は、ステップＳ１３０７にて、重み付けされた各撮像装置１１の個別ホワイトバランス値の平均値を算出し、算出した平均値を目標ホワイトバランス値とする。

【0143】

第１車両周囲環境判別部２００９は、ステップＳ１３０８にて、ＧＰＳ衛星からの情報及び地図データに基づいて、現在車両が屋内外またはトンネルを出入りしたか否かを判別する。第２車両周囲環境判別部２０１０は、ステップＳ１３０８にて、ＩＲセンサ信号に基づいて、現在車両が屋内外またはトンネルを出入りしたか否かを判別する。

【0144】

補正判別部２００７は、ステップＳ１３０９にて、各撮像装置１１の個別ホワイトバランス値を目標ホワイトバランス値に補正するか否かを判別する。判別の結果、補正しないと判別された場合には（ＮＯの場合）、ステップＳ１３１０に示す処理が実行される。

【0145】

一方、判別の結果、補正すると判別された場合には（ＹＥＳの場合）、ステップＳ１３１１に示す処理が実行される。

【0146】

制御部１２の通信部２０１１は、ステップＳ１３１０にて、個別ホワイトバランス値を目標ホワイトバランス値に補正しない旨を各撮像装置１１に伝送する。その後、ステップＳ１３１１に示す処理が実行される。

【0147】

上記ステップＳ１３０９に示す判別処理の結果、補正すると判別された場合には（ＹＥＳの場合）、補正速度算出部２００８は、ステップＳ１３１１にて、各撮像装置１１毎に個別ホワイトバランス値を目標ホワイトバランス値に補正する補正速度を算出する。

【0148】

制御部１２の通信部２０１１は、ステップＳ１３１２にて、個別ホワイトバランス値を目標ホワイトバランス値に補正する旨を各撮像装置１１に伝送する。その後、制御部１２の通信部２０１１は、ステップＳ１３１３にて、算出した目標ホワイトバランス値及び補正速度を各撮像装置１１に伝送する。

【0149】

次に、各撮像装置１１で実行される処理に移って、各撮像装置１１で実行される処理を説明する。

【0150】

撮像装置１１の通信部１０８５は、ステップＳ１２０４にて、制御部１２の通信部２０１１から伝送されたホワイトバランス値を補正するか否かの判別結果を受信して取得する。

【0151】

ホワイトバランス補正部１０７は、ステップＳ１２０５にて、取得したホワイトバランス値を補正するか否かの判別結果に基づいて、ホワイトバランス値を補正するか否かを決める。すなわち、ホワイトバランス補正部１０７は、ホワイトバランス値を補正しない旨の判別結果を取得した場合には（ＮＯの場合）、ホワイトバランス値を補正しない。その後、ステップＳ１２０１に示す処理が実行される。一方、ホワイトバランス補正部１０７は、ホワイトバランス値を補正する旨の判別結果を取得した場合には（ＹＥＳの場合）、ホワイトバランス値を補正する。その後、ステップＳ１２０６に示す処理が実行される。

【0152】

通信部１０８５は、ステップＳ１２０６にて、ステップＳ１３１１に示す処理で制御部１２の通信部２０１１から伝送された目標ホワイトバランス値と補正速度を受信して取得する。

【0153】

ホワイトバランス補正部１０７は、ステップＳ１２０７にて、各撮像装置１１毎に算出された補正速度にしたがって、個別ホワイトバランス値を目標ホワイトバランス値に補正する。

【0154】

ホワイトバランス補正部１０７は、ステップＳ１２０８にて、通信部１０８５を介してホワイトバランス値の補正が完了した旨制御部１２に伝送する。その後、ステップＳ１２０９に示す処理が実行される。

【0155】

補正判別部１０８３は、ステップＳ１２０９にて、エンジンの始動、停止の通知に基づいて、ホワイトバランス値の補正処理の継続または終了を判別する。判別の結果、補正処理を継続すると判別された場合には（ＹＥＳの場合）、ステップＳ１２０１に示す処理が実行される。一方、補正処理を終了すると判別された場合には（ＮＯの場合）、各撮像装置１１で実行される一連の処理が終了する。

【0156】

次に、制御部１２で実行される処理に移って、制御部１２で実行される処理を説明する。

【0157】

通信部２０１１は、ステップＳ１３１４にて、各撮像装置１１からホワイトバランス値の補正が完了した旨の通知を受信して取得する。

【0158】

補正判別部２００７は、ステップＳ１３１５にて、エンジンの始動、停止の通知に基づいて、ホワイトバランス値の補正処理の継続または終了を判別する。判別の結果、補正処理を継続すると判別された場合には（ＹＥＳの場合）、ステップＳ１３０１に示す処理が実行される。一方、補正処理を終了すると判別された場合には（ＮＯの場合）、制御部１２で実行される一連の処理が終了する。

【0159】

このような手順を実行することにより、各撮像装置１１の個別ホワイトバランス値は、目標ホワイトバランス値に補正される。

【0160】

なお、上記諸々の所定値、所定時間、所定の範囲は、例えば実車両による実験やシミュレーションなどの机上解析等によって定めることができる設計的事項の範囲内の値であり、所定値、所定時間を参照して実行する処理の内容に応じて適宜設定することができる。

【0161】

以上説明したように、撮像システム１は、以下に示す技術的特徴を備えることにより以下に示す効果を得ることができる。

【0162】

撮像システム１は、同一の移動体に搭載され、被写体を撮像して画像を取得する複数の撮像装置１１と、各撮像装置１１で取得された画像に対して共通した目標ホワイトバランス値を算出する制御部１２とを備えている。

【0163】

各撮像装置１１は、撮像装置１１で取得した画像の個別ホワイトバランス値を算出するホワイトバランス算出部１０８２を備えている。各撮像装置１１は、目標ホワイトバランス値に基づいて、各撮像装置１１で撮像された被写体の画像の個別ホワイトバランス値を目標ホワイトバランス値に補正するホワイトバランス補正部１０７とを備えている。

【0164】

制御部１２は、各撮像装置１１毎に設定された重み付け係数に基づいて、各撮像装置１１から与えられた個別ホワイトバランス値に対して、それぞれ個別に重み付けする重み付け部２００５を備えている。制御部１２は、重み付けされた個別ホワイトバランス値の平均値を算出し、個別ホワイトバランス値の平均値を目標ホワイトバランス値とする平均値算出部２００６を備えている。

【0165】

上記技術的特徴を採用することにより、撮像システム１は、従来のように単に複数の撮像装置１１のホワイトバランス値が平均化される場合に比べて、各撮像装置１１毎の特性を考慮して各撮像装置１１に共通した目標ホワイトバランス値を算出できる。

【0166】

これにより、各撮像装置１１で撮像された複数の画像のホワイトバランス値を最適に共通化することができる。この結果、各撮像装置１１で撮像された複数の画像が１つの表示装置２に表示される場合に、撮像システム１は、ホワイトバランス値が最適に調整された画像を視認者に提示することが可能となる。

【0167】

制御部１２は、個別ホワイトバランス値が同時に目標ホワイトバランス値に補正されるように、個別ホワイトバランス値を目標ホワイトバランス値に補正する補正速度を、各撮像装置１１に対して個別に算出する補正速度算出部２００８を備えている。ホワイトバランス補正部１０７は、補正速度算出部２００８で算出された補正速度に基づいて、撮像装置１１で撮像された被写体の画像の個別ホワイトバランス値を目標ホワイトバランス値に補正する。

【0168】

上記技術的特徴を採用することにより、撮像システム１は、各撮像装置１１の個別ホワイトバランス値を同時に目標ホワイトバランス値に補正することが可能となる。これにより、各撮像装置１１で撮像された複数の画像が１つの表示装置２に表示される場合に、目標ホワイトバランス値に補正された画像と補正されていない画像とが混在して表示されることは回避される。この結果、撮像システム１は、違和感のない画像を視認者に提示することができる。

【0169】

制御部１２は、所定の期間内に算出された目標ホワイトバランス値が所定の範囲内に収まっている場合に、個別ホワイトバランスを目標ホワイトバランスに補正すると判別する補正判別部２００７を備えている。

【0170】

上記技術的特徴を採用することにより、撮像システム１は、目標ホワイトバランス値が激しく変動することを回避することが可能となり、目標ホワイトバランス値に補正された画像の視認者に不快感を与えることのない画像を提示することができる。

【0171】

各撮像装置１１は、車両に搭載され、重み付け部２００５は、車両の走行状態に応じて重み付け係数を変化させる。

【0172】

上記技術的特徴を採用することにより、撮像システム１は、車両が前進または旋回しているといった、車両の走行状態に応じて各撮像装置１１の個別ホワイトバランス値の重み付けを変えることが可能となる。これにより、目標ホワイトバランス値は、車両の走行状態に応じて算出することができる。

【0173】

この結果、撮像システム１は、目標ホワイトバランス値を算出する際に、車両の進行方向を撮像する撮像装置１１の個別ホワイトバランス値が目標ホワイトバランス値に占める割合を高めることができる。例えば、車両が前進しているときには、車両の前方を撮像した画像の個別ホワイトバランス値の重みは、車両の前方を撮像した画像の他の画像の個別ホワイトバランス値よりも増す。

【0174】

これにより、撮像システム１は、車両の運転者が注視している車両の進行方向を撮像した画像の個別ホワイトバランス値の占める割合が高い目標ホワイトバランス値の画像を得ることができる。この結果、撮像システム１は、各撮像装置１１で撮像された複数の画像を１つの表示装置２に表示した場合に、車両の運転者が注視している車両の進行方向の実景を撮像した画像のホワイトバランス値に近い目標ホワイトバランス値の画像を提示することができる。これにより、撮像システム１は、車両の運転者が目標ホワイトバランス値に補正された画像を視認したときに違和感の少ない画像を提示することができる。

【0175】

重み付け部２００５は、車両の走行状態が継続している時間に基づいて重み付け係数を変化させる。

【0176】

上記技術的特徴を採用することにより、撮像システム１は、現在の車両の走行状態が長くなるほど各撮像装置１１の重み付け係数を増すことができる。これにより、車両の走行状態の継続時間を考慮して目標ホワイトバランス値を算出することができる。この結果、撮像システム１は、車両の運転者が注視している車両の進行方向を撮像した画像の個別ホワイトバランス値の占める割合が高い目標ホワイトバランス値の画像を得ることができる。この結果、上述したと同様に、撮像システム１は、車両の運転者が目標ホワイトバランス値に補正された画像を視認したときに違和感の少ない画像を提示することができる。

【符号の説明】

【0177】

１ 撮像システム
１１ 撮像装置
１２ 制御部
１０７ ホワイトバランス補正部
１０８２ ホワイトバランス算出部
２００５ 重み付け部
２００６ 平均値算出部
２００７ 補正判別部
２００８ 補正速度算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】