特開2022-171678車両に搭載される撮像システム、対象物識別装置、および対象物識別方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022171678
(43)【公開日】2022-11-11
(54)【発明の名称】車両に搭載される撮像システム、対象物識別装置、および対象物識別方法
(51)【国際特許分類】
H04N 5/232 20060101AFI20221104BHJP
G06T 7/00 20170101ALI20221104BHJP
G06V 10/22 20220101ALI20221104BHJP
G06V 20/56 20220101ALI20221104BHJP
H04N 7/18 20060101ALI20221104BHJP
【ＦＩ】
H04N5/232 290
G06T7/00 300
G06T7/00 650Z
G06V10/22
G06V20/56
H04N7/18 K
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022131447
(22)【出願日】2022-08-22
(62)【分割の表示】P 2018034588の分割
【原出願日】2018-02-28
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110000028
【氏名又は名称】弁理士法人明成国際特許事務所
(72)【発明者】
【氏名】秋葉 一芳
(72)【発明者】
【氏名】村尾 俊和
(72)【発明者】
【氏名】小林 和彦
(57)【要約】
【課題】広角カメラによって撮像された撮像画像の周辺部における対象物の認識精度を向上させる。
【解決手段】車両５００に搭載される撮像システム３０、３１が提供される。撮像システム３０、３１は、少なくとも１つの広角カメラ２０ａ、２１ａと、広角カメラ２０ａ、２１ａによって撮像された撮像画像に対して歪補正処理を実行し、予め用意された参照パターンを用いて、歪補正処理された撮像画像における対象物を識別する対象物識別装置２００、２１０とを備える。
【選択図】図１
【解決手段】車両５００に搭載される撮像システム３０、３１が提供される。撮像システム３０、３１は、少なくとも１つの広角カメラ２０ａ、２１ａと、広角カメラ２０ａ、２１ａによって撮像された撮像画像に対して歪補正処理を実行し、予め用意された参照パターンを用いて、歪補正処理された撮像画像における対象物を識別する対象物識別装置２００、２１０とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
車両に搭載される撮像システム（３０、３１）であって、
少なくとも１つの広角カメラ（２０ａ、２１ａ）と、
前記広角カメラによって撮像された撮像画像（ＷＩ）を複数の領域画像（ＣＡ、ＤＡ１、ＤＡ２）に分割し、前記複数の領域画像と各領域画像毎に予め用意された参照パターン（ＲＰ２、ＤＲＰ）とを用いて前記複数の領域画像における対象物を識別する対象物識別装置（２０、２１）と、を備える撮像システム。
少なくとも１つの広角カメラ（２０ａ、２１ａ）と、
前記広角カメラによって撮像された撮像画像（ＷＩ）を複数の領域画像（ＣＡ、ＤＡ１、ＤＡ２）に分割し、前記複数の領域画像と各領域画像毎に予め用意された参照パターン（ＲＰ２、ＤＲＰ）とを用いて前記複数の領域画像における対象物を識別する対象物識別装置（２０、２１）と、を備える撮像システム。
【請求項2】
請求項１に記載の撮像システムにおいて、
前記複数の領域画像は、前記撮像画像の周辺部領域（ＤＡ１、ＤＡ２）と前記周辺部領域以外の他の領域（ＣＡ）とを含み、
前記参照パターンは、前記他の領域に対応する第２の参照パターン（ＲＰ２）と、前記周辺部領域に対応する周辺部参照パターン（ＤＲＰ）とを含み、前記対象物識別装置は、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記周辺部参照パターンを用いて前記周辺部領域における対象物を識別する、撮像システム。
前記複数の領域画像は、前記撮像画像の周辺部領域（ＤＡ１、ＤＡ２）と前記周辺部領域以外の他の領域（ＣＡ）とを含み、
前記参照パターンは、前記他の領域に対応する第２の参照パターン（ＲＰ２）と、前記周辺部領域に対応する周辺部参照パターン（ＤＲＰ）とを含み、前記対象物識別装置は、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記周辺部参照パターンを用いて前記周辺部領域における対象物を識別する、撮像システム。
【請求項3】
請求項２に記載の撮像システムにおいて、
前記周辺部領域が有する歪みは前記広角カメラにより撮像された撮像画像の周辺部が有する歪みに相当し、
前記第２の参照パターンは、非広角カメラによる撮像画像における歪みに対応し、前記周辺部参照パターンは、前記広角カメラによる撮像画像の周辺部における歪みに対応する、撮像システム。
前記周辺部領域が有する歪みは前記広角カメラにより撮像された撮像画像の周辺部が有する歪みに相当し、
前記第２の参照パターンは、非広角カメラによる撮像画像における歪みに対応し、前記周辺部参照パターンは、前記広角カメラによる撮像画像の周辺部における歪みに対応する、撮像システム。
【請求項4】
請求項３に記載の撮像システムにおいて、
前記非広角カメラは、挟角カメラ（２０ｂ）および望遠カメラ（２０ｃ）の少なくともいずれか一方である、撮像システム。
前記非広角カメラは、挟角カメラ（２０ｂ）および望遠カメラ（２０ｃ）の少なくともいずれか一方である、撮像システム。
【請求項5】
請求項２から請求項４のいずれか一項に記載の撮像システムにおいて、
前記他の領域は非広角カメラの画角に対応する領域（ＮＩ）である、撮像システム。
前記他の領域は非広角カメラの画角に対応する領域（ＮＩ）である、撮像システム。
【請求項6】
対象物識別装置（２０、２１）であって、
広角カメラによって撮像された撮像画像を取得する取得部（２０３、２１３）と、
前記取得された撮像画像（ＷＩ）を複数の領域画像（ＣＡ、ＤＡ１、ＤＡ２）に分割し、前記複数の領域画像と各領域画像毎に予め用意された参照パターン（ＲＰ２、ＤＲＰ）とを用いて前記複数の領域画像における対象物を識別する識別部（２０１、２１１、Ｐ１、Ｐ３）と、を備える対象物識別装置。
広角カメラによって撮像された撮像画像を取得する取得部（２０３、２１３）と、
前記取得された撮像画像（ＷＩ）を複数の領域画像（ＣＡ、ＤＡ１、ＤＡ２）に分割し、前記複数の領域画像と各領域画像毎に予め用意された参照パターン（ＲＰ２、ＤＲＰ）とを用いて前記複数の領域画像における対象物を識別する識別部（２０１、２１１、Ｐ１、Ｐ３）と、を備える対象物識別装置。
【請求項7】
請求項６に記載の対象物識別装置において、
前記複数の領域画像は、前記撮像画像の周辺部領域（ＤＡ１、ＤＡ２）と前記周辺部領域以外の他の領域（ＣＡ）とを含み、
前記参照パターンは、前記他の領域に対応する第２の参照パターン（ＲＰ２）と、前記周辺部領域に対応する周辺部参照パターン（ＤＲＰ）とを含み、前記対象物識別装置は、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記周辺部参照パターンを用いて前記周辺部領域における対象物を識別する、対象物識別装置。
前記複数の領域画像は、前記撮像画像の周辺部領域（ＤＡ１、ＤＡ２）と前記周辺部領域以外の他の領域（ＣＡ）とを含み、
前記参照パターンは、前記他の領域に対応する第２の参照パターン（ＲＰ２）と、前記周辺部領域に対応する周辺部参照パターン（ＤＲＰ）とを含み、前記対象物識別装置は、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記周辺部参照パターンを用いて前記周辺部領域における対象物を識別する、対象物識別装置。
【請求項8】
請求項７記載の対象物識別装置において、
前記周辺部領域が有する歪みは前記広角カメラにより撮像された撮像画像の周辺部が有する歪みに相当し、
前記第２の参照パターンは、非広角カメラによる撮像画像における歪みに対応し、前記周辺部参照パターンは、前記広角カメラによる撮像画像の周辺部における歪みに対応する、対象物識別装置。
前記周辺部領域が有する歪みは前記広角カメラにより撮像された撮像画像の周辺部が有する歪みに相当し、
前記第２の参照パターンは、非広角カメラによる撮像画像における歪みに対応し、前記周辺部参照パターンは、前記広角カメラによる撮像画像の周辺部における歪みに対応する、対象物識別装置。
【請求項9】
請求項８に記載の対象物識別装置において、
前記非広角カメラは、挟角カメラ（２０ｂ）および望遠カメラ（２０ｃ）の少なくともいずれか一方である、対象物識別装置。
前記非広角カメラは、挟角カメラ（２０ｂ）および望遠カメラ（２０ｃ）の少なくともいずれか一方である、対象物識別装置。
【請求項10】
請求項７から請求項９のいずれか一項に記載の対象物識別装置において、
前記他の領域は非広角カメラの画角に対応する領域（ＥＩ）である、対象物識別装置。
前記他の領域は非広角カメラの画角に対応する領域（ＥＩ）である、対象物識別装置。
【請求項11】
対象物識別方法であって、
広角カメラ（２０ａ、２１ａ）によって撮像された撮像画像を取得し、
前記取得された撮像画像（ＷＩ）を複数の領域画像（ＣＡ、ＤＡ１、ＤＡ２）に分割し、前記複数の領域画像と各領域画像毎に予め用意された参照パターン（ＲＰ２、ＤＲＰ）とを用いて前記複数の領域画像における対象物を識別すること、を備える対象物識別方法。
広角カメラ（２０ａ、２１ａ）によって撮像された撮像画像を取得し、
前記取得された撮像画像（ＷＩ）を複数の領域画像（ＣＡ、ＤＡ１、ＤＡ２）に分割し、前記複数の領域画像と各領域画像毎に予め用意された参照パターン（ＲＰ２、ＤＲＰ）とを用いて前記複数の領域画像における対象物を識別すること、を備える対象物識別方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両に搭載される撮像システム、対象物識別装置、および対象物識別方法に関する。
【背景技術】
【0002】
車両の運転支援を行うために、車両のフロントガラスに装着される車載カメラを用いる技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１２－１６６６１５号公報
【0004】
しかしながら、車載カメラとして、広角レンズを有する広角カメラが用いられる場合、そのレンズ特性から、撮像画像の周辺部における画像に歪みが生じてしまう。この結果、歪みが少ないまたは歪みのない撮像画像の中央部の画像を想定して用意された対象物を識別するための識別パターンを用いる場合、撮像画像の周辺部における対象物の認識精度が低下するという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、広角カメラによって撮像された撮像画像の周辺部における対象物の認識精度を向上させる技術が望まれている。
【課題を解決するための手段】
【0006】
本開示は、以下の態様として実現することが可能である。
【0007】
第１の態様は、車両に搭載される撮像システムを提供する。第１の態様に係る撮像システムは、少なくとも１つの広角カメラと、前記広角カメラによって撮像された撮像画像に対して歪補正処理を実行し、予め用意された参照パターンを用いて、前記歪補正処理された前記撮像画像における対象物を識別する対象物識別装置と、を備える。
【0008】
第１の態様に係る撮像システムによれば、広角カメラによって撮像された撮像画像の周辺部における対象物の認識精度を向上させることができる。
【0009】
第２の態様は、車両に搭載される撮像システムを提供する。第２の態様に係る撮像システムは、少なくとも１つの広角カメラと、前記広角カメラによって撮像された撮像画像を複数の領域画像に分割し、前記複数の領域画像と各領域画像毎に予め用意された参照パターンとを用いて前記複数の領域画像における対象物を識別する対象物識別装置と、を備える。
【0010】
第２の態様に係る撮像システムによれば、広角カメラによって撮像された撮像画像の周辺部における対象物の認識精度を向上させることができる。
【0011】
第３の態様は、対象物識別装置を提供する。第３の態様に係る対象物識別装置は、広角カメラによって撮像された撮像画像を取得する取得部と、予め用意された参照パターンを用いて前記撮像画像における対象物を識別する識別部であって、前記取得された撮像画像に対して歪補正処理を実行し、前記参照パターンを用いて前記歪補正処理された前記撮像画像における対象物を識別する識別部と、を備える。
【0012】
第３の態様に係る対象物識別装置によれば、広角カメラによって撮像された撮像画像の周辺部における対象物の認識精度を向上させることができる。
【0013】
第４の態様は、対象物識別装置を提供する。第４の態様に係る対象物識別装置は、広角カメラによって撮像された撮像画像を取得する取得部と、前記取得された撮像画像を複数の領域画像に分割し、前記複数の領域画像と各領域画像毎に予め用意された参照パターンとを用いて前記複数の領域画像における対象物を識別する識別部と、を備える。
【0014】
第４の態様に係る対象物識別装置によれば、広角カメラによって撮像された撮像画像の周辺部における対象物の認識精度を向上させることができる。
【0015】
第５の態様は、対象物識別方法を提供する。第５の態様に係る対象物識別方法は、広角カメラによって撮像された撮像画像を取得し、前記取得された撮像画像に対して歪補正処理を実行し、前記参照パターンを用いて前記補正部によって歪補正処理された前記撮像画像における対象物を識別すること、を備える。
【0016】
第５の態様に係る対象物識別方法によれば、広角カメラによって撮像された撮像画像の周辺部における対象物の認識精度を向上させることができる。
【0017】
第６の態様は対象物識別方法を提供する。第６の態様に係る対象物識別方法は、広角カメラによって撮像された撮像画像を取得し、前記取得された撮像画像を複数の領域画像に分割し、前記複数の領域画像と各領域画像毎に予め用意された参照パターンとを用いて前記複数の領域画像における対象物を識別すること、を備える。
【0018】
第６の態様に係る対象物識別方法によれば、広角カメラによって撮像された撮像画像の周辺部における対象物の認識精度を向上させることができる。
【0019】
第５および第６の態様係る対象物識別方法は、対象物識別プログラムまたは当該プログラムを記録するコンピュータ読み取り可能記録媒体としても実現可能である。
【図面の簡単な説明】
【0020】
【図1】第１の実施形態に係る撮像システムが搭載された車両の一例を示す説明図。
【図2】第１の実施形態に係る対象物識別装置の機能的構成を示すブロック図。
【図3】第１の実施形態に係る対象物識別装置によって実行される対象物識別処理の処理フローを示すフローチャート。
【図4】広角カメラによって撮像された対象物を含む画像を模式的に示す説明図。
【図5】歪み補正処理が施された、広角カメラによって撮像された対象物を含む画像を模式的に示す説明図。
【図6】第２の実施形態に係る対象物識別装置の機能的構成を示すブロック図。
【図7】第２の実施形態に係る対象物識別装置によって実行される対象物識別処理の処理フローを示すフローチャート。
【図8】領域分割処理が施された、広角カメラによって撮像された対象物を含む画像を模式的に示す説明図。
【図9】周辺部に対して歪み補正処理が施された、中心窩カメラによって撮像された対象物を含む画像を模式的に示す説明図。
【図10】周辺部の対象物の周囲に対して歪み補正処理が施された、広角カメラによって撮像された対象物を含む画像を模式的に示す説明図。
【図11】車両に対するフロントカメラ装置の搭載位置を示す車両の前面図。
【図12】第１のカメラ構成例の内部構成を示す説明図。
【図13】第１のカメラ構成例の外部構成を示す斜視図。
【図14】第１のカメラ構成例における各レンズユニットの撮像範囲を示す上面模式図。
【図15】第１のカメラ構成例における各レンズユニットの配置関係を示す正面図。
【図16】第１のカメラ構成例における各レンズユニットを通した外界撮像によりそれぞれ生成される外界画像（ａ）、（ｂ）、（ｃ）を示す正面模式図。
【図17】第２のカメラ構成例における各レンズユニットの配置関係を示す正面図。
【図18】第３のカメラ構成例の外部構成を示す斜視図。
【図19】第３のカメラ構成例におけるフードを示す上面図。
【図20】第３のカメラ構成例における各レンズユニットの配置関係を示す正面図。
【図21】第４のカメラ構成例の外部構成を示す斜視図。
【図22】第５のカメラ構成例における各レンズユニットの配置関係を示す正面図。
【図23】第６のカメラ構成例における各レンズユニットの配置関係を示す正面図。
【図24】第７のカメラ構成例における各レンズユニットの配置関係を示す正面図。
【発明を実施するための形態】
【0021】
本開示に係る車両に搭載される撮像システム、対象物識別装置、および対象物識別方法について、いくつかの実施形態に基づいて以下説明する。
【0022】
第１の実施形態：
図１に示すように、第１の実施形態に係る対象物識別装置２００、２１０は、車両５００に搭載されて用いられる。車両５００のフロントガラス５１０にはフロントカメラ装置２０が配置され、リアガラス５１１にはリアカメラ装置２１が配置されている。対象物識別装置２００は、フロントカメラ制御装置とも呼ばれ、フロントカメラ装置２０と接続されている。対象物識別装置２１０は、リアカメラ制御装置とも呼ばれ、リアカメラ装置２１と接続されている。フロントカメラ制御装置２００およびフロントカメラ装置２０によってフロント撮像システム３０が構築され、リアカメラ制御装置２１０およびリアカメラ装置２１によってリア撮像システム３１が構築される。すなわち、対象物識別装置とカメラ装置との組み合わせによって撮像システム３０、３１が構築される。
図１に示すように、第１の実施形態に係る対象物識別装置２００、２１０は、車両５００に搭載されて用いられる。車両５００のフロントガラス５１０にはフロントカメラ装置２０が配置され、リアガラス５１１にはリアカメラ装置２１が配置されている。対象物識別装置２００は、フロントカメラ制御装置とも呼ばれ、フロントカメラ装置２０と接続されている。対象物識別装置２１０は、リアカメラ制御装置とも呼ばれ、リアカメラ装置２１と接続されている。フロントカメラ制御装置２００およびフロントカメラ装置２０によってフロント撮像システム３０が構築され、リアカメラ制御装置２１０およびリアカメラ装置２１によってリア撮像システム３１が構築される。すなわち、対象物識別装置とカメラ装置との組み合わせによって撮像システム３０、３１が構築される。
【0023】
フロントカメラ装置２０は、広角カメラ２０ａ、狭角カメラ２０ｂおよび望遠カメラ２０ｃを備えている。なお、フロントカメラ装置２０は、少なくとも１つの広角カメラ２０ａを備えていれば良く、更には、少なくとも１つの非広角カメラ、すなわち、狭角カメラ２０ｂおよび望遠カメラ２０ｃの少なくともいずれか一方を備えていても良い。また、広角カメラ２０ａ、狭角カメラ２０ｂおよび望遠カメラ２０ｃの配置は目的に応じて適宜決定されれば良い。例えば、一つの広角カメラ２０ａと、広角カメラ２０ａを挟んで配置されている二つの狭角カメラ２０ｂとを備え、二つの狭角カメラ２０ｂがステレオカメラとして用いられても良い。リアカメラ装置２１は１つの広角カメラ２１ａを備えている。なお、リアカメラ装置２１は、フロントカメラ装置２０と同様にして、少なくとも１つの非広角カメラを備えていても良い。
【0024】
対象物識別装置２００および対象物識別装置２１０は制御信号線を介して車両５００の主制御装置１００に接続されている。主制御装置１００は、車両５００の走行状態を制御するための制御装置であり、図示しないセンサ、アクチュエータと制御信号線を介して接続されている。第１の実施形態において、主制御装置１００は、フロントカメラ制御装置２００およびリアカメラ制御装置２１０から入力される対象物の識別信号に応じて制動装置、操舵装置、動力装置を制御し、車両５００の制動支援、操舵支援、先行車追随支援といった運転支援処理を実現する。
【0025】
対象物識別装置２００について図２を参照して説明する。以下では、対象物識別装置として、フロントカメラ制御装置２００を例にとって説明する。図２に示すように、対象物識別装置２００は、識別部としての中央処理装置（ＣＰＵ）２０１およびメモリ２０２、取得部としての入出力インタフェース２０３、並びにバス２０４を備えている。ＣＰＵ２０１、メモリ２０２および入出力インタフェース２０３はバス２０４を介して双方向通信可能に接続されている。メモリ２０２は、撮像画像中に含まれる対象物を識別するための対象物識別プログラムＰ１、撮像画像の歪みを補正するための歪補正処理プログラムＰ２を不揮発的且つ読み出し専用に格納するメモリ、例えばＲＯＭと、ＣＰＵ２０１による読み書きが可能なメモリ、例えばＲＡＭとを含んでいる。メモリ２０２にはさらに、撮像画像中に含まれる対象物を識別する際に用いられる、予め用意された第１の参照パターンＲＰ１を格納する参照パターン格納領域２２０ａを備える。第１の実施形態において用いられる第１の参照パターンＲＰ１は、広角カメラによって得られた撮像画像に対応する参照パターンであり、広角撮像画像中における対象物の種別の判定に用いられる第１の参照パターンである。すなわち、第１の参照パターンＲＰ１は、広角カメラによって得られた撮像画像の中央領域ＣＷＣに見られる対象物の歪みを考慮したパターンである。ＣＰＵ２０１はメモリ２０２に格納されている対象物識別プログラムＰ１および歪補正処理プログラムＰ２を読み書き可能なメモリに展開して実行することによって識別部としての機能を実現する。また、ＣＰＵ２０１は、対象物識別プログラムＰ１を実行して識別部としての機能を実現し、歪補正処理プログラムＰ２を実行して歪補正処理部としての機能を実現し、２つの機能を別途実現しても良い。なお、ＣＰＵ２０１は、単体のＣＰＵであっても良く、各プログラムを実行する複数のＣＰＵであっても良く、あるいは、複数のプログラムを同時実行可能なマルチコアタイプのＣＰＵであっても良い。また、対象物識別装置２００を別体で備えることなく、フロントカメラ装置２０またはリアカメラ装置２１によって撮像された未処理の画像データが検出信号として直接、主制御装置１００に入力されても良い。この場合には、上記した対象物の識別に際して実行される各処理が主制御装置１００において実行される。
【0026】
入出力インタフェース２０３には、フロントカメラ装置２０が接続されている。より具体的には、入出力インタフェース２０３には、広角カメラ２０ａ、狭角カメラ２０ｂおよび望遠カメラ２０ｃがそれぞれ制御信号線を介して接続されている。
【0027】
各カメラ２０ａ、２０ｂ、２０ｃは、ＣＣＤ等の撮像素子およびレンズを１つずつ備える撮像装置であり、可視光を受光することによって対象物の外形情報を含む画像データを出力する画像センサである。各カメラ２０ａ、２０ｂ、２０ｃから出力される画素データは、モノクロの画素データまたはカラー、例えば、ＲＧＢの画素データである。第１の実施形態において、広角カメラ２０ａ、２１ａは、単焦点の広角レンズと撮像素子とを有し、例えば、１２０°程度の画角を有する。狭角カメラ２０ｂは、単焦点の狭角レンズと撮像素子とを有し、例えば、６０°程度の画角を有する。望遠カメラ２０ｃは、単焦点の望遠レンズと撮像素子とを有し、例えば、３５°程度の画角を有する。なお、各カメラ２０ａ、２０ｂ、２０ｃおよび２１ａにおける画角は例示であり、広角カメラ２０ａ、２１ａの画角＞狭角カメラ２０ｂの画角＞望遠カメラ２０ｃの画角の関係が規定されていれば良い。また、広角カメラ２０ａ、２１ａの焦点距離＜狭角カメラ２０ｂの焦点距離＜望遠カメラ２０ｃの焦点距離の関係を有していると規定することもできる。さらに、狭角カメラ、狭角レンズは、標準カメラ、標準レンズと呼ぶことも可能であり、広角と望遠の間の画角を有するカメラ、レンズとして定義される。
【0028】
各カメラ２０ａ、２０ｂ、２０ｃから出力された画像データに対しては、対象物識別装置２００において特徴点抽出処理が実行され、抽出された特徴点が示す形状パターンと、予め用意されている判別されるべき対象物の種別、例えば、車両の形状、歩行者の形状あるいは二輪車の形状を示す参照パターンとが比較され、抽出された形状パターンと参照パターンとが一致または類似する場合には識別された対象物を含むフレーム画像が生成される。一方、抽出された外形パターンと参照パターンとが一致または類似しない場合、すなわち、非類似の場合にはフレーム画像は生成されない。なお、対象物識別装置２００は、特徴点抽出処理によって撮像画像データ中に含まれている何らかの対象物を検出可能であり、更に、参照パターンを用いて検出した対象物に対して識別処理を実行することによって検出された対象物の種別を識別する。また、参照パターンには、上記以外にも、例えば、信号機、車線や停止線等の道路標示が含まれ得る。
【0029】
参照パターンは、対象物の種別に応じて用意される形状パターンであるから、撮像画像に含まれている対象物が変形している場合には、その識別精度は低下する。広角カメラ２０ａによって得られた撮像画像の周辺部は、レンズの歪みに起因する樽形歪みを有しており撮像画像に含まれる周辺対象物の形状も歪んでおり、変形している。一方、一般的に、光軸における撮像画像に歪みはなく、また、光軸の周囲における撮像画像の歪みは小さい。よって、撮像画像の中央部または非周辺部における非周辺対象物の形状は変形していないか変形の度合いは小さい。したがって、参照パターンとして非周辺部における対象物の形状、すなわち、人の視覚によって視認される対象物の形状が定義されている場合には、周辺対象物に対して第１の参照パターンＲＰ１を用いるとパターンマッチング処理の精度が低下する。これに対して、第１の実施形態においては、撮像画像に対して周辺部における歪みを非周辺部における歪みまで低減する歪み補正処理を実行することによって、周辺対象物の歪みの度合い、すなわち、変形の度合いを低減して、非周辺部を対象として、非周辺部における歪みに対応する第１の参照パターンＲＰ１を用いた場合におけるパターンマッチング処理の精度を向上させる。
【0030】
撮像画像に複数の対象物が含まれる場合には、対象物識別装置２００において識別された各対象物を含む複数のフレーム画像が生成され、検出信号として主制御装置１００に入力される。各フレーム画像は画素により表され、判別された対象物の位置情報、すなわち、座標情報を含んでいる。検出信号に含まれ得るフレーム画像数は、対象物識別装置２００と主制御装置１００間の通信の帯域幅に依存する。
【0031】
図３から図５参照して、第１の実施形態に係る対象物識別装置２００により実行される歪み補正処理および対象物識別処理について説明する。ＣＰＵ２０１が対象物識別プログラムＰ１および歪補正処理プログラムＰ２を実行することによって図３に示す対象物識別処理が実行される。図３に示す処理ルーチンは、例えば、車両の制御システムの始動時から停止時まで、または、スタートスイッチがオンされてからスタートスイッチがオフされるまで所定の時間間隔にて繰り返して実行される。なお、第１の実施形態においては、対象物の識別処理は各カメラ２０ａ、２０ｂおよび２０ｃによって撮像された各画像に対して実行されるが、歪み補正処理は、広角カメラ２０ａによって撮像された画像に対してのみ実行される。したがって、以下では、広角カメラ２０ａによって撮像された画像に対する処理を説明する。
【0032】
ＣＰＵ２０１は、取得部としての入出力インタフェース２０３を介して、広角カメラ２０ａによって撮像された画像を取得する（ステップＳ１００）。ＣＰＵ２０１は、歪補正処理プログラムＰ２を実行し、取得した画像に対して歪み補正処理を実行する（ステップＳ１１０）。例えば、図４に示すように、広角カメラ２０ａによって撮像された広角画像ＷＩは水平方向または横方向、すなわち、フロントカメラ装置２０が車載されている車両の幅方向、におけるに膨らむ、いわゆる樽形歪みを有している。この結果、広角画像ＷＩの中央領域ＣＷＣ、すなわち、非周辺部領域に含まれている対象物ＣＴは歪みを有していないか小さな歪みを有しているのに対して、広角画像ＷＩの周辺部の領域である周辺部領域ＥＷＩ、すなわち水平方向の両端部に含まれている対象物ＤＴ１、ＤＴ２は、中央領域ＣＷＣから離間する方向に向かって変形する歪みを有している。歪み補正処理が実行されると、例えば、図５に示すように、一点鎖線で示す広角画像ＷＩは実線で示す補正後広角画像ＭＷＩへと補正され、歪み対象物ＤＴ１、ＤＴ２は、歪みが低減された補正処理後の対象物ＭＴ１、ＭＴ２の形状で表される。本実施形態において、広角カメラ２０ａにより撮像された広角画像ＷＩの歪み補正処理は、広角画像ＷＩの周辺部領域ＥＷＩの歪みを、広角画像の歪み、すなわち、広角画像の中央領域ＣＷＣの歪み程度まで低減する処理であり、対象物ＤＴ１、ＤＴ２が有する歪みを中央領域ＣＷＣにおける対象物が有する歪み程度に低減する処理である。図５においては、説明を容易にするため、対象物ＤＴ１、ＤＴ２が有する歪みを大きく補正して示している。なお、図４および５の例では、理解を容易にするために、広角画像ＷＩおよび補正後広角画像ＭＷＩの水平方向への歪みを強調しているが、鉛直方向または縦方向においても同様の歪みは存在し、鉛直向の周辺部における対象物は中央領域ＣＷＣから離間する方向に向かって変形する歪みを有している。また、広角画像全体における歪みを補正する処理、広角画像ＷＩの歪み補正処理は、撮像画像の全体を対象とするが、歪み補正のレベルによっては、撮像画像の全体に対して歪み補正処理が実行されないこともある。例えば、歪み補正のレベルが広角画像ＷＩの中央領域ＣＷＣにおける歪みへの補正レベルである場合には、中央領域ＣＷＣの少なくとも一部に対する歪み補正は実行されず、歪み補正のレベルが狭角画像における歪みへの補正レベルである場合には、中央領域ＣＷＣに対する歪み補正も実行され得る。
【0033】
歪み補正処理について詳細に説明する。歪み補正処理において、ＣＰＵ２０１は、予め用意されメモリ２０２に格納されているレンズの設計値または実測により得られた個体特性値を用いて画像に対する歪み補正処理を実行する。設計値は、広角カメラ２０ａが備える広角レンズ単体のディストーション値であり、より具体的には、ＴＶディストーション値である。ディストーション値は、百分率によって表される。設計値を用いる場合には、予め撮像画像上における広角カメラ２０ａの光軸、すなわち光軸座標を求めておき、光軸を中心にしてディストーション値を用いて、画像を縦横方向に伸張または圧縮することによって歪み補正処理が実行される。より具体的には、画像を構成する各画素の座標位置を、例えば、アフィン変換によって座標変換し、縦横方向に移動させることによって実行される。なお、広角カメラ２０ａによる画像の歪みは画像の周辺部において顕著であるから、画像の伸張・圧縮に際しては、予め定められた周辺部の画素についてのみ座標変換が実行されれば良い。あるいは、光軸が一致するように、予め用意された歪み補正用の格子点テンプレートを撮像画像に重ね合わせ、各格子点に対応する画素値を周辺画素値を用いた補間処理によって求めることによって実行される。
【0034】
個体特性値は、個々の広角カメラ２０ａによってグリッドチャートを撮像することによって得られた広角カメラ２０ａの実測歪み特性、すなわち、光学ディストーション値である。個体特性値を用いる場合には、レンズ特性のみならず、各広角カメラ２０ａの組立公差までを補正することができるので、対象物の識別精度はより向上される。光学ディストーション値は、光軸点からグリッドチャート上の各グリッド格子点までのグリッド距離と、光軸点から撮像画像上におけるグリッド格子点に対応する撮像格子点までの撮像距離との差分をグリッド距離にて除算して得られた百分率によって表される値である。すなわち、光学ディストーション値は、各撮像格子点について個別に用意されている。個体特性値を用いる場合には、予め撮像画像上における広角カメラ２０ａの光軸を求めておき、各撮像格子点の画素について光学ディストーション値を適用して座標変換し、各撮像格子点間の画素については補間処理を実行することによって、歪み補正処理が実行される。補間処理としては、例えば、ニアレストネイバー法、バイリニア法、バイキュービック法を用いた補間処理が可能である。
【0035】
ＣＰＵ２０１は、歪み補正処理が施された補正後画像をメモリ２０２、より具体的にはフレームメモリに展開し、第１の参照パターンＲＰ１を用いた識別処理、すなわち、パターンマッチング処理を実行する（ステップＳ１２０）。具体的には、図５に示すように、ＣＰＵ２０１は、広角画像の中央領域の対象物ＣＴを対象として予め用意されている広角画像用の第１の参照パターンＲＰ１を用いて、補正後広角画像ＭＷＩに含まれる対象物ＣＴ、ＭＴ１、ＭＴ２に対してパターンマッチング処理を実行する。
【0036】
ＣＰＵ２０１は、フレーム画像および対象物の属性情報を含む識別結果を主制御装置１００に出力して（ステップＳ１３０）、本処理ルーチンを終了する。以上の処理は、リアカメラ装置２１と接続されているリア対象物識別装置２１０においても同様に実行され得る。また、広角カメラ２０ａ以外の狭角カメラ２０ｂおよび望遠カメラ２０ｃによって撮像された撮像画像における対象物については、歪み補正処理を実行する点を除いて上記の手順に準じて識別処理が実行される。
【0037】
第１の実施形態に係る対象物識別装置２００によれば、広角カメラ２０ａによって撮像された撮像画像に対して歪み補正処理を行い、予め用意されている一の広角画像用の第１の参照パターンＲＰ１を用いて撮像画像全体における対象物の識別処理を実行する。したがって、一の広角画像用の第１の参照パターンＲＰ１を用いる場合であっても、広角画像ＷＩの周辺部領域ＥＷＩにおける対象物ＤＴ１、ＤＴ２の識別精度を向上させることができる。また、対象物の識別に際して、撮像画像の領域毎に複数の参照パターンを用いることなく、一の第１の参照パターンＲＰ１を用いて撮像画像全体における対象物の識別を実行することができる。
【0038】
第２の実施形態：
第２の実施形態に係る対象物識別装置および撮像システムは、フロントカメラに加えて、リア対象物識別装置２１０、リア広角カメラ２１ａおよびリア撮像システム３１を備える他は、第１の実施形態に係る対象物識別装置２００、撮像システムと同様であるから各構成に対しては同一の符号を付すことで詳細な説明を省略する。第２の実施形態に係る対象物識別装置２００、２１０においては、広角カメラ２０ａ、２１ａによって撮像された撮像画像における対象物の識別に際して、各撮像領域に用意された複数の参照パターンＲＰを用いる。
第２の実施形態に係る対象物識別装置および撮像システムは、フロントカメラに加えて、リア対象物識別装置２１０、リア広角カメラ２１ａおよびリア撮像システム３１を備える他は、第１の実施形態に係る対象物識別装置２００、撮像システムと同様であるから各構成に対しては同一の符号を付すことで詳細な説明を省略する。第２の実施形態に係る対象物識別装置２００、２１０においては、広角カメラ２０ａ、２１ａによって撮像された撮像画像における対象物の識別に際して、各撮像領域に用意された複数の参照パターンＲＰを用いる。
【0039】
第２の実施形態に係る対象物識別装置としての、リア対象物識別装置２１０は、図６に示すように、識別部としての中央処理装置（ＣＰＵ）２１１およびメモリ２１２、取得部としての入出力インタフェース２１３、並びにバス２１４を備えている。ＣＰＵ２１１、メモリ２１２および入出力インタフェース２１３はバス２１４を介して双方向通信可能に接続されている。入出力インタフェース２１３には、リアカメラ装置２１が制御信号線を介して接続されている。対象物識別装置としての、フロント対象物識別装置２００の構成については、第１の実施形態において説明済みであるから説明を省略する。
【0040】
第２の実施形態において、フロント対象物識別装置２００およびリア対象物識別装置２１０のメモリ２０２、２１２は、撮像画像中に含まれる対象物を識別するための対象物識別プログラムＰ１、撮像画像を所望の領域に分割する領域分割プログラムＰ３、撮像画像中に含まれる対象物を識別する際に用いられる、予め用意された複数の第２の参照パターンＲＰ２、周辺部参照パターンＤＲＰを格納する参照パターン格納領域２２０ａ、２２１ａを備える。第２の実施形態において用いられる参照パターンには、狭角画像、すなわち非広角画像の歪みに対応し、中央領域における対象物を識別するための第２の参照パターンＲＰ２、および広角画像の端部領域における対象物を識別するための周辺部参照パターンＤＲＰが含まれている。狭角画像の歪みに対応するとは、狭角画像の中央領域における歪みに対応することを意味する。周辺部参照パターンＤＲＰは、広角カメラ２０ａに起因する歪みを有する周辺部、すなわち、端部領域に撮像される対象物の形状に合わせたパターンとして、予め用意されている。
【0041】
図７および図８を参照して、第２の実施形態に係る対象物識別装置により実行される歪み補正処理および対象物識別処理について説明する。ＣＰＵ２０１が対象物識別プログラムＰ１および領域分割プログラムＰ３を実行することによって図７に示す対象物識別処理が実行される。図７に示す処理ルーチンは、例えば、車両の制御システムの始動時から停止時まで、または、スタートスイッチがオンされてからスタートスイッチがオフされるまで所定の時間間隔にて繰り返して実行される。なお、第２の実施形態においては、対象物の識別処理は各カメラ２０ａ、２０ｂおよび２１ａによって撮像された各画像に対して実行されるが、説明を簡易にするために、フロント対象物識別装置２００を例にして説明する。また、領域分割処理は、フロント広角カメラ２０ａ、リア広角カメラ２１ａによって撮像された画像に対してのみ実行されるので、以下では、フロント広角カメラ２０ａによって撮像された画像に対する処理を説明する。
【0042】
ＣＰＵ２０１は、取得部としての入出力インタフェース２０３を介して、広角カメラ２０ａによって撮像された画像を取得する（ステップＳ２００）。ＣＰＵ２０１は、領域分割プログラムＰ３を実行し、取得した画像を複数の領域に分割する領域分割処理を実行する（ステップＳ２１０）。例えば、図８に示すように、広角カメラ２０ａによって撮像された広角画像ＷＩは水平方向、すなわち、フロントカメラ装置２０が車載されている車両の幅方向、におけるに膨らむ、いわゆる樽形歪みを有している。また、非周辺部領域に含まれている対象物ＣＴは小さな歪み、すなわち、広角歪みを有している、あるいは、歪みを有していないのに対して、両端部領域に含まれている対象物ＤＴ１、ＤＴ２は、中央領域ＣＡから離間する方向に向かって大きく変形する歪みを有している。
【0043】
第２の実施形態において、ＣＰＵ２０１は、広角画像ＷＩを、狭角カメラ２０ｂによって撮像された狭角画像ＮＩの画角と重複する中央領域ＣＡと、狭角画像ＮＩの画角とは重複しない周辺部領域である両端部領域ＤＡ１、ＤＡ２の３領域に分割する。両端部領域は右側端部領域ＤＡ１と左側端部領域ＤＡ２とを含んでいる。画像領域の分割は、例えば、広角画像ＷＩの水平方向をｘ軸、鉛直方向をｙ軸として、中央領域ＣＡ、両端部領域ＤＡ１、ＤＡ２をそれぞれｘ、ｙの座標値によって規定することによって実行され得る。広角画像ＷＩを構成する各画素の位置は、画素座標値によって定義されているので、中央領域ＣＡ、両端部領域ＤＡ１、ＤＡ２に対応する画素は容易に判別することができる。
【0044】
ＣＰＵ２０１は、分割された撮像画像の３つの領域ＣＡ、ＤＡ１、ＤＡ２のうちの一つの領域の画像をメモリ２０２、より具体的にはフレームメモリに展開し、展開した領域に対応する第２の参照パターンＲＰ２、周辺部参照パターンＤＲＰを用いた識別処理、すなわち、パターンマッチング処理を実行する（ステップＳ２２０）。ＣＰＵ２０１は、全ての領域、本実施形態では３つの領域画像に対してパターンマッチング処理が終了したか否かを判定し（ステップＳ２３０）する。ＣＰＵ２０１は、全ての領域に対するパターンマッチング処理が終了していない場合には（ステップＳ２３０：Ｎｏ）、次の領域ＣＡ、ＤＡ１、ＤＡ２の画像をメモリ２０２に展開しステップＳ２２０を繰り返す処理を順次実行する。具体的には、図８に示すように、ＣＰＵ２０１は、中央領域ＣＡの対象物ＣＴに対しては、狭角画像の歪みに対応して予め用意されている第２の参照パターンＲＰ２を用いてパターンマッチング処理を実行し、端部領域ＤＡ１、ＤＡ２における対象物ＤＴ１、ＤＴ２に対しては、広角画像の端部歪みに対応して予め用意されている周辺部参照パターンＤＲＰを用いてパターンマッチング処理を実行する。広角画像ＷＩであっても中央領域ＣＡにおける歪みは狭角画像における歪みと同等または大きく変わらないので、狭角画像の歪みに対応する第２の参照パターンＲＰ２を用いても精度を大きく低下させることなく対象物の識別が可能である。この場合、広角画像の歪みに対応する参照パターンを備えることなく広角画像ＷＩに対する対象物の識別処理が可能となる。但し、より高い識別精度が求められる場合には、広角画像に対応する参照パターンを中央領域に対して適用して対象物が識別されても良い。なお、右端部領域ＤＡ１と左端部領域ＤＡ２とにおける周辺部参照パターンＤＲＰは、例えば、広角画像ＷＩの鉛直方向の中心線に対して線対称である。なお、同一の広角カメラ２０ａが継続して用いられるので、予め画像領域の分割処理を実行して中央領域ＣＡ、両端部領域ＤＡ１、ＤＡ２を規定する座標情報をメモリ２０２に格納し、あるいは、第１回目の領域分割処理の実行時の中央領域ＣＡ、両端部領域ＤＡ１、ＤＡ２を規定する座標情報をメモリ２０２に格納し、格納された座標情報を用いて、識別処理が実行されても良い。
【0045】
ＣＰＵ２０１は、全ての領域に対するパターンマッチング処理が終了すると（ステップＳ２３０：ＹＥＳ）、フレーム画像および対象物の属性情報を含む識別結果を主制御装置１００に出力して（ステップＳ２４０）、本処理ルーチンを終了する。以上の処理は、リアカメラ装置２１と接続されているリア対象物識別装置２１０においても同様に実行され得る。また、広角カメラ２０ａ以外の狭角カメラ２０ｂおよび望遠カメラ２０ｃによって撮像された撮像画像における対象物については、領域分割処理を実行する点を除いて上記の手順に準じて識別処理が実行される。
【0046】
第２の実施形態に係る対象物識別装置２００によれば、広角カメラ２０ａによって撮像された撮像画像を複数の領域に分割する領域分割処理を行い、各分割領域毎に予め用意されている複数の第２の参照パターンＲＰ２、周辺部参照パターンＤＲＰを用いて、各分割領域における対象物の識別処理を実行する。したがって、各分割領域における画像の歪み、すなわち、対象物が有する歪みに応じた第２の参照パターンＲＰ２、周辺部参照パターンＤＲＰを用いてパターンマッチング処理を実行することが可能となり、広角画像ＷＩの周辺部領域ＤＡ１、ＤＡ２における対象物ＤＴ１、ＤＴ２の識別精度を向上させることができる。また、対象物の識別に際して、撮像画像に対する歪み補正処理を実行することなく、広角画像ＷＩの周辺部領域ＤＡ１、ＤＡ２における対象物ＤＴ１、ＤＴ２の識別精度を向上させることができる。さらに、広角画像ＷＩの中央領域ＣＡに対して狭角画像における歪みに対応する第２の参照パターンＲＰ２を用いるので、広角画像ＷＩの中央領域ＣＡに対応する更なる参照パターンを用意しなくて良い。
【0047】
第３の実施形態：
第１の実施形態においては、対象物識別装置２００は、広角カメラ２０ａにより撮像された広角画像の全体を対象として周辺部領域ＥＷＩにおける広角歪みを中央領域ＣＷＣにおける歪み程度まで低減するための歪み補正処理を実行したが、画像の全体を対象として狭角画像の歪み程度、すなわち、非広角歪み程度まで広角画像における歪みを補正する歪み補正処理を実行しても良い。この場合には、歪みの補正レベルを上げて対象物の識別精度を向上させることができると共に、対象物識別装置２００として、参照パターンとして広角画像用の第１の参照パターンＲＰ１を備えることなく、狭角画像における歪み、すなわち、非広角歪みに適応した第２の参照パターンＲＰ２のみを用いて広角カメラ２０ａおよび狭角カメラ２０ｂにより撮像された撮像画像に対するパターンマッチング処理を実行することができる。さらに、対象物識別装置２００は、広角カメラ２０ａにより撮像された広角画像の全体を対象として狭角画像の最大歪み程度まで広角画像における歪みを補正する歪み補正処理を実行しても良い。この場合には、歪みの補正レベルを上げて対象物の識別精度を向上させることができると共に、歪み補正処理に要する時間および処理負荷を低減することができる。また、参照パターンとして非広角歪みに適応した第２の参照パターンＲＰ２のみを用いて広角カメラ２０ａおよび狭角カメラ２０ｂにより撮像された撮像画像に対するパターンマッチング処理を実行することができる。
第１の実施形態においては、対象物識別装置２００は、広角カメラ２０ａにより撮像された広角画像の全体を対象として周辺部領域ＥＷＩにおける広角歪みを中央領域ＣＷＣにおける歪み程度まで低減するための歪み補正処理を実行したが、画像の全体を対象として狭角画像の歪み程度、すなわち、非広角歪み程度まで広角画像における歪みを補正する歪み補正処理を実行しても良い。この場合には、歪みの補正レベルを上げて対象物の識別精度を向上させることができると共に、対象物識別装置２００として、参照パターンとして広角画像用の第１の参照パターンＲＰ１を備えることなく、狭角画像における歪み、すなわち、非広角歪みに適応した第２の参照パターンＲＰ２のみを用いて広角カメラ２０ａおよび狭角カメラ２０ｂにより撮像された撮像画像に対するパターンマッチング処理を実行することができる。さらに、対象物識別装置２００は、広角カメラ２０ａにより撮像された広角画像の全体を対象として狭角画像の最大歪み程度まで広角画像における歪みを補正する歪み補正処理を実行しても良い。この場合には、歪みの補正レベルを上げて対象物の識別精度を向上させることができると共に、歪み補正処理に要する時間および処理負荷を低減することができる。また、参照パターンとして非広角歪みに適応した第２の参照パターンＲＰ２のみを用いて広角カメラ２０ａおよび狭角カメラ２０ｂにより撮像された撮像画像に対するパターンマッチング処理を実行することができる。
【0048】
第４の実施形態：
第１の実施形態における広角カメラ２０ａは、一般的な広角レンズを有していたが、広角レンズとして、広角カメラ２０ａは、中心窩レンズを有していても良い。中心窩レンズは、図９に示すように、光軸を中心とする一定の範囲、すなわち、中央領域ＣＷＣにおける像を拡大し、中央領域ＣＷＣ以外の領域、すなわち、周辺部領域ＥＷＩにおける像を圧縮する光学特性を有する、正射影方式の魚眼レンズの一種である。中心窩レンズは、ｙ＝ｆｓｉｎ（θ）の特性式で表される。ここで、ｙ：像高、：焦点距離、θ：半画角である。これに対して、第１の実施形態において用いられている広角レンズは、ｙ＝ｆｔａｎ（θ）の特性式で表され得る中心射影方式のレンズである。中心窩レンズは、広い画角を有し、中央領域ＣＷＣにおける歪曲収差の値は所定値以下であり、周辺部領域ＥＷＩにおける像歪曲収差の値は所定値よりも大きい。ここで、所定値としては、例えば、狭角カメラにより撮像された狭角画像における中央領域における歪み、あるいは、挟角撮像の最大歪みであって良い。したがって、中心窩レンズによれば、中央領域ＣＷＣにおいて高解像度で歪みの目立たない撮像画像を得ることが可能となり、歪み補正処理を実行すべき画像領域を低減することができる。すなわち、図９に示すように、広角画像ＷＩの中央領域ＣＷＣに対しては歪み補正処理を実行せず、広角画像ＷＩの周辺部領域ＥＷＩのみを対象として広角画像ＷＩにおける歪みを補正する歪み補正処理が行われても良い。対象物ＣＴ、ＭＴ１、ＭＴ２の識別処理に際しては、中央領域ＣＷＣの歪みは狭角画像の歪相当であるから狭角画像に対応する第２の参照パターンＲＰ２を用いて対象物ＣＴに関する精度の良い識別が可能である。周辺部領域ＥＷＩに対しては広角画像の歪レベルまでの歪み補正処理、あるいは、狭角画像の歪レベルまでの歪み補正処理が実行され、広角画像ＷＩに対応する第１の参照パターンＲＰ１を用いて対象物ＭＴ１、ＭＴ２に関する精度の良い識別が可能である。この結果、歪み補正処理に要する時間および処理負荷が低減される。なお、この他に、画像の水平方向または鉛直方向における歪みを除去可能な曲面イメージャを撮像画像に適用し、適用後の画像に対して歪み補正処理が実行されても良い。この場合にも、歪み補正処理に要する時間および処理負荷が低減される。
第１の実施形態における広角カメラ２０ａは、一般的な広角レンズを有していたが、広角レンズとして、広角カメラ２０ａは、中心窩レンズを有していても良い。中心窩レンズは、図９に示すように、光軸を中心とする一定の範囲、すなわち、中央領域ＣＷＣにおける像を拡大し、中央領域ＣＷＣ以外の領域、すなわち、周辺部領域ＥＷＩにおける像を圧縮する光学特性を有する、正射影方式の魚眼レンズの一種である。中心窩レンズは、ｙ＝ｆｓｉｎ（θ）の特性式で表される。ここで、ｙ：像高、：焦点距離、θ：半画角である。これに対して、第１の実施形態において用いられている広角レンズは、ｙ＝ｆｔａｎ（θ）の特性式で表され得る中心射影方式のレンズである。中心窩レンズは、広い画角を有し、中央領域ＣＷＣにおける歪曲収差の値は所定値以下であり、周辺部領域ＥＷＩにおける像歪曲収差の値は所定値よりも大きい。ここで、所定値としては、例えば、狭角カメラにより撮像された狭角画像における中央領域における歪み、あるいは、挟角撮像の最大歪みであって良い。したがって、中心窩レンズによれば、中央領域ＣＷＣにおいて高解像度で歪みの目立たない撮像画像を得ることが可能となり、歪み補正処理を実行すべき画像領域を低減することができる。すなわち、図９に示すように、広角画像ＷＩの中央領域ＣＷＣに対しては歪み補正処理を実行せず、広角画像ＷＩの周辺部領域ＥＷＩのみを対象として広角画像ＷＩにおける歪みを補正する歪み補正処理が行われても良い。対象物ＣＴ、ＭＴ１、ＭＴ２の識別処理に際しては、中央領域ＣＷＣの歪みは狭角画像の歪相当であるから狭角画像に対応する第２の参照パターンＲＰ２を用いて対象物ＣＴに関する精度の良い識別が可能である。周辺部領域ＥＷＩに対しては広角画像の歪レベルまでの歪み補正処理、あるいは、狭角画像の歪レベルまでの歪み補正処理が実行され、広角画像ＷＩに対応する第１の参照パターンＲＰ１を用いて対象物ＭＴ１、ＭＴ２に関する精度の良い識別が可能である。この結果、歪み補正処理に要する時間および処理負荷が低減される。なお、この他に、画像の水平方向または鉛直方向における歪みを除去可能な曲面イメージャを撮像画像に適用し、適用後の画像に対して歪み補正処理が実行されても良い。この場合にも、歪み補正処理に要する時間および処理負荷が低減される。
【0049】
第５の実施形態：
第１の実施形態においては、広角カメラ２０ａにより撮像された広角画像ＷＩの全体を対象として広角歪みを低減または解消するための歪み補正処理が実行されたが、広角画像ＷＩの周辺部領域ＥＷＩのみを対象として広角画像ＷＩにおける歪みを補正する歪み補正処理が行われても良い。例えば、第２の実施形態において説明した画像領域の分割処理を行い、周辺部領域ＥＷＩの領域の画像に対してのみ広角画像ＷＩの中央領域ＣＷＣが有する歪み程度まで歪を低減する歪み補正処理が実行される。この場合には、歪み補正処理の対象となる画像領域が周辺部領域ＥＷＩに限られ、結果として歪み補正処理に要する時間および処理負荷が低減される。なお、対象物ＣＴ、ＭＴ１、ＭＴ２の識別処理に際しては、広角画像の歪みに対応する第１の参照パターン、例えば、広角画像ＷＩの中央領域ＣＷＣに適応した第１の参照パターンＲＰ１を周辺部領域ＥＷＩに対して適用し、狭角画像に適応した第２の参照パターンＲＰを中央領域ＣＷＣに対して適用してパターンマッチング処理が実行される。すなわち、中央領域ＣＷＣにおける歪みの程度は、第２の参照パターンＲＰ２を適用するパターンマッチング処理によっても対象物を適切に識別できる程度の歪であり、第２の参照パターンＲＰ２を用いても対象物の識別を適切に行うことができる。あるいは、広角画像の歪みに対応する第１の参照パターン、例えば、広角画像ＷＩの中央領域ＣＷＣに適応した一の第１の参照パターンＲＰ１を画像全体に対して適用してパターンマッチング処理が実行されても良く、あるいは、非広角歪みに対応する第２の参照パターンＲＰ２、例えば狭角画像における歪みに対応する一の第２の参照パターンＲＰ２を画像全体に対して適用してパターンマッチング処理が実行されても良い。
第１の実施形態においては、広角カメラ２０ａにより撮像された広角画像ＷＩの全体を対象として広角歪みを低減または解消するための歪み補正処理が実行されたが、広角画像ＷＩの周辺部領域ＥＷＩのみを対象として広角画像ＷＩにおける歪みを補正する歪み補正処理が行われても良い。例えば、第２の実施形態において説明した画像領域の分割処理を行い、周辺部領域ＥＷＩの領域の画像に対してのみ広角画像ＷＩの中央領域ＣＷＣが有する歪み程度まで歪を低減する歪み補正処理が実行される。この場合には、歪み補正処理の対象となる画像領域が周辺部領域ＥＷＩに限られ、結果として歪み補正処理に要する時間および処理負荷が低減される。なお、対象物ＣＴ、ＭＴ１、ＭＴ２の識別処理に際しては、広角画像の歪みに対応する第１の参照パターン、例えば、広角画像ＷＩの中央領域ＣＷＣに適応した第１の参照パターンＲＰ１を周辺部領域ＥＷＩに対して適用し、狭角画像に適応した第２の参照パターンＲＰを中央領域ＣＷＣに対して適用してパターンマッチング処理が実行される。すなわち、中央領域ＣＷＣにおける歪みの程度は、第２の参照パターンＲＰ２を適用するパターンマッチング処理によっても対象物を適切に識別できる程度の歪であり、第２の参照パターンＲＰ２を用いても対象物の識別を適切に行うことができる。あるいは、広角画像の歪みに対応する第１の参照パターン、例えば、広角画像ＷＩの中央領域ＣＷＣに適応した一の第１の参照パターンＲＰ１を画像全体に対して適用してパターンマッチング処理が実行されても良く、あるいは、非広角歪みに対応する第２の参照パターンＲＰ２、例えば狭角画像における歪みに対応する一の第２の参照パターンＲＰ２を画像全体に対して適用してパターンマッチング処理が実行されても良い。
【0050】
第６の実施形態：
第５の実施形態においては、広角カメラ２０ａにより撮像された広角画像ＷＩの周辺部ＥＷＩの全体を対象として広角画像ＷＩにおける歪みを補正する歪み補正処理が実行されたが、図１０に示すように対象物ＤＴ１、ＤＴ２を囲む周囲領域ＴＡ１、ＴＡ２のみに対して歪み補正処理が行われても良い。既述のように、対象物識別装置２００は、広角カメラ２０ａから画像データが入力されると、撮像画像に含まれている対象物となり得る対象物候補の存在および位置を検出する。したがって、対象物識別装置２００は、撮像画像の周辺部ＥＷＩに存在する対象物候補、すなわち、対象物ＤＴ１、ＤＴ２となり得る対象物を含む周囲領域ＴＡ１、ＴＡ２の画像を抽出することが可能である。対象物識別装置２００は、抽出した周囲領域ＴＡ１、ＴＡ２の画像をフレームメモリに展開し、既述の歪み補正処理を実行して歪み補正処理後の対象物ＭＴ１、ＭＴ２を得ることができる。この場合には、歪み補正処理の対象となる画像領域が周辺部ＥＷＩにおける周囲領域ＴＡ１、ＴＡ２に低減され、結果として歪み補正処理に要する時間および処理負荷が更に低減される。なお、中央領域ＣＷＣに対しては、歪み補正処理が実行されなくても良く、あるいは、狭角画像における歪まで歪を低減する歪み補正処理が実行されても良い。対象物ＣＴ、ＭＴ１、ＭＴ２の種別を識別する識別処理に際しては、広角画像の歪みに対応する第１の参照パターン、例えば、広角画像ＷＩの中央領域ＣＷＣに適応した第１の参照パターンＲＰ１を周辺部ＥＷＩに対して適用し、狭角画像に適応した第２の参照パターンＲＰを中央領域ＣＷＣに対して適用してパターンマッチング処理が実行されても良く、あるいは、広角画像ＷＩの中央領域ＣＷＣに適応した一の第１の参照パターンＲＰ１を画像全体に対して適用してパターンマッチング処理が実行されても良い。すなわち、中央領域ＣＷＣにおける歪みの程度は、周辺部領域ＥＷＩにおける歪みと比較する場合、第２の参照パターンＲＰ２を適用するパターンマッチング処理によっても対象物を適切に識別できる程度の歪であり、第２の参照パターンＲＰ２を用いても対象物の識別を適切に行うことができる。
第５の実施形態においては、広角カメラ２０ａにより撮像された広角画像ＷＩの周辺部ＥＷＩの全体を対象として広角画像ＷＩにおける歪みを補正する歪み補正処理が実行されたが、図１０に示すように対象物ＤＴ１、ＤＴ２を囲む周囲領域ＴＡ１、ＴＡ２のみに対して歪み補正処理が行われても良い。既述のように、対象物識別装置２００は、広角カメラ２０ａから画像データが入力されると、撮像画像に含まれている対象物となり得る対象物候補の存在および位置を検出する。したがって、対象物識別装置２００は、撮像画像の周辺部ＥＷＩに存在する対象物候補、すなわち、対象物ＤＴ１、ＤＴ２となり得る対象物を含む周囲領域ＴＡ１、ＴＡ２の画像を抽出することが可能である。対象物識別装置２００は、抽出した周囲領域ＴＡ１、ＴＡ２の画像をフレームメモリに展開し、既述の歪み補正処理を実行して歪み補正処理後の対象物ＭＴ１、ＭＴ２を得ることができる。この場合には、歪み補正処理の対象となる画像領域が周辺部ＥＷＩにおける周囲領域ＴＡ１、ＴＡ２に低減され、結果として歪み補正処理に要する時間および処理負荷が更に低減される。なお、中央領域ＣＷＣに対しては、歪み補正処理が実行されなくても良く、あるいは、狭角画像における歪まで歪を低減する歪み補正処理が実行されても良い。対象物ＣＴ、ＭＴ１、ＭＴ２の種別を識別する識別処理に際しては、広角画像の歪みに対応する第１の参照パターン、例えば、広角画像ＷＩの中央領域ＣＷＣに適応した第１の参照パターンＲＰ１を周辺部ＥＷＩに対して適用し、狭角画像に適応した第２の参照パターンＲＰを中央領域ＣＷＣに対して適用してパターンマッチング処理が実行されても良く、あるいは、広角画像ＷＩの中央領域ＣＷＣに適応した一の第１の参照パターンＲＰ１を画像全体に対して適用してパターンマッチング処理が実行されても良い。すなわち、中央領域ＣＷＣにおける歪みの程度は、周辺部領域ＥＷＩにおける歪みと比較する場合、第２の参照パターンＲＰ２を適用するパターンマッチング処理によっても対象物を適切に識別できる程度の歪であり、第２の参照パターンＲＰ２を用いても対象物の識別を適切に行うことができる。
【0051】
第７の他の実施形態：
上記実施形態においては、ＣＰＵ２０１、２１１が対象物識別プログラムＰ１、歪補正処理プログラムＰ２および領域分割プログラムＰ３を実行することによって、ソフトウェア的に制御部が実現されているが、予めプログラムされた集積回路またはディスクリート回路によってハードウェア的に実現されても良い。
上記実施形態においては、ＣＰＵ２０１、２１１が対象物識別プログラムＰ１、歪補正処理プログラムＰ２および領域分割プログラムＰ３を実行することによって、ソフトウェア的に制御部が実現されているが、予めプログラムされた集積回路またはディスクリート回路によってハードウェア的に実現されても良い。
【0052】
具体的なカメラ装置構成：
以下、上記各実施形態におけるフロントカメラ装置２０およびリアカメラ装置２１として用いられ得るカメラの具体的な構成について説明する。
第１の構成例：
図１１、１２に示すように、フロントカメラ装置２０は外界５を撮像するように車両５００のフロントガラス５１０の内側に装着されている。フロントガラス５１０におけるフロントカメラ装置２０は、車室４内の運転席に着座した乗員の視界を実質妨げないように配置されている。具体的には図１１に示すように、フロントカメラ装置２０は、車幅方向である水平方向において、フロントガラス５１０の外周縁部を枠状に保持するピラー６の開口窓６ａの中心から両側へ、例えば１５ｃｍ程度の範囲Ｘｈ内に配置されている。フロントカメラ装置２０は、車両５００の鉛直方向において、開口窓６ａ内の上縁部から、例えば２０％程度の範囲Ｘｖ内に配置されている。この結果、フロントカメラ装置２０は、フロントガラス５１０を払拭するワイパーの払拭範囲Ｘｒ内であって、前後方向に対してフロントガラス５１０例えば２２～９０°程度傾斜する部分に配置される。
以下、上記各実施形態におけるフロントカメラ装置２０およびリアカメラ装置２１として用いられ得るカメラの具体的な構成について説明する。
第１の構成例：
図１１、１２に示すように、フロントカメラ装置２０は外界５を撮像するように車両５００のフロントガラス５１０の内側に装着されている。フロントガラス５１０におけるフロントカメラ装置２０は、車室４内の運転席に着座した乗員の視界を実質妨げないように配置されている。具体的には図１１に示すように、フロントカメラ装置２０は、車幅方向である水平方向において、フロントガラス５１０の外周縁部を枠状に保持するピラー６の開口窓６ａの中心から両側へ、例えば１５ｃｍ程度の範囲Ｘｈ内に配置されている。フロントカメラ装置２０は、車両５００の鉛直方向において、開口窓６ａ内の上縁部から、例えば２０％程度の範囲Ｘｖ内に配置されている。この結果、フロントカメラ装置２０は、フロントガラス５１０を払拭するワイパーの払拭範囲Ｘｒ内であって、前後方向に対してフロントガラス５１０例えば２２～９０°程度傾斜する部分に配置される。
【0053】
図１２、１３に示すようにフロントカメラ装置２０は、ブラケットアセンブリＣ１０、カメラケーシングＣ２０、複数のレンズユニットＣ３０、フードＣ４０及び撮像系Ｃ５０を備えている。図１３では、一部構成要素の図示が省略されている。
【0054】
ブラケットアセンブリＣ１０は、ブラケット本体Ｃ１１及び装着パッドＣ１２を組み合わせてなる。ブラケット本体Ｃ１１は、例えば樹脂等の比較的成形容易な硬質材料により、全体として略平板状に形成されている。ブラケット本体Ｃ１１は、フロントガラス５１０の内面５１０ａに沿って配置される。図１２に示すようにブラケット本体Ｃ１１には、複数の装着パッドＣ１２が嵌合固定されている。フロントカメラ装置２０は、各装着パッドＣ１２がフロントガラス５１０の内面５１０ａに対して接着固定されることにより、車両５００に対して位置決めされて、フロントガラス５１０の内側に装着されている。
【0055】
カメラケーシングＣ２０は、一対のケーシング部材Ｃ２１、Ｃ２２を組み合わせてなる。各ケーシング部材Ｃ２１、Ｃ２２は、例えばアルミニウム等の比較的高放熱性を有した硬質材料により、全体として中空状に形成されている。
【0056】
逆カップ状のアッパケーシング部材Ｃ２１は、ブラケットアセンブリＣ１０の下側に配置され、ブラケットアセンブリＣ１０とは反対側となる下側に開口部を向けている。アッパケーシング部材Ｃ２１は、ブラケット本体Ｃ１１に対して嵌合固定されている。これによりカメラケーシングＣ２０は、ブラケットアセンブリＣ１０を介してフロントガラス５１０の内側に位置決めされる。アッパケーシング部材Ｃ２１とフロントガラス５１０との間には、フードＣ４０を収容する収容凹所Ｃ２１２が画成されている。
【0057】
皿状のロアケーシング部材Ｃ２２は、アッパケーシング部材Ｃ２１の下側に配置され、アッパケーシング部材Ｃ２１側となる上側に開口部を向けている。ロアケーシング部材Ｃ２２は、アッパケーシング部材Ｃ２１に螺子で締結されている。ケーシング部材Ｃ２１、Ｃ２２は、レンズユニットＣ３０及び撮像系Ｃ５０を収容する収容空間Ｃ２５を共同して画成している。
【0058】
複数(本実施形態では３つ)のレンズユニットＣ３０は、カメラケーシングＣ２０の収容空間Ｃ２５内に配置されている。図１２、１３に示すように各レンズユニットＣ３０の前端部は、アッパケーシング部材Ｃ２１の縦壁部Ｃ２１０を貫通する共通のレンズ窓Ｃ２１１を通して、カメラケーシングＣ２０外に露出している。各レンズユニットＣ３０には、互いに縦方向にずれて設定される光軸Ａｗ、Ａｎ、Ａｔまわりに、図１４に示すような互いに大きさの異なる画角Ｂｗ、Ｂｎ、Ｂｔが設定されている。これら各レンズユニットＣ３０では、外界５からの光像が互いの画角Ｂｗ、Ｂｎ、Ｂｔ内へとそれぞれ個別に入射可能となっている。
【0059】
図１２、１３に示すようにフードＣ４０は、例えば樹脂成形等によりブラケット本体Ｃ１１と一体形成され、ブラケットアセンブリＣ１０の一部を構成している。上側から視たフードＣ４０の全体形状は、各レンズユニットＣ３０の光軸Ａｗ、Ａｎ、Ａｔに関して横方向での対称形状となる皿状を呈している。フードＣ４０は、ベース壁部Ｃ４１及び側壁部Ｃ４３を有している。
【0060】
図１２に示すようにベース壁部Ｃ４１は、アッパケーシング部材Ｃ２１とフロントガラス５１０との間にて、収容凹所Ｃ２１２内に収まっている。ベース壁部Ｃ４１は、前側へ向かうほど上側のフロントガラス５１０と近接する姿勢に配置される。ベース壁部Ｃ４１の底壁面Ｃ４１ａは、図１２、１３に示す光軸Ａｗ、Ａｎ、Ａｔ上の撮像空間Ｃ４０を空けてフロントガラス５１０の内面５１０ａと対向した略平面状に広がる。外界５のうち撮像系Ｃ５０による撮像対象範囲内の光像は、フロントガラス５１０を透過することで、撮像空間Ｃ４１０から各レンズユニットＣ３０へと導かれる。
【0061】
側壁部Ｃ４３は、横方向に光軸Ａｗ、Ａｎ、Ａｔを挟んだ対称位置にそれぞれ設けられることで、撮像空間Ｃ４１０を両側から挟んでいる。各側壁部Ｃ４３は、ベース壁部Ｃ４１のうち横方向の側縁部から上側へ立設されており、それぞれストレート平板状を呈している。各側壁部Ｃ４３の横方向における相互間隔は、前側ほど漸次広がっている。各側壁部Ｃ４３の後端部間を通して撮像空間Ｃ４１０内には、各レンズユニットＣ３０の前端部が露出している。各側壁部Ｃ４３のベース壁部Ｃ４１からの高さは、前側ほど漸次低くなっている。各側壁部Ｃ４３は、図１２に示すように、フロントガラス５１０の内面５１０ａに対して隙間Ｃ４３０を前後方向の全域で空ける姿勢に配置される。
【0062】
フードＣ４０は、外界５のうち撮像対象範囲内から各レンズユニットＣ３０への光像の入射を許容するように、それら各レンズユニットＣ３０の画角θｗ、θｎ、θｔに応じて撮像空間Ｃ４１０を画成している。それと共にフードＣ４０は、外界５のうち撮像対象範囲外から各レンズユニットＣ３０への余剰光の入射、例えばフロントガラス５１０の内面５１０ａによる反射光の入射等を規制可能に、撮像空間Ｃ４１０を画成している。
【0063】
撮像系Ｃ５０は、複数のイメージャユニットＣ５１を制御基板Ｃ５４及び制御回路Ｃ５５を備える。撮像系Ｃ５０のこれら構成要素Ｃ５１、Ｃ５４、Ｃ５５は、カメラケーシングＣ２０の収容空間Ｃ２５内に配置されている。なお、制御回路Ｃ５５は、第１の実施形態等における対象物識別装置２００、２１０に相当する。
【0064】
複数(本実施形態では３つ)のイメージャユニットＣ５１は、互いに異なるレンズユニットＣ３０の後側に、それぞれ個別に対応して位置決めされている。ここで各イメージャユニットＣ５１の位置は、互いに異なる画角θｗ、θｎ、θｔに応じた各レンズユニットＣ３０の焦点距離に合わせて、前後方向にずれている。各イメージャユニットＣ５１は、撮像基板Ｃ５１０ 、撮像素子Ｃ５１１及び撮像回路Ｃ５１２を有している。撮像素子Ｃ５１１は、例えば、ＣＣＤ又はＣＭＯＳ等のカラー式若しくはモノクロ式イメージャから構成され、撮像基板Ｃ５１０に実装されている。撮像素子Ｃ５１１は、水平面上の車両５００における鉛直方向及び水平方向にそれぞれ対応した縦方向及び横方向、すなわち、上下方向及び左右方向に沿って、マトリクス状に配置される複数画素を有している。撮像回路Ｃ５１２は、撮像素子Ｃ５１１の出力を処理可能な複数の回路素子から構成され、撮像基板Ｃ５１０に実装されている。
【0065】
各イメージャユニットＣ５１では、外界５からフロントガラス５１０を透過した光像が対応するレンズユニットＣ３０を通して撮像素子Ｃ５１１に結像される。各イメージャユニットＣ５１では、この結像した光像を撮像素子Ｃ５１１が撮影し、当該撮像素子Ｃ５１１から出力の信号又はデータが撮像回路Ｃ５１２にて処理される。
【0066】
制御基板Ｃ５４は、両ケーシング部材Ｃ２１、Ｃ２２の間にて位置決めされている。制御基板Ｃ５４には、カメラケーシングＣ２０外に露出するように、外部コネクタＣ５４２が実装されている。外部コネクタＣ５４２は、カメラケーシングＣ２０外の、例えば主制御装置１００等といった外部回路に対して接続される。外部コネクタＣ５４２は、制御基板Ｃ５４において後側縁部Ｃ５４４よりもさらに後側へと突出した凸状基板部Ｃ５４３に実装されている。
【0067】
制御回路Ｃ５５は、マイクロコンピュータＣ５５０を含む複数の回路素子から構成され、制御基板Ｃ５４に実装されている。制御回路Ｃ５５は、各イメージャユニットＣ５１の撮像回路Ｃ５１２に対して、それぞれ個別のフレキシブル基板（ＦＰＣ）Ｃ５４０により接続されている。制御基板Ｃ５４の上側にて各イメージャユニットＣ５１の撮像回路Ｃ５１２と接続された各フレキシブル基板Ｃ５４０は、それぞれ対応する通窓Ｃ５４１を上下方向に貫通することで、制御基板Ｃ５４の下側にて制御回路Ｃ５５と接続されている。
【0068】
各イメージャユニットＣ５１の撮像回路Ｃ５１２との協働により制御回路Ｃ５５は、撮像時の露光状態を含めた各イメージャユニットＣ５１での撮像素子Ｃ５１１の撮影作動を制御する。さらに、各イメージャユニットＣ５１の撮像回路Ｃ５１２との協働により制御回路Ｃ５５は、各イメージャユニットＣ５１の撮像素子Ｃ５１１から出力された信号又はデータに対して画像処理を施す。これら撮像制御機能及び画像処理機能により、各レンズユニットＣ３０を通した撮像結果としては、外界５のうち各レンズユニットＣ３０の画角θｗ、θｎ、θｔに応じた範囲が映るように、外界画像としての撮像画像が生成される。尚、撮像制御機能及び画像処理機能のうち少なくとも一方を、制御回路Ｃ５５のみが備えていてもよいし、各イメージャユニットＣ５１の撮像回路Ｃ５１２のみが備えていてもよい。
【0069】
制御回路Ｃ５５は、外界画像に映る対象物を識別する識別機能も備えている。対象物識別機能では、図１６に示すように各レンズユニットＣ３０を通して生成の外界画像同士にて同一箇所Ｐｗ、Ｐｎ、Ｐｔが映る画素につき、それぞれ光軸Ａｗ、Ａｎ、Ａｔに対する位置座標のずれを、制御回路Ｃ５５が例えばアライメント処理等によって補正する。具体的には、同一箇所Ｐｗ、Ｐｎ、Ｐｔとしての例えば消失点等に、それぞれ対応する光軸Ａｗ、Ａｎ、Ａｔに対しての位置座標のずれが上下方向及び横方向のうち少なくとも一方に認められると、当該ずれが補正される。
【0070】
各レンズユニットＣ３０の詳細構造を説明する。図１２、１３、１５に示すように、レンズ、ユニットＣ３０の１つである広角ユニットＣ３０ｗは、広角鏡筒Ｃ３２ｗ及び広角レンズＣ３４ｗを含む。広角鏡筒Ｃ３２ｗは、例えば樹脂等の比較的成形容易な硬質材料により、中空状に形成されている。広角鏡筒Ｃ３２ｗは、アッパケーシング部材Ｃ２１に対して螺子固定又は接着固定されている。広角レンズＣ３４ｗは、例えばガラス等の透光性材料により、凹メニスカスレンズ状に形成されている。広角レンズＣ３４ｗは、色収差等の光学収差を補正するための後段レンズセット(図示しない)と共に、広角鏡筒Ｃ３２w内に収容されている。そこで、後段レンズセットよりも前側にて広角ユニットＣ３０ｗの前端部をなす広角レンズＣ３４ｗから、フロントガラス５１０の内面５１０ａが設定間隔を空けて離間するように、広角鏡筒Ｃ３２ｗが位置決めされている。
【0071】
図１２、１４、１５に示す広角ユニット３０ｗの光軸Ａｗは、前後方向に対しては前側ほど下側若しくは上側へ傾斜して延伸、又は前後方向に沿って延伸するように、設定されている。図１４に示すように広角ユニット３０ｗの画角θｗは、広角レンズＣ３４ｗの採用により、例えば１２０°程度の比較的広い大角度に設定されているが、それよりも広い角度に設定されていてもよい。広角ユニットＣ３０ｗの画角θｗ内での被写界深度Ｄｗは、広角レンズＣ３４ｗの採用により、外界５において車両５００の乗員から見た手前側(以下、単に手前側という)の近点Ｄｗｃと、同乗員から見た奥行側(以下、単に奥行側という)の遠点Ｄｗｆとで挟まれる所定範囲に規定されている。
【0072】
図１２、１３、１５に示すように、レンズユニットＣ３０の別の１つである狭角ユニットＣ３０ｎは、狭角鏡筒Ｃ３２ｎ及び狭角レンズＣ３４ｎを含む。狭角鏡筒Ｃ３２ｎは、例えば樹脂等の比較的成形容易な硬質材料により、中空状に形成されている。狭角鏡筒Ｃ３２ｎは、アッパケーシング部材Ｃ２１に対して螺子固定又は接着固定されている。狭角レンズＣ３４ｎは、例えばガラス等の透光性材料により、凹メニスカスレンズ状に形成されている。狭角レンズＣ３４ｎは、色収差等の光学収差を補正するための後段レンズセット(図示しない)と共に、狭角鏡筒Ｃ３２ｎ内に収容されている。そこで、後段レンズセットよりも前側にて狭角ユニットＣ３０ｎの前端部をなす狭角レンズＣ３４ｎが広角レンズＣ３４ｗの真上にて前後ずれも横ずれも実質なく配置されるように、狭角鏡筒Ｃ３２ｎが位置決めされている。こうした構成により、下側へ向かうほどフロントガラス５１０の傾斜する前側を奥行側として、広角ユニットＣ３０ｗが上側の狭角ユニットＣ３０ｎよりも当該奥行側には実質張り出さない。
【0073】
図１２、１４、１５に示す狭角ユニット３０ｎの光軸Ａｎは、前後方向に対しては前側ほど下側若しくは上側へ傾斜して延伸、又は前後方向に沿って延伸するように設定されている。それと共に狭角ユニットＣ３０ｎの光軸Ａｎは、広角ユニットＣ３０ｗの光軸Ａｗから実質上下方向に限って偏心することで、車両５００における横方向位置を当該光軸Ａｗと位置合わせされている。図１４に示すように狭角ユニットＣ３０ｎの画角θｎは、狭角レンズＣ３４ｎの採用により、広角ユニットＣ３０ｗの画角θｗよりも狭い、例えば６０° 程度の中角度に設定されている。これらの設定により、狭角ユニットＣ３０ｎ及び広角ユニットＣ３０ｗの画角θｎ、θｗ同士が互いにオーバーラップする。狭角ユニットＣ３０ｎの画角θｎ内での被写界深度Ｄｎは、狭角レンズＣ３４ｎの採用により、外界５において手前側の近点Ｄｎｃと奥行側の遠点Ｄｎｆとで挟まれる所定範囲に規定されている。
【0074】
広角ユニットＣ３０ｗの遠点Ｄｗｆは、狭角ユニットＣ３０ｎの近点Ｄｎｃよりも奥行側に、設定されている。また、広角ユニットＣ３０ｗの近点Ｄｗｃよりも奥行側に、狭角ユニットＣ３０ｎの近点Ｄｎｃが設定されている。さらに、広角ユニットＣ３０ｗの遠点Ｄｗｆよりも奥行側に、狭角ユニットＣ３０ｎの遠点Ｄｎｆが設定されている。これらの設定により、狭角ユニットＣ３０ｎの近点Ｄｎｃ及び遠点Ｄｎｆの間には広角ユニットＣ３０ｗの遠点Ｄｗｆが位置することで、それらユニットＣ３０ｎ、Ｃ３０ｗが被写界深度Ｄｎ、Ｄｗ同士のオーバーラップする領域Ｒｎｗを形成している。
【0075】
図１２、１３、１５に示すように、レンズユニットＣ３０のさらに別の１つである望遠ユニットＣ３０ｔは、望遠鏡筒Ｃ３２ｔt及び望遠レンズＣ３４ｔを含む。望遠鏡筒Ｃ３２ｔは、例えば樹脂等の比較的成形容易な硬質材料により、中空状に形成されている。望遠鏡筒Ｃ３２ｔは、アッパケーシング部材Ｃ２１に対して螺子固定又は接着固定されている。望遠レンズＣ３４ｔは、例えばガラス等の透光性材料により、凹レンズ状に形成されている。望遠レンズＣ３４ｔは、色収差等の光学収差を補正するための後段レンズセット(図示しない)と共に、望遠鏡筒Ｃ３２ｔt内に収容されている。そこで、後段レンズセットよりも前側にて望遠ユニットＣ３０ｔの前端部をなす望遠レンズＣ３４ｔが狭角レンズＣ３４ｎの真上にて前後ずれも横ずれも実質なく配置されるように、望遠鏡筒Ｃ３２ｔが位置決めされている。こうした構成により、狭角ユニットＣ３０ｎが上側の望遠ユニットＣ３０ｔより奥行側には実質張り出さず、且つ広角ユニットＣ３０ｗも上側の望遠ユニットＣ３０ｔより奥行側には実質張り出さない。
【0076】
図１２、１４、１６に示すように望遠ユニットＣ３０ｔの光軸Ａｔは、前後方向に対しては前側ほど下側若しくは上側へ傾斜して延伸、又は前後方向に沿って延伸するように、設定されている。それと共に望遠ユニットＣ３０ｔの光軸Ａｔは、広角ユニットＣ３０ｗ及び、狭角ユニットＣ３０ｎの両光軸Ａｗ、Ａｎから実質上下方向に限って偏心することで、車両５００における水平方向位置を当該両光軸Ａｗ、Ａｎと位置合わせされている。図１４に示すように望遠ユニットＣ３０ｔの画角θｔは、望遠レンズＣ３４ｔの採用により、広角ユニットＣ３０ｗ及び狭角ユニットＣ３０ｎの両画角θｗ、θｎよりも狭い、例えば３５°程度の小角度に設定されている。これらの設定により、望遠ユニットＣ３０ｔ及び狭角ユニットＣ３０ｎの画角θｔ、θｎ同士が互いにオーバーラップすると共に、望遠ユニットＣ３０ｔ及び、広角ユニットＣ３０ｗの画角θｔ、θｗ同士も互いにオーバーラップする。望遠ユニットＣ３０ｔの画角θｔ内での被写界深度Ｄｔは、望遠レンズＣ３４ｔの採用により、外界５において手前側の近点Ｄｔｃと奥行側の遠点Ｄｔｆとで挟まれる所定範囲に規定されている。
【0077】
特に、望遠ユニットＣ３０ｔの近点Ｄｔｃよりも奥行側に、狭角ユニットＣ３０ｎの遠点Ｄｎｆが設定されている。それと共に本実施形態では、狭角ユニットＣ３０ｎの近点Ｄｎｃ並びに広角ユニットＣ３０ｗの近点Ｄｗｃ及び遠点Ｄｗｆよりも奥行側に、望遠ユニットＣ３０ｔの近点Ｄｔｃが設定されている。さらに本実施形態では、狭角ユニットＣ３０ｎの遠点Ｄｎｆ及び、広角ユニットＣ３０ｗの遠点Ｄｗｆよりも奥行側に、望遠ユニットＣ３０ｔの遠点Ｄｔｆが設定されている。これらの設定により、望遠ユニットＣ３０ｔの近点Ｄｔｃ及び遠点Ｄｔｆの間には狭角ユニットＣ３０ｎの遠点Ｄｎｆが位置することで、それらユニットＣ３０ｔ、Ｃ３０ｎが被写界深度Ｄｔ、Ｄｎ同士のオーバーラップする領域Ｒｔｎを形成している。但し、本実施形態にて望遠ユニットＣ３０ｔの近点Ｄｔｃ及び遠点Ｄｔｆの間からは広角ユニットＣ３０ｗの遠点Ｄｗｆが外れることで、それらユニットＣ３０ｔ、Ｃ３０ｗの被写界深度Ｄｔ、Ｄｗ同士は互いにずれてオーバーラップしない。
【0078】
互いにずれた光軸Ａｗ、Ａｎ、Ａｔまわりの互いに異なる画角θｗ、θｎ、θｔのうち、少なくとも２つずつ同士がオーバーラップするように、第１～第４注目組のレンズユニットＣ３０がそれぞれ構成される。こうした第１～第４注目組では、構成するレンズユニットＣ３０同士が車両５００の上下方向にて重なる配置構造により、光軸Ａｗ、Ａｎ、Ａｔのうち少なくとも２つずつ同士が車両５００の横方向にて近接する。図１６に例示するように、第１～第４注目組をそれぞれ構成する各レンズユニットＣ３０を個別に通して生成される外界画像同士では、同一箇所Ｐｗ、Ｐｎ、Ｐｔが映る画素の対応光軸Ａｗ、Ａｎ、Ａｔに対する位置座標に、横方向の大きなずれは生じ難くなる。よって、第１～第４注目組の各レンズユニットＣ３０を通した外界撮像による画像位置精度を、横方向にて高めることができる。
【0079】
第２の構成例：
図１６に示す第２の構成例では、狭角ユニットＣ３０３０ｎの前端部をなす狭角レンズＣ３４ｎは、広角ユニットＣ３０３０ｗの前端部をなす広角レンズＣ３４ｗの上側にて実質前後ずれなく配置され、当該広角レンズＣ３４ｗとは横方向の一方側（即ち、図１６の左側）へずれて配置されても良い。ここで狭角ユニットＣ３０３０ｎの光軸Ａｎは、広角ユニットＣ３０３０ｗの光軸Ａｗから上下方向及び横方向の双方に偏心している。この結果、下側へ向かうほどフロントガラス５１０の傾斜する前側を奥行側として、広角ユニットＣ２０３０ｗが上側の狭角ユニットＣ２０３０ｎよりも当該奥行側には実質張り出さない。
図１６に示す第２の構成例では、狭角ユニットＣ３０３０ｎの前端部をなす狭角レンズＣ３４ｎは、広角ユニットＣ３０３０ｗの前端部をなす広角レンズＣ３４ｗの上側にて実質前後ずれなく配置され、当該広角レンズＣ３４ｗとは横方向の一方側（即ち、図１６の左側）へずれて配置されても良い。ここで狭角ユニットＣ３０３０ｎの光軸Ａｎは、広角ユニットＣ３０３０ｗの光軸Ａｗから上下方向及び横方向の双方に偏心している。この結果、下側へ向かうほどフロントガラス５１０の傾斜する前側を奥行側として、広角ユニットＣ２０３０ｗが上側の狭角ユニットＣ２０３０ｎよりも当該奥行側には実質張り出さない。
【0080】
図１６に示すように、望遠ユニットＣ３０３０ｔの前端部をなす望遠レンズＣ３４ｔは、広角レンズＣ３４ｗの上側にて実質前後ずれなく配置され、当該広角レンズＣ３４ｗとは横方向の他方側（即ち、狭角ユニットＣ３０３０ｎとは反対側となる図１６の右側）へずれて配置されても良い。ここで、望遠ユニットＣ３０３０ｔの光軸Ａｔは、広角ユニットＣ３０３０ｗの光軸Ａｗから上下方向及び横方向の双方に偏心している。それと共に望遠ユニットＣ３０ｔの光軸Ａｔは、狭角ユニットＣ３０３０ｎの光軸Ａｎからは実質横方向に限って偏心することで、車両５００における上下方向位置を当該光軸Ａｎと位置合わせされている。この結果、広角ユニットＣ３０３０ｗが上側の望遠ユニットＣ３０３０ｔ及び側方の狭角ユニットＣ３０３０ｎよりも奥行側には実質張り出さない。
【0081】
図１６に示す配置では、上下方向にて各レンズ、ユニットＣ３０３０の少なくとも一部ずつ同士が重なる注目組として、第１及び第２注目組が想定されると共に、横方向にてレンズユニットＣ３０３０同士が重なる注目組として、第３注目組が想定される。具体的には、第１注目組は、上下方向に互いに重なる広角ユニットＣ３０３０ｗと狭角ユニットＣ３０３０ｎとから構成される。第２注目組は、上下方向に互いに重なる広角ユニットＣ３０３０ｗと望遠ユニットＣ３０３０ｔとから構成される。第３注目組は、横方向に互いに重なる狭角ユニットＣ３０３０ｎと望遠ユニットＣ３０３０ｔとから構成される。
【0082】
これら第１及び第２注目組によると、上下方向にて互いに重なるレンズユニットＣ３０３０の光軸Ａｗ、Ａｎ、Ａｔのうち、２つずつ同士が上下方向及び、横方向の双方に偏心している。これによれば、第１及び第２注目組をそれぞれ構成する各レンズユニットＣ３０３０を通して生成の外界画像同士にて、同一箇所Ｐｗ、Ｐｎ、Ｐｔが映る画素の位置座標の横方向ずれを抑制しつつも、例えば当該抑制に起因する上下方向での体格増大を軽減する等を目的とした配置自由度を確保することができる。したがって、車両５００における任意乗員の視界を上下方向で担保することと両立させて、横方向での高い画像位置精度を確保することができる。特に第２注目組だけを見れば、狭角ユニットＣ３０３０ｎとは別の狭角ユニットとして画角θｔが画角θｗよりも狭い望遠ユニットＣ３０３０ｔと、当該画角θｗの広角ユニットＣ３０３０ｗとにより、視界担保及び精度確保の両立が実現され得る。また、第１注目組の狭角ユニットＣ３０３０ｎと第２注目組の望遠ユニットＣ３０３０ｔとは、それらとは別の第3注目組として横方向に重なるのみならず、両ユニットの光軸Ａｎ、Ａｔ同士を横方向に限って偏心させている。したがって、横方向ずれの抑制に起因する上下方向での体格増大を可及的に軽減しつつも、乗員視界の担保効果を高めることができる。
【0083】
第３の構成例：
図１８に示す第３の構成例では、各側壁部Ｃ６０４３は、横方向に並ぶレンズユニットＣ６０３０のうち中央に位置する広角ユニットＣ６０３０ｗの光軸Ａｗを挟んで対称に、それぞれ設けられている。ストレート平板状の各側壁部Ｃ６０４３は、広角ユニットＣ６０３０ｗの周囲から外界５側としての前側へ向かうほど、広角ユニットＣ６０３０ｗの広い画角θｗに応じた外側側方へと向かつて、広角ユニットＣ６０３０ｗの光軸Ａｗとは傾斜している。各側壁部Ｃ６０４３において台形平面状の内壁面Ｃ６０４３ａは、水平面上の車両５００における鉛直方向視(即ち、水平面視)では図１９に示すように、画角θｗよりも外側にて同角θｗのテーパ線に沿って広がるように、形成されている。これにより、広角ユニットＣ６０３０ｗの画角θｗよりも狭い狭角ユニットＣ６０３０ｎ及び望遠ユニットＣ６０３０ｔの各画角θｎ、θｔは、撮像空間Ｃ４１０内での鉛直方向視では当該画角θｗの内側に部分的に収まっている。
図１８に示す第３の構成例では、各側壁部Ｃ６０４３は、横方向に並ぶレンズユニットＣ６０３０のうち中央に位置する広角ユニットＣ６０３０ｗの光軸Ａｗを挟んで対称に、それぞれ設けられている。ストレート平板状の各側壁部Ｃ６０４３は、広角ユニットＣ６０３０ｗの周囲から外界５側としての前側へ向かうほど、広角ユニットＣ６０３０ｗの広い画角θｗに応じた外側側方へと向かつて、広角ユニットＣ６０３０ｗの光軸Ａｗとは傾斜している。各側壁部Ｃ６０４３において台形平面状の内壁面Ｃ６０４３ａは、水平面上の車両５００における鉛直方向視(即ち、水平面視)では図１９に示すように、画角θｗよりも外側にて同角θｗのテーパ線に沿って広がるように、形成されている。これにより、広角ユニットＣ６０３０ｗの画角θｗよりも狭い狭角ユニットＣ６０３０ｎ及び望遠ユニットＣ６０３０ｔの各画角θｎ、θｔは、撮像空間Ｃ４１０内での鉛直方向視では当該画角θｗの内側に部分的に収まっている。
【0084】
図１８、１９に示すように各側壁部Ｃ６０４３の後端部間には、縦壁部Ｃ６２１０のうちレンズ窓Ｃ６２１１ｗの前側にて、広角露出窓Ｃ６４３１ｗが開口している。広角ユニットＣ６０３０ｗのうち外界５側の前端部は、撮像空間Ｃ４１０内からは外れ、レンズ窓Ｃ６２１１ｗ内から広角露出窓Ｃ６４３１ｗ内まで進入している。これにより広角露出窓Ｃ６４３１ｗは、撮像空間Ｃ４１０に向かつて広角ユニットＣ６０３０ｗを露出させている。
【0085】
横方向一方側の側壁部Ｃ６０４３である第１側壁部Ｃ６４３２には、縦壁部Ｃ６２１０のうちレンズ窓Ｃ６２１１ｎの前側にて、狭角露出窓Ｃ６４３１ｎが開口している。狭角露出窓Ｃ６４３１ｎは、広角露出窓Ｃ６４３１ｗに対して上下方向位置を位置合わせされている。ここで、狭角ユニットＣ６０３０ｎにおいて外界５側の前端部は、撮像空間Ｃ４１０内から外れ、レンズ窓Ｃ６２１１ｎ内から狭角露出窓Ｃ６４３１ｎまで進入している。これにより狭角露出窓Ｃ６４３１ｎは、撮像空間Ｃ４１０に向かつて狭角ユニットＣ６０３０ｎを露出させている。
【0086】
横方向他方側の側壁部Ｃ６０４３である第２側壁部Ｃ６４３３には、縦壁部Ｃ６２１０のうちレンズ窓Ｃ６２１１ｔの前側にて、望遠露出窓Ｃ６４３１ｔが開口している。望遠露出窓Ｃ６４３１ｔは、広角露出窓Ｃ６４３１ｗ及び狭角露出窓Ｃ６４３１ｎに対して上下方向位置を位置合わせされている。それと共に望遠露出窓Ｃ６４３１ｔは、広角露出窓Ｃ６４３１ｗに対しては前後方向位置のずれた状態で、狭角露出窓Ｃ６４３１ｎに対しては前後方向位置を位置合わせされている。ここで、望遠ユニットＣ６０３０ｔにおいて外界５側の前端部は、撮像空間Ｃ４１０内から外れ、レンズ窓Ｃ６２１１ｔ内から望遠露出窓Ｃ６４３１ｔ内まで進入している。これにより望遠露出窓Ｃ６４３１ｔは、撮像空間Ｃ４１０に向かつて望遠ユニットＣ６０３０ｔを、広角ユニットＣ６０３０ｗよりも外界５側となる前側且つ狭角ユニットＣ６０３０ｎの真横にて露出させている。
【0087】
図２０に示すように、狭角ユニットＣ６０３０ｎの前端部をなす狭角レンズＣ３４ｎは、広角ユニットＣ６０３０wの前端部をなす広角レンズＣ３４ｗは実質上下ずれなく配置されているが、外界５側としての前側と横方向の一方側（即ち、図２０の左側）とには広角レンズＣ３４ｗからずれている。ここで、狭角ユニットＣ６０３０ｎの光軸Ａｎは、広角ユニットＣ６０３０ｗの光軸Ａｗから実質横方向に限って偏心している。望遠ユニット６０３０ｔの前端部をなす望遠レンズＣ３４ｔは、広角レンズＣ３４ｗとは実質上下ずれなく配置されているが、外界５側としての前側と横方向の他方側（即ち、図２０の右側）とには広角レンズＣ３４ｗからずれている。ここで、望遠ユニットＣ６０３０ｔの光軸Ａｔは、広角ユニットＣ６０３０ｗの光軸Ａｗからも、狭角ユニットＣ６０３０ｎの光軸Ａｎからも、実質横方向に限って偏心している。
【0088】
第３の構成例では、カメラケーシングＣ２０のうちアッパケーシング部材Ｃ２１の縦壁部Ｃ６２１０は、上述した各ユニットＣ６０３０ｗ、Ｃ６０３０ｎ、Ｃ６０３０ｔの前後方向にずれる配置関係に合わせて、形成されている。具体的に縦壁部Ｃ６２１０は、横方向の中央部から左右両側側方へと向かうほど、外界５ 側としての前側（すなわち、第１の構成例で説明の奥行側）へ斜めに張り出している。そこで、縦壁部Ｃ６２１０を貫通して各ユニットＣ６０３０ｗ、Ｃ６０３０ｎ、Ｃ６０３０ｔをカメラケーシングＣ２０外に露出させるレンズ窓Ｃ６２１１ｗ、Ｃ６２１１ｎ、Ｃ６２１１ｔは、それら各ユニット毎に個別に設けられている。ここで、各ユニットＣ６０３０ｗ、Ｃ６０３０ｎ、Ｃ６０３０ｔにそれぞれ対応するレンズ窓Ｃ６２１１ｗ、Ｃ６２１１ｎ、Ｃ６２１１ｔの上下方向位置は、互いに位置合わせされている。それと共に、狭角ユニットＣ６０３０ｎ及び望遠ユニットＣ６０３０ｔにそれぞれ対応するレンズ窓ＣＣ６２１１ｎ、Ｃ６２１１ｔの前後方向位置は、広角ユニットＣ６０３０ｗに対応するレンズ窓６２１１ｗの前後方向位置とはずれた状態で、互いに位置合わせされている。
【0089】
第４の構成例：
図２１に示す第４の構成例では、各ユニットＣ３０ｗ、Ｃ３０ｎ、Ｃ３０ｔの光軸Ａｗ、Ａｎ、Ａｔ同士が横方向に限って偏心することで、それらユニット同士が横方向にて重なっている。この場合、横方向での画像位置精度に関する以外の作用効果を第１の構成例と同様に発揮することができ、さらに横方向での画像位置精度は位置座標のずれ補正により確保することができる。
図２１に示す第４の構成例では、各ユニットＣ３０ｗ、Ｃ３０ｎ、Ｃ３０ｔの光軸Ａｗ、Ａｎ、Ａｔ同士が横方向に限って偏心することで、それらユニット同士が横方向にて重なっている。この場合、横方向での画像位置精度に関する以外の作用効果を第１の構成例と同様に発揮することができ、さらに横方向での画像位置精度は位置座標のずれ補正により確保することができる。
【0090】
第５～第７の構成例：
第５～第７の構成例では、望遠ユニットＣ３０ｔが狭角ユニットＣ３０ｎの上側以外に配置される。この場合の図２２～２４に示す具体例では、広角ユニットＣ３０ｗと狭角ユニットＣ３０ｎとのうち少なくとも一方に対する横方向の片側に、望遠ユニットＣ３０ｔが配置されている。これにより望遠ユニットＣ３０ｔは、広角ユニットＣ３０ｗと狭角ユニットＣ３０ｎとのうち少なくとも一方に対して、横方向に重なる。
第５～第７の構成例では、望遠ユニットＣ３０ｔが狭角ユニットＣ３０ｎの上側以外に配置される。この場合の図２２～２４に示す具体例では、広角ユニットＣ３０ｗと狭角ユニットＣ３０ｎとのうち少なくとも一方に対する横方向の片側に、望遠ユニットＣ３０ｔが配置されている。これにより望遠ユニットＣ３０ｔは、広角ユニットＣ３０ｗと狭角ユニットＣ３０ｎとのうち少なくとも一方に対して、横方向に重なる。
【0091】
以上、実施形態、変形例に基づき本開示について説明してきたが、上記した発明の実施の形態は、本開示の理解を容易にするためのものであり、本開示を限定するものではない。本開示は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本開示にはその等価物が含まれる。たとえば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。例えば、上記第１の態様に係る車両に搭載される撮像システムを適用例１とし、
適用例２：適用例１に記載の撮像システムにおいて、
前記参照パターンは、前記広角カメラによって撮像された撮像画像に対応する第１の参照パターンであり、
前記対象物識別装置は前記撮像画像の全ての領域を対象として、前記広角カメラによる歪みを補正するための歪補正処理を実行し、前記第１の参照パターンを用いて前記全ての領域における対象物を識別する、撮像システム。
適用例３：適用例１に記載の撮像システムにおいて、
前記対象物識別装置は前記撮像画像の全ての領域に対して、前記広角カメラによる撮像画像の歪みを非広角カメラにより撮像された撮像画像の歪みである非広角歪みまで補正するための歪補正処理を実行し、
前記参照パターンは、前記非広角歪みに対応する第２の参照パターンであり、前記対象物識別装置は、前記第２の参照パターンを用いて前記全ての領域における対象物を識別する、撮像システム。
適用例４：適用例３に記載の撮像システムにおいて、
前記対象物識別装置は、前記広角カメラによる撮像画像の歪みを前記非広角歪みの最大歪みまで補正するための歪補正処理を実行する、撮像システム。
適用例５：適用例１に記載の撮像システムにおいて、
前記対象物識別装置は、前記撮像画像の周辺部領域に対して前記歪補正処理を実行し、前記撮像画像の前記周辺部領域以外の他の領域に対して前記歪補正処理を実行せず、
前記参照パターンは、前記広角カメラによる撮像画像における歪みに対応する第１の参照パターンと、非広角カメラによる撮像画像における歪みに対応する第２の参照パターンとを含み、前記対象物識別装置は、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記第１の参照パターンを用いて前記周辺部領域における対象物を識別する、撮像システム。
適用例６：適用例３から適用例５のいずれか一項に記載の撮像システムにおいて、
少なくとも一つの前記非広角カメラを備え、
前記非広角カメラは、挟角カメラおよび望遠カメラの少なくともいずれか一方である、撮像システム。
適用例７：適用例１に記載の撮像システムにおいて、
前記対象物識別装置は、前記撮像画像の周辺部領域に含まれる対象物候補の周囲領域に対して前記歪補正処理を実行し、前記撮像画像の前記周囲領域以外の他の領域に対して前記歪補正処理を実行せず、
前記参照パターンは、前記広角カメラによる撮像画像における歪みに対応する第１の参照パターンであり、前記対象物識別装置は、前記第１の参照パターンを用いて全ての領域における対象物を識別する、撮像システム。
適用例８：適用例１に記載の撮像システムにおいて、
前記広角カメラは中心窩レンズを有し、
前記対象物識別装置は、前記撮像画像の周辺部領域に対して前記歪補正処理を実行し、前記撮像画像の前記周縁部領域以外の他の領域に対して前記歪補正処理を実行せず、
前記参照パターンは、前記広角カメラによる撮像画像における歪みに対応する第１の参照パターンと、非広角カメラによる撮像画像における歪みに対応する第２の参照パターンとを含み、前記対象物識別装置は、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記第１の参照パターンを用いて前記周辺部領域における対象物を識別する、撮像システム。とし、
上記第２の態様に係る車両に搭載される撮像システムを適用例９とし、
適用例１０：適用例９に記載の撮像システムにおいて、
前記複数の領域画像は、前記撮像画像の周辺部領域と前記周辺部領域以外の他の領域とを含み、
前記参照パターンは、前記他の領域に対応する第２の参照パターンと、前記周辺部領域に対応する周辺部参照パターンとを含み、前記対象物識別装置は、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記周辺部参照パターンを用いて前記周辺部領域における対象物を識別する、撮像システム。
適用例１１：適用例１０に記載の撮像システムにおいて、
前記周辺部領域が有する歪みは前記広角カメラにより撮像された撮像画像の周辺部が有する歪みに相当し、
前記第２の参照パターンは、前記非広角カメラによる撮像画像における歪みに対応し、前記周辺部参照パターンは、前記広角カメラによる撮像画像の周辺部における歪みに対応する、撮像システム。
適用例１２：適用例１１に記載の撮像システムにおいて、
前記非広角カメラは、挟角カメラおよび望遠カメラの少なくともいずれか一方である、撮像システム。
適用例１３：適用例１０から適用例１２のいずれか一項に記載の撮像システムにおいて、前記他の領域は非広角カメラの画角に対応する領域である、撮像システム。
とし、
上記第３の態様に係る車両に搭載される対象物識別装置を適用例１４とし、
適用例１５：適用例１４に記載の対象物識別装置において、
前記参照パターンは、前記広角カメラによって撮像された撮像画像に対応する第１の参照パターンであり、前記識別部は、前記撮像画像の全ての領域を対象として、前記広角カメラによる歪みを補正するための歪補正処理を実行し、前記第１の参照パターンを用いて前記全ての領域における対象物を識別する、対象物識別装置。
適用例１６：適用例１４に記載の対象物識別装置において、
前記識別部は前記撮像画像の全ての領域に対して、前記広角カメラによる撮像画像の歪みを非広角カメラにより撮像された撮像画像の歪みである非広角歪みまで補正するための歪補正処理を実行し、前記参照パターンとして、前記非広角歪みに対応する第２の参照パターンを用いて前記全ての領域における対象物を識別する、対象物識別装置。
適用例１７：適用例１６に記載の対象物識別装置において、
前記識別部は、前記広角カメラによる撮像画像の歪みを前記非広角歪みの最大歪みまで補正するための歪補正処理を実行する、対象物識別装置。
適用例１８：適用例１４に記載の対象物識別装置において、
前記参照パターンは、前記広角カメラによる撮像画像における歪みに対応する第１の参照パターンと、非広角カメラによる撮像画像における歪みに対応する第２の参照パターンとを含み、前記識別部は、前記撮像画像の周辺部領域に対して前記歪補正処理を実行し、前記撮像画像の前記周辺部領域以外の他の領域に対して前記歪補正処理を実行せず、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記第１の参照パターンを用いて前記周辺部領域における対象物を識別する、対象物識別装置。
適用例１９：適用例１６から適用例１８のいずれかに記載の対象物識別装置において、
前記非広角カメラは、挟角カメラおよび望遠カメラの少なくともいずれか一方である、対象物識別装置。
適用例２０：適用例１４に記載の対象物識別装置において、
前記参照パターンは、前記広角カメラによる撮像画像における歪みに対応する第１の参照パターンであり、前記識別部は、前記撮像画像の周辺部領域に含まれる対象物候補の周囲領域に対して前記歪補正処理を実行し、前記撮像画像の前記周囲領域以外の他の領域に対して前記歪補正処理を実行せず、前記第１の参照パターンを用いて全ての領域における対象物を識別する、対象物識別装置。
適用例２１：適用例１４に記載の対象物識別装置において、
前記広角カメラは中心窩レンズを有し、
前記参照パターンは、前記広角カメラによる撮像画像における歪みに対応する第１の参照パターンと、非広角カメラによる撮像画像における歪みに対応する第２の参照パターンとを含み、前記識別部は、前記撮像画像の周辺部領域に対して前記歪補正処理を実行し、前記撮像画像の前記周縁部領域以外の他の領域に対して前記歪補正処理を実行せず、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記第１の参照パターンを用いて前記周辺部領域における対象物を識別する、対象物識別装置。とし、
上記第４の態様に係る車両に搭載される対象物識別装置を適用例２２とし、
適用例２３：適用例２２に記載の対象物識別装置において、
前記複数の領域画像は、前記撮像画像の周辺部領域と前記周辺部領域以外の他の領域とを含み、
前記参照パターンは、前記他の領域に対応する第２の参照パターンと、前記周辺部領域に対応する周辺部参照パターンとを含み、前記対象物識別装置は、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記周辺部参照パターンを用いて前記周辺部領域における対象物を識別する、対象物識別装置。
適用例２４：適用例２３に記載の対象物識別装置において、
前記周辺部領域が有する歪みは前記広角カメラにより撮像された撮像画像の周辺部が有する歪みに相当し、
前記第２の参照パターンは、非広角カメラによる撮像画像における歪みに対応し、前記周辺部参照パターンは、前記広角カメラによる撮像画像の周辺部における歪みに対応する、対象物識別装置。
適用例２５：適用例２４に記載の対象物識別装置において、
前記非広角カメラは、挟角カメラおよび望遠カメラの少なくともいずれか一方である、対象物識別装置。
適用例２６：適用例２３から適用例２５のいずれか一項に記載の対象物識別装置において、前記他の領域は非広角カメラの画角に対応する領域である、対象物識別装置。
とすることができる。
適用例２：適用例１に記載の撮像システムにおいて、
前記参照パターンは、前記広角カメラによって撮像された撮像画像に対応する第１の参照パターンであり、
前記対象物識別装置は前記撮像画像の全ての領域を対象として、前記広角カメラによる歪みを補正するための歪補正処理を実行し、前記第１の参照パターンを用いて前記全ての領域における対象物を識別する、撮像システム。
適用例３：適用例１に記載の撮像システムにおいて、
前記対象物識別装置は前記撮像画像の全ての領域に対して、前記広角カメラによる撮像画像の歪みを非広角カメラにより撮像された撮像画像の歪みである非広角歪みまで補正するための歪補正処理を実行し、
前記参照パターンは、前記非広角歪みに対応する第２の参照パターンであり、前記対象物識別装置は、前記第２の参照パターンを用いて前記全ての領域における対象物を識別する、撮像システム。
適用例４：適用例３に記載の撮像システムにおいて、
前記対象物識別装置は、前記広角カメラによる撮像画像の歪みを前記非広角歪みの最大歪みまで補正するための歪補正処理を実行する、撮像システム。
適用例５：適用例１に記載の撮像システムにおいて、
前記対象物識別装置は、前記撮像画像の周辺部領域に対して前記歪補正処理を実行し、前記撮像画像の前記周辺部領域以外の他の領域に対して前記歪補正処理を実行せず、
前記参照パターンは、前記広角カメラによる撮像画像における歪みに対応する第１の参照パターンと、非広角カメラによる撮像画像における歪みに対応する第２の参照パターンとを含み、前記対象物識別装置は、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記第１の参照パターンを用いて前記周辺部領域における対象物を識別する、撮像システム。
適用例６：適用例３から適用例５のいずれか一項に記載の撮像システムにおいて、
少なくとも一つの前記非広角カメラを備え、
前記非広角カメラは、挟角カメラおよび望遠カメラの少なくともいずれか一方である、撮像システム。
適用例７：適用例１に記載の撮像システムにおいて、
前記対象物識別装置は、前記撮像画像の周辺部領域に含まれる対象物候補の周囲領域に対して前記歪補正処理を実行し、前記撮像画像の前記周囲領域以外の他の領域に対して前記歪補正処理を実行せず、
前記参照パターンは、前記広角カメラによる撮像画像における歪みに対応する第１の参照パターンであり、前記対象物識別装置は、前記第１の参照パターンを用いて全ての領域における対象物を識別する、撮像システム。
適用例８：適用例１に記載の撮像システムにおいて、
前記広角カメラは中心窩レンズを有し、
前記対象物識別装置は、前記撮像画像の周辺部領域に対して前記歪補正処理を実行し、前記撮像画像の前記周縁部領域以外の他の領域に対して前記歪補正処理を実行せず、
前記参照パターンは、前記広角カメラによる撮像画像における歪みに対応する第１の参照パターンと、非広角カメラによる撮像画像における歪みに対応する第２の参照パターンとを含み、前記対象物識別装置は、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記第１の参照パターンを用いて前記周辺部領域における対象物を識別する、撮像システム。とし、
上記第２の態様に係る車両に搭載される撮像システムを適用例９とし、
適用例１０：適用例９に記載の撮像システムにおいて、
前記複数の領域画像は、前記撮像画像の周辺部領域と前記周辺部領域以外の他の領域とを含み、
前記参照パターンは、前記他の領域に対応する第２の参照パターンと、前記周辺部領域に対応する周辺部参照パターンとを含み、前記対象物識別装置は、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記周辺部参照パターンを用いて前記周辺部領域における対象物を識別する、撮像システム。
適用例１１：適用例１０に記載の撮像システムにおいて、
前記周辺部領域が有する歪みは前記広角カメラにより撮像された撮像画像の周辺部が有する歪みに相当し、
前記第２の参照パターンは、前記非広角カメラによる撮像画像における歪みに対応し、前記周辺部参照パターンは、前記広角カメラによる撮像画像の周辺部における歪みに対応する、撮像システム。
適用例１２：適用例１１に記載の撮像システムにおいて、
前記非広角カメラは、挟角カメラおよび望遠カメラの少なくともいずれか一方である、撮像システム。
適用例１３：適用例１０から適用例１２のいずれか一項に記載の撮像システムにおいて、前記他の領域は非広角カメラの画角に対応する領域である、撮像システム。
とし、
上記第３の態様に係る車両に搭載される対象物識別装置を適用例１４とし、
適用例１５：適用例１４に記載の対象物識別装置において、
前記参照パターンは、前記広角カメラによって撮像された撮像画像に対応する第１の参照パターンであり、前記識別部は、前記撮像画像の全ての領域を対象として、前記広角カメラによる歪みを補正するための歪補正処理を実行し、前記第１の参照パターンを用いて前記全ての領域における対象物を識別する、対象物識別装置。
適用例１６：適用例１４に記載の対象物識別装置において、
前記識別部は前記撮像画像の全ての領域に対して、前記広角カメラによる撮像画像の歪みを非広角カメラにより撮像された撮像画像の歪みである非広角歪みまで補正するための歪補正処理を実行し、前記参照パターンとして、前記非広角歪みに対応する第２の参照パターンを用いて前記全ての領域における対象物を識別する、対象物識別装置。
適用例１７：適用例１６に記載の対象物識別装置において、
前記識別部は、前記広角カメラによる撮像画像の歪みを前記非広角歪みの最大歪みまで補正するための歪補正処理を実行する、対象物識別装置。
適用例１８：適用例１４に記載の対象物識別装置において、
前記参照パターンは、前記広角カメラによる撮像画像における歪みに対応する第１の参照パターンと、非広角カメラによる撮像画像における歪みに対応する第２の参照パターンとを含み、前記識別部は、前記撮像画像の周辺部領域に対して前記歪補正処理を実行し、前記撮像画像の前記周辺部領域以外の他の領域に対して前記歪補正処理を実行せず、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記第１の参照パターンを用いて前記周辺部領域における対象物を識別する、対象物識別装置。
適用例１９：適用例１６から適用例１８のいずれかに記載の対象物識別装置において、
前記非広角カメラは、挟角カメラおよび望遠カメラの少なくともいずれか一方である、対象物識別装置。
適用例２０：適用例１４に記載の対象物識別装置において、
前記参照パターンは、前記広角カメラによる撮像画像における歪みに対応する第１の参照パターンであり、前記識別部は、前記撮像画像の周辺部領域に含まれる対象物候補の周囲領域に対して前記歪補正処理を実行し、前記撮像画像の前記周囲領域以外の他の領域に対して前記歪補正処理を実行せず、前記第１の参照パターンを用いて全ての領域における対象物を識別する、対象物識別装置。
適用例２１：適用例１４に記載の対象物識別装置において、
前記広角カメラは中心窩レンズを有し、
前記参照パターンは、前記広角カメラによる撮像画像における歪みに対応する第１の参照パターンと、非広角カメラによる撮像画像における歪みに対応する第２の参照パターンとを含み、前記識別部は、前記撮像画像の周辺部領域に対して前記歪補正処理を実行し、前記撮像画像の前記周縁部領域以外の他の領域に対して前記歪補正処理を実行せず、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記第１の参照パターンを用いて前記周辺部領域における対象物を識別する、対象物識別装置。とし、
上記第４の態様に係る車両に搭載される対象物識別装置を適用例２２とし、
適用例２３：適用例２２に記載の対象物識別装置において、
前記複数の領域画像は、前記撮像画像の周辺部領域と前記周辺部領域以外の他の領域とを含み、
前記参照パターンは、前記他の領域に対応する第２の参照パターンと、前記周辺部領域に対応する周辺部参照パターンとを含み、前記対象物識別装置は、前記第２の参照パターンを用いて前記他の領域における対象物を識別し、前記周辺部参照パターンを用いて前記周辺部領域における対象物を識別する、対象物識別装置。
適用例２４：適用例２３に記載の対象物識別装置において、
前記周辺部領域が有する歪みは前記広角カメラにより撮像された撮像画像の周辺部が有する歪みに相当し、
前記第２の参照パターンは、非広角カメラによる撮像画像における歪みに対応し、前記周辺部参照パターンは、前記広角カメラによる撮像画像の周辺部における歪みに対応する、対象物識別装置。
適用例２５：適用例２４に記載の対象物識別装置において、
前記非広角カメラは、挟角カメラおよび望遠カメラの少なくともいずれか一方である、対象物識別装置。
適用例２６：適用例２３から適用例２５のいずれか一項に記載の対象物識別装置において、前記他の領域は非広角カメラの画角に対応する領域である、対象物識別装置。
とすることができる。
【符号の説明】
【0092】
３０、３１…撮像システム、２０…フロントカメラ装置、２１…リアカメラ装置、２０ａ、２１ａ…広角カメラ、２００、２１０…対象物識別装置、２０１、２１１…ＣＰＵ、２０２、２１２…メモリ、２０３、２１３…入出力インタフェース、２０４、２１４…バス、５００…車両、Ｐ１…対象物識別プログラム、Ｐ２…歪補正処理プログラム、Ｐ３…領域分割プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】