特許 5651491 画像表示システム、画像表示装置、及び、画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5651491

(24)【登録日】2014年11月21日

(45)【発行日】2015年1月14日

(54)【発明の名称】画像表示システム、画像表示装置、及び、画像表示方法

(51)【国際特許分類】

   B60R 21/00 20060101AFI20141218BHJP

   B60R 1/00 20060101ALI20141218BHJP

   G08G 1/16 20060101ALI20141218BHJP

   H04N 7/18 20060101ALI20141218BHJP

【ＦＩ】

   B60R21/00 628D

   B60R1/00 A

   B60R21/00 626G

   G08G1/16 C

   H04N7/18 J

【請求項の数】8

【全頁数】21

(21)【出願番号】特願2011-18192(P2011-18192)

(22)【出願日】2011年1月31日

(65)【公開番号】特開2012-158225(P2012-158225A)

(43)【公開日】2012年8月23日

【審査請求日】2013年12月17日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】富士通テン株式会社

(72)【発明者】

【氏名】橋本 欣和

【審査官】 杉▲崎▼ 覚

(56)【参考文献】

【文献】 特開２００２−０１９４９２（ＪＰ，Ａ）

【文献】 特開２００３−０８５６８５（ＪＰ，Ａ）

【文献】 特開２００４−３５１９６０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｒ ２１／００−２１／１３

Ｂ６０Ｒ ２１／３４−２１／３８

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ １／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両に搭載される画像表示システムであって、
前記車両の周辺を撮影する撮像部が取得した車外画像を受信する受信手段と、
前記車両の操舵角を取得する取得手段と、
前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する第１導出手段と、
前記予測進路に誤差を生じさせる要因の程度を検知する検知手段と、
前記要因の程度に関する路面摩擦係数、および、前記車両の速度のパラメータの演算処理に基づいて、前記予測進路に対して最大の誤差を有する最大誤差進路を導出する第２導出手段と、
前記予測進路と前記最大誤差進路とで構成される範囲であり、前記車両からの距離が離れるほど広くなる範囲を示す指標を前記車外画像に重畳して表示する表示手段と、
を備えること、
を特徴とする画像表示システム。

【請求項2】

請求項１に記載の画像表示システムにおいて、
前記検知手段は、前記車両が走行する路面の滑りやすさと、前記車両の速度とを前記要
因の程度として検知すること、
を特徴とする画像表示システム。

【請求項3】

請求項１または２に記載の画像表示システムにおいて、
前記検知手段は、前記車両の設計公差を前記要因の程度として検知すること、
を特徴とする画像表示システム。

【請求項4】

請求項２に記載の画像表示システムにおいて、
前記表示手段は、前記車両の速度に応じて前記予測進路と前記最大誤差経路とで構成される範囲が変化した場合に、変化前と変化後との双方の前記予測進路と前記最大誤差進路とで構成される範囲を示す指標を表示すること、
を特徴とする画像表示システム。

【請求項5】

車両に搭載される画像処理装置であって、
前記車両の周辺を撮影する撮像部が取得した車外画像を受信する受信手段と、
前記車両の操舵角を取得する取得手段と、
前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する第１導出手段と、
前記予測進路に誤差を生じさせる要因の程度を検知する検知手段と、
前記要因の程度に関する路面摩擦係数、および、前記車両の速度のパラメータの演算処理に基づいて、前記予測進路に対して最大の誤差を有する最大誤差進路を導出する第２導出手段と、
前記予測進路と前記最大誤差進路とで構成される範囲であり、前記車両からの距離が離れるほど広くなる範囲を示す指標を表示装置に送信する送信手段と、
を備えること、
を特徴とする画像処理装置。

【請求項6】

車両に搭載される画像表示システムの画像表示方法であって、
（ａ）前記車両の周辺を撮影する撮像部が取得した車外画像を受信する工程と、
（ｂ）前記車両の操舵角を取得する工程と、
（ｃ）前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する工程と、
（ｄ）前記予測進路に誤差を生じさせる要因の程度を検知する工程と、
（ｅ）前記要因の程度に関する路面摩擦係数、および、前記車両の速度のパラメータの演算処理に基づいて、前記予測進路に対して最大の誤差を有する最大誤差進路を導出する工程と、
（ｆ）前記予測進路と前記最大誤差進路とで構成される範囲であり、前記車両からの距離が離れるほど広くなる範囲を示す指標を前記車外画像に重畳して表示する工程と、
を備えること、
を特徴とする画像表示方法。

【請求項7】

車両に搭載される画像表示システムであって、
前記車両の周辺を撮影する撮像部が取得した車外画像を受信する受信手段と、
前記車両の操舵角を取得する取得手段と、
前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する第１導出
手段と、
前記予測進路に誤差を生じさせる要因の程度を検知する検知手段と、
前記要因の程度に基づいて、前記予測進路の前記誤差が生じる範囲を導出する第３導出
手段と、
前記予測進路の前記誤差が生じる範囲を示す指標を前記車外画像に重畳して表示する表
示手段と、
を備え、
前記検知手段は、前記車両の速度を前記要因の程度として検知し、
前記表示手段は、前記車両の速度に応じて前記予測進路の前記誤差が生じる範囲が変化
した場合に、変化前と変化後との双方の前記予測進路の前記誤差が生じる範囲を示す指標
を表示すること、
を特徴とする画像表示システム。

【請求項8】

請求項７に記載の画像表示システムにおいて、
前記検知手段は、前記車両が走行する路面の滑りやすさを前記要因の程度として検知すること、
を特徴とする画像表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の予測進路を表示する技術に関する。

【背景技術】

【0002】

近年、車両に搭載された表示装置において、車両に備えられたカメラにより車両周辺を撮影した車外画像に車両の予測進路を示す指標を重畳して表示する技術が開発されている。車両のユーザは表示装置に表示された指標を車両の進行方向の目安として、車両のステアリングホイールの操作、および、アクセル開度の調整などを行って、ユーザの目標とするスペースに車両を移動させる。なお、本発明と関連する技術を説明する資料としては特許文献１がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−８３９９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、表示装置に表示される車両の予測進路は、車両のステアリングホイールの操舵角に応じて、車外画像上の表示位置の変更がなされるものの、車両の進行に伴い予測進路に誤差を生じさせる要因については考慮されていなかった。そのため、表示装置に表示された予測進路に基づいてユーザが車両を移動させた場合にユーザの意図した位置とは異なる位置に車両が移動する可能性があった。

【0005】

本発明は、上記課題に鑑みてなされたものであり、車両が移動する可能性のある位置を示す予測進路をユーザへ提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、請求項１の発明は、車両に搭載される画像表示システムであって、前記車両の周辺を撮影する撮像部が取得した車外画像を受信する受信手段と、前記車両の操舵角を取得する取得手段と、前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する第１導出手段と、前記予測進路に誤差を生じさせる要因の程度を検知する検知手段と、前記要因の程度に関する路面摩擦係数、および、前記車両の速度のパラメータの演算処理に基づいて、前記予測進路に対して最大の誤差を有する最大誤差進路を導出する第２導出手段と、前記予測進路と前記最大誤差進路とで構成される範囲であり、前記車両からの距離が離れるほど広くなる範囲を示す指標を前記車外画像に重畳して表示する表示手段と、を備える。

【0007】

また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、前記検知手段は、前記車両が走行する路面の滑りやすさと、前記車両の速度とを前記要因の程度として検知する。

【0008】

また、請求項３の発明は、請求項１または２に記載の画像表示システムにおいて、前記検知手段は、前記車両の設計公差を前記要因の程度として検知する。

【0009】

また、請求項４の発明は、請求項２に記載の画像表示システムにおいて、前記表示手段は、前記車両の速度に応じて前記予測進路と前記最大誤差経路とで構成される範囲が変化した場合に、変化前と変化後との双方の前記予測進路と前記最大誤差進路とで構成される範囲を示す指標を表示する。

【0010】

また、請求項５の発明は、車両に搭載される画像処理装置であって、前記車両の周辺を撮影する撮像部が取得した車外画像を受信する受信手段と、前記車両の操舵角を取得する取得手段と、前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する第１導出手段と、前記予測進路に誤差を生じさせる要因の程度を検知する検知手段と、前記要因の程度に関する路面摩擦係数、および、前記車両の速度のパラメータの演算処理に基づいて、前記予測進路に対して最大の誤差を有する最大誤差進路を導出する第２導出手段と、前記予測進路と前記最大誤差進路とで構成される範囲であり、前記車両からの距離が離れるほど広くなる範囲を示す指標を表示装置に送信する送信手段と、を備える。

【0011】

また、請求項６の発明は、車両に搭載される画像表示システムの画像表示方法であって、（ａ）前記車両の周辺を撮影する撮像部が取得した車外画像を受信する工程と、（ｂ）前記車両の操舵角を取得する工程と、（ｃ）前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する工程と、（ｄ）前記予測進路に誤差を生じさせる要因の程度を検知する工程と、（ｅ）前記要因の程度に関する路面摩擦係数、および、前記車両の速度のパラメータの演算処理に基づいて、前記予測進路に対して最大の誤差を有する最大誤差進路を導出する工程と、（ｆ）前記予測進路と前記最大誤差進路とで構成される範囲であり、前記車両からの距離が離れるほど広くなる範囲を示す指標を前記車外画像に重畳して表示する工程と、を備える。
また、請求項７の発明は、車両に搭載される画像表示システムであって、前記車両の周辺を撮影する撮像部が取得した車外画像を受信する受信手段と、前記車両の操舵角を取得する取得手段と、前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する第１導出手段と、前記予測進路に誤差を生じさせる要因の程度を検知する検知手段と、前記要因の程度に基づいて、前記予測進路の前記誤差が生じる範囲を導出する第３導出手段と、前記予測進路の前記誤差が生じる範囲を示す指標を前記車外画像に重畳して表示する表示手段と、を備え、前記検知手段は、前記車両の速度を前記要因の程度として検知し、前記表示手段は、前記車両の速度に応じて前記予測進路の前記誤差が生じる範囲が変化した場合に、変化前と変化後との双方の前記予測進路の前記誤差が生じる範囲を示す指標を表示する。
また、請求項８の発明は、請求項７に記載の画像表示システムにおいて、前記検知手段は、前記車両が走行する路面の滑りやすさを前記要因の程度として検知する。

【発明の効果】

【0012】

請求項１ないし６の発明によれば、予測進路の誤差が生じる範囲を示す指標を車外画像に重畳して表示することで、車両の進行に伴って車両の通過する可能性のある位置をユーザが認識できる。

【0013】

また、特に請求項２の発明によれば、検知手段は、車両が走行する路面の滑りやすさと、車両の速度とを要因の程度として検知することで、車両の外部要因に基づいて導出された車両の進行に伴って車両の通過する可能性のある位置をユーザが認識できる。

【0014】

また、特に請求項３の発明によれば、検知手段は、車両の設計公差を要因の程度として検知することで、車両内部の要因に基づいて導出された車両の進行に伴って車両の通過する可能性のある位置をユーザに認識させることができる。

【0015】

さらに、特に請求項４の発明によれば、表示手段は、車両の速度に応じて予測進路の誤差が生じる範囲が変化した場合に、変化前と変化後との双方の予測進路の誤差が生じる範囲を示す指標を表示することで、車両の速度に応じて変化した予測進路の誤差が生じる範囲をユーザが認識できる。

【図面の簡単な説明】

【0016】

【図1】図１は、画像表示システムのブロック図である。

【図2】図２は、車載カメラが車両に配置される位置を示す図である。

【図3】図３は、合成画像を生成する手法を説明するための図である。

【図4】図４は、車両像を俯瞰した合成画像がディスプレイに表示された例を示す図である。

【図5】図５は、車両像を俯瞰した合成画像がディスプレイに表示された例を示す図である。

【図6】図６は、車両像の後方に表示された予測進路を含む指標を示す図である。

【図7】図７は、車両像の後方に表示された指標の予測進路の範囲を示す図である。

【図8】図８は、車両像を俯瞰した合成画像がディスプレイに表示された例を示す図である。

【図9】図９は、車両像を俯瞰した合成画像がディスプレイに表示された例を示す図である。

【図10】図１０は、バックカメラにより撮影された画像を画像生成部で処理を行い、ディスプレイに表示した図である。

【図11】図１１は、第１の実施の形態の画像処理装置の処理フローチャートである。

【図12】図１２は、車両像の後方に表示された予測進路の範囲を含む指標を示す図である。

【図13】図１３は、第２の実施の形態の画像処理装置の処理フローチャートである。

【図14】図１４は、車両像の後方に表示された予測進路の範囲を含む指標を示す図である。

【発明を実施するための形態】

【0017】

以下、図面を参照しつつ本発明の実施の形態について説明する。

【0018】

＜１．第１の実施の形態＞
＜１−１．システム構成＞
図１は、画像表示システム１２０のブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置２０などの表示装置に出力する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。

【0019】

図１に示すように、画像表示システム１２０は、車両の周辺を示す周辺画像を生成してナビゲーション装置２０などの表示装置に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。

【0020】

ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。

【0021】

ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００により生成された車両の周辺の様子を示す周辺画像や、車両９及び車両９の周辺領域を俯瞰した俯瞰画像が表示される。また、ディスプレイ２１に表示される俯瞰画像は周辺領域をほぼリアルタイムに示すことになる。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。

【0022】

画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）であり、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。

【0023】

画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。

【0024】

ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。

【0025】

画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、画像受信部３１、画像重畳部３３、及び、画像送信部３４を主な機能として備えている。

【0026】

画像受信部３１は、車両９の周辺を撮影する撮影部５の複数の車載カメラ５１、５２、５３で取得された複数の撮影画像を受信する、
画像合成部３２は、撮影部５の複数の車載カメラ５１、５２、５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３２が仮想視点からみた合成画像を生成する手法については後述する。

【0027】

画像重畳部は３３は、車両９が進行すると予測される予測進路を撮影部５が撮影した画像に重畳する処理を行う。予測進路は車両９が進行することにより通過する位置を示し、後述する制御部１の予測進路導出部１３により導出される。また、予測進路が重畳される画像は、撮影部５の一のカメラ（例えばバックカメラ５２）により撮影された画像、および、画像合成部３２により合成された画像などである。なお、以下、このような車両９の周辺を一のカメラにより撮影した画像、および、車両９の周辺を複数のカメラで撮影した画像を合成した合成画像を車外画像ともいう。

【0028】

画像送信部３４は、画像生成部３で生成された車外画像をナビゲーション装置２０へ出力する。

【0029】

制御部１は、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部１１、操舵角取得部１２、予測進路導出部１３、および、要因検知部１４は、このようにして実現される制御部１の機能のうちの一部を示している。

【0030】

画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、画像合成部３２が生成する合成画像の生成に必要な各種パラメータなどを指示する。

【0031】

操舵角取得部１２は、ユーザが操作した車両９のステアリングホイールの操舵角の情報を操舵角センサ８３から取得する。

【0032】

予測進路導出部１３は、操舵角取得部１２が取得したステアリングホイールの操舵角に基づいて車両９が進行すると予想される予測進路を導出する。詳細には、ステアリングホイールの操舵角の情報から車両９の回転半径を導出し、回転半径に基づいて車両９の後輪が進行すると予測される軌跡を演算する。

【0033】

また、予測進路導出部１３は、後述する要因検知部１４が検知する予測進路の誤差を生じさせる要因の程度に基づいて、予測進路の誤差が生じる範囲を導出する。つまり、ステアリングホイールの操舵角に基づいて導出した車両９の予測進路が車両９の走行環境の影響で誤差を生じる場合に、誤差分を予測進路の導出の演算に含めた車両９の予測進路を予測進路導出部１３が導出する。

【0034】

ここで、車両９の走行環境とは、例えば車両９の走行する路面の滑りやすさを示す路面摩擦係数、および、車両９の速度である。そして、ステアリングホイールの操舵角のみに基づいて予測進路導出部１３が導出した誤差を考慮しない理想的な予測進路と、ステアリングホイールの操舵角および誤差を生じる要因の程度に基づいて予測進路導出部１３が導出した最大の誤差を考慮した予測進路との間隔が、予測進路の誤差が生じる範囲として導出される。そして、この予測進路の誤差が生じる範囲を示す指標がディスプレイ２１に表示される。なお、この予測進路の誤差が生じる範囲を導出について、予測進路導出部１３は路面摩擦係数および車両９の速度をパラメータとした演算処理を行う。また、予測進路の誤差が生じる範囲を導出するための対応関係を示すテーブルデータである範囲データ４ｂを不揮発性メモリ４０に記録しておき、路面摩擦係数と車両９の速度に応じて予測進路の誤差が生じる範囲を予測進路導出部１３が導出するようにしてもよい。

【0035】

要因検知部１４は、車両９の予測進路に誤差を生じさせる要因の程度を検知する。ここで、予測進路に誤差を生じさせる要因は上述のように車両９の走行環境である。走行環境の一つは、車両９が走行する路面の滑りやすさを示す路面摩擦係数である。この路面摩擦係数は、ブレーキＥＣＵ８４に検知される。また、走行環境の他の一つは、車両９の速度である。この速度は、車速センサ８６に検知される。これら路面摩擦係数及び速度は、予測進路に誤差を生じさせる要因の程度として要因検知部１４に検知される。

【0036】

また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。

【0037】

不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、画像合成部３２が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。

【0038】

また、不揮発性メモリ４０には範囲データ４ｂが記録されている。範囲データ４ｂは、予測進路導出部１３が予測進路の誤差が生じる範囲を導出する際に読出されるデータである。つまり、予測進路の誤差が生じる範囲を導出するための対応関係を示すテーブルデータが範囲データ４ｂとして不揮発性メモリに記録されている。

【0039】

また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、ジャイロセンサ８２、操舵角センサ８３、ブレーキＥＣＵ８４、サスペンションＥＣＵ８５、および、車速センサ８６などから、各種情報を示す信号が制御部１に入力される。

【0040】

シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。なお、車速センサ８６からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。

【0041】

ジャイロセンサ８２からは、車両９の傾き変化の速度（角速度）の信号が入力される。制御部１はジャイロセンサ８２からの入力信号により車両９の傾き変化を導出する。

【0042】

操舵角センサ８３は、ユーザが操作したステアリングホイールの操作方向を制御部１に入力する。詳細には、操舵角センサ８３は、ユーザが操作したステアリングホイールの回転方向、回転角度、及び、回転速度を信号入力部４１を介して制御部１に入力する。なお、操舵角センサ８３の信号は車両本体を制御する制御部へも入力される。そして、操舵角センサ８３の入力信号と車速センサ８６から車両本体を制御する制御部へ入力された信号に基づいて、車両９を操舵する前輪の操舵角と操舵速度が算出され、この算出された値に基づいて車両９の制御が行われる。

【0043】

ブレーキＥＣＵ８４は、車両９の車輪の円周の値に車輪の回転数を乗算して導出される制動距離と車両９の速度に対応する車輪速度とに基づいて、車両９の走行する路面の摩擦係数を導出する。

【0044】

サスペンションＥＣＵ８５は、車両９の走行する路面の凹凸の程度を検知する。この路面の凹凸の程度の情報は予測進路に誤差を生じさせる要因の程度の一つとして要因検知部１４が検知する。

【0045】

車速センサ８６は、車両９が移動した際に車輪が回転する速度を車速信号として制御部１に出力する。

【0046】

＜１−２．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。

【0047】

撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４を備えている。これらの車載カメラ５１、５２、５３、５４はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。

【0048】

図２は、車載カメラ５１、５２、５３、５４が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。

【0049】

フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に略沿って向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、左サイドカメラ５３は、左のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左方向（平面視で＋Ｘ軸方向）に沿って外部に向けられている。さらに、右サイドカメラ５４は、右のドアミラー９４にそれぞれ設けられており、その光軸５４ａは車両９の右方向（平面視で−Ｘ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

【0050】

これらの車載カメラ５１、５２、５３、５４のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１、５２、５３、５４は１８０度以上の画角αを有している。このため、４つの車載カメラ５１、５２、５３、５４を利用することで、車両９の全周囲の撮影が可能となっている。

【0051】

＜１−３．画像変換処理＞
次に、画像生成部３の画像合成部３２が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図３は、合成画像を生成する手法を説明するための図である。

【0052】

撮影部５のフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。

【0053】

次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。

【0054】

撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。

【0055】

また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。

【0056】

さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。

【0057】

そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。

【0058】

例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。

【0059】

なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。

【0060】

＜１−４表示画像＞
以下では、予測進路導出部１３により導出された予測進路が車外画像に重畳して表示される例を示す。図４は、車両像９０を俯瞰した合成画像ＣＱ１，ＣＱ２がディスプレイ２１に表示された例を示す図である。合成画像ＣＱ１では、車両像９０が合成画像中の略中央に位置しており、他車両の像である車両像１９と車両像２９との間にスペースＳＡ４１の領域が存在している。なお、車両像９０は、画像表示システム１２０を備える車両９の像である。また、以下では、ユーザが車両９を操作してスペースＳＡ４１に対応する領域に移動させるまでの状態をディスプレイ２１に表示される各合成画像を用いて説明する。

【0061】

図４に示す合成画像ＣＱ２は、車両９が合成画像ＣＱ１の車両像９０に対応する位置から前進した（−Ｙ方向に移動した）状態を示している。また、車両９のユーザがシフトレバーの位置を”Ｒ（後退）”としたことによりシフトセンサ８１から制御部１にシフトポジションの信号が入力される。そして、操舵角取得部１２が、操舵角センサ８３からの信号によりステアリングホイールの操舵角を取得し、車両像９０の後方に車両９の予測進路である指標ＭＡ３を合成画像ＣＱ２に重畳して表示する。なお、ステアリングホイールの操舵角が略中立位置にあるため、指標ＭＡ３が示す予測進路は車両９が後方に直進する方向（＋Ｙ方向）に延びる状態となる。

【0062】

図５は、車両像９０を俯瞰した合成画像ＣＱ３，ＣＱ４がディスプレイ２１に表示された例を示す図である。合成画像ＣＱ３では、図４の合成画像ＣＱ２に示す車両像９０の位置に対応する位置から車両９が後退した状態を示している。このような車両９の後退に伴い、ブレーキＥＣＵ８４が車両９の走行する路面の路面摩擦係数を導出する。また、車速センサ８６が車両９の速度を検知する。このようにして検出された路面摩擦係数と車両９の速度とが信号入力部４１を介して制御部１に入力される。

【0063】

図５に示す合成画像ＣＱ４では、車両９のユーザがステアリングホイールを中立状態から左方向（−Ｘ方向）に操作したことに伴い、車両９が左方向（−Ｘ方向）に向けて曲線的に後退する車両９の予測進路を示す指標ＭＡ４ａを重畳して表示している。指標ＭＡ４ａについて、図６および図７を用いて詳細に説明する。

【0064】

図６は、車両９の予測進路を示す指標ＭＡ４ａを示す図である。なお、以下の説明において車両像９０の方向及び向きについては図２を用いて説明した車両９と方向および向きと同様である。以下の説明の中では図６に示す３次元のＸＹＺ直交座標を用いる。なお、ＸＹＺ軸は車両像９０に対して相対的に固定されている。

【0065】

ユーザが操作する車両９のステアリングホイールの操舵角に基づいて予測進路導出部１３が予測進路を導出し、その予測進路を示す指標ＭＡ４ａがディスプレイ２１に表示される。指標ＭＡ４ａが示す予測進路は、車両像９０の左側（−Ｘ方向）の後輪の予測進路ＭＬ３１ａ、および、車両像９０の右側（＋Ｘ方向）の後輪の予測進路ＭＬ３２ａを含む。なお、指標Ｍ４ａが示す予測進路は、ユーザのステアリングホイールを左方向に操作したことに基づいて、左方向（−Ｘ方向）に曲がるように変化している。

【0066】

また、左右方向（±Ｘ方向）に延び、両端の各々が２つの予測進路ＭＬ３１ａ，ＭＬ３２ａと接する２つの距離線Ｄ３ａ，Ｄ４が指標ＭＡ４ａに含まれる。なお、これら距離線Ｄ３ａ，Ｄ４の長さは車両像９０の車幅Ｗ１と略同じ長さである。図中に示す、点ｐ５ａは距離線Ｄ３ａの左端（−Ｘ方向）と予測進路ＭＬ３１との交点であり、点ｐ６ａは距離線Ｄ３ａの右端（＋Ｘ方向）と予測進路ＭＬ３２との交点である。さらに、点ｐ７ａは距離線Ｄ４の左端（−Ｘ方向）と予測進路ＭＬ３１との交点であり、点ｐ８ａは距離線Ｄ４ａの右端（＋Ｘ方向）と予測進路ＭＬ３２との交点である。

【0067】

なお、車両像９０の後方バンパーＢＰの位置を基準とした場合、距離線Ｄ３ａまでの車両９からの実際の距離は例えば約１．５ｍであり、距離線Ｄ４ａまでの車両９からの実際の距離は例えば約３．０ｍである。

【0068】

図７は、車両９の予測進路の誤差が生じる範囲を示す指標ＭＡ４を示す図である。指標ＭＡ４が示す予測進路は、車両９が後退の際の車両像９０の左側（−Ｘ方向）の後輪の予測進路の範囲を示す進路範囲ＭＬ３１、および、車両像９０の右側（＋Ｘ方向）の後輪の予測進路の範囲を示す進路範囲ＭＬ３２を含む。

【0069】

予測進路の誤差が生じる範囲は、誤差を考慮しない理想的な予測進路（以下、「理想予測進路」という。）と、最大の誤差を考慮した予測進路（以下、「最大誤差進路」という。）との間隔に相当する。理想予測進路は、ステアリングホイールの操舵角のみに基づいて導出される。一方、最大誤差進路は、ステアリングホイールの操舵角と、予測進路に誤差を生じさせる要因の程度とに基づいて導出される。詳細には、最初に図６に示す理想予測進路ＭＬ３１ａ，ＭＬ３２ａが予測進路導出部１３に導出される。そして、路面摩擦係数と車両９の速度とが要因検知部１４に検知され、これら路面摩擦係数と車両９の速度とに基づいて予測進路導出部１３が最大誤差進路ＭＬ３１ｂ，ＭＬ３２ｂを導出する。このようにして導出された理想予測進路ＭＬ３１ａと、最大誤差進路ＭＬ３１ｂとの間隔が、左側の後輪の予測進路の誤差が生じる範囲に相当する。また、理想予測進路ＭＬ３２ａと、最大誤差進路ＭＬ３２ｂとの間隔が、左側の後輪の予測進路の誤差が生じる範囲に相当する。

【0070】

予測進路の誤差が生じる範囲を、予測進路と距離線との交点の位置関係で検討する。車両９からの距離が約１．５ｍの位置を示す距離線については、理想予測進路ＭＬ３１ａ，ＭＬ３２ａとの交点の位置はそれぞれ、点ｐ５ａ，点ｐ６ａである。一方、この距離線の、最大誤差進路ＭＬ３１ｂ，ＭＬ３２ｂとの交点の位置はそれぞれ、点ｐ５ｂ，ｐ６ｂとなる。

【0071】

これら点ｐ５ａおよび点ｐ５ｂの間隔（Ｗ２ａ）と、点ｐ６ａおよび点ｐ６ｂとの間隔（Ｗ２ａ）が、車両９から約１．５ｍの距離において予測進路の誤差が生じる範囲を示す。つまり、予測進路に誤差を生じる要因により車両９の予測進路には、理想予測進路ＭＬ３１ａ，ＭＬ３２aから、右斜め後方の最大誤差進路ＭＬ３１ｂ，ＭＬ３２ｂまでの範囲の誤差が生じる可能性があることとなる。なお、予測進路導出部１３により予測進路の誤差が生じる範囲が導出された場合、車両９からの距離が約１．５ｍの位置を示す距離線は、最大誤差進路ＭＬ３１ｂ，ＭＬ３２ｂとの交点ｐ５ｂ，ｐ６ｂを両端に有する距離線Ｄ３ｂによって示される。

【0072】

また、車両９からの距離が約３．０ｍの位置を示す距離線については、理想予測進路ＭＬ３１ａ，ＭＬ３２ａとの交点の位置はそれぞれ、点ｐ７ａ，点ｐ８ａである。一方、最大誤差進路ＭＬ３１ｂ，ＭＬ３２ｂとの交点の位置はそれぞれ、点ｐ７ｂ，点ｐ８ｂとなる。

【0073】

これら点ｐ７ａと点ｐ７ｂとの間隔（Ｗ２ｂ）、及び、点ｐ８ａと点ｐ８ｂとの間隔（Ｗ２ｂ）が、車両９から約３．０ｍの距離において予測進路の誤差が生じる範囲を示す。なお、予測進路導出部１３により予測進路の範囲が導出された場合、車両９からの距離が約３．０ｍの位置を示す距離線は、最大誤差進路ＭＬ３１ｂ，ＭＬ３２ｂとの交点ｐ７ｂ，ｐ８ｂを両端に有する距離線Ｄ４によって示される。

【0074】

車両９から約１．５ｍの距離での予測進路の誤差が生じる範囲である間隔Ｗ２ａと、車両９から約３．０ｍの距離での予測進路の誤差が生じる範囲である間隔Ｗ２ｂとを比較すると、間隔２ｂが間隔２ａよりも大きい値となる。このように予測進路の誤差が生じる範囲は、車両９からの距離が離れるほど大きい値となる。このような予測進路の誤差が生じる範囲を示す指標Ｍ４を車外画像に重畳してディスプレイ２１に表示することで、車両９の進行に伴って車両９の通過する可能性のある位置をユーザが認識できる。

【0075】

なお、予測進路の誤差が生じる範囲は、車両の走行速度に応じて変化する。例えば、図７に示す進路範囲ＭＬ３１，ＭＬ３２の大きさは、車両９の速度に応じて変化する。詳細には、点ｐ５ａと点ｐ５ｂとの間隔（Ｗ２ａ）、および、点ｐ６ａと点ｐ６ｂとの間隔（Ｗ２ａ）が車両９の速度の変化に応じて変化する。また、点ｐ７ａと点ｐ７ｂとの間隔（Ｗ２ｂ）、および、点ｐ８ａと点ｐ８ｂとの間隔（Ｗ２ｂ）が車両９の速度の変化に応じて変化する。

【0076】

次に、車両９をスペースＳＡ４１に対応する領域に移動させる状態を示す合成画像の表示に戻り説明を行う。図８は、ディスプレイ２１に表示される合成画像ＣＱ５，ＣＱ６を示す図である。図５に示す合成画像ＣＱ４のように予測進路の誤差が生じる範囲を示す指標ＭＡ４を表示した後、車両９の後退に伴いユーザがステアリングホイールの位置を中立位置に戻したとする。この場合、操舵角センサ８３の信号を操舵角取得部１２が取得し、図８に示すように車両９が後方に直進する予測進路を示す指標ＭＡ３が合成画像ＣＱ５に重畳して表示される。

【0077】

そして、合成画像ＣＱ６では、合成画像ＣＱ５と比べて車両９が他の車両像１９および２９との間のスペースＳＡ４１の近くまで直進して後退した状態が示されている。

【0078】

図９は、ディスプレイ２１に表示される合成画像ＣＱ７，ＣＱ８を示す図である。合成画像ＣＱ７には、図５の合成画像ＣＱ４と同様に予測進路の誤差が生じる範囲を示す指標ＭＡ４ｂが重畳されている。ここで、図９の合成画像ＣＱ７と図５の合成画像ＣＱ４とが異なる主な点は、ユーザの操作するステアリングホイールの方向である。図９の合成画像ＣＱ７では、車両９のユーザがステアリングホイールを中立状態から右方向（＋Ｘ方向）に操作したことに伴い、右方向に向けて曲線的に後退する予測進路を示す指標ＭＡ４ｂが重畳されている。なお、指標ＭＡ４ｂが示す予測進路の誤差が生じる範囲は、図５の合成画像ＣＱ４と同様に、路面摩擦係数および車両９の速度に基づいて予測進路導出部１３によって導出される。

【0079】

図９に示す合成画像ＣＱ８では、車両９がスペース４１に対応する領域内に位置することに伴い、車両像９０がスペース４１の範囲内に含まれている。このように、ユーザは車両９を目的の位置にスムーズに移動させることができる。

【0080】

なお、上記のように俯瞰画像中に示された予測進路がディスプレイ２１に表示される画像をユーザの操作部２２による操作により切替えて、後方の一のカメラで撮影した車外画像に重畳して表示する例を次に示す。

【0081】

図１０は、バックカメラ５２により撮影された画像を画像生成部３で処理を行い、ディスプレイ２１に表示した図である。図１０には、車両９の左側の後輪の予測進路の誤差が生じる範囲を示す進路範囲ＭＬ３１と、車両９の右側の後輪の予測進路の誤差が生じる範囲を示す進路範囲ＭＬ３２と、２つの距離線Ｄ３ｂ，Ｄ４とを示す指標ＭＡ４が表示されている。このような画像をユーザが視認することで、車両９の進行に伴って車両９の通過する可能性のある位置をユーザが認識できる。

【0082】

＜１−５．処理フローチャート＞
図１１は、第１の実施の形態の画像処理装置１００の処理フローチャートである。画像処理装置１００は、車両９の撮影部５のカメラ画像を取得して（ステップＳ１０１）、操舵角センサ８３からの操舵角情報を信号入力部４１を介して受信して（ステップＳ１０２）、ステップＳ１０３の処理に進む。

【0083】

ステップＳ１０３では、操舵角センサ８３からの受信した情報に基づいて車両９の予測進路を予測進路導出部１３が導出して（ステップＳ１０３）、ステップＳ１０４の処理へ進む。

【0084】

ステップＳ１０４では、ブレーキＥＣＵ８４が車両９の進行に伴い路面情報（例えば、路面摩擦係数）を導出し（ステップＳ１０４）、ステップＳ１０５の処理へ進む。

【0085】

ステップＳ１０５では、車速センサ８６からの車両９の速度情報の信号を画像処理装置１００が受信し、ステップＳ１０６の処理へ進む。

【0086】

ステップＳ１０６では、ブレーキＥＣＵ８４により導出された路面情報と車速センサ８６により導出された車両９の速度情報を予測進路に誤差を生じさせる要因の程度として要因検知部１４が検知して、ステップＳ１０７の処理に進む。

【0087】

ステップＳ１０７では、要因検知部１４が検知した予測進路に誤差を生じさせる要因の程度に基づいて、予測進路導出部１３が予測進路の誤差が生じる範囲を導出して（ステップＳ１０７）、ステップＳ１０８の処理に進む。

【0088】

ステップＳ１０８では、この予測進路の誤差が生じる範囲を示す指標が車外画像に重畳され、誤差が生じる範囲を示す指標が重畳された車外画像がナビ通信部４２を介してナビゲーション装置２０に出力される（ステップＳ１０８）。これにより、誤差が生じる範囲を示す指標がディスプレイ２１に表示され、車両９の進行に伴って車両９の通過する可能性のある位置をユーザが認識できることとなる。

【0089】

＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部が相違しているため、以下、第１の実施の形態との相違点を中心に説明する。第２の実施の形態では、要因検知部１４は予測進路に誤差を生じさせる要因の程度として、車両９の設計上許容される寸法差などの設計公差の程度を検知する。

【0090】

設計公差の程度は、車両９の製品出荷前に不揮発性メモリ４０の車種別データ４ａに予め記録されており、車両９の予測進路に誤差を生じさせる要因を検知する際に不揮発性メモリ４０から要因検知部１４が読み出す。そして、設計公差の程度に基づいて予測進路導出部１３が、予測進路の誤差が生じる範囲を導出する。

【0091】

＜２−１．表示画像＞
図１２は、予測進路の誤差が生じる範囲を示す指標ＭＡ１４を示す図である。図１２の指標ＭＡ１４は進路範囲ＭＬ３１１，ＭＬ３１２を含む。これらの進路範囲ＭＬ３１１，ＭＬ３１２は、予測進路に誤差を生じさせる要因の程度として、路面摩擦係数と車両９の速度とともに設計公差を考慮して、予測進路導出部１３が予測進路の誤差が生じる範囲を導出したものである。

【0092】

そのため、図１２に示す点ｐ５ａと点ｐ１５ｂとの間隔（Ｗ１２ａ）、および、点ｐ６ａと点ｐ１６ｂとの間隔（Ｗ１２ａ）は、図７に示した間隔Ｗ２ａよりも大きい。図中に示す点ｐ１５ｂは、路面摩擦係数、車両９の速度、および、設計公差に基づいて導出した車両像９の左側の後輪の最大誤差進路ＭＬ３０１ｂと、車両９からの距離が約１．５ｍの位置を示す距離線Ｄ３ａとの交点である。また、点ｐ１６ｂは、路面摩擦係数、車両９の速度、および、設計公差に基づいて導出した車両９の右側の後輪の最大誤差進路ＭＬ３０２ｂと、車両９からの距離が約１．５ｍの位置を示す距離線Ｄ３ａとの交点である。

【0093】

また、図１２に示す点ｐ７ａと点ｐ１７ｂとの間隔（Ｗ１２ｂ）、および、点ｐ８ａと点ｐ１８ｂとの間隔（Ｗ１２ｂ）は、図７に示した間隔Ｗ１２ａよりも大きい。図中に示す点ｐ１７ｂ、は、路面摩擦係数、車両９の速度、および、設計公差に基づいて導出した車両９の左側の後輪の最大誤差進路ＭＬ３０１ｂと、車両９からの距離が約３．０ｍの位置を示す距離線Ｄ４との交点である。また、点ｐ１８ｂは、路面摩擦係数、車両９の速度、および、設計公差に基づいて導出した車両９の右側の後輪の最大誤差進路ＭＬ３０２ｂと、車両９からの距離が約３．０ｍの位置を示す距離線Ｄ４との交点である。このように車両の内部の要因に基づいて、導出された車両９の進行に伴って車両９の通過する可能性のある位置をユーザに認識させることができる。

【0094】

＜２−２．処理フローチャート＞
図１３は、第２の実施の形態の画像処理装置１００の処理フローチャートである。図１３に示す第２の実施の形態の処理フローチャートと第１の実施の形態の図１１に示す処理フローチャートとの違いは、ステップＳ２０１の設計公差の情報を読み出す処理が新たに追加された点である。そして、図１１のステップＳ１０７，の処理が、図１３に示すステップＳ１０７ａの処理に変更されている。

【0095】

ステップＳ１０７ａの処理においては、予測進路導出部１３が予測進路の誤差が生じる範囲を導出する際に、第１の実施の形態で説明した路面摩擦係数と車両９の速度に加えて、設計交差を新たに誤差の要因とする。その他の処理については図１１に示した処理フローチャートと同様の処理である。

【0096】

図１３に示すステップＳ１０２では、操舵角センサ８３からの操舵角情報を信号入力部４１を介して受信して（ステップＳ１０２）、ステップＳ２０１の処理に進む。

【0097】

ステップＳ２０１では、要因検知部１４が、不揮発性メモリ４０の車種別データ４ａに記録されている車両９の設計公差の情報を読み出して（ステップＳ２０１）、ステップＳ１０３の処理へ進む。そして、以降の処理のステップＳ１０７ａの処理では、予測進路導出部１３が予測進路を導出する場合に、設計公差の情報を予測進路に誤差を生じさせる要因の程度として用いて予測進路の誤差が生じる範囲を導出する。
＜第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部が相違しているため、以下、第１の実施の形態との相違点を中心に説明する。予測進路導出部１３が予測進路の誤差が生じる範囲を導出した後に、車両９の速度が変化した場合においては、予測進路の誤差が生じる範囲が変化する。第３の実施の形態では、このように予測進路の誤差が生じる範囲が変化した場合に、変化前と変化後との双方の予測進路の誤差が生じる範囲を示す指標を表示する。

【0098】

＜３−１．表示画像＞
図１４は、予測進路の誤差が生じる範囲を示す指標ＭＡ２４を示す図である。図１４には車両９の速度の変化に伴う２種類の予測進路の誤差が生じる範囲が示されている。２種類の一方は、図７と同様の進路範囲ＭＬ３１，ＭＬ３２である。また、２種類の他方は、これらの進路範囲ＭＬ３１，ＭＬ３２が導出された後に、車両９の速度が変化したことに伴って変化した進路範囲ＭＬ３０１，ＭＬ３０２（図１４にハッチングで表示されている範囲）である。これら２種類の予測進路の誤差が生じる範囲がディスプレイ２１に表示される際には、先に導出された進路範囲ＭＬ３１上に、後に導出された進路範囲ＭＬ３０１が重畳される。また、先に導出された進路範囲ＭＬ３２に、後に導出された進路範囲ＭＬ３０２が重畳される。

【0099】

このように車両９の速度に応じて予測進路の誤差が生じる範囲が変化した場合に、変化前の予測進路の誤差が生じる範囲（進路範囲ＭＬ３１，ＭＬ３２）と変化後の予測進路の誤差が生じる範囲（進路範囲ＭＬ３０１，ＭＬ３０２）との双方を示す指標ＭＡ２４を表示することで、車両９の速度に応じて変化した予測進路の誤差が生じる範囲をユーザが認識できる。

【0100】

なお、後に導出された進路範囲は、先に導出された進路範囲に比べて範囲内の色を濃くしてもよい。また、車両９の速度の変化後に導出された最大誤差進路ＭＬ３１ｃ，ＭＬ３２ｃの線の太さを、車両９の速度の変化前に導出された最大誤差進路ＭＬ３１ｂ，ＭＬ３２ｂと比べて太く表示するようにしてもよい。これにより、車両９の速度に対応した予測進路をユーザが認識できる。

【0101】

なお、図１４に示す場合では、車両９の速度の変化後に導出された進路範囲ＭＬ３０１，ＭＬ３０２は、車両９の速度の変化前に導出された進路範囲ＭＬ３１，ＭＬ３２よりもそれぞれ狭い範囲となっている。これは、路面摩擦係数が一定であると仮定すると、車両９の速度が低下したことを示している。なお、逆に、車両９の速度が速くなった場合は、速度の変化後に導出された進路範囲ＭＬ３０１，ＭＬ３０２は、速度の変化前に導出された進路範囲ＭＬ３１，ＭＬ３２よりもそれぞれ広くなる。

【0102】

＜変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。なお、上記実施の形態で説明した形態、および、以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

【0103】

上記実施の形態では、予測進路に誤差が生じる要因の程度として、路面の滑りやすさ、および、車両９の速度の程度などを示したが、これ以外にもジャイロセンサ８２により検知される車両９の傾きの程度に基づいて、予測進路導出部１３が予測進路の誤差が生じる範囲を導出するようにしてもよい。例えば、車両９が傾斜を有する坂道を走行する場合には、車両９の傾きの程度を考慮することで予測進路の誤差が生じる範囲を精度よく導出することができる。

【0104】

また、上記実施の形態では、車両９が後退してユーザが目標とするスペースに車両９を移動させる場合に、車両９の後方に予測進路を示す指標を車外画像に重畳して表示する例について述べたが、これ以外にも、車両９が前進して目標とするスペースに車両９を移動させる場合に、車両９の前方に予測進路を示す指標を車外画像に重畳して表示するようにしてもよい。

【0105】

また、上記実施の形態においては車両９が曲線的に後退する場合に、設計交差を予測進路に誤差を生じさせる要因の程度として用いることを説明した。これに対して、車両９のステアリングホイールが中立位置に操作されている場合（車両９が直線的に後退する場合）においても、設計公差を要因として用いることで予測進路に誤差を生じさせる範囲を精度良く導出することができる。この場合は、まず、画像処理装置１００が撮影部５からのカメラ画像を受信する。次に、操舵角取得部１２がユーザが操作したステアリングホイールの操舵角が、中立位置であることを取得する。このため、操舵角は考慮されず、車両９の速度と設計公差とに基づいて予測進路導出部１３が予測進路に誤差を生じさせる範囲を導出する。そして、この範囲を示す指標が車外画像に重畳してディスプレイ２１に表示される。

【0106】

また、上記実施の形態では、要因検知部１７が検知する要因については、ブレーキＥＣＵ８４が検知する路面摩擦係数と、車速センサ８６が検知する車両９の速度とした。そして、路面摩擦係数および車両９の速度に基づいて、誤差を生じる予測進路の範囲を予測進路導出部１３が導出することについて説明した。また、要因検知部１７がサスペンションＥＣＵ８５により検知された車両９の走行する路面の凹凸の程度を検知し、路面の凹凸の程度に基づいて予測進路導出部１３が車両９の予測進路の範囲を導出するようにしてもよい。

【0107】

また、上記実施の形態では、車両９の速度の検知は車速センサ８６の信号に基づいて検知されるとしたが、ブレーキＥＣＵ８４からの車速信号に基づいて検知するようにしてもよい。

【0108】

また、上記実施の形態では、画像処理装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像処理装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。

【0109】

また、上記実施の形態では、画像処理装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。

【0110】

また、上記実施の形態において、画像処理装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。

【0111】

また、上記実施の形態において、信号入力部４１を介して画像処理装置１００の制御部１に入力されると説明した信号の一部または全部は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像処理装置１００の制御部１に当該信号を入力すればよい。

【0112】

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

【符号の説明】

【0113】

１・・・・・制御部
５・・・・・撮影部
１０・・・・本体部
１１・・・・画像制御部
１２・・・・操舵角取得部
１３・・・・予測進路導出部
１４・・・・要因検知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】