特許 6555056 周辺監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6555056

(24)【登録日】2019年7月19日

(45)【発行日】2019年8月7日

(54)【発明の名称】周辺監視装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20190729BHJP

   B60R 1/00 20060101ALI20190729BHJP

   B60R 11/02 20060101ALI20190729BHJP

   G06T 1/00 20060101ALI20190729BHJP

   G06T 7/00 20170101ALI20190729BHJP

【ＦＩ】

   H04N7/18 J

   B60R1/00 A

   B60R11/02 C

   G06T1/00 330A

   G06T7/00 650A

【請求項の数】8

【全頁数】20

(21)【出願番号】特願2015-192626(P2015-192626)

(22)【出願日】2015年9月30日

(65)【公開番号】特開2017-69739(P2017-69739A)

(43)【公開日】2017年4月6日

【審査請求日】2017年12月18日

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】アイシン精機株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】山本 欣司

(72)【発明者】

【氏名】久保田 尚孝

(72)【発明者】

【氏名】渡邊 一矢

(72)【発明者】

【氏名】中所 孝之

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２０１２−０３９３４１（ＪＰ，Ａ）

【文献】 特開２００６−１７１８４９（ＪＰ，Ａ）

【文献】 特許第３３００３３４（ＪＰ，Ｂ２）

【文献】 特開２００９−１７１５３７（ＪＰ，Ａ）

【文献】 特開２０１０−１９９８３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／０２

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部と、
前記車両の車室内に設けられ画像を表示する表示装置と、
前記撮像画像データを、前記車両に臨む撮像方向となる複数の仮想視点による仮想画像データに変換する画像変換部と、
前記仮想視点が、前記車両の一方側から前記車両を挟んで反対側を臨む第１の仮想視点位置から前記車両の上空域から前記車両を臨む第２の仮想視点位置を経て前記車両の前記反対側から前記車両を挟んで前記一方側を臨む第３の仮想視点位置に移動するように前記仮想画像データを前記表示装置に順次表示する制御部と、
を備え、
前記制御部は、前記仮想視点が、前記第１の仮想視点位置から、前記第２の仮想視点位置を経て、前記第３の仮想視点位置に移動する間、前記仮想画像データと共に前記車両を継続して表示させると共に、前記第２の仮想視点位置を通過するように前記仮想画像データを表示する間に前記仮想視点の視線を中心に前記仮想画像データを回転させる周辺監視装置。

【請求項2】

前記制御部は、前記第２の仮想視点位置を前記車両の直上位置に決定する請求項１に記載の周辺監視装置。

【請求項3】

前記制御部は、前記直上位置に決定した前記第２の仮想視点位置において、前記仮想画像データを１８０°回転させる請求項２に記載の周辺監視装置。

【請求項4】

前記制御部は、前記第３の仮想視点位置を前記車両が発進する際の進行予定方向に対して後ろ側に位置するように決定する請求項１から請求項３のいずれか１項に記載の周辺監視装置。

【請求項5】

前記画像変換部は、前記撮像画像データを前記車両の位置を中心とする曲面に投影して前記仮想画像データに変換する請求項１から請求項４のいずれか１項に記載の周辺監視装置。

【請求項6】

前記画像変換部は、前記撮像画像データを前記車両の位置を中心とする平面に投影して前記仮想画像データに変換する請求項１から請求項４のいずれか１項に記載の周辺監視装置。

【請求項7】

前記制御部は、前記仮想画像データに自車の画像を重畳表示する請求項１から請求項６のいずれか１項に記載の周辺監視装置。

【請求項8】

前記制御部は、前記仮想視点が、前記第１の仮想視点位置から、前記第２の仮想視点位置を経て、前記第３の仮想視点位置に移動する間、当該仮想視点と前記仮想画像データとの間に前記車両を挟んだ上で、前記車両の位置が、前記表示装置の表示領域の中央近傍にくるように順次表示する、請求項１から請求項７のいずれか１項に記載の周辺監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、周辺監視装置に関する。

【背景技術】

【0002】

従来、車載カメラで撮像した車両の周辺映像に視点変換処理を施して車室内に配置された表示装置に表示する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５１６８１８６号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、車両周囲に存在する物体の位置関係やその物体の状態が総合的に認識し難い場合がある。例えば、視点変換処理によって得られる俯瞰画像は、車両周囲に存在する物体の位置関係を把握しやすくすることができるが、俯瞰画像を表示するだけでは、その物体の姿勢や大きさ等が認識し難い場合がある。したがって、車両周囲に存在する物体の位置関係やその姿勢や大きさを利用者に容易に把握させられることのできる画像表示が可能な周辺監視装置が提供できれば安全性の向上や運転操作の容易化の点において有意義である。

【課題を解決するための手段】

【0005】

本発明の実施形態にかかる周辺監視装置は、例えば、車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部と、上記車両の車室内に設けられ画像を表示する表示装置と、上記撮像画像データを、上記車両に臨む撮像方向となる複数の仮想視点による仮想画像データに変換する画像変換部と、上記仮想視点が、上記車両の一方側から上記車両を挟んで反対側を臨む第１の仮想視点位置から上記車両の上空域から上記車両を臨む第２の仮想視点位置を経て上記車両の上記反対側から上記車両を挟んで上記一方側を臨む第３の仮想視点位置に移動するように上記仮想画像データを上記表示装置に順次表示する制御部と、を備える。上記制御部は、上記仮想視点が、上記第１の仮想視点位置から、上記第２の仮想視点位置を経て、上記第３の仮想視点位置に移動する間、上記仮想画像データと共に上記車両を継続して表示させると共に、上記第２の仮想視点位置を通過するように上記仮想画像データを表示する間に上記仮想視点の視線を中心に上記仮想画像データを回転させる。また、上記制御部は、上記仮想視点が、上記第１の仮想視点位置から、上記第２の仮想視点位置を経て、上記第３の仮想視点位置に移動する間、当該仮想視点と上記仮想画像データとの間に上記車両を挟んだ上で、上記車両の位置が、上記表示装置の表示領域の中央近傍にくるように順次表示するようにしてもよい。この構成によれば、例えば、車両に臨む仮想視点を第１の仮想視点位置から車両の上空の第２の仮想視点位置を経て第３の仮想視点位置に移動させる過程、および第２の仮想視点位置で仮想画像データを回転させる過程で、車両と車両周囲に存在する物体の見え方が徐々に変化する。その結果、車両と車両周囲に存在する物体の位置関係や姿勢、大きさを認識させやすい態様で表示できる。

【0006】

また、上記周辺監視装置の上記制御部は、例えば、上記第２の仮想視点位置を上記車両の直上位置に決定するようにしてもよい。この構成によれば、車両（自車両）と周辺状況との位置関係を把握させやすい表示ができる。

【0007】

また、上記周辺監視装置の上記制御部は、例えば、上記直上位置に決定した前記第２の仮想視点位置において、前記仮想画像データを１８０°回転させてもよい。車両周囲の状況が把握しやすい状態で仮想画像データを回転させることで、物体の位置関係の認識度の低下が抑制しやすい。また、仮想画像データの回転に伴い車両の周囲に存在する物体の表示位置が変化するので物体の認識度を向上させることができる。さらに、第３の仮想視点位置で仮想画像データによる画像を表示する際に天地が適切な表示態様になるので現実世界の再現性が向上できる。

【0008】

また、上記周辺監視装置の上記制御部は、例えば、上記第３の仮想視点位置を上記車両が発進する際の進行予定方向に対して後ろ側に位置するように決定してもよい。この構成によれば、例えば、車両を発進させるときに最終的に注意を払う可能性が高い視認方向の画像を最後に表示できるので、利用者に車両周囲の状況をより理解させやすい表示ができる。

【0009】

また、上記周辺監視装置の上記画像変換部は、例えば、上記撮像画像データを上記車両の位置を中心とする曲面に投影して上記仮想画像データに変換してもよい。この構成によれば、例えば、仮想視点を車両に対して水平方向に設定した場合でも投影画像の高さ成分の表現が可能になり、物体の存在や大きさを利用者に提示することができる。

【0010】

また、上記周辺監視装置の上記画像変換部は、例えば、上記撮像画像データを上記車両の位置を中心とする平面に投影して上記仮想画像データに変換してもよい。この構成によれば、例えば、撮像画像データから仮想画像データへの変換処理が曲面に投影する場合に比べて容易になり、処理負荷の軽減または処理速度の増加ができる。

【0011】

また、上記周辺監視装置の上記制御部は、例えば、上記仮想画像データに自車の画像を重畳表示してもよい。この構成によれば、例えば、自車の周囲に存在する物体と自車との位置関係をより容易に利用者に理解させる表示が可能になる。なお、自車の画像は、予め記憶装置等に保持させた画像データを用いることができる。この自車の画像データは実際の車両の撮影データでもよいし、アニメーションでもよい。また、自車の画像データは半透明や線図で表現してもよい。

【図面の簡単な説明】

【0012】

【図1】図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。

【図2】図２は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図である。

【図3】図３は、実施形態にかかる周辺監視装置を搭載する車両のダッシュボードの一例であり、車両後方からの視野での図である。

【図4】図４は、実施形態にかかる周辺監視装置を含む画像制御システムの一例が示されたブロック図である。

【図5】図５は、実施形態にかかる周辺監視装置のＥＣＵ内に実現される視点変換画像を表示するための制御部の構成の一例を示すブロック図である。

【図6】図６は、実施形態にかかる周辺監視装置における仮想視点の移動の一例を説明する説明図である。

【図7】図７は、実施形態にかかる周辺監視装置を搭載する車両の周囲の状態の一例を示す説明図である。

【図8】図８は、実施形態にかかる周辺監視装置の表示処理の一例を説明するフローチャートである。

【図9】図９は、実施形態にかかる周辺監視装置における曲面投影の表示例であり、第１の仮想視点位置における仮想画像データを用いて表示装置に表示した例である。

【図10】図１０は、実施形態にかかる周辺監視装置における曲面投影の表示例であり、第１の仮想視点位置から第２の仮想視点位置に仮想視点を移動させた状態の仮想画像データを用いて表示装置に表示した例である。

【図11】図１１は、実施形態にかかる周辺監視装置における曲面投影の表示例であり、第２の仮想視点位置で回転処理を実行して、第３の仮想視点位置に仮想視点を移動させる準備が整った状態の仮想画像データを用いて表示装置に表示した例である。

【図12】図１２は、実施形態にかかる周辺監視装置における曲面投影の表示例であり、第３の仮想視点位置における仮想画像データを用いて表示装置に表示した例である。

【図13】図１３は、実施形態にかかる周辺監視装置における平面投影の表示例であり、第１の仮想視点位置における仮想画像データを用いて表示装置に表示した例である。

【図14】図１４は、実施形態にかかる周辺監視装置における平面投影の表示例であり、第１の仮想視点位置から第２の仮想視点位置に仮想視点を移動させた状態の仮想画像データを用いて表示装置に表示した例である。

【図15】図１５は、実施形態にかかる周辺監視装置における平面投影の表示例であり、第２の仮想視点位置で回転処理を実行して、第３の仮想視点位置に仮想視点を移動させる準備が整った状態の仮想画像データを用いて表示装置に表示した例である。

【図16】図１６は、実施形態にかかる周辺監視装置における平面投影の表示例であり、第３の仮想視点位置における仮想画像データを用いて表示装置に表示した例である。

【発明を実施するための形態】

【0013】

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

【0014】

本実施形態において、周辺監視装置を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

【0015】

図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４や、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

【0016】

また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

【0017】

また、車室２ａ内には、表示装置８とは別の表示装置１２が設けられている。図３に例示されるように、表示装置１２は、例えば、ダッシュボード２４の計器盤部２５に設けられ、計器盤部２５の略中央で、速度表示部２５ａと回転数表示部２５ｂとの間に位置されている。表示装置１２の画面１２ａの大きさは、表示装置８の画面８ａ（図３）の大きさよりも小さい。この表示装置１２には、主として車両１の駐車支援に関する情報を示す画像が表示されうる。表示装置１２で表示される情報量は、表示装置８で表示される情報量より少なくてもよい。表示装置１２は、例えば、ＬＣＤや、ＯＥＬＤ等である。なお、表示装置８に、表示装置１２で表示される情報が表示されてもよい。

【0018】

また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図４に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

【0019】

また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜１９０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車両１の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。

【0020】

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパー等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。

【0021】

また、ＥＣＵ１４は、撮像部１５から提供される撮像画像データを、車両１に臨む撮像方向となる複数の仮想視点から撮像したような仮想画像データに変換することができる。また、この複数の仮想画像データを表示装置８に順次表示して、ユーザ（運転者、利用者）が乗り込んでいる車両１を中心に周囲遠方より当該車両１を臨むような画像（実質的な動画）を表示させることができる。仮想画像データの表示の詳細については後述する。また、ＥＣＵ１４は、撮像部１５から提供される撮像画像データから車両１の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出（抽出）して、駐車支援を実行することもできる。

【0022】

また、図１、図２に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ〜１６ｄと、八つの測距部１７ａ〜１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器、超音波ソナーとも称されうる。測距部１６は、本実施形態において、車両１を駐車する際に、車両１と並ぶ第一の障害物（隣接車両）や駐車するためのスペースの奥側に存在する第二の障害物（例えば、縁石や段差、壁、フェンス等）を検出し、その障害物までの距離を測定することができる。また、測距部１７は、車両１に対して障害物（物体）が所定距離を超えて接近した場合、接近する障害物（物体）を検出し、その障害物までの距離を測定することができる。特に、車両１の後方両側に配置された測距部１７ａ，１７ｄは、車両１が後退しながら縦列駐車のスペースに進入する場合の車両１の後方コーナ部と第一の障害物（隣接車両）との距離や、進入後さらに後方コーナ部と第二の障害物（壁等）との距離を測定するセンサ（クリアランスソナー）として機能する。ＥＣＵ１４は、測距部１６，１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を取得することができる。すなわち、測距部１６，１７は、物体を検出する検出部の一例である。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距部１６は、車両１の側方の物体の検出に用いられうる。測距部１７は、物体（障害物）が所定の距離まで接近したことを検出する接近センサとして機能しうる。

【0023】

また、図４に例示されるように、周辺監視システム１００（周辺監視装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

【0024】

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８，１２で表示される画像に関連した画像処理や、車両１の移動目標位置（駐車目標位置、目標位置）の決定、車両１の誘導経路（誘導経路、駐車経路、駐車誘導経路）の演算、物体との干渉の有無の判断、車両１の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

【0025】

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。

【0026】

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

【0027】

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

【0028】

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

【0029】

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。

【0030】

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

【0031】

ＥＣＵ１４は、周辺監視システムを実現する。具体的には、車両１を中心として当該車両１を遠方から見たような画像（視点変換画像）を生成する。そして、この視点変換画像を用いて、仮想視点を車両１の一方側（例えば正面域、フロント領域）から車両１の上空域を経て、車両１の反対側（例えば後面域、リア領域）に移動させながら実質的な動画表示を行う。この表示を行うことで、車両１の周囲に存在する物体の位置関係やその姿勢、大きさ等をユーザに認識させやすくしている。

【0032】

ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したような視点変換画像の実質的な動画表示を実現するために、図５に示されるように画像取得部３０、画像変換部３２、操作受付部３４、データ制御部３６（制御部）等を含む。そして、ＣＰＵ１４ａは、例えば、撮像部１５で得られた撮像画像データを用いた画像処理を実行する。画像取得部３０、画像変換部３２、操作受付部３４、データ制御部３６は、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。

【0033】

画像取得部３０は、車両１に設けられて当該車両１の周辺を撮像する撮像部１５から出力された撮像画像データを表示制御部１４ｄを介して取得する。なお、表示制御部１４ｄは、撮像部１５で撮像した撮像画像データをそのままの状態で表示装置８や表示装置１２に出力してもよい。この場合、操作部１４ｇ等の入力装置を用いてユーザに希望する表示内容を選択させるようにしてもよい。つまり、表示制御部１４ｄは、操作部１４ｇの操作により選択された画像を選択的に表示する。例えば撮像部１５ａで撮像した車両１の後方画像を表示させたり、撮像部１５ｄで撮像した左側方画像を表示させたりすることができる。

【0034】

画像変換部３２は、画像取得部３０が取得した撮像画像データを、車両１を遠方から臨む撮像方向となる複数の仮想視点による仮想画像データに変換する。仮想視点による仮想画像データの変換は、周知の種々の処理手法で実行することができる。一例として、画像変換部３２は、撮像部１５により撮像された車両１の外部の環境を表した撮像画像データと、例えばＲＯＭ１４ｂ等に保持されたマッピングテーブルの変換情報とに基づいて、車両１の周囲外部の環境を車両１から離間して当該車両１を臨む視点位置から見た場合の仮想画像データ（視点変換画像）を生成する。本実施形態の場合、ＲＯＭ１４ｂは、例えば、車両１を中心に半径数ｍ（例えば５ｍ）の半円軌道から車両１を臨む仮想視点が移動した場合に得られる仮想画像データが得られるような変換情報（マッピングテーブル）を複数種類予め保持している。なお、マッピングテーブルの変換情報は、仮想視点の位置ごとに準備することが望ましい。また、本実施形態の場合、視点変換画像は、連続性のあるスムーズな動画で表示されることが望ましい。そのため、マッピングテーブルの変換情報は、仮想視点が例えばα°移動するごと仮想画像データを生成できるように準備される。なお、マッピングテーブルの変換情報の数を増やせば、生成される仮想画像データの数（フレーム数）は増加して滑らかな動画が作成できるが、ＣＰＵ１４ａの処理負荷が増加する傾向がある。逆に、マッピングテーブルの変換情報の数を少なくすれば生成される仮想画像データの数も減少し動画品質が低下する場合があるが、ＣＰＵ１４ａの処理負荷は軽減可能となる。したがって、要求される視点変換画像（実質的な動画）の品質に応じて、マッピングテーブルの変換情報の数を決定することができる。なお、マッピングテーブルの変換情報の数を少なくする場合、動画を作成する際に前後の仮想画像データに基づく補間等を行い動画の修正（コマ落ち補正）を行うようにしてもよい。

【0035】

操作受付部３４は、操作部１４ｇの操作入力による信号を取得する。操作部１４ｇは、例えば、押しボタンやスイッチ等であり、ユーザによる視点変換画像の表示の要求やキャンセルを行うことができる。また、操作受付部３４は、図示しないイグニッションスイッチのＯＮ信号を受け付け、そのＯＮ信号を契機に視点変換画像の表示要求を取得したと見なしてもよい。例えば、ユーザが車両１に乗り込み、イグニッションスイッチをＯＮすることにより、車両１を発進させるのに先立ち、車両１の周囲の状況をユーザに通知するように視点変換画像を自動的に表示するようにしてもよい。

【0036】

データ制御部３６は、画像変換部３２が生成した複数の仮想画像データを、仮想視点が車両１の周囲を移動しているような動画になるように配列し、表示制御部１４ｄに供給して表示装置８に表示させる。データ制御部３６は、図６に示すように、例えば、仮想視点３８が第１の仮想視点位置Ａから第２の仮想視点位置Ｂを経て第３の仮想視点位置Ｃの順に移動したように仮想画像データを表示するように準備する。第１の仮想視点位置Ａは、車両１の一方側から車両１を挟んで反対側（他方側）を臨む位置である。図６の場合、車両１のフロント側に設定されている例が示されている。第２の仮想視点位置Ｂは、車両１の上空域から当該車両１を臨む位置である。第３の仮想視点位置Ｃは、第１の仮想視点位置Ａの反対側から車両１を挟んで一方側を臨む位置である。図６の場合、車両１のリア側に設定されている例が示されている。

【0037】

また、データ制御部３６は、仮想視点３８が第２の仮想視点位置Ｂを通過するように仮想画像データを表示する間に仮想視点３８の視線（車両１の上空域から当該車両１を臨む視線（例えば鉛直軸Ｏ））を中心に仮想画像データを回転させる。仮想視点３８を第１の仮想視点位置Ａから第３の仮想視点位置Ｃに移動させる場合、仮想画像データをそのまま連続的に表示した場合、第２の仮想視点位置Ｂを通過する前後で車両１の周囲に存在する物体の天地が逆転してしまう。その結果、物体の位置や姿勢が把握し難くなる。そこで、データ制御部３６は、車両１の周囲全体が見渡せる車両１の直上位置（第２の仮想視点位置Ｂ）で仮想画像データを１８０°回転させている。その結果、第２の仮想視点位置Ｂを通過した以降も物体の天地は第１の仮想視点位置Ａで表示していた状態と同じ方向で、車両１の周囲の状況が把握しやすい状態で、物体の位置関係の認識度の低下を抑制しつつ、第３の仮想視点位置Ｃへの画像の移行をスムーズに行うことができる。つまり、第３の仮想視点位置Ｃで仮想画像データによる画像を表示する際に天地が適切な表示態様になるので現実世界の再現性を向上することができる。また、仮想画像データの回転に伴い車両１の周囲に存在する物体の表示位置が変化するので、その物体の存在に注目させやすくなり、物体の認識度を向上させることができる。すなわち、物体の存在を気づかせ易くすることができる。なお、車両１の周囲全体が見渡せる車両１の直上位置とは、例えば、車両１のフロントバンパの鉛直延長線上の位置でもよいし、ルーフの鉛直延長線上の位置でもよいし、リアバンパの鉛直延長線上の位置でもよい。また、それらの間の位置でもよい。この中で、ルーフの鉛直延長線上の位置が、車両１と周囲の物体との位置関係を把握させやすい表示ができる点、仮想画像データを回転させる場合に車両１の偏心回転が少なく違和感なく表示できる点等で好ましい。

【0038】

ところで、仮想画像データは、車両１に搭載された撮像部１５で撮像された撮像画像データに基づき生成されているため、撮像画像データには自車（車両１）は一部しか存在しない場合がある。例えば、バンパの一部やドアの一部しか映り込んでいない場合がある。その結果、撮像画像データに基づいて生成する仮想画像データには車両１の全体像は反映されない場合がある。そこで、データ制御部３６は、例えばＲＯＭ１４ｂやＳＳＤ１４ｆに予め記憶しておいた自車（車両１）の車両外形データを仮想画像データに重畳して、表示装置８に表示する視点変換画像に車両１が存在するようにして表示するようにしてもよい。その結果、車両１（自車）の周囲に存在する物体と車両１との位置関係をより容易にユーザに理解させやすい表示ができる。なお、仮想視点３８の移動に対応して車両１の見え方も刻々と変化するので、車両外形データはマッピングテーブルの変換情報の数に対応して準備しておくことが望ましい。

【0039】

車両外形データは、実際の車両１の撮影データを用いて作成してもよいし、アニメーションでもよい。また、車両外形データは、車両１を半透明や線図で表現したものを用いてもよい。車両外形データを半透明や線図で表現する場合、車両の奥側に存在する物体の存在や形状、大きさ等も把握させやすくすることができる。一方、車両外形データを実体表現で表示した場合、現実世界（現実空間）との乖離を少なくできるので、ユーザに受け入れられ易い画像を提供することができる。

【0040】

データ制御部３６は、仮想視点３８を移動させる場合、その移動開始位置を予め決定することができる。データ制御部３６は、例えば第３の仮想視点位置Ｃを車両１が発進する際の進行予定方向に対して後ろ側に位置するように決定することができる。図６は、車両１が前進発進する場合の第１の仮想視点位置Ａ、第２の仮想視点位置Ｂ、第３の仮想視点位置Ｃの設定位置を示している。逆に、車両１が後退発進する場合は、車両１のリア側に第１の仮想視点位置Ａが設定され、フロント側に第３の仮想視点位置Ｃが設定される。このように、第３の仮想視点位置Ｃを設定することにより、車両１を発進させるときに最終的に注意を払う可能性の高い視認方向の画像を最後に提供できるので、ユーザに車両１の周囲の状況をより理解させやすい表示ができる。

【0041】

なお、データ制御部３６は、車両１が発進する際の進行予定方向を、例えば車両１のイグニッションスイッチのＯＦＦ操作直前、すなわち駐車直前の変速操作部７の位置をＳＳＤ１４ｆ等に記憶しておくことにより判定することができる。つまり、イグニッションスイッチＯＦＦ直前の変速操作部７の位置が「Ｒレンジ」で後退走行により駐車した場合、車両１は駐車状態から発進するとき前進発進する可能性が高い。したがって、視点変換画像の最後に車両１の前方の状況が認識しやすいようにリア側に第３の仮想視点位置Ｃを設定することが望ましい。逆にイグニッションスイッチＯＦＦ直前の変速操作部７の位置が「Ｄレンジ」で前進走行により駐車した場合、車両１は駐車状態から発進するとき後退発進する可能性が高い。したがって、視点変換画像の最後に車両１の後方の状況が認識しやすいようにフロント側に第３の仮想視点位置Ｃを設定することが望ましい。また、車両１を駐車支援システムを用いて駐車した場合、車両１のＥＣＵ１４は、駐車時の車両１の進入方向や出庫時の進出方向をＳＳＤ１４ｆに記憶している場合がある。この場合は、ＳＳＤ１４ｆに記憶された駐車支援時の情報を用いて車両１が発進する際の進行予定方向を判定してもよい。なお、車両１の駐車中に当該車両１の周囲の状況が変化して、発進時の進行予定方向を変更した方がよい場合がある。この場合、データ制御部３６は、イグニッションスイッチのＯＮのときに、車両１の発進方向をユーザに問い合わせるメッセージを表示装置８や表示装置１２に表示して、操作部１４ｇから進行予定方向、つまり視点変換画像をどの方向からどの方向に見たいかを入力させるようにしてもよい。

【0042】

図６の場合、車両１のフロント側に第１の仮想視点位置Ａを設定し、車両１の上空域に第２の仮想視点位置Ｂを設定し、リア側に第３の仮想視点位置Ｃを設定した例を示した。第１の仮想視点位置Ａ、第３の仮想視点位置Ｃの設定位置は、仮想画像データが第２の仮想視点位置Ｂ（車両１の上空域）で例えば鉛直軸Ｏの周りを１８０°回転させられればよく適宜選択することが可能で同様の効果を得ることができる。例えば、別の実施形態では、車両１の右側方に第１の仮想視点位置Ａを設定し、車両１の上空域に第２の仮想視点位置Ｂを設定し、車両１の左側方に第３の仮想視点位置Ｃを設定して、視点変換画像（実質的な動画）を表示してもよい。この場合、車両１の側方の状況に注意を払わせやすい周辺監視情報の提供ができる。また、車両１の左斜め前方を第１の仮想視点位置Ａとし、車両１の上空域である第２の仮想視点位置Ｂを経て、車両１の右斜め後方を第３の仮想視点位置Ｃとしてもよい。同様に、車両１の右斜め前方を第１の仮想視点位置Ａとし、車両１の上空域である第２の仮想視点位置Ｂを経て、車両１の左斜め後方を第３の仮想視点位置Ｃとしてもよい。この場合、車両１のコーナ部分の状況に注意を払わせやすい周辺監視情報の提供ができる。

【0043】

このように構成される周辺監視システム１００の動作を以下に説明する。図７は、車両１が駐車されている現実世界（現実空間）の一例を示す斜視図である。図７の場合、車両１は、フロント側の物体４０およびリア側の物体４２、物体４４に挟まれた空間に駐車されている例を示している。なお、物体４０と物体４２は小径の円柱物体であり、物体４４は、物体４０，４２より大径の円柱物体である。以下の説明では、図７の状態から車両１を前進発進させようとする場合の視点変換画像の表示処理を一例として説明する。

【0044】

ＣＰＵ１４ａ（ＥＣＵ１４）は、まず、視点変換画像の表示要求があるか否かを判定する（Ｓ１００）。例えば、イグニッションスイッチの操作状態を確認し、イグニッションスイッチがＯＮされた場合、車両１は発進準備中であり、表示要求ありと判定する。この場合、イグニッションスイッチの操作に伴い視点変換画像は自動表示モードで表示されることになる。また、別の実施形態では、操作部１４ｇ等を介してユーザが視点変換画像の表示を要求した場合、表示要求ありと判定する。この場合、視点変換画像は手動表示モードで表示されることになる。

【0045】

ＣＰＵ１４ａは、「表示要求なし」と判定した場合（Ｓ１００のＮｏ）、このフローを一旦終了する。一方、ＣＰＵ１４ａは、「表示要求あり」と判定した場合（Ｓ１００のＹｅｓ）、データ制御部３６は、車両１の発進予定方向を取得する（Ｓ１０２）。データ制御部３６は、例えば、ＳＳＤ１４ｆ等に記録されていた駐車直前の変速操作部７のシフト位置や駐車支援を行ったときの駐車状況等に基づき、車両１の発進予定方向を取得する。データ制御部３６は、さらに、取得した発進予定方向に基づき、表示開始視点位置を決定する（Ｓ１０４）。例えば、車両１が前進発進すると判定した場合、データ制御部３６は、第３の仮想視点位置Ｃを車両１のリア側、第１の仮想視点位置Ａを車両１のフロント側に設定する。逆に車両１が後退発進すると判定した場合、データ制御部３６は、第３の仮想視点位置Ｃを車両１のフロント側、第１の仮想視点位置Ａを車両１のリア側に設定する。

【0046】

続いて、画像取得部３０は、表示制御部１４ｄを介して各撮像部１５ａ〜１５ｄが撮像した車両１の周辺の撮像画像データ（現在画像）を取得する（Ｓ１０６）。そして、画像変換部３２は、取得された撮像画像データをＲＯＭ１４ｂが記憶するマッピングテーブルの変換情報を用いて、仮想画像データを生成（変換）する（Ｓ１０８）。なお、本実施形態では、画像変換部３２は、撮像画像データを車両１の位置を中心とする曲面に投影するように仮想画像データに変換している。

【0047】

データ制御部３６は、Ｓ１０４で決定した表示開始視点位置（例えば、図６の第１の仮想視点位置Ａ）に仮想視点３８が存在する場合の仮想画像データから表示を開始する。そして、データ制御部３６は、仮想視点３８が第２の仮想視点位置Ｂに向かい移動するように仮想画像データを所定のフレームレートで順次表示して、視点変換画像の実質的な動画表示を開始する（Ｓ１１０）。本実施形態の場合、前述したように、画像変換部３２は、撮像画像データを曲面投影を用いて仮想画像データを生成する。例えば、平面投影を用いて仮想画像データを生成した場合、車両１に対して水平方向に第１の仮想視点位置Ａを設定すると、車両１の周囲の物体に対応する画素は水平線上に並び（直線で表現されてしまい）、物体を表現することが困難になる。一方、曲面投影を用いて仮想画像データを生成した場合、車両１に対して水平方向に第１の仮想視点位置Ａを設定すると、第１の仮想視点位置Ａに近い位置に存在する物体は、路面に寝転がった状態に表示される。また、奥側（第１の仮想視点位置Ａから遠い側）に存在する物体は、立像として立体的に表示される。図９は、仮想視点３８が第１の仮想視点位置Ａに存在する場合に曲面投影を用いた仮想画像データにより表示される視点変換画像の一例である。この場合、車両１の前方に物体４０が存在し、車両１の後方に物体４２，４４が存在することをユーザに認識させることができる。

【0048】

データ制御部３６は、順次表示する仮想画像データ（実質的な動画）が第２の仮想視点位置Ｂの位置における仮想画像データ、すなわち、仮想画像データを鉛直軸Ｏの周りを１８０°回転させる位置の仮想画像データの表示タイミングになったか否かを判定する（Ｓ１１２のＮｏ）。仮想画像データを回転する位置（タイミング）に到達した場合（Ｓ１１２のＹｅｓ）、データ制御部３６は、仮想視点３８の移動を一時的に停止して仮想画像データの回転を行う（Ｓ１１４）。図１０は、仮想視点３８が、第２の仮想視点位置Ｂに到達した場合の仮想画像データに基づき表示装置８に表示された視点変換画像である。図１０に示しように、仮想画像データの回転前においては、車両１のフロント側が表示装置８の画面下端側に向いているとともに、物体４０が表示装置８の画面下端側に存在し、物体４２，４４が表示装置８の画面上端側に存在する状態で表示される。図１１は、仮想視点３８が、第２の仮想視点位置Ｂに到達した後、そこで鉛直軸Ｏ（図６参照）を中心として水平方向に１８０°回転させた後の仮想画像データに基づき表示装置８に表示された視点変換画像である。図１１に示すように、仮想画像データの回転後においては、車両１のリア側が表示装置８の画面下端側に向いているとともに、物体４２，４４が表示装置８の画面下端側に存在し、物体４０が表示装置８の画面上端側に存在する状態で表示される。このように、車両１の周囲の全体状況が把握しやすい状態で仮想画像データを回転させることで、物体４０〜４４の存在や車両１との位置関係をユーザに認識させやすくするとともに、注意を払う物体に対する注目度を向上させることができる。

【0049】

データ制御部３６は、第２の仮想視点位置Ｂにおいてデータ制御部３６の回転が完了したか否かを確認し（Ｓ１１６のＮｏ）、回転が完了した場合（Ｓ１１６のＹｅｓ）、仮想視点３８の第３の仮想視点位置Ｃに向かう移動を開始する（Ｓ１１８）。なお、仮想画像データは、第２の仮想視点位置Ｂで１８０°回転しているので、仮想視点３８を第３の仮想視点位置Ｃに向けて移動させても車両１の天地は逆転せず、第３の仮想視点位置Ｃで仮想画像データによる画像を表示する際に天地が適切な表示態様になるので現実世界の再現性が向上できる。

【0050】

次に、データ制御部３６は、仮想視点３８の位置が表示最終位置に到達したか否か判定する（Ｓ１２０のＮｏ）。仮想視点３８が第３の仮想視点位置Ｃ（Ｃ１）に到達した、つまり、第３の仮想視点位置Ｃ（Ｃ１）に対応する仮想画像データの表示を実行した場合（Ｓ１２０のＹｅｓ）、ＣＰＵ１４ａ（操作受付部３４）は、このフローを一旦終了し、次の視点変換画像の表示要求の受け付けを待つ。

【0051】

また、データ制御部３６は、１回の表示要求に対して、視点変換画像を所定回数繰り返し表示するようにしてもよい。視点変換画像を複数回表示する場合、毎回新規の視点変換画像を表示するようにしてもよい。つまり、リアルタイムで変化する視点変換画像の表示を行うようにしてもよい。この場合、急な物体の接近、例えば歩行者等の接近を視点変換画像に反映することが可能で、より現実世界の状況をユーザに提供することができる。また、別の実施形態では、初回に表示する視点変換画像の内容をＲＡＭ１４ｃ等に保存しておき、２回目以降にその保存した視点変換画像を再生表示するようにしてもよい。この場合、ＣＰＵ１４ａの処理負荷を軽減することができる。

【0052】

データ制御部３６は、仮想視点の移動速度、つまり、視点変換画像の動画表示速度を変更してもよい（可変できるようにしてもよい）。例えば、操作部１４ｇを介してユーザの希望する表示速度を受け付け、その表示速度に設定してもよい。この場合、ユーザの好みに沿う表示ができる。また、視点変換画像の表示を複数回行う場合は、初回の表示では標準的な第１速度で表示し、２回目以降は、第１速度より遅い第２速度で表示するようにしてもよい。この場合、車両１の周囲の状況をより理解させやすい表示ができる。

【0053】

このように、データ制御部３６は、仮想画像データを表示する場合に、仮想視点３８を第１の仮想視点位置Ａ、第２の仮想視点位置Ｂ、第３の仮想視点位置Ｃに連続的に移動させるとともに、第２の仮想視点位置Ｂの位置で、仮想画像データを水平方向に１８０°回転させる。その結果、車両１の周囲の状況を仮想視点３８から見た視点変換画像により実質的な動画によりユーザに提供することが可能になり、車両１の周囲の状況（現実世界、現実空間）をより容易にユーザに把握させることができる。また、仮想視点３８の位置を高さ方向および第１の仮想視点位置Ａから第３の仮想視点位置Ｃの方向に連続的に移動させることにより、車両１の周囲に存在する物体（例えば物体４０〜４４）の見え方が刻々と変化する。その変化の過程（連続変化の過程）で物体（立体物）の特徴が分かり易くなる。さらに、視点変換画像を連続的に実質的な動画として表示することにより物体の形状変化を把握し易くすることができる。つまり、視点変換画像を間欠的、または個別に表示する場合に比べ、車両１の周囲の状況をユーザに理解させやすく表示することができる。

【0054】

また、第３の仮想視点位置Ｃを車両１が発進する際の進行予定方向に対して後ろ側に位置するように設定して、仮想画像データの表示を終わらせることにより、図１２に示すように、発進方向の状況をユーザに印象付け易くなり、発進時の注意喚起をより強く行うことができる。

【0055】

ところで、画像変換部３２が曲面投影を用いて撮像画像データから仮想画像データを生成する場合、ＣＰＵ１４ａの処理負荷が増大してしまう場合がある。一方、平面投影を用いて撮像画像データから仮想画像データを生成する場合、ＣＰＵ１４ａの処理負荷は曲面投影の場合に比べ軽減できる場合がある。前述したように平面投影を用いた場合、仮想視点３８が車両１と水平の位置にある場合、物体の表示が困難になる場合がある。そこで、図６に示すように、仮想視点３８の移動開始位置および移動終了位置を車両１に対する水平の位置より上方に移動して、第１の仮想視点位置Ａ１、第３の仮想視点位置Ｃ１とする。例えば、水平に対する第１の仮想視点位置Ａ１の仰角をα＝１５°とする。同様に水平に対する第３の仮想視点位置Ｃ１の仰角をβ＝１５°とする。このように、仮想視点３８の移動開始位置および移動終了位置を変更するのみで、物体が表示し難いという不都合を容易に回避することができる。さらに、ＣＰＵ１４ａの処理負荷を容易に軽減することができる。

【0056】

図１３〜図１６は、平面投影を用いて生成した仮想画像データを用いた視点変換画像による表示例を示している。図１３に示すように、第１の仮想視点位置Ａ１に仮想視点３８が存在する場合、重畳される車両１は前方やや上方から俯瞰した状態となる。その結果、物体４０は、水平線から起き上がった状態で表示され、物体４０の存在をユーザに認識させ易くなる。データ制御部３６は、仮想視点３８が第２の仮想視点位置Ｂに到達した場合に、曲面投影で仮想画像データを生成した場合と同様に、仮想画像データを鉛直軸Ｏの周りで水平方向に１８０°回転させる（図１４、図１５）。平面投影を用いた場合、第２の仮想視点位置Ｂにおける仮想画像データで表示される物体４０〜４４は、ほぼ上面視像となり、物体４０〜４４と車両１との位置関係が曲面投影を用いた場合に比べて明確になる。仮想画像データの回転が完了すると、データ制御部３６は、仮想視点３８が第３の仮想視点位置Ｃ１に向かい移動を再開したように見えるように仮想画像データの順次表示を再開し、第３の仮想視点位置Ｃ１に対応する仮想画像データの表示を行い（図１６）、一連の表示処理を完了させる。図１６に示すように、第３の仮想視点位置Ｃ１に仮想視点３８が存在する場合、重畳される車両１は後方やや上方から俯瞰した状態となる。

【0057】

このように、平面投影を用いて仮想画像データを生成して表示する場合も、仮想視点３８を第１の仮想視点位置Ａ１、第２の仮想視点位置Ｂ、第３の仮想視点位置Ｃ１に連続的に移動させるとともに、第２の仮想視点位置Ｂの位置で、仮想画像データを水平方向に１８０°回転させる。その結果、車両１の周囲の状況を仮想視点３８から見た視点変換画像による実質的な動画によりユーザに提供することが可能になり、車両１の周囲の状況（現実世界、現実空間）をより容易に把握させることができる。また、仮想視点３８の位置を高さ方向および第１の仮想視点位置Ａ１から第３の仮想視点位置Ｃ１の方向に連続的に移動させることにより、車両１の周囲に存在する物体（例えば物体４０〜４４）の見え方が刻々と変化する。その変化の過程（連続変化の過程）で物体（立体物）の特徴が分かり易くなる。さらに、視点変換画像を連続的に実質的な動画として表示することにより物体の形状変化が把握し易くすることができる。つまり、視点変換画像を間欠的、または個別に表示する場合に比べ、車両１の周囲の状況をユーザに理解させやすく表示することができる。

【0058】

また、第３の仮想視点位置Ｃ１を車両１が発進する際の進行予定方向に対して後ろ側に位置するように設定して、仮想画像データの表示を終わらせることにより、図１６に示すように、発進方向の状況をユーザに印象付け易くなり、発進時の注意喚起をより強く行うことができる。

【0059】

なお、上述した各実施形態では、仮想画像データを回転させる第２の仮想視点位置Ｂの位置を車両１の上空域のうち車両１を基準とした鉛直軸Ｏを含む位置（直上位置）として説明した。別の実施形態では、仮想画像データを回転させる位置は、鉛直軸Ｏを含む位置に限られず、鉛直軸Ｏの位置から所定量前後にずれた位置でもよく、同様の効果を得ることができる。また、仮想視点３８が第１の仮想視点位置Ａ（Ａ１）、第２の仮想視点位置Ｂ、第３の仮想視点位置Ｃ（Ｃ１）を移動しているように仮想画像データを表示する場合、実質的に動画として表示することが望ましいが、仮想画像データの表示は第１の仮想視点位置Ａ（Ａ１）から第３の仮想視点位置Ｃ（Ｃ１）に至るまで必ずしも連続していなくてもよい。例えば、動画の途中に静止画が存在するように表示してもよい。また、ユーザが操作部１４ｇ等を操作することにより、注目したい仮想視点の位置で仮想画像データによる表示を静止させてもよい。例えば、車両１の周辺の状況を表示しているときに、注目したい場面で仮想画像データによる表示を一時的に静止画とすることで、車両１と物体との位置関係や発進経路を検討し易くすることができる。

【0060】

また、図６において、仮想視点３８は、車両１を中心とするほぼ半円軌道で移動する例を示したが、仮想視点３８が第２の仮想視点位置Ｂの位置またはその前後位置で１８０°回転すれば、その移動態様は適宜変更可能である。例えば、仮想視点３８が第１の仮想視点位置Ａ（Ａ１）から所定の高さに上昇した後、仮想視点３８を車両１の上空域を水平移動させる。その水平移動の間に仮想視点３８を水平方向に１８０°回転させて、その後、第３の仮想視点位置Ｃ（Ｃ１）に向けて下降させてもよい。この場合、車両１を俯瞰している状態が長くなり車両１と物体との位置関係をより把握させやすい表示ができる。

【0061】

上述した実施形態では、撮像画像データから仮想画像データを生成する場合に曲面投影か平面投影かのいずれかを用いる例を示したがこれに限らない。曲面投影と平面投影とを適宜組み合わせて用いてもよい。例えば、第１の仮想視点位置Ａや第３の仮想視点位置Ｃの付近では曲面投影を用い、その他の部分では平面投影を用いてもよい。この場合、表示開始および終了位置の変更による視点変換画像の表示範囲の拡大ができるとともに、画像変換部３２における処理負荷の軽減が可能になる。

【0062】

また、上述した実施形態では、撮像部１５が撮像した現在画像（リアルタイム画像）により仮想画像データを生成する例を示したが、撮像画像データを一時的にＲＡＭ１４ｃ等に保存して仮想画像データをタイミングを遅らせて生成するようにしてもよい。この場合、表示のリアルタイム性は僅かに低下する場合があるが、処理速度の遅いＣＰＵ１４ａの利用も可能になり、周辺監視装置のコスト削減に寄与できる。また、撮像部１５で撮像してＲＡＭ１４ｃ等に保存しておいた過去画像を用いて、本実施形態で示した視点変換画像を表示するようにしてもよい。この場合、現在の車両１の周囲のみならず、移動してきた領域（現在の車両１の位置から離れた位置）の状況（過去の状況）の把握も可能になり、周辺監視装置の利用機会を増やすことができる。

【0063】

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0064】

１…車両、２…車体、８…表示装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｄ…表示制御部、１４ｇ…操作部、１５，１５ａ，１５ｂ，１５ｃ，１５ｄ…撮像部、３０…画像取得部、３２…画像変換部、３４…操作受付部、３６…データ制御部、３８…仮想視点、４０，４２，４４…物体、１００…周辺監視システム（周辺監視装置）、Ａ，Ａ１…第１の仮想視点位置、Ｂ…第２の仮想視点位置、Ｃ，Ｃ１…第３の仮想視点位置、Ｏ…鉛直軸。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】