特許 6876236 表示制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6876236

(24)【登録日】2021年4月28日

(45)【発行日】2021年5月26日

(54)【発明の名称】表示制御装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20210517BHJP

   B60R 1/00 20060101ALI20210517BHJP

【ＦＩ】

   H04N7/18 J

   B60R1/00 A

【請求項の数】5

【全頁数】24

(21)【出願番号】特願2016-194362(P2016-194362)

(22)【出願日】2016年9月30日

(65)【公開番号】特開2018-56951(P2018-56951A)

(43)【公開日】2018年4月5日

【審査請求日】2019年8月7日

【前置審査】

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】丸岡 哲也

(72)【発明者】

【氏名】大橋 いつ子

(72)【発明者】

【氏名】渡邊 一矢

(72)【発明者】

【氏名】乾 陽司

(72)【発明者】

【氏名】山本 欣司

(72)【発明者】

【氏名】平槙 崇

(72)【発明者】

【氏名】橋川 拓也

(72)【発明者】

【氏名】久保田 尚孝

(72)【発明者】

【氏名】木村 修

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２０１０−２３１２７６（ＪＰ，Ａ）

【文献】 特開２００５−２８６９３８（ＪＰ，Ａ）

【文献】 国際公開第２０１５／１０４８６０（ＷＯ，Ａ１）

【文献】 特開２０１０−１０９６８４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

(57)【特許請求の範囲】

【請求項1】

所定のデータ、及び車両の周辺を撮像する撮像部から撮像画像データを取得する取得部と、
前記車両の三次元形状を表す車両形状データを記憶する記憶部と、
前記撮像画像データに基づいた車両の周辺を表した表示データに対して、前記車両形状データを重畳して表示する際に、前記所定のデータに基づいて前記車両形状データの透過率を切り替える表示処理部と、を備え、
前記取得部は、前記所定のデータとして、拡大する操作又は縮小する操作を示す操作データを取得し、
前記表示処理部は、前記操作データを取得した場合に、前記拡大する操作の前又は前記縮小する操作の前における前記車両形状データの透過率から、異なる透過率に切り替えられた前記車両形状データが重畳された前記表示データを表示する、
表示制御装置。

【請求項2】

前記表示処理部は、前記操作データに基づいて拡大表示をする場合に、拡大する操作の前の透過率から高い透過率に切り替えられた前記車両形状データが重畳された表示データを表示し、前記操作データに基づいて縮小表示をする場合に、縮小する操作の前の透過率から低い透過率に切り替えられた前記車両形状データが重畳された表示データを表示する、
請求項１に記載の表示制御装置。

【請求項3】

前記表示処理部は、前記操作データに従って拡大表示をする場合に、表示の中心となる点を示した注視点を、予め定められた座標に移動させる、
請求項１又は２に記載の表示制御装置。

【請求項4】

前記表示処理部は、前記操作データに従って車両形状データを動かしている操作を行っている間、当該操作前の透過率から高い透過率に切り替えられた車両形状データが重畳された表示データを表示する、
請求項１乃至３のいずれか一つに記載の表示制御装置。

【請求項5】

所定のデータ、及び車両の周辺を撮像する撮像部から撮像画像データを取得する取得部と、
前記車両の三次元形状を表す車両形状データを記憶する記憶部と、
前記撮像画像データに基づいた車両の周辺を表した表示データに対して、前記車両形状データを重畳して表示する際に、前記所定のデータに基づいて前記車両形状データの透過率を切り替える表示処理部と、を備え、
前記表示処理部は、前記表示データを表示する表示先に応じて透過率が切り替えられた前記車両形状データを表示する、
表示制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、表示制御装置に関する。

【背景技術】

【0002】

従来、車両に設置された撮像装置で車両の周辺環境を撮像し、撮像結果である画像を表示する技術が提案されている。

【0003】

周辺環境を表示する際に、車室や車両を周辺環境が撮像された画像データに重畳して表示する技術がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−６０６４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来技術においては、周辺環境が示された画像データに、車室画像を重畳する際に、周辺環境を把握させるために、車室の領域毎に透過率を変更する技術が提案されている。しかしながら、車両の三次元形状を表す車両形状データを、周辺環境が示された画像データに重畳する場合を考慮したものではない。

【0006】

本発明は、上記に鑑みてなされたものであって、車両形状データが重畳された場合においても、周辺環境を認識できる表示制御装置を提供する。

【課題を解決するための手段】

【0010】

実施形態の表示制御装置は、一例として、所定のデータ、及び車両の周辺を撮像する撮像部から撮像画像データを取得する取得部と、車両の三次元形状を表す車両形状データを記憶する記憶部と、撮像画像データに基づいた車両の周辺を表した表示データに対して、車両形状データを重畳して表示する際に、所定のデータに基づいて車両形状データの透過率を切り替える表示処理部と、を備え、取得部は、所定のデータとして、拡大する操作又は縮小する操作を示す操作データを取得し、表示処理部は、操作データを取得した場合に、拡大する操作の前又は縮小する操作の前における車両形状データの透過率から、異なる透過率に切り替えられた車両形状データが重畳された表示データを表示する。よって、運転者は、車両形状データの透過率が切り替えられたことで、車両形状データの拡大又は縮小されたことを確認できるため、利便性を向上させることができる。

【0011】

また、実施形態の表示制御装置は、一例として、表示処理部は、操作データに基づいて拡大表示をする場合に、拡大する操作の前の透過率から高い透過率に切り替えられた車両形状データが重畳された表示データを表示し、操作データに基づいて縮小表示をする場合に、縮小する操作の前の透過率から低い透過率に切り替えられた車両形状データが重畳された表示データを表示する。よって、運転者は、拡大縮小に応じて透過率の切り替えを行うことで、運転者の操作に対応した、車両形状データと車両の周辺との表示ができるため、利便性を向上させることができる。

【0012】

また、実施形態の表示制御装置は、一例として、表示処理部は、操作データに従って拡大表示をする場合に、表示の中心となる点を示した注視点を予め定められた座標に移動させる。よって、運転者は、拡大表示を行う際に、注視点を予め定められた座標まで移動させることで、運転者の操作に対応した、車両形状データと車両の周辺との表示ができるため、利便性を向上させることができる。

【0013】

また、実施形態の表示制御装置は、一例として、表示処理部は、操作データに従って車両形状データを動かしている操作を行っている間、当該操作前の透過率から高い透過率に切り替えられた車両形状データが重畳された表示データを表示する。よって、運転者は、車両形状データを動かしている間、車両形状データが透過することで、車両の周辺を確認できるため、利便性を向上させることができる。

【0014】

また、実施形態の表示制御装置は、一例として、所定のデータ、及び車両の周辺を撮像する撮像部から撮像画像データを取得する取得部と、車両の三次元形状を表す車両形状データを記憶する記憶部と、撮像画像データに基づいた車両の周辺を表した表示データに対して、車両形状データを重畳して表示する際に、所定のデータに基づいて車両形状データの透過率を切り替える表示処理部と、を備え、表示処理部は、表示データを表示する表示先に応じて透過率が切り替えられた車両形状データを表示する。よって、表示先の特性に応じた表示を実現できるので、視認性を向上させることができる。

【図面の簡単な説明】

【0015】

【図1】図１は、実施形態にかかる表示制御装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。

【図2】図２は、実施形態にかかる表示制御装置を搭載する車両の一例が示された平面図（鳥瞰図）である。

【図3】図３は、実施形態にかかる表示制御装置を有する表示制御システムの構成の一例を示すブロック図である。

【図4】図４は、実施形態にかかる表示制御装置としてのＥＣＵの機能的構成を示すブロック図である。

【図5】図５は、実施形態の車両形状データ記憶部に記憶された車両形状データを例示した図である。

【図6】図６は、車両の高さ２ｍ以上に対応する領域について完全透過させた場合の車両形状データを例示した図である。

【図7】図７は、車両の高さ１ｍ以上に対応する領域について完全透過させた場合の車両形状データを例示した図である。

【図8】図８は、車両の所定位置から後方の領域について完全透過させた場合の車両形状データを例示した図である。

【図9】図９は、車両の高さ１ｍ以下に対応する領域について完全透過させた場合の車両形状データを例示した図である。

【図10】図１０は、実施形態の画像合成部における撮影画像データを仮想投影面への投影を示す例示的かつ模式的な説明図である。

【図11】図１１は、車両形状データと仮想投影面とを示す模式的かつ例示的な側面図である。

【図12】図１２は、実施形態の表示処理部により表示される視点画像データの一例を示した図である。

【図13】図１３は、実施形態の表示処理部により表示される視点画像データの一例を示した図である。

【図14】図１４は、実施形態の表示処理部により表示される視点画像データの一例を示した図である。

【図15】図１５は、実施形態の表示処理部により表示される視点画像データの一例を示した図である。

【図16】図１６は、実施形態の表示処理部により表示される視点画像データの一例を示した図である。

【図17】図１７は、実施形態のＥＣＵにおける第１の表示処理の手順を示すフローチャートである。

【図18】図１８は、実施形態のＥＣＵにおける第２の表示処理の手順を示すフローチャートである。

【図19】図１９は、実施形態のＥＣＵにおける第３の表示処理の手順を示すフローチャートである。

【図20】図２０は、実施形態の車両の高さの基準となる、車輪と地面の接地点を例示した図である。

【図21】図２１は、変形例１の車両の高さの基準となる、水平面を例示した図である。

【図22】図２２は、変形例の表示処理部が表示する表示画面を例示した図である。

【発明を実施するための形態】

【0016】

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

【0017】

本実施形態において、表示制御装置（表示制御システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。駆動方式としては、４つある車輪３すべてに駆動力を伝え、４輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。

【0018】

図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

【0019】

また、車室２ａ内には、表示装置８や、音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

【0020】

また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

【0021】

また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面やその周辺の物体（障害物、岩、窪み、水たまり、轍等）を含む車両１の周辺の外部環境を逐次撮影し、撮像画像データとして出力する。

【0022】

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。撮像部１５ｄは、例えば、車体２の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。表示制御システム１００を構成するＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。また、ＥＣＵ１４は、撮像部１５で得られた広角画像のデータに演算処理や画像処理を実行し、特定の領域を切り出した画像を生成したり、特定の領域のみを示す画像データを生成したり、特定の領域のみ強調されるような画像データを生成したりする。また、ＥＣＵ１４は、撮像画像データを撮像部１５が撮像した視点とは異なる仮想視点から撮像したような仮想画像データに変換（視点変換）することができる。ＥＣＵ１４は、取得した画像データを表示装置８に表示することで、例えば、車両１の右側方や左側方の安全確認、車両１を俯瞰してその周囲の安全確認を実行できるような周辺監視情報を提供する。

【0023】

また、図３に例示されるように、表示制御システム１００（表示制御装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

【0024】

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理を実行する。例えば、ＣＰＵ１４ａは、撮像部１５が撮像した撮像画像データに演算処理や画像処理を実行して、車両１の予測進路上に、注意すべき特定領域が存在するか否かを検出したり、注意すべき特定領域の存在を例えば、車両１の進行推定方向を示す進路指標（予測進路線）の表示態様を変化させることでユーザ（運転者や搭乗者）に報知したりする。

【0025】

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた撮像画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては画像合成）等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合であってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、周辺監視用のＥＣＵ１４とは別に設けられてもよい。

【0026】

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。

【0027】

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

【0028】

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

【0029】

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

【0030】

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。

【0031】

加速度センサ２６は、例えば車両１に設けられている。ＥＣＵ１４は、加速度センサ２６からの信号に基づき、車両１の前後方向の傾き（ピッチ角）や左右方向の傾き（ロール角）を算出する。ピッチ角は、車両１の左右軸周りの傾きを示した角度であり、水平な面（地面、路面）上に車両１が存在する場合に、ピッチ角が０度となる。また、ロール角は、車両１の前後軸周りの傾きを示した角度であり、水平な面（地面、路面）上に車両１が存在する場合に、ロール角が０度となる。つまり、車両１が、水平な路面に存在するか否か、傾斜面（上り勾配の路面または下り勾配の路面）に存在するか否か等が検出できる。なお、車両１がＥＳＣを搭載する場合、ＥＳＣに従来から搭載されている加速度センサ２６を用いる。なお、本実施形態は、加速度センサ２６を制限するものではなく、車両１の前後左右方向の加速度を検出可能なセンサであればよい。

【0032】

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

【0033】

ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したように撮像画像データに基づいた車両１周辺の環境を表示する。この機能を実現するために、ＣＰＵ１４ａは、図４に示すような種々のモジュールを含んでいる。ＣＰＵ１４ａは、例えば、取得部４０１と、判定部４０２と、透過率処理部４０３と、画像合成部４０４と、視点画像生成部４０５と、表示処理部４０６と、を含んでいる。これらのモジュールは、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。

【0034】

また、ＳＳＤ１４ｆには、例えば、車両１の三次元形状を表した車両形状データを記憶する車両形状データ記憶部４５１を備えている。また、車両形状データ記憶部４５１に記憶された車両形状データは、車両１の外部形状の他に、車両１の内装の形状も保持している。

【0035】

取得部４０１は、画像取得部４１１と、操作取得部４１２と、検出取得部４１３と、を含み、車両１の周囲を表示するために必要な情報（例えば、外部から取得した所定のデータや、撮像画像データ）を取得する。

【0036】

画像取得部４１１は、車両１の周辺を撮像する撮像部１５ａ〜１５ｄから、撮像画像データを取得する。

【0037】

操作取得部４１２は、操作入力部１０を介して、運転者が行った操作を表した操作データを取得する。操作データとしては、例えば、表示装置８に表示された画面の拡大・縮小操作や、表示装置８に表示された画面について視点の変更操作等が考えられる。操作取得部４１２は、さらに、シフト操作を示した操作データや、車両１の運転者により行われた操舵を示した舵角データも取得する。さらには、操作取得部４１２は、車両１の運転者により行われたウィンカーの点灯操作を示した操作データも取得する。

【0038】

検出取得部４１３は、車両１の周辺の物体を検出する検出部から検出データを取得する。本実施形態では、検出部の例として、撮像部１５ａ〜１５ｄがステレオカメラであって、当該ステレオカメラを用いることで車両１の周辺の物体を検出したり、（図示しない）ソナーやレーザ等を用いて、車両１の周辺の物体を検出することが考えられる。

【0039】

判定部４０２は、取得部４０１が取得した情報に基づいて、車両１を表した車両形状データの透過率を切り替えるか否かを判定する。

【0040】

例えば、判定部４０２は、操作取得部４１２が取得した操作データに基づいて、車両１を表した車両形状データの透過率を切り替えるか否かを判定する。例えば、判定部４０２は、運転者により縮小する操作又は拡大する操作が行われた場合に、縮小する操作又は拡大する操作に対応する、透過率に切り替えるべきと判定する。

【0041】

他の例としては、判定部４０２は、検出取得部４１３が取得した検出データに基づいて、車両１を表した車両形状データの透過率を切り替えるか否かを判定する。具体的には、判定部４０２は、検出取得部４１３が取得した検出データにより検出された障害物と、車両１と、の間の距離が所定値以内であるか否かを判定する。そして、判定部４０２は、当該結果に基づいて、車両１を表した車両形状データの透過率を切り替えるか否かを判定する。例えば、検出データにより車両１の進行方向に障害物が所定の距離以内に検出された場合に、車両形状データの透過率を上昇させることで、障害物を視認しやすくすることが考えられる。なお、所定の距離は、実施の態様に応じて設定されるものとする。

【0042】

透過率処理部４０３は、判定部４０２の判定結果に基づいて、車両形状データ記憶部４５１に記憶された車両形状データに対して、透過率の変更処理等を行う。その際に車両形状データの色を変更しても良い。例えば、障害物に最も近傍の領域の色を変更して、運転者に障害物が近づいていることを認識させるようにしても良い。

【0043】

本実施形態の表示処理部４０６は、車両形状データを表示する際に、検出データに基づいて、検知された物体に近い、車両１の部位に対応する車両形状データの領域の透過率を、他の領域の透過率と、を異ならせて表示してもよい。例えば、判定部４０２が、障害物と車両１との間の距離が所定値以内と判定された場合に、透過率処理部４０３は、検知された障害物近傍の車両１の部位に対応する、車両形状データの一部の領域の透過率を、他の領域の透過率より高くする。これにより、障害物を視認することが容易になる。

【0044】

このように、本実施形態の表示処理部４０６は、車車両形状データのうち一部の領域の透過率を、一部の領域と異なる他の領域の透過率と異ならせて表示することもできる。この一部の領域は、車両形状データ内の領域であれば、どのような領域であっても良い。例えば、一部の領域は、検知された物体近傍の車両１の部位に対応する領域でもよいし、車両形状データに含まれるバンパーや車輪であっても良い。他の例としては、車両形状データのうち、車輪が表された領域を一部の領域として、ルーフが表された領域を他の領域として、透過率を異ならせても表示しても良い。さらに本実施形態は、一部の領域から他の領域に向かうに従って透過率を徐々に変更しても良い。さらに、本実施形態の一部の領域及び他の領域は、車両１の一つのパーツに対応する領域、又は複数のパーツにまたがっている領域でも良いし、パーツ内の一部に対応する領域でも良い。

【0045】

図５は、本実施形態の車両形状データ記憶部４５１に記憶された車両形状データを例示した図である。図５に示される車両形状データは、車両１の舵角に応じて車輪３等の向きを調整可能とする。

【0046】

透過率処理部４０３は、判定部４０２の判定結果に従って透過率を切り替える場合に、切り替えられた透過率になるような透過処理を、車両形状データに対して行う。なお、透過率は０％〜１００％まで任意の値を設定可能とする。

【0047】

例えば、透過率処理部４０３は、判定部４０２の判定結果に従って透過率を切り替える場合に、検出データにより検出された障害物と、車両１と、の間の距離に応じて、車両形状データの透過率を切り替えても良い。これにより、表示処理部４０６は、当該距離に応じて透過率が切り替えられた車両形状データの表示を実現できる。

【0048】

例えば、判定部４０２は、操作データに基づいて、透過率をどのように切り替えるか判定しても良い。操作入力部１０がタッチパネルを備えている場合に、車両形状データをタッチしている時間に応じて、透過率を切り替えても良い。例えば、タッチしている時間が長いと判定された場合に、透過率処理部４０３は、透過率を高くするように透過処理をしてもよい。さらには、判定部４０２が検出したタッチした回数の増加に従って、透過率処理部４０３は、透過率を高くするように透過処理をしてもよい。他の例として、判定部４０２が検出したタッチの強弱に従って、透過率処理部４０３は、透過率を切り替えても良い。

【0049】

さらには、判定部４０２は、操作データに基づいて、車両形状データのうち、任意の領域がタッチされていると判定された場合に、透過率処理部４０３は、任意の領域に対して、他の領域より透過率を高くする（又は低くする）などの処理を行っても良い。

【0050】

また、透過率処理部４０３は、車両形状データ全体について同一の透過率で透過処理を行うことに制限するものではない。車両形状データの領域毎に透過率を異ならせても良い。例えば、車両形状データのうち地面に近接する車輪等が配置されている領域の透過率を低くし、地面から離れた領域ほど透過率を高くすることが考えられる。

【0051】

図６は、車両１の高さ２ｍ以上に対応する領域について完全透過させた場合の車両形状データを例示した図である。図６に示されるように、車両１の高さ２ｍ以上に対応する領域について完全透過させ、車両１の高さ２ｍより下を完全透過させず、下に向かうに従って透過率を低くする。このように、車輪と地面との状況を認識させつつ、高さ２ｍ以上に対応する領域を完全透過させることで、車両１の周囲の表示範囲を拡大させることができる。

【0052】

図７は、車両１の高さ１ｍ以上に対応する領域について完全透過させた場合の車両形状データを例示した図である。図７に示されるように、車両１の高さ１ｍ以上か否かに応じて完全透過させても良い。図６及び図７に示される、完全透過させる高さの基準は、車両１の高さや、車両１の周辺の状況に応じて、任意に設定可能とする。

【0053】

このように、透過率処理部４０３は、車両形状データのうち、車輪が表された領域から、ルーフが表された領域に向かうに従って、透過率を高くする透過処理を行ってもよい。これにより、表示処理部４０６が、このような透過処理が行われた車両形状データを表示することで、地面と車両１との状況を表示しつつ、車両１のルーフ近傍を完全透過させることで、車両１の周囲の状況の視認が可能となる。また、完全透過させるか否かの基準は、車両１の高さに制限するものではない。

【0054】

図８は、車両１の所定位置から後方の領域について完全透過させた場合の車両形状データを例示した図である。車両１の所定位置から前方の領域を表示することで、車両１と、進行方向に存在する物体との位置関係の他に、車輪の接地面の状況を認識できる。車両１の後方は、進行方向の状況の確認には不要なため、透過させることで、車両１の周囲のより広い領域の表示が実現できる。

【0055】

図８に示される例では、車両１が前方に進行する場合とする。判定部４０２が、操作取得部４１２により取得された操作データに従って、シフト操作が行われたと判定した場合に、透過率処理部４０３は、透過させる領域を切り替えても良い。例えば、判定部４０２により、進行方向が前進から後退に切り替えられたと判定された場合に、透過率処理部４０３は、車両１の所定位置から後方の領域の完全透過から、車両１の所定位置から前方の領域の完全透過に切り替える。これにより、進行方向に応じた透過処理を実現できる。

【0056】

また、図６及び図７においては、所定の高さＴ１以上を完全透過させる例について説明したが、所定の高さＴ１以下を完全透過させても良い。図９は、所定の高さＴ１が１ｍの場合であって、車両１の高さ１ｍ以下に対応する領域について完全透過させた場合の車両形状データを例示した図である。図９に示される例では、車両１の高さ１ｍ以上を完全透過させず、上に向かうに従って透過率を低くしている。

【0057】

これら車両形状データを、車両１の周辺を撮影した撮像画像データに重畳することになる。これにより、例えば、本実施形態の表示処理部４０６は、車両形状データのうち、（一部の領域である）車輪が表された領域から、（他の領域である）ルーフが表された領域に向かうに従って、透過率を高くする表示を行う又は透過率を低くする表示を行うことができる。

【0058】

図４に戻り、画像合成部４０４は、画像取得部４１１で取得された複数の撮影画像のデータ、すなわち、複数の撮像部１５で撮影された複数の撮影画像データを、それらの境界部分を合成することで繋ぎ、一つの撮影画像データを生成する。

【0059】

画像合成部４０４は、撮影画像データを、車両１の周囲を取り囲む仮想投影面に投影するように、複数の撮像画像データを合成する。

【0060】

図１０は、画像合成部４０４における撮影画像データ１００１を仮想投影面１００２への投影を示す例示的かつ模式的な説明図である。図１０の例では、仮想投影面１００２は、地面Ｇｒに沿った底面１００２ｂと、底面１００２ｂすなわち地面Ｇｒから立ち上がった側面１００２ａと、を有している。地面Ｇｒは、車両１の上下方向Ｚと直交する水平面であり、タイヤの接地面でもある。底面１００２ｂは、略円形の平坦面であり、車両１を基準とする水平面である。側面１００２ａは、底面１００２ｂと接した曲面である。

【0061】

図１０に示されるように、側面１００２ａの、車両１の中心Ｇｃを通り車両１の垂直な仮想断面の形状は、例えば、楕円状あるいは放物線状である。側面１００２ａは、例えば、車両１の中心Ｇｃを通り車両１の上下方向に沿う中心線ＣＬ周りの回転面として構成され、車両１の周囲を取り囲んでいる。画像合成部４０４は、撮影画像データ１００１を、仮想投影面１００２に投影した合成画像データを生成する。

【0062】

視点画像生成部４０５は、重畳部４２１と、縮小・拡大部４２２と、を備え、仮想投影面１００２に投影された合成画像データから、所定の仮想視点から見た、視点画像データを生成する。なお、本実施形態は、合成画像を生成した後、所定の視点から見た視点画像データを生成する例について説明したが、これら処理を一度に行うルックアップテーブルを用いて、視点画像データのみを生成しても良い。

【0063】

図１１は、車両形状データ１１０３と、仮想投影面１００２とを示す模式的かつ例示的な側面図である。図１１に示されるように、重畳部４２１は、仮想投影面１００２上に、透過率処理部４０３により透過処理がされた後の車両形状データ１１０３を重畳する。そして、視点画像生成部４０５は、仮想投影面１００２に投影された合成画像データを、視点１１０１から注視点１１０２を見た視点画像データに変換する。なお、注視点１１０２は、視点画像データの表示領域の中心になる点となる。

【0064】

視点１１０１は、ユーザが任意に設定可能とする。また、視点は、車両形状データ１１０３の外部に制限するものではなく、車両形状データ１１０３の内部に設定しても良い。本実施形態においては、視点画像生成部４０５は、操作取得部４１２が取得する操作データに従って設定された視点からの視点画像データを生成する。

【0065】

縮小・拡大部４２２は、操作データに従って、視点１１０１を車両形状データ１１０３に近づけさせたり、遠ざけたりする処理を行うことで、視点画像生成部４０５により生成される視点画像データに表わされる車両形状データ１１０３の縮小・拡大処理を行う。

【0066】

また、注視点１１０２も、ユーザが任意で設定可能とする。例えば、操作取得部４１２が取得する操作データに従って拡大する操作が行われた場合に、縮小・拡大部４２２は、表示の中心となる点を示した注視点１１０２を予め定められた座標まで移動させる処理を行っても良い。例えば、ユーザが拡大操作を行った場合に、ユーザは車輪と地面Ｇｒの状況を見たいものとみなして、縮小・拡大部４２２は、注視点１１０２が車輪と地面Ｇｒとの接地点まで注視点を移動させる処理を行う。なお、本実施形態は、注視点１１０２の移動先となる座標が、車輪と地面Ｇｒとの接地点の場合について説明したが、移動先の座標の位置を制限するものではなく、実施態様に応じて適切な座標が設定される。

【0067】

これにより、表示処理部４０６は、操作データに基づいて拡大表示をする場合に、拡大する操作の前の透過率（例えば、現在の透過率）から高い透過率に切り替えると共に、注視点を予め定められた座標に移動させる視点画像データの表示を行うこととなる。運転者が確認したいと考えられる座標まで注視点が移動することで、運転者の操作に対応した、車両形状データと車両の周辺との表示ができるため、利便性を向上させることができる。

【0068】

表示処理部４０６は、視点画像生成部４０５により生成された視点画像データの表示処理を行う。本実施形態では、表示装置８に視点画像データを表示する例について説明するが、表示装置８に視点画像データを表示する例に制限するものではなく、例えば、ＨＵＤ（ヘッドアップディスプレイ）に視点画像データを表示しても良い。

【0069】

図１２は、表示処理部４０６により表示される視点画像データの一例を示した図である。図１２に示される例では、透過率処理部４０３により透過率０％で処理された場合の車両形状データ１２０１が重畳された例とする。図１２に示される車両形状データ１２０１においては、車両形状データ１２０１を透過させて、反対側の状況は確認できない例とする。

【0070】

これに対して、本実施形態の表示処理部４０６は、撮像画像データに基づいた車両の周辺を表した合成画像データに対して、車両１の現在の位置に従って車両形状データを重畳した視点画像データを表示する際に、車両形状データの一部の領域を、他の領域と透過率を異ならせた表示を行う。次に、車両形状データの一部の領域を、他の領域と透過率を異ならせた視点画像データの表示例について説明する。なお、本実施形態は、車両形状データを重畳する際に、車両１の現在の位置に従って重畳する場合について説明するが、他の位置に重畳しても良い。例えば、車両形状データを、車両１の予測進路上の位置に重畳しても良いし、車両１の過去の位置に重畳しても良い。

【0071】

次に、判定部４０２によって、車両１の所定の高さＴ１以上を透過させると判定された場合に、表示処理部４０６により表示される視点画像データについて説明する。

【0072】

図１３は、表示処理部４０６により表示される視点画像データの一例を示した図である。図１３に示される例では、透過率処理部４０３により所定の高さＴ１以上を透過率Ｋ１で処理され、当該所定の高さＴ１より下を透過率Ｋ２で処理された場合（なお、Ｋ１＞Ｋ２＞０％）の車両形状データ１３０１が重畳された例とする。このように、所定の高さより下の車両形状データの透過率が低いため、車両１と地面の位置関係を認識できる。また、透過率Ｋ２で透過されるため、車両１の反対側の状況もある程度認識できる。一方、所定の高さＴ１より上の車両形状データの透過率が高いため、車両１の反対側の状況をより詳細に確認できる。これにより、運転者は、より広い領域の状況を認識することができる。

【0073】

また、透過率を異ならせる他の手法としては、車両１の構成毎に、透過率を異ならせても良い。図１４は、表示処理部４０６により表示される視点画像データの一例を示した図である。図１４に示される例では、透過率処理部４０３により、車輪に対応する領域１４０１を透過率０％で処理され、車輪以外の領域を透過率１００％で処理された場合の車両形状データが重畳された例とする。

【0074】

当該表示は、例えば、運転者により、車輪のみの表示の操作が行われた場合が考えられる。判定部４０２が、車輪の表示が示された操作データに基づいて、車輪の領域以外を１００％透過させると判定する。そして、透過率処理部４０３が当該判定結果に従って、上述した透過処理を行う。なお、本実施形態では、車輪のみ表示する場合について説明したが、車両１の構成のうち、表示される構成を車輪のみに制限するものではなく、バンパー等を車輪と共に表示しても良い。なお、本実施形態は、車輪に対応する領域を透過率０％とし、他の領域の透過率を１００％とした場合について説明したが、車輪に対応する領域の透過率＜他の領域の透過率であればよい。

【0075】

このように、本実施形態の表示処理部４０６は、（一部の領域である）バンパー及び車輪のうちいずれか一つ以上に対応する領域の透過率を、車両１の他の領域の透過率と比べて低くなるように透過処理された車両形状データを表示することができる。なお、本実施形態は、（一部の領域である）バンパー及び車輪のうちいずれか一つ以上に対応する領域の透過率を、他の領域の透過率と比べて低くなるよう透過処理を行う場合について説明したが、他の領域の透過率と比べて高くなるよう透過処理を行っても良い。

【0076】

また、本実施形態は操作データに基づいて、上述した透過処理を行うことに制限するものではない。例えば、判定部４０２が、検出取得部４１３により取得された検出データに基づいて、オフロード走行していると判定した場合に、透過率処理部４０３が、図１４に示されるように、車輪及びバンパーのうちいずれか一つ以上が他の領域より低い透過率になるように、透過処理を行っても良い。

【0077】

本実施形態においては、撮像画像データに基づいた車両の周辺を表した表示データに対して、車両の現在の位置に従って車両形状データを重畳して表示する際に、操作データや検出データに基づいて透過率を切り替える例について説明した。しかしながら、透過率を切り替えるためのデータを、操作データや検出データに制限するものではなく、外部から取得した所定のデータであればよい。

【0078】

ところで、領域１４０２は、現在の車両１の撮像部１５では撮像できない。そこで、本実施形態においては、画像合成部４０４が、過去に撮像部１５により撮像された撮像画像データを、合成画像データとして合成することとした。過去に撮像部１５により撮像された撮像画像データとしては、車両１が現在の位置の２ｍ手前で撮像した撮像画像データが考えられる。このような撮像画像データを、車両１の床下の状況を撮影した撮像画像データとして用いても良い。また、領域１４０２について、過去の撮像画像データを表示することに制限するものではなく、単に所定の色で塗りつぶすようにしても良い。

【0079】

図１５は、表示処理部４０６により表示される視点画像データの一例を示した図である。図１５に示される例では、透過率処理部４０３により、車両形状データの線を除いて透過率１００％で処理された場合の車両形状データ１５０１が重畳された例とする。これにより、車両形状データを透過しているため、車両１の周囲の状況を確認できる。図１５に示される表示は、例えば、ユーザにより“車両の線のみ表示”が選択された場合などが考えられる。

【0080】

図１３〜図１５で示される例では、視点を車両（車両形状データ）の外に配置した場合について説明した。しかしながら、本実施形態は、視点を車両（車両形状データ）の外に配置した場合に制限するものではない。

【0081】

図１６は、表示処理部４０６により表示される視点画像データの一例を示した図である。図１６に示される例では、車両形状データの中に視点を配置した例とする。このため、車両形状データに含まれている、内装を介して、車両１の周囲が表示される。図１６に示される表示は、例えば、ユーザにより視点操作が行われた場合などが考えられる。

【0082】

図１６に示される例では、車両形状データによる車両１の内装表示においては、所定の高さＴ２より低い領域を、当該所定の高さＴ２より高い領域より、透過率を高くすることとした。つまり、車両１の内部から表示する場合には、地面に存在する物（例えば岩１６０１）の状況を認識させるために、所定の高さＴ２より低い領域１６１１の透過率Ｋ３を高くすることとした。一方、所定の高さＴ２より高い領域１６１２については、透過率Ｋ４を低くすることで、車両内部であることを把握できるようにした（透過率Ｋ３＞透過率Ｋ４）。

【0083】

つまり、表示処理部４０６は、視点を車両形状データの内部に移動させる操作が行われた場合に、当該視点から車両の内装を介して、車両の周辺を表示する視点画像データを表示する。このような視点画像データを表示する場合、透過率処理部４０３により、内装において、床下から天井に向かうに従って、透過率を低くする透過処理が行われた車両形状データを介して、車両１の周囲が表された視点画像データを、表示処理部４０６が表示することとした。なお、本実施形態は、透過率処理部４０３が、内装において、床下から天井に向かうに従って、透過率を低くする透過処理を行う例について説明したが、床下から天井に向かうに従って、透過率を高くする透過処理を行っても良い。

【0084】

このように、本実施形態の表示処理部４０６は、視点が車両形状データの内部に位置する場合と、視点が車両形状データの外部に位置する場合と、では、車両形状データの透過させる態様を異ならせることとした。

【0085】

判定部４０２は、操作取得部４１２が取得した操作データに基づいて、ユーザにより行われた操作により、視点が車両形状データ（車両１）の内部か否かを判定する。透過率処理部４０３は、判定部４０２により、視点が車両形状データ（車両１）の内部と判定した場合に、所定の高さＴ２より低い領域の透過率Ｋ３＞所定の高さＴ２より高い領域の透過率Ｋ４と設定した上で、透過処理を行う。一方、透過率処理部４０３は、判定部４０２により、視点が車両形状データ（車両１）の外部と判定した場合に、所定の高さＴ１より低い領域の透過率Ｋ２＜所定の高さＴ１より高い領域の透過率Ｋ１と設定した上で、透過処理を行う。このように、本実施形態では、視点が車両形状データ（車両１）の内部か否かに応じて、透過処理の切り替え制御を行うこととした。

【0086】

さらには、透過率処理部４０３は、視点が車両形状データ（車両１）の内部の場合に、取得部４０１が取得した車速情報、シフト操作データ、ウィンカー等の情報に基づいて、透過する領域を切り替えても良い。例えば、透過率処理部４０３は、判定部４０２により、シフト操作で進行方向が切り替えられたと判定された場合に、進行方向側の領域を透過するよう処理してもよい。

【0087】

他の例としては、判定部４０２が、舵角データやウィンカーの点灯操作を示した操作データに基づいて、運転者が右操舵又は左操舵を行ったと判定した場合に、透過率処理部４０３は、車両１が曲がる側方向の、車両形状データの一部の領域を、反対側方向の他の領域より透過率を高くする透過処理を行う。表示処理部４０６は、車両１が曲がる方向側の透過率が高い車両形状データを表示することで、当該車両形状データを介して、曲がる方向側の周囲を確認することが容易となる。

【0088】

なお、本実施形態は、車両１が曲がる側方向の一部の領域の透過率を、反対側方向の他の領域の透過率より高くする透過処理を行う例について説明したが、曲がる側方向の一部の領域と、反対側方向の他の領域と、の透過率を異ならせるだけで良い。例えば、曲がる側方向の一部の領域の透過率を、反対側方向の他の領域の透過率より低くする透過処理を行ってもよい。

【0089】

さらには、判定部４０２は、操作データに基づいて、所定の領域のタッチを検出した場合に、表示される画面を切り替えても良い。例えば、判定部４０２は、表示装置８に表示されている車両形状データのうち、死角領域をタッチしたと判定した場合に、表示処理部４０６は、車両１の床下画像として、例えば車両１が２ｍ後ろの存在している時（過去）に撮像した画像データを、車両１の床下画像として表示するように制御しても良い。

【0090】

さらには、判定部４０２は、操作データに基づいて、車両形状データのうち、任意の領域がタッチされていると判定された場合に、表示処理部４０６は、任意の領域を付近の輝度値を上昇させて、明るく見せる、所謂仮想ライトにより照らされたような表示処理を行っても良い。

【0091】

次に、本実施形態のＥＣＵ１４における第１の表示処理について説明する。図１７は、本実施形態のＥＣＵ１４における上述した処理の手順を示すフローチャートである。

【0092】

まず、画像取得部４１１は、車両１の周辺を撮像する撮像部１５ａ〜１５ｄから、撮像画像データを取得する（Ｓ１７０１）。

【0093】

次に、画像合成部４０４は、画像取得部４１１で取得された複数の撮影画像データを合成して、一つの合成画像データを生成する（Ｓ１７０２）。

【0094】

透過率処理部４０３は、ＳＳＤ１４ｆの車両形状データ記憶部４５１に記憶された車両形状データを読み取る（Ｓ１７０３）。

【0095】

透過率処理部４０３は、所定の透過率で車両形状データに対して透過処理を行う（Ｓ１７０４）。なお、所定の透過率は、視点及び注視点の初期値に応じた所定の値が設定されているものとする。

【0096】

次に、重畳部４２１が、透過処理後の車両形状データを、合成画像データに重畳する（Ｓ１７０５）。

【0097】

次に、視点画像生成部４０５が、視点及び注視点の初期値に基づいて、車両形状データが重畳された合成画像データから、視点画像データを生成する（Ｓ１７０６）。

【0098】

そして、表示処理部４０６が、視点画像データを、表示装置８に表示する（Ｓ１７０７）。

【0099】

次に、判定部４０２は、視点画像データが表示された後、操作取得部４１２が取得した操作データに基づいて、ユーザからの透過率の変更操作や透過させる構成の切替操作がなされたか否かを判定する（Ｓ１７０８）。

【0100】

透過率の変更操作や透過させる構成の切替操作がなされたと判定した場合（Ｓ１７０８：Ｙｅｓ）、透過率処理部４０３は、車両形状データに対して変更された透過率の切り替え処理、及び切り替え操作に従って、車両形状データ全体、又は透過させる構成（例えば車輪やバンパー以外の構成）の透過処理を行う（Ｓ１７０９）。その後、Ｓ１７０５から処理を行う。

【0101】

一方、透過率の変更操作や透過させる構成の切替操作がなされなかったと判定した場合（Ｓ１７０８：Ｎｏ）、処理を終了する。

【0102】

図１７で示される処理手順においては、ユーザに行われた操作に従って、透過する構成や、透過率を切り替える例について説明した。しかしながら、透過率の切り替え等は、ユーザに行われた操作に基づくものに制限されない。そこで、車両１と障害物の距離に応じて透過率等を切り替える場合について説明する。

【0103】

次に、本実施形態のＥＣＵ１４における第２の表示処理について説明する。図１８は、本実施形態のＥＣＵ１４における上述した処理の手順を示すフローチャートである。

【0104】

図１８に示されるフローチャートにおいて、Ｓ１８０１〜Ｓ１８０７までの処理は、図１７に示されるフローチャートのＳ１７０１〜Ｓ１７０７までの処理と同様として、説明を省略する。

【0105】

そして、検出取得部４１３が、ソナーやレーザ等から検出データを取得する（Ｓ１８０９）。

【0106】

判定部４０２は、検出データに基づいて、車両１と、車両１の進行方向に存在する障害物と、の距離が所定値以内か否かを判定する（Ｓ１８１０）。

【0107】

車両１と、車両１の進行方向に存在する障害物と、の距離が所定値以内と判定した場合（Ｓ１８１０：Ｙｅｓ）、透過率処理部４０３は、車両形状データ全体、又は障害物に近接している領域について、検出前に設定されていた透過率より高い透過率に切り替える処理、及び、車両形状データ全体又は障害物に近接している領域の透過処理を行う（Ｓ１８１１）。その後、Ｓ１８０５から処理を行う。なお、所定値は、例えば、車体による死角領域以内に障害物が入ったため、車両１に搭乗している運転者から見えなくなる距離を、所定値とすることが考えられるが、実施の態様に応じて適切な値が定められれば良い。

【0108】

一方、車両１と、車両１の進行方向に存在する障害物と、の距離が所定値以内ではないと判定した場合（Ｓ１８１０：Ｎｏ）、処理を終了する。

【0109】

本実施形態は、ユーザによって直接透過率を操作された場合に透過率を変更することに制限するものではなく、他の操作に応じて透過率を変更しても良い。そこで、縮小・拡大率に応じて、透過率を変更する場合について説明する。つまり、車両を拡大して表示したい場合には、車両１と地面との関係を確認したいものとして、透過率を低減させ、車両を縮小して表示したい場合には、車両１の周囲を確認したいものとして、透過率を上昇させる等が考えられる。

【0110】

本実施形態は、上述した処理を行うことで、車両１の周辺の物体と車両１との位置関係に応じて車両形状データの透過率の切り替えを行うことで、現在の状況に応じた、車両形状データと車両１の周辺との表示ができるため、利便性を向上させることができる。

【0111】

次に、本実施形態のＥＣＵ１４における第３の表示処理について説明する。図１９は、本実施形態のＥＣＵ１４における上述した処理の手順を示すフローチャートである。

【0112】

図１９に示されるフローチャートにおいて、Ｓ１９０１〜Ｓ１９０７までの処理は、図１７に示されるフローチャートのＳ１７０１〜Ｓ１７０７までの処理と同様として、説明を省略する。

【0113】

次に、判定部４０２は、視点画像データが表示された後、操作取得部４１２が取得した操作データに基づいて、ユーザからの縮小・拡大操作（換言すれば、視点を車両形状データに近づけさせる又は遠ざける操作）がなされたか否かを判定する（Ｓ１９０８）。

【0114】

縮小・拡大操作がなされたと判定した場合（Ｓ１９０８：Ｙｅｓ）、透過率処理部４０３は、車両形状データに対して、縮小・拡大率に対応した透過率に切り替え処理、及び車両形状データの透過処理を行う（Ｓ１９０９）。縮小・拡大率と、透過率と、の対応関係は予め設定されているものとする。その後、Ｓ１９０５から処理を行う。

【0115】

その後、Ｓ１９０６において、視点画像データを生成する際に、縮小・拡大部４２２が、縮小・拡大率に応じた注視点及び視点の位置を設定する。そして、視点画像生成部４０５は設定された注視点及び視点に基づいた、視点画像データを生成する。

【0116】

また、拡大処理が行われる場合に、視点画像生成部４０５は、拡大率に従って、注視点が予め定められた位置まで移動するような処理を行っても良い。つまり、ユーザが拡大操作を行う場合には、注視点の位置まで設定するのが難しい場合がある。さらには、拡大操作を行う場合には、車両と地面との間の状況を見たいという要望が多い。そこで、本実施形態では、拡大操作が行われる場合に、拡大処理に従って、車輪と地面との接地点まで注視点が移動するよう制御を行うこととした。これにより、ユーザが確認したい場所を表示するまでの操作を容易にできる。

【0117】

一方、Ｓ１９０８において、縮小・拡大操作がなされなかったと判定した場合（Ｓ１９０８：Ｎｏ）、処理を終了する。

【0118】

このように、本実施形態の表示処理部４０６は、操作データに基づいて拡大表示をする場合に、拡大する操作の前の透過率から、高い透過率に切り替えられた車両形状データが重畳された視点画像データを表示する。一方、表示処理部４０６は、操作データに基づいて縮小表示をする場合に、縮小する操作の前の透過率から、低い透過率に切り替えられた車両形状データが重畳された視点画像データを表示する。

【0119】

なお、本実施形態は、透過率の切り替えの一例を示したものであって、表示処理部４０６は、拡大表示又は縮小表示をする場合に、拡大する操作の前又は縮小する操作の前における車両形状データの透過率から、異なる透過率に切り替えられた車両形状データが重畳された視点画像データを表示できれば良い。

【0120】

本実施形態は、上述した処理を行うことで、運転者による拡大操作又は縮小操作に応じて透過率の切り替えを行うことで、運転者の操作に対応した、車両形状データと車両の周辺との表示ができるため、利便性を向上させることができる。

【0121】

上述した実施形態では、図２０に示されるように、車輪と地面の接地点を基準位置として、当該基準位置から垂直方向の距離を、車両１の高さとした例について説明した。例えば、基準位置からの高さＴ３（車輪やバンパーより高い位置とする）以上を、透過率８０％とし、それ以下を透過率０％と設定した場合には、高さＴ３以上に対応する車両形状データの上部領域が透過率８０％となる一方で、車輪やバンパー等は、視認できるように表示される。

【0122】

また、本実施形態においては、例えば、判定部４０２が、撮像部１５により撮像された撮像画像データが異常と判定した場合には、透過率処理部４０３に対して、透過処理を行わないように指示しても良い。

【0123】

（変形例１）
図２１は、車両１が存在している水平面を基準とし、水平面からの垂直方向の距離を、車両の高さとする例を示した図である。図２１に示される例では、検出取得部４１３は、加速度センサ２６から取得した加速度情報に基づいて、車両１の傾きを検出する。そして透過率処理部４０３が、車両１の傾きに基づいて、車両１が接地している水平面の位置を推測する。そして、透過率処理部４０３が、水平面からの高さに基づいて、車両形状データの透過処理を行う。水平面から高さＴ３から透過率８０％と設定した場合には、図２１に示される例において、車両１が岩に乗り上げた状況では、車輪やバンパーを含んだ車両形状データの前方領域が、透過率８０％となる。

【0124】

図２２は、変形例の表示処理部４０６が表示する表示画面を例示した図である。図２２に示される例では、水平面から高さＴ３から透過率８０％と設定した際に、車両１が岩に乗り上げた時に、車輪やバンパーを含んだ車両形状データの前方領域がほぼ透過された例とする。

【0125】

図２２に示されるように、車両１が岩に乗り上げた場合には、車輪やバンパーを含んだ車両形状データ２２０１の前方領域がほぼ透過されているため、地面の状況を容易に認識できる。

【0126】

（変形例２）
上述した実施形態及び変形例においては、現在の状況を表示する際の処理について説明した。しかしながら、実施形態及び変形例は、現在の状況を表示する例に制限するものではない。例えば、ユーザの操作に基づいて、表示処理部４０６が、車両１の過去の状況を表した画面を表示しても良い。その際に、画像合成部４０４が過去に合成した撮像画像データを用いると共に、透過率処理部４０３は、車両形状データの色を異ならせた上で、透過処理を行うこととする。なお、透過処理は、上述した実施形態と同様とする。車両形状データの色としては、例えばグレーやセピア色など、過去であることを表す色とする。これにより、ユーザは、過去の状況が表示されていることを確認できる。

【0127】

（変形例３）
変形例３では、拡大、縮小、又は回転時に透過処理を行う（透過率を高くする）例とする。変形例３においては、操作取得部４１２が、拡大、縮小又は回転を示す操作データを取得した場合に、判定部４０２が、運転者が、拡大、縮小、又は回転操作を行っていると判定している間、透過率処理部４０３は、拡大、縮小又は回転を示す操作を行う前の透過率より高い透過率（例えば完全透過）で透過処理を行うものとする。

【0128】

つまり、本変形例では、運転者が拡大、縮小又は回転する操作を行っている間（なお、車両形状データを動かしている操作を行っている間であればよい）、表示処理部４０６は、当該拡大、縮小又は回転操作前の透過率から高い透過率に切り替えられた車両形状データが重畳された視点画像データを表示する。この際に、上述した実施形態と同様に、拡大処理に従って、注視点を予め定められた位置まで移動するように処理を行っても良い。

【0129】

これにより、ユーザに対して、操作が行われていることを直感的に認識できると共に、車両１の周囲を確認して、より適切な表示を行うための操作性を実現できる。

【0130】

このように、変形例３の表示処理部４０６は、操作データに従って車両形状データを動かす（例えば、拡縮・回転などの操作による）表示を行う場合に、現在の透過率から高い透過率に切り替えられた車両形状データが重畳された視点画像データを表示する。

【0131】

（変形例４）
上述した実施形態及び変形例では、表示装置８に視点画像データを表示する例について説明した。しかしながら、上述した実施形態及び変形例は、表示装置８に表示する例に制限するものではない。そこで、本変形例では、ＨＵＤ（ヘッドアップディスプレイ）にも表示可能な例について説明する。本変形例４においては、視点画像データの表示先に応じて、透過率を変更する。

【0132】

例えば、操作取得部４１２が、表示先の切り替え等の操作データを取得した場合に、判定部４０２は、表示先が切り替えられたか否かの判定を行う。そして、透過率処理部４０３は、判定結果に基づいて、透過処理を行う。つまり、表示装置８とＨＵＤとではコントラストが異なるため、表示先に応じて、ユーザが見やすい透過率で透過処理を行う。なお、表示先毎の透過率は、表示装置８やＨＵＤの表示性能に応じて、適切な値が設定されるものとする。

【0133】

このように、変形例４の表示処理部４０６は、表示先に応じて透過率が切り替えられた車両形状データを重畳した視点画像データを表示することとした。これにより表示先に応じて透過率が切り替えられるため、視認が容易になる。

【0134】

上述した実施形態及び変形例においては、車両形状データの一部の領域を、他の領域と透過率を異ならせて表示することで、運転者は、一部の領域又は他の領域の状況を確認と、車両１の周辺の視認と、を両立することができる。このように、運転者は、車両１の状況の確認できるとともに、車両１の周辺の状況を容易に確認できる。

【0135】

上述した実施形態及び変形例においては、取得したデータに基づいて、車両形状データの透過率の切り替えを行うことで、現在の状況に応じた、車両形状データと車両１の周辺との表示ができるため、利便性を向上させることができる。

【0136】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0137】

１００…表示制御システム、４０１…取得部、４０２…判定部、４０３…透過率処理部、４０４…画像合成部、４０５…視点画像生成部、４０６…表示処理部、４１１…画像取得部、４１２…操作取得部、４１３…検出取得部、４２１…重畳部、４２２…縮小・拡大部、４５１…車両形状データ記憶部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】