特許第6962036号(P6962036)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アイシン精機株式会社の特許一覧

<>
  • 特許6962036-周辺監視装置 図000002
  • 特許6962036-周辺監視装置 図000003
  • 特許6962036-周辺監視装置 図000004
  • 特許6962036-周辺監視装置 図000005
  • 特許6962036-周辺監視装置 図000006
  • 特許6962036-周辺監視装置 図000007
  • 特許6962036-周辺監視装置 図000008
  • 特許6962036-周辺監視装置 図000009
  • 特許6962036-周辺監視装置 図000010
  • 特許6962036-周辺監視装置 図000011
  • 特許6962036-周辺監視装置 図000012
  • 特許6962036-周辺監視装置 図000013
  • 特許6962036-周辺監視装置 図000014
  • 特許6962036-周辺監視装置 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6962036
(24)【登録日】2021年10月18日
(45)【発行日】2021年11月5日
(54)【発明の名称】周辺監視装置
(51)【国際特許分類】
   B60R 1/00 20060101AFI20211025BHJP
   G08G 1/16 20060101ALI20211025BHJP
   H04N 7/18 20060101ALI20211025BHJP
【FI】
   B60R1/00 A
   G08G1/16 C
   H04N7/18 J
【請求項の数】7
【全頁数】16
(21)【出願番号】特願2017-133814(P2017-133814)
(22)【出願日】2017年7月7日
(65)【公開番号】特開2019-14398(P2019-14398A)
(43)【公開日】2019年1月31日
【審査請求日】2020年6月11日
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】渡邊 一矢
(72)【発明者】
【氏名】丸岡 哲也
【審査官】 秦野 孝一郎
(56)【参考文献】
【文献】 特開2016−21653(JP,A)
【文献】 特開2014−69629(JP,A)
【文献】 特開2010−114618(JP,A)
【文献】 特開2014−197818(JP,A)
【文献】 特開2017−65572(JP,A)
【文献】 特開2017−69739(JP,A)
【文献】 特開2017−69830(JP,A)
【文献】 特開2017−65552(JP,A)
【文献】 特開2014−197817(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60R 1/00
G08G 1/00−99/00
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
第1時刻の車両の第1位置における前記車両の周囲を前記車両が搭載する撮像部により撮像して得られる撮像画像が、前記第1位置を原点とする前記車両の周囲の三次元の面に貼り付けられたモデルと、前記第1時刻より後の第2時刻の前記車両の第2位置に設けられた三次元の車両画像と、を含む仮想空間内の注視点を、操作入力部を介して入力された仮想視点から見た表示用画像を生成する生成部と、
前記表示用画像を表示部に出力する出力部と、
を備える周辺監視装置。
【請求項2】
前記車両画像は、前記モデルを透視可能な画像である請求項1に記載の周辺監視装置。
【請求項3】
前記撮像画像は、前記第1位置における前記車両の周囲を1つの前記撮像部により撮像して得られる請求項1または2に記載の周辺監視装置。
【請求項4】
前記車両画像は、当該車両画像が含む車体の画像を介して、前記車両画像が含む車輪の画像の三次元の外形が視認可能な画像である請求項1から3のいずれか一に記載の周辺監視装置。
【請求項5】
前記生成部は、前記仮想空間内において前記車両画像を上方から見た場合における当該車両画像の輪郭線を、前記仮想空間に配置する請求項1から4のいずれか一に記載の周辺監視装置。
【請求項6】
前記生成部は、前記第2位置における前記車両の操舵量を取得し、当該取得した操舵量の分だけ回転させた前記車輪の画像を、前記車両画像に含める請求項4に記載の周辺監視装置。
【請求項7】
前記撮像画像は、前記第2位置における前記車両の床下に対応する画像を含む請求項1から6のいずれか一に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、周辺監視装置に関する。
【背景技術】
【0002】
車両の前方を過去に撮像して得られた画像上に、現在の車両または車輪を表す画像を重畳した画像である過去フロントカメラ画像を、車両の車内に設けられたモニタ装置に表示させることによって、車両の周囲(特に、車輪の周囲)の状況を可視化して、運転手による車両の進路の判断を支援する技術が開発されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2014/156220号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述の過去フロントカメラ画像には、現在の車両または車輪を表す画像として、車両または車輪の外形を平面的に表す線が重畳されているため、現在の車両または車輪と、当該現在の車両または車輪の周囲に存在する障害物との位置関係が把握し難い場合がある。
【課題を解決するための手段】
【0005】
実施形態の周辺監視装置は、一例として、第1時刻の車両の第1位置における車両の周囲を車両が搭載する撮像部により撮像して得られる撮像画像が、車両の周囲の三次元の面に貼り付けられたモデルと、第1時刻より後の第2時刻の車両の第2位置に設けられた三次元の車両画像と、を含む仮想空間内の注視点を、操作入力部を介して入力された仮想視点から見た表示用画像を生成する生成部と、表示用画像を表示部に出力する出力部と、を備える。よって、本実施形態の周辺監視装置によれば、一例として、車両と障害物との位置関係を把握し易くすることができる。
【0006】
また、実施形態の周辺監視装置は、一例として、車両画像は、モデルを透視可能な画像である。よって、本実施形態の周辺監視装置によれば、一例として、仮想空間における車両画像の床下の画像を透視可能となる。
【0007】
また、実施形態の周辺監視装置は、一例として、撮像画像は、第1位置における車両の周囲を1つの撮像部により撮像して得られる。よって、本実施形態の周辺監視装置によれば、一例として、車両とその周囲の障害物との位置関係をより確認し易くすることができる。
【0008】
また、実施形態の周辺監視装置は、一例として、車両画像は、当該車両画像が含む車体の画像を介して、車両画像が含む車輪の画像の三次元の外形が視認可能な画像である。よって、本実施形態の周辺監視装置は、一例として、車輪画像から、表示用画像内における車両画像と障害物との位置関係を容易に把握することができる。
【0009】
また、実施形態の周辺監視装置は、一例として、生成部は、仮想空間内において車両画像を上方から見た場合における当該車両画像の輪郭線を、仮想空間に配置する。よって、本実施形態の周辺監視装置は、一例として、車両と障害物との位置関係をより把握し易くすることができる。
【0010】
また、実施形態の周辺監視装置は、一例として、生成部は、第2位置における車両の操舵量を取得し、当該取得した操舵量の分だけ回転させた車輪の画像を、車両画像に含める。よって、本実施形態の周辺監視装置は、一例として、車両が現在の舵角で走行した場合に、車両が障害物を接触するか否かを容易に把握できる。
【0011】
また、実施形態の周辺監視装置は、一例として、撮像画像は、第2位置における車両の床下に対応する画像を含む。よって、本実施形態の周辺監視装置は、一例として、第2位置における車両の床下の状況を表示部を介して確認できる。
【図面の簡単な説明】
【0012】
図1図1は、第1の実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。
図2図2は、第1の実施形態にかかる車両の一例の平面図である。
図3図3は、第1の実施形態にかかる車両の機能構成の一例を示すブロック図である。
図4図4は、第1の実施形態にかかる車両が有するECUの機能構成の一例を示すブロック図である。
図5図5は、第1の実施形態にかかる車両による表示用画像の表示処理の流れの一例を示すフローチャートである。
図6図6は、第1の実施形態にかかる車両による表示用画像の生成に用いるカメラ画モデルの一例を説明するための図である。
図7図7は、第1の実施形態にかかる車両による表示用画像の生成に用いるカメラ画モデルの一例を説明するための図である。
図8図8は、第1の実施形態にかかる車両における表示用画像の生成に用いるカメラ画モデルおよび車両画像の一例を説明するための図である。
図9図9は、第1の実施形態にかかる車両における表示用画像の生成に用いるカメラ画モデルおよび車両画像の一例を説明するための図である。
図10図10は、第1の実施形態にかかる車両において生成される表示用画像の一例を示す図である。
図11図11は、第1の実施形態にかかる車両において生成される表示用画像の一例を示す図である。
図12図12は、第1の実施形態にかかる車両において生成される表示用画像の一例を示す図である。
図13図13は、第2の実施形態にかかる車両による仮想空間の生成処理の一例を説明するための図である。
図14図14は、第3の実施形態にかかる車両により生成する表示用画像の一例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも1つを得ることが可能である。
【0014】
本実施形態にかかる周辺監視装置(周辺監視システム)を搭載する車両は、内燃機関(エンジン)を駆動源とする自動車(内燃機関自動車)であっても良いし、電動機(モータ)を駆動源とする自動車(電気自動車、燃料電池自動車等)であっても良いし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置(システム、部品等)を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。
【0015】
(第1の実施形態)
図1は、第1の実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図1に示すように、車両1は、車体2と、操舵部4と、加速操作部5と、制動操作部6と、変速操作部7と、モニタ装置11と、を備える。車体2は、乗員が乗車する車室2aを有する。車室2a内には、乗員としての運転手が座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。操舵部4は、例えば、ダッシュボード24から突出したステアリングホイールである。加速操作部5は、例えば、運転手の足下に位置されたアクセルペダルである。制動操作部6は、例えば、運転手の足下に位置されたブレーキペダルである。変速操作部7は、例えば、センターコンソールから突出したシフトレバーである。
【0016】
モニタ装置11は、例えば、ダッシュボード24の車幅方向(すなわち、左右方向)の中央部に設けられる。モニタ装置11は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有していても良い。モニタ装置11は、表示装置8、音声出力装置9、および操作入力部10を有する。また、モニタ装置11は、スイッチ、ダイヤル、ジョイスティック、および押しボタン等の各種の操作入力部を有しても良い。
【0017】
表示装置8は、LCD(Liquid Crystal Display)やOELD(Organic Electroluminescent Display)等で構成され、画像データに基づいて各種画像を表示可能である。音声出力装置9は、スピーカ等で構成され、音声データに基づいて各種音声を出力する。音声出力装置9は、車室2a内において、モニタ装置11以外の異なる位置に設けられていても良い。
【0018】
操作入力部10は、タッチパネル等で構成され、乗員による各種情報の入力を可能とする。また、操作入力部10は、表示装置8の表示画面に設けられ、表示装置8に表示される画像を透過可能である。これにより、操作入力部10は、表示装置8の表示画面に表示される画像を乗員に視認させることを可能とする。操作入力部10は、表示装置8の表示画面上における乗員のタッチ操作を検出することによって、乗員による各種情報の入力を受け付ける。
【0019】
図2は、第1の実施形態にかかる車両の一例の平面図である。図1および図2に示すように、車両1は、四輪自動車等であり、左右2つの前輪3Fと、左右2つの後輪3Rと、を有する。4つの車輪3の全てまたは一部が、転舵可能である。
【0020】
車両1は、複数の撮像部15を搭載する。本実施形態では、車両1は、例えば、4つの撮像部15a〜15dを搭載する。撮像部15は、CCD(Charge Coupled Device)またはCIS(CMOS Image Sensor)等の撮像素子を有するデジタルカメラである。撮像部15は、所定のフレームレートで車両1の周囲を撮像可能である。そして、撮像部15は、車両1の周囲を撮像して得られた撮像画像を出力する。撮像部15は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、140°〜220°の範囲を撮像可能である。また、撮像部15の光軸は、斜め下方に向けて設定されている場合もある。
【0021】
具体的には、撮像部15aは、例えば、車体2の後側の端部2eに位置し、リアハッチのドア2hのリアウィンドウの下方の壁部に設けられている。そして、撮像部15aは、車両1の周囲のうち、当該車両1の後方の領域を撮像可能である。撮像部15bは、例えば、車体2の右側の端部2fに位置し、右側のドアミラー2gに設けられている。そして、撮像部15bは、車両1の周囲のうち、当該車両1の側方の領域を撮像可能である。撮像部15cは、例えば、車体2の前側、すなわち、車両1の前後方向の前方側の端部2cに位置し、フロントバンパやフロントグリル等に設けられている。そして、撮像部15cは、車両1の周囲のうち、当該車両1の前方の領域を撮像可能である。撮像部15dは、例えば、車体2の左側、すなわち、車幅方向の左側の端部2dに位置し、左側のドアミラー2gに設けられている。そして、撮像部15dは、車両1の周囲のうち、当該車両1の側方の領域を撮像可能である。
【0022】
図3は、第1の実施形態にかかる車両の機能構成の一例を示すブロック図である。図3に示すように、車両1は、操舵システム13と、ブレーキシステム18と、舵角センサ19と、アクセルセンサ20と、シフトセンサ21と、車輪速センサ22と、車内ネットワーク23と、ECU(Electronic Control Unit)14と、を備える。モニタ装置11、操舵システム13、ブレーキシステム18、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22、およびECU14は、電気通信回線である車内ネットワーク23を介して電気的に接続されている。車内ネットワーク23は、CAN(Controller Area Network)等により構成される。
【0023】
操舵システム13は、電動パワーステアリングシステムやSBW(Steer By Wire)システム等である。操舵システム13は、アクチュエータ13aおよびトルクセンサ13bを有する。そして、操舵システム13は、ECU14等によって電気的に制御され、アクチュエータ13aを動作させて、操舵部4に対して、トルクを付加して操舵力を補うことによって、車輪3を転舵する。トルクセンサ13bは、運転者が操舵部4に与えるトルクを検出し、その検出結果をECU14に送信する。
【0024】
ブレーキシステム18は、車両1のブレーキのロックを制御するABS(Anti-lock Brake System)、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:Electronic Stability Control)、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびBBW(Brake By Wire)を含む。ブレーキシステム18は、アクチュエータ18aおよびブレーキセンサ18bを有する。ブレーキシステム18は、ECU14等によって電気的に制御され、アクチュエータ18aを介して、車輪3に制動力を付与する。ブレーキシステム18は、左右の車輪3の回転差等から、ブレーキのロック、車輪3の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪3の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ18bは、制動操作部6の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をECU14に送信する。
【0025】
舵角センサ19は、ステアリングホイール等の操舵部4の操舵量を検出するセンサである。本実施形態では、舵角センサ19は、ホール素子等で構成され、操舵部4の回転部分の回転角度を操舵量として検出し、その検出結果をECU14に送信する。アクセルセンサ20は、加速操作部5の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をECU14に送信する。
【0026】
シフトセンサ21は、変速操作部7の可動部(バー、アーム、ボタン等)の位置を検出するセンサであり、その検出結果をECU14に送信する。車輪速センサ22は、ホール素子等を有し、車輪3の回転量や単位時間当たりの車輪3の回転数を検出するセンサであり、その検出結果をECU14に送信する。
【0027】
ECU14は、撮像部15により車両1の周囲を撮像して得られる撮像画像に基づいて、仮想視点から、車両1の周囲の注視点を見た画像を生成し、当該生成した画像を表示装置8に表示させる。ECU14は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両1の制御全般を司る。具体的には、ECU14は、CPU(Central Processing Unit)14a、ROM(Read Only Memory)14b、RAM(Random Access Memory)14c、表示制御部14d、音声制御部14e、およびSSD(Solid State Drive)14fを備える。CPU14a、ROM14b、およびRAM14cは、同一の回路基板内に設けられていても良い。
【0028】
CPU14aは、ROM14b等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムに従って各種の演算処理を実行する。例えば、CPU14aは、表示装置8に表示させる画像データに対する画像処理、車両1の周囲に存在する障害物までの距離の算出等を実行する。
【0029】
ROM14bは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。RAM14cは、CPU14aでの演算で用いられる各種データを一時的に記憶する。表示制御部14dは、ECU14での演算処理のうち、主として、撮像部15から取得してCPU14aへ出力する画像データに対する画像処理、CPU14aから取得した画像データを表示装置8に表示させる表示用の画像データへの変換等を実行する。音声制御部14eは、ECU14での演算処理のうち、主として、CPU14aから取得して音声出力装置9に出力させる音声の処理を実行する。SSD14fは、書き換え可能な不揮発性の記憶部であって、ECU14の電源がオフされた場合にあってもCPU14aから取得したデータを記憶し続ける。
【0030】
図4は、第1の実施形態にかかる車両が有するECUの機能構成の一例を示すブロック図である。図4に示すように、ECU14は、表示用画像生成部401および表示用画像出力部402を備える。例えば、回路基板に搭載されたCPU14a等のプロセッサが、ROM14bまたはSSD14f等の記憶媒体内に格納された周辺監視用のプログラムを実行することにより、ECU14は、表示用画像生成部401および表示用画像出力部402の機能を実現する。表示用画像生成部401および表示用画像出力部402の一部または全部を回路等のハードウェアによって構成しても良い。
【0031】
表示用画像生成部401は、撮像部15から、ある時刻(以下、過去時刻と言う)の車両1の位置(以下、過去位置と言う)における当該車両1の周囲を撮像部15によって撮像して得られる撮像画像を取得する。次いで、表示用画像生成部401は、取得した撮像画像に基づいて、車両1と当該車両1の周囲に存在する障害物との位置関係を視認可能とする表示用画像を生成する。
【0032】
具体的には、表示用画像生成部401は、取得した撮像画像に基づいて、車両1の周囲の仮想空間内の注視点を、操作入力部10を介して入力された仮想視点から見た画像を表示用画像として生成する。ここで、仮想空間は、過去位置における車両1の周囲の空間であり、かつ当該空間内における、過去時刻より後の時刻(例えば、現在時刻)の車両1の位置(例えば、現在位置)に対して、車両画像を設けた空間である。車両画像は、三次元の車両1の画像である。本実施形態では、車両画像は、過去位置における車両1の周囲の空間を透視可能な三次元の車両1の画像である。これにより、仮想空間における車両画像の床下の画像を透視することが可能となる。本実施形態では、車両画像を、仮想空間を透視可能な画像としているが、これに限定するものではなく、車両画像を、不透明な画像(すなわち、仮想空間を透視できない画像)としても良い。
【0033】
本実施形態では、表示用画像生成部401は、取得した撮像画像を、過去位置における車両1の周囲の三次元の面(以下、カメラ画モデルと言う)に対して貼り付け、当該カメラ画モデルを含む空間を、過去位置における車両1の周囲の空間として生成する。本実施形態では、表示用画像生成部401は、取得した撮像画像を、過去位置における車両1の周囲のカメラ画モデルに対して貼り付けているが、取得した撮像画像を、車両1の周囲のカメラ画モデルに貼り付けるものであれば良く、例えば、取得した撮像画像を、現在位置における車両1の周囲のカメラ画モデルに貼り付けても良い。次いで、表示用画像生成部401は、生成した空間内の車両1の現在位置に対して、車両画像を配置した空間を仮想空間として生成する。その後、表示用画像生成部401は、生成した仮想空間内の注視点を、操作入力部10を介して入力された仮想視点から見た画像を表示用画像として生成する。
【0034】
また、本実施形態では、表示用画像生成部401は、操作入力部10を介して新たな仮想視点が入力される度に、仮想空間内の注視点を新たな仮想視点から見た表示用画像を生成し直す。表示用画像出力部402は、表示用画像生成部401により生成される表示用画像を、表示装置8に出力する。これにより、表示用画像に含まれる障害物の画像を立体的な車両画像と同時に視認できるので、車両1と障害物との位置関係を把握し易くすることができる。
【0035】
次に、図5を用いて、本実施形態にかかる車両1による表示用画像の表示処理の流れの一例について説明する。図5は、第1の実施形態にかかる車両による表示用画像の表示処理の流れの一例を示すフローチャートである。
【0036】
本実施形態では、表示用画像生成部401は、表示用画像の表示を指示する表示指示を取得する(ステップS501)。表示指示を取得した場合(ステップS502:Yes)、表示用画像生成部401は、過去位置における車両1の周囲を撮像部15により撮像して得られる撮像画像を取得する(ステップS503)。例えば、表示用画像生成部401は、現在時刻より予め設定された時間(例えば、数秒)前の過去時刻の車両1の過去位置(若しくは、車両1の現在位置よりも予め設定された距離(例えば、2m)手前の過去位置)において車両1の周囲を撮像部15により撮像して得られた撮像画像を取得する。また、本実施形態では、表示用画像生成部401は、現在位置における車両1の床下に対応する画像を含む撮像画像を取得する。これにより、現在位置における車両1の床下の画像を含む表示用画像が生成可能となるので、現在位置における車両1の床下の状況を表示装置8を介して確認できる。
【0037】
次に、表示用画像生成部401は、取得した撮像画像に基づいて、仮想空間内の注視点を、操作入力部10を介して入力された仮想視点から見た表示用画像を生成する(ステップS504)。本実施形態では、表示用画像生成部401は、1つの撮像部15により過去位置における車両1の周囲を撮像して得られる撮像画像をカメラ画モデルに貼り付ける。そして、表示用画像生成部401は、当該カメラ画モデルを含む空間を、仮想空間とする。これにより、複数の撮像部15により車両1の周囲を撮像して得られる複数の撮像画像をカメラ画モデルに貼り付ける場合とは異なり、カメラ画モデルに貼り付ける撮像画像につなぎ目が生じることを防止できるので、車両1とその周囲の障害物との位置関係をより確認し易くすることができる。なお、本実施形態では、表示用画像生成部401は、1つの撮像部15の撮像画像に基づいて表示用画像を生成しているが、複数の撮像部15の撮像画像に基づいて表示用画像を生成しても良い。
【0038】
表示用画像出力部402は、表示用画像生成部401により生成された表示用画像を表示装置8に出力して、表示装置8に対して表示用画像を表示させる(ステップS505)。その後、表示用画像生成部401は、表示用画像の表示終了を指示する終了指示を取得する(ステップS506)。終了指示が取得された場合(ステップS507:Yes)、表示用画像出力部402は、表示装置8に対する表示用画像の出力を停止して、表示装置8に対する表示用画像の表示を終了させる(ステップS508)。
【0039】
一方、終了指示が取得されなかった場合(ステップS507:No)、表示用画像生成部401は、操作入力部10を介して、新たな仮想視点が入力されたか否かを判断する(ステップS509)。新たな仮想視点が入力されずに、予め設定された時間が経過した場合(ステップS509:No)、表示用画像出力部402は、表示装置8に対する表示用画像の出力を停止して、表示装置8に対する表示用画像の表示を終了させる(ステップS508)。新たな仮想視点が入力された場合(ステップS509:Yes)、表示用画像生成部401は、ステップS504に戻り、仮想空間内における注視点を新たな仮想視点から見た表示用画像を生成し直す。
【0040】
次に、図6〜9を用いて、本実施形態にかかる車両1による表示用画像の生成処理の一例について説明する。図6および図7は、第1の実施形態にかかる車両による表示用画像の生成に用いるカメラ画モデルの一例を説明するための図である。図6および図7において、車両1のタイヤの接地面(路面)と平行な1つの方向をZ方向とし、車両1のタイヤの接地面と平行かつZ方向と直交する方向をX方向とし、接地面に対して垂直な方向をY方向とする。図8および図9は、第1の実施形態にかかる車両における表示用画像の生成に用いるカメラ画モデルおよび車両画像の一例を説明するための図である。
【0041】
本実施形態では、表示用画像生成部401は、図6および図7に示すように、第1面S1と第2面S2とを含むカメラ画モデルSを予め生成する。本実施形態では、第1面S1は、車両1が存在する路面に対応する平坦な面である。例えば、第1面S1は、楕円形の平坦な面である。第2面S2は、第1面S1を基準として、第1面S1の外側(外縁)に連続して設けられ、かつ当該第1面S1から離れるに従ってY方向に徐々に立ち上がる曲面である。例えば、第2面S2は、第1面S1の外側から、Y方向に楕円状または放物線状に立ち上がる曲面である。すなわち、表示用画像生成部401は、お椀型または円筒状の三次元の面をカメラ画モデルSとして生成する。
【0042】
本実施形態では、表示用画像生成部401は、平坦な第1面S1と、曲面の第2面S2と、を有する三次元の貼付面をカメラ画モデルSとして生成しているが、三次元の貼付面をカメラ画モデルSとして生成するものであれば、これに限定するものではない。例えば、表示用画像生成部401は、平坦な第1面S1と、当該第1面S1の外側から当該第1面S1に対して垂直または徐々に立ち上がる平坦な面の第2面S2と、を有する三次元の貼付面をカメラ画モデルSとして生成しても良い。
【0043】
次に、表示用画像生成部401は、過去位置P1において車両1の周囲を撮像部15によって撮像して得られた撮像画像を、カメラ画モデルSに対して貼り付ける。本実施形態では、表示用画像生成部401は、過去位置P1を原点するワールド座標系で表されるカメラ画モデルS内の点(以下、貼付点と言う)の座標(以下、三次元座標と言う)と、当該三次元座標の貼付点に貼り付ける、撮像画像内の点(以下、カメラ画点と言う)の座標(以下、カメラ画座標と言う)と、を対応付ける座標テーブルを予め作成する。そして、表示用画像生成部401は、撮像画像内のカメラ画点を、座標テーブルにおいて当該カメラ画点のカメラ画座標と対応付けられる三次元座標の貼付点に貼り付ける。本実施形態では、表示用画像生成部401は、車両1の内燃機関または電動機がスタートされる度に、当該座標テーブルを作成する。
【0044】
その後、表示用画像生成部401は、撮像画像を貼り付けたカメラ画モデルSを、過去位置P1における車両1の周囲の空間に配置する。さらに、表示用画像生成部401は、図8および図9に示すように、当該空間内における車両1の現在位置P2に対して、車両画像CGを配置した空間を仮想空間Aとして生成する。仮想空間Aを生成すると、表示用画像生成部401は、図6に示すように、当該仮想空間Aにおいて車両1の現在位置P2に設けられた車両画像CGの前端から、第1面S1に対して垂直に下した点を注視点P3に設定する。次いで、表示用画像生成部401は、図6図8、および図9に示すように、操作入力部10から入力された仮想視点P4から注視点P3を見た表示用画像を生成する。これにより、表示用画像に含まれる障害物の画像を立体的な車両画像CGと同時に視認できるので、車両1と障害物との位置関係を把握し易くすることができる。
【0045】
また、本実施形態では、表示用画像生成部401は、図8および図9に示すように、カメラ画モデルSに貼り付けた撮像画像が車両画像CGを介して透視できるように、車両画像CGの透過度を調整した上で、当該車両画像CGを、仮想空間Aに対して配置する。その際、表示用画像生成部401は、車両画像CGが含む車体の画像を介して、三次元の外形が視認可能な表示態様の車輪の画像TG(以下、車輪画像と言う)を、車両画像CGに含める。例えば、表示用画像生成部401は、車両画像CG内の車輪画像TG以外の部分(例えば、車体の画像)の透過度を、車輪画像TGの透過度より高くする。これにより、図8および図9に示すように、表示用画像に含まれる車輪画像TGが、車両画像CG内の車輪画像TG以外の部分によって視認できなくなることを防止できるので、車輪画像TGから、表示用画像内における車両画像CGと障害物との位置関係を容易に把握することができる。
【0046】
また、本実施形態では、表示用画像生成部401は、舵角センサ19から、現在位置P2における車両1の操舵量を取得する。そして、表示用画像生成部401は、図8および図9に示すように、取得した操舵量に応じた舵角の分だけ回転させた車輪画像TGを含む車両画像CGを含む空間を仮想空間Aとして生成する。これにより、表示用画像に含まれる車輪画像TGから、車両1の車輪の舵角を確認できるので、車両1が現在の舵角で走行した場合に、車両1が障害物に接触するか否かを容易に把握できる。また、表示用画像生成部401は、車輪画像TGの透過度を、仮想空間A内において、当該車輪画像TGが存在する位置の路面の画像が視認可能な透過度としても良い。これにより、車両1の車輪によって踏んでいる路面の状態を把握することができる。
【0047】
また、本実施形態では、表示用画像生成部401は、車輪速センサ22から、車輪3の回転数を取得し、取得した回転数に応じて、車輪画像TGを回転させても良い。これにより、表示用画像内において、車輪画像TGが回転しながら、車両画像CGが移動するので、表示用画像内において、車輪画像TGが回転することなく、車両画像CGが動いている様子に対して、車両1の乗員が違和感を覚えることを防止できる。
【0048】
また、本実施形態では、表示用画像生成部401は、図8および図9に示すように、車両1の三次元の画像を面で表した画像を車両画像CGとして仮想空間Aに設けているが、車両1の三次元の形状を視認可能な画像を車両画像CGとして仮想空間Aに設けるものであれば良い。例えば、表示用画像生成部401は、車両1の三次元の形状を輪郭線で表したワイヤーフレームモデルを車両画像CGとして仮想空間Aに設けても良い。これにより、車輪画像TGが、車両画像CG内の車輪画像TG以外の部分によって視認できなくなることを防止できるので、車輪画像TGから、表示用画像内における車両画像CGと障害物との位置関係を容易に把握することができる。
【0049】
また、過去位置P1における車両1の周囲(例えば、車両1の前方)を広角のカメラ(例えば、画角が180°のカメラ)により撮像して得られる撮像画像が貼り付けられたカメラ画モデルSを含む仮想空間Aの画像をそのまま表示装置8に表示させた場合、撮像画像に含まれる車両1の画像(例えば、車両1のフロントバンパの画像)が表示用画像に映り込んでしまい、車両1の乗員が、違和感を覚えることがある。これに対して、本実施形態では、表示用画像生成部401は、車両1の過去位置P1から、車両1の外側に向かって、隙間を空けて、カメラ画モデルSを設けることにより、撮像画像に含まれる車両1の画像が表示用画像に映り込むことを防止できるので、車両1の乗員が違和感を覚えることを防止できる。
【0050】
次に、図10〜12を用いて、本実施形態にかかる車両1において生成される表示用画像の一例について説明する。図10〜12は、第1の実施形態にかかる車両において生成される表示用画像の一例を示す図である。
【0051】
表示用画像出力部402は、図10に示すように、表示用画像生成部401により生成された表示用画像Gを表示装置8に出力して、表示装置8に対して表示用画像Gを表示させる。その後、図10に示す表示用画像Gが表示された表示装置8の表示画面上において車両1の乗員がフリック等を行って、車両画像CGの車幅方向において当該車両画像CGの中央から右方向への仮想視点P4の移動が指示された場合、表示用画像生成部401は、図11に示すように、車両画像CGの車幅方向において当該車両画像CGの中央から右側に移動させた仮想視点P4から、注視点P3を見た画像を表示用画像Gとして生成する。本実施形態では、表示用画像生成部401は、図10および図11に示すように、表示用画像G内における注視点P3の位置が、当該表示用画像G内の中心に位置するように、表示用画像Gを生成する。
【0052】
一方、表示装置8の表示画面上において車両1の乗員がフリックを行って、車両画像CGの車幅方向において当該車両画像CGの中央から左方向への仮想視点P4の移動が指示された場合、表示用画像生成部401は、図12に示すように、車両画像CGの車幅方向において当該車両画像CGの中央から左側に移動させた仮想視点P4から、注視点P3を見た画像を表示用画像Gとして生成する。これにより、車両画像CGと障害物との位置関係を様々な角度から見た表示用画像Gを表示できるので、車両1と障害物との位置関係をより把握し易くすることができる。
【0053】
このように、第1の実施形態にかかる車両1によれば、表示用画像に含まれる障害物の画像を立体的な車両画像と同時に視認できるので、車両1と障害物との位置関係を把握し易くすることができる。
【0054】
(第2の実施形態)
本実施形態は、車両の現在位置を原点とするワールド座標系で表されるカメラ画モデルに対して、過去位置において車両の周囲を撮像して得られる撮像画像を貼り付ける例である。以下の説明では、第1の実施形態と同様の構成については説明を省略する。
【0055】
図13は、第2の実施形態にかかる車両による仮想空間の生成処理の一例を説明するための図である。図13において、車両1のタイヤの接地面(路面)と平行な1つの方向をZ方向とし、車両1のタイヤの接地面と平行かつZ方向と直交する方向をX方向とし、接地面に対して垂直な方向をY方向とする。表示用画像生成部401は、図13に示すように、第1の実施形態と同様に、第1面S1と第2面S2とを含むカメラ画モデルSを予め生成する。
【0056】
また、表示用画像生成部401は、過去位置P1と、当該過去位置P1における車両1の進行方向(方位)と、を取得する。次いで、表示用画像生成部401は、過去位置P1における車両1の進行方向(方位)と現在位置P2における車両1の進行方向(方位)との差分である方位差と、過去位置P1と現在位置P2との差分である自車位置差とを求める。さらに、表示用画像生成部401は、図13に示すように、求めた方位差および自車位置差に基づいて、現在位置P2を原点とするワールド座標系で表されるカメラ画モデルS内の各三次元座標(X1,Y1,Z1)について、回転や平行移動を行って、当該三次元座標(X1,Y1,Z1)を、過去位置P1を原点とするワールド座標系における三次元座標(X2,Y2,Z2)に変換する。
【0057】
さらに、表示用画像生成部401は、図13に示すように、過去位置P1を原点とするワールド座標系で表される三次元座標(X2,Y2,Z2)を投影変換して、当該三次元座標(X2,Y2,Z2)に貼り付けるカメラ画点のカメラ画座標(U,V)を求める。そして、表示用画像生成部401は、求めたカメラ画座標(U,V)のカメラ画点を、現在位置P2を原点とするワールド座標系で表される三次元座標(X1,Y1,Z1)の貼付点に貼り付ける。これにより、表示用画像生成部401は、車両1の現在位置P2を原点とするワールド座標系で表されるカメラ画モデルSに対して、過去位置P1において車両1の周囲を撮像して得られる撮像画像を貼り付ける。
【0058】
このように、第2の実施形態にかかる車両1によれば、第1の実施形態と同様の作用効果を得ることができる。
【0059】
(第3の実施形態)
本実施形態は、仮想空間内において車両画像を上方から見た場合における当該車両画像の輪郭線を当該仮想空間に配置する例である。以下の説明では、第1の実施形態と同様の構成については説明を省略する。
【0060】
図14は、第3の実施形態にかかる車両により生成する表示用画像の一例を示す図である。本実施形態では、表示用画像生成部401は、仮想空間内の車両画像を当該車両画像の上方から見た場合における当該車両画像の輪郭線L1(例えば、破線)を仮想空間に配置する。具体的には、表示用画像生成部401は、車両画像をカメラ画モデルSの第1面S1に投影した画像の輪郭を輪郭線L1として求める。そして、表示用画像生成部401は、求めた輪郭線L1を第1面S1に配置する。これにより、図14に示すように、表示用画像G内にも輪郭線L1を含めることが可能となり、表示用画像Gに含まれる障害物の画像を平面的な車両画像CGの位置と同時に視認できるので、車両1と障害物との位置関係をより把握し易くすることができる。
【0061】
また、本実施形態では、表示用画像生成部401は、車両1の周囲に存在する路面と、車体2と、の距離を検出可能なステレオカメラを撮像部15として有する場合、当該ステレオカメラにより検出された距離に基づいて、現在時刻より後の時刻までに車輪3が通る軌跡線L2(以下、予想軌跡線と言う)を求める。そして、表示用画像生成部401は、図14に示すように、表示用画像Gのうち、路面の画像RG(以下、路面画像と言う)に対して、求めた予想軌跡線L2を重畳しても良い。これにより、車両1が走行する路面の路面状況を視認できるので、車両1の周囲の環境をより把握し易くすることができる。本実施形態では、ステレオカメラによって、車両1の周囲に存在する路面と、車体2と、の距離を検出することとしたが、これに限定するものではなく、例えば、レーザレーダ等によって、車両1の周囲に存在する路面と、車体2と、の距離を検出しても良い。
【0062】
また、本実施形態では、表示用画像生成部401は、予想軌跡線L2を表示用画像Gに重畳しているが、車両1の周囲に存在する路面の凹凸を視認可能とする画像を表示用画像Gに含めるものであれば良い。例えば、表示用画像生成部401は、ステレオカメラやレーザレーダ等により検出される、車両1の周囲に存在する路面と、車体2と、の距離に応じて、車両1の周囲に存在する路面の凹凸を視認可能とするハッチング(例えば、半透明のハッチング)を表示用画像Gに重畳したり、表示用画像G内の路面画像RGの陰影を強調したりしても良い。または、表示用画像生成部401は、カメラ画モデルSの第1面S1に対して、車両1の周囲に存在する路面の凹凸に対応する凹凸を設けても良い。
【0063】
さらに、本実施形態では、表示用画像生成部401は、サスペンションに設けられたストロークセンサによって、車両1が有するサスペンションのストロークを検出する。そして、表示用画像生成部401は、検出したストロークを視認可能とする車両画像を仮想空間に配置しても良い。これにより、車両1が走行する路面の路面状況を視認できるので、車両1の周囲の環境をより把握し易くすることができる。
【0064】
具体的には、表示用画像生成部401は、検出したストロークに応じて、仮想空間内における、車両画像が含む車体の画像と車輪画像との間の距離を変化させる。例えば、表示用画像生成部401は、車両1の車輪3が路面の凹部に位置して、検出したストロークが予め設定されたストロークより長い場合には、車両画像が含む車体の画像と車輪画像との間の距離を予め設定された距離より長くする。これにより、図14に示すように、車両1の車輪3が路面の凹部に位置する場合には、車両画像CGが含む車体の画像と、車輪画像TG(実線で示す車輪画像TG)との間の距離を長くして、車輪3が凹部に位置することを表すことができるので、車両1の周囲の環境をより把握し易くすることができる。
【0065】
一方、表示用画像生成部401は、車両1の車輪が路面の凸部に位置して、検出したストロークが予め設定されたストロークより短い場合には、車両画像が含む車体の画像と車輪画像との間の距離を予め設定された距離より短くする。これにより、図14に示すように、車両1の車輪3が路面の凸部に位置する場合には、車両画像CGが含む車体の画像と、車輪画像TG(破線で示す車輪画像TG)との間の距離を短くして、車輪3が凸部に位置することを表すことができるので、車両1の周囲の環境をより把握し易くすることができる。
【0066】
このように、第3の実施形態にかかる車両1によれば、表示用画像Gに含まれる障害物の画像を平面的に表された車両画像の位置と同時に視認できるので、車両1と障害物との位置関係をより把握し易くすることができる。
【符号の説明】
【0067】
1…車両、8…表示装置、14…ECU、15…撮像部、14a…CPU、14b…ROM、14c…RAM、14d…表示制御部、14f…SSD、401…表示用画像生成部、402…表示用画像出力部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14