(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024143194
(43)【公開日】2024-10-11
(54)【発明の名称】周辺表示装置
(51)【国際特許分類】
H04N 7/18 20060101AFI20241003BHJP
G08G 1/16 20060101ALI20241003BHJP
B60R 1/20 20220101ALI20241003BHJP
【FI】
H04N7/18 J
G08G1/16 C
B60R1/20 100
【審査請求】未請求
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2023055734
(22)【出願日】2023-03-30
(71)【出願人】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】渡邊 一矢
【テーマコード(参考)】
5C054
5H181
【Fターム(参考)】
5C054CA04
5C054CC02
5C054FC12
5C054FD03
5C054FE09
5C054FE13
5C054FE14
5C054FE16
5C054FE18
5C054HA30
5H181AA01
5H181BB04
5H181BB13
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF25
5H181FF27
5H181FF33
5H181FF35
5H181LL02
5H181LL07
5H181LL08
5H181LL17
(57)【要約】
【課題】周辺画像とガイド線の両方の視認性が良好であり、車幅や障害物までの距離を把握し易い画像を表示できる周辺表示装置を提供する。
【解決手段】実施形態の周辺表示装置は、移動体の周辺の状況を示す周辺画像にガイド線を重畳させた表示画像を表示装置に表示させる表示処理部と、ガイド線によって特定される領域内に障害物があることを検知する検知部と、検知部によって領域内に障害物があることが検知された場合、ガイド線の顕著性が低下するように、ガイド線の表示態様を変更する変更部と、を有する。
【選択図】
図8
【特許請求の範囲】
【請求項1】
移動体の周辺の状況を示す周辺画像にガイド線を重畳させた表示画像を表示装置に表示させる表示処理部と、
前記ガイド線によって特定される領域内に障害物があることを検知する検知部と、
前記検知部によって前記領域内に障害物があることが検知された場合、前記ガイド線の顕著性が低下するように、前記ガイド線の表示態様を変更する変更部と、
を有する周辺表示装置。
【請求項2】
前記変更部は、前記ガイド線の透過率を大きくする
請求項1に記載の表示装置。
【請求項3】
前記変更部は、前記ガイド線の表示態様を変更した後、所定時間にわたって、前記検知部によって前記領域内に前記障害物があることが検知されなかった場合、前記ガイド線の表示態様を変更前の状態に戻す
請求項1に記載の表示装置。
【請求項4】
前記表示処理部は、
前記移動体の向きに平行な線分、及び前記移動体の向きに垂直な線分を組み合わせた形状の前記ガイド線を表示させる
請求項1に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、周辺表示装置に関する。
【背景技術】
【0002】
車両の走行を支援するためのシステムにおいて、車両の前方及び後方の画像にガイド線を表示させる技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のようなシステムでは、検知された障害物と車両との間の距離に応じて、ガイド線の一部の色を変化させる場合がある。しかしながら、従来技術では、ガイド線の表示態様が変化することにより、周辺画像又はガイド線の視認性が損なわれたり、車幅や障害物までの距離が分かりにくくなったりする可能性がある。
【0005】
そこで、本発明の実施形態の課題の一つは、周辺画像とガイド線の両方の視認性が良好であり、車幅や障害物までの距離を把握し易い画像を表示できる周辺表示装置を提供することである。
【課題を解決するための手段】
【0006】
本発明の一実施形態としての周辺表示装置は、移動体の周辺の状況を示す周辺画像にガイド線を重畳させた表示画像を表示装置に表示させる表示処理部と、ガイド線によって特定される領域内に障害物があることを検知する検知部と、検知部によって領域内に障害物があることが検知された場合、ガイド線の顕著性が低下するように、ガイド線の表示態様を変更する変更部と、を有する。例えば、変更部は、ガイド線の透過率を大きくする。
【0007】
これにより、特にガイド線と周辺画像の障害物が重なり合う場合において、周辺画像とガイド線の両方の視認性が良好であり、車幅や障害物までの距離を把握し易い画像を表示できる。
【0008】
また、上記構成において、変更部は、ガイド線の表示態様を変更した後、所定時間にわたって、検知部によって領域内に障害物があることが検知されなかった場合、ガイド線の表示態様を変更前の状態に戻す。
【0009】
これにより、ガイド線が障害物と重なり合っていない期間は、ガイド線を目立たせることができる。
【0010】
また、上記構成において、表示処理部は、移動体の向きに平行な線分、及び移動体の向きに垂直な線分を組み合わせた形状のガイド線を表示させる。また、上記構成において、変更部は、ガイド線の形状を維持したまま表示態様を変更する。
【0011】
これにより、形状が変化しない固定されたガイド線としての機能を維持しつつ、表示態様を変更し、視認性を向上させることができる。
【図面の簡単な説明】
【0012】
【
図1】
図1は、実施形態の車両の構成の一例を示す斜視図である。
【
図2】
図2は、実施形態の車両の構成の一例を示す上面図である。
【
図3】
図3は、実施形態の車両のシステム構成の一例を示すブロック図である。
【
図4】
図4は、実施形態の周辺表示装置の機能構成の一例を示すブロック図である。
【
図5】
図5は、実施形態の障害物を検知する処理を説明するための図である。
【
図6】
図6は、実施形態の障害物を検知する処理を説明するための図である。
【
図7】
図7は、実施形態の表示画像の一例を示す図である。
【
図8】
図8は、実施形態の表示画像の一例を示す図である。
【
図9】
図9は、実施形態の表示画像の一例を示す図である。
【
図10】
図10は、実施形態の基準点の決定方法を説明するための図である。
【
図11】
図11は、実施形態の基準点の決定方法を説明するための図である。
【
図12】
図12は、実施形態の周辺表示装置における処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、並びに当該構成によってもたらされる作用、結果及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも1つを得ることが可能である。
【0014】
図1は、実施形態の車両1の構成の一例を示す斜視図である。
図2は、実施形態の車両1の構成の一例を示す上面図である。
【0015】
図1に示されるように、移動体の一例としての車両1は、ユーザとしての運転者を含む乗員が乗車する車室2aを有している。車室2a内には、ユーザが座席2bから操作可能な状態で、制動部301a、加速部302a、操舵部303a、変速部304a等が設けられている。
【0016】
制動部301aは、例えば、運転者の足下に設けられたブレーキペダルであり、加速部302aは、例えば、運転者の足下に設けられたアクセルペダルである。また、操舵部303aは、例えば、ダッシュボード(インストルメントパネル)から突出したステアリングホイールであり、変速部304aは、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部303aは、ハンドルであってもよい。
【0017】
車室2a内には、各種の画像を出力可能な表示部8と、各種の音を出力可能な音声出力部9と、を有するモニタ装置11が設けられている。モニタ装置11は、例えば、車室2a内のダッシュボードの幅方向(左右方向)の中央部に設けられる。なお、表示部8は、例えばLCD(液晶ディスプレイ)やOELD(有機エレクトロルミネセンスディスプレイ)等で構成されている。
【0018】
ここで、表示部8において画像が表示される領域としての表示画面には、操作入力部10が設けられている。操作入力部10は、例えば、指やスタイラス等の指示体が近接(接触を含む)した位置の座標を検出可能なタッチパネルとして構成されている。これにより、ユーザ(運転者)は、表示部8の表示画面に表示される画像を視認することができるとともに、操作入力部10上で指示体を用いたタッチ(タップ)操作等を行うことで、各種の操作入力を実行することができる。
【0019】
なお、実施形態では、操作入力部10が、スイッチや、ダイヤル、ジョイスティック、押しボタン等といった、各種の物理的なインターフェースであってもよい。また、実施形態では、車室2a内におけるモニタ装置11の位置とは異なる位置に、他の音声出力装置が設けられていてもよい。この場合、音声出力部9及び他の音声出力装置の両方から、各種の音情報を出力することができる。また、実施形態では、モニタ装置11が、ナビゲーションシステムやオーディオシステム等の各種システムに関する情報を表示可能に構成されていてもよい。
【0020】
また、
図1及び
図2に示されるように、実施形態の車両1は、左右2つの前輪3Fと、左右2つの後輪3Rと、を有した四輪の自動車として構成されている。以下では、簡単化のため、前輪3F及び後輪3Rを、総称して車輪と記載することがある。実施形態では、4つの車輪の一部又は全部の横滑り角が、操舵部303aの操作等に応じて変化(転舵)する。
【0021】
また、車両1には、周辺監視用の撮像装置としての複数(
図1及び
図2に示される例では4つ)の車載カメラ15a~15dが搭載されている。車載カメラ15aは、車体2の後側の端部2e(例えば、リヤトランクのドア2hの下方)に設けられ、車両1の後方の領域を撮像する。また、車載カメラ15bは、車体2の右側の端部2fのドアミラー2gに設けられ、車両1の右側方の領域を撮像する。また、車載カメラ15cは、車体2の前側の端部2c(例えば、フロントバンパ)に設けられ、車両1の前方の領域を撮像する。また、車載カメラ15dは、車体2の左側の端部2dのドアミラー2gに設けられ、車両1の左側方の領域を撮像する。以下では、簡単化のため、車載カメラ15a~15dを、総称して車載カメラ15と記載することがある。
【0022】
車載カメラ15は、例えば、CCD(電荷結合素子)やCIS(CMOS(相補性金属酸化膜半導体)イメージセンサ)等といった撮像素子を有する、いわゆるデジタルカメラである。車載カメラ15は、所定のフレームレートで車両1の周囲の撮像を行い、当該撮像によって得られた撮像画像の画像データを出力する。車載カメラ15により得られる画像データは、フレーム画像として動画像を構成することが可能である。
【0023】
次に、
図3を用いて、実施形態の車両1において各種の制御を実現するために設けられるシステム構成について説明する。なお、
図3に示されるシステム構成は、あくまで一例であり、様々に設定(変更)可能である。
【0024】
図3は、実施形態の車両1のシステム構成の一例を示すブロック図である。
図3に示されるように、車両1は、制動システム301と、加速システム302と、操舵システム303と、変速システム304と、障害物センサ305と、走行状態センサ306と、車載カメラ15と、モニタ装置11と、制御装置310と、車載ネットワーク350と、を有している。
【0025】
制動システム301は、車両1の減速を制御する。制動システム301は、制動部301aと、制動制御部301bと、制動部センサ301cと、を有している。
【0026】
制動部301aは、例えば上述したブレーキペダル等といった、車両1を減速させるための装置である。
【0027】
制動制御部301bは、例えば、CPU(Central Processing Unit)等といったハードウェアプロセッサを有したマイクロコンピュータとして構成される。制動制御部301bは、例えば車載ネットワーク350経由で入力される指示に基づいてアクチュエータを駆動し、制動部301aを作動させることで、車両1の減速度合を制御する。
【0028】
制動部センサ301cは、制動部301aの状態を検出するためのセンシングデバイスである。例えば、制動部301aがブレーキペダルとして構成される場合、制動部センサ301cは、制動部301aの状態として、ブレーキペダルの位置又は当該ブレーキペダルに作用している圧力を検出する。制動部センサ301cは、検出した制動部301aの状態を車載ネットワーク350に出力する。
【0029】
加速システム302は、車両1の加速を制御する。加速システム302は、加速部302aと、加速制御部302bと、加速部センサ302cと、を有している。
【0030】
加速部302aは、例えば上述したアクセルペダル等といった、車両1を加速させるための装置である。
【0031】
加速制御部302bは、例えば、CPU等といったハードウェアプロセッサを有したマイクロコンピュータとして構成される。加速制御部302bは、例えば車載ネットワーク350経由で入力される指示に基づいてアクチュエータを駆動し、加速部302aを作動させることで、車両1の加速度合を制御する。
【0032】
加速部センサ302cは、加速部302aの状態を検出するためのセンシングデバイスである。例えば、加速部302aがアクセルペダルとして構成される場合、加速部センサ302cは、アクセルペダルの位置又は当該アクセルペダルに作用している圧力を検出する。加速部センサ302cは、検出した加速部302aの状態を車載ネットワーク350に出力する。
【0033】
操舵システム303は、車両1の進行方向を制御する。操舵システム303は、操舵部303aと、操舵制御部303bと、操舵部センサ303cと、を有している。
【0034】
操舵部303aは、例えば上述したステアリングホイールやハンドル等といった、車両1の転舵輪を転舵させる装置である。
【0035】
操舵制御部303bは、例えば、CPU等といったハードウェアプロセッサを有したマイクロコンピュータとして構成される。操舵制御部303bは、例えば車載ネットワーク350経由で入力される指示に基づいてアクチュエータを駆動し、操舵部303aを作動させることで、車両1の進行方向を制御する。
【0036】
操舵部センサ303cは、操舵部303aの状態を検出するためのセンシングデバイス、すなわち車両1の舵角を検出するための舵角センサである。例えば、操舵部303aがステアリングホイールとして構成される場合、操舵部センサ303cは、ステアリングホイールの位置又は当該ステアリングホイールの回転角度を検出する。なお、操舵部303aがハンドルとして構成される場合、操舵部センサ303cは、ハンドルの位置又は当該ハンドルに作用している圧力を検出してもよい。操舵部センサ303cは、検出した操舵部303aの状態を車載ネットワーク350に出力する。
【0037】
変速システム304は、車両1の変速比を制御する。変速システム304は、変速部304aと、変速制御部304bと、変速部センサ304cと、を有している。
【0038】
変速部304aは、例えば上述したシフトレバー等といった、車両1の変速比を変更するための装置である。
【0039】
変速制御部304bは、例えば、CPU等といったハードウェアプロセッサを有したコンピュータとして構成される。変速制御部304bは、例えば車載ネットワーク350経由で入力される指示に基づいてアクチュエータを駆動し、変速部304aを作動させることで、車両1の変速比を制御する。
【0040】
変速部センサ304cは、変速部304aの状態を検出するためのセンシングデバイスである。例えば、変速部304aがシフトレバーとして構成される場合、変速部センサ304cは、シフトレバーの位置又は当該シフトレバーに作用している圧力を検出する。変速部センサ304cは、検出した変速部304aの状態を車載ネットワーク350に出力する。
【0041】
障害物センサ305は、車両1の周囲に存在し得る物体(障害物)に関する情報を検出するためのセンシングデバイスである。障害物センサ305は、例えば、車両1の周囲に存在する物体までの距離を取得する測距センサを含んでいる。測距センサとしては、例えば、超音波センサ、ミリ波レーダ、レーザレーダ等が用いられ得る。障害物センサ305は、検出した情報を車載ネットワーク350に出力する。
【0042】
走行状態センサ306は、車両1の走行状態を検出するための装置である。走行状態センサ306には、例えば、車両1の車輪速を検出する車輪速センサや、車両1の前後方向又は左右方向の加速度を検出する加速度センサ、車両1の旋回速度(角速度)を検出するジャイロセンサ等が含まれ得る。走行状態センサ306は、検出した走行状態を車載ネットワーク350に出力する。
【0043】
制御装置310は、車両1に設けられる各種のシステムを統括的に制御する情報処理装置である。実施形態の制御装置310は、車載カメラ15により撮像された撮像画像(撮像画像の画像データ)に基づいて、車両1の周辺の状況を示す周辺画像を生成し、周辺画像に車両1の予測進路を示すガイド線を重畳させた表示画像を表示部8に表示する機能を有している。周辺画像とは、撮像画像を車両の周辺の三次元空間に対応する投影面に投影した投影画像を所定の仮想視点から見たときの画像である。なお、周辺画像は、当該三次元画像の他、車両1の周辺の状況を上から俯瞰で見た俯瞰画像、及び、1つの車載カメラ15から取得される1つの画像データのみに基づく画像である単カメラ画像等も含みうる。
【0044】
実施形態の制御装置310は、CPU310aと、ROM(Read Only Memory)310bと、RAM(Random Access Memory)310cと、SSD(Solid State Drive)310dと、表示制御部310eと、音声制御部310fと、を有するマイクロコンピュータとして構成されている。
【0045】
CPU310aは、制御装置310を統括的に制御するハードウェアプロセッサである。CPU310aは、ROM310b等に記憶された各種のプログラムを読み出し、当該プログラムに規定されたインストラクションに従って各種の機能を実現する。ここで言及しているプログラムには、上記のような表示画像を表示部8に表示させるための処理を実行するプログラムが含まれる。
【0046】
ROM310bは、上述したプログラムの実行に必要なパラメータ等を記憶する不揮発性の主記憶装置である。
【0047】
RAM310cは、CPU310aの作業領域を提供する揮発性の主記憶装置である。
【0048】
SSD310dは、書き換え可能な不揮発性の補助記憶装置である。なお、補助記憶装置として、SSD310dに替えて又はSSD310dに加えて、HDD(Hard Disk Drive)が設けられてもよい。
【0049】
表示制御部310eは、制御装置310で実行される各種の処理のうち、主として、車載カメラ15から得られた撮像画像に対する画像処理や、モニタ装置11の表示部8に出力する画像データの生成等を司る。
【0050】
音声制御部310fは、制御装置310で実行されうる各種の処理のうち、主として、モニタ装置11の音声出力部9に出力する音声データの生成等を司る。
【0051】
車載ネットワーク350は、制動システム301と、加速システム302と、操舵システム303と、変速システム304と、障害物センサ305と、走行状態センサ306と、モニタ装置11の操作入力部10と、制御装置310と、を通信可能に接続する。
【0052】
周辺画像には、ガイド線が重畳表示される。また、車両1の付近に障害物が存在することが検知された場合、障害物の位置を示すマーカがさらに表示される場合がある。その場合、マーカとガイド線の影響で、周辺画像において障害物自体が見えにくくなるという問題がある。
【0053】
また、ガイド線の太さの変化により奥行きが表現される場合がある。一方で、ガイド線の長さによっては、奥ゆきを十分に知覚可能に表現することができず、ガイド線が地面から浮いているように見え、車幅や障害物までの距離が把握しにくくなる場合がある。
【0054】
そこで、実施形態は、上記のような課題を解決するための機能を有する周辺表示装置を制御装置310内で実現するものである。
【0055】
図4は、実施形態の周辺表示装置400の機能構成の一例を示すブロック図である。本実施形態の周辺表示装置400は、取得部401、画像生成部402、予測部403、表示処理部404、検知部405及び変更部406を有する。これらの機能部401~406は、制御装置310を構成するハードウェア要素及びソフトウェア要素(プログラム)の協働により構成され得る。また、これらの機能部401~406のうちの少なくとも1つが専用のハードウェア(回路等)により構成されてもよい。
【0056】
取得部401は、周辺画像にガイド線が重畳表示された表示画像を表示するために必要な情報を取得する。当該情報には、車載カメラ15により撮像された撮像画像、車両1に関する車両情報(移動体情報の一例)等が含まれる。車両情報には、車両1の進行方向、舵角、車体サイズ等が含まれる。車体サイズには、軸距(ホイールベース)等が含まれる。
【0057】
画像生成部402は、取得部401により取得された撮像画像に基づいて車両1の周辺の状況を示す周辺画像を生成する。周辺画像の具体的態様は、特に限定されるべきものではないが、例えば、撮像画像を車両1の周辺の三次元空間に対応する投影面に投影した投影画像を所定の仮想視点から見たときの画像であり得る。また、撮像画像を投影面に投影させることなく、そのまま周辺画像として利用してもよい。周辺画像の例については後述する。
【0058】
予測部403は、取得部401により取得された車両情報に基づいて、車両1の将来の進路を予測する。進路の予測方法は特に限定されるべきものではないが、例えば車両情報に含まれる車両1の進行方向、舵角等に基づいて進路を予測できる。
【0059】
表示処理部404は、移動体の周辺の状況を示す周辺画像にガイド線を重畳させた表示画像を表示装置(本実施形態ではモニタ装置11の表示部8)に表示させる。また、表示処理部404は、表示画像においてガイド線が車両1から遠いほど細くなるようにガイド線の幅を調整するための線幅調整処理を行う。
【0060】
ここで、本実施形態では、ガイド線には固定ガイド線と予測ガイド線が含まれるものとする。表示処理部404は、予測部403によって予測された進路(予測進路)に応じて、予測ガイド線の形状を変化させる。一方、表示処理部404は、予測部403によって予測された進路(予測進路)にかかわらず、固定ガイド線の形状を変化させない。
【0061】
表示処理部404は、画像生成部402により生成された周辺画像と、予測部403により予測された進路(予測進路)と、に基づいて、周辺画像に予測進路を示すガイド線が重畳された表示画像を表示装置(本実施形態ではモニタ装置11の表示部8)に表示させる。
【0062】
本実施形態では、固定ガイド線の視認性を変化させるための処理を説明する。以下、特に言及がない場合は、ガイド線は固定ガイド線を意味するものとする。ただし、ここで説明する処理は、予測ガイド線に適用されてもよい。
【0063】
検知部405は、ガイド線によって特定される領域内に障害物があることを検知する。
図5及び
図6を用いて、検知部405が障害物を検知する処理を説明する。
図5及び
図6は、実施形態の障害物を検知する処理を説明するための図である。
【0064】
図5には、上から俯瞰で見た車両1、車両1の前方に表示される固定ガイド線51、車両1の後方に表示される固定ガイド線52、障害物71が配置されている。また、
図5には、車両1が位置していると仮定される水平な地面に平行、かつ車両1の中心を通り、前方を正とするZ軸、及び地面に平行かつZ軸と垂直なX軸が示されている。
【0065】
図5には、ガイド線51、ガイド線52及び障害物71の車両1との位置関係が説明のために示されている。表示処理部404は、
図5のような表示画像を表示してもよいが、必ずしも
図5のような表示画像を表示するとは限らない。
【0066】
また、表示処理部404は、移動体の向きに平行な線分、及び移動体の向きに垂直な線分を組み合わせた形状のガイド線を表示させる。
【0067】
検知部405は、物体が存在することが検出された2点のXZ平面上の座標を用いて、当該物体が各ガイド線によって特定される領域内にあることを検知する。
【0068】
2点の座標は、取得部401によって障害物センサ305から取得される。障害物センサ305は、複数の超音波センサから構成されるシステム、すなわちソナー配列であってもよい。なお、障害物センサ305は、ミリ波レーダを使って障害物を検出してもよいし、画像認識により障害物を検出してもよい。障害物センサ305は、障害物の検出方法にかかわらず、取得部401に2点の座標を受け渡すことができる。
【0069】
取得部401は、障害物71の2点(点711及び点712)の、XZ平面上の座標をソナー配列から取得する。なお、2点は障害物センサ305によって物体が存在することが検出された2点に過ぎず、障害物センサ305又は周辺表示装置400によって、障害物71の存在が認識されているとは限らない。
【0070】
取得部401は、点711及び点712のそれぞれのXZ平面上の座標(x1,z1)及び(x2,z2)を取得するものとする。
【0071】
検知部405は、座標(x1,z1)及び(x2,z2)の各値の絶対値を取り、(|x1|,|z1|)及び(|x2|,|z2|)のように変換する。
【0072】
また、
図5の点511Lは、基準点である。基準点の座標を(x,z)とする。検知部405は、基準点の座標(x,z)の各値の絶対値を取り、(|x|,|z|)のように変換する。
【0073】
基準点である点511Lは、ガイド線51を構成する線分の交点である。ただし、基準点は線分の交点に限られず、ガイド線51との相対的な位置関係があらかじめ規定された点であればよい。
【0074】
図5の例では、x
1、z
1、x
2、z
2、x、zはいずれも正の値である。検知部405は、仮にいずれかの値が負であっても、各値を第1象限(X軸、Z軸の値がいずれも正の領域)の値に変換することで、計算を簡単化することができる。
【0075】
続いて、検知部405は、(1)の判定式の正負によって、検出された物体(障害物71)がガイド線51によって特定される領域内にあるか否かを判定する。
【0076】
【0077】
(1)の判定式が0より大きい場合、検知部405は、検出された物体がガイド線51によって特定される領域外にあると判定する。また、(1)の判定式が0以下であれば、検知部405は、検出された物体がガイド線51によって特定される領域内にあると判定する。すなわち、(1)の判定式が0以下の時に、検知部405は領域内に障害物があることを検知する。
【0078】
(1)の判定式が0以下であることは、点711と点712を通る直線(以下、検知直線)上の一部の点が、基準点である点511Lよりも原点側(車両1側)にあることを意味する。なお、原点はX軸とZ軸との交点である。この場合、表示画像において、障害物71又は障害物71の位置を指し示すオブジェクト等とガイド線51とが重なり、ガイド線51の視認性が低下することがある。
【0079】
なお、ガイド線51と障害物71とが、
図5に示す位置関係にある場合、点711と点712を通る直線上の全ての点が、基準点である点711よりも原点から離れた位置にあるため、検知部405は領域内に障害物があることを検知しない。
【0080】
一方、ガイド線51と障害物71とが、
図6に示す位置関係にある場合、検知直線上の一部の点が、基準点である点711よりも原点側にあるため、検知部405は領域内に障害物があることを検知する。
【0081】
また、原点から基準点である点511Lまでの距離を目安距離と呼び、検知部402の処理を以下のように言い換えることができる。すなわち、検知部402は、原点と検知直線との間の距離が目安距離未満になった場合、領域内に障害物があることを検知する。
【0082】
また、車両1の右前方、すなわち第2象限(X軸の値が負、Z軸の値が正の領域)に障害物71が存在する場合であっても、検知部405は、点511Rを基準点として計算を行うことができる。ただし、検知部405は、車両1の右前方に位置する点511Rを基準点として計算を行ってもよい。なお、点511RがZ軸について点511Lと線対象の位置にある場合、変換後の点511Lの座標は、点511Rの座標と同一である。
【0083】
また、障害物センサ305が車両1の後方の物体を検出した場合、すなわち座標(x1,z1)及び(x2,z2)におけるz1及びz2が負である場合、検知部405は、ガイド線52を基に規定された基準点(例えば、点521L)を用いて計算を行う。
【0084】
なお、車両1の前方の物体は、ソナー配列のうち車両1の前方に備えられたフロントソナーによって検出される。一方、車両1の後方の物体は、ソナー配列のうち車両1の後方に備えられたリアソナーによって検出される。
【0085】
図5の例では、ガイド線52を構成する線分同士の交点が4つ存在する。基準点である点521Lは、4つの交点のうち、原点(車両1)から最も遠い交点である。また、前方のガイド線51と後方のガイド線52とでは、位置、形状及び大きさが異なっていてもよい。
【0086】
変更部406は、検知部405によって領域内に障害物があることが検知された場合、周辺画像よりもガイド線の顕著性が低下するように、ガイド線の表示態様を変更する。変更部406は、例えばガイド線を目立ちにくくすることで顕著性を低下させることができる。ただし、変更部406は、ガイド線の視認性が大きく悪化するような変更(例えば、ガイド線を消去)は行わない。変更部406は、ガイド線の顕著性を低下させることで、ガイド線と周辺画像とのバランスを取り、表示画像全体としての視認性が向上するように表示態様の変更を行う。
【0087】
表示態様の変更について、表示画像の例を示して説明する。
図7は、実施形態の表示画像の一例を示す図である。表示画像61は、車両1の前方の周辺画像(フロントビュー)を基にした画像である。表示画像62は、車両1の俯瞰画像を基にした画像である。
【0088】
表示画像61及び表示画像62には、ガイド線51及びガイド線56が表示されている。ガイド線51は固定ガイド線である。ガイド線56は予測ガイド線である。
【0089】
図7の例では、検知部405によって領域内に障害物があることが検知されていない。このため、ガイド線51の表示態様は、変更前の初期状態である。
【0090】
例えば、変更部406は、検知部405によって領域内に障害物があることが検知された場合、表示画像におけるガイド線の透過率を大きくする。また、初期状態では、ガイド線の透過率は0%である。この場合、表示画像においてガイド線51が位置する画素には、ガイド線51のみが表示される。
【0091】
図8は、実施形態の表示画像の一例を示す図である。表示画像63は、車両1の前方の周辺画像(フロントビュー)を基にした画像である。表示画像64は、車両1の俯瞰画像を基にした画像である。
【0092】
図8の例では、検知部405によって領域内に障害物(障害物72又は障害物73)があることが検知される。このため、ガイド線51の表示態様は、変更部406によって変更される。
【0093】
例えば、変更部406は、ガイド線51の透過率を0%より大きくする。これにより、表示画像においてガイド線51が位置する画素には、ガイド線51と周辺画像を合成した画素が表示される。例えば、変更部406がガイド線51の透過率を70%に変更した場合、ガイド線51が位置する画素には、ガイド線51の画素値に30%の重みを付け、周辺画像の画素値に70%の重みを付けて各画素値を足した重み付き和が画素値として設定される。
【0094】
なお、変更部406による表示態様の変更は、透過率の変更に限られない。変更部406は、ガイド線51の顕著性が低下する方法で表示態様を変更することができる。例えば、変更部406は、線を細くすること、色を薄くすること等により表示態様を変化させてもよい。また、変更部406は、アニメーションにより漸次的に表示態様を変化させてもよい。
【0095】
ただし、変更部406固定ガイド線であるガイド線51の形状を維持したまま表示態様を変更する。これは、ガイド線51の形状が変化してしまうと、ガイド線51が固定ガイド線として機能しなくなるためである。
【0096】
また、
図8に示すように、障害物が検知された場合、表示処理部404は、障害物の位置を指し示すマーカ57を表示する。ガイド線51は、障害物だけでなくマーカ57と重なり合う場合がある。変更部406による表示態様の変更が行われることで、ガイド線51がマーカ57と重なり合い、ガイド線51が浮いたような状態に見えることが防止される。なお、
図8ではガイド線51が破線で示されているが、これは表示態様が実線から破線に変化したことを意味するものではなく、単に表示態様が変化したことを意味する。
【0097】
変更部406は、ガイド線51の表示態様を変更した後、所定時間にわたって、検知部405によって領域内に障害物があることが検知されなかった場合、ガイド線51の表示態様を変更前の状態に戻す。これにより、変更部406は、ガイド線51が障害物と重なり合っていない期間は、ガイド線51を目立たせることができる。
【0098】
例えば、変更部406は、ガイド線51の透過率を0%から70%に変更した後、2秒間にわたって検知部406によって領域内に障害物があることが検知されなかった場合、ガイド線51の透過率を0%に戻す。
【0099】
固定ガイド線の形状は、これまでに例示したものに限られない。
図5に示すガイド線51及びガイド線52は、前方又は後方に閉じている。一方で、固定ガイド線の形状は、前方又は後方に閉じていなくてもよい。
【0100】
図9、実施形態の表示画像の一例を示す図である。表示画像65には、固定ガイド線であるガイド線53及びガイド線54が表示されている。
【0101】
図9に示すように、ガイド線53を構成する線分は互いに接していない。このため、ガイド線53は前方に閉じていない。この場合、
図10に示すように、検知部405は、各線分を含む直線の交点(点551L又は点551R)を基準点に決定し、検知を行う。
図10は、実施形態の基準点の決定方法を説明するための図である。
【0102】
また、
図9に示すように、ガイド線54は、一部の線分が交点よりも後方まで延びており、後方に閉じていない。この場合、
図11に示すように、検知部405は、線分の端点(点541L又は点541R)を基準点に決定し、検知を行う。
図11は、実施形態の基準点の決定方法を説明するための図である。
【0103】
図12は、実施形態の周辺表示装置400における処理の一例を示すフローチャートである。画像生成部402は、車載カメラ15により車両1の周辺を撮像した撮像画像に基づいて周辺画像を生成する(S101)。予測部403は、CAN(Controller Area Network)等の車内ネットワークを介して取得される車両情報(例えば舵角、軸距等)に基づいて車両1の進路を予測する(S102)。
【0104】
表示処理部404は、予測部403により予測された進路に対応する予測ガイド線を生成する(S103)。また、表示処理部404は、固定ガイド線を生成する。
【0105】
検知部405が、固定ガイド線によって特定される領域内に障害物を検知しなかった場合(ステップS105、No)、表示処理部404は、固定ガイド線の透過率を基本値(例えば、0%)に設定する。
【0106】
検知部405が、固定ガイド線によって特定される領域内に障害物を検知した場合(ステップS105、Yes)、表示処理部404は、障害物の位置を指し示すマーカを生成する(ステップS107)。また、変更部406は、固定ガイド線の透過率を基本値より大きい値(例えば、70%)に変更する(ステップS108)。
【0107】
表示処理部404は、生成したオブジェクトとともに、周辺画像を表示装置に表示する(ステップS109)。すなわち、表示処理部404は、表示画像を表示する。オブジェクトには、ガイド線及びマーカが含まれる。
【0108】
上記実施形態又は変形例の周辺表示装置400の機能をコンピュータ(例えば制御装置310等)に実現させるためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0109】
また、当該プログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、当該プログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【0110】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0111】
1 車両
8 表示部
11 モニタ装置
15 車載カメラ
310 制御装置
400 周辺表示装置
401 取得部
402 画像生成部
403 予測部
404 表示処理部
405 検知部
406 変更部
51、52、53、54、56 ガイド線
57 マーカ
61、62、63、64、65 表示画像
71、72、73 障害物
511L、511R、521L、541R、541L、551R、551L、711、712 点