(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024141715
(43)【公開日】2024-10-10
(54)【発明の名称】表示制御装置、表示制御方法、およびプログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20241003BHJP
【FI】
G08G1/16 C
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023053510
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100154852
【弁理士】
【氏名又は名称】酒井 太一
(74)【代理人】
【識別番号】100194087
【弁理士】
【氏名又は名称】渡辺 伸一
(72)【発明者】
【氏名】吉村 美砂子
(72)【発明者】
【氏名】中西 康輔
(72)【発明者】
【氏名】別府 貴晃
(72)【発明者】
【氏名】オウ コウケツ
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181BB04
5H181BB05
5H181BB13
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF14
5H181FF22
5H181FF27
5H181FF33
5H181LL01
5H181LL02
5H181LL04
5H181LL07
5H181LL08
(57)【要約】
【課題】障害物が移動体にどのように接近しているかについて、より適切な情報を提示すること。
【解決手段】実施形態の一態様である表示制御装置において、移動体の周辺の状況を取得する取得部と、前記移動体の位置を示す第1画像と、前記取得部により取得された前記移動体から所定距離以内に存在する障害物の位置を示す第2画像と、前記移動体と前記障害物とが接近していることを示す第3画像とを表示部に表示させる表示制御部と、を備え、前記第3画像は、前記障害物が前記移動体に対して左右のどちら側から接近しているかを示す画像を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
移動体の周辺の状況を取得する取得部と、
前記移動体の位置を示す第1画像と、前記取得部により取得された前記移動体から所定距離以内に存在する障害物の位置を示す第2画像と、前記移動体と前記障害物とが接近していることを示す第3画像とを表示部に表示させる表示制御部と、を備え、
前記第3画像は、前記障害物が前記移動体に対して左右のどちら側から接近しているかを示す画像を含む、
表示制御装置。
【請求項2】
前記第3画像は、前記第1画像と前記第2画像との間に表示される、
請求項1に記載の表示制御装置。
【請求項3】
前記第3画像は、前記移動体の進行方向に連続して連なる斜線として描画され、前記斜線は前記移動体が前記障害物を回避するための移動方向に延伸して描画される、
請求項2に記載の表示制御装置。
【請求項4】
前記表示制御部は、前記障害物の大きさに応じて前記斜線の幅が変化した前記第3画像を表示させる、
請求項3に記載の表示制御装置。
【請求項5】
前記表示制御部は、前記障害物に近い位置ほど前記斜線の幅を長くした前記第3画像を表示させる、
請求項4に記載の表示制御装置。
【請求項6】
前記表示制御部は、前記移動体の周囲のリスク領域を示す第4画像に前記第3画像を重畳して表示させる、
請求項1に記載の表示制御装置。
【請求項7】
前記移動体は、車両を含み、
前記表示制御部は、前記車両の走行車線に対応する領域に前記第3画像を表示させる、
請求項1に記載の表示制御装置。
【請求項8】
コンピュータが、
移動体の周辺の状況を取得し、
前記移動体の位置を示す第1画像と、取得した前記移動体から所定距離以内に存在する障害物の位置を示す第2画像と、前記移動体と前記障害物とが接近していることを示す第3画像とを表示部に表示させ、
前記第3画像は、前記障害物が前記移動体に対して左右のどちら側から接近しているかを示す画像を含む、
表示制御方法。
【請求項9】
コンピュータに、
移動体の周辺の状況を取得させ、
前記移動体の位置を示す第1画像と、取得された前記移動体から所定距離以内に存在する障害物の位置を示す第2画像と、前記移動体と前記障害物とが接近していることを示す第3画像とを表示部に表示させ、
前記第3画像は、前記障害物が前記移動体に対して左右のどちら側から接近しているかを示す画像を含む、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置、表示制御方法、およびプログラムに関する。
【背景技術】
【0002】
近年、交通参加者の中でも脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて予防安全技術に関する研究開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。これに関連して、近年では、車両が基準値未満の速度で移動することで、車両と車両の右後方又は左後方に存在する障害物との間の距離が減少する場合に、障害物の位置に応じて車両の後方を撮像した第1映像の右端又は左端に障害物に対応する画像を重畳して表示させる技術が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、予防安全技術においては、障害物が移動体にどのように接近しているかについて、適切に提示できない場合があるということが課題である。
【0005】
本願は上記課題の解決のため、障害物が移動体にどのように接近しているかについて、より適切な情報を提示することができる表示制御装置、表示制御方法、およびプログラムを提供することを目的の一つとしたものである。そして、延いては持続可能な輸送システムの発展に寄与するものである。
【課題を解決するための手段】
【0006】
この発明に係る表示制御装置、表示制御方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る表示制御装置は、移動体の周辺の状況を取得する取得部と、前記移動体の位置を示す第1画像と、前記取得部により取得された前記移動体から所定距離以内に存在する障害物の位置を示す第2画像と、前記移動体と前記障害物とが接近していることを示す第3画像とを表示部に表示させる表示制御部と、を備え、前記第3画像は、前記障害物が前記移動体に対して左右のどちら側から接近しているかを示す画像を含む、表示制御装置である。
【0007】
(2):上記(1)の態様において、前記第3画像は、前記第1画像と前記第2画像との間に表示されるものである。
【0008】
(3):上記(2)の態様において、前記第3画像は、前記移動体の進行方向に連続して連なる斜線として描画され、前記斜線は前記移動体が前記障害物を回避するための移動方向に延伸して描画されるものである。
【0009】
(4):上記(3)の態様において、前記表示制御部は、前記障害物の大きさに応じて前記斜線の幅が変化した前記第3画像を表示させるものである。
【0010】
(5):上記(4)の態様において、前記表示制御部は、前記障害物に近い位置ほど前記斜線の幅を長くした前記第3画像を表示させるものである。
【0011】
(6):上記(1)の態様において、前記表示制御部は、前記移動体の周囲のリスク領域を示す第4画像に前記第3画像を重畳して表示させるものである。
【0012】
(7):上記(1)の態様において、前記移動体は、車両を含み、前記表示制御部は、前記車両の走行車線に対応する領域に前記第3画像を表示させるものである。
【0013】
(8):この発明の一態様に係る表示制御方法は、コンピュータが、移動体の周辺の状況を取得し、前記移動体の位置を示す第1画像と、取得した前記移動体から所定距離以内に存在する障害物の位置を示す第2画像と、前記移動体と前記障害物とが接近していることを示す第3画像とを表示部に表示させ、前記第3画像は、前記障害物が前記移動体に対して左右のどちら側から接近しているかを示す画像を含む、表示制御方法である。
【0014】
(9):この発明の一態様に係るプログラムは、コンピュータに、移動体の周辺の状況を取得させ、前記移動体の位置を示す第1画像と、取得された前記移動体から所定距離以内に存在する障害物の位置を示す第2画像と、前記移動体と前記障害物とが接近していることを示す第3画像とを表示部に表示させ、前記第3画像は、前記障害物が前記移動体に対して左右のどちら側から接近しているかを示す画像を含む、プログラムである。
【発明の効果】
【0015】
上記(1)~(9)の態様によれば、障害物が移動体にどのように接近しているかについて、より適切な情報を提示することができる。
【図面の簡単な説明】
【0016】
【
図1】第1の実施形態に係る表示制御装置を搭載した車両システム1の構成図である。
【
図3】第1の表示態様について説明するための図である。
【
図4】第2の表示態様について説明するための図である。
【
図5】第3の表示態様について説明するための図である。
【
図6】第4の表示態様について説明するための図である。
【
図7】第5の表示態様について説明するための図である。
【
図8】第6の表示態様について説明するための図である。
【
図9】第1の実施形態の表示制御装置130による一連の処理の流れの一例を示すフローチャートである。
【
図10】第2の実施形態に係る端末装置200の構成図である。
【発明を実施するための形態】
【0017】
以下、図面を参照し、本発明の表示制御装置、表示制御方法、およびプログラムの実施形態について説明する。実施形態における表示制御装置は、例えば、移動体に搭載される。移動体とは、例えば、車両等の乗員が搭乗可能な移動体(例えば、船舶、飛翔体も含む)であるが、人等が所持して移動させることが可能な可搬型の端末装置(例えば、スマートフォンやタブレット端末)が含まれてよい。以下、移動体が車両である場合と、端末装置である場合とに分けて説明する。なお、以下では、道路において左側通行の法規が適用される場合について説明するが、右側通行の法規が適用される場合、左右を逆に読み替えればよい。
【0018】
[第1の実施形態]
[全体構成]
図1は、第1の実施形態に係る表示制御装置を搭載した車両システム1の構成図である。車両システム1が搭載される車両(以下、自車両と称する)は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
【0019】
車両システム1は、例えば、カメラ10と、レーダ装置12と、LIDAR(Light Detection And Ranging)14と、ソナー15と、物体認識装置16と、通信装置20と、HMI(Human Machine Interface)30と、車両センサ40と、運転支援装置100とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、
図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。HMI30は、「出力部」の一例である。
【0020】
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両システム1が搭載される自車両の任意の箇所に取り付けられる。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ10は、例えば、周期的に繰り返し自車両の周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
【0021】
レーダ装置12は、自車両の周辺にミリ波等の電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、自車両の任意の箇所に取り付けられる。レーダ装置12は、FM-CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
【0022】
LIDAR14は、自車両の周辺に光(或いは光に近い波長の電磁波)を照射し、散乱光を測定する。LIDAR14は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。LIDAR14は、自車両の任意の箇所に取り付けられる。なお、LIDAR14は、自車両の進行方向に対して横方向及び縦方向にスキャンすることにより、自車両から対象までの距離を検出する。
【0023】
ソナー15は、自車両の周辺に超音波を放射し、自車両から所定距離以内に存在する物体による反射又は散乱を検出することによって、当該物体までの距離又は位置等を検知する。ソナー15は、例えば、自車両の前端部および後端部に設けられバンパー等に設置される。
【0024】
物体認識装置16は、カメラ10、レーダ装置12、LIDAR14、およびソナー15のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識する。物体認識装置16は、認識結果を運転支援装置100に出力する。物体認識装置16は、カメラ10、レーダ装置12、LIDAR14、およびソナー15の検出結果をそのまま運転支援装置100に出力してよい。なお、物体認識装置16の機能を運転支援装置100に組み込み、車両システム1から物体認識装置16が省略されてもよい。
【0025】
通信装置20は、例えば、セルラー網やWi-Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット等のネットワークを利用して、例えば、自車両を利用するユーザ(乗員)の端末装置、或いは各種サーバ装置と通信する。
【0026】
HMI30は、自車両の乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。HMI30は、例えば、表示部32およびスピーカ34を含む。表示部32は、例えば、メータ内やインストルメントパネルの中央部に設けられたディスプレイ装置、またはヘッドアップディスプレイ(HUD)であってよい。スピーカ34は、例えば、自車両の車室内に設けられた音声出力装置であってよい。HMI30は、表示部32およびスピーカ34に加えて、ブザー、タッチパネル、スイッチ、キー、マイク等を含んでもよい。
【0027】
車両センサ40は、自車両の速度を検出する車速センサ、加速度を検出する加速度センサ、ヨーレート(例えば、自車両の重心点を通る鉛直軸回りの回転角速度)を検出するヨーレートセンサ、自車両の向きを検出する方位センサ等を含む。また、車両センサ40は、自車両の位置を検出する位置センサが設けられていてもよい。位置センサは、例えば、GPS(Global Positioning System)装置から位置情報(経度・緯度情報)を取得するセンサである。また、位置センサは、GNSS(Global Navigation Satellite System)受信機を用いて位置情報を取得するセンサであってもよい。
【0028】
運転支援装置100は、運転者による自車両の運転を支援する装置である。運転支援装置100は、例えば、認識部110と、判定部120と、表示制御装置130と、記憶部140とを備える。認識部110、判定部120、および表示制御装置130は、それぞれ、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め運転支援装置100のHDDやフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROM等の着脱可能な記憶媒体に格納されており、記憶媒体(非一過性の記憶媒体)がドライブ装置に装着されることで運転支援装置100のHDDやフラッシュメモリにインストールされてもよい。
【0029】
記憶部140は、上記の各種記憶装置、或いはEEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)等により実現されてもよい。記憶部140には、例えば、第1の実施形態における各種制御を実行するために必要な情報、プログラム、その他の各種情報等が格納される。また、記憶部140には、地図情報142が含まれてよい。地図情報142は、例えば、所定区間の道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。また、地図情報142は、POI(Point Of Interest)情報を含んでもよく、道路形状や道路構造物に関する情報等を含んでもよい。道路形状には、例えば、分岐や合流、トンネル(入口、出口)、カーブ路(入口、出口)、道路または道路区画線(以下、「区画線」と称する)の曲率、曲率半径、車線数、幅員、勾配等が含まれる。道路構造物に関する情報には、道路構造物の種別、位置、道路の延伸方向に対する向き、大きさ、形状、色等の情報が含まれてよい。道路構造物の種別において、例えば、区画線を1つの種別としてもよく、区画線に属するレーンマークや縁石、中央分離帯のそれぞれを異なる種別としてもよい。地図情報142は、通信装置20が外部装置と通信することにより、随時、アップデート(更新)されてよい。
【0030】
認識部110は、カメラ10、レーダ装置12、LIDAR14、およびソナー15のうち少なくとも一つから入力された情報、または物体認識装置16を介して入力された情報に基づいて、自車両の周辺の状況を認識する。例えば、認識部110は、自車両、および自車両の周辺(所定距離以内)に存在する物標(物体)の種別や位置(相対位置)、大きさ(横幅を含む)、速度(相対速度)、加速度等の状態を認識する。物標の種別は、例えば、物標が車両であるか、歩行者、電柱であるか等の種別であってもよく、車両ごとに識別するための種別であってもよい。物標の位置は、例えば、自車両の代表点(重心や駆動軸中心等)を原点とした絶対座標系(以下、車両座標系)の位置として認識されてよい。物標の位置は、その物標の重心やコーナー、進行方向の先端部等の代表点で表されてもよいし、表現された領域で表されてもよい。物標の「状態」とは、例えば、物標が他車両等の移動体である場合には、物標の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
【0031】
また、認識部110は、認識された物標のうち、自車両の前方(例えば、自車両の進行方向であり、且つ自車両から所定距離以内)の走行路内に存在する物標を障害物として認識してもよい。なお、認識部110は、自車両の前方に存在する物標であっても、自車両の前走車両等の所定条件を満たす物標(例えば、所定時間における相対距離または相対速度の変化量が閾値未満である物標)である場合には、障害物としては認識しなくてもよい。また、認識部110は、障害物が、対向車両や歩行者等のように自らが移動している動的障害物であるか、電柱や駐車車両、放置物体等ように現状停止している静的障害物であるかを認識してもよい。
【0032】
認識部110は、自車両が走行する道路の状況を認識する。道路の状況には、道路を区画する区画線等の道路境界の位置、形状、車線数、幅員、曲率等が含まれる。また、認識部110は、認識した周辺の物標と道路境界との距離を認識してもよい。なお、認識部110は、車両センサ40により認識された自車両の位置情報に基づいて地図情報142を参照し、地図情報142に含まれる自車両の周辺の道路状況を示す情報を抽出することで認識してもよく、地図情報142による認識結果とカメラ10等による認識結果とを照合して自車両が走行する道路の状況を認識してもよい。
【0033】
判定部120は、認識部110の認識結果に基づき、予め設定される自車両と障害物の状態に基づいて、自車両と障害物とが将来接触する可能性があるか否かを判定する。また、判定部120は、自車両と障害物とが将来接触する可能性があると判定した場合に、障害物が自車両に対して左右のどちら側に接近しているかを判定する。また、判定部120は、道路状況に基づいて自車両が障害物の横を通過できるか否かの通過可否を判定してもよい。この場合、判定部120は、認識部110により認識された自車両の走行路(例えば、道路)を区画する区画線と、自車両の前方に存在する障害物との間の距離に基づいて、自車両が障害物の横を接触せずに通過できるか否かを判定する。判定部120の機能の詳細については後述する。
【0034】
表示制御装置130は、認識部110の認識結果や判定部120の判定結果等に基づいて、所定の情報を示す画像を生成し、生成した画像を表示部32に表示させる。表示制御装置130は、例えば、取得部132と、画像生成部134と、表示制御部136とを備える。
【0035】
取得部132は、認識部110により認識された自車両の周辺の状況に関する情報を取得する。また、取得部132は、判定部120により判定された結果に関する情報を取得する。
【0036】
画像生成部134は、取得部132により取得された情報に基づいて、表示部32に表示させる各種画像を生成する。例えば、画像生成部134は、自車両の走行路(道路)上における自車両の位置を示す第1画像と、自車両から所定距離以内に存在する物標の位置を示す第2画像と、自車両と物標とが接近していることを示す第3画像とを生成する。
【0037】
また、画像生成部134は、自車両の状態に関する情報や運転支援情報等の自車両の走行に関連のある情報を示す画像を生成する。自車両の状態に関する情報には、例えば、自車両の速度、エンジン回転数、シフト位置等の情報が含まれる。また、運転支援情報には、例えば、自車両が障害物との接触を回避するための乗員による操舵操作や速度操作を支援する情報が含まれる。また、運転支援情報には、例えば、自車両が前方の走行路を走行できるか否か示す情報や将来の走行経路に関する情報等が含まれてもよい。また、画像生成部134は、生成した画像の内容に対応する音声を生成してもよい。
【0038】
表示制御部136は、画像生成部134により生成された画像を表示部32に表示させる。また、表示制御部136は、画像生成部134により生成された音声をスピーカ34に出力させる。また、表示制御部136は、通信装置20を介して、画像生成部134により生成された画像や音声を自車両の乗員に出力させてもよい。
【0039】
[判定部]
次に、判定部120による判定処理について具体的に説明する。
図2は、判定処理について説明するための図である。
図2の例では、区画線LL、RLによって区画された道路RD1の延伸方向(図中X軸方向)に沿って自車両Mが速度VMで走行している。また、
図2の例において、自車両Mの進行方向(前方)には、道路RD1の左側に駐車している駐車車両OB1が存在しているものとする。
【0040】
図2の例において、認識部110は、道路RD1上における自車両Mの位置、道路RD1(区画線LL、RL)の位置や形状、幅員等を認識する。また、認識部110は、例えば、自車両Mと、駐車車両OB1との距離D1が所定距離以内である場合に、駐車車両OB1を障害物と認識する。また、認識部110は、駐車車両OB1が静的障害物であること、および、駐車車両OB1が自車両Mの左前方に存在することを認識する。
【0041】
判定部120は、上述の認識結果に基づき、自車両Mと駐車車両OB1とが将来接触する可能性があるか否かを判定する。例えば、判定部120は、自車両Mの位置および速度に基づく将来の移動予測軌道(第1移動予測軌道)と、駐車車両OB1の位置および大きさに基づいて、第1移動予測軌道が駐車車両OB1と重なる(または接する)場合に、自車両Mと駐車車両OB1とが接触する可能性があると判定し、重ならない(または接しない)場合に、接触する可能性がないと判定する。なお、障害物が移動中の人や自転車等の動的障害物である場合、判定部120は、動的障害物の位置および速度に基づく将来の移動予測軌道(第2移動予測軌道)と、第1移動予測軌道とが重なる(または接する)か否かによって、自車両Mと動的障害物とが将来接触する可能性があるか否かを判定してもよい。
【0042】
また、判定部120は、自車両Mに対する駐車車両OB1の相対距離および相対速度に基づいて、自車両Mが駐車車両OB1と接触するまでの余裕時間TTCを算出する。余裕時間TTC1は、例えば、相対距離を相対速度で除算することで算出される。そして、判定部120は、算出した余裕時間TTCが所定時間以内である場合に、自車両Mと駐車車両OB1とが接触する可能性があると判定し、余裕時間TTCが所定時間より大きい場合に接触する可能性がないと判定してもよい。
【0043】
また、判定部120は、自車両と駐車車両OB1とが将来接触する可能性があると判定した場合に、駐車車両OB1が自車両Mに対して左右のどちら側から接近しているかを判定する。
図2の例において、判定部120は、駐車車両OB1が自車両Mに対して左側から接近していると判定する。
【0044】
また、判定部120は、自車両Mと駐車車両OB1とが将来接触する可能性があると判定した場合に、道路RD1の状況に基づいて駐車車両OB1の横の通過可否を判定する。この場合、判定部120は、例えば、認識部110により認識された道路RD1の幅員と駐車車両OB1の車幅とに基づいて自車両Mが走行可能な幅W1を導出する。幅W1は、例えば、駐車車両OB1の車幅に所定のマージン量を付加した幅Wαを道路RD1の幅員から減算することで算出される。マージン量は、自車両Mの速度や道路形状に応じて異ならせてもよく、固定値でもよい。また、マージン量は、障害物が動的障害物であるか静的障害物であるかで異ならせてもよい。更に、動的障害物の場合には、動的障害物の速度や種類(例えば、人、自転車)によってマージン量を異ならせる。判定部120は、導出した幅W1が自車両Mの車幅より大きい場合に、自車両Mが駐車車両OB1の横を通過できると判定し、幅W1が自車両車幅以下である場合に、通過できないと判定する。なお、判定部120は、認識部110により自車両Mからみて区画線RLよりも外側に自車両Mの走行可能領域が認識された場合には、道路RD1の幅員に代えて、幅員と走行可能領域の幅を加算した幅を用いてもよい。
【0045】
また、判定部120は、自車両Mが駐車車両OB1の横を通過できると判定した場合に、自車両Mの現在の位置から駐車車両OB1の横を通過するための経路K1を生成してもよい。
【0046】
[表示制御装置]
次に、表示制御装置130により表示部32に表示される画像について具体的に説明する。なお、以下に示す画像は、上述した
図2に示す場面において、認識部110の認識結果や判定部120の判定結果に基づき、画像生成部134によって生成される画像である。また、以下では、幾つかの表示態様に分けて説明する。
【0047】
<第1の表示態様>
図3は、第1の表示態様について説明するための図である。
図3に示す第1の表示態様では、自車両Mが走行する走行路(道路RD1)を区画する区画線LL、RLに対応した区画線画像IML、IMRと、自車両Mに対応した第1画像IM10と、障害物である駐車車両OB1に対応した第2画像IM20と、自車両Mと駐車車両OB1とが接近していることを示す第3画像IM30とが示されている。第1画像IM10および第2画像IM20は、車両を模した画像でもよく、それぞれが識別可能なマーク等であってもよい。第3画像IM30は、判定部120により自車両Mと駐車車両OB1とが将来接触する可能性があると判定された場合に生成されてもよい。画像生成部134は、それぞれの画像を一つの画像として生成してもよく、それぞれの画像を重畳してもよい。
【0048】
画像生成部134は、それぞれの画像を、お互いの位置情報に対応付けた位置に表示させる。また、画像生成部134は、自車両Mからの距離に応じて画像の大きさ等を調整する。例えば、画像生成部134は、自車両Mから離れるほど、第2画像IM20を小さく調整し、更に道幅も狭く調整されてよい。
【0049】
ここで、第3画像IM30は、例えば、駐車車両OB1が自車両Mに対して左右のどちら側から接近しているかを示す画像を含む。例えば、第3画像IM30は、第1画像IM10と第2画像IM20との間の位置に表示される。第1の表示態様において、第3画像IM30は、自車両Mの進行方向に所定間隔で連続して連なる複数のマーク画像MK1によって、斜線として描画される。所定間隔は、自車両Mの速度VMや駐車車両OBとの相対距離、道路形状等によって異ならせてもよく、固定間隔でもよい。また、
図3の例では、マーク画像MK1a~MK1eが示されているが、第1の実施形態におけるマーク画像MK1の数についてもこれに限定されない。
【0050】
例えば、画像生成部134は、区画線画像IMLから、自車両Mが駐車車両OB1との接触を回避するための移動方向(
図3の例では道路の右斜め前方)に延伸させたマーク画像MK1a~MK1eを生成する。マーク画像MK1a~MK1eの道路幅方向に対する延伸方向の角度θ1は、固定角度でもよく、自車両M1の速度、自車両Mと駐車車両OB1との相対距離、余裕時間TTC、道路形状等に応じて可変に設定されてもよい。また、角度θ1は、マーク画像MK1a~MK1eごとに設定されてよい。これにより、マーク画像MK1a~MK1eによって、自車両Mが駐車車両OB1との接触を回避するために移動すべき方向が示されるため、自車両Mの乗員(運転者)は、道路RD1の右側へ移動するための操舵操作等をスムーズに行うことができる。
【0051】
また、斜線を形成するマーク画像MK1a~MK1eは、駐車車両OB1の大きさによって幅(マーク画像MK1a~MK1eの延伸方向の長さ)W2を変化させてもよい。この場合、マーク画像MK1a~MK1eによる斜線は、駐車車両OB1に近い位置ほど幅W2が長くなるように表示される。例えば、画像生成部134は、駐車車両OB1から最も近いマーク画像MK1aの幅(
図3の区画線画像IML、IMRによって区画される道路の横方向の幅)Wβを、上述した駐車車両OB1の車幅に所定のマージン量を付加した幅Wαに対応付けた長さに設定し、その長さから自車両M側に近づく距離に応じて徐々に(または段階的に)幅が短くなるように変化させたマーク画像MK1b~MK1eを生成する。
【0052】
表示制御部136は、第1画像IM10、第2画像IM20に加えて
図3に示すような第3画像IM30を表示部32に表示させる。これにより、第1の表示態様によれば、自車両Mと駐車車両OB1とが接近する可能性があること、および、駐車車両OB1が自車両Mの左側から接近していることを自車両Mの乗員(運転者等)に把握させ易くすることができる。また、第1の表示態様によれば、斜線の向きや長さを調整することで、自車両Mの運転者がリスクの低いエリアに意識が向くように促すことができる。したがって、運転者は早い段階で駐車車両OB1との接触を回避するための運転操作(操舵操作や速度操作)を行うことができる。例えば、運転者は、自車両Mがマーク画像MK1a~MK1e上を通過しないように運転することで、駐車車両OBとの接触を容易且つ確実に回避させることができる。
【0053】
なお、画像生成部134は、判定部120により自車両Mが駐車車両OB1の横を通過できると判定された場合に、上述した経路K1に対応する画像を生成してもよい。この場合、表示制御部136は、上述した第1画像IM10~第3画像IM30に加えて経路K1に対応する画像も表示部32に表示させる。また、表示制御部136は、第3画像IM30として、マーク画像MK1a~MK1eに加えて、自車両Mと駐車車両OB1と相対距離を示す画像や道路の右側に移動するように促す画像を表示させてもよい。
【0054】
また、表示制御部136は、自車両Mと駐車車両OB1との相対距離や自車両Mの速度VM、道路形状等に応じて、マーク画像MK1b~MK1eの色を変更したり、点滅と点灯を切り替える制御を行う。この場合、例えば、自車両Mと駐車車両OB1とが接触する可能性が高いほど(例えば相対距離や余裕時間TTCが短いほど)、マーク画像MK1a~MK1eがより強調表示されるように制御される。
【0055】
なお、
図3の例では、
図2に示すように障害物(駐車車両OB1)が自車両Mに対して左側(区画線LL側)に存在するため、自車両Mに対して左側から接近していることを示すマーク画像MK1a~MK1eが表示されているが、障害物が自車両Mに対して右側(区画線RL側)に存在する場合には、障害物が自車両Mに対して右側から接近していることを示すマーク画像が表示される。この場合、第2画像IM20や第3画像IM30は、上述の内容において、自車両Mに対して左右を逆に読み替えた表示態様で表示される。つまり、障害物に対応する第2画像IM20が自車両Mの走行車線の右側の区画線画像IMRに寄った位置に表示され、更に第3画像IM30であるマーク画像MK1a~MK1eが区画線画像IMRの表示位置から左斜め前方に延伸させた状態で表示される。なお、以降の表示態様についても、障害物が自車両Mの左側から接近している場合について説明するが、障害物が自車両Mの右側から接近する場合は、同様に左右を逆に読み替えればよい。
【0056】
<第2の表示態様>
図4は、第2の表示態様について説明するための図である。
図4に示すように、第2の表示態様では、第1の表示態様と比較して、第3画像IM30に代えて第3画像IM32が表示されており、第3画像IM32は、第3画像IM30のマーク画像MK1a~MK1eに代えて、矢印形状のマーク画像MK2a~MK2eが表示されている点で相違する。以下では、主に相違点を中心として説明し、その他の説明は省略する。以降の表示態様の説明についても同様とする。
【0057】
第2の表示態様において、マーク画像MK2a~MK2eのそれぞれの矢印の方向は、自車両Mが移動すべき方向(駐車車両OB1との接触を回避する方向)を示している。なお、第2の表示態様においても第1の表示態様と同様に、マーク画像MK2a~MK2eの位置に応じて、幅が調整されてもよく、マーク画像MK2a~MK2eのそれぞれの角度θ1が設定されてもよい。
【0058】
また、第2の表示態様において、画像生成部134は、マーク画像MK2a~MK2eのそれぞれが表示される位置に応じて太さを調整してもよい。
図4の例では、表示位置が他車両Mに近いほど(言い換えると、自車両Mから遠いほど)、マーク画像MK2が太く表示されるように調整されている。これにより、駐車車両OB1に近い位置ほど、接触する可能性がより高くことを乗員に把握させ易くすることができ、駐車車両OB1に近づく前に早めの回避運転を促すことができる。
【0059】
上述した第2の表示態様によれば、第1の表示態様と同様の効果を奏する他、第1の表示態様よりも明確に自車両Mが移動すべき方向を自車両Mの乗員に通知することができる。
【0060】
<第3の表示態様>
図5は、第3の表示態様について説明するための図である。
図5に示すように、第3の表示態様では、第1の表示態様と比較して、第3画像IM30に代えて第3画像IM33が表示されており、第3画像IM33は、第3画像IM30のマーク画像MK1a~MK1eに代えて、円形状のマーク画像MK3a~MK3dが表示されている点で相違する。
【0061】
第3の表示態様において、画像生成部134は、マーク画像MK3a~MK3dの位置に応じて円形状の直径を調整する。直径の調整は、例えば、第1の表示態様におけるマーク画像MK1a~MK1eの幅の調整と同じ手法を用いてよい。
【0062】
上述した第3の表示態様によれば、マーク画像MK3が円形状であるため、直径の調整によって横方向(道路幅方向)だけでなく縦方向(自車両Mの進行方向)も大きさが調整されるため、マーク画像MK3の違いを自車両Mの乗員に、より把握させ易くすることができる。したがって、駐車車両OB1に近づく前に早めの回避運転を促すことができる。
【0063】
<第4の表示態様>
図6は、第4の表示態様について説明するための図である。
図6に示すように、第4の表示態様では、第1の表示態様と比較して、第3画像IM30に代えて第3画像IM34が表示されており、第3画像IM34は、第3画像IM30のマーク画像MK1a~MK1eに代えて、1つのマーク画像MK4が表示されている点で相違する。
【0064】
第4の表示態様において、マーク画像MK4の左側は、区画線画像IMLに接している。また、マーク画像MK4は、駐車車両OB1に近づくほど横幅が長くなるように調整される。
【0065】
上述した第4の表示態様によれば、マーク画像MK4によって、自車両Mが走行すると駐車車両OB1と接触する可能性がある領域(言い換えると、自車両Mが駐車車両OB1と接触する可能性がない領域)を移動体Mの乗員に、より明確に把握させ易くすることができる。
【0066】
<第5の表示態様>
図7は、第5の表示態様について説明するための図である。
図7に示すように、第5の表示態様では、第1の表示態様と比較して、第3画像IM30に代えて第3画像IM35が表示され、更に第4画像IM40が表示されている点で相違する。第4画像IM40は、自車両Mの周囲のリスク領域を示す画像である。リスク領域とは、例えば、自車両Mが障害物と接触する可能性(接触度合)が高い(閾値以上)と判定される領域であり、自車両Mの速度VBや挙動等によって可変に設定されてもよく、固定領域が設定されてもよい。また、リスク領域は、余裕時間TTCが所定時間未満となる領域であってもよい。例えば、リスク領域内に障害物が存在する場合、表示制御部136は、警告を示す画像を表示部32に表示させたり、警報をスピーカ34に出力させる。
【0067】
画像生成部134により上述した第4画像IM40が生成される場合、表示制御部136は、第1画像IM10および第2画像IM20と共に第4画像IM40を表示させると共に、第4画像IM40に重畳させて第3画像IM35を表示させる。この場合、表示制御部136は、第4画像IM40を示すリング形状のうち、自車両Mからみて左前方のリング部分に第3画像IM35を重畳させる。
【0068】
上述した第5の表示態様によれば、自車両Mのリスク領域を示す第4画像IM40に重畳させた第3画像IM35によって、駐車車両OB1が自車両Mに対して左側から接近していることを乗員に把握させ易くすることができる。
【0069】
<第6の表示態様>
図8は、第6の表示態様について説明するための図である。
図8の例では、自車両Mが同一方向に進行可能な2車線道路の右側車線を走行している場面での表示態様を示している。
図8の例では、自車両Mから見て左側の区画線画像IML1、IML2と、右側の区画線画像IMRが示されており、更に区画線画像IML1、IML2、IMRで表される道路上における第1画像IM10、第2画像IM22がそれぞれの位置に対応付けられて表示されている。更に、
図8の例では、第1の表示態様と同形状のマーク画像MK6a~MK6eが第1画像IM10と第2画像IM22との間の位置に表示されている。ここで、第2画像IM22は、自車両Mの前方の走行路に存在する放置物体に対応する画像であるものとする。
【0070】
図6の表示態様において、表示制御部136は、自車両Mの走行車線に対応する領域に第3画像IM36(マーク画像MK6a~MK6e)を表示させる。これにより、自車両Mが複数車線の道路を走行している場合であっても、走行車線上において接近している障害物の情報のみを、より正確に、乗員に把握させることができる。
【0071】
なお、上述した第1~第6の表示態様のそれぞれは、他の表示態様の一部または全部を組み合わせてもよい。例えば、表示制御部136は、第1~第4の表示形態のそれぞれに加えて、第6の表示形態に示す第4画像IM40や第3画像IM35を表示させてよい。また、表示制御部136は、HMI30から自車両Mの乗員の設定を受け付けて上述した表示態様を切り替えてもよい。また、表示制御部136は、道路状況や障害物の数に応じて表示態様を切り替えてもよい。例えば、自車両Mが狭路等を走行中であって、道路の左右に障害物が存在する場面において、第1~第4、第6の表示態様の場合には、第3画像の表示が煩わしくなる可能性がある。そのため、表示制御部136は、上記の場合に第5の表示態様に切り替えて表示させることで、第3画像の視認性を向上させることができる。
【0072】
なお、表示制御部136は、自車両Mの周辺に障害物が存在しない場合には、区画線画像で示される道路領域の対応する位置に自車両Mを示す第1画像IM10のみを表示させる。また、表示制御部136は、障害物以外の物標の位置を示す画像を第2画像IM20として表示させてもよい。また、表示制御部136は、判定部120により自車両Mと障害物(物標)とが接触する可能性がないと判定された場合に、第3画像を表示させずに、第1画像IM10および第2画像IM20を道路領域の対応する位置に表示させる。
【0073】
[処理フロー]
以下、表示制御装置130による一連の処理の流れを、フローチャートを用いて説明する。
図9は、第1の実施形態の表示制御装置130による一連の処理の流れの一例を示すフローチャートである。なお、
図9の処理では、表示制御装置130が搭載された運転支援装置100に関する処理を含めて説明するものとし、更に表示制御装置130により実行される各種処理のうち、主に第1画像~第3画像の表示制御処理を中心として説明する。本フローチャートの処理は、例えば、所定のタイミングまたは周期で繰り返し実行されてよい。
【0074】
図9の例において、認識部110は、自車両Mの周辺状況を認識する(ステップS100)。次に、判定部120は、自車両Mの前方であって、且つ走行区間に物標が存在するか否かを判定する(ステップS110)。物標が存在すると判定した場合、移動体Mと物標との距離が所定距離以内であるか否かを判定する(ステップS120)。所定距離以内であると判定した場合、表示制御装置130の画像生成部134は、認識部110の認識結果や判定部120の判定結果に基づき、自車両Mの位置を示す第1画像と、自車両Mから所定距離以内に存在する物標の位置を示す第2画像と、自車両Mと障害物である物標とが接近していることを示す第3画像とを生成する(ステップS130)。なお、第3画像は、物標が移動体に対して左右のどちら側から接近しているかを示す画像を含む。
【0075】
また、ステップS110の処理において、物標が存在しないと判定された場合、画像生成部134は、第1画像を生成する(ステップS140)。また、ステップS120の処理において、自車両Mと物標との距離が所定距離以内でないと判定された場合、画像生成部134は、第1画像と第2画像とを生成する(ステップS150)。ステップS130、S140、またはステップS150の処理が終了後、表示制御部136は、区画線画像で区画された自車両Mの道路領域に生成した画像を、実際の位置関係に対応付けて表示部32に表示させる(ステップS160)。これにより、本フローチャートの処理は、終了する。
【0076】
[変形例]
第1の実施形態において、認識部110および判定部120のうち少なくとも一つの機能は、表示制御装置130に設けられていてもよい。また、第1の実施形態において、自車両Mが真正面に存在する障害物と接触する可能性があると判定された場合、表示制御装置130は、真正面から接近していることを示す画像を表示させてもよい。この場合、表示制御装置130は、障害物が自車両Mに対して左右のどちら側から接近しているかを示す第3画像とは異なる表示態様で識別可能に表示部32に表示させてもよい。
【0077】
また、第1の実施形態において、自車両Mの前方に複数の障害物が存在する場合に、障害物ごとに優先度を設けて、優先度の高い順または優先度が閾値以上の障害物を対象に上述した画像表示を行ってもよい。この場合、優先度は、自車両Mに近いほど高くしてもよく、障害物が大きいほど高くしてもよい。また、優先度は、動的障害物の方が、静的障害物よりも高くしてもよく、障害物の種類に応じて設定してもよい。また、複数の障害物同士の距離が所定距離未満である場合に、複数の障害物を一つの障害物とみなして各画像を生成してもよい。
【0078】
また、第1の実施形態の車両システム1には、自車両Mの操舵または速度のうち、一方または双方を制御して自車両Mの運転制御を実行する運転制御装置(不図示)が搭載されていてもよい。この場合、運転支援装置100は、表示制御装置130による画像表示に加えて、上述の判定結果に基づいて自車両Mが経路K1に沿って走行するように運転制御を実行させてもよく、物障害物の横を通過できないと判定された場合に自車両Mを一時停止させたり、車線変更させる運転制御を行ってもよい。
【0079】
以上の通り説明した第1の実施形態によれば、移動体の周辺の状況を取得する取得部132と、移動体の位置を示す第1画像と、取得部132により取得された移動体から所定距離以内に存在する障害物の位置を示す第2画像と、移動体と障害物とが接近していることを示す第3画像とを表示部32に表示させる表示制御部136と、を備え、第3画像は、障害物が移動体に対して左右のどちら側から接近しているかを示す画像を含むことにより、障害物が移動体にどのように接近しているかについて、より適切な情報を乗員に提示することができる。また、第1の実施形態によれば、回避運転等の安全行動を行うきっかけとなる情報を提示することができ、障害物との接触リスクを軽減させ、適切な方向に早期に回避させることができる。したがって、自車両の運転者に対して、より適切な運転支援を行うことができる。また、第1の実施形態によれば、持続可能な輸送システムの発展に寄与することができる。
【0080】
[第2の実施形態]
次に、第2の実施形態として、表示制御装置の機能が、ユーザが所持する可搬型の端末装置(例えば、スマートフォンやタブレット端末)に搭載された場合について説明する。
図10は、第2の実施形態に係る端末装置200の構成図である。端末装置200は、例えば、通信部210と、カメラ220と、入力部230と、表示部240と、位置取得部250と、アプリ実行部260と、制御部270と、記憶部280とを備える。位置取得部250と、アプリ実行部260と、制御部270とは、それぞれ、例えば、CPU等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPU等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め端末装置200が備えるHDDやフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体が、端末装置200が備えるドライブ装置に装着されることで端末装置200が備えるHDDやフラッシュメモリにインストールされてもよい。
【0081】
記憶部280は、上記の各種記憶装置、或いはSSD、EEPROM、ROM、またはRAM等により実現されてもよい。記憶部280には、例えば、表示アプリ282、プログラム、その他各種情報が格納される。また、記憶部280には、地図情報142が格納されてよい。
【0082】
通信部210は、例えば、上述した通信装置20と同様のネットワークを介して外部装置と通信を行う。
【0083】
カメラ220は、例えば、CCDやCMOS等の固体撮像素子を利用したデジタルカメラである。カメラ220は、例えば、表示アプリ282の実行中において、ユーザによって端末装置200が向けられた方向のカメラ画角に含まれる領域(空間)を撮像する。
【0084】
入力部230は、例えば、各種キーやボタン等の操作によるユーザの入力を受け付ける。入力部230は、例えば、マイクを備えユーザの音声の入力を受け付けてもよい。また、入力部230は、タッチパネルとして表示部240と一体に構成されていてもよい。表示部240は、例えば、ディスプレイやスピーカを備え、アプリ実行部260や制御部270の制御により、第2の実施形態における各種画像(例えば、第1画像~第4画像等)を出力したり、音声を出力する。
【0085】
位置取得部250は、内蔵されたGPS装置(不図示)により端末装置200の位置情報を取得する。取得する位置情報には、例えば、緯度経度情報が含まれる。
【0086】
アプリ実行部260は、記憶部280に記憶された表示アプリ282が実行されることで実現される。表示アプリ282は、例えば、ネットワークを介して外部装置からダウンロードしたものが端末装置200にインストールされている。表示アプリ282は、上述した取得部132、画像生成部134、および表示制御部136と同様の機能が実行されるように制御部270等を制御するアプリケーションプログラム(ソフトウェア)である。また、表示アプリ282は、カメラ220により撮像された画像情報や、入力部230により入力された情報、位置取得部250により取得された端末装置200の位置情報に基づいて地図情報から取得された周辺情報等に基づいて、認識部110および判定部120と同様の機能が実行されるように制御部270等を制御してもよい。
【0087】
制御部270は、端末装置200の各構成全体を制御する。例えば、制御部270は、アプリ実行部260による表示アプリ282の実行制御により、表示部240に表示させる画像(例えば、第1画像~第4画像)の内容や表示態様(例えば、第1の表示態様~第6の表示態様)、スピーカに出力させる音声の内容や出力態様を制御する。制御部270は、例えば、通信部210を介して外部装置から取得した画像や音声を表示部240から出力させてもよく、外部装置から取得した情報に基づいて画像や音声を生成して、表示部240から出力させてもよい。なお、第2の実施形態における端末装置200の一連の処理については、例えば
図9に示すフローチャートの内容と同様の処理が適用されてよい。
【0088】
以上の通り説明した第2の実施形態によれば、第1の実施形態と同様の効果を端末装置でも実現することができる。つまり、第2の実施形態によれば、接触を回避する安全行動(例えば、ユーザの移動)を行うきっかけとなる情報を提示することができ、ユーザと障害物との接触リスクを軽減させ、適切な方向に早期に回避させることができる。したがって、端末装置200のユーザに対して、より適切な安全行動支援を行うことができる。
【0089】
上記説明した実施形態は、以下のように表現することができる。
コンピュータによって読み込み可能な命令(computer-readable instructions)を格納する記憶媒体(storage medium)と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより(the processor executing the computer-readable instructions to:)、
移動体の周辺の状況を取得し、
前記移動体の位置を示す第1画像と、取得した前記移動体から所定距離以内に存在する障害物の位置を示す第2画像と、前記移動体と前記障害物とが接近していることを示す第3画像とを表示部に表示させ、
前記第3画像は、前記障害物が前記移動体に対して左右のどちら側から接近しているかを示す画像を含む、
表示制御装置。
【0090】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【0091】
1 車両システム
10、220 カメラ
12 レーダ装置
14 LIDAR
15 ソナー
16 物体認識装置
20 通信装置
30 HMI
32、240 表示部
34 スピーカ
40 車両センサ
100 運転支援装置
110 認識部
120 判定部
130 表示制御装置
132 取得部
134 画像生成部
136 表示制御部
140、280 記憶部
200 端末装置
210 通信部
230 入力部
250 位置取得部
260 アプリ実行部
270 制御部
M 自車両