IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 本田技研工業株式会社の特許一覧 ▶ 学校法人早稲田大学の特許一覧

<>
  • 特開-環境表示装置及び環境表示システム 図1
  • 特開-環境表示装置及び環境表示システム 図2
  • 特開-環境表示装置及び環境表示システム 図3
  • 特開-環境表示装置及び環境表示システム 図4
  • 特開-環境表示装置及び環境表示システム 図5
  • 特開-環境表示装置及び環境表示システム 図6
  • 特開-環境表示装置及び環境表示システム 図7
  • 特開-環境表示装置及び環境表示システム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025054546
(43)【公開日】2025-04-08
(54)【発明の名称】環境表示装置及び環境表示システム
(51)【国際特許分類】
   G08G 1/16 20060101AFI20250331BHJP
【FI】
G08G1/16 D
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023163644
(22)【出願日】2023-09-26
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(71)【出願人】
【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】古海 洋
(72)【発明者】
【氏名】西垣 守道
(72)【発明者】
【氏名】▲高▼砂 晴利
(72)【発明者】
【氏名】上杉 繁
(72)【発明者】
【氏名】藤田 遼太郎
(72)【発明者】
【氏名】加藤 小百合
(72)【発明者】
【氏名】早坂 遼平
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181CC04
5H181FF27
5H181FF33
5H181FF35
5H181LL01
5H181LL02
5H181LL04
5H181LL08
5H181LL15
(57)【要約】
【課題】運転にとって重要性の少ない周囲環境の情報を排除しつつ、運転者である搭乗者の、自車両についての車速感覚及び車体感覚の精度を向上し得る環境表示を提供する。
【解決手段】環境表示装置は、自車両の周囲環境の画像から当該自車両の搭乗者の視点から視た搭乗者の死角を含む環境画像を生成する画像処理部と、環境画像を表示装置により表示する表示制御部と、を備え、画像処理部は、搭乗者から視た自車両の車体の底面、側面、前面の範囲を示す輪郭線を環境画像に表示し、且つ、環境画像のうち上記底面の範囲を示す輪郭線の内部以外の画像部分に、自車両の周囲環境の画像である周囲画像を表示し、上記底面の範囲を示す輪郭線の内部の画像部分には上記周囲画像を表示しない。
【選択図】図3
【特許請求の範囲】
【請求項1】
自車両の周囲環境の画像から、前記自車両の搭乗者の視点から視た、前記搭乗者の死角を含む環境画像を生成する画像処理部と、
前記環境画像を、表示装置により表示する表示制御部と、
を備え、
前記画像処理部は、
前記搭乗者から視た前記自車両の車体の底面、側面、前面の範囲を示す輪郭線を前記環境画像に表示し、且つ、
前記環境画像のうち前記底面の範囲を示す前記輪郭線の内部以外の画像部分に、前記自車両の周囲環境の画像である周囲画像を表示し、前記底面の範囲を示す前記輪郭線の内部の画像部分には前記周囲画像を表示しない、
環境表示装置。
【請求項2】
前記画像処理部は、
前記自車両の車速が予め定めた第1閾値を超えたときは、前記輪郭線を、前記自車両の将来軌跡に沿って前記自車両の前方へ延長し、
前記環境画像において、延長した前記輪郭線が規定する延長された範囲のうち前記自車両の少なくとも前記底面の延長された範囲を示す画像部分以外の画像部分に前記周囲画像を表示し、前記延長された底面範囲の画像部分には前記周囲画像を表示しない、
請求項1に記載の環境表示装置。
【請求項3】
前記輪郭線を延長する距離は、前記自車両の車速が大きいほど長い、
請求項2に記載の環境表示装置。
【請求項4】
前記画像処理部は、
前記自車両の車速が予め定めた第2閾値を超えたときは、前記環境画像において、前記輪郭線が規定する範囲のうち前記自車両の前記底面及び前記側面の範囲を示す画像部分以外の画像部分に前記周囲画像を表示し、前記底面及び側面の範囲を示す画像部分には前記周囲画像を表示しない、
請求項1に記載の環境表示装置。
【請求項5】
前記画像処理部は、
前記自車両の車速が予め定めた第2閾値を超えたときは、前記環境画像において、延長された前記輪郭線が規定する範囲のうち前記自車両の延長された前記底面及び前記側面の範囲を示す画像部分以外の画像部分に前記周囲画像を表示し、前記延長された底面範囲及び側面範囲を示す画像部分には前記周囲画像を表示しない、
請求項2に記載の環境表示装置。
【請求項6】
前記画像処理部は、
前記環境画像に、前記搭乗者から視た前記自車両の車輪の位置に、車輪の画像を表示する、
請求項1に記載の環境表示装置。
【請求項7】
前記画像処理部は、前記環境画像のうち前記周囲画像が表示された画像部分に、前記自車両の前方から後方へ流れる前記周囲環境の動きに合わせて移動する定形又は不定形の図形要素群である移動グラフィックを重畳して表示する、
請求項1に記載の環境表示装置。
【請求項8】
前記移動グラフィックの前記図形要素群は、前記環境画像において、前記周囲環境の画像の消失点から前記自車両が走行する地平面を移動する定形又は不定形の点群である、
請求項7に記載の環境表示装置。
【請求項9】
前記移動グラフィックの前記図形要素群は、前記環境画像において、地平線の位置から前記自車両が走行する地平面を移動する、前記地平線に平行なライン群である、
請求項7に記載の環境表示装置。
【請求項10】
前記表示装置は、前記自車両の車室の内面に画像を表示するプロジェクタである、
請求項1に記載の環境表示装置。
【請求項11】
前記表示制御部は、前記プロジェクタである前記表示装置に指示して、前記搭乗者から視た前記自車両の車体の底面、側面、前面の範囲の外縁の位置と前記輪郭線の表示位置とが一致するように、前記環境画像を前記車室の内表面に表示する、
請求項10に記載の環境表示装置。
【請求項12】
前記表示装置は、人の頭部に装着して用いられるヘッドマウントディスプレイである、
請求項1に記載の環境表示装置。
【請求項13】
前記表示装置である前記ヘッドマウントディスプレイは、前記搭乗者が視認する現実の世界に画像を重ね合わせた拡張現実の表示を提供するものであって、
前記表示制御部は、前記ヘッドマウントディスプレイである前記表示装置に指示して、前記搭乗者から視た前記自車両の車体の底面、側面、前面の範囲の外縁の位置と前記輪郭線の表示位置とが一致するように前記環境画像を表示する、
請求項12に記載の環境表示装置。
【請求項14】
前記表示装置は、前記自車両に搭載されたモニタ装置である、
請求項1に記載の環境表示装置。
【請求項15】
前記表示装置は、ヘッドアップディスプレイである、
請求項1に記載の環境表示装置。
【請求項16】
前記表示装置と、
自車両の周囲環境の画像を取得する撮像装置と、
請求項1ないし15のいずれか一項に記載の環境表示装置と、
を備える環境表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、環境表示装置及び環境表示システムに関する。
【背景技術】
【0002】
近年、交通参加者の中でも脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて運転支援技術に関する研究開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。
【0003】
特許文献1には、運転支援表示装置が開示されている。この運転支援表示装置では、自車周辺の走行路と自車の左右前側端とを含む俯瞰画像に自車の旋回軌跡アイコンを表示し、自車周辺の走行路よりも前方の走行路を含む鳥瞰画像に自車幅アイコンを表示する。そして、旋回軌跡アイコン及び自車幅アイコンの車幅内側が、ハッチングにより強調される。
【0004】
特許文献2には、ドライバに車幅感覚を提供し得る車両軌跡表示システムが開示されている。この車両軌跡表示システムでは、ドライバの顔画像から推定されるドライバの視点に基づいてAR(拡張現実)-HUDの表示位置を調整し、AR-HUDにより、路面位置に合わせた車両の車幅方向の外縁部を示すガイドラインを表示する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2012-133614号公報
【特許文献2】特開2021-86559号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、運転支援技術においては、自車両についての搭乗者の車速感覚及び車体感覚の精度向上を支援することが課題である。
本願は上記課題の解決のため、自車両の運転にとって重要性の少ない周囲環境の情報を排除しつつ、運転者となり得る搭乗者の、自車両についての車速感覚及び車体感覚の精度を向上し得る環境表示を提供することを目的としたものである。そして、延いては持続可能な輸送システムの発展に寄与するものである。
【課題を解決するための手段】
【0007】
本発明の一の態様は、自車両の周囲環境の画像から、前記自車両の搭乗者の視点から視た、前記搭乗者の死角を含む環境画像を生成する画像処理部と、前記環境画像を、表示装置により表示する表示制御部と、を備え、前記画像処理部は、前記搭乗者から視た前記自車両の車体の底面、側面、前面の範囲を示す輪郭線を前記環境画像に表示し、且つ、前記環境画像のうち前記底面の範囲を示す前記輪郭線の内部以外の画像部分に、前記自車両の周囲環境の画像である周囲画像を表示し、前記底面の範囲を示す前記輪郭線の内部の画像部分には前記周囲画像を表示しない、環境表示装置である。
本発明の他の態様によると、前記画像処理部は、前記自車両の車速が予め定めた第1閾値を超えたときは、前記輪郭線を、前記自車両の将来軌跡に沿って前記自車両の前方へ延長し、前記環境画像において、延長した前記輪郭線が規定する延長された範囲のうち前記自車両の少なくとも前記底面の延長された範囲を示す画像部分以外の画像部分に前記周囲画像を表示し、前記延長された底面範囲の画像部分には前記周囲画像を表示しない。
本発明の他の態様によると、前記輪郭線を延長する距離は、前記自車両の車速が大きいほど長い。
本発明の他の態様によると、前記画像処理部は、前記自車両の車速が予め定めた第2閾値を超えたときは、前記環境画像において、前記輪郭線が規定する範囲のうち前記自車両の前記底面及び前記側面の範囲を示す画像部分以外の画像部分に前記周囲画像を表示し、前記底面及び側面の範囲を示す画像部分には前記周囲画像を表示しない。
本発明の他の態様によると、前記画像処理部は、前記自車両の車速が予め定めた第2閾値を超えたときは、前記環境画像において、延長された前記輪郭線が規定する範囲のうち前記自車両の延長された前記底面及び前記側面の範囲を示す画像部分以外の画像部分に前記周囲画像を表示し、前記延長された底面範囲及び側面範囲を示す画像部分には前記周囲画像を表示しない。
本発明の他の態様によると、前記画像処理部は、前記環境画像に、前記搭乗者から視た前記自車両の車輪の位置に、車輪の画像を表示する。
本発明の他の態様によると、前記画像処理部は、前記環境画像のうち前記周囲画像が表示された画像部分に、前記自車両の前方から後方へ流れる前記周囲環境の動きに合わせて移動する定形又は不定形の図形要素群である移動グラフィックを重畳して表示する。
本発明の他の態様によると、前記移動グラフィックの前記図形要素群は、前記環境画像において、前記周囲環境の画像の消失点から前記自車両が走行する地平面を移動する定形又は不定形の点群である。
本発明の他の態様によると、前記移動グラフィックの前記図形要素群は、前記環境画像において、地平線の位置から前記自車両が走行する地平面を移動する、前記地平線に平行なライン群である。
本発明の他の態様によると、前記表示装置は、前記自車両の車室の内面に画像を表示するプロジェクタである。
本発明の他の態様によると、前記表示制御部は、前記プロジェクタである前記表示装置に指示して、前記搭乗者から視た前記自車両の車体の底面、側面、前面の範囲の外縁の位置と前記輪郭線の表示位置とが一致するように、前記環境画像を前記車室の内表面に表示する。
本発明の他の態様によると、前記表示装置は、人の頭部に装着して用いられるヘッドマウントディスプレイである。
本発明の他の態様によると、前記表示装置である前記ヘッドマウントディスプレイは、前記搭乗者が視認する現実の世界に画像を重ね合わせた拡張現実の表示を提供するものであって、前記表示制御部は、前記ヘッドマウントディスプレイである前記表示装置に指示して、前記搭乗者から視た前記自車両の車体の底面、側面、前面の範囲の外縁の位置と前記輪郭線の表示位置とが一致するように前記環境画像を表示する。
本発明の他の態様によると、前記表示装置は、前記自車両に搭載されたモニタ装置である。
本発明の他の態様によると、前記表示装置は、ヘッドアップディスプレイである。
本発明の他の態様は、前記表示装置と、自車両の周囲環境の画像を取得する撮像装置と、上記いずれかの環境表示装置と、を備える環境表示システムである。
【発明の効果】
【0008】
本発明によれば、周囲環境のうち自車両の運転にとって重要性の少ない部分の情報を排除しつつ、運転者となり得る搭乗者の、自車両についての車速感覚及び車体感覚の精度を向上させることができる。
【図面の簡単な説明】
【0009】
図1図1は、本発明の一実施形態に係る環境表示装置が搭載された自車両の構成の一例を示す図である。
図2図2は、自車両の車室内の構成の一例を示す図である。
図3図3は、本発明の一実施形態に係る環境表示装置及び環境表示システムの構成を示す図である。
図4図4は、環境表示装置のプロセッサが実行する環境表示方法の手順を示すフロー図である。
図5図5は、表示される環境画像の一例を示す図である。
図6図6は、表示される環境画像の一例を示す図である。
図7図7は、表示される環境画像の一例を示す図である。
図8図8は、表示される環境画像の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施形態について説明する。
[1.自車両の構成]
図1は、本発明の一実施形態に係る環境表示装置1が搭載された自車両2の構成の一例を示す図、図2は、自車両2の車室内の構成の一例を示す図である。
【0011】
自車両2は、環境表示装置1と、周囲環境のうち自車両2の前方を撮影する前方カメラ3を備える。前方カメラ3は、例えば、車室内のフロントガラスの上部配されている。なお、前方カメラ3として、複数のカメラを用いてもよい。
【0012】
前方カメラ3により、自車両2の運転者となる搭乗者Dの死角を含む自車両2の周囲環境の画像が取得される。ここで、前方カメラ3は、本開示における、自車両の周囲環境の画像を取得する撮像装置に相当する。なお、自車両2は、車両後方の周囲環境を撮影する後方カメラ(不図示)を更に備えてもよい。
【0013】
自車両2には、また、周囲環境に存在する物体を検知する物体検知装置5が搭載されていてもよい。
自車両2には、さらに、少なくとも自車両2の走行速度の情報、およびステアリングホイール10の操作等に基づく舵角の情報を収集する車両監視装置6が搭載されている。
【0014】
自車両2の車室の天井には、当該車室の内表面(又は内壁面)に画像を投影して表示するプロジェクタ7が設けられている。プロジェクタ7は、本開示における表示装置に相当する。
車室内には、また、インストルメントパネル12に、車載ナビゲーション装置や車載インフォテイメント装置(共に不図示)などが用いる汎用のモニタ装置11を備えても良い。また、フロントガラス13に画像としての虚像を投影して表示するヘッドアップディスプレイ(HUD)17を備えても良い。
【0015】
[2.環境表示装置の構成]
図3は、環境表示装置1及び環境表示システム8の構成を示す図である。
環境表示システム8は、少なくとも、撮像装置である前方カメラ3と、表示装置であるプロジェクタ7と、環境表示装置1と、を含む。
【0016】
環境表示装置1は、自車両2の周囲環境の画像を取得して、自車両2の搭乗者Dの視点から視た、当該搭乗者Dの死角を含む自車両2の環境画像を、プロジェクタ7により自車両2の車室内の内表面に表示する。本実施形態では、プロジェクタ7は、例えば、図2において一点鎖線で示す、車室の内表面の一部である範囲DA(以下、表示範囲DAという)に、環境画像を表示する。
【0017】
表示範囲DAは、フロントガラス13及びインストルメントパネル12を含み、左ピラー16a及び右ピラー16bを超えて左ドアウィンドウ14aの一部及び右ドアウィンドウの一部まで延在する、車室内の内表面の範囲である。車室の内表面の、表示範囲DAの範囲には、プロジェクタ7により投影された画像が強調されるように所定の光波長域における光の反射率を上げるためのコーティングが施されるものとしてもよい。
【0018】
図3を参照し、環境表示装置1は、プロセッサ20とメモリ21と、有する。メモリ21は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。プロセッサ20は、例えば、CPU等を備えるコンピュータである。プロセッサ20は、プログラムが書き込まれたROM、データの一時記憶のためのRAM等を有する構成であってもよい。そして、プロセッサ20は、機能要素又は機能ユニットとして、画像取得部23と、画像処理部24と、表示制御部25と、を備える。
【0019】
プロセッサ20が備えるこれらの機能要素は、例えば、コンピュータであるプロセッサ20が、メモリ21に保存された表示プログラム22を実行することにより実現される。なお、表示プログラム22は、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、プロセッサ20が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
【0020】
画像取得部23は、前方カメラ3から、自車両2の搭乗者Dの死角を含む、自車両2の周囲環境の画像を取得する。前方カメラ3から取得される画像は、本実施形態では、所定のフレームレートの動画像である。
【0021】
画像処理部24は、画像取得部23が前方カメラ3から取得した自車両2の周囲環境の画像から、自車両2の搭乗者Dの視点から視た、当該搭乗者Dの死角を含む環境画像を生成する。
本実施形態では、特に、画像処理部24は、搭乗者Dから視た自車両2の車体の底面、側面、及び前面の範囲を示す輪郭線を環境画像に表示する。自車両2の車体の底面、側面、及び前面の範囲についての情報(例えば、プロジェクタ7の位置を原点とする座標情報)は、例えば、メモリ21に予め記憶されているものとすることができる。
【0022】
また、画像処理部24は、環境画像のうち、自車両2の底面範囲を示す輪郭線の内部以外の画像部分に、自車両2の周囲環境の画像である周囲画像を表示し、上記底面範囲を示す輪郭線の内部には周囲画像を表示しない。これにより、運転にとって重要性の少ない車体下部をマスクすることにより、及び自車両2の前方に自分の移動と一緒に移動する物ができることにより、安心感と、マスク幅(上記輪郭線で示される自車両2の底面の幅等)を基準とした車両感覚を得ることができる。
【0023】
なお、環境画像のうち周囲画像が表示された画像部分には、自車両2の前方から後方へ流れる周囲環境の動きに合わせて移動する定形又は不定形の図形要素群である移動グラフィックを重畳して表示してもよい。
【0024】
例えば、移動グラフィックの図形要素群は、環境画像において周囲環境の画像の消失点から自車両2が走行する地平面を放射状に移動する定形又は不定形の点群(例えば、有限の大きさを持つ複数の点)である。これにより、自車両2の前後方向及び左右方向の動きについての、搭乗者Dの車速感覚の精度を向上することができる。
【0025】
画像処理部24は、また、環境画像に、搭乗者Dから視た自車両2の車輪の位置に、車輪の画像を表示してもよい。これにより、自車両2の車輪位置の把握を容易にして、運転行動についての搭乗者Dの判断を更に支援することができる。
【0026】
画像処理部24は、また、自車両2の車速が予め定めた第1閾値を超えたときは、上述した輪郭線を、自車両2の将来軌跡に沿って自車両2の前方へ延長して、環境画像に表示してもよい。画像処理部24は、環境画像において、上記延長した輪郭線が規定する(又は、「区画する」。以下同じ。)延長された範囲のうち、少なくとも自車両2の底面を含む延長された底面範囲以外の画像部分に周囲画像を表示し、上記延長された底面範囲の画像部分には周囲画像を表示しない。上記将来軌跡は、例えば、車両監視装置6から取得される自車両2の舵角に基づいて推定されるものとすることができる。
【0027】
これにより、自車両2の車速が第1閾値を超えて速くなった場合には、自車両の将来軌跡に沿って輪郭線が延長されると共に、延長された輪郭線が示す延長された車体底面の方向の環境情報がマスクされる。その結果、搭乗者Dは、視線を高速走行時に注視すべき将来軌跡の前方へ向けやすくなると共に、マスク幅を基準とした車両感覚を得ることができる。
【0028】
ここで、上記のように輪郭線を延長する際の、当該輪郭線の延長の距離は、自車両2の車速が大きいほど長いものとすることができる。これにより、自車両2の車速が高速になるほど、自車両2の将来軌跡に沿った輪郭線の延長距離が長くなるので、搭乗者Dの視線を、車速に合わせてより前方へ誘導することができる。
【0029】
画像処理部24は、また、自車両2の車速が予め定めた第2閾値を超えたときは、環境画像において、上記輪郭線又は上記延長された輪郭線が規定する範囲のうち、自車両2の底面及び側面の範囲以外の画像部分、又は延長された底面範囲及び側面範囲以外の画像部分に周囲画像を表示し、上記底面及び側面の範囲の画像部分又は上記延長された底面範囲及び側面範囲の画像部分には周囲画像を表示しないものとしてもよい。
これにより、自車両2の車速が第2閾値を超えて速くなった場合には、自車両2の側面方向の環境情報も排除されるので、搭乗者Dは、環境画像のうち周囲画像がマスクされた自車両2の底面及び両側面の範囲を基準として、より明確に車両感覚を意識することができる。
【0030】
表示制御部25は、画像処理部が生成した環境画像を、表示装置であるプロジェクタ7により、自車両2の車室の内表面に表示する。表示制御部25は、プロジェクタ7に指示して、搭乗者Dから視た自車両2の底面、側面、前面の範囲の外縁の位置と上記輪郭線の表示位置とが一致するように、環境画像を車室の内表面に表示する。
【0031】
これにより、搭乗者Dを中心とする自車両の車体の範囲についての当該搭乗者Dの車体感覚の精度をより向上することができる。
【0032】
[3.表示される環境画像の例]
次に、図5図6図7を参照して、環境表示装置1が表示する環境画像の例について説明する。図5図6図7に示す環境画像は、図2において表示範囲DAとして示した車室の内表面の範囲に、プロジェクタ7から投影されて表示される画像である。図5図6図7において、表示範囲DAは、フロントガラス13の上縁に示す一点鎖線より図示下側に広がっている。また、図5図6図7に示す範囲において、環境表示装置1の表示制御部25は、環境画像が、自車両2の天井、ルームミラー15、右ピラー16b、右ドアミラー4bの部分には投影されないように、プロジェクタ7を制御している。
【0033】
図5は、自車両2の車速Veが第1閾値Vth1以下であって且つ第2閾値Vth2以下であるとき(Ve≦Vth1、Vth2であるとき)に表示される環境画像の例である。
【0034】
図5に示すように、環境画像は、前方カメラ3から取得される自車両2の周囲環境の表示を含む。また、図5の例では、自車両2の左前方を走行する他車両33、電柱35、及び建物36を含む周囲画像が表示されている。
【0035】
また、環境画像には、搭乗者Dから視た自車両2の車体の底面範囲AB、左側面範囲AL、前面範囲AF、及び右側面範囲ARを示す輪郭線31が表示されている。この輪郭線31が表示されることにより、自車両2についての搭乗者Dの車体感覚(車体がどこまで広がっているかについての感覚)の精度が向上する。
【0036】
図5の例では、輪郭線31に加えて、搭乗者Dから視た自車両2の2つの前輪の位置に、それぞれ車輪34が表示されている。これにより、搭乗者Dの車体感覚が更に向上する。
【0037】
また、環境画像には、周囲画像が表示された画像部分に、自車両2の前方から後方へ流れる周囲環境の動きに合わせて移動する不定形の複数のドット32である移動グラフィックが表示されている。ここで、「ドット」とは、有限の大きさを持つ点をいう。すなわち、図5における移動グラフィックは、点群で構成されている。
【0038】
なお、図5図6図7では、一つのドットにのみ符号「32」を付しているが、地平線GLより図示下側に示されている大小様々な黒色の点は、移動グラフィックを構成するドット32であるものと理解されたい。
【0039】
これらのドット32は、例えば、環境画像において、消失点P、および図示点線で示す地平線GLの図示左右方向の任意の位置から、図示下方へ向かって、自車両2が走行する地平面上を、消失点Pから広がる方向へ放射状に移動する。ドット32の移動速度は、自車両2の車速Veが速いほど速くなるように表示され、また、地平線GLに近いほど遅く(すなわち、自車両2に近いほど速く)表示されるものとすることができる。これにより、搭乗者Dは、ドット32の移動態様から自車両2の速度を直感的に理解し得るので、搭乗者Dの車速感覚の精度が向上する。
【0040】
ここで、消失点P及び地平線GLの位置は、従来技術に従い、前方カメラ3から取得される周囲環境の画像における各物体の移動方向に基づいて推定され得る。例えば、画像処理部24は、上記各物体の動きの方向を示す各ラインの交点として消失点Pの位置を推定し、消失点P又はその近傍を通る水平線を地平線GLとして推定することができる。
【0041】
また、図5では、周囲画像は、環境画像のうち、輪郭線31が区画する自車両2の底面範囲AB以外の画像部分に表示されている。これにより、搭乗者Dは、運転にとって重要性の少ない車体底面の画像がマスクされることにより、及び自車両2の前方に自分の移動と一緒に移動する物ができることにより、安心感と、上記マスクの幅を基準とした車両感覚を得ることができる。なお、周囲画像が表示されない底面範囲ABは、画像が何も表示されない非表示領域としてもよいし、又は特定の幾何学形状を有する静止パターン等の所定の画像が表示される領域としてもよい。
【0042】
図6は、第1閾値Vth1が第2閾値Vth2より大きい場合(Vth1>Vth2)であって、自車両2の車速Veが第2閾値Vth2を超え第1閾値Vth1を超えないとき(Vth1≧Ve>Vth2のとき)に表示される環境画像の例である。なお、図6において、図5に示す環境画像の要素と同じ要素については、図5に示す符号と同じ符号を用いて示すものとし、上述した図5の説明を援用する。後述する図7及び図8においても同様である。
【0043】
図6では、自車両2の車速Veが第2閾値Vth2を超えているため、周囲画像は、環境画像において、輪郭線31が規定する範囲のうち底面範囲AB、左側面範囲AL、及び右側面範囲ARを示す画像部分以外の画像部分に表示されている。これにより、自車両2の側面方向の環境情報も排除されるので、搭乗者Dは、環境画像のうち周囲画像がマスクされた自車両2の底面及び両側面の範囲を基準として、より明確に車両感覚を意識することができる。なお、周囲画像が表示されない底面範囲AB、左側面範囲AL、及び右側面範囲ARは、画像が何も表示されない非表示領域、又は特定の幾何学パターン等の所定の画像が表示される領域とすることができる。
【0044】
なお、底面範囲AB、左側面範囲AL、及び右側面範囲AR以外の画像部分に周囲画像を表示する場合には、上述した移動グラフィックも、底面範囲AB、左側面範囲AL、及び右側面範囲AR以外の画像部分に表示されるものとすることができる。図6の例では、周囲画像及び移動グラフィックは、底面範囲AB、左側面範囲AL、及び右側面範囲AR以外の画像部分のみに表示されている。
【0045】
図7は、第1閾値Vth1が第2閾値Vth2より小さい場合であって、自車両2の車速Veが第1閾値Vth1を超え第2閾値Vth2を超えないとき(Vth2≧Ve>Vth1のとき)に表示される環境画像の例である。
【0046】
図7では、車速Veが第1閾値Vth1を超えていることから、図5に示す輪郭線31は、自車両2の将来軌跡に沿って自車両2の前方へ延長され、仮想輪郭線41として表示されている。また、図7では、図5に示す自車両2の車体の底面範囲AB、左側面範囲AL、前面範囲AF、及び右側面範囲ARも、将来軌跡に沿って自車両2の前方へ延長され、仮想輪郭線41により、仮想底面範囲vAB、仮想左側面範囲vAL、仮想前面範囲vAF、及び仮想右側面範囲vARが区画される。なお、仮想輪郭線41を構成する際の、上記輪郭線31の自車両2の前方への延長距離は、上述したように、自車両2の車速Veが速いほど長く設定され得る。
【0047】
ここで、仮想輪郭線41は、本開示における延長された輪郭線に相当する。また、仮想底面範囲vAB、仮想左側面範囲vAL、仮想前面範囲vAF、及び仮想右側面範囲vARは、本開示における、延長された底面範囲、延長された左側面範囲、延長された前面範囲、及び延長された右側面範囲、にそれぞれ対応する。
【0048】
そして、図7では、環境画像のうち、仮想輪郭線41が区画する仮想底面範囲vABを除く画像部分に、他車両33、電柱35、及び建物36を含む周囲画像が表示されている。これにより、搭乗者Dは、視線を高速走行時に注視すべき将来軌跡の前方へ向けやすくなると共に、マスク幅を基準とした車両感覚を得ることができる。
【0049】
図8は、自車両2の車速Veが第1閾値Vth1及び第2閾値Vth2を超えているとき(Ve>Vth1、Vth2のとき)に表示される環境画像の例である。なお、図8において、図7に示す環境画像の要素と同じ要素については、図7に示す符号と同じ符号を用いて示すものとし、上述した図7の説明を援用する。
【0050】
図8では、車速Veが第1閾値Vth1を超えていることから、図7と同様に、図5に示す輪郭線31は、自車両2の将来軌跡に沿って自車両2の前方へ延長され、仮想輪郭線41として表示されている。また、この仮想輪郭線41により、将来軌跡に沿って延在する仮想底面範囲vAB、仮想左側面範囲vAL、仮想前面範囲vAF、及び仮想右側面範囲vARが区画されている。
【0051】
そして、図8では、更に、自車両2の車速Veが第2閾値Vth2も超えているため、周囲画像は、仮想輪郭線41が区画する範囲のうち仮想底面範囲vAB、仮想左側面範囲vAL、及び仮想右側面範囲vARを除く画像部分に表示されている。これにより、搭乗者Dは、環境画像のうち周囲画像がマスクされた自車両2の底面及び両側面の範囲を基準として、より明確に車両感覚を意識することができる。
【0052】
[4.環境表示装置における処理]
次に、環境表示装置1における動作の手順について説明する。
図4は、環境表示装置1のコンピュータであるプロセッサ20が実行する、自車両2の周囲環境を表示するための、表示方法の処理の手順を示すフロー図である。本処理は、例えば、前方カメラ3、プロジェクタ7、及び車両監視装置6の電源がオンである状態において、環境表示装置1の電源がオンされたときに開始する。
【0053】
処理を開始すると、まず、画像取得部23は、前方カメラ3により、搭乗者Dから視た死角を含む自車両2の周囲環境の画像の取得を開始する(S100)。ここで、画像処理部24は、後述のステップにおいて環境画像に重畳する移動グラフィックの生成を開始してもよい。上述したように、移動グラフィックは、例えば、自車両2の車速Veに応じた速度で移動する複数のドット32により構成される。車速Veは、例えば、車両監視装置6から所定の時間間隔で取得され、移動グラフィックは、ドット32の速度が車速Veの変化に応じて変化するように(車速Veが速くなればドット32の移動速度も速くなるように)生成され得る。
【0054】
次に、画像処理部24は、取得した周囲環境の画像に基づき、搭乗者Dから視た死角の画像を含む環境画像を生成する(S102)。画像処理部24は、また、環境画像に自車両2の車体の輪郭線31を表示する(S104)。また、画像処理部24は、環境画像のうち、輪郭線31が区画する自車両2の車体の底面範囲ABを除く画像部分に、自車両2の周囲環境の画像である周囲画像を表示する(S106)。上述したように、画像処理部24は、環境画像のうち周囲画像が表示された部分に、移動グラフィックを重畳表示してもよい。後述のステップS112及びS116においても同様である。
【0055】
次に、画像処理部24は、車速Veが第1閾値Vth1を超えているか否かを判断する(S108)。そして、車速Veが第1閾値Vth1を超えていないときは(S108、NO)、画像処理部24は、後述するステップS114に処理を移す。一方、車速Veが第1閾値Vth1を超えているときは(S108、YES)、画像処理部24は、輪郭線31を自車両2の将来軌跡に沿って延長した仮想輪郭線41を、輪郭線31に代えて環境画像に重畳して表示する(S110)。また、画像処理部24は、環境画像のうち、仮想輪郭線41が区画する仮想底面範囲vABを除く画像部分に、周囲画像を表示する(S112)。
【0056】
次に、画像処理部24は、車速Veが第2閾値Vth2を超えているか否かを判断する(S114)。そして、車速Veが第2閾値Vth2を超えていないときは(S114、NO)、画像処理部24は、後述するステップS118に処理を移す。一方、車速Veが第2閾値Vth2を超えているときは(S114、YES)、画像処理部24は、環境画像に輪郭線31又は仮想輪郭線41のいずれを表示させているかに応じて、底面範囲AB、左側面範囲AL及び右側面範囲ARを除く画像範囲、又は仮想底面範囲vAB、仮想左側面範囲vAL及び仮想右側面範囲vARを除く画像部分に、周囲画像を表示する(S116)。なお、図4に示すステップS116では、左側面範囲AL及び右側面範囲ARを「側面範囲」と略記し、仮想左側面範囲vAL及び仮想右側面範囲vARを「仮想側面範囲」と略記している。
【0057】
次に、画像処理部24は、車速Veが第1閾値Vth1または第2閾値Vth2を超えているか否かを判断する(S118)。そして、車速Veが第1閾値Vth1または第2閾値Vth2を超えているときは(S118、YES)、画像処理部24は、ステップS108に処理を戻す。
【0058】
一方、車速Veが第1閾値Vth1及びは第2閾値Vth2を超えていないときは(S118、NO)、画像処理部24は、環境表示装置1の電源がオフされたか否かを判断する(S120)。そして、環境表示装置1の電源がオフされていないときは(S120、NO)、画像処理部24は、ステップS104に処理を戻す。一方、環境表示装置1の電源がオフされたときは(S120、NO)、画像処理部24は、本処理を終了する。
【0059】
[5.他の実施形態]
【0060】
移動グラフィックの図形要素群は、上述の実施形態に示した点群には限られない。移動グラフィックの図形要素群は、環境画像において地平線GLの位置から自車両2が走行する地平面を移動する、地平線GLに平行なライン群であってもよい。
【0061】
環境表示装置1の表示制御部25が環境画像の表示に用いる表示装置は、上述した実施形態に示すような、自車両2の車室の内表面に画像を投影するプロジェクタ7には限られず、任意のタイプの表示装置であり得る。
【0062】
例えば、表示装置は、プロジェクタ7に代えて、人の頭部に装着して用いられるヘッドマウントディスプレイであってもよい。例えば、上記ヘッドマウントディスプレイは、搭乗者Dが視認する現実の世界に画像を重ね合わせた拡張現実(AV、Augumented Rearity)の表示を提供するものであり得る。表示制御部25は、上記ヘッドマウントディスプレイに指示して、搭乗者Dから視た自車両2の車体の底面、側面、前面の範囲の外縁の位置と輪郭線31の表示位置とが一致するように環境画像を表示するものとすることができる。
【0063】
表示装置としてヘッドマウントディスプレイを用いる場合には、環境表示装置1は、ヘッドマウントディスプレイの筐体の中に設けられるものとすることができる。当該筐体の中に設けられた環境表示装置1は、無線通信により、前方カメラ3や車両監視装置6等の車載装置から情報を取得するものとすることができる。
【0064】
あるいは、環境表示装置1の表示制御部25が環境画像の表示に用いる表示装置は、プロジェクタ7に代えて、汎用のモニタ装置11又はヘッドアップディスプレイ17であってもよい。
【0065】
輪郭線31及び仮想輪郭線41は、上述した実施形態のような、底面範囲AB等及び仮想底面範囲vAB等を矩形の範囲として規定する直線群に限らず、底面範囲AB等及び仮想底面範囲vAB等を矩形の範囲として規定する直線群であってもよい。あるいは、輪郭線31及び仮想輪郭線41は、自車両2の車体の外縁の形状をより忠実に表現する曲線であってもよい。
【0066】
画像処理部24が輪郭線31を自車両2の将来軌跡に沿って延長して仮想輪郭線41を生成する際の上記将来軌跡は、自車両2がナビゲーション装置(不図示)を備えるときは、ナビゲーション装置が設定した経路から推定されるものしてもよい。
【0067】
なお、本発明は上記の実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
【0068】
[6.上記実施形態によりサポートされる構成]
上述した実施形態は、以下の構成をサポートする。
【0069】
(構成1)自車両の周囲環境の画像から、前記自車両の搭乗者の視点から視た、前記搭乗者の死角を含む環境画像を生成する画像処理部と、前記環境画像を、表示装置により表示する表示制御部と、を備え、前記画像処理部は、前記搭乗者から視た前記自車両の車体の底面、側面、前面の範囲を示す輪郭線を前記環境画像に表示し、且つ、前記環境画像のうち前記底面の範囲を示す前記輪郭線の内部以外の画像部分に、前記自車両の周囲環境の画像である前記周囲画像を表示し、前記底面の範囲を示す前記輪郭線の内部の画像部分には前記周囲画像を表示しない、環境表示装置。
構成1の環境表示装置によれば、運転にとって重要性の少ない車体下部をマスクすることにより、及び自車両の前方に自分の移動と一緒に移動するマスク領域ができることにより、搭乗者は、安心感と、マスクの幅を基準とした車両感覚を得ることができる。
【0070】
(構成2)前記画像処理部は、前記自車両の車速が予め定めた第1閾値を超えたときは、前記輪郭線を、前記自車両の将来軌跡に沿って前記自車両の前方へ延長し、前記環境画像において、延長した前記輪郭線が規定する延長された範囲のうち前記自車両の少なくとも前記底面の延長された範囲を示す画像部分以外の画像部分に前記周囲画像を表示し、前記延長された底面範囲の画像部分には前記周囲画像を表示しない、構成1に記載の環境表示装置。
構成2の環境表示装置によれば、自車両の車速が第1閾値を超えて速くなった場合には、自車両の将来軌跡に沿って輪郭線が延長されると共に、延長された輪郭線が示す延長された車体底面の方向の環境情報がマスクされるので、搭乗者は、視線を高速走行時に注視すべき将来軌跡の前方へ向けやすくなると共に、マスク幅を基準とした車両感覚を得ることができる。
【0071】
(構成3)前記輪郭線を延長する距離は、前記自車両の車速が大きいほど長い、構成2に記載の環境表示装置。
構成3の環境表示装置によれば、自車両の車速が高速になるほど、自車両の将来軌跡に沿った輪郭線の延長距離が長くなるので、搭乗者の視線を、車速に合わせてより前方へ誘導することができる。
【0072】
(構成4)前記画像処理部は、前記自車両の車速が予め定めた第2閾値を超えたときは、前記環境画像において、前記輪郭線が規定する範囲のうち前記自車両の前記底面及び前記側面の範囲を示す画像部分以外の画像部分に前記周囲画像を表示し、前記底面及び側面の範囲を示す画像部分には前記周囲画像を表示しない、構成1に記載の環境表示装置。
構成4の環境表示装置によれば、自車両の車速が第2閾値を超えて速くなった場合には、自車両の側面方向の環境情報も排除されるので、搭乗者は、環境画像のうち周囲画像がマスクされた自車両の底面及び両側面の範囲を基準として、より明確に車両感覚を意識することができる。
【0073】
(構成5)前記画像処理部は、前記自車両の車速が予め定めた第2閾値を超えたときは、前記環境画像において、延長された前記輪郭線が規定する範囲のうち前記自車両の延長された前記底面及び前記側面の範囲を示す画像部分以外の画像部分に前記周囲画像を表示し、前記延長された底面範囲及び側面範囲を示す画像部分には前記周囲画像を表示しない、構成2又は3に記載の環境表示装置。
構成5の環境表示装置によれば、自車両の車速が第1閾値及び第2閾値を超えて速くなった場合には、延長された側面方向の環境情報も排除されるので、搭乗者は、環境画像のうち周囲画像がマスクされた自車両の底面及び両側面の範囲を基準として、より明確に車両感覚を意識することができる。
【0074】
(構成6)前記画像処理部は、前記環境画像に、前記搭乗者から視た前記自車両の車輪の位置に、車輪の画像を表示する、構成1ないし6のいずれかに記載の環境表示装置。
構成6の環境表示装置によれば、自車両の車輪位置の把握を容易にして、運転行動についての搭乗者の判断を更に支援することができる。
【0075】
(構成7)
前記画像処理部は、前記環境画像のうち前記周囲画像が表示された画像部分に、前記自車両の前方から後方へ流れる前記周囲環境の動きに合わせて移動する定形又は不定形の図形要素群である移動グラフィックを重畳して表示する、構成1ないし6に記載の環境表示装置。
構成7の環境表示装置によれば、移動グラフィックの表示により、搭乗者は、自車両についての車速感覚も向上させることができる。
【0076】
(構成8)前記移動グラフィックの前記図形要素群は、前記環境画像において、前記周囲環境の画像の消失点から前記自車両が走行する地平面を移動する定形又は不定形の点群である、構成7に記載の環境表示装置。
構成8の環境表示装置によれば、自車両の前後方向及び左右方向の動きについての、搭乗者の車速感覚の精度を向上することができる。
【0077】
(構成9)
前記移動グラフィックの前記図形要素群は、前記環境画像において、地平線の位置から前記自車両が走行する地平面を移動する、前記地平線に平行なライン群である、構成7に記載の環境表示装置。
構成9の環境表示装置によれば、自車両の前後方向の動きについての、搭乗者の車速感覚の精度を向上することができる。
【0078】
(構成10)前記表示装置は、前記自車両の車室の内面に画像を表示するプロジェクタである、構成1ないし9のいずれかに記載の環境表示装置。
構成10の環境表示装置によれば、車室内面に環境画像が表示されるので、搭乗者に対し環境画像の現実感を高めることができる。
【0079】
(構成11)前記表示制御部は、前記プロジェクタである前記表示装置に指示して、前記搭乗者から視た前記自車両の車体の底面、側面、前面の範囲の外縁の位置と前記輪郭線の表示位置とが一致するように、前記環境画像を前記車室の内表面に表示する、構成10に記載の環境表示装置。
構成11の環境表示装置によれば、搭乗者を中心とする自車両の車体の範囲についての当該搭乗者の車体感覚の精度をより向上することができる。
【0080】
(構成12)前記表示装置は、人の頭部に装着して用いられるヘッドマウントディスプレイである、構成1ないし9のいずれかに記載の環境表示装置。
構成12の環境表示装置によれば、車室内に表示装置を搭載する必要がないので、自車両の構成を簡素化することができる。
【0081】
(構成13)前記表示装置である前記ヘッドマウントディスプレイは、前記搭乗者が視認する現実の世界に画像を重ね合わせた拡張現実の表示を提供するものであって、前記表示制御部は、前記ヘッドマウントディスプレイである前記表示装置に指示して、前記搭乗者から視た前記自車両の車体の底面、側面、前面の範囲の外縁の位置と前記輪郭線の表示位置とが一致するように前記環境画像を表示する、構成12に記載の環境表示装置。
構成13の環境表示装置によれば、搭乗者を中心とする自車両の車体の範囲についての当該搭乗者の感覚(すなわち、車体感覚)の精度をより向上することができる。
【0082】
(構成14)前記表示装置は、前記自車両に搭載されたモニタ装置である、構成1ないし9のいずれかに記載の環境表示装置。
構成14の環境表示装置によれば、車両が通常備えるモニタ装置に環境画像を表示し得るので、自車両の構成を簡素化することができる。
【0083】
(構成15)前記表示装置は、ヘッドアップディスプレイである、構成1ないし9のいずれかに記載の環境表示装置。
構成15の環境表示装置によれば、自車両の搭乗者は、搭乗者の視界の範囲内において、実環境を視認しつつ、環境画像からの情報をも得ることができる。
【0084】
(構成16)前記表示装置と、自車両の周囲環境の画像を取得する撮像装置と、構成1ないし15のいずれかに記載の環境表示装置と、を備える環境表示システム。
構成16の環境表示システムによれば、運転にとって重要性の少ない車体下部をマスクすることにより、及び自車両の前方に自分の移動と一緒に移動するマスク領域ができることにより、搭乗者は、安心感と、マスクの幅を基準とした車両感覚を得ることができる。
【符号の説明】
【0085】
1…環境表示装置、2…自車両、3…前方カメラ、4a…左ドアミラー、4b…右ドアミラー、5…物体検知装置、6…車両監視装置、7…プロジェクタ(表示装置)、8…環境表示システム、10…ステアリングホイール、11…モニタ装置、12…インストルメントパネル、13…フロントガラス、14a…左ドアウィンドウ、14b…右ドアウィンドウ、15…ルームミラー、16a…左ピラー、16b…右ピラー、17…ヘッドアップディスプレイ、20…プロセッサ、21…メモリ、22…表示プログラム、23…画像取得部、24…画像処理部、25…表示制御部、30…路側ライン、31…輪郭線、32…ドット(移動グラフィック)、33…他車両、34…車輪、35…電柱、36…建物、41…仮想輪郭線、AB…底面範囲、AF…前面範囲、AL…左側面範囲、AR…右側面範囲、D…搭乗者、DA…表示範囲、GL…地平線、P…消失点、vAB…仮想底面範囲、vAF…仮想前面範囲、vAL…仮想左側面範囲、vAR…仮想右側面範囲。
図1
図2
図3
図4
図5
図6
図7
図8