IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クラリオン株式会社の特許一覧

特開2023-88589車両周囲画像表示装置、及び車両周囲画像表示方法
<>
  • 特開-車両周囲画像表示装置、及び車両周囲画像表示方法 図1
  • 特開-車両周囲画像表示装置、及び車両周囲画像表示方法 図2
  • 特開-車両周囲画像表示装置、及び車両周囲画像表示方法 図3
  • 特開-車両周囲画像表示装置、及び車両周囲画像表示方法 図4
  • 特開-車両周囲画像表示装置、及び車両周囲画像表示方法 図5
  • 特開-車両周囲画像表示装置、及び車両周囲画像表示方法 図6
  • 特開-車両周囲画像表示装置、及び車両周囲画像表示方法 図7
  • 特開-車両周囲画像表示装置、及び車両周囲画像表示方法 図8
  • 特開-車両周囲画像表示装置、及び車両周囲画像表示方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023088589
(43)【公開日】2023-06-27
(54)【発明の名称】車両周囲画像表示装置、及び車両周囲画像表示方法
(51)【国際特許分類】
   G08G 1/16 20060101AFI20230620BHJP
   H04N 7/18 20060101ALI20230620BHJP
   B60R 1/27 20220101ALI20230620BHJP
【FI】
G08G1/16 C
H04N7/18 J
B60R1/27
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2021203416
(22)【出願日】2021-12-15
(71)【出願人】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】塩口 拓真
(72)【発明者】
【氏名】青山 紀章
【テーマコード(参考)】
5C054
5H181
【Fターム(参考)】
5C054CA04
5C054CC02
5C054EA01
5C054EA05
5C054EA07
5C054FD03
5C054FE23
5C054FE26
5C054FF03
5C054GB01
5C054HA30
5H181AA01
5H181CC04
5H181FF05
5H181FF22
5H181FF32
5H181LL01
5H181LL02
5H181LL08
(57)【要約】
【課題】運転者が車両の周囲の状況を容易に認識する。
【解決手段】車両周囲画像表示装置100は、車両1の位置を検出する位置検出部131と、車両1の位置の周辺の地図画像PGの表示形態DFとして、複数の表示形態DFの中から1つの表示形態DFAを選択する形態選択部132と、地図画像PGを、1つの表示形態DFAでディスプレイ61に表示する地図画像表示部133と、車両1の周囲の画像を取得する画像取得部134と、車両1から料金所FSまでの距離LDが、第1距離L1以下であるか否かを判定する判定部135と、距離LDが第1距離L1以下であると判定部135が判定した場合に、1つの表示形態DFAの地図画像PGに応じた向きで、車両1の周囲の画像をディスプレイ61に表示する周囲画像表示部137と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
車両の位置を検出する位置検出部と、
前記車両の位置の周辺の地図画像の表示形態として、複数の表示形態の中から1つの表示形態を選択する形態選択部と、
前記地図画像を、前記1つの表示形態でディスプレイに表示する地図画像表示部と、
前記車両の周囲の画像を取得する画像取得部と、
前記車両から特定施設までの距離が、第1距離以下であるか否かを判定する判定部と、
前記距離が前記第1距離以下であると前記判定部が判定した場合に、前記1つの表示形態の前記地図画像に応じた向きで、前記車両の周囲の画像を前記ディスプレイに表示する周囲画像表示部と、を備える、
車両周囲画像表示装置。
【請求項2】
前記周囲画像表示部は、前記車両の周囲の画像を、俯瞰画像として前記ディスプレイに表示する、
請求項1に記載の車両周囲画像表示装置。
【請求項3】
前記周囲画像表示部は、前記車両の周囲の画像を、前記車両の外側に仮想視点が設定された3次元画像として前記ディスプレイに表示する、
請求項2に記載の車両周囲画像表示装置。
【請求項4】
前記車両の前記特定施設との位置関係に応じて、前記俯瞰画像又は前記3次元画像を選択する画像選択部を備え、
前記周囲画像表示部は、前記画像選択部によって選択された画像を前記ディスプレイに表示する、
請求項3に記載の車両周囲画像表示装置。
【請求項5】
前記複数の表示形態は、
前記ディスプレイの上方向が前記地図画像の北方向になるように前記地図画像を前記ディスプレイに表示する第1表示形態と、
前記ディスプレイの上方向が前記地図画像での前記車両の進行方向になるように前記地図画像を前記ディスプレイに表示する第2表示形態と、
を含む、
請求項1から請求項4のいずれか1項に記載の車両周囲画像表示装置。
【請求項6】
車両の位置を検出する位置検出ステップと、
前記車両の位置の周辺の地図画像の表示形態として、複数の表示形態の中から1つの表示形態を選択する形態選択ステップと、
前記地図画像を、前記1つの表示形態でディスプレイに表示する地図画像表示ステップと、
前記車両の周囲の画像を取得する画像取得ステップと、
前記車両から特定施設までの距離が、第1距離以下であるか否かを判定する判定ステップと、
前記判定ステップにおいて前記距離が前記第1距離以下であると判定した場合に、前記1つの表示形態の前記地図画像に応じた向きで、前記車両の周囲の画像を前記ディスプレイに表示する周囲画像表示ステップと、を含む、
車両周囲画像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両周囲画像表示装置、及び車両周囲画像表示方法に関する。
【背景技術】
【0002】
従来、車両の周囲の画像を表示する技術が知られている。例えば、特許文献1には、俯瞰画像の表示対象とする所定施設に関する施設情報と、前記所定施設における前記俯瞰画像の表示条件とを予め記憶させた記憶部と、前記所定施設における前記俯瞰画像の表示条件に該当するか否かを判定する表示条件判定手段と、該表示条件判定により前記表示条件に該当すると判定されたときに、前記撮影画像から画像変換して俯瞰画像を生成する画像変換手段と、該画像変換手段により生成された前記俯瞰画像を前記表示部に表示する表示制御手段と、を有する車載表示装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017-28389号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の技術では、表示される俯瞰画像の向きが適切でない場合がある。俯瞰画像の向きが適切でない場合には、運転者が俯瞰画像に表示される車両の周辺の状況を認識し難い可能性がある。本発明は、運転者が車両の周囲の状況を容易に認識可能な車両周囲画像表示装置、及び車両周囲画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するために、例えば、本実施形態の車両周囲画像表示装置は、車両の位置を検出する位置検出部と、前記車両の位置の周辺の地図画像の表示形態として、複数の表示形態の中から1つの表示形態を選択する形態選択部と、前記地図画像を、前記1つの表示形態でディスプレイに表示する地図画像表示部と、前記車両の周囲の画像を取得する画像取得部と、前記車両から特定施設までの距離が、第1距離以下であるか否かを判定する判定部と、前記距離が前記第1距離以下であると前記判定部が判定した場合に、前記1つの表示形態の前記地図画像に応じた向きで、前記車両の周囲の画像を前記ディスプレイに表示する周囲画像表示部と、を備える。
【発明の効果】
【0006】
本発明の車両周囲画像表示装置、及び車両周囲画像表示方法によれば、地図画像に応じた向きで、車両の周囲の画像が表示されるため、運転者が車両の周囲の状況を容易に認識できる。
【図面の簡単な説明】
【0007】
図1】車両周囲画像表示装置を含む車載装置の構成の一例を示す図である。
図2】周囲画像表示部による3次元画像の生成方法の一例を示す図である。
図3】第1表示形態の地図画像を表示する地図表示画面の一例を示す画面図である。
図4】第1表示形態の地図画像に応じた向きで3次元画像を表示する周囲表示画面の一例を示す画面図である。
図5】第1表示形態の地図画像に応じた向きで俯瞰画像を表示する周囲表示画面の一例を示す画面図である。
図6】第2表示形態の地図画像を表示する地図表示画面の一例を示す画面図である。
図7】第2表示形態の地図画像に応じた向きで3次元画像を表示する周囲表示画面の一例を示す画面図である。
図8】第2表示形態の地図画像に応じた向きで俯瞰画像を表示する周囲表示画面の一例を示す画面図である。
図9】車両周囲画像表示装置の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明の実施形態について説明する。
図1は、車両周囲画像表示装置100を含む車載装置3の構成の一例を示す図である。車載装置3は、車両1に搭載される。車載装置3は、位置検出ユニット10、検出部20、操作部50、表示部60及び車両周囲画像表示装置100を備える。
【0009】
位置検出ユニット10は、車両1の位置を検出する。位置検出ユニット10は、GNSS(Global Navigation Satellite System)信号を受信するGNSS受信器と、GNSS受信器が受信したGNSS信号に基づいて車両1の位置を算出するプロセッサと、を備える。GNSS受信器、及びプロセッサの図示は省略する。位置検出ユニット10は、車両1の位置を示す位置情報を車両周囲画像表示装置100に出力する。
【0010】
検出部20は、車両1の周囲の画像を撮影すると共に、車両1から料金所FSまでの距離LDを検出する。料金所FSは、「特定施設」の一例に対応する。検出部20は、撮影部30と、距離センサ40と、を備える。
【0011】
本実施形態では、「特定施設」が料金所FSである場合について説明するが、これに限定されない。特定施設は、車両1が通過する際に、車両1と接触の可能性のある施設であればよい。特定施設は、例えば、ファーストフード店等のドライブスルー施設でもよい。また、特定施設が、車両1が走行している道路の路肩に駐車している車両等の障害物を含んでもよい。
【0012】
撮影部30は、車両1の周囲の画像を撮影する。撮影部30は、車両1の前方を撮影するフロントカメラ31、車両1の後方を撮影するリアカメラ33、車両1の左側方を撮影する左サイドカメラ35、及び車両1の右側方を撮影する右サイドカメラ37を備える。これらのカメラの各々は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide-Semiconductor)等のイメージセンサと、イメージセンサから撮影画像PCを生成するデータ処理回路と、を備える。
【0013】
撮影部30は、4方向(すなわち、前方向、後方向、左側方向、及び右側方向)に向けられたカメラによって車両1を中心に360°の範囲を撮影可能となるように、4方向に向けられたカメラの各々の画角が調整される。フロントカメラ31、リアカメラ33、左サイドカメラ35、及び右サイドカメラ37の各々は、撮影範囲を所定のフレームレートで撮影して撮影画像PCを生成する。撮影部30は、生成した撮影画像PCを車両周囲画像表示装置100に出力する。車両周囲画像表示装置100は、入力された撮影画像PCをメモリ140に記憶する。なお、フロントカメラ31、リアカメラ33、左サイドカメラ35、及び右サイドカメラ37の各々は、1台のカメラで構成されてもよいし、複数台のカメラで構成されてもよい。
【0014】
距離センサ40は、車両1から料金所FSまでの距離LDを検出する。距離センサ40は、例えば、車両1を構成する車体において、前方、後方、左側方、及び右側方等の複数箇所にLiDAR(Light Detection and Ranging)を備え、電磁波を用いて、点群データを取得する。点群データを構成する各々の点データは、車両1から所定距離までの範囲に存在する物体(例えば、料金所FS)との間の距離LDを示す。
【0015】
本実施形態では、距離センサ40がLiDARである場合について説明するが、これに限定されない。距離センサ40が、例えば、レーダーやソナーセンサーでもよい。また、本実施形態では、LiDARが、車両1を構成する車体において、前方、後方、左側方、及び右側方等の複数箇所に配置される場合について説明するが、これに限定されない。LiDARが、車両1のルーフに配置され、全周囲(すなわち、前方、後方、左側方、及び右側方)の点群データを取得してもよい。
【0016】
本実施形態では、距離センサ40が車両1から料金所FSまでの距離LDを検出する場合について説明するが、これに限定されない。車両周囲画像表示装置100が、撮影部30が撮影した撮影画像PCから距離LDを検出してもよい。
【0017】
操作部50は、車両1に乗車したユーザーの操作を受け付ける。ユーザーは、例えば、運転者である。操作部50は、受け付けた操作に対応した操作信号を車両周囲画像表示装置100に出力する。操作部50が受け付ける操作には、例えば、画像表示処理の開始を指示する操作や、画像表示処理を終了する操作等が含まれる。操作部50は、例えば、図略の画像表示オンスイッチ、及び図略の画像表示オフスイッチを備え、画像表示オンスイッチが押下された場合には、車両周囲画像表示装置100は、画像表示処理の開始を指示する操作を受け付ける。また、画像表示処理を実行中に、画像表示オフスイッチが押下された場合には、車両周囲画像表示装置100は、画像表示処理を終了する操作を受け付ける。
【0018】
なお、「画像表示処理」とは、車両周囲画像表示装置100が、例えば、地図画像PG、3次元画像PP、又は俯瞰画像PQをディスプレイ61に表示する処理である。「画像表示処理」については、図1を参照して車両周囲画像表示装置100の機能構成を説明し、図2図8を参照して更に説明する。また、地図画像PG、3次元画像PP、及び俯瞰画像PQについては、図2図8を参照して説明する。
【0019】
表示部60は、ディスプレイ61と、タッチセンサ63と、を備える。ディスプレイ61には、液晶ディスプレイ、有機ELディスプレイ等が用いられる。表示部60は、車両周囲画像表示装置100から入力される表示データに基づき、地図画像PG、3次元画像PP、又は俯瞰画像PQをディスプレイ61に表示する。タッチセンサ63は、抵抗膜方式や静電容量方式等のセンサが用いられる。タッチセンサ63は、ディスプレイ61の表示面に配置される。表示部60は、ディスプレイ61に対するユーザーの指でのタッチ操作を、タッチセンサ63によって検出し、検出したタッチ操作の操作位置を示す位置信号を生成する。すなわち、ディスプレイ61と、タッチセンサ63とは、いわゆる、「タッチパネル」を構成する。
【0020】
車両周囲画像表示装置100は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)等のプロセッサ130と、ROM(Read Only Memory)、RAM(Random Access Memory)等のメモリ140と、を備えるコンピュータである。車両周囲画像表示装置100は、これらの装置の他に、HDD(Hard Disk Drive)、SSD(Solid State Drive)等のストレージ装置、センサ類、周辺機器等を接続するためのインターフェース回路、及び車載ネットワークを介して他の車載装置と通信する車載ネットワーク通信回路等を備える。車両周囲画像表示装置100は、メモリ140が記憶する制御プログラムPGMを、プロセッサ130が実行することで各種の機能的構成を実現する。
【0021】
車両周囲画像表示装置100は、例えば機能部として、位置検出部131と、形態選択部132と、地図画像表示部133と、画像取得部134と、判定部135と、画像選択部136と、周囲画像表示部137と、地図記憶部141と、画像記憶部142と、を備える。具体的には、プロセッサ130が、メモリ140が記憶する制御プログラムPGMを実行することによって、プロセッサ130が、位置検出部131、形態選択部132、地図画像表示部133、画像取得部134、判定部135、画像選択部136、及び周囲画像表示部137、として機能する。また、プロセッサ130が、メモリ140が記憶する制御プログラムPGMを実行することによって、メモリ140が、地図記憶部141、及び画像記憶部142、として機能する。
【0022】
地図記憶部141は、地図画像PGを記憶する。地図画像PGは、地図画像表示部133によって読み出される。
【0023】
画像記憶部142は、撮影画像PCを記憶する。撮影画像PCは、撮影部30によって生成される。また、画像記憶部142は、車両1の3次元データ、及び車両画像QVを記憶する。車両1の3次元データは、3次元画像PPを生成する際に、周囲画像表示部137によって読み出され、車両1の3次元データから車両画像PVが生成される。車両画像QVは、俯瞰画像PQを生成する際に、周囲画像表示部137によって読み出される。車両画像PVについては、図4を参照して更に説明する。車両画像QVについては、図5を参照して更に説明する。
【0024】
位置検出部131は、車両1の位置を検出する。例えば、位置検出部131は、位置検出ユニット10から車両1の位置を示す位置情報を取得することによって、車両1の位置を検出する。
【0025】
形態選択部132は、車両1の位置の周辺の地図画像PGの表示形態DFとして、複数の表示形態DFの中から1つの表示形態DFAを選択する。形態選択部132は、例えば、操作部50に対するユーザーの操作を受け付け、受け付けた操作に応じて、複数の表示形態DFの中から1つの表示形態DFAを選択する。複数の表示形態DFは、第1表示形態DF1と、第2表示形態DF2と、を含む。第1表示形態DF1は、ディスプレイ61の上方向DUが地図画像PGの北方向になるように地図画像PGをディスプレイ61に表示する表示形態DFである。第2表示形態DF2は、ディスプレイ61の上方向DUが地図画像PGでの車両1の進行方向D1になるように地図画像PGをディスプレイ61に表示する表示形態DFである。上方向DU、及び第1表示形態DF1については、図3を参照して更に説明する。第2表示形態DF2については、図6を参照して更に説明する。
【0026】
地図画像表示部133は、地図画像PGを、形態選択部132によって選択された1つの表示形態DFAでディスプレイ61に表示する。地図画像表示部133は、例えば、位置検出ユニット10から車両1の位置を示す位置情報を取得し、取得した位置情報に対応する地図画像PGを地図記憶部141から読み出すことによって、車両1の周辺の地図画像PGを取得する。また、地図画像表示部133は、地図記憶部141から取得した地図画像PGをディスプレイ61に、例えば、第1表示形態DF1又は第2表示形態DF2で表示する。
【0027】
本実施形態では、地図画像表示部133が、位置情報に対応する地図画像PGを地図記憶部141から読み出すことによって、車両1の周辺の地図画像PGを取得する場合について説明するが、これに限定されない。車両周囲画像表示装置100がサーバ装置と通信可能に接続され、地図画像表示部133が、位置情報に対応する地図画像PGをサーバ装置から受信することによって、車両1の周辺の地図画像PGを取得してもよい。この場合には、地図記憶部141が地図画像PGを記憶する必要がないため、車両周囲画像表示装置100の構成を簡素化できる。
【0028】
画像取得部134は、車両1の周囲の画像を取得する。画像取得部134は、例えば、撮影部30のフロントカメラ31、リアカメラ33、左サイドカメラ35、及び右サイドカメラ37の各々が撮影した撮影画像PCを取得することによって、車両1の周囲の画像を取得する。
【0029】
判定部135は、車両1から料金所FSまでの距離LDが、第1距離L1以下であるか否かを判定する。第1距離L1は、例えば、5mである。距離LDは、例えば、検出部20によって検出される。また、判定部135は、車両1の走行速度が、閾値以下であるか否かを判定する。判定部135は、車両1の走行速度を、図略の走行制御ECUから取得する。走行制御ECUは、車両1の走行を制御する。閾値は、例えば、時速10kmである。なお、車両1の走行速度を、以下の説明において、車速と記載する場合がある。
【0030】
周囲画像表示部137は、形態選択部132によって選択された1つの表示形態DFAの地図画像PGに応じた向きで、車両1の周囲の画像を、俯瞰画像PQとしてディスプレイ61に表示する。また、周囲画像表示部137は、形態選択部132によって選択された1つの表示形態DFAの地図画像PGに応じた向きで、車両1の周囲の画像を、車両1の外側に仮想視点が設定された3次元画像PPとしてディスプレイ61に表示する。仮想視点は、仮想カメラVCに対応する。周囲画像表示部137は、撮影部30のフロントカメラ31、リアカメラ33、左サイドカメラ35、及び右サイドカメラ37の各々が撮影した撮影画像PCを合成することによって、俯瞰画像PQ、及び3次元画像PPを生成する。仮想カメラVC、及び3次元画像PPについては、図2を参照して更に説明する。周囲画像表示部137は、例えば、車両1の走行速度が閾値以下であると判定部135が判定した場合に、画像選択部136によって選択された画像をディスプレイ61に表示する。
【0031】
画像選択部136は、例えば、ユーザーからの操作部50に対する操作に応じて、俯瞰画像PQ又は3次元画像PPを選択する。また、画像選択部136は、車両1の料金所FSとの位置関係に応じて、俯瞰画像PQ又は3次元画像PPを選択してもよい。画像選択部136は、例えば、距離LDが第1距離L1よりも短い第2距離L2以下である場合に、俯瞰画像PQを選択してもよい。また、画像選択部136は、例えば、距離LDが第2距離L2よりも長い場合に、3次元画像PPを選択してもよい。この形態では、距離LDが第2距離L2以下ではない場合に、車両1の周囲の画像を、車両1の外側に仮想視点が設定された3次元画像PPとしてディスプレイ61に表示する。また、距離LDが第2距離L2以下である場合に、車両1の周囲の画像を、俯瞰画像PQとしてディスプレイ61に表示する。したがって、第2距離L2を適正に設定することによって、車両1の周囲の画像を、3次元画像PPとして表示するか、俯瞰画像PQとして表示するかを適正に切り換えることができる。
【0032】
次に、図2を参照して、3次元画像PPの生成方法について説明する。図2は、周囲画像表示部137による3次元画像PPの生成方法の一例を示す図である。図2に示すように、周囲画像表示部137は、半球状の投影面7を仮想空間に配置する。投影面7には、互に直交するX軸、Y軸、及びZ軸が設定される。また、投影面7の底面には、仮想車両VVが配置される。仮想車両VVは、仮想空間における車両1である。仮想車両VVは、画像記憶部142に記憶された車両1の3次元データに対応する。Z軸は、仮想空間における鉛直方向と平行である。X軸、及びY軸は、仮想空間における水平方向と平行である。X軸は、仮想車両VVの車体の長軸方向(長手方向)と平行である。Y軸は、仮想車両VVの車体の短軸方向(短手方向)と平行である。Z軸の正方向は、仮想空間の上方向である。X軸の正方向は、仮想車両VVの車体の前方向であり、仮想空間の右方向である。Y軸の正方向は、仮想車両VVの車体の右方向であり、仮想空間の下方向である。
【0033】
仮想カメラVCの位置は、例えば、車両1の料金所FSとの位置関係に応じて設定される。投影面7は、複数の分割投影面72で構成される。分割投影面72は、第1分割投影面721、第2分割投影面722、第3分割投影面723、第4分割投影面724、第5分割投影面725、及び第6分割投影面726を含む。第1分割投影面721~第6分割投影面726は、投影面7の中心面LCに対して、仮想車両VVの左方向に配置される。中心面LCは、仮想車両VVの長軸を含み、X-Z平面と平行な平面である。
【0034】
第1分割投影面721~第6分割投影面726の各々は、中心面LCに対して、30度毎に配置される。例えば、第1分割投影面721は、中心面LCに対して、0度から30度の範囲に対応する。第2分割投影面722は、中心面LCに対して、30度から60度の範囲に対応する。第3分割投影面723は、中心面LCに対して、60度から90度の範囲に対応する。第4分割投影面724は、中心面LCに対して、90度から120度の範囲に対応する。第5分割投影面725は、中心面LCに対して、120度から150度の範囲に対応する。第6分割投影面726は、中心面LCに対して、150度から180度の範囲に対応する。
【0035】
第1分割投影面721及び第2分割投影面722には、例えば、フロントカメラ31の撮影画像PCのうち、左側の半分の画像が配置される。第3分割投影面723及び第4分割投影面724には、例えば、左サイドカメラ35の撮影画像PCが配置される。第5分割投影面725及び第6分割投影面726には、例えば、リアカメラ33の撮影画像PCのうち左側の半分の画像が配置される。このようにして、第1分割投影面721~第6分割投影面726に撮影画像PCが配置される。なお、撮影画像PCを分割投影面72に配置する際には、分割投影面72の形状に合うように、撮影画像PCが変形される。同様にして、投影面7の中心面LCに対して、仮想車両VVの右方向に配置される6つの分割投影面72には、フロントカメラ31の撮影画像PCのうち右側の半分の画像、右サイドカメラ37の撮影画像PC、及び、リアカメラ33の撮影画像PCのうち右側の半分の画像が配置される。
【0036】
このように、投影面7に、フロントカメラ31、リアカメラ33、左サイドカメラ35、及び右サイドカメラ37の撮影画像PCが配置された状態で、仮想カメラVCによる撮像画像を生成することによって、周囲画像表示部137は3次元画像PPを生成する。
【0037】
次に、図3図5を参照して、第1表示形態DF1の地図画像PG、第1表示形態DF1の地図画像PGに応じた向きで表示される3次元画像PP、及び第1表示形態DF1の地図画像PGに応じた向きで表示される俯瞰画像PQについて説明する。図3図5の各々には、方角を記載している。図3図5の各々では、北方向がディスプレイ61の上方向DUであり、東方向がディスプレイ61の右方向DRである。
【0038】
まず、図3を参照して、第1表示形態DF1の地図画像PGについて説明する。図3は、第1表示形態DF1の地図画像PGを表示する地図表示画面800の一例を示す画面図である。地図表示画面800は、地図画像表示部133によってディスプレイ61に表示される。第1表示形態DF1は、ディスプレイ61の上方向DUが地図画像PGの北方向になるように地図画像PGをディスプレイ61に表示する表示形態DFである。地図表示画面800には、高速道路RWと、料金所FSと、車両マークMVと、が表示される。地図表示画面800では、高速道路RWは、高速道路の画像を示し、料金所FSは、料金所の画像を示す。地図表示画面800では、料金所FSは、矩形状のマークで表示される。
【0039】
高速道路RWは、南西方向から北東方向に向かう一方通行の道路である。高速道路RWは、第1車線RW1、第2車線RW2、第3車線RW3、及び第4車線RW4の4つの車線で構成される。第1車線RW1、第2車線RW2、第3車線RW3、及び第4車線RW4は、この順に、北西方向から南東方向に向けて配列される。
【0040】
車両マークMVは、車両1の位置を示す。車両マークMVは、例えば、二等辺三角形で表示され、鋭角の頂点が、車両1の前端を示す。進行方向D1は、車両1の進行方向を示す。進行方向D1は、北東方向である。すなわち、車両1は、北東方向に向けて走行している。車両マークMVは、第3車線RW3に表示されている。すなわち、車両1は、第3車線RW3を走行している。
【0041】
料金所FSは、高速道路RWの幅方向(北西方向から南東方向)に延びる。料金所FSは、車両1の走行方向に配置される。距離LDは、車両1と料金所FSとの距離である。
【0042】
次に、図4を参照して、第1表示形態DF1の地図画像PGに応じた向きで表示される3次元画像PPについて説明する。図4は、第1表示形態DF1の地図画像PGに応じた向きで3次元画像PPを表示する周囲表示画面810の一例を示す画面図である。周囲表示画面810は、周囲画像表示部137によってディスプレイ61に表示される。周囲表示画面810には、車両画像PVと、料金所FSと、が表示される。なお、車両画像PVは、周囲画像表示部137によって、画像記憶部142に記憶された車両1の3次元データから生成される。図4に示す3次元画像PPは、第1表示形態DF1の地図画像PGに応じた向きで表示される。例えば、3次元画像PPにおける車両1の進行方向D1は、地図画像PGにおける車両1の進行方向D1と一致する。進行方向D1は、北東方向である。また、図4に示す3次元画像PPは、図2に示す仮想カメラVCが、仮想車両VVの右側の後上方に配置される場合に、仮想カメラVCによって撮像される画像である。
【0043】
料金所FSには、第1料金施設FS1、第2料金施設FS2、第3料金施設FS3、及び第4料金施設FS4が配置される。第1料金施設FS1は、第1車線RW1と第2車線RW2との間に配置される。第2料金施設FS2は、第2車線RW2と第3車線RW3との間に配置される。第3料金施設FS3は、第3車線RW3と第4車線RW4との間に配置される。第4料金施設FS4は、第4車線RW4の南東側に配置される。第1料金施設FS1、第2料金施設FS2、第3料金施設FS3、及び第4料金施設FS4は、この順に、北西方向から南東方向に向けて配列される。
【0044】
第3車線RW3を走行する車両は、第3料金投入口CS3に料金を投入する。第3料金投入口CS3は、第3料金投入口CS31及び第3料金投入口CS32で構成される。第3料金投入口CS32は、第2料金施設FS2の第3車線RW3側に配置される。また、第3料金投入口CS31は、第3料金施設FS3の第3車線RW3側に配置される。第3料金投入口CS31には、例えば、第3車線RW3を走行する車両が左ハンドル車である場合に、第3車線RW3を走行する車両から料金が投入される。第3料金投入口CS32には、例えば、第3車線RW3を走行する車両が右ハンドル車である場合に、第3車線RW3を走行する車両から料金が投入される。
【0045】
第2料金投入口CS22は、第1料金施設FS1の第2車線RW2側に配置される。第4料金投入口CS42は、第3料金施設FS3の第4車線RW4側に配置される。第4料金投入口CS41は、第4料金施設FS4の第4車線RW4側に配置される。
【0046】
図4に示すように、第3料金投入口CS31、及び第3料金投入口CS32が第3車線RW3に向けて突出して配置されるため、車両1が第3車線RW3を走行する場合には、第3料金投入口CS31、及び第3料金投入口CS32と接触しないように注意する必要があることを運転者が認識できる。
【0047】
また、図4に示すように、第1表示形態DF1の地図画像PGに応じた向きで3次元画像PPを表示するため、地図画像PGにおける車両1の進行方向D1と、3次元画像PPにおける車両1の進行方向D1とは一致する。したがって、3次元画像PPを視認することによって、運転者が車両1の周囲の状況を容易に認識できる。
【0048】
次に、図5を参照して、第1表示形態DF1の地図画像PGに応じた向きで表示される俯瞰画像PQについて説明する。図5は、第1表示形態DF1の地図画像PGに応じた向きで俯瞰画像PQを表示する周囲表示画面820の一例を示す画面図である。周囲表示画面820は、周囲画像表示部137によってディスプレイ61に表示される。周囲表示画面820には、車両画像QVと、第2料金施設FS2と、第3料金施設FS3と、が表示される。図5に示す俯瞰画像PQは、第1表示形態DF1の地図画像PGに応じた向きで表示される。例えば、俯瞰画像PQにおける車両1の進行方向D1は、地図画像PGにおける車両1の進行方向D1と一致する。
【0049】
図5に示すように、第3料金投入口CS32は、第2料金施設FS2の第3車線RW3側に配置される。また、第3料金投入口CS31は、第3料金施設FS3の第3車線RW3側に配置される。
【0050】
図5に示すように、第3料金投入口CS31、及び第3料金投入口CS32が第3車線RW3に向けて突出して配置されるため、車両1が第3車線RW3を走行する場合には、第3料金投入口CS31、及び第3料金投入口CS32と接触しないように注意する必要があることを運転者が認識できる。
【0051】
また、図5に示すように、第1表示形態DF1の地図画像PGに応じた向きで俯瞰画像PQを表示するため、地図画像PGにおける車両1の進行方向D1と、俯瞰画像PQにおける車両1の進行方向D1とは一致する。したがって、俯瞰画像PQを視認することによって、運転者が車両1の周囲の状況を容易に認識できる。
【0052】
次に、図6図8を参照して、第2表示形態DF2の地図画像PG、第2表示形態DF2の地図画像PGに応じた向きで表示される3次元画像PP、及び第2表示形態DF2の地図画像PGに応じた向きで表示される俯瞰画像PQについて説明する。図6図8の各々には、方角を記載している。北方向がディスプレイ61の左上方向であり、東方向がディスプレイ61の右上方向である。
【0053】
まず、図6を参照して、第2表示形態DF2の地図画像PGについて説明する。図6は、第2表示形態DF2の地図画像PGを表示する地図表示画面900の一例を示す画面図である。第2表示形態DF2は、ディスプレイ61の上方向DUが地図画像PGでの車両1の進行方向D1になるように地図画像PGをディスプレイ61に表示する表示形態DFである。地図表示画面900には、高速道路RWと、料金所FSと、車両マークMVと、が表示される。地図表示画面900では、高速道路RWは、高速道路の画像を示し、料金所FSは、料金所の画像を示す。地図表示画面900では、料金所FSは、矩形状のマークで表示される。
【0054】
高速道路RWは、南西方向から北東方向に向かう一方通行の道路である。高速道路RWは、第1車線RW1、第2車線RW2、第3車線RW3、及び第4車線RW4の4つの車線で構成される。第1車線RW1、第2車線RW2、第3車線RW3、及び第4車線RW4は、この順に、北西方向から南東方向に向けて配列される。
【0055】
車両マークMVは、車両1の位置を示す。車両マークMVは、例えば、二等辺三角形で表示され、鋭角の頂点が、車両1の前端を示す。進行方向D1は、車両1の進行方向を示す。進行方向D1は、北東方向である。すなわち、車両1は、北東方向に向けて走行している。車両マークMVは、第3車線RW3に表示されている。すなわち、車両1は、第3車線RW3を走行している。
【0056】
料金所FSは、高速道路RWの幅方向(北西方向から南東方向)に延びる。料金所FSは、車両1の走行方向に配置される。距離LDは、車両1と料金所FSとの距離である。
【0057】
図6に示す第2表示形態DF2では、ディスプレイ61の上方向DUと、車両1の進行方向D1とが平行になるように、地図画像PGが表示される。
【0058】
次に、図7を参照して、第2表示形態DF2の地図画像PGに応じた向きで表示される3次元画像PPについて説明する。図7は、第2表示形態DF2の地図画像PGに応じた向きで3次元画像PPを表示する周囲表示画面910の一例を示す画面図である。周囲表示画面910は、周囲画像表示部137によってディスプレイ61に表示される。周囲表示画面910には、車両画像PVと、料金所FSと、が表示される。なお、車両画像PVは、周囲画像表示部137によって、画像記憶部142に記憶された車両1の3次元データから生成される。図7に示す3次元画像PPは、第2表示形態DF2の地図画像PGに応じた向きで表示される。例えば、3次元画像PPにおける車両1の進行方向D1は、地図画像PGにおける車両1の進行方向D1と一致する。進行方向D1は、北東方向である。また、図7に示す3次元画像PPは、図2に示す仮想カメラVCが、仮想車両VVの右側の後上方に配置される場合に、仮想カメラVCによって撮像される画像である。
【0059】
料金所FSには、第1料金施設FS1、第2料金施設FS2、第3料金施設FS3、及び第4料金施設FS4が配置される。第1料金施設FS1、第2料金施設FS2、第3料金施設FS3、及び第4料金施設FS4は、この順に、北西方向から南東方向に向けて配列される。第3車線RW3を走行する車両は、第3料金投入口CS3に料金を投入する。第3料金投入口CS3は、第3料金投入口CS31及び第3料金投入口CS32で構成される。
【0060】
図7に示すように、第3料金投入口CS31、及び第3料金投入口CS32が第3車線RW3に向けて突出して配置されるため、車両1が第3車線RW3を走行する場合には、第3料金投入口CS31、及び第3料金投入口CS32と接触しないように注意する必要があることを運転者が認識できる。
【0061】
また、図7に示すように、第1表示形態DF1の地図画像PGに応じた向きで3次元画像PPを表示するため、地図画像PGにおける車両1の進行方向D1と、3次元画像PPにおける車両1の進行方向D1とは一致する。したがって、3次元画像PPを視認することによって、運転者が車両1の周囲の状況を容易に認識できる。
【0062】
次に、図8を参照して、第2表示形態DF2の地図画像PGに応じた向きで表示される俯瞰画像PQについて説明する。図8は、第2表示形態DF2の地図画像PGに応じた向きで俯瞰画像PQを表示する周囲表示画面920の一例を示す画面図である。周囲表示画面920は、周囲画像表示部137によってディスプレイ61に表示される。周囲表示画面920には、車両画像QVと、第2料金施設FS2と、第3料金施設FS3と、が表示される。図8に示す俯瞰画像PQは、第2表示形態DF2の地図画像PGに応じた向きで表示される。例えば、俯瞰画像PQにおける車両1の進行方向D1は、地図画像PGにおける車両1の進行方向D1と一致する。すなわち、俯瞰画像PQにおける車両1の進行方向D1は、ディスプレイ61の上方向DUと平行である。
【0063】
図8に示すように、第3料金投入口CS32は、第2料金施設FS2の第3車線RW3側に配置される。また、第3料金投入口CS31は、第3料金施設FS3の第3車線RW3側に配置される。
【0064】
図8に示すように、第3料金投入口CS31、及び第3料金投入口CS32が第3車線RW3に向けて突出して配置されるため、車両1が第3車線RW3を走行する場合には、第3料金投入口CS31、及び第3料金投入口CS32と接触しないように注意する必要があることを運転者が認識できる。
【0065】
また、図8に示すように、第2表示形態DF2の地図画像PGに応じた向きで俯瞰画像PQを表示するため、地図画像PGにおける車両1の進行方向D1と、俯瞰画像PQにおける車両1の進行方向D1とは一致する。したがって、俯瞰画像PQを視認することによって、運転者が車両1の周囲の状況を容易に認識できる。
【0066】
次に、図9を参照して、車両周囲画像表示装置100の処理について説明する。図9は、車両周囲画像表示装置100の処理の一例を示すフローチャートである。なお、図8では、画像選択部136が、例えば、ユーザーからの操作部50に対する操作に応じて、俯瞰画像PQ又は3次元画像PPを、予め選択済である場合について説明する。まず、ステップS101において、位置検出部131は、位置検出ユニット10から車両1の位置を示す位置情報を取得することによって、車両1の位置を検出する。次に、ステップS103において、形態選択部132は、操作部50に対するユーザーの操作を受け付け、受け付けた操作に応じて、複数の表示形態DFの中から1つの表示形態を選択する。なお、複数の表示形態DFは、第1表示形態DF1と、第2表示形態DF2と、を含む。
【0067】
次に、ステップS105において、地図画像表示部133は、地図画像PGを、ステップS103で選択された1つの表示形態DFAでディスプレイ61に表示する。地図画像表示部133は、地図記憶部141から取得した地図画像PGをディスプレイ61に、例えば、第1表示形態DF1又は第2表示形態DF2で表示する。次に、ステップS107において、画像取得部134は、車両1の周囲の画像を取得する。画像取得部134は、例えば、撮影部30のフロントカメラ31、リアカメラ33、左サイドカメラ35、及び右サイドカメラ37の各々が撮影した撮影画像PCを取得することによって、車両1の周囲の画像を取得する。
【0068】
次に、ステップS109において、判定部135は、車両1から料金所FSまでの距離LDを検出する。判定部135は、例えば、距離センサ40から距離LDを取得する。次に、ステップS111において、判定部135は、距離LDが第1距離L1以下であるか否かを判定する。第1距離L1は、例えば、5mである。距離LDが第1距離L1以下ではないと判定部135が判定した場合(ステップS109;NO)には、処理がステップS121へ進む。距離LDが第1距離L1以下であると判定部135が判定した場合(ステップS109;YES)には、処理がステップS113へ進む。
【0069】
そして、ステップS113において、判定部135は、車両1の走行速度が、閾値以下であるか否かを判定する。閾値は、例えば、時速10kmである。車両1の走行速度が閾値以下ではないと判定部135が判定した場合(ステップS113;NO)には、処理が待機状態になる。車両1の走行速度が閾値以下であると判定部135が判定した場合(ステップS113;YES)には、処理がステップS115へ進む。そして、ステップS115において、判定部135は、俯瞰画像PQを表示するか否かを判定する。
【0070】
俯瞰画像PQを表示しないと判定部135が判定した場合(ステップS115;NO)には、処理がステップS117へ進む。そして、ステップS117において、周囲画像表示部137は、ステップS103において選択された1つの表示形態DFAの地図画像PGに応じた向きで、車両1の周囲の画像を3次元画像PPとしてディスプレイ61に表示する。その後、処理がステップS121へ進む。俯瞰画像PQを表示すると判定部135が判定した場合(ステップS115;YES)には、処理がステップS119へ進む。そして、ステップS119において、周囲画像表示部137は、ステップS103において選択された1つの表示形態の地図画像PGに応じた向きで、車両1の周囲の画像を俯瞰画像PQとしてディスプレイ61に表示する。その後、処理がステップS121へ進む。
【0071】
次に、ステップS121において、車両周囲画像表示装置100は、操作部50が受け付けたユーザーの操作に応じて、画像表示処理を終了するか否かを判定する。画像表示処理を終了しないと車両周囲画像表示装置100が判定した場合(ステップS121;NO)には、処理がステップS101に戻る。画像表示処理を終了すると車両周囲画像表示装置100が判定した場合(ステップS121;YES)には、その後、処理が終了される。
【0072】
ステップS101は、「位置検出ステップ」の一例に対応する。ステップS103は、「形態選択ステップ」の一例に対応する。ステップS105は、「地図画像表示ステップ」の一例に対応する。ステップS107は、「画像取得ステップ」の一例に対応する。ステップS111は、「判定ステップ」の一例に対応する。ステップS117及びステップS119は、「周囲画像表示ステップ」の一例に対応する。
【0073】
図9を参照して説明したように、車両1の走行速度が、閾値以下である場合に、地図画像PGから車両1の周囲の画像を示す3次元画像PP、又は俯瞰画像PQに切り換えられる。したがって、閾値を適正に設定することによって、地図画像PGから車両1の周囲の画像を示す3次元画像PP、又は俯瞰画像PQに適正に切り換えることができる。
【0074】
以上、図1図9を参照して説明したように、本実施形態に係る車両周囲画像表示装置100は、車両1の位置を検出する位置検出部131と、車両1の位置の周辺の地図画像PGの表示形態DFとして、複数の表示形態DFの中から1つの表示形態DFAを選択する形態選択部132と、地図画像PGを、1つの表示形態DFAでディスプレイ61に表示する地図画像表示部133と、車両1の周囲の画像を取得する画像取得部134と、車両1から料金所FSまでの距離LDが、第1距離L1以下であるか否かを判定する判定部135と、距離LDが第1距離L1以下であると判定部135が判定した場合に、1つの表示形態DFAの地図画像PGに応じた向きで、車両1の周囲の画像をディスプレイ61に表示する周囲画像表示部137と、を備える。
【0075】
よって、距離LDが第1距離L1以下であると判定部135が判定した場合に、周囲画像表示部137は、1つの表示形態DFAの地図画像PGに応じた向きで、車両1の周囲の画像をディスプレイ61に表示する。したがって、地図画像PGに応じた向きで、車両1の周囲の画像が表示されるため、運転者が車両1の周囲の状況を容易に認識できる。また、距離LDが第1距離L1以下である場合に、車両1の周囲の画像が表示されるため、第1距離L1を適正に設定することによって、車両1の周囲の画像を適正なタイミングで表示できる。
【0076】
また、周囲画像表示部137は、車両1の周囲の画像を、俯瞰画像PQとしてディスプレイ61に表示する。したがって、車両1の周囲の画像を俯瞰画像PQとして表示するため、運転者が車両1の周囲の状況を容易に認識できる。
【0077】
また、周囲画像表示部137は、車両1の周囲の画像を、車両1の外側に仮想視点が設定された3次元画像PPとしてディスプレイ61に表示する。したがって、車両1の周囲の画像を3次元画像PPとして表示するため、運転者が車両1の周囲の状況を容易に認識できる。
【0078】
また、車両1の料金所FSとの位置関係に応じて、俯瞰画像PQ又は3次元画像PPを選択する画像選択部136を備え、周囲画像表示部137は、画像選択部136によって選択された画像をディスプレイ61に表示する。
よって、車両1の料金所FSとの位置関係に応じて、俯瞰画像PQ又は3次元画像PPを選択し、選択された画像を表示するため、俯瞰画像PQ又は3次元画像PPを適正に選択し表示できる。したがって、運転者が車両1の周囲の状況を容易に認識できる。
【0079】
また、複数の表示形態DFは、ディスプレイ61の上方向DUが地図画像PGの北方向になるように地図画像PGをディスプレイ61に表示する第1表示形態DF1と、ディスプレイ61の上方向DUが地図画像PGでの車両1の進行方向D1になるように地図画像PGをディスプレイ61に表示する第2表示形態DF2と、を含む。したがって、運転者は第1表示形態DF1を選択することによって、ディスプレイ61の上方向DUが地図画像PGの北方向になるように地図画像PGをディスプレイ61に表示できる。また、運転者は第2表示形態DF2を選択することによって、ディスプレイ61の上方向DUが地図画像PGでの車両1の進行方向D1になるように地図画像PGをディスプレイ61に表示できる。したがって、運転者の利便性を向上できる。
【0080】
また、本実施形態に係る車両周囲画像表示方法は、車両1の位置を検出する位置検出ステップと、車両1の位置の周辺の地図画像PGの表示形態DFとして、複数の表示形態DFの中から1つの表示形態DFAを選択する形態選択ステップと、地図画像PGを、1つの表示形態DFAでディスプレイ61に表示する地図画像表示ステップと、車両1の周囲の画像を取得する画像取得ステップと、車両1から料金所FSまでの距離LDが、第1距離L1以下であるか否かを判定する判定ステップと、判定ステップにおいて距離LDが第1距離L1以下であると判定した場合に、1つの表示形態DFAの地図画像PGに応じた向きで、車両1の周囲の画像をディスプレイ61に表示する周囲画像表示ステップと、を含む。したがって、本実施形態に係る車両周辺情報表示方法は、本実施形態に係る車両周囲画像表示装置100と同様の効果を奏する。
【0081】
上述した本実施形態は、あくまでも本発明の一実施形態を例示したものであって、本発明の主旨を逸脱しない範囲で任意に変形、及び応用が可能である。
【0082】
例えば、図1は、本発明の理解を容易にするために、構成要素を主な処理内容に応じて分類して示した図であり、構成要素は、処理内容に応じて、更に多くの構成要素に分類することもできる。また、1つの構成要素が更に多くの処理を実行するように分類することもできる。また、各構成要素の処理は、1つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、1つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。
【0083】
また、図1において、車両周囲画像表示装置100が、表示部50を一体に備えてもよい。
【0084】
また、本実施形態では、車両周囲画像表示装置100が、位置検出部131、形態選択部132、地図画像表示部133、画像取得部134、判定部135、画像選択部136、及び周囲画像表示部137を備えるが、これに限定されない。車両周囲画像表示装置100とインターネット等のネットワークを介して通信可能に接続されたサーバ装置が、位置検出部131、形態選択部132、地図画像表示部133、画像取得部134、判定部135、画像選択部136、及び周囲画像表示部137の少なくとも1つを備えてもよい。サーバ装置が、例えば、周囲画像表示部137を備えてもよい。この場合には、周囲画像表示部137は、人工衛星が撮像した俯瞰画像PQを取得してもよい。
【0085】
また、本発明の車両周辺情報表示方法を、コンピュータを用いて実現する場合には、このコンピュータが実行する制御プログラムPGMを記録媒体、又はこの制御プログラムPGMを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、HDD、CD-ROM(Compact Disk Read Only Memory)、DVD、Blu-ray(登録商標) Disc、光磁気ディスク、フラッシュメモリ、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、車両周囲画像表示装置100が備えるRAM、ROM、HDD等の不揮発性記憶装置であってもよい。また、制御プログラムPGMを、車両周囲画像表示装置100とネットワークを介して通信可能に接続されたサーバ装置から車両周囲画像表示装置100がダウンロードしてもよい。
【0086】
また、例えば、図9に示すフローチャートの処理単位は、車両周囲画像表示装置100の処理の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。車両周囲画像表示装置100の処理は、処理内容に応じて、更に多くの処理単位に分割してもよい。また、車両周囲画像表示装置100の処理は、1つの処理単位が更に多くの処理を含むように分割してもよい。
【符号の説明】
【0087】
100 車両周囲画像表示装置
1 車両
10 位置検出ユニット
20 検出部
30 撮影部
40 距離センサ
60 表示部
61 ディスプレイ
130 プロセッサ
140 メモリ
図1
図2
図3
図4
図5
図6
図7
図8
図9