(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183871
(43)【公開日】2023-12-28
(54)【発明の名称】表示制御装置、表示装置、表示システム、車両、表示制御方法及びプログラム
(51)【国際特許分類】
B60K 35/00 20060101AFI20231221BHJP
【FI】
B60K35/00 A
B60K35/00 Z
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022097653
(22)【出願日】2022-06-16
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】青木 俊徳
(72)【発明者】
【氏名】堀田 憲久
(72)【発明者】
【氏名】廣田 貴浩
【テーマコード(参考)】
3D344
【Fターム(参考)】
3D344AA20
3D344AB01
3D344AC25
3D344AD01
(57)【要約】
【課題】物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正する。
【解決手段】表示制御装置34は、車両10の周辺の物標90を検知する物標検知部の検知情報に基づいて、物標90の位置情報を取得する位置情報取得部54と、車両10の速度情報を取得する速度情報取得部56と、車両10に物標90が接近する接近方向を取得する接近方向取得部58と、速度情報取得部56が取得した速度情報に基づいて、位置情報取得部54が取得した位置P1に対して、接近方向にオフセットするオフセット部62と、オフセット部62がオフセットした位置P2に、車室内に設けられた第3表示領域G3に重畳表示され、物標90に対する注意を促すマークM1を生成するマーク生成部64と、を備える。
【選択図】
図4
【特許請求の範囲】
【請求項1】
車両の周辺の物標を検知する物標検知部の検知情報に基づいて、前記物標の位置に関する位置情報を取得する位置情報取得部と、
前記車両の速度に関する速度情報を取得する速度情報取得部と、
前記車両に前記物標が接近する接近方向を取得する接近方向取得部と、
前記速度情報取得部が取得した前記速度情報に基づいて、前記位置情報取得部が取得した前記位置情報に対して、前記接近方向取得部が取得した前記接近方向にオフセットするオフセット部と、
前記オフセット部がオフセットした前記位置情報に基づいて、車室内に設けられた表示領域に重畳表示され、前記物標に対する注意を促すマークを生成するマーク生成部と、
を備える表示制御装置。
【請求項2】
前記接近方向取得部が取得した前記接近方向が、前記車両の進行方向である場合、前記速度情報を前記車両の絶対速度に関する情報とする
請求項1に記載の表示制御装置。
【請求項3】
前記接近方向取得部が取得した前記接近方向が、前記車両の進行方向に対して傾斜した傾斜方向である場合、前記速度情報を前記物標に対する前記車両の相対速度に関する情報とする
請求項1に記載の表示制御装置。
【請求項4】
前記オフセット部は、前記物標検知部が前記物標を検知してから、前記マーク生成部が前記マークを生成するまでにかかる処理時間に基づいて、前記オフセット部が前記位置情報をオフセットするオフセット距離を調整する
請求項1に記載の表示制御装置。
【請求項5】
前記位置情報取得部は、レーダの検知情報に基づいて、前記車両の進行方向における前記物標の位置に関する位置情報を取得し、カメラのカメラ画像に基づいて、前記車両の進行方向に直交した直交方向における前記物標の位置に関する位置情報を取得する
請求項1に記載の表示制御装置。
【請求項6】
前記マーク生成部は、前記位置情報取得部が取得した位置情報に基づいて、前記マークの大きさを変化させる
請求項1に記載の表示制御装置。
【請求項7】
請求項1から請求項6のいずれか1項に記載の表示制御装置と、
車室内に設けられた表示領域に前記マークを重畳表示させる画像を出力する出力部と、
前記出力部が出力する画像が重畳表示される表示領域と、
を備える表示装置。
【請求項8】
請求項7に記載の表示装置と、
前記車両の周辺の前記物標を検知する物標検知部と、
を備える表示システム。
【請求項9】
請求項8に記載の表示システムと、
前記表示領域を構成するウインドシールドと、
を備える車両。
【請求項10】
車両の周辺の物標を検知する物標検知部の検知情報に基づいて、前記物標の位置に関する位置情報を取得し、
前記車両の速度に関する速度情報を取得し、
前記車両に前記物標が接近する接近方向を取得し、
前記速度情報に基づいて、前記位置情報に対して、前記接近方向にオフセットし、
オフセットした前記位置情報に基づいて、車室内に設けられた表示領域に重畳表示され、前記物標に対する注意を促すマークを生成する
表示制御方法。
【請求項11】
車両の周辺の物標を検知する物標検知部の検知情報に基づいて、前記物標の位置に関する位置情報を取得し、
前記車両の速度に関する速度情報を取得し、
前記車両に前記物標が接近する接近方向を取得し、
前記速度情報に基づいて、前記位置情報に対して、前記接近方向にオフセットし、
オフセットした前記位置情報に基づいて、車室内に設けられた表示領域に重畳表示され、前記物標に対する注意を促すマークを生成する
処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置、表示装置、表示システム、車両、表示制御方法及びプログラムに関する。
【背景技術】
【0002】
従来、車両のフロントウインドシールド等に画像を投射することで、AR(Augmented Reality)画像の虚像を車両の前景に重畳表示するヘッドアップディスプレイ等の表示装置が知られている(例えば、特許文献1参照)。
【0003】
特許文献1には、自車両の運転者に対して注意喚起を行う必要のある注意対象物を検出し、注意対象物から自車両までの距離を算出する注意対象物検出部と、注意対象物検出部で検出された注意対象物について運転者に注意喚起を行う注意マークを、運転者から見て、フロントガラス上で注意対象物から所定距離だけ離れた位置に隣接表示する表示制御部とを備え、表示制御部は、注意対象物から自車両までの距離に応じて所定距離を変化させて注意マークの表示位置を変更し、注意対象物が検出されてから注意マークを表示するまでの時間差に応じて、注意マークの表示位置を補正し、さらに注意対象物が検出されたときの自車両の速度に応じて、所定距離を補正する技術が開示されている。
【0004】
上記構成によれば、注意対象物が検出されてから注意マークを表示するまでの時間差に応じて、注意マークの表示位置が補正され、さらに注意対象物が検出されたときの自車両の速度に応じて、所定距離が補正されるので、注意マークを表示するまでの時間差及び自車両の速度に関係なく、注意マークを適正な位置に表示することができる。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載された技術は、注意対象物が検出されてから注意マークを表示するまでの時間差と、注意対象物が検出されたときの自車両の速度とに応じて、注意マークの注意対象物からの距離を変化させて表示位置を補正するものであり、注意対象物と注意マークとの間に依然として位置ズレが発生してしまうため、改善の余地がある。
【0007】
本発明は、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することを目的とする。
【課題を解決するための手段】
【0008】
請求項1に係る表示制御装置は、車両の周辺の物標を検知する物標検知部の検知情報に基づいて、前記物標の位置に関する位置情報を取得する位置情報取得部と、前記車両の速度に関する速度情報を取得する速度情報取得部と、前記車両に前記物標が接近する接近方向を取得する接近方向取得部と、前記速度情報取得部が取得した前記速度情報に基づいて、前記位置情報取得部が取得した前記位置情報に対して、前記接近方向取得部が取得した前記接近方向にオフセットするオフセット部と、前記オフセット部がオフセットした前記位置情報に基づいて、車室内に設けられた表示領域に重畳表示され、前記物標に対する注意を促すマークを生成するマーク生成部と、を備える。
【0009】
請求項1に係る表示制御装置によれば、速度情報に基づいて、位置情報取得部が取得した物標の位置に対してオフセットした位置にマークを生成することで、位置情報取得部が取得した物標の位置に対して、速度に応じてオフセットした位置に、物標に対する注意を促すマークが生成される。そのため、物標検知部が物標を検知してから、マーク生成部がマークを生成するまでの処理時間により発生する、重畳表示されるマークと実際の物標との位置ずれを補正することができる。しかも、物標が接近する接近方向に、位置情報取得部が取得した物標の位置をオフセットすることで、重畳表示されるマークと実際の物標との位置ずれが発生する方向に、位置情報取得部が取得した物標の位置がオフセットされる。そのため、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することができる。その結果、重畳表示されるマークの位置を実際の物標の位置に近づけることができる。
【0010】
請求項2に係る表示制御装置は、請求項1に記載の表示制御装置において、前記接近方向取得部が取得した前記接近方向が、前記車両の進行方向である場合、前記速度情報を前記車両の絶対速度に関する情報とする。
【0011】
請求項2に係る表示制御装置によれば、速度情報を車両の絶対速度とすることで、車両の速度を検知することにより、速度情報が取得されることになる。そのため、速度情報を車両の物標に対する相対速度とする場合と比較して、速やかに速度情報を取得することができる。その結果、位置情報取得部が取得した物標の位置に対して、オフセット部がオフセットする時間を短縮することができる。また、表示制御装置に搭載されたCPUの負荷も軽減することができる。そのため、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレをより適切に補正することができる。
【0012】
請求項3に係る表示制御装置は、請求項1に記載の表示制御装置において、前記接近方向取得部が取得した前記接近方向が、前記車両の進行方向に対して傾斜した傾斜方向である場合、前記速度情報を前記物標に対する前記車両の相対速度に関する情報とする。
【0013】
請求項3に係る表示制御装置によれば、速度情報を物標に対する車両の相対速度とすることで、この相対速度に基づいて、位置情報取得部が取得した物標の位置に対してオフセット部がオフセットするオフセット距離が適切に設定される。そのため、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレをより適切に補正することができる。
【0014】
請求項4に係る表示制御装置は、請求項1から請求項3までのいずれか1項に記載の表示制御装置において、前記オフセット部は、前記物標検知部が前記物標を検知してから、前記マーク生成部が前記マークを生成するまでにかかる処理時間に基づいて、前記オフセット部が前記位置情報をオフセットするオフセット距離を調整する。
【0015】
請求項4に係る表示制御装置によれば、物標検知部が物標を検知してから、マーク生成部がマークを生成するまでにかかる処理時間に基づいて、位置情報取得部が取得した物標の位置をオフセットするオフセット距離を調整することで、処理時間が長い場合は、オフセット距離が大きくされ、処理時間が短い場合は、オフセット距離が小さくされる。そのため、処理時間に応じて、位置情報取得部が取得した物標の位置に対してオフセット部がオフセットするオフセット距離が適切に設定される。その結果、重畳表示されるマークの位置を、処理時間に応じた適切な位置に補正することができる。
【0016】
請求項5に係る表示制御装置は、請求項1から請求項4までのいずれか1項に記載の表示制御装置において、前記位置情報取得部は、レーダの検知情報に基づいて、前記車両の進行方向における前記物標の位置に関する位置情報を取得し、カメラのカメラ画像に基づいて、前記車両の進行方向に直交した直交方向における前記物標の位置に関する位置情報を取得する。
【0017】
請求項5に係る表示制御装置によれば、車両の進行方向における物標の位置情報がレーダの検知情報によって取得され、車両の進行方向に直交した直交方向における物標の位置情報がカメラのカメラ画像に基づいて取得される。そのため、より正確な物標の位置情報が取得される。その結果、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレをより適切に補正することができる。
【0018】
請求項6に係る表示制御装置は、請求項1から請求項5までのいずれか1項に記載の表示制御装置において、前記マーク生成部は、前記位置情報取得部が取得した位置情報に基づいて、前記マークの大きさを変化させる。
【0019】
請求項6に係る表示制御装置によれば、位置情報取得部が取得した位置情報に基づいて、マークの大きさを変化させることで、車両と物標との距離が近い場合、マークの大きさを大きくし、車両と物標との距離が遠い場合、マークの大きさを小さくすることができる。そのため、物標との距離に応じて、適切な大きさのマークを重畳表示することができる。その結果、乗員は、物標との距離をマークの大きさから認識することができる。
【0020】
請求項7に係る表示装置は、請求項1から請求項6のいずれか1項に記載の表示制御装置と、車室内に設けられた表示領域に前記マークを重畳表示させる画像を出力する出力部と、前記出力部が出力する画像が重畳表示される表示領域と、を備える。
【0021】
請求項7に係る表示装置によれば、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することができる。
【0022】
請求項8に係る表示システムは、請求項7に記載の表示装置と、前記車両の周辺の前記物標を検知する物標検知部と、を備える。
【0023】
請求項8に係る表示システムによれば、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することができる。
【0024】
請求項9に係る車両は、請求項8に記載の表示システムと、前記表示領域を構成するウインドシールドと、を備える。
【0025】
請求項9に係る車両によれば、ウインドシールドの表示領域にマークが表示されるので、乗員は、視線を車両前方に向けた状態で、マークを認識する。そのため、乗員は、運転中に、視線を車両前方からそらさずに、マークを認識することができる。
【0026】
請求項10に係る表示制御方法は、車両の周辺の物標を検知する物標検知部の検知情報に基づいて、前記物標の位置に関する位置情報を取得し、前記車両の速度に関する速度情報を取得し、前記車両に前記物標が接近する接近方向を取得し、前記速度情報に基づいて、前記位置情報に対して、前記接近方向にオフセットし、オフセットした前記位置情報に基づいて、車室内に設けられた表示領域に重畳表示され、前記物標に対する注意を促すマークを生成する。
【0027】
請求項10に係る表示制御方法によれば、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することができる。
【0028】
請求項11に係るプログラムは、車両の周辺の物標を検知する物標検知部の検知情報に基づいて、前記物標の位置に関する位置情報を取得し、前記車両の速度に関する速度情報を取得し、前記車両に前記物標が接近する接近方向を取得し、前記速度情報に基づいて、前記位置情報に対して、前記接近方向にオフセットし、オフセットした前記位置情報に基づいて、車室内に設けられた表示領域に重畳表示され、前記物標に対する注意を促すマークを生成する処理をコンピュータに実行させる。
【0029】
請求項11に係るプログラムによれば、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することができる。
【発明の効果】
【0030】
本発明によれば、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することができる。
【図面の簡単な説明】
【0031】
【
図1】第1実施形態に係る表示システムが搭載された車両を示す俯瞰図である。
【
図2】第1実施形態に係る表示システムが搭載された車両を車室内から車両前方側を見た状態を概略的に示す概略図である。
【
図3】第1実施形態に係る表示システムのハードウェア構成を示すブロック図である。
【
図4】第1実施形態に係る表示制御装置の機能構成を示すブロック図である。
【
図5】第1実施形態に係る表示システムが搭載された車両を示す俯瞰図であり、物標の接近方向が車両進行方向である場合を示す図である。
【
図6】第1実施形態に係る表示システムが搭載された車両を示す俯瞰図であり、物標の接近方向が車両進行方向に対して傾斜した傾斜方向である場合を示す図である。
【
図7】第1実施形態に係る表示装置の表示領域の表示例を示す図であり、物標の接近方向が車両進行方向である場合を示す図である。
【
図8】第1実施形態に係る表示装置の表示領域の表示例を示す図であり、物標の接近方向が車両進行方向に対して傾斜した傾斜方向である場合を示す図である。
【
図9】第1実施形態に係る表示装置の表示領域の表示例を示す図であり、物標が遠い位置にいる場合を示す図である。
【
図10】第1実施形態に係る表示制御装置の表示処理の流れを示すフローチャートである。
【
図11】比較例の表示装置の表示例を示す図であり、物標の接近方向が車両進行方向である場合を示す図である。
【
図12】比較例の表示装置の表示例を示す図であり、物標の接近方向が車両進行方向に対して傾斜した傾斜方向である場合を示す図である。
【
図13】第2実施形態に係る表示装置の表示例を示す図である。
【発明を実施するための形態】
【0032】
〔第1実施形態〕
以下、第1実施形態に係る表示システムについて、図面を参照して説明する。なお、
図1に記載された矢印FRは車両前方側を示しており、矢印RHは車両右方側を示している。また、第1実施形態では、車両10は、車両前方に速度V1で走行している例を説明する。
【0033】
[表示システムが搭載された車両の構成]
図1に示されるように、車両10には、物標検知部としてのカメラ12と、物標検知部としてのレーダ14と、が設けられている。カメラ12は、車両10の前側のバンパに取り付けられ、車両前方を撮影する。カメラ12は、画角12Aを有するように構成することができる。
【0034】
レーダ14は、車両10の前側のバンパに取り付けられている。レーダ14は、送信した送信波が車両10の周辺の物標90にあたり、反射した反射波を受信することで、車両10と物標90との距離と、車両10に対する物標90の方向を検知する。すなわち、レーダ14は、車両10に対する物標90の位置情報を検知する。レーダ14は、カメラ12の画角12Aより小さい画角14Aを有している。
【0035】
物標90としては、車両の前方を走行する前方車両92(
図1参照)、歩行者94(
図6参照)や自転車、対向車線を走行する対向車、駐停車している車両、その他の障害物とすることができる。
【0036】
図2に示されるように、車両10における車室内の前側には、インストルメントパネル18と、ウインドシールド(フロントガラスとも称する)22と、が設けられている。
【0037】
(インストルメントパネル)
インストルメントパネル18は、車幅方向に延在して設けられている。インストルメントパネル18の車両右側には、ステアリングホイール20が設けられている。第1実施形態では、一例として、車両10は、車両右側にステアリングホイール20が設けられた右ハンドル車として構成されている。
【0038】
インストルメントパネル18には、表示領域としての第1表示領域G1を有する出力部としての第1表示部28と、表示領域としての第2表示領域G2を有する出力部としての第2表示部30と、が設けられている。
【0039】
第1表示部28は、インストルメントパネル18の車両右側であって、ステアリングホイール20の車両前方側に配置されている。第1表示部28は、例えば、走行速度を表示するスピードメータ、方向指示、警告等が表示されるメータディスプレイとして構成される。
【0040】
第2表示部30は、インストルメントパネル18の車両幅方向中央に配置されている。第2表示部30は、例えば、ナビゲーションシステムが出力する画像が表示されるセンターディスプレイとして構成される。
【0041】
(ウインドシールド)
ウインドシールド22は、フロントピラー24によって支持されている。フロントピラー24は、車室内の車両前側であって、車両右側及び車両左側に配置され、略車両上下方向に延在している。
【0042】
ウインドシールド22には、表示領域としての第3表示領域G3を有する第3表示部32が設けられている。そして、インストルメントパネル18の内部に設置された表示制御装置35から出力された情報に基づいて、出力部としての投射部51から投影された画像が、ウインドシールド22の第3表示部32に投影される。これにより、乗員(ドライバー)H(
図1参照)の前方に、この画像が虚像として重畳表示されるようになっている。
【0043】
表示制御装置35と投射部51と第3表示部32とを備える表示装置34は、ヘッドアップディスプレイ装置を構成する。投射部51から投射された画像が投影される第3表示部32は、ヘッドアップディスプレイ装置の投影面を構成する。
【0044】
図1に示されるように、投射部51は、画角12Aより小さい画角51Aを有するように構成されている。投射部51の画角51Aは、乗員HのアイポイントEを原点として構成されている。投射部51の画角51Aとは、第3表示領域G3に画像が表示可能な角度範囲である。
【0045】
図3に示されるように、表示装置34とカメラ12とレーダ14と車速センサ15とは、表示システム16を構成する。
【0046】
[表示システムのハードウェア構成]
図3に示されるように、表示システム16は、カメラ12が撮影したカメラ画像と、レーダ14が検知した検知情報と、車速センサ15が測定した測定情報とが、表示制御装置35に入力され、表示制御装置35で処理された処理情報が、第1表示部28、第2表示部30及び投射部51に出力されるようになっている。
【0047】
カメラ12は、車両前方を撮影する。カメラ12が撮影した車両前方のカメラ画像は、表示制御装置35に入力される。レーダ14は、車両前方の物標90の位置情報を検知する。レーダ14が検知した検知情報は、表示制御装置35に入力される。車速センサ15は、車両10の速度V1(
図1参照)を測定する。車速センサ15が測定した車両10の速度V1の情報は、表示制御装置35に入力される。
【0048】
表示制御装置35は、種々の制御を行うECU(Electronic Control Unit)として構成される。表示制御装置35は、CPU(Central Processing Unit)36と、ROM(Read Only Memory)38と、RAM(Random Access Memory)40と、ストレージ42と、通信インターフェース(通信I/F)44と、入出力インターフェース(入出力I/F)46と、を含んで構成されている。各構成は、バス48を介して相互に通信可能に接続されている。
【0049】
CPU36は、中央演算処理装置であり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU36は、ROM38又はストレージ42からプログラムを読み出し、RAM40を作業領域としてプログラムを実行する。また、CPU36は、ROM38又はストレージ42に記録されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。
【0050】
ROM38は、各種プログラムおよび各種データを格納する。RAM40は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ42は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する非一時的記録媒体である。第1実施形態では、ROM38又はストレージ42には、後述する表示処理を行うための表示プログラム等が格納されている。
【0051】
入出力インターフェース46には、第1表示部28、第2表示部30、投射部51、カメラ12、レーダ14及び車速センサ15が接続されている。
【0052】
[表示制御装置の機能構成]
第1実施形態の表示制御装置35の機能について説明する。
【0053】
図4に示されるように、表示制御装置35は、機能的には、位置情報取得部54と、速度情報取得部56と、接近方向取得部58と、処理時間推定部60と、オフセット部62と、マーク生成部64と、を備えている。
【0054】
(位置情報取得部)
位置情報取得部54は、車両10の周辺の物標90の位置に関する位置情報を取得する。具体的には、位置情報取得部54は、レーダ14の検知情報に基づいて、車両10の進行方向における物標90の位置情報を検知する。また、位置情報取得部54は、カメラ12のカメラ画像に基づいて、車両10の進行方向に直交した直交方向における物標90の位置情報を検知する。なお、レーダ14の検知情報及びカメラ12のカメラ画像の少なくとも一方に基づいて、車両10の進行方向及び直交方向における物標90の位置情報を検知してもよい。
【0055】
ここで、車両10を俯瞰して見た状態において、車両進行方向をy軸とし、車両進行方向に直交する方向をx軸としたxy座標系を想定する。
図5に示されるように、車両10の前方に、前方車両92が前方に向かって走行している場合、位置情報取得部54は、レーダ14の検知情報に基づいて、車両10の進行方向における前方車両92の位置P1のy座標を検知する。すなわち、位置情報取得部54は、レーダ14の検知情報に基づいて、前方車両92の位置P1(y1)を取得する。なお、
図5において、前方車両92は、前方に向かって速度V2で走行している。
【0056】
図6に示されるように、車両10の左斜め前方に、歩行者94が車両右方向に移動している場合、位置情報取得部54は、レーダ14の検知情報に基づいて、車両10の進行方向における歩行者94の位置P1のy座標と、カメラ12のカメラ画像に基づいて、車両10の進行方向に直交した直交方向における歩行者94の位置P1のx座標を検知する。
【0057】
すなわち、位置情報取得部54は、レーダ14の検知情報と、カメラ12のカメラ画像とに基づいて、歩行者94の位置P1(x1,y1)を取得する。なお、
図6において、歩行者94は、車両右方向に速度V3で移動している。
【0058】
(速度情報取得部)
速度情報取得部56は、車両10の速度に関する速度情報を取得する。この速度情報には、車両10の絶対速度の情報と、車両10の物標90に対する相対速度の情報が含まれる。
【0059】
具体的には、
図5に示されるように、車両10の前方に、前方車両92が前方に向かって走行している場合、速度情報取得部56は、車速センサ15の測定情報に基づいて、車両10の絶対速度である速度V1を取得する。
【0060】
図6に示されるように、車両10の左斜め前方に、歩行者94が車両右方向に移動している場合、速度情報取得部56は、カメラ12により撮影された複数のカメラ画像に基づいて、歩行者94の位置情報の推移を算出し、この推移に基づいて、車両10に対する歩行者94の相対速度を取得する。言い換えると、速度情報取得部56は、カメラ12のカメラ画像を時系列に並べた際の歩行者94の位置の変化に基づいて、車両10に対する歩行者94の相対速度を取得することができる。
【0061】
なお、車両10の左斜め前方に、歩行者94が車両右方向に移動している場合、速度情報取得部56は、レーダ14により検知された複数の検知情報に基づいて、歩行者94の位置情報の推移を算出し、この推移に基づいて、車両10に対する歩行者94の相対速度を取得することもできる。
【0062】
(接近方向取得部)
接近方向取得部58は、車両10に物標90が接近する接近方向を取得する。具体的には、接近方向取得部58は、カメラ12により撮影された複数のカメラ画像に基づいて、物標90の位置情報の推移を算出し、この推移に基づいて、車両10に対する物標90の接近方向を取得する。なお、接近方向取得部58は、レーダ14により検知された複数の検知情報に基づいて、物標90の位置情報の推移を算出し、この推移に基づいて、車両10に対する物標90の接近方向を取得することもできる。
【0063】
図5に示されるように、車両10の前方に、前方車両92が前方に向かって走行している場合、接近方向取得部58は、レーダ14により検知された複数の検知情報に基づいて、車両10に対する前方車両92の接近方向を車両10の進行方向として取得する。なお、車両10の前方に、前方車両92が前方に向かって走行している場合、接近方向取得部58は、カメラ12により撮影された複数のカメラ画像に基づいて、車両10に対する前方車両92の接近方向を車両10の進行方向として取得することもできる。
【0064】
なお、接近方向を車両10の進行方向とする場合とは、前方車両92が、車両幅方向において車両10と異なる位置において、前方車両92が前方又は後方に向かって走行している場合も含むものとする。すなわち、接近方向を車両10の進行方向とする場合とは、前方車両92が車両幅方向において車両10と同じ位置において、前方車両92が前方又は後方に向かって走行している場合と、車両幅方向において車両10と異なる位置において、前方車両92が前方又は後方に向かって走行している場合が含まれるものとする。
【0065】
図6に示されるように、車両10の左斜め前方に、歩行者94が車両右方向に移動している場合、接近方向取得部58は、カメラ12により撮影された複数のカメラ画像に基づいて、車両10に対する歩行者94の接近方向を車両10の進行方向に対して傾斜した傾斜方向として取得することができる。車両10の進行方向に対して傾斜した傾斜方向には、車両10の進行方向に対して直交した方向を含むものとする。
【0066】
なお、車両10の左斜め前方に、歩行者94が車両右方向に移動している場合、接近方向取得部58は、レーダ14により検知された複数の検知情報に基づいて、車両10に対する歩行者94の接近方向を車両10の進行方向に対して傾斜した傾斜方向として取得することもできる。
【0067】
(処理時間推定部)
処理時間推定部60は、カメラ12が物標90を撮影し、又はレーダ14が物標90を検知してから、マーク生成部64が物標90に対する注意を促すマークM1(
図5参照)を生成するまでにかかる処理時間を推定する。具体的には、処理時間推定部60は、CPU36の負荷に応じて、処理時間を推定することができる。例えば、処理時間推定部60は、CPU36の負荷が大きいほど、処理時間を長く推定することができる。
【0068】
また、処理時間推定部60は、接近方向取得部58が取得した接近方向が、車両10の進行方向である場合、車両10の進行方向に対して傾斜した傾斜方向である場合と比較して、処理時間を短く推定することもできる。また、処理時間推定部60は、速度情報取得部56が取得した速度情報が遅いほど、処理時間を短く推定することもできる。
【0069】
(オフセット部)
オフセット部62は、速度情報取得部56が取得した速度情報に基づいて、位置情報取得部54が取得した物標90の位置P1に対して、接近方向取得部58が取得した接近方向にオフセットする。
【0070】
具体的には、オフセット部62は、以下の計算式(1)に基づいて、オフセットするオフセット距離を設定する。
オフセット距離[m]=速度[Km]×物標座標係数 ・・・(1)
物標座標係数=0.00005
【0071】
ここで、物標座標係数は、カメラ12が物標90を撮影し、又はレーダ14が物標90を検知してから、マーク生成部64が物標90に対する注意を促すマークM1(
図5参照)を生成するまでにかかる処理時間を考慮した係数である。物標座標係数は、例えば、車両10の速度V1が時速60kmで、物標90に接近した場合であって、処理時間が200ミリ秒と推定したときに、オフセット距離は、3~5mになるように設定することができる。
【0072】
なお、オフセット部62は、処理時間推定部60が推定した処理時間に応じて、位置情報取得部54が取得した位置P1をオフセットするオフセット距離を調整することができる。具体的には、処理時間推定部60が推定した処理時間が短い場合は、処理時間が長い場合と比較して、オフセット部62がオフセットするオフセット距離を短くすることができる。すなわち、物標座標係数は、処理時間推定部60が推定した処理時間に応じて、変動させることができる。
【0073】
さらに詳細には、
図5に示されるように、車両10の前方に、前方車両92が前方に向かって走行している場合、オフセット部62は、速度情報取得部56が取得した車両10の絶対速度である速度V1に基づいて、位置情報取得部54が取得した位置P1(y1)に対して、接近方向取得部58が取得した接近方向である車両10の進行方向に、オフセット距離L1だけオフセットする。この場合にオフセットされた位置は、位置P2(y2)とする。
【0074】
図6に示されるように、車両10の左斜め前方に、歩行者94が車両右方向に移動している場合、オフセット部62は、速度情報取得部56が取得した車両10に対する歩行者94の相対速度に基づいて、位置情報取得部54が取得した位置P1(x1,y1)に対して、接近方向取得部58が取得した車両10の進行方向に対して傾斜した傾斜方向に、オフセット距離L2だけオフセットする。この場合にオフセットされた位置は、位置P2(x2,y2)とする。
【0075】
(マーク生成部)
マーク生成部64は、オフセット部62がオフセットした位置P2に基づいて、物標90に対する注意を促すマークM1(
図5参照)を生成する。
【0076】
具体的には、
図5に示されるように、車両10の前方に、前方車両92が前方に向かって走行している場合、マーク生成部64は、オフセット部62がオフセットした位置P2(y2)に、前方車両92に対する注意を促すマークM1を生成する。
【0077】
そして、
図3に示されるように、マーク生成部64で生成されたマークM1の画像情報は、投射部51に出力され、投射部51から投射された画像が、ウインドシールド22の第3表示部32に投影される。
【0078】
具体的には、
図7に示されるように、車両10の前方に、前方車両92が前方に向かって走行している場合、マークM1が、第3表示部32の第3表示領域G3に、虚像として重畳表示される。すなわち、マークM1が、ウインドシールド22の前景に、虚像として重畳表示される。
【0079】
図6に示されるように、車両10の左斜め前方に、歩行者94が車両右方向に移動している場合、マーク生成部64は、オフセット部62がオフセットした位置P2(x2,y2)に、歩行者94に対する注意を促すマークM1を生成する。
【0080】
そして、
図8に示されるように、車両10の左斜め前方に、歩行者94が車両右方向に移動している場合、マークM1が、第3表示部32の第3表示領域G3に、虚像として重畳表示される。すなわち、マークM1が、ウインドシールド22の前景に、虚像として重畳表示される。
【0081】
マーク生成部64は、車両10の速度V1を表示するマークを生成し、
図7及び
図8に示されるように、車両10の速度V1を表示する第2マークM2が、第3表示部32の第3表示領域G3に重畳表示されてもよい。
【0082】
なお、マーク生成部64は、位置情報取得部54が取得した位置情報に基づいて、マークM1の大きさを変化させてもよい。具体的には、
図9に示されるように、マーク生成部64は、車両10からの物標90の距離が遠いほど、マークM1の大きさを小さくすることができる。
【0083】
[表示制御装置による表示処理の流れ]
表示制御装置35による表示処理の流れを
図10に示すフローチャートに基づいて説明する。
【0084】
図10に示されるように、表示処理を開始すると、位置情報取得部54は、レーダ14の検知情報と、カメラ12のカメラ画像とに基づいて、物標90の位置P1を取得する(ステップS101)。
【0085】
次いで、接近方向取得部58は、車両10に物標90が接近する接近方向を取得する(ステップS102)。
【0086】
次いで、表示制御装置35は、接近方向取得部58が取得した接近方向が、車両10の進行方向である否かを判断する(ステップS103)。接近方向取得部58が取得した接近方向が、車両10の進行方向である場合(ステップS103でYES)、速度情報取得部56は、車速センサ15の測定情報に基づいて、車両10の絶対速度である速度V1を取得する(ステップS104)。
【0087】
次いで、オフセット部62は、速度情報取得部56が取得した車両10の絶対速度である速度V1に基づいて、位置情報取得部54が取得した位置P1に対して、接近方向取得部58が取得した接近方向である車両進行方向にオフセットする(ステップS105)。なお、オフセット部62は、処理時間推定部60が推定した処理時間に基づいて、オフセット距離を調整することができる。
【0088】
次いで、マーク生成部64は、オフセット部62がオフセットした位置P2に、マークM1を生成する(ステップS106)。
【0089】
次いで、マーク生成部64が生成したマークM1の情報が、投射部51に出力され、マークM1が、第3表示部32の第3表示領域G3に、虚像として重畳表示され(ステップS107)、表示処理を終了する。
【0090】
一方、ステップS103において、接近方向取得部58が取得した接近方向が、車両10の進行方向に対して傾斜した傾斜方向である場合(ステップ103でNO)、速度情報取得部56は、物標90に対する車両10の相対速度を取得する(ステップS108)。
【0091】
次いで、オフセット部62は、速度情報取得部56が取得した車両10の相対速度に基づいて、位置情報取得部54が取得した位置P1に対して、接近方向取得部58が取得した接近方向である傾斜方向にオフセットする(ステップS109)。なお、オフセット部62は、処理時間推定部60が推定した処理時間に基づいて、オフセット距離を調整することができる。
【0092】
次いで、マーク生成部64は、オフセット部62がオフセットした位置P2に、マークM1を生成する(ステップS110)。
【0093】
次いで、マーク生成部64が生成したマークM1の情報が、投射部51に出力され、マークM1が、第3表示部32の第3表示領域G3に、虚像として重畳表示され(ステップS111)、表示処理を終了する。
【0094】
[第1実施形態の作用]
次に、第1実施形態の作用及び効果について説明する。
【0095】
第1実施形態の表示制御装置35は、車両10の前方の物標90を撮影するカメラ12のカメラ画像、及び車両10の前方の物標90を検知するレーダ14の検知情報の少なくとも一方に基づいて、物標90の位置に関する位置情報を取得する位置情報取得部54と、車両10の速度に関する速度情報を取得する速度情報取得部56と、車両10に物標90が接近する接近方向を取得する接近方向取得部58と、速度情報取得部56が取得した速度情報に基づいて、位置情報取得部54が取得した位置P1に対して、接近方向取得部が取得した接近方向にオフセットするオフセット部62と、オフセット部62がオフセットした位置P2に、車室内に設けられた第3表示領域G3に重畳表示され、物標90に対する注意を促すマークM1を生成するマーク生成部64と、を備える(
図4参照)。
【0096】
ところで、カメラ12が物標90を撮影し、又はレーダ14が物標90を検知してから、マーク生成部64が物標90に対する注意を促すマークM1(
図5参照)を生成するまでには、通信や描画等による処理時間がかかる。そのため、この処理時間によりタイムラグが発生して、
図11及び
図12に示されるように、物標90に対する注意を促すマークM0が重畳表示される位置と、実際の物標90の位置との間で、位置ズレが生じてしまう、という問題がある。この位置ズレは、車両10の走行速度が速いほど顕著なものとなる。
【0097】
第1実施形態では、速度情報に基づいて、位置情報取得部54が取得した物標90の位置P1に対してオフセットした位置P2にマークM1を生成することで、位置情報取得部54が取得した物標90の位置に対して、速度に応じてオフセットした位置P2に、物標90に対する注意を促すマークM1が重畳表示される。そのため、カメラ12が物標90を撮影し、又はレーダ14が物標90を検知してから、マーク生成部64が物標90に対する注意を促すマークM1(
図5参照)を生成するまでの処理時間により発生する、重畳表示されるマークM1と実際の物標90との位置ずれを補正することができる。
【0098】
しかも、物標90が接近する接近方向に、位置情報取得部54が取得した物標90の位置をオフセットすることで、重畳表示されるマークM1と実際の物標90との位置ずれが発生する方向に、位置情報取得部54が取得した物標90の位置P1がオフセットされる。
【0099】
そのため、物標90に対する注意を促すマークM1が重畳表示される位置と、実際の物標90の位置との間で発生する位置ズレを適切に補正することができる。その結果、重畳表示されるマークM1の位置を実際の物標90の位置に近づけることができる。
【0100】
第1実施形態の表示制御装置35では、接近方向取得部58が取得した接近方向が、車両10の進行方向である場合、速度情報を車両10の絶対速度である速度V1とする(
図5参照)。
【0101】
速度情報を車両10の絶対速度とすることで、車両10の速度を検知することにより、速度情報が取得されることになる。そのため、速度情報を車両10の物標90に対する相対速度とする場合と比較して、速やかに速度情報を取得することができる。その結果、位置情報取得部54が取得した物標90の位置P1に対して、オフセット部62がオフセットする時間を短縮することができる。また、表示制御装置35に搭載されたCPUの負荷も軽減することができる。
【0102】
そのため、物標90に対する注意を促すマークM1が重畳表示される位置と、実際の物標90の位置との間で発生する位置ズレをより適切に補正することができる。
【0103】
第1実施形態の表示制御装置35では、接近方向取得部58が取得した接近方向が、車両10の進行方向に対して傾斜した傾斜方向である場合、速度情報を物標90に対する車両10の相対速度に関する情報とする(
図6参照)。
【0104】
速度情報を物標90に対する車両10の相対速度とすることで、この相対速度に基づいて、位置情報取得部54が取得した物標90の位置に対してオフセット部62がオフセットするオフセット距離が適切に設定される。そのため、物標90に対する注意を促すマークM1が重畳表示される位置と、実際の物標90の位置との間で発生する位置ズレをより適切に補正することができる。
【0105】
第1実施形態の表示制御装置35では、オフセット部62は、カメラ12が物標90を撮影し、又はレーダ14が物標90を検知してから、マーク生成部64が物標90に対する注意を促すマークM1(
図5参照)を生成するまでにかかる処理時間に基づいて、位置情報取得部54が取得した物標90の位置P1をオフセットするオフセット距離を調整する。
【0106】
カメラ12が物標90を撮影し、又はレーダ14が物標90を検知してから、マーク生成部64が物標90に対する注意を促すマークM1(
図5参照)を生成するまでにかかる処理時間に基づいて、位置情報取得部54が取得した物標90の位置P1をオフセットするオフセット距離を調整することで、処理時間が長い場合は、オフセット距離が長くされ、処理時間が短い場合は、オフセット距離が短くされる。そのため、処理時間に応じて、位置情報取得部54が取得した物標90の位置に対してオフセット部62がオフセットするオフセット距離が適切に設定される。その結果、重畳表示されるマークM1の位置を、処理時間に応じた適切な位置に補正することができる。
【0107】
第1実施形態の表示制御装置35では、位置情報取得部54は、レーダ14の検知情報に基づいて、車両10の進行方向における物標90の位置に関する位置情報を取得し、カメラ12のカメラ画像に基づいて、車両10の進行方向に直交した直交方向における物標90の位置に関する位置情報を取得する(
図1参照)。
【0108】
車両10の進行方向における物標90の位置情報がレーダ14の検知情報によって取得され、車両10の進行方向に直交した直交方向における物標90の位置情報がカメラ12のカメラ画像に基づいて取得される。そのため、より正確な物標90の位置情報が取得される。その結果、物標90に対する注意を促すマークM1が重畳表示される位置と、実際の物標90の位置との間で発生する位置ズレをより適切に補正することができる。
【0109】
第1実施形態の表示制御装置35では、マーク生成部64は、位置情報取得部54が取得した位置P1に基づいて、マークM1の大きさを変化させる(
図9参照)。
【0110】
位置情報取得部54が取得した位置P1に基づいて、マークM1の大きさを変化させることで、車両10と物標90との距離が近い場合、マークM1の大きさを大きくし、車両10と物標90との距離が遠い場合、マークM1の大きさを小さくすることができる。そのため、物標90との距離に応じて、適切な大きさのマークM1を重畳表示することができる。その結果、乗員Hは、物標90との距離をマークM1の大きさから認識することができる。
【0111】
第1実施形態の表示システム16は、表示装置34と、車両10の前方の物標90を撮影するカメラ12と、車両10の前方の物標90を検知するレーダ14と、を備える(
図3参照)。
【0112】
表示装置34と、カメラ12と、レーダ14とを備える表示システム16によって、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することができる。その結果、重畳表示されるマークの位置を実際の物標の位置に近づけることができる。
【0113】
第1実施形態の車両10では、ウインドシールド22に第3表示領域G3を有する(
図2参照)。
【0114】
ウインドシールド22の第3表示領域G3にマークM1が表示されるので、乗員Hは、視線を前方に向けた状態で、マークM1を認識することができる。そのため、乗員Hは、運転中に、視線を前方からそらさずに、マークM1を認識することができる。
【0115】
〔第2実施形態〕
第2実施形態の表示システムは、物標に対する注意を促すマークを重畳表示する表示領域が異なる点で、第1実施形態の表示システムと相違する。
【0116】
以下、第2実施形態の表示システムの構成を説明する。なお、第1実施形態で説明した内容と同一乃至均等な部分の説明については、同一用語又は符号を用いて説明する。
【0117】
第2実形態では、
図13に示されるように、第2表示部30の第2表示領域G2に、物標90に対する注意を促すマークM1を重畳表示させる。
【0118】
第2表示領域G2の上側には、カメラ12が撮影したカメラ画像Fが表示され、第2表示領域G2の下側には、ナビゲーションシステムにより、マップ上に現在の車両10の位置10Aと、目的地までのルート(案内経路)Rが表示されている。
【0119】
マーク生成部64が生成したマークM1の画像の情報が出力部としての第2表示部30に出力され、第2表示領域G2にマークM1が重畳表示される。
【0120】
このような構成であっても、第1実施形態の表示システムと同様の作用効果を奏することができる。
【0121】
以上、本発明の表示システムを、上記実施形態に基づき説明してきた。しかし、具体的な構成については、これら実施形態に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更などは許容される。
【0122】
上記実施形態では、カメラ12は、車両前方を撮影し、レーダ14は、車両前方の物標90の位置情報を検知する例を示した。しかし、カメラとレーダは、この態様に限定されるものではなく、車両の周囲を撮影又は検知してもよい。
【0123】
上記実施形態では、位置情報取得部54は、レーダ14の検知情報と、カメラ12のカメラ画像とに基づいて、物標90の位置情報を取得する例を示した。しかし、位置情報取得部は、この態様に限定されず、例えば、レーダ、カメラ、LiDAR及びソナーの少なくとも一つの検知情報に基づいて、物標の位置情報を取得してもよい。
【0124】
上記実施形態では、速度情報取得部56は、カメラ12により撮影された複数のカメラ画像又はレーダ14により検知された複数の検知情報に基づいて、車両10に対する歩行者94の相対速度を取得する例を示した。しかし、速度情報取得部は、この態様に限定されず、例えば、レーダ、カメラ、LiDAR及びソナーの少なくとも一つの検知情報に基づいて、車両に対する物標の相対速度を取得してもよい。また、速度情報取得部は、車間距離の情報に基づいて相対速度を取得してもよい。
【0125】
上記実施形態では、接近方向取得部58は、カメラ12により撮影された複数のカメラ画像又はレーダ14により検知された複数の検知情報に基づいて、車両10に対する物標90の接近方向を取得する例を示した。しかし、接近方向取得部58は、この態様に限定されず、例えば、レーダ、カメラ、LiDAR及びソナーの少なくとも一つの検知情報に基づいて、車両に対する物標の接近方向を取得してもよい。
【0126】
上記実施形態では、オフセット部62は、処理時間推定部60が推定した処理時間に応じて、位置情報取得部54が取得した位置P1をオフセットするオフセット距離を調整する例を示した。しかし、オフセット部は、処理時間推定部が推定した処理時間に応じて、オフセット距離を調整しなくてもよい。
【0127】
第1実施形態では、マーク生成部64が生成したマークM1の画像を、ウインドシールド22の第3表示部32に投影する例を示した。第2実施形態では、マーク生成部64が生成したマークM1の画像を、第2表示部30に表示する例を示した。しかし、マーク生成部が生成したマークの画像を、第1表示部28に表示させてもよいし、インストルメントパネルの上面に設けられたコンバイナに投影してもよい。
【0128】
上記実施形態では、本発明の表示システムを、前方に走行している車両10に対して適用する例を示した。しかし、本発明の表示システムは、カーブを走行中の車両や、曲がり角を走行中の車両に適用することもできる。
【符号の説明】
【0129】
10 車両
12 カメラ(物標検知部の一例)
14 レーダ(物標検知部の一例)
16 表示システム
22 ウインドシールド
34 表示装置
35 表示制御装置
51 投射部
54 位置情報取得部
56 速度情報取得部
58 接近方向取得部
62 オフセット部
64 マーク生成部
90 物標
G3 第3表示領域(表示領域の一例)
M1 マーク