(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-24
(45)【発行日】2024-10-02
(54)【発明の名称】表示システム、表示方法
(51)【国際特許分類】
B60W 50/14 20200101AFI20240925BHJP
B60W 40/103 20120101ALI20240925BHJP
B60W 40/10 20120101ALI20240925BHJP
G08G 1/16 20060101ALI20240925BHJP
B60K 35/22 20240101ALI20240925BHJP
【FI】
B60W50/14
B60W40/103
B60W40/10
G08G1/16 C
B60K35/22
(21)【出願番号】P 2021171604
(22)【出願日】2021-10-20
【審査請求日】2023-07-11
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110003199
【氏名又は名称】弁理士法人高田・高橋国際特許事務所
(72)【発明者】
【氏名】赤塚 康佑
(72)【発明者】
【氏名】須田 理央
(72)【発明者】
【氏名】百瀬 博文
(72)【発明者】
【氏名】鈴木 隆史
【審査官】藤村 泰智
(56)【参考文献】
【文献】特開2018-041270(JP,A)
【文献】特開2021-091261(JP,A)
【文献】特開2015-196403(JP,A)
【文献】米国特許出願公開第2013/0190944(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
B60W 30/00 ~ 60/00
G08G 1/00 ~ 1/16
B60K 35/22
(57)【特許請求の範囲】
【請求項1】
車両の走行映像を撮像するカメラと、
前記車両の走行状態情報を検出するセンサと、
表示装置と、
1又は複数のプロセッサと、
を含み、
前記1又は複数のプロセッサは、
前記走行状態情報から定常円旋回軌跡を算出する処理と、
前記走行状態情報から前記車両のスリップ角を推定する処理と、
前記スリップ角に応じて前記定常円旋回軌跡を回転補正した前記車両の予想軌跡を算出する処理と、
前記予想軌跡を前記走行映像に重畳して前記表示装置に表示させる処理と、
前記走行状態情報から前記車両の停止位置を算出する停止位置算出処理と、
前記スリップ角に応じて前記停止位置を回転補正した予想停止位置を算出する処理と、
前記予想停止位置を前記走行映像に重畳して前記表示装置に表示する処理と、
を実行するように構成されている
ことを特徴とする表示システム。
【請求項2】
請求項1に記載の表示システムであって、
前記停止位置算出処理において、前記1又は複数のプロセッサは、
前記車両の車速から定まる空走距離、及び前記車速と所定の減速度から定まる制動距離を算出し、前記車両から前記定常円旋回軌跡に沿って前記空走距離及び前記制動距離を進んだ位置を前記停止位置として算出する
ことを特徴とする表示システム。
【請求項3】
カメラにより撮像された車両の走行映像を表示装置に表示する表示方法であって、
前記車両の走行状態情報から定常円旋回軌跡を算出することと、
前記走行状態情報から前記車両のスリップ角を推定することと、
前記スリップ角に応じて前記定常円旋回軌跡を回転補正した前記車両の予想軌跡を算出することと、
前記予想軌跡を前記走行映像に重畳して前記表示装置に表示させることと、
前記走行状態情報から前記車両の停止位置を算出することと、
前記スリップ角に応じて前記停止位置を回転補正した予想停止位置を算出することと、
前記予想停止位置を前記走行映像に重畳して前記表示装置に表示させることと、
を含む
ことを特徴とする表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両の走行映像を表示装置に表示する技術に関する。
【背景技術】
【0002】
従来、車両に備えるカメラが撮像した映像を表示装置に表示するとともに、補助的な表示を重畳表示することで、円滑な運転操作をサポートする技術が考えられている。
【0003】
例えば特許文献1には、駐車操作時に車両の後方をカメラにより撮像し、カメラからの映像を後方画像として車内に設けられた表示器に表示して、後方画像にステアリング舵角の状態により変化する走行予想軌跡を重ねて表示する駐車補助装置において、表示器には車両後方の距離の目安となる注意領域を重ねて表示する駐車補助装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願に係る発明者らは、車両の走行映像を表示装置に表示するとともに、車両の予想軌跡を走行映像に重畳して表示する表示システムを考えている。このような表示システムは、特に車両感覚が得られにくい遠隔運転において効果的である。
【0006】
車両に操舵角が与えられ車両が旋回する場合、定常円旋回軌跡を予想軌跡として与えることが考えられる。しかしながら、定常円旋回軌跡を予想軌跡として単に走行映像に重畳して表示すると、予想軌跡が実際の走行軌跡に対して旋回外側もしくは内側に偏向して表示される虞がある。
【0007】
本開示の1つの目的は、精度の良い車両の予想軌跡を車両の走行映像に重畳して表示することが可能な表示システム及び表示方法を提供することにある。
【課題を解決するための手段】
【0008】
第1の開示は、表示システムに関する。
第1の開示に係る表示システムは、車両の走行映像を撮像するカメラと、前記車両の走行状態情報を検出するセンサと、表示装置と、1又は複数のプロセッサと、を含んでいる。
前記1又は複数のプロセッサは、前記走行状態情報から定常円旋回軌跡を算出する処理と、前記走行状態情報から前記車両のスリップ角を推定する処理と、前記スリップ角に応じて前記定常円旋回軌跡を回転補正した前記車両の予想軌跡を算出する処理と、
前記予想軌跡を前記走行映像に重畳して前記表示装置に表示させる処理と、
を実行するように構成されている。
【0009】
第2の開示は、第1の開示に係る表示システムに対して、さらに以下の特徴を備える表示システムに関する。
前記1又は複数のプロセッサは、前記走行状態情報から前記車両の停止位置を算出する停止位置算出処理と、前記スリップ角に応じて前記停止位置を回転補正した予想停止位置を算出する処理と、前記予想停止位置を前記走行映像に重畳して前記表示装置に表示する処理と、をさらに実行するように構成されている。
【0010】
第3の開示は、第2の開示に係る表示システムに対して、さらに以下の特徴を備える表示システムに関する。
前記停止位置算出処理において、前記1又は複数のプロセッサは、
前記車速から定まる空走距離、及び前記車速と所定の減速度から定まる制動距離を算出し、前記車両から前記定常円旋回軌跡に沿って前記空走距離及び前記制動距離を進んだ位置を前記停止位置として算出する。
【0011】
第4の開示は、カメラにより撮像された車両の走行映像を表示装置に表示する表示方法に関する。
第4の開示に係る表示方法は、前記車両の走行状態情報から定常円旋回軌跡を算出することと、前記走行状態情報から前記車両のスリップ角を推定することと、前記スリップ角に応じて前記定常円旋回軌跡を回転補正した前記車両の予想軌跡を算出することと、前記予想軌跡を前記走行映像に重畳して前記表示装置に表示させることと、を含む。
【0012】
第5の開示は、第4の開示に係る表示方法に対して、さらに以下の特徴を備える表示方法に関する。
前記走行状態情報から前記車両の停止位置を算出することと、
前記スリップ角に応じて前記停止位置を回転補正した予想停止位置を算出することと、
前記予想停止位置を前記走行映像に重畳して前記表示装置に表示させることと、
を含む。
【発明の効果】
【0013】
本開示によれば、定常円旋回軌跡が算出され、車両のスリップ角が推定さる。そして、スリップ角に応じて定常円旋回軌跡を回転補正した予想軌跡を算出し、予想軌跡を走行映像に重畳して表示する。これにより、実際の走行軌跡に対する予想軌跡の偏向を抑制することができ、精度の良い予想軌跡の表示を行うことができる。
【図面の簡単な説明】
【0014】
【
図1】本実施形態に係る表示システムによるAR表示機能について説明するためのブロック図である。
【
図2】
図1に示す車両運動演算処理部において算出する車両の予想軌跡及び予想停止位置の例を示す概念図である。
【
図3】
図1に示す座標変換処理部において算出する予想軌跡及び予想停止位置の例を示す概念図である。
【
図4】予想軌跡及び予想停止位置のAR表示における課題について説明するための概念図である。
【
図5】進行方向と撮像方向の差異を考慮していない場合に算出される予想軌跡及び予想停止位置について説明するための概念図である。
【
図6】本実施形態に係る車両運動演算処理部において算出する予想軌跡及び予想停止位置を示す概念図である。
【
図7】本実施形態に係る表示システムの概略構成を示すブロック図である。
【
図8】本実施形態に係る表示システムにより実現される表示方法を示すフローチャートである。
【
図9】
図8に示す停止位置算出処理において算出される停止位置の例を示す概念図である。
【発明を実施するための形態】
【0015】
以下、図面を参照して本開示の実施形態について説明する。ただし、以下に示す実施の形態において各要素の個数、数量、量、範囲などの数に言及した場合、特に明示した場合や原理的に明らかにその数が特定される場合を除いて、その言及した数に、本開示に係る思想が限定されるものではない。また、以下に示す実施の形態において説明する構成等は、特に明示した場合や原理的に明らかにそれに特定される場合を除いて、本開示に係る思想に必ずしも必須のものではない。なお、各図中、同一又は相当する部分には同一の符号を附しており、その重複説明は適宜に簡略化ないし省略する。
【0016】
1.概要
本実施形態に係る表示システムは、車両の走行映像を表示装置に表示する機能を提供する。特に本実施形態に係る表示システムは、車両の予想軌跡及び予想停止位置を走行映像に重畳して表示する。車両の予想軌跡及び予想停止位置の表示は、AR(Augmented Reality)表示の1つである。以下、車両の予想軌跡及び予想停止位置を走行映像に表示する機能を「AR表示機能」とも称する。
【0017】
このような表示システムは、表示装置に表示される走行映像を視認して運転操作を判断することとなる遠隔運転システムにおいて採用されることが考えられる。特にAR表示機能は、実際に車両に乗車して運転する場合と比較して車両感覚が得られにくい遠隔運転において効果的である。例えば、予想軌跡のAR表示は、車両の操舵に係る運転操作の操作性を向上させることができる。予想停止位置のAR表示は、予想停止位置が車線内に収まるようにオペレータに促すことができる。これにより、例えば、遠隔運転に係る通信が途絶して、車両側で停止処理(例えば、操舵角固定で一定減速)が行われた場合に、車線逸脱を抑制することができる。また本出願に係る発明者らは、AR表示により、車両の車速が低下傾向を示すことを確認している。延いては、車両の安全性の向上が期待できる。
【0018】
図1は、本実施形態に係る表示システムによるAR表示機能について説明するためのブロック図である。AR表示機能は、車両運動演算処理部121と、座標変換処理部122と、描画処理部123と、により構成される。
【0019】
まず車両運動演算処理部121において、車両の走行状態情報及び車両諸元情報に基づいて、車両の予想軌跡及び予想停止位置を算出する。ここで車両の走行状態情報として、車速、加減速度、操舵角が例示される。車両諸元情報として、車両重量、重量配分比、スタビリティファクタ、コーナリングパワー、ホイールベース、ステアリングギヤ比が例示される。
【0020】
車両運動演算処理部121において、車両の予想軌跡及び予想停止位置は、空間座標における表現(空間座標表現)が処理結果として与えられる。
図2に、車両運動演算処理部121において算出する車両1の予想軌跡2及び予想停止位置3の例を示す。
図2に示す例では、空間座標は、2次元の直交座標である。従って、予想軌跡2及び予想停止位置3は、2次元座標(x,y)によって表現される。
図2に示す例では、予想軌跡2は、車両1の位置を示す地点4を始点として算出されている。
【0021】
再度
図1を参照する。次に座標変換処理部122において、走行映像を撮像するカメラの諸元情報(カメラ諸元情報)に基づいて、車両運動演算処理部121において算出した予想軌跡2及び予想停止位置3の座標変換を行い、予想軌跡2及び予想停止位置3の画面座標における表現(画面座標表現)を算出する。ここでカメラ諸元情報として、カメラの設置位置、設置角度、画角が例示される。また画面座標とは、カメラが撮像する画像上の位置を与えるものであり、空間座標の位置と対応するように画面座標の位置を与えることができる。
【0022】
図3に、座標変換処理部122において算出する予想軌跡2及び予想停止位置3の例を示す。
図3は、
図2に示す予想軌跡2及び予想停止位置3の空間座標表現と対応する予想軌跡2及び予想停止位置3の画面座標表現を示している。
【0023】
再度
図1を参照する。次に描画処理部123において、座標変換処理部122において算出した予想軌跡2及び予想停止位置3を表示装置にAR表示するための表示信号を生成する。描画処理部123において生成した表示信号に従って表示装置が表示を行うことで、予想軌跡2及び予想停止位置3のAR表示が実現される。
【0024】
さらに、表示装置に走行映像を表示することで、予想軌跡2及び予想停止位置3を走行映像に重畳して表示することができる。
【0025】
ところで、車両1を一定車速に保ち車両1に一定の操舵角を与えるとき、車両1は車速及び操舵角に応じた旋回円を基準とする定常円旋回を行うことが想定される。従って、車両1に操舵角を与えるとき、予想軌跡2は、車両1の現在の車速及び操舵角に応じて定まる定常円旋回軌跡とすることが考えられる。そして、予想停止位置3は、定常円旋回軌跡に沿って与えることが考えられる。なお、車両1に操舵角が与えられないとき、予想軌跡2は、車両1の前方に延びる直線であって良い。
【0026】
しかしながら、本願に係る発明者らは、車両1の位置を始点とする定常円旋回軌跡を予想軌跡2とすると、実際の車両1の走行軌跡に対して旋回外側又は旋回内側に偏向して予想軌跡2及び予想停止位置3がAR表示されてしまうという課題を確認している。
図4に、この課題についての概念図を示す。
図4では、予想軌跡2及び予想停止位置3が、実際の車両1の走行軌跡に対して旋回外側に偏向してAR表示される様子を示している。
図4に示すように、偏向は車両1から遠方に向かうほど大きくなる。このような偏向は、後退駐車時等の極低速の走行においては運転操作への影響が少ないが、中速から高速域の走行においては運転操作への影響が大きい。このため、精度の良い予想軌跡2及び予想停止位置3のAR表示が求められる。
【0027】
この課題に対して、本願に係る発明者らは、カメラが車両1の車体に固定されて備えられており、また車両1に生じるスリップ角のため車体が車両1の進行方向に対して傾いているためであることを見出した。つまり、車両1の進行方向は定常円旋回軌跡に沿う方向であるのに対して、カメラの撮像方向は車両1の車体の方向であるために、これらの方向の差異を考慮しなければ、予想軌跡2及び予想停止位置3が実際の車両1の走行軌跡に対して旋回外側又は旋回内側に偏向してAR表示されるのである。
【0028】
図5は、進行方向と撮像方向の差異を考慮していない場合に算出される予想軌跡2及び予想停止位置3について説明するための概念図である。この場合、空間座標の位置と対応するように画面座標が与えられることを鑑みれば、車両運動演算処理部121における空間座標は、撮像方向を基準に与えられることなる。このため、
図5に示すように、予想軌跡2が、実際の走行軌跡に対して旋回外側又は旋回内側に偏向するのである(
図5では進行方向の与え方から旋回外側に偏向する)。
【0029】
そこで、この課題に対処するため本実施形態に係る表示システムは、車両1のスリップ角を推定する。そして、スリップ角に応じて回転補正した予想軌跡2及び予想停止位置3を算出する。
図6に、本実施形態に係る車両運動演算処理部121において算出する予想軌跡2及び予想停止位置3を示す。まず、地点4を始点とする定常円旋回軌跡2aと、定常円旋回軌跡2aに沿う位置に与えられる停止位置3aを算出する。その後、
図6に示すように、スリップ角に応じて定常円旋回軌跡2a及び停止位置3aを回転補正することで、車両運動演算処理部121の処理結果とする予想軌跡2及び予想停止位置3を算出する。これにより、実際の走行軌跡に対する予想軌跡2及び予想停止位置3の偏向を抑制することができ、精度の良い予想軌跡2及び予想停止位置3のAR表示が可能である。
【0030】
2.表示システム
以下、本実施形態に係る表示システムの構成について説明する。
図7は、本実施形態に係る表示システム10の概略構成を示すブロック図である。表示システム10は、情報処理装置100と、カメラ200と、走行状態検出センサ300と、表示装置400と、を含んでいる。情報処理装置100は、カメラ200、走行状態検出センサ300、及び表示装置400と互いに情報を伝達することができるように接続されている。例えば、ケーブルを介した電気的接続、光通信回線を介した接続、無線通信端末を介した無線通信による接続等が挙げられる。なお、情報の伝達は、中継する装置を介して間接的に行われても良い。
【0031】
カメラ200は、車両1に備えられ、車両1の走行映像を撮像する。カメラ200が撮像した走行映像は、情報処理装置100に伝達される。
【0032】
走行状態検出センサ300は、車両1の走行状態情報を検出し検出情報を出力するセンサである。走行状態検出センサ300として、車両1の車速を検出する車輪速センサ、車両1の加減速度を検出するGセンサ、車両1の操舵角を検出する舵角センサ、車両1のGPSデータを取得するGPS受信機等が例示される。検出情報は、情報処理装置100に伝達される。
【0033】
情報処理装置100は、取得する情報に基づいて、表示装置400の表示を制御する表示信号を出力するコンピュータである。情報処理装置100は、機能の1つとして表示信号を出力するコンピュータであっても良い。例えば、情報処理装置100は、遠隔運転装置に備えられ、遠隔運転に係る処理を実行するコンピュータであっても良い。
【0034】
情報処理装置100は、1又は複数の記憶装置110と、1又は複数のプロセッサ120と、を備えている。
【0035】
1又は複数の記憶装置110は、1又は複数のプロセッサによって実行可能な制御プログラム111と、1又は複数のプロセッサ120が実行する処理に必要な制御情報112と、を格納している。1又は複数の記憶装置110として、揮発性メモリ、不揮発性メモリ、HDD、SSD等が例示される。情報処理装置100が取得する情報は、制御情報112として記憶装置110に記憶される。
【0036】
制御プログラム111には、表示装置400に走行映像を表示する表示信号を生成するプログラムと、表示装置400に予想軌跡2及び予想停止位置3をAR表示する表示信号を生成するプログラムと、が含まれる。
【0037】
制御情報112として、カメラ200から取得する走行映像、走行状態検出センサ300から取得する検出情報、制御プログラム111に係るパラメータ情報が例示される。本実施形態では、制御情報112は、車両諸元情報を含んでいる。車両諸元情報は、情報処理装置100がカメラ200を備える車両1から取得することによって与えられても良いし、制御プログラム111に係るパラメータ情報としてあらかじめ与えられていても良い。
【0038】
1又は複数のプロセッサ120は、記憶装置110から制御プログラム111及び制御情報112を読み出し、制御情報112に基づいて制御プログラム111に従う処理を実行する。これにより、走行映像を表示する表示信号、及び予想軌跡2及び予想停止位置3をAR表示する表示信号が生成される。つまり、1又は複数のプロセッサ120により、車両運動演算処理部121、座標変換処理部122、及び描画処理部123の各々が実現される。
【0039】
表示装置400は、情報処理装置100から取得する表示信号に従って表示を行う。表示装置400は、例えば、遠隔運転システムにおいてコックピットに備えられるモニタである。表示装置400が表示信号に従って表示を行うことで、走行映像の表示、及び予想軌跡2及び予想停止位置3のAR表示が実現される。
【0040】
3.表示方法
以下、本実施形態に係る表示システム10により実現される表示方法について説明する。
図8は、本実施形態に係る表示システム10により実現される表示方法を示すフローチャートである。
図8に示すフローチャートは、所定の周期で繰り返され、各処理は、所定の実行周期毎に実行される。
【0041】
ステップS100において、情報処理装置100は、カメラ200が撮像する走行映像と、走行状態検出センサ300により検出される検出情報と、を取得する。
【0042】
ステップS200において、1又は複数のプロセッサ120は、走行状態情報から定常円旋回軌跡2aを算出する。定常円旋回軌跡2aは、車両1の旋回半径を与えることで算出することができる。旋回半径Rは、以下の式(1)で算出することができる。
【0043】
【0044】
ここで、Vは、車両1の車速、δは、車両1の操舵角であり、検出情報として取得される。またAは、車両1のスタビリティファクタ、lは、車両1のホイールベースであり、車両諸元情報として取得される。
【0045】
旋回半径Rは、その他の方法により算出されても良い。例えば、旋回半径Rは、車両1のGPSデータから推定することができる。
【0046】
ステップS300において、1又は複数のプロセッサ120は、走行状態情報から停止位置3aを算出する。停止位置3aは、車両1から定常円旋回軌跡に沿って空走距離及び制動距離を進んだ位置として算出することができる。ただし、制動距離に関しては、減速による偏向を考慮しても良い。
図9に、停止位置算出処理において算出される停止位置3aの例を示す。
【0047】
ここで、空走距離は、車両1の制動が開始されるまでに走行する距離であり、車両1の車速と、車両1の制動が開始されるまでの時間と、から算出することができる。車両1の制動が開始されるまでの時間は、制御プログラム111又は制御情報112としてあらかじめ適当な時間が与えられていて良い。例えば、遠隔運転システムにおいて、車両1の制動が開始されるまでの時間を、通信の途絶を判定してから停止制御が開始されるまでの時間で与えることが考えられる。その他の例として、車両1の制動が開始されるまでの時間を、オペレータの判断時間とすることが考えられる。制動距離は、車両1の制動が開始してから停止するまでの走行する距離であり、車両1の車速と、車両1の減速度と、から算出することができる。車両1の車速、及び減速度は、検出情報として取得される。
【0048】
再度
図8を参照する。ステップS400(スリップ角推定処理)において、1又は複数のプロセッサ120は、走行状態情報から車両1のスリップ角を推定する。例えば、以下の式(2)に示す定常スリップ角βをスリップ角として推定することができる。
【0049】
【0050】
ここで、dfは、車両1の重量配分比、Crは、車両1の後輪のコーナリングパワーであり、車両諸元情報として取得される。gは、重力加速度であり、制御プログラム111又は制御情報112としてあらかじめ与えられる。
【0051】
スリップ角は、その他の方法により推定されても良い。例えば、車両1にスリップ角計を備え、スリップ角計が出力する検出情報から車両1のスリップ角を推定しても良い。
【0052】
ステップS500において、1又は複数のプロセッサ120は、ステップS400において算出したスリップ角に応じて、ステップS200において算出した定常円旋回軌跡2a、及びステップS300において算出した停止位置3aを回転補正し、予想軌跡2及び予想停止位置3を算出する。
【0053】
ステップS600において、1又は複数のプロセッサ120は、ステップS500において算出した予想軌跡2及び予想停止位置3の座標変換を行い、予想軌跡2及び予想停止位置3の画面座標表現を算出する。
【0054】
ステップS700において、1又は複数のプロセッサ120は、走行映像を表示する表示信号、及びステップS600において算出した予想軌跡2及び予想停止位置3をAR表示する表示信号を生成する。そして、表示装置が表示信号に従って表示を行う。
【0055】
4.効果
以上説明したように、本実施形態によれば、定常円旋回軌跡2a及び停止位置3aを算出し、車両1のスリップ角を推定する。そして、スリップ角に応じて定常円旋回軌跡2a及び停止位置3aを回転補正した予想軌跡2及び予想停止位置3を算出し、AR表示を行う。これにより、実際の走行軌跡に対する予想軌跡2及び予想停止位置3の偏向を抑制することができ、精度の良い予想軌跡2及び予想停止位置3のAR表示が可能となる。
【0056】
なお、本実施形態に係る表示システム10は、予想軌跡2及び予想停止位置3のいずれか一方のみをAR表示するように構成されていても良い。また、ヘッドアップディスプレイ等によりAR表示機能のみを採用することも可能である。
【符号の説明】
【0057】
1 車両
2 予想軌跡
2a 定常円旋回軌跡
3 予想停止位置
3a 停止位置
10 表示システム
100 情報処理装置
110 記憶装置
111 制御プログラム
112 制御情報
120 プロセッサ
121 車両運動演算処理部
122 座標変換処理部
123 描画処理部
200 カメラ
300 走行状態検出センサ
400 表示装置