(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024052803
(43)【公開日】2024-04-12
(54)【発明の名称】情報処理方法、情報処理装置、及び、情報処理システム
(51)【国際特許分類】
G08G 1/16 20060101AFI20240405BHJP
G08G 1/09 20060101ALI20240405BHJP
G16Y 10/40 20200101ALI20240405BHJP
G16Y 20/20 20200101ALI20240405BHJP
G16Y 40/30 20200101ALI20240405BHJP
【FI】
G08G1/16 A
G08G1/09 V
G16Y10/40
G16Y20/20
G16Y40/30
【審査請求】有
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2024024090
(22)【出願日】2024-02-20
(62)【分割の表示】P 2019084991の分割
【原出願日】2019-04-26
(31)【優先権主張番号】P 2018149818
(32)【優先日】2018-08-09
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Panasonic Intellectual Property Corporation of America
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】下間 雄太
(57)【要約】
【課題】車両を安全に緊急停止させることができる情報処理方法を提供する。
【解決手段】情報処理方法は、通信ネットワークを介して車両200を遠隔操作するための情報処理装置140の情報処理方法であって、車両200の車両情報を取得するステップ(S10)と、通信ネットワークの遅延時間を取得するステップ(S20)と、車両情報と遅延時間とに基づいて、車両200を緊急停止させた場合の停止位置を算出するステップ(S30)と、算出した停止位置を示す停止位置情報を出力するステップ(S40)とを含み、出力するステップ(S40)では、車両200の走行が安全に行えない可能性がある場合に、停止位置情報を出力する。
【選択図】
図4
【特許請求の範囲】
【請求項1】
通信ネットワークを介して車両を遠隔操作するための情報処理装置の情報処理方法であって、
前記車両の車両情報を取得するステップと、
前記通信ネットワークの遅延時間を取得するステップと、
前記車両情報と前記遅延時間とに基づいて、前記車両を緊急停止させた場合の停止位置を算出するステップと、
算出した前記停止位置を示す停止位置情報を出力するステップとを含み、
前記出力するステップでは、前記車両の走行が安全に行えない可能性がある場合に前記停止位置情報を出力する
情報処理方法。
【請求項2】
前記走行が安全に行えない可能性がある場合は、前記車両が障害物と衝突する危険がある場合を含む
請求項1に記載の情報処理方法。
【請求項3】
前記障害物と衝突する危険がある場合は、前記車両と前記障害物との距離が所定の距離以下である場合を含む
請求項2に記載の情報処理方法。
【請求項4】
前記走行が安全に行えない可能性がある場合は、前記車両が交差点に進入している場合を含む
請求項1に記載の情報処理方法。
【請求項5】
前記走行が安全に行えない可能性がある場合は、前記車両が交差点に進入する直前である場合を含む
請求項1に記載の情報処理方法。
【請求項6】
通信ネットワークを介して車両を遠隔操作するための情報処理装置の情報処理方法であって、
前記車両の車両情報を取得するステップと、
前記通信ネットワークの遅延時間を取得するステップと、
前記車両情報と前記遅延時間とに基づいて、前記車両を緊急停止させた場合の停止位置を算出するステップと、
算出した前記停止位置を示す停止位置情報を出力するステップとを含み、
前記出力するステップでは、所定の操作が行われた場合に前記停止位置情報を出力する
情報処理方法。
【請求項7】
前記所定の操作は、前記車両を遠隔操作するオペレータが緊急停止ボタンを押すことを含む
請求項6に記載の情報処理方法。
【請求項8】
通信ネットワークを介して車両を遠隔操作するための情報処理装置の情報処理方法であって、
前記車両の車両情報を取得するステップと、
前記通信ネットワークの遅延時間を取得するステップと、
前記車両情報と前記遅延時間とに基づいて、前記車両を緊急停止させた場合の停止位置を算出するステップと、
算出した前記停止位置を示す停止位置情報を出力するステップとを含み、
前記出力するステップでは、表示についてユーザの指示があった時に停止位置を表示させる
情報処理方法。
【請求項9】
前記ユーザの指示は、音声指示である
請求項8に記載の情報処理方法。
【請求項10】
通信ネットワークを介して車両を遠隔操作するための情報処理装置の情報処理方法であって、
前記車両の車両情報を取得するステップと、
前記通信ネットワークの遅延時間を取得するステップと、
前記車両情報と前記遅延時間とに基づいて、前記車両を緊急停止させた場合の停止位置を算出するステップと、
算出した前記停止位置を示す停止位置情報を出力するステップとを含み、
前記出力するステップでは、障害物に関する注意を促す情報が表示または出力されている時に前記停止位置情報を出力する
情報処理方法。
【請求項11】
前記出力するステップでは、前記停止位置情報を常に出力する
請求項1~10のいずれか1項に記載の情報処理方法。
【請求項12】
前記遅延時間は、前記情報処理装置が送信した情報を前記車両が受信するまでの時間を含む
請求項1~10のいずれか1項に記載の情報処理方法。
【請求項13】
前記停止位置を算出するステップでは、
前記遅延時間に基づいて、前記車両の現在位置において前記車両を緊急停止させた場合の空走距離を算出し、
前記現在位置と、算出された前記空走距離とに基づいて前記停止位置を算出する
請求項12に記載の情報処理方法。
【請求項14】
通信ネットワークを介して車両を遠隔操作するための情報処理装置であって、
前記車両の車両情報を取得する車両情報取得部と、
前記通信ネットワークの遅延時間を取得する遅延時間取得部と、
前記車両情報と前記遅延時間とに基づいて、前記車両を緊急停止させた場合の停止位置を算出する制御部と、
算出した前記停止位置を示す停止位置情報を出力する出力部とを備え、
前記出力部は、前記車両の走行が安全に行えない可能性がある場合に、前記停止位置情報を出力する
情報処理装置。
【請求項15】
請求項14に記載の情報処理装置と、
前記情報処理装置が出力した前記停止位置情報に基づく映像を表示する表示装置とを備える
情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両を遠隔操作する情報処理装置の情報処理方法、情報処理装置、及び、情報処理システムに関する。
【背景技術】
【0002】
無線LAN(Local Area Network)や携帯電話回線等の無線通信を利用して、運転者が搭乗しない車両もしくは運転者が操作しない車両を、遠隔地にいるオペレータが間接的に運転、操縦する車両制御システムがある。
【0003】
このような車両制御システムの場合、通信ネットワークを介して、車両に搭載されたセンサ(例えば、ミリ波レーダ、レーザーレーダ、及び、カメラ)が車両周辺を観測して得られるセンシング結果を、車両からオペレータに伝え、車両の走行に関する制御情報を、オペレータから車両に伝えることで、オペレータは遠隔から車両を操縦する。
【0004】
特許文献1には、半自律型無人車両(被操作車両)に対する遠隔操作システム(車両制御システム)が開示されている。特許文献1における遠隔操作システムは、自車の走行領域内の測距データを取得し、測距データに基づいて自律走行を行うとともに、遠隔地にいるオペレータの操縦によって、遠隔操縦装置から送信された操縦情報(制御情報)による遠隔操縦を行う半自律型車両を備える。この遠隔操作システムでは、半自律型車両を遠隔操作することができる。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、オペレータは、車両を緊急停止させる場合がある。この場合、オペレータは、車両を安全に緊急停止させることが必要とされる。特許文献1に記載の技術によれば、車両が有する撮像部で撮像された画像が表示部に表示され、オペレータは表示部に表示された画像を確認することにより車両を遠隔操作するが、この方法では車両を安全に緊急停止できない場合がある。
【0007】
そこで、本開示は、車両を安全に緊急停止させることができる情報処理方法、情報処理装置、及び、情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本開示の一態様に係る情報処理方法は、通信ネットワークを介して車両を遠隔操作するための情報処理装置の情報処理方法であって、前記車両の車両情報を取得するステップと、前記通信ネットワークの遅延時間を取得するステップと、前記車両情報と前記遅延時間とに基づいて、前記車両を緊急停止させた場合の停止位置を算出するステップと、算出した前記停止位置を示す停止位置情報を出力するステップとを含み、前記出力するステップでは、前記車両の走行が安全に行えない可能性がある場合に前記停止位置情報を出力する。
【0009】
本開示の一態様に係る情報処理方法は、通信ネットワークを介して車両を遠隔操作するための情報処理装置の情報処理方法であって、前記車両の車両情報を取得するステップと、前記通信ネットワークの遅延時間を取得するステップと、前記車両情報と前記遅延時間とに基づいて、前記車両を緊急停止させた場合の停止位置を算出するステップと、算出した前記停止位置を示す停止位置情報を出力するステップとを含み、前記出力するステップでは、所定の操作が行われた場合に前記停止位置情報を出力する。
【0010】
本開示の一態様に係る情報処理方法は、通信ネットワークを介して車両を遠隔操作するための情報処理装置の情報処理方法であって、前記車両の車両情報を取得するステップと、前記通信ネットワークの遅延時間を取得するステップと、前記車両情報と前記遅延時間とに基づいて、前記車両を緊急停止させた場合の停止位置を算出するステップと、算出した前記停止位置を示す停止位置情報を出力するステップとを含み、前記出力するステップでは、表示についてユーザの指示があった時に停止位置を表示させる。
【0011】
本開示の一態様に係る情報処理方法は、通信ネットワークを介して車両を遠隔操作するための情報処理装置の情報処理方法であって、前記車両の車両情報を取得するステップと、前記通信ネットワークの遅延時間を取得するステップと、前記車両情報と前記遅延時間とに基づいて、前記車両を緊急停止させた場合の停止位置を算出するステップと、算出した前記停止位置を示す停止位置情報を出力するステップとを含み、前記出力するステップでは、障害物に関する注意を促す情報が表示または出力されている時に前記停止位置情報を出力する。
【0012】
本開示の一態様に係る情報処理装置は、通信ネットワークを介して車両を遠隔操作するための情報処理装置であって、前記車両の車両情報を取得する車両情報取得部と、前記通信ネットワークの遅延時間を取得する遅延時間取得部と、前記車両情報と前記遅延時間とに基づいて、前記車両を緊急停止させた場合の停止位置を算出する制御部と、算出した前記停止位置を示す停止位置情報を出力する出力部とを備え、前記出力部は、前記車両の走行が安全に行えない可能性がある場合に、前記停止位置情報を出力する。
【0013】
本開示の一態様に係る情報処理システムは、上記の情報処理装置と、前記情報処理装置が出力した前記停止位置情報に基づく映像を表示する表示装置とを備える。
【発明の効果】
【0014】
本開示の一態様に係る情報処理方法、情報処理装置、及び、情報処理システムによれば、車両を安全に緊急停止させることができる。
【図面の簡単な説明】
【0015】
【
図1】
図1は、実施の形態1に係る車両制御システムの概略構成を示す図である。
【
図2】
図2は、実施の形態1に係る遠隔操作システムの機能構成を示す図である。
【
図3】
図3は、実施の形態1に係る被操作車両の機能構成を示す図である。
【
図4】
図4は、実施の形態1に係る遠隔操作システムの動作を示すフローチャートである。
【
図5A】
図5Aは、実施の形態1に係るNWの遅延時間を取得する動作の一例を示すシーケンス図である。
【
図5B】
図5Bは、実施の形態1に係るNWの遅延時間を取得する動作の他の一例を示すシーケンス図である。
【
図6】
図6は、実施の形態1に係る被操作車両の停止位置の表示例を示す図である。
【
図7】
図7は、実施の形態2に係る遠隔操作システムの機能構成を示す図である。
【
図8】
図8は、実施の形態2に係る遠隔操作システムの動作を示すフローチャートである。
【
図9】
図9は、実施の形態2に係る被操作車両の停止位置の表示例を示す図である。
【
図10】
図10は、実施の形態3に係る遠隔操作システムの動作を示すフローチャートである。
【
図11】
図11は、実施の形態3に係る遠隔操作装置と被操作車両との間のパケットロス率を算出する動作を示すシーケンス図である。
【
図12A】
図12Aは、実施の形態3に係る被操作車両の停止位置の表示例を示す図である。
【
図12B】
図12Bは、実施の形態3に係る被操作車両の停止位置の他の表示例を示す図である。
【
図12C】
図12Cは、実施の形態3に係る被操作車両の停止位置のさらに他の表示例を示す図である。
【
図13】
図13は、実施の形態3に係る遠隔操作装置と被操作車両との間において、停止指示を送受信する動作を示すシーケンス図である。
【
図14】
図14は、実施の形態4に係る遠隔操作システムの動作を示すフローチャートである。
【
図15A】
図15Aは、実施の形態4に係る被操作車両の停止位置の表示例を示す図である。
【
図15B】
図15Bは、実施の形態4に係る被操作車両の停止位置の他の表示例を示す図である。
【
図16】
図16は、実施の形態5に係る遠隔操作システムの動作を示すフローチャートである。
【
図17A】
図17Aは、実施の形態5に係る被操作車両における、停止距離が短い場合の停止位置を示す図である。
【
図17B】
図17Bは、実施の形態5に係る被操作車両における、停止距離が長い場合の停止位置を示す図である。
【
図17C】
図17Cは、実施の形態5に係る被操作車両の停止範囲の表示例を示す図である。
【発明を実施するための形態】
【0016】
(本開示の基礎となった知見)
上記のように、特許文献1に記載の技術では、車両が有する撮像部で撮像された画像が表示部に表示され、オペレータは表示部に表示された画像を確認することにより車両を遠隔操作する。つまり、特許文献1では、表示部には撮像部が撮像した画像を表示されるだけである。この場合、オペレータは、緊急時に車両を停止する指示を出しても、車両が停止する位置がわならない。言い換えると、オペレータは、緊急停止する場合、明示的にどの地点で車両が停止するかを把握することができない。よって、特許文献1の方法では、車両が安全に緊急停止することができない場合がある。
【0017】
そこで、本開示の一態様に係る情報処理方法は、通信ネットワークを介して車両を遠隔操作するための情報処理装置の情報処理方法であって、前記車両の車両情報を取得するステップと、前記通信ネットワークの遅延時間を取得するステップと、前記車両情報と前記遅延時間とに基づいて、前記車両を緊急停止させた場合の停止位置を算出するステップと、算出した前記停止位置を示す停止位置情報を出力するステップとを含む。
【0018】
これにより、オペレータは、情報処理装置から出力された停止位置情報が表示された映像(停止位置が表示された映像)を確認することで、車両を緊急停止させた場合に車両が停止する位置を明示的に把握することができる。つまり、オペレータは、車両を緊急停止させる場合に、停止位置を考慮して緊急停止させる操作を行うことができる。よって、本開示の一態様に係る情報処理方法によれば、車両を安全に緊急停止させることができる。
【0019】
また、例えば、前記車両には、当該車両を緊急停止するときの減速パターンが複数設定されており、前記停止位置は、複数の減速パターンのそれぞれにおいて算出される。
【0020】
これにより、オペレータは、複数の減速パターンのそれぞれにおいて算出された複数の停止位置が表示された映像を確認することで、表示された複数の停止位置からより安全に車両を緊急停止させることができる減速パターンを選択することができる。よって、本開示の一態様に係る情報処理方法によれば、より安全に車両を緊急停止させることができる。
【0021】
また、例えば、前記通信ネットワークにおけるパケットロス率に基づいて、緊急停止することを示す制御情報を繰り返し送信する送信回数N(N≧2)を算出するステップをさらに含み、前記停止位置は、前記送信回数をさらに用いて算出される。
【0022】
これにより、パケットロス率に基づく送信回数を用いて停止位置を算出することで、車両と情報処理装置との間の通信においてパケットロスが発生している場合であっても、当該パケットロスを考慮して停止位置を算出することができる。よって、本開示の一態様に係る情報処理方法によれば、パケットロスが発生しているときでも、安全に車両を緊急停止させることができる。
【0023】
また、例えば、前記停止位置は、N回目に送信した前記制御情報により前記車両が緊急停止した場合の第一停止位置を含む。
【0024】
これにより、オペレータは、パケットロス率を考慮した車両の停止位置の中で最も遠い第一停止位置を把握することができる。つまり、オペレータは、第一停止位置を確認することで、車両が安全に停止することができるか否かを判断することができる。よって、本開示の一態様に係る情報処理方法によれば、パケットロスが発生しているときでも、安全に車両を緊急停止させることができる。
【0025】
また、例えば、前記停止位置は、さらに、1回目に送信した前記制御情報により前記車両が緊急停止した場合の第二停止位置を含み、前記停止位置情報は、前記第一停止位置と前記第二停止位置とに基づく第一停止範囲を含む。
【0026】
これにより、オペレータは、車両がパケットロスの発生により停止する可能性がある停止範囲を把握することができる。つまり、オペレータは、第一停止範囲を確認することで、車両が安全に停止することができるか否かを判断することができる。よって、本開示の一態様に係る情報処理方法によれば、パケットロスが発生しているときでも、さらに安全に車両を緊急停止させることができる。
【0027】
また、例えば、さらに、前記車両の周囲の障害物の位置を含む障害物情報を取得するステップと、前記停止位置と前記障害物の前記位置とに基づいて、前記車両と前記障害物とが衝突する危険があるか否かを判定するステップとを含み、前記出力するステップでは、前記車両と前記障害物とが衝突する危険があると判定された場合、さらに、前記車両と前記障害物とが衝突する危険があることを報知するためのアラート情報を出力する。
【0028】
これにより、車両が障害物に衝突する危険がある場合、当該車両が障害物に衝突する前にアラート情報によりオペレータに衝突の危険があることを報知することができる。よって、オペレータは、車両が障害物に衝突する前に、当該車両を停止(例えば、緊急停止)させることができる。また、車両と障害物とが衝突する場合であっても、衝突する前に事前に緊急停止操作を行うことができるので、衝突の衝撃を軽減することができる。例えば、車両の進行方向に障害物があり、かつ、車両が障害物との衝突を回避するための運転行動(例えば、停止行動)を行っていなかった場合に、オペレータがアラート情報に基づいて、車両を遠隔操作することができる。
【0029】
また、例えば、前記停止位置は、前記車両情報に基づいて算出された第三停止位置及び前記第三停止位置より遠い第四停止位置を含み、前記停止位置情報は、前記第三停止位置と前記第四停止位置とに基づく第二停止範囲を含む。
【0030】
これにより、オペレータは、第二停止範囲に基づいて、車両を操作することができる。つまり、オペレータは、車両が停止する可能性がある停止位置を考慮して、当該車両を操作することができるので、より適切に車両を操作することができる。
【0031】
また、例えば、前記第三停止位置は、前記車両情報に含まれる前記車両の速度より遅い第一速度に基づいて算出され、前記第四停止位置は、前記速度より速い第二速度に基づいて算出される。
【0032】
これにより、車両情報において停止位置に与える影響が大きい速度に基づいて、第二停止範囲を算出することができる。よって、第二停止位置をより制度よく算出することができる。
【0033】
また、例えば、前記車両情報は、前記車両の現在位置、及び、速度を示す情報を含む。
【0034】
これにより、車両に搭載されるセンサ等により取得される情報を用いて、停止位置を算出することができる。
【0035】
また、例えば、前記車両情報は、さらに、前記車両の加速度、操舵角、角速度、及び、角加速度の少なくとも1つを含む。
【0036】
これにより、停止位置をさらに精度よく算出することができる。
【0037】
また、例えば、本開示の一態様に係る遠隔操作装置は、通信ネットワークを介して車両を遠隔操作するための情報処理装置であって、前記車両の車両情報を取得する車両情報取得部と、前記通信ネットワークの遅延時間を取得する遅延時間取得部と、前記車両情報と前記遅延時間とに基づいて、前記車両を緊急停止させた場合の停止位置を算出する制御部と、算出した前記停止位置を示す停止位置情報を出力する出力部とを備える。
【0038】
これにより、上記の情報処理方法と同様の効果を奏する。すなわち、オペレータは、情報処理装置が停止位置を示す停止位置情報を出力することで、出力された停止位置情報が表示された映像(停止位置が表示された映像)を確認することができる。オペレータは、車両を緊急停止させた場合に車両が停止する位置を明示的に把握することができる。つまり、オペレータは、車両を緊急停止させる場合に、停止位置を考慮して緊急停止させる操作を行うことができる。よって、本開示の一態様に係る情報処理装置によれば、車両を安全に緊急停止させることができる。
【0039】
また、例えば、本開示の一態様に係る遠隔操作システムは、上記の情報処理装置と、前記情報処理装置が出力した前記停止位置情報に基づく映像を表示する表示装置とを備える。
【0040】
これにより、オペレータは、情報処理装置から出力された停止位置情報が表示装置に表示された映像(停止位置が表示された映像)を確認することができる。オペレータは、車両を緊急停止させた場合に車両が停止する位置を明示的に把握することができる。つまり、オペレータは、車両を緊急停止させる場合に、停止位置を考慮して緊急停止させる操作を行うことができる。よって、本開示の一態様に係る情報処理システムによれば、車両を安全に緊急停止させることができる。
【0041】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD-ROM等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
【0042】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【0043】
なお、以下で説明する各実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0044】
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
【0045】
また、本明細書において、矩形などの要素の形状を示す用語、並びに、数値、及び、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数%程度の差異をも含むことを意味する表現である。
【0046】
(実施の形態1)
以下、本実施の形態に係る遠隔操作装置の情報処理方法等について、
図1~
図6を参照しながら説明する。
【0047】
[1-1.車両制御システムの構成]
まずは、遠隔操作装置を含む車両制御システムの構成について、
図1~
図3を参照しながら説明する。
図1は、本実施の形態に係る車両制御システムの概略構成を示す図である。
【0048】
図1に示すように、車両制御システム10は、無線LAN、通信端末等の無線基地局310とネットワーク300とを介して、被操作車両200と遠隔操作システム100(具体的には、遠隔操作装置140)とを通信可能に接続するシステムである。無線基地局310とネットワーク300とは、通信ネットワークの一例である。また、被操作車両200は、オペレータHが遠隔操作する車両の一例である。なお、本明細書において、車両は、例えば、運転者の操作を必要とせずに車両の運転を制御する自動運転車であるが、自動運転または手動運転の何れかに切り替えて走行することが可能な車両であってもよい。また、車両には、自動車、列車、バス等の一般的に車両と呼ばれるものだけでなく、フェリー等の船舶、及び、飛行機等の航空機が含まれる。
【0049】
遠隔操作システム100について、さらに
図2を参照しながら詳細に説明する。
図2は、本実施の形態に係る遠隔操作システム100の機能構成を示す図である。
【0050】
図1及び
図2に示すように、遠隔操作システム100は、表示装置110と、操作入力装置120と、緊急停止装置130と、遠隔操作装置140とを備える。
【0051】
表示装置110は、遠隔操作装置140に接続され、被操作車両200に関する映像を表示するモニタである。表示装置110は、被操作車両200が緊急停止するときの停止位置を表示することで、オペレータHに被操作車両200の停止位置を認識させることが可能である。また、表示装置110は、被操作車両200及び被操作車両200の周囲における障害物の状態をオペレータHに表示することで、オペレータHに被操作車両200及び障害物の状態を認識させることが可能であってもよい。
【0052】
表示装置110は、遠隔操作装置140に複数台が接続されていてもよい。例えば、被操作車両200が緊急停止するときの停止位置を表示するための表示装置110、及び、被操作車両200と障害物の状態とを表示する表示装置110が遠隔操作装置140に接続されていてもよい。なお、映像は、動画、及び、静止画を含む意味である。また、障害物とは、被操作車両200以外の別の車両、人等であり、主に、被操作車両200が走行する際に障害となる移動体を意味している。なお、障害物は、地面に固定されている不動産でもよい。
【0053】
操作入力装置120は、遠隔操作装置140と接続され、オペレータHの遠隔操作が入力される装置である。操作入力装置120は、例えば、ハンドル、フットペダル(例えば、アクセルペダル、及び、ブレーキペダル)等であり、被操作車両200を操作するための装置である。操作入力装置120は、入力された車両操作情報を遠隔操作装置140に出力する。
【0054】
緊急停止装置130は、遠隔操作装置140と接続され、オペレータHの遠隔操作が入力される装置である。緊急停止装置130は、例えば、緊急停止ボタン等であり、被操作車両200を緊急停止するための装置である。緊急停止装置130は、入力された緊急停止情報を遠隔操作装置140に出力する。
【0055】
遠隔操作装置140は、遠隔地にいるオペレータHが通信ネットワークを介して被操作車両200を遠隔操作するための装置である。本実施の形態では、遠隔操作装置140は、さらに、オペレータHが被操作車両200を緊急停止させたときの当該被操作車両200の停止位置を表示させる。
図2に示すように、遠隔操作装置140は、制御部141と、通信部142と、記憶部143とを有する。
【0056】
制御部141は、遠隔操作装置140の各種構成要素を制御する制御装置である。本実施の形態では、制御部141は、例えば、通信部142を介して受信した被操作車両200の車両情報、及び、通信ネットワークの遅延時間に基づいて、当該被操作車両200を緊急停止させたときの停止位置を算出する。制御部141は、表示装置110に停止位置を表示するための情報を出力することで、表示装置110に当該停止位置を表示させる。
【0057】
車両情報とは、被操作車両200自体が有する当該被操作車両200の走行に関する情報である。車両情報には、被操作車両200自体の速度、及び、現在位置が含まれる。また、車両情報には、さらに、被操作車両200自体の加速度、操舵角、角速度、及び、角加速度の少なくとも1つを含まれていてもよい。これにより、制御部141は、より精度よく被操作車両200の停止位置を算出することができる。
【0058】
遅延時間とは、遠隔操作装置140と被操作車両200との間の情報伝達に要する時間である。遅延時間が長くなる、つまり、通信ネットワークの遅延が大きくなると、被操作車両200に操作指示を送信してから被操作車両が操作指示に応じた動作を開始するまでに要する時間が長くなる。例えば、操作指示が緊急停止する指示である場合、緊急停止する指示を送信してから被操作車両200が停止動作を開始するまでに要する時間が長くなる。これにより、被操作車両200に緊急停止指示を送信してから被操作車両200が停止するまでの距離が伸びてしまい、事故の危険性が高まる。そこで、オペレータHは、被操作車両200を緊急停止させるときに、被操作車両200がどの位置で停止するかを把握する必要がある。そのため、制御部141は、上記に記載したように、通信ネットワークの遅延時間を用いて、停止位置を算出する。
【0059】
また、制御部141は、通信部142を介して受信した、被操作車両200の周囲の映像情報に基づいて、オペレータHによる被操作車両200の操作に必要となる映像を生成し、生成した映像を表示装置110に出力する。なお、このとき、障害物の現在位置を含む障害物位置情報を被操作車両200から受信している場合、さらに受信した障害物位置情報を用いて映像を生成してもよい。例えば、映像に示される被操作車両200と距離の近い障害物の色を変化させる、又は、映像に示される被操作車両200と距離の近い障害物を点滅させて表示してもよい。
【0060】
制御部141は、例えば、被操作車両200から通信部142を介して受信した映像に、停止位置を重畳して表示装置110に表示させてもよい。また、制御部141は、停止位置を示す俯瞰図を表示装置110に表示させてもよい。制御部141は、例えば、車両情報に含まれる被操作車両200の現在位置から、当該被操作車両200の周囲の地図情報を取得し、取得した地図情報に停止位置を重畳することで、俯瞰図を生成してもよい。
【0061】
制御部141は、さらに現在の年月日および時刻を計時するリアルタイムクロック機能を有していてもよい。または、制御部141は、通信部142を介して受信したGPS衛星からの信号であるGPS信号に基づいて特定される時刻を、正確な時刻であるGPS時刻として用いてもよい。制御部141は、所定の時間間隔でGPS信号を受信する。
【0062】
通信部142は、通信ネットワークを介して被操作車両200と無線通信するための無線通信モジュールである。通信部142は、通信ネットワークを介して被操作車両200の車両情報、及び、通信ネットワークの遅延時間を算出するための情報(具体的には、RTT計測応答パケット)を受信する。また、通信部142は、制御部141の制御により、被操作車両200の走行を制御する制御情報を、通信ネットワークを介して被操作車両200に送信する。制御情報には、車両操作情報に基づく車両制御情報、及び、緊急停止情報に基づく緊急停止制御情報が含まれる。
【0063】
記憶部143は、制御部141が実行する制御プログラムを記憶する記憶装置である。また、記憶部143は、通信部142を介して取得した車両情報、及び、遅延時間などを記憶してもよい。記憶部143は、例えば、半導体メモリなどによって実現される。
【0064】
上記のような遠隔操作装置140は、通信ネットワークを介して被操作車両200を遠隔操作するための情報処理装置の一例である。また、遠隔操作システム100は、情報処理システムの一例である。
【0065】
なお、図示していないが、遠隔操作システム100は、遠隔操作装置140と接続し、障害物に関する注意を促すために、オペレータHに対して警告音を出力することで、オペレータHに危険が迫っていることを認知させる出音装置(例えば、スピーカ)などを備えていてもよい。これにより、オペレータHは、被操作車両200が緊急停止する必要がある状況であることを知ることができる。
【0066】
遠隔操作装置140は、被操作車両200の走行が安全に行えない可能性がある場合に、緊急停止させたときの停止位置を表示装置110に表示させてもよい。遠隔操作装置140は、例えば、被操作車両200と障害物との距離が所定の距離以下である場合に、被操作車両200を緊急停止させたときの停止位置を表示装置110に表示させてもよい。または、遠隔操作装置140は、例えば、障害物に関する注意を促す情報が表示又は出力されているときに、被操作車両200を緊急停止させたときの停止位置を表示装置110に表示させてもよい。または、遠隔操作装置140は、緊急停止装置130に所定の操作が行われた場合に、被操作車両200を緊急停止させたときの停止位置を表示装置110に表示させてもよい。所定の操作とは、例えば、緊急停止装置130が緊急停止ボタンである場合、オペレータHが緊急停止ボタンを所定量押し込むことである。また、遠隔操作装置140は、収音装置を備える場合、当該収音装置が停止位置を表示することを示す音声を取得したときに、被操作車両200を緊急停止させたときの停止位置を表示装置110に表示させてもよい。
【0067】
次に、被操作車両200について、さらに
図3を参照しながら詳細に説明する。
図3は、本実施の形態に係る被操作車両200の機能構成を示す図である。
【0068】
図3に示すように、被操作車両200は、センサ部210と、撮像部220と、車両情報取得部230と、制御部240と、通信部250と、記憶部260とを備える。被操作車両200は、車両が予め保有している走行データ、及び、センサ部210等で検知した情報を元に生成した走行データ等に基づいて、自律走行を行うことが可能な車両であり、所定の条件で遠隔地にいるオペレータHによって遠隔操作される、自動運転を行うことが可能な車両である。
【0069】
センサ部210は、被操作車両200の周囲の状況を検出する装置である。センサ部210は、例えば、被操作車両200の周囲に存在する障害物(例えば、別の車両、人等)の位置、速度、及び、大きさの少なくとも1つを検出する。センサ部210は、LIDAR(Light Detection and Ranging)、レーダ(例えば、ミリ波レーダ)、又は、これらの組み合わせで実現される。
【0070】
撮像部220は、被操作車両200の周囲の映像を撮像するカメラである。撮像部220は、例えば、被操作車両200から前後左右方向の撮影が可能である位置に設けられている。つまり、撮像部220は、被操作車両200の周囲を撮影することが可能に、被操作車両200に設けられている。撮像部220は、例えば、複数のカメラで構成されていてもよい。また、撮像部220は、ドライブレコーダに搭載されたカメラであってもよい。
【0071】
センサ部210及び撮像部220は、被操作車両200に複数設置されていてもよい。すなわち、被操作車両200は、1台以上のセンサ部210と1台以上の撮像部220とを備えていてもよい。
【0072】
車両情報取得部230は、CAN(Control Area Network)等の車載ネットワークを介して、被操作車両200に搭載される各種センサから当該被操作車両200の走行に関する情報を取得する。各種センサは、被操作車両200の速度を検出する速度センサ、及び、被操作車両200の現在位置を検出するGPS(Global Positioning System)センサを含む。つまり、車両情報取得部230は、速度センサから被操作車両200の速度を取得し、GPSセンサから被操作車両200の現在位置を取得する。なお、各種センサは、被操作車両200の操舵角を検出する操舵角センサ、ブレーキの度合いを検出するブレーキセンサ、アクセルの度合い(以降では、アクセル開度とも記載する)を検出するアクセルセンサ、及び、ウィンカの指示方向を検出するウィンカセンサなどが含まれていてもよい。
【0073】
制御部240は、被操作車両200の各種構成要素を制御する制御装置である。本実施の形態では、制御部240は、車両情報取得部230を介して取得した被操作車両200の速度及び現在位置を含む車両情報、及び、センサ部210、及び、撮像部220の少なくとも一方から得られる被操作車両200のセンシング情報(例えば、撮像部220が撮像した映像情報)を、通信部250を介して遠隔操作システム100に送信する。また、制御部240は、通信部250を介して遠隔操作システム100から取得した制御情報を、自車両の走行を制御する走行制御部(図示しない)に出力する。走行制御部は、被操作車両200のアクセル、ブレーキ、及び、シフトレバーの操作により速度を制御する速度制御ユニット(例えば、ECU(engine control unit))、と、被操作車両200のステアリングを操作することにより被操作車両200の進行方向を制御する操舵制御ユニットとを有する。
【0074】
制御部240は、センサ部210及び撮像部220の各々から得られるセンシング情報に基づき、被操作車両200の車両周辺の障害物を検知して、障害物の現在位置を示す障害物位置情報を生成してもよい。なお、障害物位置情報は、障害物の現在位置、障害物の速度、障害物の加速度、障害物の進行方向、障害物の大きさ、及び、障害物の種類に関する情報の少なくとも1つを含んでいてもよい。障害物の種類は、例えば、歩行者、バイク、自動車等を区別する種類である。障害物の現在位置は、各々のセンサが障害物をセンシングした時点における、障害物の位置を示す。
【0075】
制御部240は、撮像部220から得られるセンシング情報に基づき、被操作車両200の周囲の映像情報を生成する。被操作車両200の周囲の映像情報は、被操作車両200の前後左右方向におけるそれぞれの方向を個別に映像情報として生成されていてもよく、被操作車両200の前後左右方向をまとめて一つの映像情報として合成して生成されていてもよい。
【0076】
制御部240は、現在の年月日および時刻を計時するリアルタイムクロック機能を有していてもよい。または、制御部240は、通信部250を介して取得したGPS衛星からの信号であるGPS信号に基づいて特定される時刻を、正確な時刻であるGPS時刻として用いてもよい。制御部240は、所定の時間間隔でGPS信号を受信する。
【0077】
通信部250は、無線基地局310及びネットワーク300を介して遠隔操作装置140と無線通信するための無線通信モジュールである。通信部250は、制御部240の制御により、車両情報、映像情報、及び、障害物位置情報を無線基地局310及びネットワーク300を介して遠隔操作装置140に送信する。また、通信部250は、無線基地局310及びネットワーク300を介して被操作車両200の走行に関する制御情報を受信する。
【0078】
記憶部260は、制御部240が実行する制御プログラムを記憶する記憶装置である。また、記憶部260は、通信部250を介して取得した制御情報、並びに、センサ部210及び撮像部220から得られるセンシング情報などを記憶してもよい。記憶部260は、例えば、半導体メモリなどによって実現される。
【0079】
[1-2.遠隔操作システムの動作]
次に、遠隔操作システム100の動作について、
図4~
図6を参照しながら説明する。
図4は、本実施の形態に係る遠隔操作システム100の動作を示すフローチャートである。
図4に示すステップS10~S40の動作は、遠隔操作装置140において実行される動作である。
【0080】
図4に示すように、遠隔操作装置140は、被操作車両200の車両情報を取得する(S10)。具体的には、制御部141は、通信部142を介して被操作車両200の車両情報を受信する。通信部142は、被操作車両200の車両情報を取得する車両情報取得部として機能する。また、遠隔操作装置140は、NW(通信ネットワーク)の遅延時間を取得する(S20)。
【0081】
ここで、通信ネットワークの遅延時間の取得について
図5A及び
図5Bを参照しながら説明する。
図5A及び
図5Bは、遅延時間の一例として、往復遅延時間を算出する場合を示す。
図5Aは、本実施の形態に係るNW(通信ネットワーク)の遅延時間を取得する動作の一例を示すシーケンス図である。
図5Aでは、遠隔操作装置140と被操作車両200とで、時刻の同期がとれている場合における遅延時間の取得について説明する。時刻の同期がとれているとは、例えば、遠隔操作装置140及び被操作車両200が時刻にGPS時刻を用いている場合、又は、電波時計を有している場合などである。以下では、遠隔操作装置140及び被操作車両200は、GPSセンサ(図示しない)を有している場合について説明する。なお、GPS時刻とは、GPSセンサが衛星から受信した電波に含まれる時刻情報を意味する。
【0082】
図5Aに示すように、まず遠隔操作装置140は、RTT(Round Trip Time:遅延時間)計測パケットにタイムスタンプ(timestamp_1)を付与する(S110)。制御部141は、timestamp_1としてRTT計測パケットを送信する時刻をGPSセンサから取得して、RTT計測パケットに書き込む。そして、制御部141は、通信部142を介して被操作車両200にRTT計測パケットを送信する(S120)。
【0083】
被操作車両200は、RTT計測パケットを受信する(S130)。制御部240は、RTT計測パケットの受信時のタイムスタンプ(timestamp_2)をGPSセンサから取得する(S140)。また、制御部240は、RTT計測パケットに対応する応答であるRTT計測応答パケットにタイムスタンプ(timestamp_1~timestamp_3)を付与する(S150)。制御部240は、timestamp_3としてRTT計測応答パケットを送信する時刻をGPSセンサから取得して、RTT計測応答パケットに書き込む。そして、制御部240は、通信部250を介してRTT計測応答パケットを遠隔操作装置140に送信する(S160)。
【0084】
遠隔操作装置140の制御部141は、通信部142を介してRTT計測応答パケットを受信する(S170)。制御部141は、RTT計測応答パケットの受信時のタイムスタンプ(timestamp_4)を取得する(S180)。制御部141は、timestamp_4をGPSセンサから取得する。そして、制御部141は、タイムスタンプ(timestamp_1~timestamp_4)を用いてNW往復遅延時間の算出を行う(S190)。制御部141は、例えば、timestamp_1とtimestamp_4との差分から、timestamp_2とtimestamp_3との差分を減算することで、NW往復遅延時間を算出する。制御部141は、通信ネットワークの遅延時間を取得する遅延時間取得部として機能する。
【0085】
次に、遠隔操作装置140と被操作車両200とで、時刻の同期がとれていない場合における遅延時間の取得について
図5Bを参照しながら説明する。
図5Bは、本実施の形態に係るNWの遅延時間を取得する動作の他の一例を示すシーケンス図である。
【0086】
図5Bに示すステップS210~S230は、
図5Aに示すステップS110~S130と同様であり、説明を省略する。
【0087】
図5Bに示すように、被操作車両200は、timestamp_1とduration timeとをRTT計測応答パケットに付与する(S240)。duration timeは、RTT計測パケットを受信してからRTT計測応答パケットを送信するまでの時間であり、制御部240のリアルタイムクロック機能により算出される。そして、制御部240は、通信部250を介してRTT計測応答パケットを遠隔操作装置140に送信する(S250)。
【0088】
遠隔操作装置140の制御部141は、通信部142を介してRTT計測応答パケットを受信する(S260)。制御部141は、RTT計測応答パケットの受信時のタイムスタンプ(timestamp_4)を取得する(S270)。そして、制御部141は、タイムスタンプ(timestamp_1、及び、timestamp_4)と、duration timeとを用いてNW往復遅延時間の算出を行う(S280)。制御部141は、例えば、timestamp_1とtimestamp_4との差分から、duration timeを減算することで、NW往復遅延時間を算出する。
【0089】
なお、上記では、被操作車両200における処理時間(例えば、
図5Aに示すtimestamp_2とtimestamp_3との差分、又は、
図5Bに示すduration time)を減算して往復遅延時間を算出する例を示したが、これに限定されない。往復遅延時間は、例えば、timestamp_1とtimestamp_4との差分から算出されてもよい。
【0090】
なお、上記では、遅延時間は、往復遅延時間である例について説明したが、片道遅延時間(例えば、遠隔操作システム100によりRTT計測パケットが送信されてから、被操作車両200により受信するまでの時間)であってもよい。
【0091】
なお、制御部141は、直接パケットに送信時刻を書き込まずに、送信時刻を当該パケットのシーケンス番号と対応付けて、記憶部143に記憶してもよい。そして、ステップS190又はS280では、制御部141は、記憶部143から送信時刻を読み出し、読み出した送信時刻とRTT計測応答パケットを受信した受信時刻とを用いて、往復遅延時間を算出してもよい。
【0092】
なお、遅延時間の計測は、所定の時間間隔で繰り返し実行される。制御部141は、例えば算出した遅延時間を記憶部143に記憶してもよい。そして、ステップS20では、制御部141は、車両情報を取得した時点において、最新の遅延時間を記憶部143から読み出すことで遅延時間を取得してもよい。
【0093】
図4を再び参照して、制御部141は、被操作車両200の停止位置を算出する(S30)。停止位置は、被操作車両200の現在位置をp、被操作車両200の速度をv、減速度をa、通信ネットワークの遅延時間をt_nw、システム遅延時間をt_sysとすると、
【数1】
により算出される。第2項目は、オペレータHが緊急停止装置130を操作してから、被操作車両200が実際に緊急停止動作(以降、停止動作とも記載する)を開始するまでに被操作車両200が進む距離(いわゆる空走距離)を示す。第3項目は、被操作車両200が停止動作を開始してから実際に停止するまでに被操作車両200が進む距離(いわゆる制動距離)を示す。減速度aは、被操作車両200を緊急停止させるときの減速度であり、例えば、0.1G~0.3G(G:重力加速度)などである。被操作車両200は、例えば、停止動作として、一定の減速度aで減速する。
【0094】
なお、システム遅延時間は、遠隔操作システム100で生じる遅延時間、及び、被操作車両200で生じる遅延時間の少なくとも一方が含まれる。遠隔操作システム100で生じる遅延時間とは、オペレータHが緊急停止装置130を操作してから、通信部142により緊急停止制御情報が送信されるまでの時間である。被操作車両200で生じる遅延時間とは、緊急停止制御情報を受信してから、停止動作が開始されるまでの時間である。システム遅延時間は、所定の定数であってもよい。
【0095】
そして、制御部141は、表示装置110に被操作車両200の停止位置を出力する(S40)。具体的には、制御部141は、被操作車両200の停止位置を示す停止位置情報を出力する。制御部141は、例えば、被操作車両200の停止位置を含む映像情報、又は、被操作車両200の停止位置を含む俯瞰図を表示させるための映像情報を表示装置110に出力する。制御部141は、表示装置110と通信するための通信モジュールを介して停止位置情報を出力する出力部として機能する。
【0096】
表示装置110は、遠隔操作装置140から被操作車両200の停止位置を取得すると、当該停止位置を含む映像を表示する(S50)。表示装置110が表示する停止位置の一例を、
図6を参照しながら説明する。
図6は、本実施の形態に係る被操作車両200の停止位置の表示例を示す図である。
図6に示す映像M1の道路401及び402は、被操作車両200が走行する道路を示す。また、
図6では、被操作車両200の現在位置200p(式1に示す現在位置200pに対応)、及び、停止位置200qを示している。また、
図6に示す矢印は、被操作車両200の進行方向を示している。
【0097】
図6に示すように、被操作車両200は、現在位置200pにおいて緊急停止を行った場合、停止位置200qに示すように、被操作車両200の一部が道路401と道路402とが交差している交差点内に侵入することがわかる。オペレータHは、映像M1を確認することで、現在位置200pで緊急停止を行うと、道路401を走行している他の車両と衝突してしまう危険があることを、容易に認識することができる。そのため、オペレータHは、被操作車両200を緊急停止させるタイミングを表示装置110に表示された停止位置200qに応じて適切に決定することができる。オペレータHは、表示装置110に表示された停止位置200qが障害物と衝突等しない位置である場合に緊急停止装置130を操作することで、被操作車両200を安全に緊急停止させることができる。
【0098】
なお、
図6では、被操作車両200の現在位置200p及び停止位置200qを、車両の形状で示しているが、現在位置200p及び停止位置200qの形状は特に限定されない。また、映像M1には、被操作車両200の現在位置200p及び停止位置200qのうち、少なくとも停止位置200qが表示されていればよい。
【0099】
以上のように、本実施の形態に係る遠隔操作装置140の情報処理方法は、ネットワーク300及び無線基地局310を介して被操作車両200を遠隔操作するための情報処理方法である。情報処理方法は、被操作車両200の車両情報を取得するステップ(S10)と、ネットワーク300及び無線基地局310の遅延時間を取得するステップ(S20)と、車両情報と遅延時間とに基づいて、被操作車両200を緊急停止させた場合の停止位置を算出するステップ(S30)と、算出した停止位置を示す停止位置情報を出力するステップ(S40)とを含む。
【0100】
これにより、オペレータHは、遠隔操作装置140から出力された停止位置情報が表示された映像(例えば、映像M1)を確認することで、被操作車両200を緊急停止させた場合に被操作車両200が停止する位置を明示的に把握することができる。つまり、オペレータHは、被操作車両200を緊急停止させる場合に、停止位置を考慮して緊急停止させる操作を行うことができる。よって、本実施の形態に係る情報処理方法によれば、被操作車両200を安全に緊急停止させることができる。本実施の形態に係る情報処理方法によれば、例えば、被操作車両200を緊急停止させたときに被操作車両200が交差点内などに停止してしまい、停止した位置で事故が発生する危険性を低減することができる。
【0101】
(実施の形態2)
以下、本実施の形態に係る遠隔操作装置140の情報処理方法等について、
図7~
図9を参照しながら説明する。なお、本実施の形態では、実施の形態1との相違点を中心に説明する。本実施の形態に係る遠隔操作システム100aは、実施の形態1に係る遠隔操作システム100に示す緊急停止装置130に替えて、第一緊急停止装置130aと、第二緊急停止装置130bと、第三緊急停止装置130cとを備える。以下、詳細に説明する。
【0102】
[2-1.遠隔操作システムの構成]
まずは、遠隔操作装置140を含む遠隔操作システム100aの構成について、
図7を参照しながら説明する。
図7は、本実施の形態に係る遠隔操作システム100aの機能構成を示す図である。
【0103】
図7に示すように、遠隔操作システム100aは、第一緊急停止装置130aと、第二緊急停止装置130bと、第三緊急停止装置130cとを備える。第一緊急停止装置130aと、第二緊急停止装置130bと、第三緊急停止装置130cとは、被操作車両200を緊急停止するときの減速度が互いに異なる。つまり、遠隔操作システム100aにおいて、被操作車両200を緊急停止するときの減速パターンが複数設定されている。減速度は、第一緊急停止装置130a~第三緊急停止装置130cのそれぞれに予め設定されている。本実施の形態では、第一緊急停止装置130a~第三緊急停止装置130cのうち第一緊急停止装置130aに対応する減速度(以降において、第一減速度とも記載する)が最も高く、第三緊急停止装置130cに対応する減速度(以降において、第三減速度とも記載する)が最も低いとする。また、第二緊急停止装置130bに対応する減速度は、第二減速度とも記載する。なお、遠隔操作システム100aが備える緊急停止装置の数は3つに限定されず、2つ以上であればよい。
【0104】
[2-2.遠隔操作システムの動作]
次に、遠隔操作システム100aの動作について、
図8及び
図9を参照しながら説明する。
図8は、本実施の形態に係る遠隔操作システム100aの動作を示すフローチャートである。なお、
図8におけるステップS310及びS320は、実施の形態1の
図4に示すS10及びS20と同様であり、説明を省略する。
【0105】
図8に示すように、遠隔操作装置140は、複数の減速度のそれぞれについて、被操作車両200の停止位置を算出する(S330)。本実施の形態では、制御部141は、第一緊急停止装置130a~第三緊急停止装置130cのそれぞれに対応する第一減速度~第三減速度のそれぞれについて、停止位置を算出する。具体的には、制御部141は、式1の減速度aの値を変更することで、3つの停止位置を算出する。
【0106】
そして、制御部141は、表示装置110に被操作車両200における複数の停止位置を出力する(S340)。具体的には、制御部141は、被操作車両200の停止位置を示す複数の停止位置情報を出力する。制御部141は、例えば、被操作車両200における複数の停止位置を含む映像情報、又は、被操作車両200における複数の停止位置を含む俯瞰図を表示させるための映像情報を表示装置110に出力する。
【0107】
表示装置110は、遠隔操作装置140から被操作車両200における複数の停止位置を取得すると、当該複数の停止位置を含む映像を表示する(S350)。表示装置110が表示する複数の停止位置の一例を、
図9を参照しながら説明する。
図9は、本実施の形態に係る被操作車両200の停止位置の表示例を示す図である。
図9は、第一緊急停止装置130aを操作したときの停止位置である停止位置200a、第二緊急停止装置130bを操作したときの停止位置である停止位置200b、及び、第三緊急停止装置130cを操作したときの停止位置である停止位置200cが同一画面上に表示された映像M2を示している。なお、ここでの同一画面上に表示するとは、表示装置110が表示する画面上に同時に停止位置200a~200cを表示することを意味する。
【0108】
図9に示すように、被操作車両200は、現在位置200pにおいて緊急停止を行った場合、減速度に応じて停止位置200a~停止位置200cのいずれかの位置に緊急停止する。オペレータHは、映像M2を確認することで、被操作車両200を安全な位置に緊急停止させることができる減速度を知ることができる。つまり、オペレータHは、映像M2を確認することで、第一緊急停止装置130a~第三緊急停止装置130cのいずれの緊急停止装置を操作すればより安全に被操作車両200を緊急停止することができるかを判断することができる。
【0109】
停止位置200aに示すように、第一緊急停止装置130aを操作して(言い換えると、第一減速度で)被操作車両200を緊急停止させた場合、被操作車両200の一部が交差点に進入した状態で停止する。停止位置200bに示すように、第二緊急停止装置130bを操作して(言い換えると、第二減速度で)被操作車両200を緊急停止させた場合、被操作車両200が交差点を通過した直後の位置で停止する。つまり、第一緊急停止装置130a及び第二緊急停止装置130bを操作することで被操作車両200を緊急停止させた場合、他の車両などとの衝突の危険性が高いことがわかる。また、停止位置200cに示すように、第三緊急停止装置130cを操作して(言い換えると、第三減速度で)被操作車両200を緊急停止させた場合、被操作車両200は交差点から離れた位置で停止する。つまり、第三緊急停止装置130cを操作することで被操作車両200を緊急停止させた場合、第一緊急停止装置130a及び第二緊急停止装置130bを操作した場合に比べて他の車両などとの衝突の危険性が低いことがわかる。よって、オペレータHは、第三緊急停止装置130cを操作して被操作車両200を緊急停止させることで、被操作車両200を安全に緊急停止させることができる。
【0110】
なお、上記では、被操作車両200は、一定の減速度(例えば、第一減速度~第三減速度)で減速する例について説明したが、これに限定されない。例えば、第一減速度~第三減速度の少なくとも1つは、減速を開始してからの経過時間により減速度の値が変化するように設定されていてもよい。つまり、第一減速度~第三減速度の少なくとも1つは、減速度の値が経時的に変化してもよい。減速度の値は、例えば、減速を開始してから徐々に減速度が高くなるように設定されていてもよい。例えば、第一減速度~第三減速度のそれぞれは、減速度の値の経時的変化の度合いが異なっていてもよい。つまり、遠隔操作システム100aにおいて、被操作車両200を緊急停止するときの停止動作を開始してからの経過時間における減速度の変化度合いが異なる減速パターンが複数設定されていてもよい。
【0111】
以上のように、被操作車両200には、当該被操作車両200を緊急停止するときの減速パターンが複数設定されており(例えば、第一減速度~第三減速度)、被操作車両200の停止位置は、複数の減速パターンのそれぞれにおいて算出される(例えば、停止位置200a~200c)。
【0112】
これにより、複数の減速パターンのそれぞれにおいて算出された複数の停止位置が表示装置110に表示された場合、オペレータHは、表示装置110に表示された複数の停止位置からより安全に被操作車両200を緊急停止させることができる減速パターンを選択することができる。よって、本実施の形態に係る遠隔操作装置140によれば、さらに安全に被操作車両200を緊急停止させることができる。
【0113】
なお、上記では、オペレータHは、減速パターンを複数の緊急停止装置(例えば、第一緊急停止装置130a~第三緊急停止装置130c)から選択する例について説明したが、これに限定されない。オペレータHの操作により被操作車両200を緊急停止させる減速パターンが選択される方法できれば、減速パターンを選択する方法は上記以外の方法であってもよい。例えば、オペレータHは、操作入力装置120のブレーキペダルの押し込み度合を変えることで、緊急停止時の減速パターンを選択してもよい。例えば、ブレーキペダルの押し込み度合を大きくすることで、緊急停止時の減速度を大きく設定してもよい。また、遠隔操作システム100aがオペレータHの音声を収音する収音装置(例えば、マイクロフォンなど)を備えている場合、オペレータHは、音声により減速パターンを指定してもよい。
【0114】
(実施の形態3)
以下、本実施の形態に係る遠隔操作装置140の情報処理方法等について、
図10~
図13を参照しながら説明する。なお、本実施の形態では、実施の形態1との相違点を中心に説明する。本実施の形態に係る遠隔操作システムの構成は、実施の形態1に係る遠隔操作システム100と同じであるので、説明を省略する。本実施の形態では、遠隔操作装置140が通信ネットワークのパケットロス率を考慮して、被操作車両200の停止位置を算出する点に特徴を有する。すなわち、制御部141により算出される停止位置は、パケットロスが発生した場合の停止位置(以下に示す第一停止位置及び第二停止位置の少なくとも一方)を含んでいてもよい。以下、詳細に説明する。
【0115】
[3-1.遠隔操作システムの動作]
遠隔操作システムの動作について、
図10~
図13を参照しながら説明する。
図10は、本実施の形態に係る遠隔操作システムの動作を示すフローチャートである。なお、
図10におけるステップS410は、実施の形態1の
図4に示すS10と同様であり、説明を省略する。
【0116】
図10に示すように、遠隔操作装置140は、NW(通信ネットワーク)の遅延時間、及び、パケットロス率を取得する(S420)。NWの遅延時間は、実施の形態1と同様であり、説明を省略する。パケットロス率とは、雑音(ノイズ)などの影響により突発的に発生するパケットロスの割合である。
【0117】
ここで、通信ネットワークにおけるパケットロス率について
図11を参照しながら説明する。
図11は、本実施の形態に係る遠隔操作装置140と被操作車両200との間のパケットロス率を算出する動作を示すシーケンス図である。遠隔操作装置140は、遠隔操作装置140と被操作車両200との間、つまり通信ネットワークにおけるパケットロス率を算出するために、第一の期間ごとにRTT計測パケットを送信している。RTT計測パケットのそれぞれには、互いに異なるシーケンス番号が付与される。
図11では、seq1~seq10までのシーケンス番号が付与されたRTT計測パケットが送信されている例を示している。また、被操作車両200は、遠隔操作装置140からRTT計測パケットを受信すると、当該RTT計測パケットに含まれるシーケンス番号を付与したRTT計測応答パケットを遠隔操作装置140に送信する。遠隔操作装置140は、シーケンス番号(例えば、seq1)を付与したRTT計測パケットを被操作車両200に送信した後、第二の期間内に当該シーケンス番号(例えば、seq1)を含むRTT計測応答パケットを受信できない場合に、パケットロスが発生していると判定する。なお、第二の期間は、例えば、第一の期間より短い期間であってもよい。第一の期間は、例えば、1秒である。
【0118】
遠隔操作装置140の制御部141は、所定の期間におけるRTT計測応答パケットの受信状況からパケットロス率を算出する。具体的には、制御部141は、所定の期間においてRTT計測パケットを送信した回数(以降において、パケット送信回数とも記載する)と、RTT計測パケットを送信した後、第二の期間内に当該RTT計測パケットに対応するRTT計測応答パケットを受信しなかった回数(以降において、パケット未受信回数とも記載する)とから、パケットロス率を算出する。より具体的には、制御部141は、パケット未受信回数をパケット送信回数で除算することで、パケットロス率を算出する。パケットロス率は、例えば、百分率で表される。
【0119】
図11の例では、パケット送信回数が10回であり、パケット未受信回数が1回(具体的には、RTT計測応答パケットseq5の1回)であるので、パケットロス率は10%となる。なお、制御部141は、ステップS410において被操作車両200の車両情報を取得した時点における、直近のパケット送信回数及びパケット未受信回数からパケットロス率を算出してもよい。制御部141は、例えば、車両情報を取得した時点から第三の期間過去に遡った時点までの期間おける、パケット送信回数及びパケット未受信回数からパケットロス率を算出してもよい。または、制御部141は、ステップS410において被操作車両200の車両情報を取得した時点から過去に遡ったときの直近の所定のパケット送信回数(例えば、10回など)におけるパケット未受信回数からパケットロス率を算出してもよい。
【0120】
上記により、制御部141は、通信ネットワークにおけるパケットロス率を取得する。なお、制御部141は、他の装置から通信ネットワークにおけるパケットロス率を通信部142を介して受信することで、パケットロス率を取得してもよい。制御部141は、例えば、パケットロス率を被操作車両200から受信してもよい。
【0121】
図10を再び参照して、制御部141は、ステップS420で取得したパケットロス率に基づいて、被操作車両200を緊急停止することを示す緊急停止制御情報(制御情報の一例)が被操作車両200に到達するために当該緊急停止制御情報を繰り返し送信する送信回数N(N≧2)を算出する(S430)。制御部141は、例えば、送信回数Nとパケットロス率とを乗算した値が、100%以上となるように、送信回数Nを算出する。
図11の例では、制御部141は、例えば、送信回数Nを2回とする。なお、送信回数Nは、遠隔操作装置140が被操作車両200に緊急停止制御情報を実際に送信する回数ではなく、N回送信すればパケットロスが発生していても被操作車両200に緊急停止制御情報が到達すると推測される見込み回数である。
【0122】
そして、制御部141は、ステップS430で算出した送信回数Nを用いて、被操作車両200の停止位置を算出する(S440)。本実施の形態では、被操作車両200の停止位置の算出に、遠隔操作装置140が緊急停止するための制御情報を送信する送信回数Nを用いる点に特徴を有する。被操作車両200の現在位置をp、被操作車両200の速度をv、減速度をa、通信ネットワークの遅延時間をt_nw、システム遅延時間をt_sys、制御情報を繰り返し送信する時間間隔を△t(
図13の時間間隔Δt参照)とすると、n回目(n≦N)の制御情報により被操作車両200が緊急停止したときの停止位置は、
【数2】
により算出される。2項目は、オペレータHが緊急停止装置130を操作してから、被操作車両200が実際に緊急停止動作(以降では、停止動作とも記載する)を開始するまでに被操作車両が進む距離(いわゆる空走距離)を示す。式2は、式1に加え、制御情報を繰り返す送信する時間間隔Δtを含む。例えば、被操作車両200が1回目の制御情報で停止動作を開始した場合、Δt×(n-1)はゼロとなり、式1と等しい停止位置が算出される。
【0123】
制御部141は、例えば、N回目(n=N)のときの制御情報により被操作車両200が緊急停止したときの停止位置のみを算出してもよい。つまり、制御部141は、現在位置200pから最も遠い位置に被操作車両200が緊急停止したときの停止位置のみを算出してもよい。また、制御部141は、例えば、1回目(n=1)のときの制御情報により被操作車両200が緊急停止したときの停止位置、及び、N回目(n=N)のときの制御情報により被操作車両200が緊急停止したときの停止位置を算出してもよい。つまり、制御部141は、式2に示す現在位置200pから最も近い位置に被操作車両200が緊急停止したときの停止位置、及び、式2に示す現在位置200pから最も遠い位置に被操作車両200が緊急停止したときの停止位置を算出してもよい。これにより、被操作車両200が緊急停止したときに停止する可能性がある停止位置の範囲がわかる。
【0124】
そして、制御部141は、表示装置110に被操作車両200の停止位置を出力する(S450)。具体的には、制御部141は、被操作車両200の停止位置を含む映像情報、又は、被操作車両200の停止位置を含む俯瞰図を表示させるための映像情報を表示装置110に出力する。
【0125】
表示装置110は、遠隔操作装置140から被操作車両200の停止位置を取得すると、当該停止位置を含む映像を表示する(S460)。表示装置110が表示する停止位置の一例を、
図12A~
図12Cを参照しながら説明する。なお、
図12A~
図12Cは、パケットロスが発生した場合における、被操作車両200の停止位置を示す図である。
図12Aは、本実施の形態に係る被操作車両200の停止位置の表示例を示す図である。
図12Aに示す映像M3は、被操作車両200がパケットロスの影響により緊急停止する可能性がある範囲である停止範囲201を示す。停止範囲201は、第一停止範囲の一例である。
【0126】
図12Aに示すように、制御部141は、表示装置110に被操作車両200の停止位置の範囲を表示させてもよい。制御部141は、送信回数が1回目のときの停止位置200d(第二停止位置の一例)と、送信回数がN回目のときの停止位置200e(第一停止位置の一例)とから、被操作車両200の停止範囲201を表示させてもよい。言い換えると、制御部141は、停止位置として停止位置200d及び200eに基づく停止範囲201を含む映像情報を表示装置110に出力してもよい。
【0127】
これにより、オペレータHは、パケットロスが発生している状況で、被操作車両200を緊急停止させたときに被操作車両200が緊急停止する可能性がある範囲を知ることができる。つまり、オペレータHは、被操作車両200が緊急停止する可能性がある範囲を確認することで、被操作車両200を安全に緊急停止させることができるか否かを判断することができる。例えば、
図12Aに示す停止範囲201が交差点を含む範囲であるので、オペレータHは、緊急停止させると危険であると判断することができる。
【0128】
制御部141は、例えば、被操作車両200の現在位置200pの周辺における地図情報、又は、被操作車両200の撮像部220が撮像した映像から、被操作車両200の進行方向に交差点などの障害物と衝突する危険がある範囲が存在する場合に、
図12Aに示す映像M3を表示装置110に表示させてもよい。なお、進行方向に衝突する危険がある範囲が存在するとは、現在位置200pから第一距離内に当該領域が存在すること意味する。第一距離は、被操作車両200の速度などにより決定され、例えば数m又は数十mである。
【0129】
なお、
図12Aでは、停止範囲201は矩形状に表示されている例を示しているが、楕円状であってもよいし、停止位置200d及び200eを含んでいればその他の形状であってもよい。また、停止範囲201は、点滅などにより表示されてもよい。また、停止範囲201は、実線で枠状に表示されている例を示しているが、所定の色(例えば、赤色)などで塗りつぶすことなどにより表示されてもよい。
【0130】
次に、表示装置110が表示する停止位置の他の一例を、
図12Bを参照しながら説明する。
図12Bは、本実施の形態に係る被操作車両200の停止位置の他の表示例を示す図である。
図12Bに示す映像M4は、被操作車両200が現在位置200pから最も近い位置に停止したときの停止位置200fを示す。
【0131】
図12Bに示すように、制御部141は、表示装置110にパケットロスが発生しているときに被操作車両200が停止する可能性がある停止位置のうち、現在位置200pに最も近い停止位置200fを表示させてもよい。制御部141は、送信回数が1回目のときの緊急停止制御情報により被操作車両200が緊急停止した場合の停止位置200f(第二停止位置の一例)を含む映像M4を表示させてもよい。言い換えると、制御部141は、停止位置として停止位置200fを含む映像情報を表示装置110に出力してもよい。
【0132】
制御部141は、例えば、被操作車両200の現在位置200pの周辺における地図情報、又は、被操作車両200の撮像部220が撮像した映像から、被操作車両200が交差点に進入している、又は被操作車両200が交差点に進入する直前である場合に、
図12Bに示す映像M4を表示装置110に表示させてもよい。交差点に進入する直前とは、例えば、現在位置200pが交差点から第二距離内の位置であることを意味する。第二距離は、例えば、数m又は数十mである。
【0133】
次に、表示装置110が表示する停止位置のさらに他の一例を、
図12Cを参照しながら説明する。
図12Cは、本実施の形態に係る被操作車両200の停止位置のさらに他の表示例を示す図である。
図12Cに示す映像M5は、被操作車両200が現在位置200pから最も遠い位置に停止したときの停止位置200gを示す。
【0134】
図12Cに示すように、制御部141は、表示装置110にパケットロスが発生しているときに被操作車両200が停止する可能性がある停止位置のうち、現在位置200pに最も遠い停止位置200gを表示させてもよい。制御部141は、送信回数がN回目のときの緊急停止制御情報により被操作車両200が緊急停止した場合の停止位置200g(第一停止位置の一例)を含む映像M5を表示させてもよい。言い換えると、制御部141は、停止位置として停止位置200gを含む映像情報を表示装置110に出力してもよい。
【0135】
制御部141は、例えば、被操作車両200の現在位置200pの周辺における地図情報、又は、被操作車両200の撮像部220が撮像した映像から、被操作車両200の進行方向に交差点などの障害物と衝突する危険がある領域が存在しない場合に、
図12Cに示す映像M5を表示装置110に表示させてもよい。なお、進行方向に衝突する危険がある領域が存在しないとは、現在位置200pから第三距離内に当該領域が存在しないこと意味する。また、第三距離は、例えば数十m又は数百mである。
【0136】
以上のように、本実施の形態に係る遠隔操作装置140の情報処理方法は、通信ネットワークにおけるパケットロス率に基づいて、緊急停止することを示す制御情報を繰り返し送信する送信回数N(N≧2)を算出するステップ(S430)をさらに含み、停止位置は、さらに、送信回数Nを用いて算出される。
【0137】
これにより、パケットロス率に基づく送信回数Nを用いて停止位置を算出することで、被操作車両200と遠隔操作装置140との間の通信においてパケットロスが発生している場合であっても、当該パケットロスを考慮して停止位置を算出することができる。例えば、オペレータHは、パケットロス率を考慮した被操作車両200の停止位置の中で最も遠い第一停止位置(例えば、停止位置200g)を把握することで、被操作車両200が安全に停止することができるか否かを判断することができる。よって、本実施の形態に係る遠隔操作装置140の情報処理方法によれば、パケットロスが発生しているときでも、安全に被操作車両を緊急停止させることができる。
【0138】
また、オペレータHは、被操作車両200がパケットロスの発生により停止する可能性がある停止範囲201を把握することで、被操作車両200が安全に停止することができるか否かをより正確に判断することができる。停止範囲201は、停止位置200d及び停止位置200eを含む。これにより、パケットロスが発生しているときでも、より安全に被操作車両200を緊急停止させることができる。
【0139】
ここで、パケットロスが発生しているときに、遠隔操作装置140が緊急停止制御情報(
図13では、停止指示と記載する)を送信する動作について、
図13を参照しながら説明する。
図13は、本実施の形態に係る遠隔操作装置140と被操作車両200との間において、停止指示を送受信する動作を示すシーケンス図である。なお、
図13に示す動作は、上記で算出した送信回数Nとは関係なく、実施される。
【0140】
図13に示すように、まず、遠隔操作装置140は、オペレータHから被操作車両200を緊急停止させる停止指示を取得する(S510)。具体的には、制御部141は、緊急停止装置130から緊急停止情報を取得することで、停止指示を取得する。制御部141は、緊急停止情報を取得すると、被操作車両200に当該被操作車両200を緊急停止させることを含む停止指示の送信を開始する(S520)。具体的には、制御部141は、緊急停止情報に基づく緊急停止制御情報を、通信部142を介して被操作車両200に送信する。
【0141】
制御部141は、1回目の停止指示の送信に対する応答である停止指示応答を被操作車両200から受信していない場合、2回目の停止指示を送信する。制御部141は、被操作車両200から停止指示応答を取得するまで、時間間隔Δtごとに停止指示を繰り返し送信する。
図13では、制御部141が1回目~5回目に送信した停止指示は、パケットロスの影響により被操作車両200に到達していない場合を示している。言い換えると、制御部141は、1回目~5回目の停止指示に対する応答である停止指示応答を受信していない。
【0142】
被操作車両200は、遠隔操作装置140から送信された停止指示を受信する(S530)。
図13では、被操作車両200は、遠隔操作装置140が6回目に送信した停止指示を受信する例を示している。被操作車両200は、遠隔操作装置140から停止指示を受信すると、当該停止指示に対応する応答である停止指示応答を遠隔操作装置140に送信する(S540)。そして、被操作車両200は、停止指示に基づき、停止動作を行う(S550)。遠隔操作装置140は、被操作車両200から停止指示応答を受信する(S560)と、停止指示の送信を停止する(S570)。
【0143】
以上のように、遠隔操作装置140は、被操作車両200から停止指示応答を受信するまで繰り返し停止指示を送信することで、通信ネットワークにパケットロスが発生している場合であっても被操作車両200を緊急停止させることができる。
【0144】
(実施の形態4)
以下、遠隔操作システム100の動作について、
図14~
図15Bを参照しながら説明する。
図14は、本実施の形態に係る遠隔操作システム100の動作を示すフローチャートである。なお、本実施の形態に係る遠隔操作システムの構成は、実施の形態1に係る遠隔操作システム100と同様である例について説明するが、実施の形態に2に係る遠隔操作システム100aと同様であってもよい。
【0145】
図14に示すように、遠隔操作装置140は、被操作車両200の車両情報、及び、障害物情報(障害物位置情報)を取得する(S610)。具体的には、制御部141は、通信部142を介して被操作車両200の車両情報を当該被操作車両200から受信する。また、制御部141は、通信部142を介して被操作車両200の周囲に存在する障害物に関する障害物情報を取得する。障害物情報は、例えば、被操作車両200が備えるセンサ部210、及び、撮像部220の少なくとも一方が検出した被操作車両200の周囲に存在する障害物の現在位置を含む情報である。また、障害物情報は、さらに、障害物の速度、障害物の加速度、障害物の進行方向、障害物の大きさ、及び、障害物の種類に関する情報の少なくとも1つを含んでいてもよい。障害物の種類は、例えば、歩行者、バイク、自動車等を区別する種類である。障害物の現在位置は、各々のセンサが障害物をセンシングした時点における、障害物の位置を示す。障害物情報は、例えば、被操作車両200の進行方向に存在する障害物に関する情報である。本実施の形態では、通信部142は、障害物情報を取得する障害物情報取得部としても機能する。障害物情報は、記憶部143に記憶されてもよい。
【0146】
なお、ステップS610において、遠隔操作装置140は、被操作車両200から障害物情報を取得することに限定されない。遠隔操作装置140は、例えば、被操作車両200が走行する道路に設置されている撮像装置、センサ等から被操作車両200の周囲に存在する障害物に関する障害物情報を取得してもよい。
【0147】
ステップS620及びS630の処理は、
図4に示すステップS20及びS30の処理と同様であり、説明を省略する。
【0148】
そして、制御部141は、ステップS630で算出した被操作車両200の停止位置と、ステップS610で取得した障害物情報に基づく障害物とが重なるか否かを判定する(S640)。つまり、制御部141は、被操作車両200と障害物とが衝突する危険があるか否かを判定する。このように、本実施の形態では、制御部141は、被操作車両200が障害物と衝突する危険があるか否かを判定する衝突危険判定部としても機能する。制御部141は、例えば、交差判定などを用いて被操作車両200の停止位置と障害物とが重なるか否かを判定する。
【0149】
停止位置は、例えば、オペレータHが現在位置に位置する被操作車両200を緊急停止させたとき(例えば、緊急停止装置130を操作したとき)に当該被操作車両200が停止する位置である。なお、停止位置は、オペレータHが現在位置に位置する被操作車両200を通常停止させたとき(例えば、操作入力装置120のブレーキペダルを操作したとき)に当該被操作車両200が停止する位置であってもよい。
【0150】
図15Aは、本実施の形態に係る被操作車両200の停止位置P1の表示例を示す図である。
図15Aでは、被操作車両200の停止位置P1と、障害物Oとが映像M6上において重なっていない。この場合、制御部141は、被操作車両200の停止位置P1と障害物Oとが重ならない(S640でNo)、つまり被操作車両200と障害物Oとが衝突しないと判定する。
【0151】
なお、制御部141は、例えば、停止位置200hに位置する被操作車両200を囲む枠(例えば、矩形状の枠)を当該被操作車両200の停止位置P1として、上記の判定を行うが、これに限定されない。制御部141は、例えば、停止位置200hと障害物Oとが重なっているか否かに基づいて、被操作車両200が障害物Oと衝突する危険があるか否かを判定してもよい。また、停止位置P1を示す枠は、平面視において、被操作車両200を含み、かつ、被操作車両200より大きい。例えば、被操作車両200に対する枠の大きさは、予め設定されている。停止位置P1を示す枠を大きく設定することで、被操作車両200をより安全に走行させることができる。なお、停止位置P1は、第三停止位置の一例である。
【0152】
そして、制御部141は、被操作車両200の停止位置P1、及び、障害物位置を表示装置110に出力する(S650)。制御部141は、例えば、被操作車両200の停止位置P1を示す停止位置情報、及び、障害物Oが存在する位置を含む障害物情報(障害物位置情報)を出力する。制御部141は、例えば、被操作車両200の停止位置P1、及び、障害物位置を含む映像情報、又は、被操作車両200の停止位置P1、及び、障害物位置を含む俯瞰図を表示させるための映像情報を表示装置110に出力する。例えば、制御部141は、ステップS640でNoである場合、アラート情報の出力を禁止する。
【0153】
表示装置110は、遠隔操作装置140から被操作車両200の停止位置P1、及び、障害物位置を取得すると、当該停止位置P1、及び、障害物位置を含む映像(例えば、
図15Aに示す映像M6)を表示する(S660)。
【0154】
図15Aに示すように、被操作車両200は、現在位置200pにおいて緊急停止を行った場合、障害物Oに衝突することなく安全に緊急停止できることがわかる。オペレータHは、映像M6を確認することで、現在位置200pで緊急停止を行うと、被操作車両200を安全に緊急停止させることができることを容易に認識することができる。
【0155】
また、オペレータHは、被操作車両200の走行経路上に障害物Oが存在することを認識することができるので、当該被操作車両200が障害物Oとの衝突を避けるための運転行動を行うか否かを注視することができる。そして、オペレータHは、被操作車両200が障害物Oとの衝突を避けるための運転行動を行っていない場合、映像M6を視認しながら適切なタイミングで当該被操作車両200を緊急停止させることができる。
【0156】
図15Bは、本実施の形態に係る被操作車両200の停止位置P2の他の表示例を示す図である。
図15Bでは、被操作車両200の停止位置P2と、障害物Oとが映像M7上において重なっている。この場合、制御部141は、被操作車両200の停止位置P2と障害物Oとが重なる(S640でYes)、つまり被操作車両200と障害物Oとが衝突する危険があると判定する。また、制御部141は、さらに、映像M7上において、停止位置P2と障害物Oとの距離が所定距離以下である場合、被操作車両200と障害物Oとが衝突する危険があると判定してもよい。なお、停止位置P2は、停止位置200iに位置する被操作車両200を囲む枠(例えば、矩形状の枠)である。
【0157】
そして、制御部141は、被操作車両200の停止位置P2、障害物位置、及び、アラート情報を表示装置110に出力する(S670)。制御部141は、例えば、被操作車両200の停止位置P2を示す停止位置情報、障害物Oの存在位置を示す障害物情報(障害物位置情報)、及び、被操作車両200が障害物Oに衝突する危険があることをオペレータHに気付かせるためのアラート情報を出力する。制御部141は、例えば、被操作車両200の停止位置P2、障害物位置、及び、アラート情報に基づくアラートAを含む映像情報、又は、被操作車両200の停止位置P2、障害物位置、及び、アラート情報に基づくアラートAを含む俯瞰図を表示させるための映像情報を表示装置110に出力する。
【0158】
表示装置110は、遠隔操作装置140から被操作車両200の停止位置P2、障害物位置、及び、アラート情報を取得すると、当該停止位置P2、障害物位置、及び、アラートを出力する(S680)。本実施の形態では、表示装置110は、アラートAを含む映像(例えば、
図15Bに示す映像M7)を表示することでアラートを出力する。
【0159】
図15Bに示すように、映像M7では、アラートAとして、「衝突注意」の文字が表示される例を示している。これにより、オペレータHは、映像M7に表示されているアラートAを見るだけで、被操作車両200が障害物Oと衝突する危険があることを認識することができる。例えば、被操作車両200がこのまま自動運転の状態で走行すれば障害物Oと衝突する恐れがある、又は、障害物Oが進行方向に存在しているにも関わらず被操作車両200が停止しようとしていない場合に、
図15Bに示す映像M7をもとにオペレータHが被操作車両200を緊急停止させることができる。
【0160】
また、上記のように、遠隔操作装置140は、表示装置110にアラートAを表示させるので、被操作車両200が衝突する危険があることをオペレータHに容易に気付かせることができる。アラートAは、例えば、映像M7内において、被操作車両200と障害物Oとが衝突する恐れがある位置の近傍であって、かつ、道路402と重ならない位置に表示されるとよい。
【0161】
なお、アラート情報は、注意を促す文字を映像M7上に表示することを示す情報であることに限定されず、映像M7の表示態様を変化させることを示す情報であってもよい。アラート情報は、例えば、被操作車両200の停止位置P2の枠の大きさ、色、及び、形状の少なくとも1つを被操作車両200が衝突する危険がないときから変更することを示す情報であってもよいし、映像M7を点滅させることを示す情報であってもよい。
【0162】
また、アラート情報は、表示態様を変化させることに限定されない。例えば、アラート情報は、音(例えば、警告音)によりオペレータHに被操作車両200が衝突する危険があることを示す情報であってもよい。音は、表示装置110がスピーカを備えている場合は、表示装置110から出音されてもよいし、表示装置110以外の装置により出音されてもよい。また、アラート情報は、振動(机、椅子などの振動)などによりユーザに刺激を与えることを含む情報であってもよい。また、アラート情報は、それらの組み合わせであってもよい。
【0163】
図15Bに示すように、現在位置200pにおいて緊急停止を行った場合、障害物Oの位置及び停止位置P2に示すように、被操作車両200は障害物Oに衝突する可能性があることがわかる。オペレータHは、映像M7を確認することで、被操作車両200を緊急停止させる必要があることを認識することができる。
【0164】
なお、
図15A及び
図15Bに示すように、映像には被操作車両200の現在位置200p及び停止位置(例えば、停止位置P1及びP2)と、障害物Oの位置とが表示されている例について示しているが、少なくとも停止位置及び障害物Oの位置が表示されていればよい。
【0165】
以上のように、本実施の形態に係る遠隔操作装置140における情報処理方法は、被操作車両200の車両情報を取得するステップ(S610)と、通信ネットワークの遅延時間を取得するステップ(S620)と、車両情報と遅延時間とに基づいて、被操作車両200を緊急停止させた場合の停止位置P1又はP2を算出するステップ(S630)と、算出した停止位置P1又はP2を示す停止位置情報を出力するステップ(S650、S670)とを含む。そして、情報処理方法は、さらに、被操作車両200の周囲の障害物Oの位置を含む障害物情報を取得するステップ(S610)と、停止位置P1又はP2と障害物Oの位置とに基づいて、被操作車両200と障害物Oとが衝突する危険があるか否かを判定するステップ(S640)とを含む。
【0166】
そして、制御部141は、判定するステップにおいて、被操作車両200の停止位置P2と障害物Oとが衝突する危険があると判定する(S640でYes)と、出力するステップにおいて、停止位置P2を示す停止位置情報に加えて、さらに障害物Oの位置を含む障害物情報、及び、アラート情報を出力する(S670)。また、制御部141は、判定するステップにおいて、被操作車両200の停止位置P1と障害物Oとが衝突する危険がないと判定する(S640でNo)と、出力するステップにおいて、停止位置P1を示す停止位置情報に加えて、さらに障害物Oの位置を含む障害物情報を出力する(S650)。
【0167】
これにより、被操作車両200が障害物Oに衝突する危険がある場合、当該被操作車両200が障害物Oに衝突する前にアラートAによりオペレータHに衝突の危険があることを報知することができる。つまり、オペレータHは、被操作車両200が障害物Oに衝突する前に、当該被操作車両200を停止(例えば、緊急停止)させることができる。また、被操作車両200と障害物Oとが衝突する場合であっても、衝突する前に事前に緊急停止操作を行うことができるので、衝突の衝撃を軽減することができる。
【0168】
(実施の形態5)
以下、遠隔操作システム100の動作について、
図16~
図17Cを参照しながら説明する。
図16は、本実施の形態に係る遠隔操作システム100の動作を示すフローチャートである。なお、本実施の形態に係る遠隔操作システムの構成は、実施の形態1に係る遠隔操作システム100と同様である例について説明するが、実施の形態に2に係る遠隔操作システム100aと同様であってもよい。また、ステップS710及びS720の処理は、
図4に示すステップS10及びS20の処理(又は
図8に示すS310及びS320の処理)と同様であり、説明を省略する。
【0169】
図16に示すように、制御部141は、被操作車両200の停止位置の範囲を算出する(S730)。制御部141は、被操作車両200の車両情報(例えば、速度、操舵など)の変化に基づいて、停止位置の範囲を算出する。停止位置の範囲は、車両情報が変化する中(例えば、被操作車両200の速度、操舵などが変化する中)、被操作車両200が停止する又は停止する可能性が高い範囲である。車両情報が速度である場合を例に説明すると、制御部141は、例えば、速度の上限値及び下限値に基づいて、それぞれの場合における停止位置を算出し、算出した2つの停止位置を含む範囲を停止位置の範囲とする。例えば、停止位置の範囲は、2つの停止位置及び当該2つの停止位置に挟まれた領域により形成される。
【0170】
例えば、速度の下限値v_minは、現在の速度をvとすると、
【数3】
により算出される。また、例えば、速度の上限値v_maxは、現在の速度をvとすると、
【数4】
により算出される。なお、v_thresholdは、速度の変化量を示しており、定数であってもよいし、加速度又は時間等に基づいて算出されてもよい。速度の変化量v_thresholdが定数である場合、例えば、速度の変化量v_thresholdは、10km/s~20km/sなどである。なお、速度の下限値v_min及び上限値v_maxを算出するための情報(例えば、式3、式4、変化量v_thresholdなど)は、記憶部143に記憶されている。
【0171】
そして、制御部141は、式3及び式4により算出した速度の下限値v_min及び上限値v_maxに基づいて、被操作車両200における停止距離の最小距離及び最大距離を算出する。最小距離は、被操作車両200の現在位置200pから停止位置までの距離が最小となる距離である。最小距離は、最小と推測される距離であってもよい。また、最大距離は、被操作車両200の現在位置200pから停止位置までの距離が最大となる距離である。最大距離は、最大と推測される距離であってもよい。
【0172】
例えば、停止位置の最小距離、つまり停止距離の最小値は、被操作車両200の現在位置をp、被操作車両200の速度の下限値をv_min、減速度をa、通信ネットワークの遅延時間をt_nw、システム遅延時間をt_sysとすると、
【数5】
により算出される。
【0173】
第2項目は、オペレータHが緊急停止装置130を操作してから、被操作車両200が実際に緊急停止動作(以降、停止動作とも記載する)を開始するまでに被操作車両200が進む距離の最小値(いわゆる空走距離の最小値)を示す。第3項目は、被操作車両200が停止動作を開始してから実際に停止するまでに被操作車両200が進む距離の最小値(いわゆる制動距離の最小値)を示す。減速度aは、被操作車両200を緊急停止させるときの減速度であり、例えば、0.1G~0.3G(G:重力加速度)などである。被操作車両200は、例えば、停止動作として、一定の減速度aで減速する。
【0174】
また、例えば、停止位置の最大距離、つまり停止距離の最大値は、被操作車両200の現在位置をp、被操作車両200の速度の上限値をv_max、減速度をa、通信ネットワークの遅延時間をt_nw、システム遅延時間をt_sysとすると、
【数6】
により算出される。
【0175】
第2項目は、オペレータHが緊急停止装置130を操作してから、被操作車両200が実際に停止動作を開始するまでに被操作車両200が進む距離の最大値(いわゆる空走距離の最大値)を示す。第3項目は、被操作車両200が停止動作を開始してから実際に停止するまでに被操作車両200が進む距離の最大値(いわゆる制動距離の最大値)を示す。
【0176】
そして、制御部141は、2つの停止位置を用いて、被操作車両200の停止位置の範囲を算出する。例えば、式5に基づいて算出された停止位置が
図17Aに示す停止位置P3であるとする。停止位置P3は、停止位置200jに位置する被操作車両200を囲む枠(例えば、矩形状の枠)である。また、例えば、式6に基づいて算出された停止位置が
図17Bに示す停止位置P4であるとする。停止位置P4は、停止位置200kに位置する被操作車両200を囲む枠(例えば、矩形状の枠)である。
【0177】
停止位置P4は、停止位置P3より被操作車両200の現在位置200pから遠い位置である。なお、
図17Aは、本実施の形態に係る被操作車両200における、停止距離が短い場合の停止位置P3を示す図である。
図17Bは、本実施の形態に係る被操作車両200における、停止距離が長い場合の停止位置P4を示す図である。また、停止位置P3は、第三停止位置の一例であり、停止位置P4は、第四停止位置の一例である。
【0178】
制御部141は、
図17Cに示すように、停止位置P3及びP4を含む範囲を停止位置の範囲(停止範囲202)として決定する。停止範囲202は、例えば、停止位置P3及びP4と、当該停止位置P3及びP4で挟まれた領域とを含む。これにより、被操作車両200の車両情報が変化する中であっても、被操作車両200が停止する可能性がある停止範囲202を算出することができる。なお、
図17Cは、本実施の形態に係る被操作車両200の停止範囲202の表示例を示す図である。また、停止範囲202は、第二停止範囲の一例である。
【0179】
なお、上記では、停止範囲202は、最大距離及び最小距離により算出される例について説明したが、これに限定されない。停止範囲202は、速度の変化量v_thresholdを考慮していない場合の停止位置に比べて、遠い停止位置及び近い停止位置のそれぞれを用いて算出されてもよい。停止範囲202は、例えば、被操作車両200の現在の速度vより遅い速度及び速い速度のそれぞれを用いて算出された停止位置を用いて算出されてもよい。また、停止範囲202は、速度の変化量v_thresholdを考慮していない場合の停止位置と、当該停止位置より遠い停止位置及び近い停止位置の一方とを用いて算出されてもよい。停止範囲202は、例えば、被操作車両200の現在の速度vと、当該現在の速度vより遅い速度及び速い速度の一方とのそれぞれを用いて算出された停止位置を用いて算出されてもよい。
【0180】
そして、制御部141は、表示装置110に被操作車両200の停止位置P3及びP4を含む停止位置の範囲(停止範囲202)を出力する(S740)。具体的には、制御部141は、被操作車両200の停止範囲202を含む停止位置情報を出力する。制御部141は、例えば、被操作車両200の停止範囲202を含む映像情報、又は、被操作車両200の停止範囲202を含む俯瞰図を表示させるための映像情報を表示装置110に出力する。
【0181】
表示装置110は、遠隔操作装置140から被操作車両200の停止範囲202を取得すると、当該停止範囲202を含む映像(例えば、
図17Cに示す映像M8)を表示する(S750)。
【0182】
以上のように、本実施の形態に係る遠隔操作装置140における情報処理方法は、被操作車両200の車両情報を取得するステップ(S710)と、通信ネットワークの遅延時間を取得するステップ(S720)と、車両情報と遅延時間とに基づいて、被操作車両200を緊急停止させた場合の停止範囲202を算出するステップ(S730)と、算出した停止範囲202を出力するステップ(S770)とを含む。
【0183】
停止範囲202を算出するための停止位置は、車両情報に基づいて算出された第三停止位置及び第三停止位置より遠い第四停止位置を含む。第三停止位置は、例えば、車両情報に含まれる被操作車両200の現在の速度vより遅い第一速度に基づいて算出した停止位置P3である。また、第四停止位置は、例えば、車両情報に含まれる被操作車両200の現在の速度vより速い第二速度に基づいて算出した停止位置P4である。
【0184】
本実施の形態では、制御部141は、算出するステップにおいて、被操作車両200の速度の下限値v_minに基づいて算出した停止位置P3と、被操作車両200の速度の上限値v_maxに基づいて算出した停止位置P4とに基づいて、停止範囲202を算出する。速度の下限値v_minは、現在の速度vより遅い第一速度の一例であり、速度の上限値v_maxは、現在の速度vより早い第二速度の一例である。
【0185】
そして、制御部141は、出力するステップにおいて、停止位置P3及び停止位置P4を含む停止位置情報を表示装置110に出力する。
【0186】
これにより、オペレータHは、
図17Cの映像M8に示される停止範囲202に基づいて、被操作車両200を操作することができる。オペレータHは、被操作車両200が停止する可能性がある停止位置を考慮して、被操作車両200を操作することができるので、より適切に被操作車両200を操作することができる。
【0187】
(その他の実施の形態)
以上、本開示について実施の形態1~5(以降において、各実施の形態とも記載する)に基づいて説明したが、本開示は、上記各実施の形態に限定されるものではない。
【0188】
例えば、上記各実施の形態では、遠隔操作装置の制御部は、表示装置に被操作車両の現在位置を含む映像を表示させる例について説明したが、これに限定されない。遠隔操作装置の制御部は、被操作車両の現在位置に替わり被操作車両が停止動作を開始する位置を表示装置に表示させてもよい。この場合、例えば、式1及び式2の現在位置200pに替わり、停止動作開始位置が用いて、停止位置が算出されてもよい。また、この場合、遅延時間は、片道遅延時間が用いられてもよい。
【0189】
また、上記各実施の形態では、遠隔操作装置は、被操作車両の走行が安全に行えない可能性がある場合に、緊急停止させたときの停止位置を表示装置に表示させる例について説明したが、これに限定されない。遠隔操作装置は、緊急停止させたときの停止位置を常に表示装置に表示させてもよい。
【0190】
また、上記各実施の形態における遠隔操作システムが備える装置間の通信方法については特に限定されるものではない。装置間では、無線通信が行われてもよいし、有線通信が行われてもよい。また、装置間では、無線通信および有線通信が組み合わされてもよい。
【0191】
また、上記各実施の形態では、被操作車両は障害物位置情報を遠隔操作装置に送信する例について説明したが、障害物位置情報を送信しなくてもよい。
【0192】
また、上記各実施の形態に係る遠隔操作装置及び被操作車両の各処理部(例えば、制御部)は典型的に集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
【0193】
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0194】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0195】
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示の各実施の形態は例示された数字に制限されない。
【0196】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【0197】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
【0198】
その他、上記各実施の形態等に対して当業者が思い付く各種変形を施して得られる形態、本開示の趣旨を逸脱しない範囲で実施の形態等における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
【産業上の利用可能性】
【0199】
本開示の一態様に係る情報処理方法等は、遠隔地にいるオペレータが通信ネットワークを介して車両を遠隔操作するための遠隔操作装置に有効である。
【符号の説明】
【0200】
10 車両制御システム
100、100a 遠隔操作システム(情報処理システム)
110 表示装置
120 操作入力装置
130 緊急停止装置
130a 第一緊急停止装置
130b 第二緊急停止装置
130c 第三緊急停止装置
140 遠隔操作装置(情報処理装置)
141 制御部(遅延時間取得部、出力部)
142 通信部(車両情報取得部)
143 記憶部
200 被操作車両(車両)
200p 現在位置
200a~200c、200h~200k、200q 停止位置
200d、200f 停止位置(第二停止位置)
200e、200g 停止位置(第一停止位置)
201 停止範囲(第一停止範囲)
202 停止範囲(第二停止範囲)
210 センサ部
220 撮像部
230 車両情報取得部
240 制御部
250 通信部
260 記憶部
300 ネットワーク
310 無線基地局
401、402 道路
A アラート
M1~M8 映像
O 障害物
P1、P2 停止位置
P3 停止位置(第三停止位置)
P4 停止位置(第四停止位置)