▶ パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-24
(45)【発行日】2022-03-04
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20220225BHJP
G05D 1/00 20060101ALI20220225BHJP
B62D 1/28 20060101ALI20220225BHJP
B60W 30/09 20120101ALI20220225BHJP
B60W 50/14 20200101ALI20220225BHJP
B60W 30/095 20120101ALI20220225BHJP
【ＦＩ】
G08G1/16 A
G05D1/00 B
B62D1/28
B60W30/09
B60W50/14
B60W30/095
【請求項の数】
7
(21)【出願番号】P 2017173323
(22)【出願日】2017-09-08
(65)【公開番号】P2018106676
(43)【公開日】2018-07-05
【審査請求日】2020-08-05
(31)【優先権主張番号】P 2016250113
(32)【優先日】2016-12-22
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】米田 孝弘
(72)【発明者】
【氏名】小西 一暢
(72)【発明者】
【氏名】石川 亮
(72)【発明者】
【氏名】下間 雄太
【審査官】秋山 誠
(56)【参考文献】
【文献】国際公開第２０１４／１４１４７９（ＷＯ，Ａ１）
【文献】特表２００５－５０９９７０（ＪＰ，Ａ）
【文献】特開２０１４－０４８８５９（ＪＰ，Ａ）
【文献】特開２００６－１８５１３７（ＪＰ，Ａ）
【文献】特開２００６－１１３８５８（ＪＰ，Ａ）
【文献】特開２００７－２４１７２６（ＪＰ，Ａ）
【文献】特開２０１４－０７１７７８（ＪＰ，Ａ）
【文献】特開２０１６－０２４６１３（ＪＰ，Ａ）
【文献】特開２００５－２２２３０７（ＪＰ，Ａ）
【文献】特開２０１１－００２８６９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／１６
Ｇ０５Ｄ １／００
Ｂ６２Ｄ １／２８
Ｂ６０Ｗ ３０／０９
Ｂ６０Ｗ ５０／１４
Ｂ６０Ｗ ３０／０９５
(57)【特許請求の範囲】
【請求項1】
オペレータが被操作車両を遠隔操作するための情報処理装置であって、前記被操作車両が取得した前記被操作車両の現在位置を示す車両位置情報と、前記被操作車両と当該情報処理装置との間の情報伝達に要する遅延時間を示す遅延情報とに基づき、前記被操作車両の現在位置に対して前記遅延時間を考慮した前記被操作車両の第１予測位置を示す第１位置情報を生成し、かつ、前記被操作車両が取得した前記被操作車両の周辺の１つ以上の障害物の現在位置を示す障害物位置情報と、前記遅延情報とに基づき、障害物の現在位置に対して前記遅延時間を考慮した１つ以上の障害物の第２予測位置を示す第２位置情報を生成する位置情報処理部と、
前記障害物位置情報に基づき、前記障害物位置情報が示す障害物の現在位置から、障害物が移動すると予測される方向を示す進行方向を算出する方向算出部と、
判断処理部とを備え、
前記位置情報処理部は、前記第１位置情報と前記第２位置情報とを出力し、
前記方向算出部は、
算出した障害物の当該進行方向が示す方向情報を出力し、
さらに、前記車両位置情報と前記第１位置情報とに基づいて、前記車両位置情報が示す前記被操作車両の現在位置から、前記被操作車両が移動すると予測される方向を示す進行方向を算出し、
前記判断処理部は、前記被操作車両の進行方向と障害物の進行方向とに基づいて、前記被操作車両の進行方向と障害物の進行方向とが交差するか否かを判断し、
前記被操作車両の進行方向と障害物の進行方向とが交差する場合に、前記判断処理部は、前記被操作車両の走行を停止させる停止信号を前記被操作車両に出力する
情報処理装置。
【請求項2】
前記位置情報処理部は、さらに、前記車両位置情報に基づいて、前記被操作車両の現在位置から任意の時間が経過した後の前記被操作車両が到達すると予測される、前記第１予測位置と異なる第３予測位置を算出し、
前記位置情報処理部は、算出した前記第３予測位置を示す第３位置情報を出力する
請求項１に記載の情報処理装置。
【請求項3】
さらに、少なくとも前記第１予測位置と前記第２予測位置とに基づき、前記被操作車両と障害物との距離が規定の閾値以下となるか否かを判断する判断処理部を備え、前記被操作車両と障害物との距離が規定の閾値以下となる場合に、前記判断処理部は、該当する障害物に関する注意を促す情報を出力する
請求項１又は２に記載の情報処理装置。
【請求項4】
前記被操作車両と障害物との距離が規定の閾値以下となる場合に、前記判断処理部は、該当する障害物に関する注意を促す情報を、警告音として出力する請求項３に記載の情報処理装置。
【請求項5】
さらに、前記遅延時間に加え、前記車両位置情報を生成する処理に係る遅延時間と、前記障害物位置情報の生成に係る遅延時間と、前記第１予測位置を算出する処理に係る遅延時間と、前記第２予測位置を算出する処理に係る遅延時間と、前記第１予測位置及び前記第２予測位置を表示装置に出力する遅延時間と、当該情報処理装置が前記被操作車両を操作するための車両操作信号を生成してから前記被操作車両が受信するまでの遅延時間とのうち、少なくとも１つ以上を組み合わせて、遅延時間を示す遅延情報を計測する時間計測部を備え、前記時間計測部は、前記遅延情報を前記位置情報処理部に出力する
請求項１～４のいずれか１項に記載の情報処理装置。
【請求項6】
オペレータが被操作車両を遠隔操作するための情報処理方法であって、前記被操作車両が取得した前記被操作車両の現在位置を示す車両位置情報と、前記被操作車両と情報処理装置との間の情報伝達に要する遅延時間を示す遅延情報とに基づき、前記被操作車両の現在位置に対して前記遅延時間を考慮した前記被操作車両の第１予測位置を示す第１位置情報を生成し、
前記被操作車両が取得した前記被操作車両の周辺の１つ以上の障害物の現在位置を示す障害物位置情報と、前記遅延情報とに基づき、障害物の現在位置に対して前記遅延時間を考慮した１つ以上の障害物の第２予測位置を示す第２位置情報を生成し、
前記第１位置情報と前記第２位置情報とを出力し、
前記障害物位置情報に基づき、前記障害物位置情報が示す障害物の現在位置から、障害物が移動すると予測される方向を示す進行方向を算出し、
算出した障害物の当該進行方向が示す方向情報を出力し、
さらに、前記車両位置情報と前記第１位置情報とに基づいて、前記車両位置情報が示す前記被操作車両の現在位置から、前記被操作車両が移動すると予測される方向を示す進行方向を算出し、
前記被操作車両の進行方向と障害物の進行方向とに基づいて、前記被操作車両の進行方向と障害物の進行方向とが交差するか否かを判断し、
前記被操作車両の進行方向と障害物の進行方向とが交差する場合に、前記被操作車両の走行を停止させる停止信号を前記被操作車両に出力する
情報処理方法。
【請求項7】
請求項６の情報処理方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、道路を走行する車両を遠隔制御する情報処理装置、被操作車両、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
近年では、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、携帯電話回線等の通信手段を利用して、ドライバーが搭乗しない車両、若しくはドライバーは搭乗するが運転操作をしない状態の車両を、遠隔地にいるオペレータが操作する遠隔操作システムが登場してきている。このような遠隔操作システムでは、通信手段を介して、被操作車両に搭載されたミリ波レーダ、レーザーレーダ、カメラなどの様々なセンサから得られる被操作車両のセンシング結果をオペレータに伝える。オペレータは、被操作車両の走行に関する制御信号を被操作車両に伝えることで、遠隔から被操作車両を操作する。
【0003】
特許文献１では、半自律型無人車両に対する遠隔操作システムが開示されている。特許文献１における遠隔操作システムは、自車の走行領域内の測距データを取得し、測距データに基づいて自律走行を行うとともに、遠隔地にいるオペレータの操縦によって、遠隔操縦装置から送信された操縦情報による遠隔操縦を行う半自律型車両を備える。この遠隔操作システムでは、半自律型車両を遠隔操作することができる。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第５３６６７０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
無線ＬＡＮ、携帯電話回線等の通信手段を利用して、遠隔地にいるオペレータが被操作車両を操作する従来の遠隔操作システムよりも、安全性の向上などのさらなる改善が必要とされている。
【0006】
そこで、本開示は上記課題を鑑みてなされたもので、被操作車両の安全性を向上させることができる情報処理装置、被操作車両、情報処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示の一態様に係る情報処理装置は、オペレータが被操作車両を遠隔操作するための情報処理装置であって、前記被操作車両が取得した前記被操作車両の現在位置を示す車両位置情報と、前記被操作車両と当該情報処理装置との間の情報伝達に要する遅延時間を示す遅延情報とに基づき、前記被操作車両の現在位置に対して前記遅延時間を考慮した前記被操作車両の第１予測位置を示す第１位置情報を生成し、かつ、前記被操作車両が取得した前記被操作車両の周辺の１つ以上の障害物の現在位置を示す障害物位置情報と、前記遅延情報とに基づき、障害物の現在位置に対して前記遅延時間を考慮した１つ以上の障害物の第２予測位置を示す第２位置情報を生成する位置情報処理部と、前記障害物位置情報に基づき、前記障害物位置情報が示す障害物の現在位置から、障害物が移動すると予測される方向を示す進行方向を算出する方向算出部と、判断処理部とを備え、前記位置情報処理部は、前記第１位置情報と前記第２位置情報とを出力し、前記方向算出部は、算出した障害物の当該進行方向が示す方向情報を出力し、さらに、前記車両位置情報と前記第１位置情報とに基づいて、前記車両位置情報が示す前記被操作車両の現在位置から、前記被操作車両が移動すると予測される方向を示す進行方向を算出し、前記判断処理部は、前記被操作車両の進行方向と障害物の進行方向とに基づいて、前記被操作車両の進行方向と障害物の進行方向とが交差するか否かを判断し、前記被操作車両の進行方向と障害物の進行方向とが交差する場合に、前記判断処理部は、前記被操作車両の走行を停止させる停止信号を前記被操作車両に出力する。
【発明の効果】
【0008】
本開示によれば、被操作車両の安全性を向上させることができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下、本開示の基礎となった知見について説明する。
【0011】
従来の情報処理システムにおいては、一般的に車両に搭乗しているドライバーが直接車両を操作する場合に比べて、被操作車両周辺の状況に何らかの変化があった場合、遠隔地にいるオペレータによる状況変化の認識が遅れ易く、被操作車両の操作が遅れがちになる。これは、被操作車両に搭載されたセンサの出力信号から検知結果を示す情報を生成することによる遅延時間、検知結果を示す情報が被操作車両から遠隔操作装置に送信されるまでの間に発生する通信による遅延時間、遠隔操作装置が検知結果を示す情報を受信して表示装置に出力するまでの遅延時間、表示装置に表示された情報を基にオペレータが操作入力装置を操作した操作信号を生成するまでの遅延時間、車両操作信号がネットワーク、及び、無線基地局を介して被操作車両が受信するまでの遅延時間といった、情報処理システムに関わる特有の遅延時間が生じるからである。そのため、被操作車両の周辺の状況をセンサで検知しても、センサで検知した時点から被操作車両の操縦が完了するまでの間に、上述のような遅延時間が生じてしまう。
【0012】
このような遅延時間が生じると、この時間の間に被操作車両周辺の状況が変化してしまう。このため、遅延時間によってオペレータによる被操作車両の操作が遅れてしまうことで、例えば、被操作車両の前方を走行する他の車両が急停止した場合等、被操作車両と他の車両との衝突の危険性が高くなるという課題がある。被操作車両の操作が行われるまでの遅延時間が大きくなれば、この課題はより顕著となる。
【0013】
特許文献１では、半自律型無人車両に対する情報処理システムが開示されている。特許文献１における情報処理システムは、自車の走行領域内の測距データを取得し、測距データに基づいて自律走行を行うとともに、遠隔地にいるオペレータの操縦によって、遠隔操縦装置から送信された操縦情報による遠隔操縦を行う半自律型無人運転車両を備える。さらに、情報処理システムは、遠隔操作を行う装置と半自律型無人運転車両との間の遅延時間を算出し、この遅延時間を加味した半自律型運転車両の走行量を算出した上で、半自律型運転車両に対する操作限界情報に基づき遠隔操作を行う。
【0014】
しかしながら、特許文献１では、半自律型無人運転車両が走行するエリア上での他の車両及び歩行者といった障害物が移動することの情報に加えて、遠隔操作を行う装置と半自律型無人運転車両との間で生じる遅延時間分の障害物の移動量が考慮されていない。したがって、遠隔操作を行う装置と半自律型無人運転車両との間の通信遅延が増加すると、障害物の移動量も大きくなるため、結果として、半自律型無人運転車両の走行可能エリアが実際の走行可能エリアと大きくずれてしまう。このため、遠隔地にいるオペレータが被操作車両を操作する従来の情報処理システムよりも、安全性の向上などのさらなる改善が必要とされている。
【0015】
そこで、被操作車両の安全性を向上させることができる情報処理装置、被操作車両、情報処理方法及びプログラムを検討した。
【0016】
このような課題を解決するために、本開示の一態様に係る情報処理装置は、オペレータが被操作車両を遠隔操作するための情報処理装置であって、前記被操作車両が取得した前記被操作車両の現在位置を示す車両位置情報と、前記被操作車両と当該情報処理装置との間の情報伝達に要する遅延時間を示す遅延情報とに基づき、前記被操作車両の現在位置に対して前記遅延時間を考慮した前記被操作車両の第１予測位置を示す第１位置情報を生成し、かつ、前記被操作車両が取得した前記被操作車両の周辺の１つ以上の障害物の現在位置を示す障害物位置情報と、前記遅延情報とに基づき、障害物の現在位置に対して前記遅延時間を考慮した１つ以上の障害物の第２予測位置を示す第２位置情報を生成する位置情報処理部を備え、前記位置情報処理部は、前記第１位置情報と前記第２位置情報とを出力する。
【0017】
この構成によれば、位置情報処理部が被操作車両の現在位置に対して遅延時間を考慮した被操作車両の第１予測位置を示す第１位置情報を生成し、かつ、障害物の現在位置に対して遅延時間を考慮した１つ以上の障害物の第２予測位置を示す第２位置情報を生成する。位置情報処理部は、第１位置情報と第２位置情報とを出力する。このため、被操作車両と遠隔操作装置との間の情報伝達に要する遅延時間が発生した場合でも、遅延時間を考慮した被操作車両の第１位置情報との障害物の第２位置情報とを、遠隔地にいるオペレータに提示することができる。このため、オペレータは、車両予測位置と障害物予測位置との各々に関する情報を認識することができるため、被操作車両の遠隔操作を行い易くなる。
【0018】
したがって、被操作車両の安全性を向上させることができる。これにより、オペレータが被操作車両を安全に遠隔操作することができる。
【0019】
また、本開示の一態様に係る情報処理方法では、オペレータが被操作車両を遠隔操作するための情報処理方法であって、前記被操作車両が取得した前記被操作車両の現在位置を示す車両位置情報と、前記被操作車両と情報処理装置との間の情報伝達に要する遅延時間を示す遅延情報とに基づき、前記被操作車両の現在位置に対して前記遅延時間を考慮した前記被操作車両の第１予測位置を示す第１位置情報を生成し、前記被操作車両が取得した前記被操作車両の周辺の１つ以上の障害物の現在位置を示す障害物位置情報と、前記遅延情報とに基づき、障害物の現在位置に対して前記遅延時間を考慮した１つ以上の障害物の第２予測位置を示す第２位置情報を生成し、前記第１位置情報と前記第２位置情報とを出力する。
【0020】
また、本開示の一態様に係るプログラムでは、情報処理方法をコンピュータに実行させる。
【0021】
これらにおいても、上述と同様の作用効果を奏する。
【0022】
また、本開示の一態様に係る情報処理装置において、前記位置情報処理部は、さらに、前記車両位置情報に基づいて、前記被操作車両の現在位置から任意の時間が経過した後の前記被操作車両が到達すると予測される、前記第１予測位置と異なる第３予測位置を算出し、前記位置情報処理部は、算出した前記第３予測位置を示す第３位置情報を出力する。
【0023】
この構成によれば、位置情報処理部は、車両位置情報に基づいて、被操作車両の現在位置から任意の時間が経過した後の被操作車両が到達すると予測される第３予測位置を算出する。位置情報処理部は、この第３予測位置を示す第３位置情報を出力する。このため、被操作車両の現在位置、及び、現在位置から任意の時間が経過した第３予測位置をオペレータに提示することができる。このため、被操作車両の遠隔操作を行い易くなる。これにより、オペレータは、被操作車両の操作を修正したりすることができるため、被操作車両をより安全に操作することができる。
【0024】
また、本開示の一態様に係る情報処理装置では、さらに、前記障害物位置情報に基づき、前記障害物位置情報が示す障害物の現在位置から、障害物が移動すると予測される方向を示す進行方向を算出する方向算出部を備え、前記方向算出部は、算出した障害物の当該進行方向が示す方向情報を出力する。
【0025】
この構成によれば、方向算出部が障害物位置情報に基づき、障害物位置情報が示す障害物の現在位置から、障害物が移動すると予測される方向を示す、障害物の進行方向を算出する。方向算出部は、進行方向が示す方向情報を出力する。このため、被操作車両の周辺における障害物の現在位置、及び、障害物の進行方向をオペレータに提示することができる。このため、オペレータは、被操作車両を操作するにあたり、注意するべき障害物を素早く見分けることができる。このため、オペレータは、被操作車両及び障害物の状態を認知し易くなるため、より安全に被操作車両を操作することができる。
【0026】
また、本開示の一態様に係る情報処理装置では、さらに、少なくとも前記第１予測位置と前記第２予測位置とに基づき、前記被操作車両と障害物との距離が規定の閾値以下となるか否かを判断する判断処理部を備え、前記被操作車両と障害物との距離が規定の閾値以下となる場合に、前記判断処理部は、該当する障害物に関する注意を促す情報を出力する。
【0027】
この構成によれば、被操作車両と障害物との距離が規定の閾値以下となる場合に、判断処理部は、該当する障害物に関する注意を促す情報を出力する。このため、被操作車両と障害物とが衝突するなどの事故発生の危険性を予めオペレータに提示することができる。このため、オペレータは、注意を促す情報から被操作車両及び障害物の状態を認知し易くなるため、より安全に被操作車両を操作することができる。
【0028】
また、本開示の一態様に係る情報処理装置では、前記被操作車両と障害物との距離が規定の閾値以下となる場合に、前記判断処理部は、該当する障害物に関する注意を促す情報を、警告音として出力する。
【0029】
この構成によれば、被操作車両と障害物との距離が規定の閾値以下となる場合に、判断処理部は、該当する障害物に関する注意を促す情報を、警告音として出力する。このため、被操作車両と障害物とが衝突するなどの事故発生の危険性を、予めオペレータに認知させることができる。これにより、オペレータは、より安全に被操作車両を操作することができる。
【0030】
また、本開示の一態様に係る情報処理装置では、さらに、判断処理部を備え、前記方向算出部は、さらに、前記車両位置情報と前記第１位置情報とに基づいて、前記車両位置情報が示す前記被操作車両の現在位置から、前記被操作車両が移動すると予測される方向を示す進行方向を算出し、前記判断処理部は、前記被操作車両の進行方向と障害物の進行方向とに基づいて、前記被操作車両の進行方向と障害物の進行方向とが交差するか否かを判断し、前記被操作車両の進行方向と障害物の進行方向とが交差する場合に、前記判断処理部は、前記被操作車両の走行を停止させる停止信号を前記被操作車両に出力する。
【0031】
この構成によれば、方向算出部は、車両位置情報と第１位置情報とに基づいて、車両位置情報が示す被操作車両の現在位置から、被操作車両が移動すると予測される方向を示す進行方向を算出する。また、被操作車両の進行方向と障害物の進行方向とが交差する場合に、判断処理部は、被操作車両の走行を停止させる停止信号を被操作車両に出力する。このため、被操作車両と障害物とが衝突するなどの事故発生の危険性をオペレータに提示することなく、被操作車両の走行を停止させることができる。このため、オペレータの判断による遅延時間が発生しないため、被操作車両の安全性が向上する。
【0032】
また、本開示の一態様に係る情報処理装置では、さらに、前記遅延時間に加え、前記車両位置情報を生成する処理に係る遅延時間と、前記障害物位置情報の生成に係る遅延時間と、前記第１予測位置を算出する処理に係る遅延時間と、前記第２予測位置を算出する処理に係る遅延時間と、前記第１予測位置及び前記第２予測位置を表示装置に出力する遅延時間と、当該情報処理装置が前記被操作車両を操作するための車両操作信号を生成してから前記被操作車両が受信するまでの遅延時間とのうち、少なくとも１つ以上を組み合わせて、遅延時間を示す遅延情報を計測する時間計測部を備え、前記時間計測部は、前記遅延情報を前記位置情報処理部に出力する。
【0033】
この構成によれば、被操作車両と遠隔操作装置との間の情報伝達に要する遅延時間に加え、データ処理の遅延時間を考慮した被操作車両の第１予測位置と、被操作車両の周辺における障害物の第２予測位置とを、被操作車両を操作する遠隔地にいるオペレータに提示することができる。このため、被操作車両の操作性が向上する。これにより、オペレータは、より安全に被操作車両を操作することができる。
【0034】
また、本開示の一態様に係る被操作車両では、オペレータが情報処理装置を用いて遠隔操作するための被操作車両であって、前記制御装置は、前記被操作車両の操舵角、前記被操作車両の速度、前記被操作車両の加速度、及び、前記被操作車両の進行方向のうちの少なくとも１つ以上を含む前記被操作車両の走行状態を示す車両走行情報を前記情報処理装置に送信する送信部と、前記被操作車両から当該情報処理装置までの通信品質及び前記被操作車両と当該情報処理装置との間の情報伝達に要する遅延時間に応じて、前記情報処理装置に対して送信する前記被操作車両の現在位置を示す車両位置情報、前記車両走行情報、及び、前記被操作車両の周辺の１つ以上の障害物の現在位置を示す障害物位置情報の情報量を制御する制御部とを備える。
【0035】
この構成によれば、制御部は、被操作車両と遠隔操作装置との間の通信品質及び被操作車両と遠隔操作装置との間の情報伝達に要する遅延時間によって、被操作車両が送信する車両走行情報の情報量、車両走行情報の優先度等を制御することができる。このため、被操作車両では、被操作車両と遠隔操作装置との間で通信可能な速度が低下した場合でも、被操作車両を遠隔から操作する上で安全性に係る必要な情報を優先的に送信することができる。
【0036】
また、本開示の一態様に係る被操作車両では、さらに、前記被操作車両の周囲の映像を示す映像情報を生成して出力する撮像部を備え、前記制御部は、前記被操作車両と前記情報処理装置との通信速度が規定値よりも大きいか否かを判断し、前記通信速度が規定値以下の場合に、前記撮像部から取得した前記映像情報の情報量を低下させ、低下させた前記映像情報を出力する。
【0037】
この構成によれば、通信速度が規定値以下の場合に、制御部が撮像部から取得した映像情報の情報量を低下させる。これにより、被操作車両と情報処理装置との間でのリアルタイムな情報の送受信を維持し易くなる。
【0038】
また、本開示の一態様に係る被操作車両では、前記撮像部は、複数設けられ、前記制御部は、前記被操作車両の挙動に応じて前記撮像部の重要度を決定し、前記重要度に応じて前記撮像部が生成した前記映像情報の情報量を低下させ、低下させた前記映像情報を出力する。
【0039】
この構成によれば、制御部は、重要度に応じて撮像部が生成した映像情報の情報量を低下させる。例えば、被操作車両が曲がるときは、曲がる方向を撮影する撮像部が撮影した映像情報が重要となり、他の撮像部が撮影する映像の重要度は低下する。また、曲がる方向を撮影する撮像部が撮影した映像情報は、重要度が高いため、この映像情報の情報量を低下させない又はほとんど低下させなくする。このように、重要度の低い映像情報の情報量を低下させることで、被操作車両と情報処理装置との間でのリアルタイムな情報の送受信を維持し易くなる。また、重要度の高い映像情報については、鮮明な映像を得ることができる。
【0040】
なお、これらの全般的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ－ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
【0041】
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
【0042】
なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。
【0043】
【0044】
図１は、遠隔地から被操作車両１６を操作する遠隔操作システムの一例を示す図である。
【0045】
図１に示すように、遠隔操作システム１００は、無線ＬＡＮ、通信端末等の無線基地局１５とネットワーク１４とを介して、被操作車両１６と遠隔操作装置１３とを通信可能に接続するシステムである。遠隔操作システム１００は、操作入力装置１１と、表示装置１２と、スピーカ１９と、被操作車両１６と、遠隔地にいるオペレータ１０が被操作車両を遠隔操作するための遠隔操作装置１３とを備えている。遠隔操作装置１３は、情報処理装置の一例である。
【0046】
表示装置１２は、被操作車両１６及び被操作車両１６の周囲における障害物の状態をオペレータ１０に表示する装置である。表示装置１２は、遠隔操作装置１３に接続され、例えば被操作車両１６及び被操作車両１６の周囲の障害物を表示するモニタであり、遠隔地にいるオペレータ１０が被操作車両１６及び障害物の状態を認識させることが可能である。表示装置１２は、遠隔操作装置１３に複数台が接続されていてもよい。
【0047】
ここでいう障害物とは、被操作車両１６以外の別の車両、人等であり、主に、被操作車両１６が走行する際に障害となる移動体を意味している。なお、障害物は、地面に固定されている不動産でもよい。
【0048】
操作入力装置１１は、遠隔操作装置１３と接続され、オペレータ１０の遠隔操作が入力される装置である。操作入力装置１１は、例えば、ハンドル、フットペダル等であり、被操作車両１６を操作するための装置である。操作入力装置１１は、遠隔操作装置１３に接続され、入力された車両操作信号を遠隔操作装置１３に出力する。
【0049】
スピーカ１９は、遠隔操作装置１３と接続し、障害物に関する注意を促すために、オペレータ１０に対して警告音を出力することで、オペレータ１０に危険が迫っていることを認知させる。
【0050】
被操作車両１６は、後述する図２で示す、搭載されたミリ波レーダ１６１１、レーザーレーダ１６１０、カメラ１６１２などの様々なセンサから得られる、被操作車両１６及び被操作車両１６の周辺のセンシング結果を示すセンシング情報を、無線基地局１５とネットワーク１４とを介して遠隔操作装置１３に送信する。以下、ミリ波レーダ１６１１、レーザーレーダ１６１０、カメラ１６１２を総称してセンサと呼ぶ。
【0051】
また、被操作車両１６は、オペレータ１０が操作入力装置１１を操作することで出力された車両操作信号を、操作入力装置１１から遠隔操作装置１３、ネットワーク１４、及び、無線基地局１５を介して受信することで、車両操作信号に基づいて操作される。
【0052】
遠隔地から被操作車両１６を操作するオペレータ１０は、表示装置１２に表示された被操作車両１６及び障害物の状態に基づいて、操作入力装置１１を操作する。被操作車両１６及び障害物の状態は、後述するマップ映像に相当する。
【0053】
【0054】
図２に示すように、被操作車両１６は、車両が予め保有している走行データ、センサ等で検知した情報を元に生成した走行データ等に基づいて、自律走行を行うことが可能な車両であり、所定の条件で遠隔地にいるオペレータ１０によって遠隔操作される、自動運転を行うことが可能な車両である。
【0055】
被操作車両１６は、無線通信ユニット１６０１と、操舵角センサ１６０２と、速度／加速度センサ１６０３と、速度制御ユニット１６０４と、操舵制御ユニット１６０５と、車載ネットワーク１６０６、１６０７と、地図データベース１６０８と、遠隔制御ユニット１６０９と、１台以上のレーザーレーダ１６１０と、１台以上のミリ波レーダ１６１１と、１台以上のカメラ１６１２と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１６１３とを備える。
【0056】
カメラ１６１２は、被操作車両１６から前後左右方向の撮影が可能である位置に設けられている。つまり、カメラ１６１２は、被操作車両１６の周囲を撮影することが可能に、被操作車両１６に設けられている。カメラ１６１２は、撮影した被操作車両１６の周囲の映像を、遠隔制御ユニット１６０９に出力する。ここでいう映像は、動画、静止画を含む意味である。カメラ１６１２は、撮像部の一例である。
【0057】
なお、本実施の形態では、被操作車両１６は、レーザーレーダ１６１０と、ミリ波レーダ１６１１とを備えているが、被操作車両１６の必須の構成要件ではないため、これらを備えなくてもよい。
【0058】
無線通信ユニット１６０１は、無線基地局１５と無線通信を行う通信装置である。無線通信ユニット１６０１は、後述する、車両位置情報、車両走行情報、映像情報、障害物位置情報、センシングした時点を示す時間情報等を含むセンシング情報を、無線基地局１５及びネットワーク１４を介して遠隔操作装置１３に送信する。無線通信ユニット１６０１は、送信部の一例である。
【0059】
操舵角センサ１６０２は、被操作車両１６における車輪の操舵角を計測し、車載ネットワーク１６０７上に操舵角に関する舵角情報を出力するセンサである。
【0060】
速度／加速度センサ１６０３は、被操作車両１６の速度、及び、加速度を計測し、計測した速度、及び、加速度を含んだ車両走行情報を車載ネットワーク１６０７上に出力するセンサである。
【0061】
速度制御ユニット１６０４は、被操作車両１６のアクセル、ブレーキ、及び、シフトレバーの操作により速度を制御する装置である。速度制御ユニット１６０４は、例えばＥＣＵ（ｅｎｇｉｎｅ ｃｏｎｔｒｏｌ ｕｎｉｔ）である。速度制御ユニット１６０４は、操作入力装置１１から出力された車両操作信号を、遠隔操作装置１３、ネットワーク１４、無線基地局１５、及び、無線通信ユニット１６０１を介して受信する。
【0062】
操舵制御ユニット１６０５は、車両操作信号に従って被操作車両１６の速度及び操舵を制御する装置である。操舵制御ユニット１６０５は、被操作車両１６のステアリングを操作することにより被操作車両１６の進行方向を制御することが可能な装置である。操舵制御ユニット１６０５も、操作入力装置１１から出力された車両操作信号を、遠隔操作装置１３、ネットワーク１４、無線基地局１５、及び、無線通信ユニット１６０１を介して受信する。
【0063】
車載ネットワーク１６０６、１６０７は、ＣＡＮ（Ｃｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の被操作車両１６に搭載されている各センサ及び各ユニット間で送受信される情報を伝送する伝送路である。また、車載ネットワーク１６０６、１６０７は、１つに統合されていてもよく、３以上のネットワークで構成されてもよい。
【0064】
地図データベース１６０８は、道路及びビル等の構造物に関する地図情報を格納するデータベースである。地図データベース１６０８は、例えばハードディスク又は半導体メモリなどの記録媒体に記録される。
【0065】
遠隔制御ユニット１６０９は、遠隔操作装置１３に送信するセンシング情報を生成する。具体的には、遠隔制御ユニット１６０９は、操舵角センサ１６０２、速度／加速度センサ１６０３、地図データベース１６０８、レーザーレーダ１６１０、カメラ１６１２、ＧＰＳ１６１３から得られる被操作車両１６のセンシング情報に基づき、被操作車両１６を計測した時点における、被操作車両１６の現在位置を示す車両位置情報を生成する。なお、車両位置情報には、地図データベース１６０８に格納された、被操作車両１６が走行する道路のレーンの識別情報等を含んでいてもよい。
【0066】
また、遠隔制御ユニット１６０９は、操舵角センサ１６０２、速度／加速度センサ１６０３から得られるセンシング情報に基づき、被操作車両１６のアクセル、ブレーキ、シフトレバー、ステアリング等の操作から、被操作車両１６の操舵角、被操作車両１６の速度、被操作車両１６の加速度、及び、被操作車両１６の進行方向のうちの少なくとも１つ以上を含む被操作車両１６の走行状態を示す車両走行情報を生成する。
【0067】
さらに、遠隔制御ユニット１６０９は、１つ以上のカメラ１６１２から得られるセンシング情報に基づき、被操作車両１６の周囲の映像情報を生成する。被操作車両１６の周囲の映像情報は、被操作車両１６の前後左右方向におけるそれぞれの方向を個別に映像情報として生成されていてもよく、被操作車両１６の前後左右方向をまとめて一つの映像情報として合成して生成してもよい。
【0068】
また、遠隔制御ユニット１６０９は、レーザーレーダ１６１０、ミリ波レーダ１６１１、カメラ１６１２の各々のセンサから得られるセンシング情報に基づき、被操作車両１６の車両周辺の障害物を検知して、障害物の現在位置を示す障害物位置情報を生成する。なお、障害物位置情報は、障害物の現在位置、障害物の速度、障害物の加速度、障害物の進行方向、障害物の大きさ、障害物の種類に関する情報を含んでもいてもよい。障害物の種類は、例えば、歩行者、バイク、自動車等を区別する種類である。障害物の現在位置は、各々のセンサが障害物をセンシングした時点における、障害物の位置を示す。
【0069】
次に、遠隔制御ユニット１６０９は、車両位置情報、車両走行情報、映像情報、及び、障害物位置情報を、無線通信ユニット１６０１を介して遠隔操作装置１３に送信する。
【0070】
遠隔制御ユニット１６０９は、被操作車両１６から遠隔操作装置１３までの通信品質及び被操作車両１６と遠隔操作装置１３との間の情報伝達に要する遅延時間に応じて、遠隔操作装置１３に対して送信する車両位置情報、車両走行情報、映像情報、及び、障害物位置情報の情報量を制御する。遠隔制御ユニット１６０９は、車両位置情報、車両走行情報、映像情報、及び、障害物位置情報の情報量を変更したり、選択的にこれらの情報を送信することで、通信量を制御したりする。遠隔制御ユニット１６０９は、制御部の一例である。
【0071】
遠隔制御ユニット１６０９は、被操作車両１６と遠隔操作装置１３との通信速度が規定値よりも大きいか否かを判断する。遠隔制御ユニット１６０９は、通信速度が規定値以下の場合に、被操作車両１６の挙動に応じてカメラ１６１２の重要度を決定する。遠隔制御ユニット１６０９は、重要度に応じてカメラ１６１２が生成した映像情報の情報量を低下させ、低下させた映像情報を遠隔操作装置１３に出力する。被操作車両１６の挙動とは、被操作車両１６の右折又は左折、被操作車両１６の車線変更、被操作車両１６のブレーキ等である。被操作車両１６の挙動によって、カメラ１６１２ごとに重要度が異なる。つまり、各々のカメラ１６１２が生成した映像情報ごとに重要度が異なる。具体的には、被操作車両１６が曲がるときは、曲がる方向を撮影するカメラ１６１２が撮影した映像情報が重要となり、他のカメラ１６１２が撮影する映像の重要度は低下する。このため、曲がる方向以外の他のカメラ１６１２が生成した映像情報の重要度を低く設定する。また、曲がる方向を撮影するカメラ１６１２が撮影した映像情報は、重要度が高いため、曲がる方向以外の他のカメラ１６１２が生成した映像情報よりも重要度を高く設定する。
【0072】
そして、遠隔制御ユニット１６０９は、重要度の高い映像情報の情報量を低下させない又はわずかに低下させる。また、遠隔制御ユニット１６０９は、重要度の低い映像情報の情報量を相対的に低下させる。つまり、遠隔制御ユニット１６０９は、重要度の低い映像情報の情報量を、現状よりも低下させる。又は、遠隔制御ユニット１６０９は、重要度の高い映像情報の情報量に対して、重要度の低い映像情報の情報量を低下させる。
【0073】
このような遠隔制御ユニット１６０９では、例えば、無線基地局１５と被操作車両１６との間の電波環境が悪化することで通信速度が低下した場合、遠隔制御ユニット１６０９は、相対的に情報量の多い映像情報のビットレート等を通信速度以下、つまり映像情報の情報量をセンシング情報に比べて優先的に下げる。これにより、被操作車両１６と遠隔操作装置１３との間でのリアルタイムな情報の送受信を維持し易くなる。
【0074】
なお、遠隔制御ユニット１６０９は、被操作車両１６の運転シーンによって、被操作車両１６に搭載されている複数のカメラ１６１２から任意のカメラ１６１２を選択し、選択したカメラ１６１２に対応する映像情報のビットレートを下げてもよい。例えば、被操作車両１６が曲がるときは、曲がる方向を撮影するカメラ１６１２が撮影した映像情報が重要となり、他のカメラ１６１２が撮影する映像の重要度は低下する。このため、他のカメラ１６１２の映像情報を優先的に低下させる。
【0075】
遠隔制御ユニット１６０９は、遠隔操作装置１３が送信した車両操作信号を、無線通信ユニット１６０１を介して受信する。遠隔制御ユニット１６０９は、受信した車両操作信号に基づき、速度制御ユニット１６０４と操舵制御ユニット１６０５とを制御することで、被操作車両１６の走行を制御する。
【0076】
なお、遠隔制御ユニット１６０９は、操作入力装置１１が被操作車両１６を操作するための車両操作信号を生成してから被操作車両１６が受信するまでの遅延時間を計測して、その計測結果である遅延時間を示す遅延情報を遠隔操作装置１３に送信してもよい。ここでいう遅延時間は、被操作車両１６と遠隔操作装置１３との間の情報伝達に要する時間である。
【0077】
レーザーレーダ１６１０は、被操作車両１６の周囲に配置され、レーザ光の送光と受光から、レーザ光を照射した被操作車両１６の周辺の物体との距離を計測するセンサである。また、レーザーレーダ１６１０は、送光位置を変更し、その受光結果から物体の３次元的な形状を計測することも可能である。
【0078】
ミリ波レーダ１６１１は、被操作車両１６の周囲に配置され、ミリ波領域の電波の送信と受信から、電波が反射する被操作車両１６の車両周辺の物体との距離及び相対速度を計測するセンサである。
【0079】
ＧＰＳ１６１３は、被操作車両１６の現在位置を測位するセンサである。
【0080】
【0081】
図３に示すように、遠隔操作装置１３は、通信インタフェース１３０１と、車両情報受信部１３０２と、車両操作信号送信部１３０３と、時間計測部１３０４と、車両操作信号生成部１３０５と、地図データベース１３０６と、ＨＭＩ生成部１３０７とを備える。
【0082】
通信インタフェース１３０１は、ネットワーク１４と接続し、ネットワーク１４及び無線基地局１５を介して、被操作車両１６と通信を行う通信部である。
【0083】
車両情報受信部１３０２は、被操作車両１６が送信する、少なくとも、車両位置情報、車両走行情報、映像情報、及び、障害物位置情報を、通信インタフェース１３０１を介して受信する。
【0084】
時間計測部１３０４は、無線基地局１５及びネットワーク１４を介して、被操作車両１６と遠隔操作装置１３との間の情報伝送に要する遅延時間を計測する。時間計測部１３０４は、例えば、レーザーレーダ１６１０、ミリ波レーダ１６１１及びカメラ１６１２のこれらセンサが被操作車両１６及び障害物をセンシングした時点と、これらセンサがセンシングしたセンシング情報を時間計測部１３０４が取得した時点との時間のズレを計測する。時間計測部１３０４は、例えばタイマであってもよい。
【0085】
また、時間計測部１３０４は、遅延時間において、被操作車両１６と遠隔操作装置１３との間の情報伝達に要する時間だけでなく、さらに、車両位置情報を生成する処理に係る遅延時間と、障害物位置情報の生成に係る遅延時間と、後述する、第１予測位置を算出する処理に係る遅延時間と、第２予測位置を算出する処理に係る遅延時間と、第１予測位置及び第２予測位置を表示装置１２に出力する遅延時間と、遠隔操作装置１３が被操作車両１６を操作するための車両操作信号を生成してから被操作車両１６が受信するまでの遅延時間とのうち、少なくとも１つ以上を組み合わせて、遅延時間を示す遅延情報を算出する。時間計測部１３０４は、遅延情報を位置情報処理部１３０７ａに出力する。なお、時間計測部１３０４は、遅延時間において、後述する、第３予測位置を算出する処理に係る遅延時間を組み合わせて、遅延時間を示す遅延情報を算出してもよい。
【0086】
車両操作信号生成部１３０５は、オペレータ１０による操作入力装置１１の操作に基づいて、車両操作信号を生成し、生成した車両操作信号を車両操作信号送信部１３０３に出力する。
【0087】
車両操作信号送信部１３０３は、車両操作信号生成部１３０５が生成する車両操作信号を、通信インタフェース１３０１、ネットワーク１４及び無線基地局１５を介して被操作車両１６に送信する。
【0088】
地図データベース１３０６は、道路等の構造物に関する地図情報を格納するデータベースである。
【0089】
ＨＭＩ生成部１３０７は、車両位置情報、車両走行情報、障害物位置情報、映像情報、遅延時間、及び、地図情報に基づいて、オペレータ１０による被操作車両１６の操作に必要となるマップ映像を生成し、マップ映像を表示装置１２に出力する。具体的には、ＨＭＩ生成部１３０７は、位置情報処理部１３０７ａと、方向算出部１３０７ｂと、判断処理部１３０７ｃと、映像生成部１３０７ｄとを有する。
【0090】
位置情報処理部１３０７ａは、被操作車両１６が取得した被操作車両１６の現在位置を示す車両位置情報と、被操作車両１６と遠隔操作装置１３との間の情報伝達に要する遅延時間を示す遅延情報とに基づき、被操作車両１６の現在位置に対して遅延時間を考慮した被操作車両１６の第１予測位置を示す第１位置情報を生成する。位置情報処理部１３０７ａは、算出した第１予測位置を示す第１位置情報を映像生成部１３０７ｄ及び判断処理部１３０７ｃを介して、表示装置１２に出力する。
【0091】
位置情報処理部１３０７ａは、被操作車両１６の操舵角を示す舵角情報を被操作車両１６から取得する。位置情報処理部１３０７ａは、車両位置情報及び操舵角情報に基づいて、被操作車両１６の現在位置を示す時点から、任意の時間が経過した後の被操作車両１６が到達すると予測される、第１予測位置と異なる第３予測位置を算出する。第３予測位置の算出についての詳細は後述する。そして、位置情報処理部１３０７ａは、算出した第３予測位置を示す第３位置情報を、映像生成部１３０７ｄを介して、表示装置１２に出力する。
【0092】
なお、位置情報処理部１３０７ａは、複数の第３予測位置を算出してもよい。この場合、複数の第３予測位置から予測軌跡を描いてもよい。また、第３予測位置は、第１予測位置の先を示す位置であってもよい。
【0093】
また、位置情報処理部１３０７ａは、被操作車両１６が取得した被操作車両１６の周辺の１つ以上の障害物の現在位置を示す障害物位置情報と、遅延情報とに基づき、障害物の現在位置に対して遅延時間を考慮した１つ以上の障害物の第２予測位置を示す第２位置情報を生成する。位置情報処理部１３０７ａは、算出した第２予測位置を示す第２位置情報を映像生成部１３０７ｄ及び判断処理部１３０７ｃを介して、表示装置１２に出力する。
【0094】
第１予測位置を算出する方法について、位置情報処理部１３０７ａは、被操作車両１６の現在位置と、車両走行情報が示す被操作車両１６の速度と、被操作車両１６の進行方向とから、被操作車両１６の現在位置に対して遅延時間を考慮した第１予測位置を算出してもよい。
【0095】
また、第１予測位置を算出する方法について、位置情報処理部１３０７ａは、単位時間毎に計測した被操作車両１６の現在位置となる情報をメモリ等の記憶装置に格納しておき、単位時間と被操作車両１６の速度から第１予測位置を算出してもよい。
【0096】
方向算出部１３０７ｂは、障害物位置情報に基づいて、障害物位置情報が示す障害物の現在位置から障害物が移動すると予測される方向を示す、障害物の進行方向を算出する。方向算出部１３０７ｂは、算出した障害物の進行方向が示す障害物の方向情報を、映像生成部１３０７ｄ及び判断処理部１３０７ｃを介して、遠隔地にいるオペレータ１０が被操作車両１６及び障害物の状態を認識する表示装置１２に出力する。
【0097】
障害物の進行方向を算出する方法は、例えば、１回目のセンシングによる障害物の位置と、２回目のセンシングとによる障害物の位置との変化から割り出してもよい。
【0098】
また、方向算出部１３０７ｂは、さらに、車両位置情報と第１位置情報とに基づいて、車両位置情報が示す被操作車両１６の現在位置から、被操作車両１６が移動すると予測される方向を示す、被操作車両１６の進行方向を算出する。被操作車両１６の進行方向は、例えば、操舵制御ユニット１６０５によって被操作車両１６の操舵角を検知することで得られる。方向算出部１３０７ｂは、算出した被操作車両１６の進行方向が示す、被操作車両１６の方向情報を、映像生成部１３０７ｄ及び判断処理部１３０７ｃを介して、表示装置１２に出力する。
【0099】
判断処理部１３０７ｃは、第１予測位置と第２予測位置とに基づき、被操作車両１６と障害物との距離が規定の閾値以下となるか否かを判断する。被操作車両１６と障害物との距離が規定の閾値以下となる場合に、判断処理部１３０７ｃは、該当する障害物に関する注意を促す情報を表示装置１２に出力する。障害物に関する注意を促す情報として、マップ映像に示される被操作車両１６と距離の近い障害物の色を変化させることで、危険が迫っていることをオペレータ１０に認識させ易くする。また、障害物に関する注意を促す情報は、該当する障害物の色を変化させるだけに限定されず、点滅することでオペレータ１０に認識させ易くしてもよく、スピーカ１９などを介して警告音を出力してもよい。なお、判断処理部１３０７ｃは、ＨＭＩ生成部１３０７に設けられているが、ＨＭＩ生成部１３０７と別の装置として構成されていてもよい。
【0100】
また、判断処理部１３０７ｃは、被操作車両１６の進行方向と障害物の進行方向とに基づいて、被操作車両１６の進行方向と障害物の進行方向とが交差するか否かを判断する。被操作車両１６の進行方向と障害物の進行方向とが交差する場合に、判断処理部１３０７ｃは、被操作車両１６の走行を停止させる停止信号を被操作車両１６に出力する。停止信号の出力についての詳細は後述する。
【0101】
なお、判断処理部１３０７ｃは、被操作車両１６の進行方向と障害物の進行方向とが交差するか否かを判断した結果を車両操作信号生成部１３０５に出力してもよい。この場合、車両操作信号生成部１３０５は、被操作車両１６の走行を停止させる停止信号を被操作車両１６に出力してもよい。この場合、停止信号は、車両操作信号に含まれてもよい。
【0102】
ＨＭＩ生成部１３０７の映像生成部１３０７ｄは、第１位置情報、第２位置情報、被操作車両１６の方向情報、及び、障害物の方向情報を、地図情報に対応付けたマップ映像を表示装置１２に出力する。具体的には、映像生成部１３０７ｄは、地図データベース１３０６に格納されている地図情報が示す地図に、位置情報処理部１３０７ａが生成した第１位置情報及び第２位置情報の各々が示す第１予測位置及び第２予測位置をマッピングする。さらに、映像生成部１３０７ｄは、地図データベース１３０６に格納されている地図情報が示す地図に、第３位置情報に示される第３予測位置をマッピングする。さらに、映像生成部１３０７ｄは、地図データベース１３０６に格納されている地図情報が示す地図に、障害物の方向情報に示される障害物の進行方向をマッピングする。なお、被操作車両１６の進行方向を、地図情報が示す地図にさらにマッピングしてもよい。
【0103】
こうして、映像生成部１３０７ｄは、地図データベース１３０６に格納されている地図情報が示す地図に、第１予測位置、第２予測位置、第３予測位置、及び、障害物の進行方向がマッピングされたマップ映像を生成する。
【0104】
映像生成部１３０７ｄは、マップ映像を表示装置１２に出力する。このマップ映像は、オペレータ１０による被操作車両１６の遠隔操作に必要となる情報である。
【0105】
次に、表示装置１２に出力される新たな地図情報について、図４を用いて説明する。
【0106】
図４は、本実施の形態に係る遠隔操作システムの遠隔操作装置１３におけるＨＭＩ生成部１３０７により生成されたマップ映像を表示装置１２に表示した出力画面の一例を示す図である。
【0107】
図４に示すように、表示装置１２の出力画面２００は、表示装置１２の表示画面の全て若しくは一部に表示される。出力画面２００には、マップ映像２０１が表示されている。
【0108】
マップ映像２０１は、地図データベース１３０６に格納された地図情報、車両現在位置２０２ａ、車両予測位置２０２ｂ、車両予測位置２０２ｃ等から生成されている。マップ映像２０１には、被操作車両１６が走行する道路、その周辺の道路、交通標識等に関する情報が表示されている。
【0109】
被操作車両１６に関する情報は、車両現在位置２０２ａを示す車両位置情報、車両予測位置２０２ｂを示す第１位置情報、及び、車両予測位置２０２ｃを示す第３位置情報から構成される。
【0110】
車両現在位置２０２ａは、車両位置情報に基づき、表示装置１２のマップ映像２０１上の対応する位置に表示される。
【0111】
車両予測位置２０２ｂは、遅延時間を考慮した、車両現在位置２０２ａに対しての被操作車両１６の第１予測位置を示している。車両予測位置２０２ｂは、少なくとも車両位置情報と遅延時間とに基づき、マップ映像２０１上の対応する位置に表示される。さらに、車両予測位置２０２ｂは、車両走行情報をさらに考慮して算出されてもよい。
【0112】
車両位置情報と遅延時間とに基づいた、車両予測位置２０２ｂの求め方について一例を用いて説明する。
【0113】
車両予測位置２０２ｂは、被操作車両１６の進行方向ｘ軸方向とし、横方向をｙ軸方向とした場合、時刻ｔ２における車両予測位置を（ｘｔ２、ｙｔ２、０）、時刻ｔ１における車両現在位置を（ｘｔ１、ｙｔ１、０）、ｘ軸の速度をνｘとし、ｙ軸方向の速度をνｙとし、ｘ軸方向の加速度をａｘとし、ｙ軸方向の加速度をａｙとし、遅延時間をＤとした場合、以下の式（１）、式（２）によって求められる。時刻ｔ１、時刻ｔ２及び、遅延時間Ｄの関係は、ｔ２＝ｔ１＋Ｄであるとする。車両現在位置で示されている０は、ｘ軸及びｙ軸と直交するｚ軸方向であることを示している。
【0114】
【数1】
【数2】
【0115】
なお、遅延時間Ｄには、車両位置情報を生成する処理に係る遅延時間、車両予測位置を算出する処理に係る遅延時間、及び、車両予測位置２０２ｂを表示装置１２に出力する遅延時間のうち、少なくとも１つの値を予め加えてもよい。
【0116】
速度及び加速度については、例えば、時刻ｔにおけるｘ軸方向の速度をνｘ（ｔ）、ｘ軸方向の加速度をａｘとした場合、それぞれ式（３）、式（４）によって求めることができる。
【0117】
【数3】
【数4】
【0118】
なお、ＨＭＩ生成部１３０７は、車両予測位置２０２ｂの算出に、車両走行情報を補完的に使用してもよい。
【0119】
車両予測位置２０２ｃは、車両位置情報に基づき、被操作車両１６の現在位置の時点から任意の時間経過時に、被操作車両１６が到達するまでの位置を示し、表示装置１２のマップ映像２０１上の対応する位置に表示される。車両予測位置２０２ｃは第３予測位置の一例である。図４では、第１予測位置よりも進んだ位置に表示されているが、第１予測位置よりも前の位置でもよい。つまり、任意の時間は、現在位置の時点から第１予測位置の時点までの時間と同一でもよく、異なっていてもよい。
【0120】
車両予測位置２０２ｃは、例えば、式（１）～式（４）から、遅延時間の代わりに任意の経過時間を用いることで求めることができる。なお、ＨＭＩ生成部１３０７は、車両予測位置２０２ｃを算出するために車両走行情報を補完的に使用してもよい。
【0121】
また、出力画面２００に表示されているマップ映像２０１には、被操作車両１６の周辺における少なくとも１つ以上の障害物に関する、障害物の現在位置（２０３ａ、２０４ａ、２０５ａ、２０６ａ、２０７ａ、２０８ａ）と、障害物予測位置（２０３ｂ、２０４ｂ、２０５ｂ、２０６ｂ、２０７ｂ、２０８ｂ）と、障害物移動ベクトル（２０３ｃ、２０４ｃ、２０５ｃ、２０６ｃ、２０７ｃ、２０８ｃ）が示されている。
【0122】
障害物の現在位置（２０３ａ、２０４ａ、２０５ａ、２０６ａ、２０７ａ、２０８ａ）は、被操作車両１６の周辺における１つ以上の障害物に関する位置を示す障害物位置情報に基づき、表示装置１２のマップ映像２０１上の対応する位置に表示される。
【0123】
障害物予測位置（２０３ｂ、２０４ｂ、２０５ｂ、２０６ｂ、２０７ｂ、２０８ｂ）は、遅延時間を考慮した障害物の予測位置を示す。障害物予測位置（２０３ｂ、２０４ｂ、２０５ｂ、２０６ｂ、２０７ｂ、２０８ｂ）は、障害物位置情報と遅延時間とに基づき、マップ映像２０１上の対応する位置に表示される。なお、障害物予測位置（２０３ｂ、２０４ｂ、２０５ｂ、２０６ｂ、２０７ｂ、２０８ｂ）は、障害物の現在位置（２０３ａ、２０４ａ、２０５ａ、２０６ａ、２０７ａ、２０８ａ）を、式（１）～式（４）に代入することで求めることができる。障害物予測位置（２０３ｂ、２０４ｂ、２０５ｂ、２０６ｂ、２０７ｂ、２０８ｂ）は第２予測位置の一例である。
【0124】
なお、式（１）、式（２）の遅延時間Ｄに、障害物予測位置（２０３ｂ、２０４ｂ、２０５ｂ、２０６ｂ、２０７ｂ、２０８ｂ）を算出する処理に係る遅延時間、障害物予測位置（２０３ｂ、２０４ｂ、２０５ｂ、２０６ｂ、２０７ｂ、２０８ｂ）を表示装置１２に出力する遅延時間、及び、車両操作信号を生成してから被操作車両１６が受信するまでの遅延時間のうち、１つ以上の値を予め加えてもよい。
【0125】
障害物移動ベクトル（２０３ｃ、２０４ｃ、２０５ｃ、２０６ｃ、２０７ｃ、２０８ｃ）は、障害物の進行方向を示すもので、障害物位置情報に基づき、表示装置１２のマップ映像２０１上の障害物に対応する位置に表示される。例えば、マップ映像２０１上の障害物が障害物の現在位置２０３ａの場合では、障害物に対応する障害物移動ベクトル２０３ｃが示されている。障害物移動ベクトル（２０３ｃ、２０４ｃ、２０５ｃ、２０６ｃ、２０７ｃ、２０８ｃ）は障害物の進行方向の一例である。
【0126】
なお、ＨＭＩ生成部１３０７は、車両現在位置２０２ａ、車両予測位置２０２ｂ、車両予測位置２０２ｃ、障害物の現在位置（２０３ａ、２０４ａ、２０５ａ、２０６ａ、２０７ａ、２０８ａ）、障害物予測位置（２０３ｂ、２０４ｂ、２０５ｂ、２０６ｂ、２０７ｂ、２０８ｂ）、及び、障害物移動ベクトル（２０３ｃ、２０４ｃ、２０５ｃ、２０６ｃ、２０７ｃ、２０８ｃ）に関する情報をオペレータ１０の操作状況及び被操作車両１６の状態に応じて、表示装置１２に出力してもよく、これらの情報内の少なくとも一部を非表示にしてもよい。
【0127】
なお、ＨＭＩ生成部１３０７は、少なくとも車両予測位置２０２ｂと障害物予測位置（２０３ｂ、２０４ｂ、２０５ｂ、２０６ｂ、２０７ｂ、２０８ｂ）とに基づいて、被操作車両１６と接触及び衝突の可能性が高くなった１つ以上の障害物に関し、例えば、図４で示した障害物の現在位置（２０３ａ、２０４ａ、２０５ａ、２０６ａ、２０７ａ、２０８ａ）、及び、障害物予測位置（２０３ｂ、２０４ｂ、２０５ｂ、２０６ｂ、２０７ｂ、２０８ｂ）を示す色を変更することで、オペレータ１０に対して被操作車両１６の危険性を通知してもよい。例えば、接触及び衝突の可能性が高いと判断する方法の一例としては、被操作車両１６の進行方向と障害物の進行方向とが一致若しくは交差する障害物のうち、これに該当する障害物に関する障害物予測位置と車両予測位置との差分が任意の距離より小さくなった場合が考えられる。
【0128】
次に被操作車両１６と任意の障害物との接触又は衝突の可能性を判断する方法の一例を示す。
【0129】
まず、被操作車両１６の進行方向と障害物の進行方向とが交差するか否かの判断方法について記載する。被操作車両１６の現在位置を（ｘｔ１、ｙｔ１、ｚｔ１）で示し、現在位置（ｘｔ１、ｙｔ１、ｚｔ１）の時点から任意の時間（Ｔ秒）経過後の車両予測位置（ｘｔ２、ｙｔ２、ｚｔ２）で示し、障害物位置情報が示す障害物の現在位置を（Ｘｔ１、Ｙｔ１、Ｚｔ１）で示し、現在位置（Ｘｔ１、Ｙｔ１、Ｚｔ１）の時点から任意の時間（Ｔ秒）経過後の障害物予測位置を（Ｘｔ２、Ｙｔ２、Ｚｔ２）で示した場合を式（５）及び式（６）で表す。なお、ｚｔ１、ｚｔ２、Ｚｔ１、Ｚｔ２は、高さ方向であるため、０とする。
【0130】
【数5】
【数6】
【数7】
【0131】
式（５）及び式（６）に基づいて式（７）の条件を満たす場合に、被操作車両１６の進行方向と障害物の進行方向とが交差すると判断することができる。この場合に、判断処理部１３０７ｃは、被操作車両１６の走行を停止する停止信号を被操作車両１６に出力する。なお、被操作車両１６及び障害物の進行方向が同じ否かは、被操作車両１６と障害物とが同一車線若しくは同じ進行方向の車線上に存在するか否かで判断することができる。
【0132】
次に、被操作車両１６と任意の障害物との距離の求め方について記載する。
【0133】
車両予測位置を（ｘｔ２、ｙｔ２、ｚｔ２）、障害物予測位置を（Ｘｔ２、Ｙｔ２、Ｚｔ２）とした場合、車両予測位置と障害物予測位置との距離は、以下の式（８）によって求めることができ、車両予測位置と障害物予測位置との距離が任意の値以下になった場合、接触の危険性が高いと判断することができる。
【0134】
【数8】
【0135】
図４に示すように、また、ＨＭＩ生成部１３０７は、被操作車両１６の操作に必要となる情報として、車両走行情報と映像情報とを表示装置１２に出力してもよい。なお、ＨＭＩ生成部１３０７は、少なくとも車両予測位置２０２ｂと障害物予測位置（２０３ｂ、２０４ｂ、２０５ｂ、２０６ｂ、２０７ｂ、２０８ｂ）とに基づいて、被操作車両１６と接触及び衝突する可能性が高くなった１つ以上の障害物に関して、危険性を通知する枠線等を映像情報に表示された該当する障害物に対して重畳してもよい。つまり、注意を促す情報を表示装置１２に出力してもよい。
【0136】
なお、ＨＭＩ生成部１３０７は、少なくとも車両予測位置２０２ｂと障害物予測位置（２０３ｂ、２０４ｂ、２０５ｂ、２０６ｂ、２０７ｂ、２０８ｂ）とに基づいて、被操作車両１６と接触及び衝突する可能性が高くなった場合、表示装置１２の画面全体に関して、危険性を通知する枠線等を表示してもよい。
【0137】
［動作］
次に、本実施の形態おける遠隔操作システム１００の動作について説明する。
次に、本実施の形態おける遠隔操作システム１００の動作について説明する。
【0138】
図５は、実施の形態１に係る遠隔操作システムの動作を示すシーケンス図である。
【0139】
図５に示すように、まず、被操作車両１６の各々のセンサは、被操作車両１６の周囲をセンシングすることで、被操作車両１６の車両位置情報、車両走行情報、障害物位置情報、映像情報等を取得する（Ｓ１１）。被操作車両１６は、各々のセンサが計測した車両位置情報、車両走行情報、障害物位置情報、映像情報等を、無線通信ユニット１６０１等を介して遠隔操作装置１３に送信する。
【0140】
次に、遠隔操作装置１３は、車両位置情報、障害物位置情報等を取得する。時間計測部は、被操作車両１６と遠隔操作装置１３との間の情報伝達に要する遅延時間を算出（Ｓ２１）し、遅延情報をＨＭＩ生成部１３０７に出力する。
【0141】
次に、ＨＭＩ生成部１３０７の方向算出部１３０７ｂは、障害物位置情報に基づき、障害物の現在位置から、障害物の進行方向を算出する（Ｓ２２）。方向算出部１３０７ｂは、障害物の進行方向を示す情報を映像生成部１３０７ｄに出力する。
【0142】
次に、ＨＭＩ生成部１３０７の位置情報処理部１３０７ａは、舵角情報及び車両位置情報に基づいて、車両位置情報が示す被操作車両１６の、現在位置から任意の時間が経過した後の被操作車両１６が到達すると予測される第３予測位置を示す第３位置情報を生成する（Ｓ２３）。位置情報処理部１３０７ａは、第３位置情報を映像生成部１３０７ｄに出力する。
【0143】
次に、ＨＭＩ生成部１３０７の位置情報処理部１３０７ａは、車両位置情報と遅延情報とに基づき、第１予測位置を示す第１位置情報を生成する（Ｓ２４）。また、位置情報処理部１３０７ａは、障害物位置情報と遅延情報とに基づき、障害物の第２予測位置を示す第２位置情報を生成する（Ｓ２４）。位置情報処理部１３０７ａは、第１位置情報及び第２位置情報をＨＭＩ生成部１３０７の映像生成部１３０７ｄに出力する。
【0144】
次に、映像生成部１３０７ｄは、地図データベース１３０６に格納されている地図情報が示す地図に、第１位置情報、第２位置情報、第３位置情報及び障害物の進行方向を示す情報に基づく位置をマッピングし、マップ映像を生成する（Ｓ２５）。映像生成部１３０７ｄは、マップ映像を表示装置１２に出力する。
【0145】
次に、表示装置１２は、マップ映像を表示する（Ｓ３１）。
【0146】
次に、オペレータ１０は、表示装置１２に表示されているマップ映像から、被操作車両１６が障害物と衝突する危険があると認識すると、操作入力装置１１を操作する。操作入力装置１１は、車両操作信号を遠隔操作装置１３に送信する（Ｓ４１）。
【0147】
次に、遠隔操作装置１３は、車両操作信号を受信し、これを被操作車両１６に送信する。
【0148】
次に、被操作車両１６は、車両操作信号を受信し、車両操作信号に応じた走行を行う（Ｓ１２）。こうして、遠隔操作システム１００では、道路を走行する被操作車両１６を遠隔制御することができる。
【0149】
次に、被操作車両１６と障害物との距離によって表示装置１２に表示させる態様について説明する。
【0150】
図６は、実施の形態１に係り、被操作車両１６と障害物との距離によって表示装置１２に表示させる情報を決定する処理を示すフロー図である。
【0151】
図６に示すように、まず、判断処理部１３０７ｃは、第１予測位置と第２予測位置とに基づき、被操作車両１６と障害物との距離を算出する（Ｓ１０１）。
【0152】
次に、判断処理部１３０７ｃは、ステップＳ１０１で算出した距離が、規定の閾値以下となるか否かを判断する（Ｓ１０２）。
【0153】
被操作車両１６と障害物との距離が規定の閾値以下となる場合に（Ｓ１０２でＹＥＳ）、判断処理部１３０７ｃは、該当する障害物に関する注意を促す情報を、図４のマップ映像に付加する（Ｓ１０３）。具体的には、判断処理部１３０７ｃは、該当する障害物に関する注意を促す情報として、マップ映像に示される被操作車両１６と距離の近い障害物の色を変化させることで、危険が迫っていることをオペレータ１０に認識させ易くする。判断処理部１３０７ｃは、該当する障害物に関する注意を促す情報を付加したマップ映像を、表示装置１２に出力する（Ｓ１０３）。そして、この処理を終了する。
【0154】
また、被操作車両１６と障害物との距離が規定の閾値よりも大きくなる場合（Ｓ１０２でＮＯ）、障害物と被操作車両１６との距離が離れていると考えられるため、判断処理部１３０７ｃは、通常のマップ映像を表示装置１２に出力する（Ｓ１０４）。そして、この処理を終了する。
【0155】
次に、被操作車両１６の走行を強制的に停止させる場合について説明する。
【0156】
図７は、実施の形態１に係り、被操作車両１６の進行方向と障害物の進行方向とから被操作車両１６を走行制御する処理を示すフロー図である。
【0157】
図７に示すように、まず、方向算出部１３０７ｂは、車両位置情報と第１位置情報とに基づいて、車両位置情報が示す被操作車両１６の現在位置から、被操作車両１６が移動すると予測される方向を示す進行方向を算出する。また、方向算出部１３０７ｂは、障害物位置情報に基づき、障害物位置情報が示す障害物の現在位置から、障害物が移動すると予測される方向を示す進行方向を算出する（Ｓ１１１）。
【0158】
次に、判断処理部１３０７ｃは、被操作車両１６の進行方向と障害物の進行方向とに基づいて、被操作車両１６の進行方向と障害物の進行方向とが交差するか否かを判断する（Ｓ１１２）。
【0159】
被操作車両１６の進行方向と障害物の進行方向とが交差する場合に（Ｓ１１２でＹＥＳ）、判断処理部１３０７ｃは、被操作車両１６の走行を停止する停止信号を被操作車両１６に出力する（Ｓ１１３）。そして、この処理を終了する。
【0160】
一方、被操作車両１６の進行方向と障害物の進行方向とが交差しない場合に（Ｓ１１２でＮＯ）、この処理を終了する。
【0161】
判断処理部１３０７ｃは、該当する障害物に関する注意を促す情報を表示装置１２に出力する場合について例示する。
【0162】
図８Ａは、実施の形態１に係り、障害物を示すイメージ図である。図８Ｂは、実施の形態１に係り、被操作車両１６と障害物とが衝突する危険性のある状態を示すイメージ図である。図８Ｂは、図８Ａから任意の時間が経過した後の障害物を示す。
【0163】
【0164】
図８Ａでは、被操作車両１６がセンシングした障害物を実線の四角の枠で囲んでいる。図８Ａから任意の時間が経過した図８Ｂでは、図８Ａの障害物である対向車両２１７の進行方向が被操作車両１６に向いている。この場合、対向車両２１７が曲がる可能性があるため、判断処理部１３０７ｃは、被操作車両１６の進行方向と対向車両２１７の進行方向とが交差すると判断する。この場合、判断処理部１３０７ｃは、障害物に関する注意を促す情報を表示装置１２に出力するため、例えば対向車両２１７を四角の枠の色を変更する。表示装置１２には、対向車両２１７を四角の枠の色が変更されて表示される。
【0165】
次に、映像情報の情報量の低下について説明する。
【0166】
図９は、実施の形態１に係り、映像情報の低下を行う処理を示すフロー図である。
【0167】
図９に示すように、まず、遠隔制御ユニット１６０９は、遠隔操作装置１３と被操作車両１６との間の通信速度、より具体的には無線基地局１５と被操作車両１６との間の通信速度を無線通信ユニット１６０１から取得する（Ｓ２０１）。
【0168】
次に、遠隔制御ユニット１６０９は、被操作車両１６の挙動に応じて通信速度が規定値よりも大きいか否かを判断する（Ｓ２０２）。
【0169】
通信速度が規定値以下の場合に（Ｓ２０２でＮＯ）、遠隔制御ユニット１６０９は、各々のカメラ１６１２ごとに重要度を決定する（Ｓ２０４）。
【0170】
次に、遠隔制御ユニット１６０９は、重要度に応じてカメラ１６１２が生成した映像情報の情報量を低下させる（Ｓ２０５）。遠隔制御ユニット１６０９は、ステップＳ２０４で設定した重要度に応じて、重要度の低い映像情報の情報量を低下させ、重要度の高い映像情報の情報量を低下させない又はわずかに低下させる。遠隔制御ユニット１６０９は、生成した映像情報を遠隔操作装置１３に出力する（Ｓ２０５）。そして、この処理を終了する。
【0171】
一方、通信速度が規定値よりも大きい場合に（Ｓ２０２でＹＥＳ）、遠隔制御ユニット１６０９は、カメラ１６１２が生成した映像情報をそのままの状態で、遠隔操作装置１３に出力する（Ｓ２０３）。そして、この処理を終了する。
【0172】
なお、この処理では、ステップＳ２０４で、重要度の決定を行っているが、必須の構成要件ではない。つまり、重要度の決定を行うことなく、映像情報の情報量を低下させてもよい。
【0173】
［作用効果］
次に、本実施の形態おける遠隔操作装置１３、被操作車両１６、情報処理方法及びプログラムの作用効果について説明する。
次に、本実施の形態おける遠隔操作装置１３、被操作車両１６、情報処理方法及びプログラムの作用効果について説明する。
【0174】
上述したように、本実施の形態に係る遠隔操作装置１３では、位置情報処理部１３０７ａが被操作車両１６の現在位置に対して遅延時間を考慮した被操作車両１６の第１予測位置を示す第１位置情報を生成し、かつ、障害物の現在位置に対して遅延時間を考慮した１つ以上の障害物の第２予測位置を示す第２位置情報を生成する。位置情報処理部１３０７ａは、第１位置情報と第２位置情報とを出力する。このため、被操作車両１６と遠隔操作装置１３との間の情報伝達に要する遅延時間が発生した場合でも、遅延時間を考慮した被操作車両１６の第１位置情報と障害物の第２位置情報とを、遠隔地にいるオペレータ１０に提示することができる。このため、オペレータ１０は、車両予測位置と障害物予測位置との各々に関する情報を認識することができるため、被操作車両１６の遠隔操作を行い易くなる。
【0175】
したがって、被操作車両１６の安全性を向上させることができる。これにより、オペレータ１０が被操作車両１６を安全に遠隔操作することができる。
【0176】
また、本実施の形態に係る情報処理方法及びプログラムにおいても上述と同様の作用効果を奏する。
【0177】
また、本実施の形態に係る遠隔操作装置１３では、位置情報処理部１３０７ａは、車両位置情報に基づいて、被操作車両１６の現在位置から任意の時間が経過した後の被操作車両１６が到達すると予測される第３予測位置を算出する。位置情報処理部１３０７ａは、この第３予測位置を示す第３位置情報を表示装置１２に出力する。このため、被操作車両１６の現在位置、及び、現在位置から任意の時間が経過した第３予測位置をオペレータ１０に提示することができる。このため、被操作車両１６の遠隔操作を行い易くなる。これにより、オペレータ１０は、被操作車両１６の操作を修正したりすることができるため、被操作車両１６をより安全に操作することができる。
【0178】
また、本実施の形態に係る遠隔操作装置１３では、方向算出部１３０７ｂが障害物位置情報に基づき、障害物位置情報が示す障害物の現在位置から、障害物が移動すると予測される方向を示す、障害物の進行方向を算出する。方向算出部１３０７ｂは、進行方向が示す方向情報を出力する。このため、被操作車両１６の周辺における障害物の現在位置、及び、障害物の進行方向をオペレータ１０に提示することができる。このため、オペレータ１０は、被操作車両１６を操作するにあたり、注意するべき障害物を素早く見分けることができる。このため、オペレータ１０は、被操作車両１６及び障害物の状態を認知し易くなるため、より安全に被操作車両１６を操作することができる。
【0179】
また、本実施の形態に係る遠隔操作装置１３では、被操作車両１６と障害物との距離が規定の閾値以下となる場合に、判断処理部１３０７ｃは、該当する障害物に関する注意を促す情報を、被操作車両１６及び障害物の状態を出力する。このため、被操作車両１６と障害物とが衝突するなどの事故発生の危険性を予めオペレータ１０に提示することができる。このため、オペレータ１０は、注意を促す情報から被操作車両１６及び障害物の状態を認知し易くなるため、より安全に被操作車両１６を操作することができる。
【0180】
また、本実施の形態に係る遠隔操作装置１３では、被操作車両１６と障害物との距離が規定の閾値以下となる場合に、判断処理部１３０７ｃは、該当する障害物に関する注意を促す情報を、警告音として出力する。このため、被操作車両１６と障害物とが衝突するなどの事故発生の危険性を予めオペレータ１０に認知させることができる。これにより、オペレータ１０は、より安全に被操作車両１６を操作することができる。
【0181】
また、本実施の形態に係る遠隔操作装置１３では、方向算出部１３０７ｂは、車両位置情報と第１位置情報とに基づいて、車両位置情報が示す被操作車両１６の現在位置から、被操作車両１６が移動すると予測される方向を示す進行方向を算出する。また、被操作車両１６の進行方向と障害物の進行方向とが交差する場合に、判断処理部１３０７ｃは、被操作車両１６の走行を停止させる停止信号を被操作車両１６に出力する。このため、被操作車両１６と障害物とが衝突するなどの事故発生の危険性をオペレータ１０に提示することなく、被操作車両１６の走行を停止させることができる。このため、オペレータ１０の判断による遅延時間が発生しないため、被操作車両１６の安全性が向上する。
【0182】
また、本実施の形態に係る遠隔操作装置１３では、被操作車両１６と遠隔操作装置１３との間の情報伝達に要する遅延時間に加え、データ処理の遅延時間を考慮した被操作車両１６の第１予測位置と、被操作車両１６の周辺における障害物の第２予測位置とを、被操作車両１６を操作する遠隔地にいるオペレータ１０に提示することができる。このため、被操作車両１６の操作性が向上する。これにより、オペレータ１０は、より安全に被操作車両１６を操作することができる。
【0183】
また、本実施の形態に係る被操作車両１６では、遠隔制御ユニット１６０９は、被操作車両１６と遠隔操作装置１３との間の通信品質及び被操作車両１６と遠隔操作装置１３との間の情報伝達に要する遅延時間によって、被操作車両１６が送信する車両走行情報の情報量、車両走行情報の優先度等を制御することができる。このため、被操作車両１６では、被操作車両１６と遠隔操作装置１３との間で通信可能な速度が低下した場合でも、被操作車両１６を遠隔から操作する上で安全性に係る必要な情報を優先的に送信することができる。
【0184】
また、本実施の形態に係る被操作車両１６では、通信速度が規定値以下の場合に、遠隔制御ユニット１６０９がカメラ１６１２から取得した映像情報の情報量を低下させる。これにより、被操作車両１６と遠隔操作装置１３との間でのリアルタイムな情報の送受信を維持し易くなる。
【0185】
また、本実施の形態に係る被操作車両１６では、遠隔制御ユニット１６０９は、重要度に応じてカメラ１６１２が生成した映像情報の情報量を低下させる。例えば、被操作車両１６が曲がるときは、曲がる方向を撮影するカメラ１６１２が撮影した映像情報が重要となり、他のカメラ１６１２が撮影する映像の重要度は低下する。また、曲がる方向を撮影するカメラ１６１２が撮影した映像情報は、重要度が高いため、この映像情報の情報量を低下させない又はほとんど低下させなくする。このように、重要度の低い映像情報の情報量を低下させることで、被操作車両１６と遠隔操作装置１３との間でのリアルタイムな情報の送受信を維持し易くなる。また、重要度の高い映像情報については、鮮明な映像を得ることができる。
【0186】
（実施の形態１の変形例）
次に本変形例における遠隔操作システムについて説明する。
次に本変形例における遠隔操作システムについて説明する。
【0187】
本変形例では、被操作車両１６０の構成において、位置検知ユニット１６１４と、障害物検知ユニット１６１５とをさらに備えている点で実施の形態１と相違する。また、本変形例は、特に明記しない場合は、実施の形態１と同様であり、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。
【0188】
［別の被操作車両の構成］
図１０は、実施の形態１の変形例における被操作車両１６０の別の構成の一例を示すブロック図である。
図１０は、実施の形態１の変形例における被操作車両１６０の別の構成の一例を示すブロック図である。
【0189】
図１０に示すように、被操作車両１６０の構成において、位置検知ユニット１６１４と、障害物検知ユニット１６１５とをさらに備えている。図２の遠隔制御ユニット１６０９の役割のうち、図１０の被操作車両１６０では、車両位置情報の生成を位置検知ユニット１６１４が行い、障害物位置情報の生成を障害物検知ユニット１６１５が行う。
【0190】
位置検知ユニット１６１４は、遠隔制御ユニット１６０９の代わりに、操舵角センサ１６０２、速度／加速度センサ１６０３、地図データベース１６０８、レーザーレーダ１６１０、カメラ１６１２、ＧＰＳ１６１３のうち、これらの装置から得られる１つ以上の情報に基づき、被操作車両１６０の現在位置を計測して、車両位置情報を生成する。
【0191】
障害物検知ユニット１６１５は、遠隔制御ユニット１６０９の代わりに、レーザーレーダ１６１０、ミリ波レーダ１６１１、カメラ１６１２から得られる情報に基づき、障害物位置情報を生成する。
【0192】
遠隔制御ユニット１６０９は、１つ以上のカメラ１６１２から得られる被操作車両１６０の前後左右方向の映像情報を生成するとともに、操舵角センサ１６０２、速度／加速度センサ１６０３が出力する各々の情報から、車両走行情報を生成する。
【0193】
また、遠隔制御ユニット１６０９は、位置検知ユニット１６１４が生成した車両位置情報、車両走行情報、映像情報、及び、障害物検知ユニット１６１５が生成した障害物位置情報を、無線通信ユニット１６０１を介して遠隔操作装置１３０に送信する。
【0194】
図１１は、実施の形態１の変形例における遠隔操作装置１３０の別の構成の一例を示すブロック図である。
【0195】
本変形例では、車両位置情報の生成を被操作車両１６０の位置検知ユニット１６１４が行い、障害物位置情報の生成を被操作車両１６０の障害物検知ユニット１６１５が行う。このため、実施の形態１の図３と異なる点は、ＨＭＩ生成部１３０７が位置情報処理部１３０７ａを有していない点である。
【0196】
この本変形例における作用効果は、実施の形態１等と同様の作用効果であり、同一の作用効果については詳細な説明を省略する。
【0197】
（実施の形態２）
次に本実施の形態における遠隔操作システムについて説明する。
次に本実施の形態における遠隔操作システムについて説明する。
【0198】
本実施の形態では、図３の時間計測部１３０４を遠隔操作装置２３０に設けていない点、遠隔制御ユニット１６０９が遅延情報を生成する点等で、実施の形態１等と相違する。
【0199】
本実施の形態において、遠隔操作システムにおける他の構成は、実施の形態１の遠隔操作システム１００と同様であり、特に言及する場合を除き、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。
【0200】
［被操作車両の構成］
図２に示すように、遠隔制御ユニット１６０９は、無線基地局１５とネットワーク１４とを含む被操作車両１６と遠隔操作装置２３０との間の情報伝達に要する遅延時間である遅延時間を計測する。
図２に示すように、遠隔制御ユニット１６０９は、無線基地局１５とネットワーク１４とを含む被操作車両１６と遠隔操作装置２３０との間の情報伝達に要する遅延時間である遅延時間を計測する。
【0201】
なお、遠隔制御ユニット１６０９は、車両位置情報と遅延時間とに基づき、被操作車両１６の現在位置と第１予測位置とを算出してもよい。さらに、遠隔制御ユニット１６０９は、障害物位置情報と遅延時間とに基づき、障害物の現在位置と第２予測位置とを算出してもよい。そして、遠隔制御ユニット１６０９は、車両位置情報、第１位置情報、車両走行情報、障害物位置情報、第２位置情報、及び、映像情報を、無線通信ユニット１６０１を介して遠隔操作装置２３０に送信してもよい。
【0202】
また、遠隔制御ユニット１６０９は、遠隔操作装置２３０が送信した車両操作信号を、無線通信ユニット１６０１を介して受信する。遠隔制御ユニット１６０９は、車両操作信号に従って、速度制御ユニット１６０４と操舵制御ユニット１６０５を使って被操作車両１６の走行を制御する。
【0203】
［遠隔操作装置の構成］
本実施の形態における遠隔操作装置２３０について、図１２を用いて説明する。
本実施の形態における遠隔操作装置２３０について、図１２を用いて説明する。
【0204】
図１２は、実施の形態２に係る遠隔操作システムにおける遠隔操作装置２３０の構成の一例を示すブロック図である。
【0205】
図１２に示すように、遠隔操作装置２３０は、通信インタフェース１３０１と、車両情報受信部１３０２と、車両操作信号送信部１３０３と、車両操作信号生成部１３０５と、地図データベース１３０６と、ＨＭＩ生成部１３０７とを備える。
【0206】
通信インタフェース１３０１は、ネットワーク１４と接続し、ネットワーク１４及び無線基地局１５を介して、被操作車両１６と通信を行う。
【0207】
車両情報受信部１３０２は、被操作車両１６が送信する、遅延情報、車両位置情報、車両走行情報、障害物位置情報、及び、映像情報を、通信インタフェース１３０１を介して受信する。なお、車両情報受信部１３０２は、遠隔制御ユニット１６０９が第１位置情報及び第２位置情報を生成した場合、被操作車両１６が送信する、第１位置情報及び第２位置情報を、通信インタフェース１３０１を介してさらに受信してもよい。
【0208】
車両操作信号生成部１３０５は、オペレータ１０による操作入力装置１１の操作に基づき、車両操作信号を生成する。
【0209】
車両操作信号送信部１３０３は、車両操作信号生成部１３０５が生成する車両操作信号を、通信インタフェース１３０１、ネットワーク１４及び無線基地局１５を介して被操作車両１６に送信する。また、車両操作信号送信部１３０３は、車両操作信号生成部１３０５が生成した車両操作信号を、ネットワーク１４及び無線基地局１５を介して被操作車両１６に送信する。
【0210】
ＨＭＩ生成部１３０７は、車両現在位置、第１位置情報、車両走行情報、障害物位置情報、第２位置情報、映像情報、及び、地図情報に基づいて、オペレータ１０による被操作車両１６の操作に必要となるマップ映像を生成し、マップ映像を表示装置１２に出力する。
【0211】
本実施の形態では、遠隔制御ユニット１６０９が無線基地局１５とネットワーク１４を含む被操作車両１６と遠隔操作装置２３０との間の情報伝達に要する遅延時間である遅延時間を計測するため、遠隔操作装置２３０に時間計測部１３０４を設ける必要がない。このため、この遠隔操作システムによれば、時間計測部１３０４を設けない分、遠隔操作装置２３０の製造コストを低廉化することができる。
【0212】
この本実施の形態における作用効果は、実施の形態１等と同様の作用効果であり、同一の作用効果については詳細な説明を省略する。
【0213】
（変形例等）
以上、本開示について実施の形態１、２及び実施の形態１の変形例に基づいて説明したが、本開示は、上記各実施の形態１、２及び実施の形態１の変形例に限定されるものではない。
以上、本開示について実施の形態１、２及び実施の形態１の変形例に基づいて説明したが、本開示は、上記各実施の形態１、２及び実施の形態１の変形例に限定されるものではない。
【0214】
例えば、上記実施の形態１、２及び実施の形態１の変形例に係る情報処理装置及び被操作車両において、障害物に関する注意を促す情報は、マップ映像に示される被操作車両と距離の近い障害物の色を変化させる、マップ映像に示される被操作車両と距離の近い障害物を点滅する、及び、スピーカによって警告音を出力することの、少なくとも１以上を用いてもよい。このため、障害物の色の変化、障害物を点滅、スピーカは、情報処理装置において、必須の構成要件ではない。
【0215】
また、上記実施の形態１、２に係る情報処理装置及び被操作車両において、位置情報処理部１３０７ａは第３位置情報を生成しなくてもよく、第３位置情報の生成が必須の構成要件ではない。このため、表示部には、第３予測位置が表示されなくてもよい。
【0216】
また、上記実施の形態１に係る情報処理装置は、被操作車両に搭載されていてもよい。この場合、情報処理装置は、無線基地局及びネットワークを介して表示装置にマップ映像等を送信する。
【0217】
また、上記実施の形態１、２及び実施の形態１の変形例に係る情報処理装置及び被操作車両において、情報処理装置と被操作車両との電波強度が閾値以下になると、情報処理装置は、被操作車両の走行を停止させる停止信号を被操作車両に送信してもよい。これにより、被操作車両は、走行を停止する。
【0218】
また、上記実施の形態１、２及び実施の形態１の変形例に係る情報処理装置及び被操作車両の各処理部は典型的に集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【0219】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0220】
なお、上記各実施の形態１、２及び実施の形態１の変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0221】
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示の実施の形態は例示された数字に制限されない。
【0222】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【0223】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【0224】
その他、上記各実施の形態１、２及び実施の形態１の変形例に対して当業者が思い付く各種変形を施して得られる形態、本開示の趣旨を逸脱しない範囲で実施の形態１、２及び実施の形態１の変形例における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
【産業上の利用可能性】
【0225】
本開示に係る情報処理装置、被操作車両、情報処理方法及びプログラムは、道路を走行する車両に対して、遠隔地にいるオペレータが通信回線等を利用して、車両を遠隔操作するシステムに有効である。
【符号の説明】
【0226】
１０ オペレータ
１３、１３０、２３０ 遠隔操作装置（情報処理装置）
１６、１６０ 被操作車両
１９ スピーカ
２０２ａ 車両現在位置
２０２ｂ 車両予測位置（第１予想位置）
２０２ｃ 車両予測位置（第３予想位置）
２０３ａ、２０４ａ、２０５ａ、２０６ａ、２０７ａ、２０８ａ 障害物現在位置
２０３ｂ、２０４ｂ、２０５ｂ、２０６ｂ、２０７ｂ、２０８ｂ 障害物予測位置（第２予想位置）
２０３ｃ、２０４ｃ、２０５ｃ、２０６ｃ、２０７ｃ、２０８ｃ 障害物移動ベクトル（障害物の進行方向）
１３０１ 通信インタフェース
１３０２ 車両情報受信部（車両情報受信手段）
１３０４ 時間計測部
１３０７ａ 位置情報処理部
１３０７ｂ 方向算出部
１３０７ｃ 判断処理部
１６０１ 無線通信ユニット（送信部）
１６０９ 遠隔制御ユニット（制御部）
１６１２ カメラ（撮像部）
１３、１３０、２３０ 遠隔操作装置（情報処理装置）
１６、１６０ 被操作車両
１９ スピーカ
２０２ａ 車両現在位置
２０２ｂ 車両予測位置（第１予想位置）
２０２ｃ 車両予測位置（第３予想位置）
２０３ａ、２０４ａ、２０５ａ、２０６ａ、２０７ａ、２０８ａ 障害物現在位置
２０３ｂ、２０４ｂ、２０５ｂ、２０６ｂ、２０７ｂ、２０８ｂ 障害物予測位置（第２予想位置）
２０３ｃ、２０４ｃ、２０５ｃ、２０６ｃ、２０７ｃ、２０８ｃ 障害物移動ベクトル（障害物の進行方向）
１３０１ 通信インタフェース
１３０２ 車両情報受信部（車両情報受信手段）
１３０４ 時間計測部
１３０７ａ 位置情報処理部
１３０７ｂ 方向算出部
１３０７ｃ 判断処理部
１６０１ 無線通信ユニット（送信部）
１６０９ 遠隔制御ユニット（制御部）
１６１２ カメラ（撮像部）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】