特開 2022-188453 車両遠隔操作装置、車両遠隔操作システム、車両遠隔操作方法、車両遠隔操作プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022188453

(43)【公開日】2022-12-21

(54)【発明の名称】車両遠隔操作装置、車両遠隔操作システム、車両遠隔操作方法、車両遠隔操作プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20221214BHJP

   G08G 1/09 20060101ALI20221214BHJP

【ＦＩ】

G08G1/16 F

G08G1/09 V

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021096490

(22)【出願日】2021-06-09

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100187311

【弁理士】

【氏名又は名称】小飛山 悟史

(74)【代理人】

【識別番号】100161425

【弁理士】

【氏名又は名称】大森 鉄平

(72)【発明者】

【氏名】浦野 博充

(72)【発明者】

【氏名】大瀧 翔

(72)【発明者】

【氏名】原田 将弘

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181FF04

5H181FF07

5H181FF13

5H181FF14

5H181FF22

5H181FF27

5H181FF32

5H181LL01

5H181LL02

5H181LL04

5H181LL08

5H181LL09

5H181LL20

(57)【要約】

【課題】遠隔オペレータが入力した適切な遠隔操作情報を自動運転車両に送信する。
【解決手段】車両遠隔操作装置３は、情報提示部４４によって提示されたセンサ情報の注視対象エリアに対する遠隔オペレータＲの注視状態に基づいて、遠隔オペレータＲが遠隔操作を行うのに適した操作適正状態であるか否かを判定するオペレータ状態判定部４５と、オペレータ状態判定部４５の判定結果に基づいて、入力デバイス５３によって受け付けられた遠隔操作が適正であるか否かを判定する操作適正判定部４６と、適正であると判定された遠隔操作を示す遠隔操作情報を自動運転車両２に送信する遠隔操作送信部４７とを備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

遠隔オペレータによる自動運転車両の遠隔操作を実行する車両遠隔操作装置であって、
前記自動運転車両の車載センサのセンサ情報を提示する情報提示部と、
前記遠隔オペレータによる前記遠隔操作の入力を受け付ける入力受付部と、
前記情報提示部によって提示された前記センサ情報の注視対象エリアに対する前記遠隔オペレータの注視状態に基づいて、前記遠隔オペレータが前記遠隔操作を行うのに適した操作適正状態であるか否かを判定するオペレータ状態判定部と、
前記オペレータ状態判定部の判定結果に基づいて、前記入力受付部によって受け付けられた前記遠隔操作が適正であるか否かを判定する操作適正判定部と、
前記入力受付部によって受け付けられた前記遠隔操作を示す遠隔操作情報を前記自動運転車両に送信する送信部と、
を備え、
前記操作適正判定部は、前記遠隔操作が受け付けられた時に前記オペレータ状態判定部によって前記操作適正状態であると判定されている場合、受け付けられた前記遠隔操作が適正であると判定し、前記遠隔操作が受け付けられた時に前記オペレータ状態判定部によって前記操作適正状態でないと判定されている場合、受け付けられた前記遠隔操作が適正でないと判定し、
前記送信部は、前記操作適正判定部によって適正であると判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信し、前記操作適正判定部によって適正でないと判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信しない、車両遠隔操作装置。

【請求項2】

前記オペレータ状態判定部は、前記センサ情報に基づいて、提示する前記センサ情報に対して前記遠隔オペレータが注視すべき前記注視対象エリアを設定し、設定した前記注視対象エリアを前記遠隔オペレータが注視している場合に、前記遠隔オペレータが前記操作適正状態であると判定し、設定した前記注視対象エリアを前記遠隔オペレータが注視していない場合に、前記遠隔オペレータが前記操作適正状態でないと判定する、請求項１に記載の車両遠隔操作装置。

【請求項3】

前記オペレータ状態判定部は、前記遠隔オペレータが前記注視対象エリアを注視している期間と、前記注視対象エリアの注視を終了してから所定の注視有効時間が経過するまでの間の期間と、について前記遠隔オペレータが前記操作適正状態であると判定する、請求項２に記載の車両遠隔操作装置。

【請求項4】

前記情報提示部は、受け付けられた前記遠隔操作が前記操作適正判定部によって適正でないと判定された場合、前記オペレータ状態判定部が判定の際に用いた前記注視対象エリアを強調して表示させる、請求項２又は３に記載の車両遠隔操作装置。

【請求項5】

自動運転車両と、遠隔オペレータによる前記自動運転車両の遠隔操作を実行する車両遠隔操作装置とを備える車両遠隔操作システムであって、
前記車両遠隔操作装置は、
前記自動運転車両の車載センサのセンサ情報を提示する情報提示部と、
前記遠隔オペレータによる前記遠隔操作の入力を受け付ける入力受付部と、
前記情報提示部によって提示された前記センサ情報の注視対象エリアに対する前記遠隔オペレータの注視状態に基づいて、前記遠隔オペレータが前記遠隔操作を行うのに適した操作適正状態であるか否かを判定するオペレータ状態判定部と、
前記オペレータ状態判定部の判定結果に基づいて、前記入力受付部によって受け付けられた前記遠隔操作が適正であるか否かを判定する操作適正判定部と、
前記入力受付部によって受け付けられた前記遠隔操作を示す遠隔操作情報を前記自動運転車両に送信する送信部と、
を備え、
前記操作適正判定部は、前記遠隔操作が受け付けられた時に前記オペレータ状態判定部によって前記操作適正状態であると判定されている場合、受け付けられた前記遠隔操作が適正であると判定し、前記遠隔操作が受け付けられた時に前記オペレータ状態判定部によって前記操作適正状態でないと判定されている場合、受け付けられた前記遠隔操作が適正でないと判定し、
前記送信部は、前記操作適正判定部によって適正であると判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信し、前記操作適正判定部によって適正でないと判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信せず、
前記自動運転車両は、
前記送信部から送信された前記遠隔操作情報を受信する受信部と、
受信された前記遠隔操作情報に基づいて前記自動運転車両の走行を制御する走行制御部と、
を備える、車両遠隔操作システム。

【請求項6】

遠隔オペレータによる自動運転車両の遠隔操作を実行する車両遠隔操作装置で行われる車両遠隔操作方法であって、
前記自動運転車両の車載センサのセンサ情報を提示する情報提示ステップと、
前記遠隔オペレータによる前記遠隔操作の入力を受け付ける入力受付ステップと、
前記情報提示ステップにおいて提示された前記センサ情報の注視対象エリアに対する前記遠隔オペレータの注視状態に基づいて、前記遠隔オペレータが前記遠隔操作を行うのに適した操作適正状態であるか否かを判定するオペレータ状態判定ステップと、
前記オペレータ状態判定ステップの判定結果に基づいて、前記入力受付ステップにおいて受け付けられた前記遠隔操作が適正であるか否かを判定する操作適正判定ステップと、
前記入力受付ステップにおいて受け付けられた前記遠隔操作を示す遠隔操作情報を前記自動運転車両に送信する送信ステップと、
を含み、
前記操作適正判定ステップでは、前記遠隔操作が受け付けられた時に前記オペレータ状態判定ステップにおいて前記操作適正状態であると判定されている場合、受け付けられた前記遠隔操作が適正であると判定し、前記遠隔操作が受け付けられた時に前記オペレータ状態判定ステップにおいて前記操作適正状態でないと判定されている場合、受け付けられた前記遠隔操作が適正でないと判定し、
前記送信ステップでは、前記操作適正判定ステップにおいて適正であると判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信し、前記操作適正判定ステップにおいて適正でないと判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信しない、車両遠隔操作方法。

【請求項7】

遠隔オペレータによる遠隔操作の入力を受け付ける入力受付部への入力に基づいて自動運転車両の前記遠隔操作を実行する車両遠隔操作装置の遠隔操作ＥＣＵを動作させる車両遠隔操作プログラムであって、
前記自動運転車両の車載センサのセンサ情報を提示する情報提示部、
前記情報提示部によって提示された前記センサ情報の注視対象エリアに対する前記遠隔オペレータの注視状態に基づいて、前記遠隔オペレータが前記遠隔操作を行うのに適した操作適正状態であるか否かを判定するオペレータ状態判定部、
前記オペレータ状態判定部の判定結果に基づいて、前記入力受付部によって受け付けられた前記遠隔操作が適正であるか否かを判定する操作適正判定部、
及び、
前記入力受付部によって受け付けられた前記遠隔操作を示す遠隔操作情報を前記自動運転車両に送信する送信部、
として、前記遠隔操作ＥＣＵを動作させ、
前記操作適正判定部においては、前記遠隔操作が受け付けられた時に前記オペレータ状態判定部によって前記操作適正状態であると判定されている場合、受け付けられた前記遠隔操作が適正であると判定させ、前記遠隔操作が受け付けられた時に前記オペレータ状態判定部によって前記操作適正状態でないと判定されている場合、受け付けられた前記遠隔操作が適正でないと判定させ、
前記送信部においては、前記操作適正判定部によって適正であると判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信させ、前記操作適正判定部によって適正でないと判定された前記遠隔操作の前記遠隔操作情報を前記自動運転車両に送信させない、車両遠隔操作プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、自動運転車両の遠隔操作を行う車両遠隔操作装置、車両遠隔操作システム、車両遠隔操作方法、及び車両遠隔操作プログラムに関する。

【背景技術】

【0002】

例えば、特許文献１には、自動運転が可能な車両に対し、遠隔オペレータが車両を遠隔で操作を行うことによって走行させることが記載されている。この遠隔オペレータは、車両から送信されたカメラ画像等の情報に基づいて、車両を遠隔で操作している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－０４２７６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

遠隔オペレータが車両を遠隔で操作する場合、例えば、遠隔オペレータがカメラ画像を見ていない等、遠隔オペレータの状態が遠隔での操作に不適切な状態であっても、車両を遠隔で操作することができてしまう。このような場合、車両を適切に走行させることができず、交通の流れを妨げてしまうこと等が生じ得る。

【0005】

このため、本開示は、遠隔オペレータが入力した適切な遠隔操作情報を自動運転車両に送信することができる車両遠隔操作装置、車両遠隔操作システム、車両遠隔操作方法、及び車両遠隔操作プログラムについて説明する。

【課題を解決するための手段】

【0006】

本開示の第１の態様は、遠隔オペレータによる自動運転車両の遠隔操作を実行する車両遠隔操作装置であって、自動運転車両の車載センサのセンサ情報を提示する情報提示部と、遠隔オペレータによる遠隔操作の入力を受け付ける入力受付部と、情報提示部によって提示されたセンサ情報の注視対象エリアに対する遠隔オペレータの注視状態に基づいて、遠隔オペレータが遠隔操作を行うのに適した操作適正状態であるか否かを判定するオペレータ状態判定部と、オペレータ状態判定部の判定結果に基づいて、入力受付部によって受け付けられた遠隔操作が適正であるか否かを判定する操作適正判定部と、入力受付部によって受け付けられた遠隔操作を示す遠隔操作情報を自動運転車両に送信する送信部と、を備え、操作適正判定部は、遠隔操作が受け付けられた時にオペレータ状態判定部によって操作適正状態であると判定されている場合、受け付けられた遠隔操作が適正であると判定し、遠隔操作が受け付けられた時にオペレータ状態判定部によって操作適正状態でないと判定されている場合、受け付けられた遠隔操作が適正でないと判定し、送信部は、操作適正判定部によって適正であると判定された遠隔操作の遠隔操作情報を自動運転車両に送信し、操作適正判定部によって適正でないと判定された遠隔操作の遠隔操作情報を自動運転車両に送信しない。

【0007】

この車両遠隔操作装置では、遠隔オペレータが遠隔操作に適した状態（操作適正状態）で遠隔操作を入力した場合、遠隔操作情報が自動運転車両に送信される。一方、車両遠隔操作装置では、遠隔オペレータが遠隔操作に適さない状態で遠隔操作を入力した場合、遠隔操作情報が自動運転車両に送信されない。このように、車両遠隔操作装置は、遠隔オペレータが操作適正状態で入力した適切な遠隔操作情報を自動運転車両に送信することができる。

【0008】

車両遠隔操作装置において、オペレータ状態判定部は、センサ情報に基づいて、提示するセンサ情報に対して遠隔オペレータが注視すべき注視対象エリアを設定し、設定した注視対象エリアを遠隔オペレータが注視している場合に、遠隔オペレータが操作適正状態であると判定し、設定した注視対象エリアを遠隔オペレータが注視していない場合に、遠隔オペレータが操作適正状態でないと判定してもよい。この場合、車両遠隔操作装置は、注視対象エリアの注視の有無を用いることにより、遠隔オペレータが遠隔操作に適した操作適正状態であるか否かをより適切に判定することができる。

【0009】

車両遠隔操作装置において、オペレータ状態判定部は、遠隔オペレータが注視対象エリアを注視している期間と、注視対象エリアの注視を終了してから所定の注視有効時間が経過するまでの間の期間と、について遠隔オペレータが操作適正状態であると判定してもよい。この場合、車両遠隔操作装置は、注視対象エリアの注視状態に基づいて、操作適正状態であるか否かをより適切に判定することができる。

【0010】

車両遠隔操作装置において、情報提示部は、受け付けられた遠隔操作が操作適正判定部によって適正でないと判定された場合、オペレータ状態判定部が判定の際に用いた注視対象エリアを強調して表示させてもよい。この場合、車両遠隔操作装置は、操作適正状態となるために遠隔オペレータが注視すべきであったエリアを、遠隔オペレータに知らせることができる。これにより、遠隔オペレータは、注視すべきであった注視対象エリアを把握することができる。そして、遠隔オペレータは、操作適正状態となるために必要な注視の仕方を学習することができる。

【0011】

本開示の第２の態様は、自動運転車両と、遠隔オペレータによる自動運転車両の遠隔操作を実行する車両遠隔操作装置とを備える遠隔システムであって、車両遠隔操作装置は、自動運転車両の車載センサのセンサ情報を提示する情報提示部と、遠隔オペレータによる遠隔操作の入力を受け付ける入力受付部と、情報提示部によって提示されたセンサ情報の注視対象エリアに対する遠隔オペレータの注視状態に基づいて、遠隔オペレータが遠隔操作を行うのに適した操作適正状態であるか否かを判定するオペレータ状態判定部と、オペレータ状態判定部の判定結果に基づいて、入力受付部によって受け付けられた遠隔操作が適正であるか否かを判定する操作適正判定部と、入力受付部によって受け付けられた遠隔操作を示す遠隔操作情報を自動運転車両に送信する送信部と、を備え、操作適正判定部は、遠隔操作が受け付けられた時にオペレータ状態判定部によって操作適正状態であると判定されている場合、受け付けられた遠隔操作が適正であると判定し、遠隔操作が受け付けられた時にオペレータ状態判定部によって操作適正状態でないと判定されている場合、受け付けられた遠隔操作が適正でないと判定し、送信部は、操作適正判定部によって適正であると判定された遠隔操作の遠隔操作情報を自動運転車両に送信し、操作適正判定部によって適正でないと判定された遠隔操作の遠隔操作情報を自動運転車両に送信せず、自動運転車両は、送信部から送信された遠隔操作情報を受信する受信部と、受信された遠隔操作情報に基づいて自動運転車両の走行を制御する走行制御部と、を備える。

【0012】

この車両遠隔操作システムにおいて車両遠隔操作装置では、遠隔オペレータが遠隔操作に適した状態（操作適正状態）で遠隔操作を入力した場合、遠隔操作情報が自動運転車両に送信される。一方、車両遠隔操作装置では、遠隔オペレータが遠隔操作に適さない状態で遠隔操作を入力した場合、遠隔操作情報が自動運転車両に送信されない。このように、車両遠隔操作システムは、遠隔オペレータが操作適正状態で入力した適切な遠隔操作情報を自動運転車両に送信することができる。

【0013】

本開示の第３の態様は、遠隔オペレータによる自動運転車両の遠隔操作を実行する車両遠隔操作装置で行われる車両遠隔操作方法であって、自動運転車両の車載センサのセンサ情報を提示する情報提示ステップと、遠隔オペレータによる遠隔操作の入力を受け付ける入力受付ステップと、情報提示ステップにおいて提示されたセンサ情報の注視対象エリアに対する遠隔オペレータの注視状態に基づいて、遠隔オペレータが遠隔操作を行うのに適した操作適正状態であるか否かを判定するオペレータ状態判定ステップと、オペレータ状態判定ステップの判定結果に基づいて、入力受付ステップにおいて受け付けられた遠隔操作が適正であるか否かを判定する操作適正判定ステップと、入力受付ステップにおいて受け付けられた遠隔操作を示す遠隔操作情報を自動運転車両に送信する送信ステップと、を含み、操作適正判定ステップでは、遠隔操作が受け付けられた時にオペレータ状態判定ステップにおいて操作適正状態であると判定されている場合、受け付けられた遠隔操作が適正であると判定し、遠隔操作が受け付けられた時にオペレータ状態判定ステップにおいて操作適正状態でないと判定されている場合、受け付けられた遠隔操作が適正でないと判定し、送信ステップでは、操作適正判定ステップにおいて適正であると判定された遠隔操作の遠隔操作情報を自動運転車両に送信し、操作適正判定ステップにおいて適正でないと判定された遠隔操作の遠隔操作情報を自動運転車両に送信しない。

【0014】

この車両遠隔操作方法では、遠隔オペレータが遠隔操作に適した状態（操作適正状態）で遠隔操作を入力した場合、遠隔操作情報が自動運転車両に送信される。一方、この車両遠隔操作方法では、遠隔オペレータが遠隔操作に適さない状態で遠隔操作を入力した場合、遠隔操作情報が自動運転車両に送信されない。このように、車両遠隔操作方法では、遠隔オペレータが操作適正状態で入力した適切な遠隔操作情報を自動運転車両に送信することができる。

【0015】

本開示の第４の態様は、遠隔オペレータによる遠隔操作の入力を受け付ける入力受付部への入力に基づいて自動運転車両の遠隔操作を実行する車両遠隔操作装置の遠隔操作ＥＣＵを動作させる車両遠隔操作プログラムであって、自動運転車両の車載センサのセンサ情報を提示する情報提示部、情報提示部によって提示されたセンサ情報の注視対象エリアに対する遠隔オペレータの注視状態に基づいて、遠隔オペレータが遠隔操作を行うのに適した操作適正状態であるか否かを判定するオペレータ状態判定部、オペレータ状態判定部の判定結果に基づいて、入力受付部によって受け付けられた遠隔操作が適正であるか否かを判定する操作適正判定部、及び、入力受付部によって受け付けられた遠隔操作を示す遠隔操作情報を自動運転車両に送信する送信部、として、遠隔操作ＥＣＵを動作させ、操作適正判定部においては、遠隔操作が受け付けられた時にオペレータ状態判定部によって操作適正状態であると判定されている場合、受け付けられた遠隔操作が適正であると判定させ、遠隔操作が受け付けられた時にオペレータ状態判定部によって操作適正状態でないと判定されている場合、受け付けられた遠隔操作が適正でないと判定させ、送信部においては、操作適正判定部によって適正であると判定された遠隔操作の遠隔操作情報を自動運転車両に送信させ、操作適正判定部によって適正でないと判定された遠隔操作の遠隔操作情報を自動運転車両に送信させない。

【0016】

この車両遠隔操作プログラムでは、遠隔オペレータが遠隔操作に適した状態（操作適正状態）で遠隔操作を入力した場合、遠隔操作情報が自動運転車両に送信される。一方、この車両遠隔操作プログラムでは、遠隔オペレータが遠隔操作に適さない状態で遠隔操作を入力した場合、遠隔操作情報が自動運転車両に送信されない。このように、車両遠隔操作プログラムでは、遠隔オペレータが操作適正状態で入力した適切な遠隔操作情報を自動運転車両に送信することができる。

【発明の効果】

【0017】

本開示の種々の態様によれば、遠隔オペレータが入力した適切な遠隔操作情報を自動運転車両に送信することができる。

【図面の簡単な説明】

【0018】

【図1】図１は、一実施形態に係る車両遠隔操作システムを説明するための図である。

【図2】図２は、自動運転車両の構成の一例を示すブロック図である。

【図3】図３は、オペレータインターフェースのハードウェア構成の一例を示すブロック図である。

【図4】図４は、車両遠隔操作サーバのハードウェア構成の一例を示すブロック図である。

【図5】図５は、遠隔操作ＥＣＵの機能構成の一例を示すブロック図である。

【図6】図６（ａ）及び図６（ｂ）は、注視有効時間バーの表示の一例を示す図である。

【図7】図７（ａ）は、遠隔オペレータに提示された自動運転車両の前方のカメラ画像を示す図である。図７（ｂ）は、遠隔オペレータに提示された自動運転車両の後方のカメラ画像を示す図である。

【図8】図８は、車両遠隔操作装置で実行される車両遠隔操作方法の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0019】

以下、例示的な実施形態について図面を参照しながら説明する。なお、各図において、同一又は相当する要素同士には同一符号を付し、重複する説明を省略する。

【0020】

［車両遠隔操作システム］
図１は、一実施形態に係る車両遠隔操作システム１を説明するための図である。図１に示される車両遠隔操作システム１は、自動運転車両２と、車両遠隔操作装置３とを備えている。車両遠隔操作システム１は、遠隔オペレータＲによる自動運転車両２の遠隔操作を実行するためのシステムである。

【0021】

遠隔オペレータＲとは、自動運転車両２が遠隔走行を実行するための遠隔操作を行う者である。遠隔オペレータＲは、車両遠隔操作装置３を介して自動運転車両２の遠隔操作を行うことができる。遠隔オペレータＲの人数は限定されず、一人であってもよく、二人以上であってもよい。車両遠隔操作装置３と通信可能な自動運転車両２の台数も特に限定されない。複数人の遠隔オペレータＲが交替して一台の自動運転車両２に対して遠隔操作を行う態様であってもよく、一人の遠隔オペレータＲが二台以上の自動運転車両２に対して遠隔操作を行う態様であってもよい。

【0022】

ここで、本実施形態において、遠隔オペレータＲが行う遠隔操作は、自動運転車両２を遠隔で走行させることができれば、遠隔操作の種類は問わない。例えば、この遠隔操作には、自動運転車両２からの要求に基づいて、自動運転車両２で行われる判断等を遠隔オペレータＲが代替する運転支援が含まれていてもよい。また、例えば、この遠隔操作には、自動運転車両２からの要求の有無を問わず、遠隔オペレータＲが自動運転車両２に対して行動の指示を行う遠隔指示が含まれていてもよい。さらに、例えば、この遠隔操作には、遠隔オペレータＲが自動運転車両２を遠隔で運転する遠隔運転が含まれていてもよい。

【0023】

車両遠隔操作システム１では、例えば自動運転車両２から要求がされた等の所定の場合に、遠隔オペレータＲに遠隔操作の入力が要求される。遠隔オペレータＲは、車両遠隔操作装置３のオペレータインターフェース５に遠隔操作内容を入力する。車両遠隔操作装置３は、遠隔操作を示す遠隔操作情報をネットワークＮを通じて自動運転車両２に送信する。自動運転車両２は、遠隔操作情報に従って走行する。

【0024】

［自動運転車両］
自動運転車両２の構成の一例について説明する。図２は、自動運転車両２の構成の一例を示すブロック図である。図２に示されるように、自動運転車両２は、一例として、自動運転ＥＣＵ[Electronic Control Unit]２０を有している。自動運転ＥＣＵ２０は、ＣＰＵ［Central Processing Unit］、ＲＯＭ［Read Only Memory］、ＲＡＭ［Random Access Memory］等を有する電子制御ユニットである。自動運転ＥＣＵ２０では、例えば、ＲＯＭ又はＲＡＭに記録されているプログラムをＣＰＵで実行することにより各種の機能が実現される。自動運転ＥＣＵ２０は、複数の電子ユニットから構成されていてもよい。

【0025】

自動運転ＥＣＵ２０は、ＧＰＳ［Global Positioning System］受信部２１、外部センサ（車載センサ）２２、内部センサ２３、地図データベース２４、通信部２５、及び、アクチュエータ２６と接続されている。

【0026】

ＧＰＳ受信部２１は、３個以上のＧＰＳ衛星から信号を受信することにより、自動運転車両２の位置（例えば自動運転車両２の緯度及び経度）を測定する。ＧＰＳ受信部２１は、測定した自動運転車両２の位置情報を自動運転ＥＣＵ２０へ送信する。

【0027】

外部センサ２２は、自動運転車両２の外部環境を検出する車載センサである。外部センサ２２は、カメラを少なくとも含む。カメラは、自動運転車両２の外部環境を撮像する撮像機器である。カメラは、例えば自動運転車両２のフロントガラスの裏側に設けられ、車両前方を撮像する。カメラは、自動運転車両２の外部環境に関する撮像情報を自動運転ＥＣＵ２０へ送信する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。カメラは、複数台設けられていてもよく、自動運転車両２の前方の他、左右の側方及び後方を撮像してもよい。自動運転車両２には、遠隔オペレータＲ向けの外部カメラが備え付けられていてもよい。遠隔オペレータＲ向けの外部カメラは少なくとも自動運転車両２の前方を撮像している。遠隔オペレータＲ向けの外部カメラは、自動運転車両２の側方及び後方を含む周囲を撮像する複数のカメラから構成されていてもよい。

【0028】

外部センサ２２は、レーダセンサを含んでもよい。レーダセンサは、電波（例えばミリ波）又は光を利用して自動運転車両２の周辺の物体を検出する検出機器である。レーダセンサには、例えば、ミリ波レーダ又はライダー［LIDAR：Light Detection and Ranging］が含まれる。レーダセンサは、電波又は光を自動運転車両２の周辺に送信し、物体で反射された電波又は光を受信することで物体を検出する。レーダセンサは、検出した物体情報を自動運転ＥＣＵ２０へ送信する。物体には、ガードレール、建物などの固定物体の他、歩行者、自転車、他車両などの移動物体が含まれる。また、外部センサ２２は、自動運転車両２の外部の音を検出する音検出センサを含んでもよい。

【0029】

内部センサ２３は、自動運転車両２の走行状態を検出する車載センサである。内部センサ２３は、車速センサ、加速度センサ、及びヨーレートセンサを含んでいる。車速センサは、自動運転車両２の速度を検出する検出器である。車速センサとしては、自動運転車両２の車輪又は車輪と一体に回転するドライブシャフトなどに対して設けられ、各車輪の回転速度を検出する車輪速センサを用いることができる。車速センサは、検出した車速情報（車輪速情報）を自動運転ＥＣＵ２０に送信する。

【0030】

加速度センサは、自動運転車両２の加速度を検出する検出器である。加速度センサは、例えば、自動運転車両２の前後方向の加速度を検出する前後加速度センサを含んでいる.加速度センサは、自動運転車両２の横加速度を検出する横加速度センサを含んでいてもよい。加速度センサは、例えば、自動運転車両２の加速度情報を自動運転ＥＣＵ２０に送信する。ヨーレートセンサは、自動運転車両２の重心の鉛直軸周りのヨーレート（回転角速度）を検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。ヨーレートセンサは、検出した自動運転車両２のヨーレート情報を自動運転ＥＣＵ２０へ送信する。

【0031】

地図データベース２４は、地図情報を記録するデータベースである。地図データベース２４は、例えば、自動運転車両２に搭載されたＨＤＤなどの記録装置内に形成されている。地図情報には、道路の位置情報、道路形状の情報（例えば曲率情報）、交差点及び分岐点の位置情報などが含まれる。地図情報には、位置情報と関連付けられた法定速度などの交通規制情報が含まれていてもよい。地図情報には、自動運転車両２の位置情報の取得に用いられる物標情報が含まれていてもよい。物標としては、道路標識、路面標示、信号機、電柱などを用いることができる。地図データベース２４は、自動運転車両２と通信可能なサーバに構成されていてもよい。サーバは車両遠隔操作サーバ４に限らない。

【0032】

通信部２５は、自動運転車両２の外部との無線通信を制御する通信デバイスである。通信部２５は、ネットワークＮを介して車両遠隔操作サーバ４と各種情報の送信及び受信を行う。

【0033】

アクチュエータ２６は、自動運転車両２の制御に用いられる機器である。アクチュエータ２６は、駆動アクチュエータ、ブレーキアクチュエータ、及び操舵アクチュエータを少なくとも含む。駆動アクチュエータは、自動運転ＥＣＵ２０からの制御信号に応じてエンジンに対する空気の供給量（スロットル開度）を制御し、自動運転車両２の駆動力を制御する。なお、自動運転車両２がハイブリッド車である場合には、エンジンに対する空気の供給量の他に、動力源としてのモータに自動運転ＥＣＵ２０からの制御信号が入力されて当該駆動力が制御される。自動運転車両２が電気自動車である場合には、動力源としてのモータに自動運転ＥＣＵ２０からの制御信号が入力されて当該駆動力が制御される。これらの場合における動力源としてのモータは、アクチュエータ２６を構成する。

【0034】

ブレーキアクチュエータは、自動運転ＥＣＵ２０からの制御信号に応じてブレーキシステムを制御し、自動運転車両２の車輪へ付与する制動力を制御する。ブレーキシステムとしては、例えば、液圧ブレーキシステムを用いることができる。操舵アクチュエータは、電動パワーステアリングシステムのうち操舵トルクを制御するアシストモータの駆動を自動運転ＥＣＵ２０からの制御信号に応じて制御する。これにより、操舵アクチュエータは、自動運転車両２の操舵トルクを制御する。

【0035】

次に、自動運転ＥＣＵ２０の機能的構成の一例について説明する。自動運転ＥＣＵ２０は、車両位置取得部２０ａ、外部環境認識部２０ｂ、走行状態認識部２０ｃ、遠隔操作要求部２０ｄ、進路生成部２０ｅ、及び自動運転制御部（受信部、走行制御部）２０ｆを有している。

【0036】

車両位置取得部２０ａは、ＧＰＳ受信部２１の位置情報及び地図データベース２４の地図情報に基づいて、自動運転車両２の車両位置情報を取得する。また、車両位置取得部２０ａは、地図データベース２４の地図情報に含まれた物標情報及び外部センサ２２の検出結果を利用して、ＳＬＡＭ［Simultaneous Localization and Mapping］技術により自動運転車両２の車両位置情報を取得してもよい。車両位置取得部２０ａは、車線の区画線と自動運転車両２の車両位置関係から、車線に対する自動運転車両２の横位置（車線幅方向における自動運転車両２の位置）を認識して車両位置情報に含めてもよい。車両位置取得部２０ａは、その他、周知の手法により自動運転車両２の車両位置情報を取得してもよい。

【0037】

外部環境認識部２０ｂは、外部センサ２２の検出結果に基づいて、自動運転車両２の外部環境を認識する。外部環境には、自動運転車両２に対する周囲の物体の相対位置が含まれる。外部環境情報には、自動運転車両２に対する周囲の物体の相対速度及び移動方向が含まれていてもよい。外部環境情報には、他車両、歩行者、自転車などの物体の種類が含まれてもよい。物体の種類は、パターンマッチングなどの周知の手法により識別することができる。外部環境情報には、自動運転車両２の周囲の区画線認識（白線認識）の結果が含まれていてもよい。外部環境情報には、信号機の点灯状態の認識結果が含まれていてもよい。外部環境認識部２０ｂは、例えば、外部センサ２２のカメラの画像に基づいて、自動運転車両２の前方の信号機の点灯状態（通過可能な点灯状態であるか、通過禁止の点灯状態であるかなど）を認識できる。

【0038】

走行状態認識部２０ｃは、内部センサ２３の検出結果に基づいて、自動運転車両２の走行状態を認識する。走行状態には、自動運転車両２の車速、自動運転車両２の加速度、自動運転車両２のヨーレートが含まれる。具体的に、走行状態認識部２０ｃは、車速センサの車速情報に基づいて、自動運転車両２の車速を認識する。走行状態認識部２０ｃは、加速度センサの車速情報に基づいて、自動運転車両２の加速度を認識する。走行状態認識部２０ｃは、ヨーレートセンサのヨーレート情報に基づいて、自動運転車両２の向きを認識する。

【0039】

遠隔操作要求部２０ｄは、遠隔オペレータＲに遠隔操作を要求すべきか否かを判定する。遠隔操作要求部２０ｄは、例えば、車両位置取得部２０ａの取得した自動運転車両２の車両位置情報及び地図データベース２４の地図情報又は外部環境認識部２０ｂの認識した外部環境に基づいて、遠隔操作を要求すべきか否かを判定する。遠隔操作要求部２０ｄは、遠隔操作を要求すべきと判定した場合、遠隔操作要求を車両遠隔操作サーバ４に対して送信する。

【0040】

遠隔操作要求部２０ｄは、予め設定された遠隔操作を要求すべき状況に自動運転車両２がなった場合に、遠隔操作を要求すべきと判定する。遠隔操作を要求すべき状況としては、例えば、車両前方の障害物に対する車線逸脱回避が必要な状況、自動運転車両２が交差点を右折する状況、信号機付き又は信号機無しの交差点に進入する状況、信号機を通過する状況（例えば道路途中の横断歩道に対応する信号機を通過する状況）、車線変更を開始する状況、工事区間へ進入する状況、踏切への進入する状況、交差点を左折する状況（巻き込み確認を目的とする場合）、車室内のカメラ映像に基づいて乗客にとって安全に発進できることを確認する状況、車室内外のカメラ映像に基づいて安全にドアの開閉ができることを確認する状況等が挙げられる。

【0041】

また、遠隔操作要求部２０ｄは、遠隔操作要求と合わせて、外部センサ２２の検出結果であるセンサ情報を車両遠隔操作サーバ４に送信する。センサ情報は、遠隔オペレータＲが遠隔操作を行う際の判断に使用される情報である。例えば、センサ情報は、カメラの撮像画像（映像）又はライダーの点群情報等であってもよい。また、このセンサ情報は、カメラ等の外部センサ２２の検出結果そのままの情報であることに限定されない。このセンサ情報は、外部センサ２２の検出結果に基づいて物体の認識処理等が行われた後の情報であってもよい。例えば、センサ情報は、外部環境認識部２０ｂで認識された外部環境情報であってもよい。また、例えば、センサ情報は、実際のカメラの映像又は画像の視点を変更した情報であってもよい。さらに、例えば、センサ情報は、実際の映像又は画像ではなく、３Ｄモデル情報から生成された映像又は画像であってもよい。

【0042】

なお、上述したように、遠隔オペレータＲは、自動運転車両２からの要求の有無に関わらず、自動運転車両２の遠隔操作を行うことができる。このため、遠隔操作要求部２０ｄは、遠隔操作要求の送信の有無とは関係なく、センサ情報を車両遠隔操作サーバ４に送信することができる。

【0043】

さらに、遠隔操作要求部２０ｄは、センサ情報と合わせて、自動運転車両２の車両情報（自動運転車両２の識別情報、及び車両位置情報等）、及び自動運転車両２の走行状態情報（車速、ヨーレートなどの情報）を車両遠隔操作サーバ４に送信してもよい。また、遠隔操作要求部２０ｄは、センサ情報と合わせて、交通ルール・規制情報（自車位置に基づいて得られる車速制限情報、進行方向の制限情報（右折専用車線等）、認識した信号機の色情報等）を車両遠隔操作サーバ４に送信してもよい。

【0044】

進路生成部２０ｅは、自動運転車両２の自動運転に利用される進路［trajectory］を生成する。進路生成部２０ｅは、予め設定された走行ルート、地図情報、自動運転車両２の位置情報、自動運転車両２の外部環境、及び自動運転車両２の走行状態に基づいて、自動運転の進路を生成する。

【0045】

走行ルートとは、自動運転において自動運転車両２が走行するルートである。進路生成部２０ｅは、例えば目的地、地図情報、及び自動運転車両２の位置情報に基づいて、自動運転の走行ルートを求める。走行ルートは、周知のナビゲーションシステムによって設定されてもよい。目的地は自動運転車両２の乗員によって設定されてもよく、自動運転ＥＣＵ２０又はナビゲーションシステムなどが自動的に提案してもよい。

【0046】

進路には、自動運転で車両が走行する経路［path］と自動運転における車速プロファイルとが含まれる。経路は、走行ルート上において自動運転中の車両が走行する予定の軌跡である。経路は、例えば走行ルート上の位置に応じた自動運転車両２の操舵角変化のデータ（操舵角プロファイル）とすることができる。走行ルート上の位置とは、例えば走行ルートの進行方向において所定間隔（例えば１ｍ）毎に設定された設定縦位置である。操舵角プロファイルとは、設定縦位置毎に目標操舵角が関連付けられたデータとなる。

【0047】

進路生成部２０ｅは、例えば走行ルート、地図情報、自動運転車両２の外部環境、及び自動運転車両２の走行状態に基づいて、自動運転車両２が走行する経路を生成する。進路生成部２０ｅは、例えば自動運転車両２が走行ルートに含まれる車線の中央（車線幅方向における中央）を通るように経路を生成する。

【0048】

車速プロファイルは、例えば設定縦位置毎に目標車速が関連付けられたデータである。なお、設定縦位置は、距離ではなく自動運転車両２の走行時間を基準として設定されてもよい。設定縦位置は、車両の１秒後の到達位置、車両の２秒後の到達位置として設定されていてもよい。

【0049】

進路生成部２０ｅは、例えば経路と地図情報に含まれる法定速度などの交通規制情報に基づいて車速プロファイルを生成する。法定速度に代えて、地図上の位置又は区間に対して予め設定された設定速度を用いてもよい。進路生成部２０ｅは、経路及び車速プロファイルから自動運転の進路を生成する。なお、進路生成部２０ｅにおける進路の生成方法は上述した内容に限定されず、自動運転に関する周知の手法を採用することができる。進路の内容についても同様である。

【0050】

進路生成部２０ｅは、遠隔操作要求部２０ｄにより車両遠隔操作サーバ４に対して遠隔操作が要求された場合、遠隔操作に応じた進路を生成する。ここでは、進路生成部２０ｅは、遠隔操作の内容が予め決められている場合、遠隔操作に応じた進路を予め生成してもよい。あるいは、進路生成部２０ｅは、車両遠隔操作サーバ４から遠隔操作情報を受信してから遠隔操作に応じた進路を生成してもよい。

【0051】

自動運転制御部２０ｆは、自動運転車両２の自動運転を実行する。自動運転制御部２０ｆは、例えば自動運転車両２の外部環境、自動運転車両２の走行状態、及び進路生成部２０ｅの生成した進路に基づいて、自動運転車両２の自動運転を実行する。自動運転制御部２０ｆは、アクチュエータ２６に制御信号を送信することで、自動運転車両２の自動運転を行う。

【0052】

また、自動運転制御部２０ｆは、車両遠隔操作サーバ４から通信部２５を介して遠隔操作情報を受信した場合、遠隔操作情報に応じた進路に基づいて自動運転車両２の走行を制御する。

【0053】

［車両遠隔操作装置］
図１に示すように、車両遠隔操作装置３は、自動運転車両２の遠隔操作を行う装置である。車両遠隔操作装置３は、車両遠隔操作サーバ４、及びオペレータインターフェース５を備えている。本実施形態において、オペレータインターフェース５は、複数設けられている。

【0054】

オペレータインターフェース５は、遠隔オペレータＲが自動運転車両２の遠隔操作を行うために利用されるインターフェースである。より詳細には、図３に示されるように、オペレータインターフェース５は、モニタ５１、スピーカ５２、入力デバイス（入力受付部）５３、オペレータ監視センサ５４、及び通信部５５を備えている。

【0055】

モニタ５１及びスピーカ５２は、車両遠隔操作サーバ４からの指示に基づいて、遠隔操作の対象となる自動運転車両２の遠隔操作に関する各種の情報を遠隔オペレータＲに提示する機器である。ここでは、モニタ５１は、少なくとも、自動運転車両２の外部センサ２２のセンサ情報を提示する。モニタ５１は、例えば、自動運転車両２に搭載された外部センサ２２のカメラの画像を表示（提示）することができる。

【0056】

入力デバイス５３は、遠隔オペレータＲにより、自動運転車両２の遠隔操作が入力される機器である。つまり、入力デバイス５３は、遠隔オペレータＲによる遠隔操作の入力を受け付ける。

【0057】

入力デバイス５３としては、例えば、ボタン、スイッチ、タッチパネル等のハードウェア、あるいはコンピュータを介して入力するキーボード、マウス等が用いられ得る。遠隔オペレータＲは、遠隔操作として、例えば、「車両行動の承認」、「発進指示」、「右折又は左折指示」、「車線変更指示」、及び「車速・加減速量の数値指示」等を入力デバイス５３を用いて行うことができる。また、遠隔オペレータＲは、入力デバイス５３を用いて、自動運転車両２が認識した外部環境等の認識結果の正誤の入力、又は修正の指示を行うことができる。

【0058】

例えば、遠隔オペレータＲは、「車両行動の承認」、「発進指示」、「右折又は左折指示」、又は「車線変更指示」を行う場合、入力デバイス５３としてのボタン、スイッチ、タッチパネル、マウスのいずれかを用いることができる。また、例えば、遠隔オペレータＲは、自動運転車両２が認識した認識結果の正誤入力を行う場合（例えば、外部環境認識部２０ｂは信号機の点灯の色を赤と認識したが、遠隔オペレータＲは青と訂正する場合）、入力デバイス５３としてのボタン、スイッチ、タッチパネル、マウスのいずれかを用いることができる。同様に、遠隔オペレータＲは、自動運転車両２が認識した認識結果の修正を行う場合（例えば、外部環境認識部２０ｂは周囲に車両有りと認識したが、遠隔オペレータＲは車両無しと訂正する場合）、入力デバイス５３としてのボタン、スイッチ、タッチパネル、マウスのいずれかを用いることができる。また、例えば、遠隔オペレータＲは、「車速・加減速量の数値指示」を行う場合、入力デバイス５３としてのボリュームスイッチ、キーボード入力のいずれかを用いることができる。

【0059】

なお、遠隔オペレータＲは、上述した各種の入力デバイス５３の使用及び各種の遠隔操作を、同時に複数種類実施してもよい。例えば、遠隔オペレータＲは、車線変更指示を行いつつ車速を抑制するため、ボタン操作とボリュームスイッチ操作とを同時に行ってもよい。また、遠隔オペレータＲは、自動運転車両２の認識結果を複数種類訂正する場合がある。例えば、信号機は同一方向に対して複数設置されていることが多い。この場合、太陽光が原因で複数の信号機の認識結果を誤ることがある。これらを訂正する場合、遠隔オペレータＲは、タッチパネルの表示画面上に表示された複数の認識結果を、タッチパネルの操作によって訂正してもよい。

【0060】

オペレータ監視センサ５４は、自動運転車両２の遠隔操作を行う遠隔オペレータＲの状態を監視するためのセンサである。オペレータ監視センサ５４は、例えば、オペレータ監視カメラ、及びオペレータ監視マイクを備えている。オペレータ監視カメラは、遠隔オペレータＲを撮像するカメラである。オペレータ監視カメラによって撮像された画像は、遠隔オペレータＲの視線の向き及び／又は顔の向き取得することにより、モニタ５１の表示画面中のどの部分を注視しているかを判定するために用いられ得る。また、オペレータ監視カメラによって撮像された画像は、遠隔オペレータＲが遠隔操作を行う際に、指差呼称の動作有無を判定するために用いられ得る。オペレータ監視マイクによって検出された音声は、遠隔オペレータＲが遠隔操作を行う際に、指差呼称の動作有無を判定するために用いられ得る。

【0061】

通信部５５は、車両遠隔操作サーバ４と通信を行う機器である。通信部５５は、モニタ５１及びスピーカ５２によって提示する情報を車両遠隔操作サーバ４から受信する。通信部５５は、入力デバイス５３に入力された遠隔操作を示す遠隔操作情報を車両遠隔操作サーバ４に送信する。また、通信部５５は、オペレータ監視センサ５４の検出結果であるオペレータ監視情報を、車両遠隔操作サーバ４に送信する。

【0062】

［車両遠隔操作サーバ］
図４は、車両遠隔操作サーバ４のハードウェア構成の一例を示すブロック図である。図４に示すように、車両遠隔操作サーバ４は、遠隔操作ＥＣＵ４ａ、通信部４ｂ及びユーザインターフェース４ｃを備えた一般的なコンピュータとして構成することができる。

【0063】

遠隔操作ＥＣＵ４ａは、各種オペレーティングシステムを動作させて車両遠隔操作サーバ４を制御する。遠隔操作ＥＣＵ４ａは、自動運転ＥＣＵ２０と同様に、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する電子制御ユニットである。遠隔操作ＥＣＵ４ａは、通信部４ｂ及びユーザインターフェース４ｃを統括する。

【0064】

通信部４ｂは、ネットワークＮを介して自動運転車両２と通信を行うための通信機器である。また、通信部４ｂは、オペレータインターフェース５との通信を行う。通信部４ｂには、ネットワークデバイス、ネットワークコントローラ、ネットワークカードなどを用いることができる。ユーザインターフェース４ｃは、管理者などのユーザに対する車両遠隔操作サーバ４の入出力部である。ユーザインターフェース４ｃは、ディスプレイ、スピーカなどの出力器、及び、タッチパネルなどの入力器を含む。なお、車両遠隔操作サーバ４は、必ずしも施設に設けられている必要はなく、車両などの移動体に搭載されていてもよい。車両遠隔操作サーバ４は、複数のコンピュータから構成されていてもよい。

【0065】

次に、遠隔操作ＥＣＵ４ａの機能的構成について説明する。図５は、遠隔操作ＥＣＵ４ａの機能的構成の一例を示すブロック図である。図５に示されるように、遠隔操作ＥＣＵ４ａは、機能的には、センサ情報受信部４１、オペレータ監視情報受信部４２、遠隔操作情報受信部４３、情報提示部４４、オペレータ状態判定部４５、操作適正判定部４６、及び遠隔操作送信部（送信部）４７を有している。

【0066】

センサ情報受信部４１は、自動運転車両２の遠隔操作要求部２０ｄによって送信された外部センサ２２のセンサ情報を、通信部４ｂを介して受信する。また、センサ情報受信部４１は、センサ情報と共に、上述した遠隔操作要求及び車両情報等が送信されている場合、これらの情報も受信する。オペレータ監視情報受信部４２は、オペレータ監視センサ５４の検出結果であるオペレータ監視情報を、オペレータインターフェース５から通信部４ｂを介して受信する。

【0067】

遠隔操作情報受信部４３は、遠隔オペレータＲが入力デバイス５３に入力した遠隔操作を示す遠隔操作情報を、オペレータインターフェース５から通信部４ｂを介して受信する。

【0068】

情報提示部４４は、遠隔オペレータＲが自動運転車両２の遠隔操作を行うための各種の情報を、モニタ５１及びスピーカ５２を通じて提示する。情報提示部４４は、センサ情報受信部４１によって遠隔操作要求が受信された場合、センサ情報受信部４１で受信されたセンサ情報を、オペレータインターフェース５のモニタ５１及びスピーカ５２を通じて遠隔オペレータＲに提示する。例えば、情報提示部４４は、センサ情報として、外部センサ２２のカメラによって撮像された自動運転車両２の周囲の画像を、モニタ５１に表示させることができる。また、情報提示部４４は、センサ情報以外にも、車両情報等がセンサ情報受信部４１によって受信されている場合、受信された車両情報等をモニタ５１及びスピーカ５２を通じて遠隔オペレータＲに提示する。

【0069】

なお、上述したように、遠隔オペレータＲは、自動運転車両２からの要求の有無に関わらず、自動運転車両２を遠隔で操作することができる。この場合、情報提示部４４は、遠隔操作要求の受信の有無とは関係なく、センサ情報受信部４１で受信されたセンサ情報を、オペレータインターフェース５のモニタ５１及びスピーカ５２を通じて遠隔オペレータＲに提示する。

【0070】

さらに、情報提示部４４は、オペレータ状態判定部４５によって設定された注視対象エリア及び注視有効時間を、センサ情報と共にモニタ５１に表示させる。この注視対象エリア及び注視有効時間について、詳しくは後述する。

【0071】

オペレータ状態判定部４５は、遠隔オペレータＲが遠隔操作を行うのに適した操作適正状態であるか否かを判定する。ここでは、オペレータ状態判定部４５は、モニタ５１に表示されたセンサ情報の注視対象エリアに対する遠隔オペレータＲの注視状態に基づいて、操作適正状態であるか否かを判定する。

【0072】

より詳細には、オペレータ状態判定部４５は、センサ情報受信部４１で受信されたセンサ情報に基づいて、モニタ５１に表示させるセンサ情報に対して遠隔オペレータＲが注視すべき注視対象エリアを設定する。そして、オペレータ状態判定部４５は、オペレータ監視情報受信部４２で受信されたオペレータ監視情報に基づいて、遠隔オペレータＲが注視対象エリアを注視しているか否かを判定する。オペレータ状態判定部４５は、設定した注視対象エリアを遠隔オペレータＲが注視している場合に、遠隔オペレータＲが操作適正状態であると判定する。また、オペレータ状態判定部４５は、設定した注視対象エリアを遠隔オペレータＲが注視していない場合に、遠隔オペレータＲが操作適正状態でないと判定する。

【0073】

つまり、オペレータ状態判定部４５は、モニタ５１に表示されるセンサ情報（例えばカメラ画像）上に注視すべき注視対象エリアを設定する。オペレータ状態判定部４５は、モニタ５１の表示画面上の注視対象エリアの注視状態に基づいて、遠隔オペレータＲが操作適正状態であるか否かを判定する。

【0074】

例えば、オペレータ状態判定部４５は、オペレータ監視情報に基づいて、注視対象エリアに遠隔オペレータＲが顔又は視線を向けた場合に、注視対象エリアを遠隔オペレータＲが注視したと判定することができる。

【0075】

また、オペレータ状態判定部４５は、遠隔オペレータＲの顔又は視線の向きに加えて、遠隔オペレータＲによる指差呼称の指差し方向に基づいて、注視対象エリアを注視したか否かを判定してもよい。この場合、例えば、オペレータ状態判定部４５は、オペレータ監視情報に基づいて、注視対象エリアに遠隔オペレータＲが顔又は視線を向け且つ指差呼称の指差方向が注視対象エリアを向いている場合に、注視対象エリアを遠隔オペレータＲが注視したと判定してもよい。

【0076】

ここで、注視対象エリアの具体例について説明する。注視対象エリアとは、遠隔オペレータＲが自動運転車両２の遠隔操作を行う際に、確認すべきエリアである。注視対象エリアとは、例えば、自動運転車両２が遠隔操作要求を行う場合、自動運転車両２が自律では状況判断等を行うことができないと判断したエリアである。オペレータ状態判定部４５は、遠隔操作を行うために注視すべき物体、及び注視すべきエリア（空間）を、注視対象エリアとして設定する。

【0077】

例えば、自動運転車両２の遠隔操作要求部２０ｄが、「前方の車両が停車中か駐車中かを判断できない。追い抜いてよいか？」との遠隔操作要求を行うことがある。この場合、オペレータ状態判定部４５は、「自動運転車両２の前方の車両」を、遠隔オペレータＲが遠隔操作を行うための注視対象エリアとして設定する。

【0078】

例えば、自動運転車両２の遠隔操作要求部２０ｄが、「車線変更をしてもよいか？」との遠隔操作要求を行うことがある。この場合、オペレータ状態判定部４５は、「車線変更先の前後の空間」を遠隔オペレータＲが遠隔操作を行うための注視対象エリアとして設定する。

【0079】

例えば、自動運転車両２の遠隔操作要求部２０ｄが、「信号機が設置された交差点で発進してもよいか？」との遠隔操作要求を行うことがある。この場合、オペレータ状態判定部４５は、「信号機の色（信号機の発光部分）」を遠隔オペレータＲが遠隔操作を行うための注視対象エリアとして設定する。あるいは、信号機が先行車両、樹木、日差し等によって隠れている又は確認できない場合、オペレータ状態判定部４５は、周囲の車両の動きに合わせて発進できるように「周囲の車両」を遠隔オペレータＲが遠隔操作を行うための注視対象エリアとして設定する。

【0080】

ここで、上記では、具体例を用いて遠隔操作要求が行われたときにオペレータ状態判定部４５が注視対象エリアを設定する場合を説明した。これに限定されず、車両遠隔操作装置３は、自動運転車両２から遠隔操作要求が無い場合も、自動運転車両２の遠隔操作を行うことができる。この場合、オペレータ状態判定部４５は、センサ情報受信部４１で受信されたセンサ情報に基づいて自動運転車両２の周囲の状況を判定し、注視対象エリアを設定する。

【0081】

なお、オペレータ状態判定部４５は、遠隔オペレータＲが注視対象エリアを注視している間を、遠隔オペレータＲの状態が操作適正状態であると判定する。これは、遠隔オペレータＲが注視対象エリアを見ている間、注視対象エリアの状況を遠隔オペレータＲが適切に判断できると考えられるためである。

【0082】

さらに、オペレータ状態判定部４５は、遠隔オペレータＲが注視対象エリアの注視を止めた後（例えば視線をそらした後）、所定の注視有効時間が経過するまでの間も、遠隔オペレータＲの状態が操作適正状態であると判定することができる。これは、遠隔オペレータＲが注視対象エリアの注視を止めた後、少ししか時間が経過していない場合、遠隔オペレータＲが注視をしていた時と注視対象エリアの状況があまり変化していないと考えられるためである。換言すると、注視対象エリアの注視を止めてから所定の注視有効時間が経過した後は、注視対象エリアの状況が大きく変化している可能性が高く、遠隔オペレータＲによる確認が再度必要であると考えられる。このため、オペレータ状態判定部４５は、遠隔オペレータＲが注視対象エリアの注視を止めた後、所定の注視有効時間が経過するまでは、遠隔オペレータＲの状態が操作適正状態であると判定する。

【0083】

この操作適正状態の判定に用いた「所定の注視有効時間」は、遠隔オペレータＲが注視対象エリアの注視を止めた後、注視対象エリア内の状況が大きく変化することがない時間が設定される。また、この所定の注視有効時間は、予め設定された固定値であってもよく、各種の条件に基づいて変化する値であってもよい。

【0084】

例えば、オペレータ状態判定部４５は、所定の注視有効時間を、交通ルール・規制情報に基づいて設定してもよい。オペレータ状態判定部４５は、この交通ルール・規制情報として、自動運転車両２の遠隔操作要求部２０ｄから送信された情報を用いることができる。この場合、オペレータ状態判定部４５は、例えば、車線の制限速度が速い場合、制限速度が遅い場合に比べて所定の注視有効時間を短く設定してもよい。また、例えば、オペレータ状態判定部４５は、所定の注視有効時間を、自動運転車両２の外部環境に基づいて設定してもよい。この場合、オペレータ状態判定部４５は、例えば、自動運転車両２の周囲の物体との距離が近い場合、距離が離れている場合に比べて所定の注視有効時間を短く設定してもよい。この周囲の物体とは、注視対象の物体であってもよく、その他の物体であってもよい。

【0085】

このように、オペレータ状態判定部４５は、遠隔オペレータＲが注視対象エリアを注視している期間と、注視対象エリアの注視を終了してから所定の注視有効時間が経過するまでの間の期間と、について、遠隔オペレータＲの状態が操作適正状態であると判定する。

【0086】

ここで、上述した情報提示部４４は、遠隔オペレータＲが注視対象エリアを注視しているとオペレータ状態判定部４５が判定している場合、遠隔オペレータＲに報知してもよい。情報提示部４４は、この報知を、モニタ５１の表示又はオペレータインターフェース５に設けられたランプの点灯等によって行うことができる。

【0087】

また、情報提示部４４は、遠隔オペレータＲが注視対象エリアの注視を終了してからカウントが開始される上述した注視有効時間を、モニタ５１に表示させてもよい。この場合、情報提示部４４は、例えば、図６（ａ）に示されるように、注視有効時間の減少と共に長さが短くなる注視有効時間バーＢをモニタ５１に表示させてもよい。例えば、情報提示部４４は、遠隔オペレータＲが注視対象エリアを注視している間は注視有効時間バーＢの長さを「ＭＡＸ」の長さとする。そして、情報提示部４４は、遠隔オペレータＲが注視対象エリアの注視を終了した後、時間の経過と共に注視有効時間バーＢの長さを短くしてもよい。

【0088】

また、情報提示部４４は、図６（ａ）及び図６（ｂ）に示されるように、注視有効時間の長さに応じて注視有効時間バーＢの色を変化させてもよい。この場合、例えば情報提示部４４は、注視有効時間が短くなるに従って、注視有効時間バーＢの色を警戒色（例えば赤色）に変化させてもよい。

【0089】

また、情報提示部４４は、センサ情報と共に、オペレータ状態判定部４５によって設定された注視対象エリア及び注視有効時間をモニタ５１に表示させる。具体的には、図７（ａ）及び図７（ｂ）に示されるように、情報提示部４４は、例えばカメラ画像に重ねて、注視対象エリア及び注視有効時間バーをモニタ５１の表示画面５１ａに表示させる。

【0090】

図７（ａ）に示される例は、自動運転車両２の前方を撮像するカメラの撮像画像である。そして、この例では、駐車車両Ｖからの人の飛び出しの有無を確認するための注視対象エリアＡ１が示されている。また、注視対象エリアＡ１についての注視有効時間バーＢ１が、注視対象エリアＡ１の上部に表示されている。図７（ｂ）に示される例は、自動運転車両２の後方を撮像するカメラの撮像画像である。そして、この例では、後方からの車両又はバイク等の二重追い越し（駐車車両Ｖ及び自動運転車両２の追い越し）を確認するための注視対象エリアＡ２が示されている。また、注視対象エリアＡ２についての注視有効時間バーＢ２が、注視対象エリアＡ２の上部に表示されている。

【0091】

なお、図７（ａ）及び図７（ｂ）では、注視対象エリアのそれぞれに注視有効時間バーを設定する場合を示した。これに限定されず、情報提示部４４は、注視対象エリアが複数存在する場合、これらの注視有効時間を一つの注視有効時間バーによって示してもよい。この場合、情報提示部４４は、全ての注視有効時間のうち、最も短い注視有効時間の注視有効時間バーを表示させてもよい。

【0092】

操作適正判定部４６は、オペレータ状態判定部４５の判定結果に基づいて、入力デバイス５３によって受け付けられた遠隔操作が適正であるか否かを判定する。具体的には、操作適正判定部４６は、入力デバイス５３によって遠隔操作が受け付けられた時に、オペレータ状態判定部４５によって遠隔オペレータＲの状態が操作適正状態であると判定されている場合、受け付けられた遠隔操作が適正であると判定する。一方、操作適正判定部４６は、入力デバイス５３によって遠隔操作が受け付けられた時に、オペレータ状態判定部４５によって遠隔オペレータＲの状態が操作適正状態でないと判定されている場合、受け付けられた遠隔操作が適正でないと判定する。

【0093】

ここで、情報提示部４４は、遠隔操作が適正でないと判定された場合、遠隔操作が操作適正状態で入力されなかったことを遠隔オペレータＲにフィードバックする。具体的には、情報提示部４４は、受け付けられた遠隔操作が操作適正判定部４６によって適正でないと判定された場合、オペレータ状態判定部４５が判定の際に用いた注視対象エリアをモニタ５１に強調して表示させる。つまり、遠隔オペレータＲが遠隔操作を入力した後、注視すべきであった注視対象エリアが強調して表示される。例えば、情報提示部４４は、注視対象エリアを強調表示することとして、通常とは異なる態様（色又は明るさの変更、点滅等）で注視対象エリアを表示する。

【0094】

また、情報提示部４４は、遠隔操作が操作適正状態で入力されなかったことのフィードバックとして、「注視有効時間が経過した」、「指差呼称が認識されなかった」等の具体的な理由をモニタ５１に表示すること又はスピーカ５２からの音声出力等を行ってもよい。

【0095】

遠隔操作送信部４７は、オペレータインターフェース５の入力デバイス５３によって受け付けられた遠隔操作を示す遠隔操作情報を、自動運転車両２に送信する。ここでは、遠隔操作送信部４７は、操作適正判定部４６によって適正であると判定された遠隔操作の遠隔操作情報を、自動運転車両２に送信する。一方、遠隔操作送信部４７は、操作適正判定部４６によって適正でないと判定された遠隔操作の遠隔操作情報を、自動運転車両２に送信しない。

【0096】

［車両遠隔操作方法］
次に、車両遠隔操作装置３で実行される車両遠隔操作方法について、図８のフローチャートを用いて説明する。なお、ここでは、自動運転車両２から車両遠隔操作装置３に遠隔操作要求が送信され、この遠隔操作要求に応じて車両遠隔操作装置３が自動運転車両２の遠隔操作を行う場合を例に説明する。図８に示される処理は、自動運転車両２から送信された遠隔操作要求を車両遠隔操作サーバ４のセンサ情報受信部４１が受信した場合に開始される。

【0097】

図８に示されように、遠隔操作要求が受信されると、車両遠隔操作サーバ４の情報提示部４４は、自動運転車両２から送信された外部センサ２２のセンサ情報及び車両情報等をモニタ５１等を通じて遠隔オペレータＲに提示する（Ｓ１０１：情報提示ステップ）。オペレータ状態判定部４５は、情報提示部４４（情報提示ステップ）によって提示されたセンサ情報の注視対象エリアに対する遠隔オペレータＲの注視状態に基づいて、遠隔オペレータＲが遠隔操作を行うのに適した操作適正状態であるか否かを判定する（Ｓ１０２：オペレータ状態判定ステップ）。

【0098】

操作適正判定部４６は、入力デバイス５３によって遠隔オペレータＲによる遠隔操作の入力が受け付けられたか否かを判定する（Ｓ１０３）。遠隔操作の入力が受け付けられていない場合（Ｓ１０３：ＮＯ）、車両遠隔操作装置３は、上述のＳ１０２の処理へ戻る。

【0099】

一方、遠隔操作の入力が受け付けられた場合（Ｓ１０３：ＹＥＳ）、操作適正判定部４６は、オペレータ状態判定部４５（オペレータ状態判定ステップ）の判定結果に基づいて、受け付けられた遠隔操作が適正であるか否かを判定する（Ｓ１０４：入力受付ステップ、操作適正判定ステップ）。具体的には、操作適正判定部４６は、操作適正判定ステップとして、遠隔操作が受け付けられた時にオペレータ状態判定部４５において操作適正状態であると判定されている場合、受け付けられた遠隔操作が適正であると判定する。また、操作適正判定部４６は、遠隔操作が受け付けられた時にオペレータ状態判定部４５において操作適正状態でないと判定されている場合、受け付けられた遠隔操作が適正でないと判定する。

【0100】

遠隔操作が適正である場合（Ｓ１０４：ＹＥＳ）、遠隔操作送信部４７は、適正であると判定された遠隔操作の遠隔操作情報を、遠隔操作要求を行った自動運転車両２に対して送信する（Ｓ１０５：送信ステップ）。一方、遠隔操作が適正でない場合（Ｓ１０４：ＮＯ）、遠隔操作送信部４７は、適正であると判定された遠隔操作の遠隔操作情報を、遠隔操作要求を行った自動運転車両２に対して送信しない。また、情報提示部４４は、遠隔操作が操作適正状態で入力されなかったことを遠隔オペレータＲにフィードバックする（Ｓ１０６）。

【0101】

［車両遠隔操作プログラム］
車両遠隔操作プログラムは、車両遠隔操作サーバ４の遠隔操作ＥＣＵ４ａを、上述した情報提示部４４、オペレータ状態判定部４５、操作適正判定部４６、及び遠隔操作送信部４７として機能（動作）させる。車両遠隔操作プログラムは、例えば、ＲＯＭ又は半導体メモリなどの非一時的な記録媒体によって提供される。また、車両遠隔操作プログラムは、ネットワークなどの通信を介して提供されてもよい。

【0102】

以上説明した車両遠隔操作装置３（車両遠隔操作システム１、車両遠隔操作方法、及び遠隔操作プログラム）によれば、遠隔オペレータＲが遠隔操作に適した操作適正状態で遠隔操作を入力した場合、遠隔操作情報が自動運転車両２に送信される。一方、車両遠隔操作装置３（車両遠隔操作システム１、車両遠隔操作方法、及び遠隔操作プログラム）によれば、遠隔オペレータＲが遠隔操作に適さない状態で遠隔操作を入力した場合、遠隔操作情報が自動運転車両２に送信されない。このように、車両遠隔操作装置３（車両遠隔操作システム１、車両遠隔操作方法、及び遠隔操作プログラム）は、遠隔オペレータＲが操作適正状態で入力した適切な遠隔操作情報を自動運転車両に送信することができる。

【0103】

オペレータ状態判定部４５は、提示するセンサ情報に対して遠隔オペレータＲが注視すべき注視対象エリアを設定する。そして、オペレータ状態判定部４５は、設定した注視対象エリアを遠隔オペレータＲが注視している場合に、遠隔オペレータＲが操作適正状態であると判定する。この場合、車両遠隔操作装置３は、注視対象エリアの注視の有無を用いることにより、遠隔オペレータＲが遠隔操作に適した操作適正状態であるか否かをより適切に判定することができる。

【0104】

オペレータ状態判定部４５は、遠隔オペレータＲが注視対象エリアを注視している期間を、遠隔オペレータＲが操作適正状態であると判定する。ここで、遠隔オペレータＲが注視対象エリアの注視を止めた後、少ししか時間が経過していない場合、遠隔オペレータＲが注視をしていた時と注視対象エリアの状況があまり変化していないと考えられる。このため、オペレータ状態判定部４５は、さらに、注視対象エリアの注視を終了してから所定の注視有効時間が経過するまでの間の期間も、操作適正状態であると判定する。この場合、車両遠隔操作装置３は、注視対象エリアの注視状態に基づいて、操作適正状態であるか否かをより適切に判定することができる。

【0105】

情報提示部４４は、受け付けられた遠隔操作がオペレータ状態判定部４５によって適正でないと判定された場合、オペレータ状態判定部４５が判定の際に用いた注視対象エリアを強調して表示させる。この場合、車両遠隔操作装置３は、操作適正状態となるために遠隔オペレータＲが注視すべきであったエリアを、遠隔オペレータＲに知らせることができる。これにより、遠隔オペレータＲは、注視すべきであった注視対象エリアを把握することができる。そして、遠隔オペレータＲは、このフィードバックに基づいて、操作適正状態となるために必要な注視の仕方を学習することができる。

【0106】

以上、本開示の実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、オペレータ状態判定部４５は、センサ情報の注視対象エリアに対する遠隔オペレータＲの注視状態に基づいて、操作適正状態であるかを判定すればよい。オペレータ状態判定部４５は、上述したように、注視対象エリアを遠隔オペレータが注視している場合に、操作適正状態であると判定することに限定されない。また、オペレータ状態判定部４５は、上述したように、注視対象エリアを遠隔オペレータＲが注視していない場合に、操作適正状態でないと判定することに限定されない。

【0107】

また、オペレータ状態判定部４５は、遠隔オペレータＲが注視対象エリアを注視している期間と、注視対象エリアの注視を終了してから所定の注視有効時間が経過するまでの間の期間と、について遠隔オペレータＲが操作適正状態であると判定した。しかしながら、オペレータ状態判定部４５が操作適正状態であると判定する期間は、上述したこれらの期間に限定されない。

【0108】

また、情報提示部４４は、遠隔操作が適正でないと判定された場合であっても、注視対象エリアを強調して表示しなくてもよい。情報提示部４４は、注視対象エリアを強調して表示させること以外の方法によって、遠隔操作が適正ないことを遠隔オペレータＲにフォードバックしてもよく、このようなフィードバックを行わなくてもよい。

【符号の説明】

【0109】

１…車両遠隔操作システム、２…自動運転車両、３…車両遠隔操作装置、４ａ…遠隔操作ＥＣＵ、２０ｆ…自動運転制御部（受信部、走行制御部）、２２…外部センサ（車載センサ）、４４…情報提示部、４５…オペレータ状態判定部、４６…操作適正判定部、４７…遠隔操作送信部（送信部）、５３…入力デバイス（入力受付部）、Ａ１，Ａ２…注視対象エリア、Ｒ…遠隔オペレータ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】