特開2022-142323遠隔自動運転システム、遠隔操作装置、遠隔自動運転方法及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022142323
(43)【公開日】2022-09-30
(54)【発明の名称】遠隔自動運転システム、遠隔操作装置、遠隔自動運転方法及びコンピュータプログラム
(51)【国際特許分類】
G08G 1/09 20060101AFI20220922BHJP
【ＦＩ】
G08G1/09 V
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2021042462
(22)【出願日】2021-03-16
(71)【出願人】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(72)【発明者】
【氏名】佐藤 雄大
(72)【発明者】
【氏名】樫原 俊太郎
(72)【発明者】
【氏名】大岸 智彦
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181BB13
5H181FF03
5H181FF13
5H181FF27
5H181FF33
5H181LL01
5H181LL02
5H181LL04
5H181LL09
5H181MB01
(57)【要約】
【課題】遠隔操作対象の車両と遠隔操作卓との間の通信遅延に起因する遠隔操作上の遠隔操作者の負担を軽減すると共に遠隔運転の安全性の向上を図る。
【解決手段】車載装置が車両制御信号を送り返す返送信号と車両の走行映像と車両の車両状態データとを車載装置から受信する受信部と、遠隔操作装置から車載装置へ送信された車両制御信号と車載装置から受信した返送信号との差分を抽出する情報管理部と、差分と車両状態データに基づいて車両の推定位置を計算する計算部と、走行映像の表示画面上に車両の推定位置を重畳表示させる映像表示部とを備え、計算部は車両に対して仮に制動をかけた場合の車両の仮想上の制動の動きをさらに計算し、映像表示部は、車両の仮想上の制動の動き示す情報を走行映像の表示画面上にさらに重畳表示させる。
【選択図】図１
【解決手段】車載装置が車両制御信号を送り返す返送信号と車両の走行映像と車両の車両状態データとを車載装置から受信する受信部と、遠隔操作装置から車載装置へ送信された車両制御信号と車載装置から受信した返送信号との差分を抽出する情報管理部と、差分と車両状態データに基づいて車両の推定位置を計算する計算部と、走行映像の表示画面上に車両の推定位置を重畳表示させる映像表示部とを備え、計算部は車両に対して仮に制動をかけた場合の車両の仮想上の制動の動きをさらに計算し、映像表示部は、車両の仮想上の制動の動き示す情報を走行映像の表示画面上にさらに重畳表示させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
遠隔操作装置と、前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置とを備える遠隔自動運転システムにおいて、
前記遠隔操作装置は、
遠隔操作者が行う前記車両の遠隔操作に対応する前記車両制御信号を前記車載装置へ送信する送信部と、
前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号と、前記車両の走行映像と、前記車両の走行状態を示す車両状態データとを前記車載装置から受信する受信部と、
前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理部と、
前記差分と前記車両状態データとに基づいて、前記走行映像上の前記車両の位置を原点にした前記車両の推定位置を計算する計算部と、
前記車載装置から受信した前記走行映像の表示画面上に前記車両の推定位置を重畳表示させる映像表示部と、を備え、
前記車載装置は、
前記車両制御信号を受信する車載受信部と、
前記返送信号を生成する信号複製部と、
前記返送信号と前記走行映像と前記車両状態データとを前記遠隔操作装置へ送信する車載送信部と、を備え、
前記計算部は、前記車両に対して仮に制動をかけた場合の前記車両の仮想上の制動の動きをさらに計算し、
前記映像表示部は、前記車両の仮想上の制動の動き示す情報を、前記車載装置から受信した前記走行映像の表示画面上にさらに重畳表示させる、
遠隔自動運転システム。
前記遠隔操作装置は、
遠隔操作者が行う前記車両の遠隔操作に対応する前記車両制御信号を前記車載装置へ送信する送信部と、
前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号と、前記車両の走行映像と、前記車両の走行状態を示す車両状態データとを前記車載装置から受信する受信部と、
前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理部と、
前記差分と前記車両状態データとに基づいて、前記走行映像上の前記車両の位置を原点にした前記車両の推定位置を計算する計算部と、
前記車載装置から受信した前記走行映像の表示画面上に前記車両の推定位置を重畳表示させる映像表示部と、を備え、
前記車載装置は、
前記車両制御信号を受信する車載受信部と、
前記返送信号を生成する信号複製部と、
前記返送信号と前記走行映像と前記車両状態データとを前記遠隔操作装置へ送信する車載送信部と、を備え、
前記計算部は、前記車両に対して仮に制動をかけた場合の前記車両の仮想上の制動の動きをさらに計算し、
前記映像表示部は、前記車両の仮想上の制動の動き示す情報を、前記車載装置から受信した前記走行映像の表示画面上にさらに重畳表示させる、
遠隔自動運転システム。
【請求項2】
前記計算部は、前記車両に対して仮に制動をかけた場合の前記車両の仮想上の停止位置を計算し、
前記映像表示部は、前記車両の仮想上の停止位置を、前記車載装置から受信した前記走行映像の表示画面上に重畳表示させる、
請求項１に記載の遠隔自動運転システム。
前記映像表示部は、前記車両の仮想上の停止位置を、前記車載装置から受信した前記走行映像の表示画面上に重畳表示させる、
請求項１に記載の遠隔自動運転システム。
【請求項3】
前記映像表示部は、前記車両の走行状態に基づいて、前記車両の仮想上の制動の動き示す情報を表示するか否かを決定する、
請求項１又は２のいずれか１項に記載の遠隔自動運転システム。
請求項１又は２のいずれか１項に記載の遠隔自動運転システム。
【請求項4】
前記映像表示部は、前記車両の走行速度に基づいて、前記車両の仮想上の制動の動き示す情報を表示するか否かを決定する、
請求項３に記載の遠隔自動運転システム。
請求項３に記載の遠隔自動運転システム。
【請求項5】
前記映像表示部は、前記車両が加速している場合には前記車両の仮想上の制動の動き示す情報を表示しない、
請求項４に記載の遠隔自動運転システム。
請求項４に記載の遠隔自動運転システム。
【請求項6】
前記映像表示部は、
前記車両の走行位置と停止目標位置との間の距離が所定の閾値未満である場合に前記車両の仮想上の制動の動き示す情報を表示し、
前記車両の走行位置と停止目標位置との間の距離が所定の閾値以上である場合に前記車両の仮想上の制動の動き示す情報を表示しない、
請求項３に記載の遠隔自動運転システム。
前記車両の走行位置と停止目標位置との間の距離が所定の閾値未満である場合に前記車両の仮想上の制動の動き示す情報を表示し、
前記車両の走行位置と停止目標位置との間の距離が所定の閾値以上である場合に前記車両の仮想上の制動の動き示す情報を表示しない、
請求項３に記載の遠隔自動運転システム。
【請求項7】
遠隔操作者が前記車両の遠隔操作を行ってから当該遠隔操作に対応する前記車両制御信号が反映された前記車両の走行映像が前記遠隔操作装置で表示されるまでにかかる遅延時間のうち、前記車両と前記遠隔操作装置との間の通信にかかる通信遅延時間以外の残りの遅延時間分を前記返送信号の遅延時間として追加するバッファをさらに備える、
請求項１から６のいずれか１項に記載の遠隔自動運転システム。
請求項１から６のいずれか１項に記載の遠隔自動運転システム。
【請求項8】
遠隔操作装置と、前記遠隔操作装置が送信する運転制御信号に基づいて自動運転を行う自動運転装置に搭載される搭載装置とを備える遠隔自動運転システムにおいて、
前記遠隔操作装置は、
遠隔操作者が行う前記自動運転装置の遠隔操作に対応する前記運転制御信号を前記搭載装置へ送信する送信部と、
前記搭載装置が前記遠隔操作装置から受信した前記運転制御信号を前記遠隔操作装置へ送り返す返送信号と、前記自動運転装置の映像と、前記自動運転装置の運転状態を示す装置状態データとを前記搭載装置から受信する受信部と、
前記遠隔操作装置から前記搭載装置へ送信された前記運転制御信号と、前記搭載装置から受信した前記返送信号との差分を抽出する情報管理部と、
前記差分と前記装置状態データとに基づいて、前記映像上の前記自動運転装置の位置を原点にした前記自動運転装置の推定位置を計算する計算部と、
前記搭載装置から受信した前記映像の表示画面上に前記自動運転装置の推定位置を重畳表示させる映像表示部と、を備え、
前記搭載装置は、
前記運転制御信号を受信する搭載受信部と、
前記返送信号を生成する信号複製部と、
前記返送信号と前記映像と前記装置状態データとを前記遠隔操作装置へ送信する搭載送信部と、を備え、
前記計算部は、前記自動運転装置に対して仮に制動をかけた場合の前記自動運転装置の仮想上の制動の動きをさらに計算し、
前記映像表示部は、前記自動運転装置の仮想上の制動の動き示す情報を、前記搭載装置から受信した前記映像の表示画面上にさらに重畳表示させる、
遠隔自動運転システム。
前記遠隔操作装置は、
遠隔操作者が行う前記自動運転装置の遠隔操作に対応する前記運転制御信号を前記搭載装置へ送信する送信部と、
前記搭載装置が前記遠隔操作装置から受信した前記運転制御信号を前記遠隔操作装置へ送り返す返送信号と、前記自動運転装置の映像と、前記自動運転装置の運転状態を示す装置状態データとを前記搭載装置から受信する受信部と、
前記遠隔操作装置から前記搭載装置へ送信された前記運転制御信号と、前記搭載装置から受信した前記返送信号との差分を抽出する情報管理部と、
前記差分と前記装置状態データとに基づいて、前記映像上の前記自動運転装置の位置を原点にした前記自動運転装置の推定位置を計算する計算部と、
前記搭載装置から受信した前記映像の表示画面上に前記自動運転装置の推定位置を重畳表示させる映像表示部と、を備え、
前記搭載装置は、
前記運転制御信号を受信する搭載受信部と、
前記返送信号を生成する信号複製部と、
前記返送信号と前記映像と前記装置状態データとを前記遠隔操作装置へ送信する搭載送信部と、を備え、
前記計算部は、前記自動運転装置に対して仮に制動をかけた場合の前記自動運転装置の仮想上の制動の動きをさらに計算し、
前記映像表示部は、前記自動運転装置の仮想上の制動の動き示す情報を、前記搭載装置から受信した前記映像の表示画面上にさらに重畳表示させる、
遠隔自動運転システム。
【請求項9】
遠隔操作装置において、
前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置へ、遠隔操作者が行う前記車両の遠隔操作に対応する前記車両制御信号を送信する送信部と、
前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号と、前記車両の走行映像と、前記車両の走行状態を示す車両状態データとを前記車載装置から受信する受信部と、
前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理部と、
前記差分と前記車両状態データとに基づいて、前記走行映像上の前記車両の位置を原点にした前記車両の推定位置を計算する計算部と、
前記車載装置から受信した前記走行映像の表示画面上に前記車両の推定位置を重畳表示させる映像表示部と、を備え、
前記計算部は、前記車両に対して仮に制動をかけた場合の前記車両の仮想上の制動の動きをさらに計算し、
前記映像表示部は、前記車両の仮想上の制動の動き示す情報を、前記車載装置から受信した前記走行映像の表示画面上にさらに重畳表示させる、
遠隔操作装置。
前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置へ、遠隔操作者が行う前記車両の遠隔操作に対応する前記車両制御信号を送信する送信部と、
前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号と、前記車両の走行映像と、前記車両の走行状態を示す車両状態データとを前記車載装置から受信する受信部と、
前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理部と、
前記差分と前記車両状態データとに基づいて、前記走行映像上の前記車両の位置を原点にした前記車両の推定位置を計算する計算部と、
前記車載装置から受信した前記走行映像の表示画面上に前記車両の推定位置を重畳表示させる映像表示部と、を備え、
前記計算部は、前記車両に対して仮に制動をかけた場合の前記車両の仮想上の制動の動きをさらに計算し、
前記映像表示部は、前記車両の仮想上の制動の動き示す情報を、前記車載装置から受信した前記走行映像の表示画面上にさらに重畳表示させる、
遠隔操作装置。
【請求項10】
遠隔操作装置と、前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置とを備える遠隔自動運転システムの遠隔自動運転方法であって、
前記遠隔操作装置が、遠隔操作者が行う前記車両の遠隔操作に対応する前記車両制御信号を前記車載装置へ送信する送信ステップと、
前記車載装置が、前記遠隔操作装置から前記車両制御信号を受信する車載受信ステップと、
前記車載装置が、前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号を生成する信号複製ステップと、
前記車載装置が、前記車両の走行映像と前記返送信号と前記車両の走行状態を示す車両状態データとを前記遠隔操作装置へ送信する車載送信ステップと、
前記遠隔操作装置が、前記走行映像と前記返送信号と前記車両状態データとを前記車載装置から受信する受信ステップと、
前記遠隔操作装置が、前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理ステップと、
前記遠隔操作装置が、前記差分と前記車両状態データとに基づいて、前記走行映像上の前記車両の位置を原点にした前記車両の推定位置を計算する計算ステップと、
前記遠隔操作装置が、前記車載装置から受信した前記走行映像の表示画面上に前記車両の推定位置を重畳表示させる映像表示ステップと、を含み、
前記計算ステップは、前記車両に対して仮に制動をかけた場合の前記車両の仮想上の制動の動きをさらに計算し、
前記映像表示ステップは、前記車両の仮想上の制動の動き示す情報を、前記車載装置から受信した前記走行映像の表示画面上にさらに重畳表示させる、
遠隔自動運転方法。
前記遠隔操作装置が、遠隔操作者が行う前記車両の遠隔操作に対応する前記車両制御信号を前記車載装置へ送信する送信ステップと、
前記車載装置が、前記遠隔操作装置から前記車両制御信号を受信する車載受信ステップと、
前記車載装置が、前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号を生成する信号複製ステップと、
前記車載装置が、前記車両の走行映像と前記返送信号と前記車両の走行状態を示す車両状態データとを前記遠隔操作装置へ送信する車載送信ステップと、
前記遠隔操作装置が、前記走行映像と前記返送信号と前記車両状態データとを前記車載装置から受信する受信ステップと、
前記遠隔操作装置が、前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理ステップと、
前記遠隔操作装置が、前記差分と前記車両状態データとに基づいて、前記走行映像上の前記車両の位置を原点にした前記車両の推定位置を計算する計算ステップと、
前記遠隔操作装置が、前記車載装置から受信した前記走行映像の表示画面上に前記車両の推定位置を重畳表示させる映像表示ステップと、を含み、
前記計算ステップは、前記車両に対して仮に制動をかけた場合の前記車両の仮想上の制動の動きをさらに計算し、
前記映像表示ステップは、前記車両の仮想上の制動の動き示す情報を、前記車載装置から受信した前記走行映像の表示画面上にさらに重畳表示させる、
遠隔自動運転方法。
【請求項11】
遠隔操作装置のコンピュータに、
前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置へ、遠隔操作者が行う前記車両の遠隔操作に対応する前記車両制御信号を送信する送信ステップと、
前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号と、前記車両の走行映像と、前記車両の走行状態を示す車両状態データとを前記車載装置から受信する受信ステップと、
前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理ステップと、
前記差分と前記車両状態データとに基づいて、前記走行映像上の前記車両の位置を原点にした前記車両の推定位置を計算する計算ステップと、
前記車載装置から受信した前記走行映像の表示画面上に前記車両の推定位置を重畳表示させる映像表示ステップと、を実行させるためのコンピュータプログラムであり、
前記計算ステップは、前記車両に対して仮に制動をかけた場合の前記車両の仮想上の制動の動きをさらに計算し、
前記映像表示ステップは、前記車両の仮想上の制動の動き示す情報を、前記車載装置から受信した前記走行映像の表示画面上にさらに重畳表示させる、
コンピュータプログラム。
前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置へ、遠隔操作者が行う前記車両の遠隔操作に対応する前記車両制御信号を送信する送信ステップと、
前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号と、前記車両の走行映像と、前記車両の走行状態を示す車両状態データとを前記車載装置から受信する受信ステップと、
前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理ステップと、
前記差分と前記車両状態データとに基づいて、前記走行映像上の前記車両の位置を原点にした前記車両の推定位置を計算する計算ステップと、
前記車載装置から受信した前記走行映像の表示画面上に前記車両の推定位置を重畳表示させる映像表示ステップと、を実行させるためのコンピュータプログラムであり、
前記計算ステップは、前記車両に対して仮に制動をかけた場合の前記車両の仮想上の制動の動きをさらに計算し、
前記映像表示ステップは、前記車両の仮想上の制動の動き示す情報を、前記車載装置から受信した前記走行映像の表示画面上にさらに重畳表示させる、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔自動運転システム、遠隔操作装置、遠隔自動運転方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
従来、無人車両を遠隔で操作して走行させる遠隔操作技術が知られている（例えば、非特許文献１参照）。非特許文献１に記載の遠隔操作技術では、遠隔操作者が遠隔運転時に見る遠隔操作卓の表示画面上に、無人車両の車載カメラが撮像した映像に重畳させて、無人車両の予測経路および限界旋回経路を表示している。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】高畠智、原田正範、“無人車両の遠隔操作支援システム”、自動車技術会論文集、Vol.43、No.1、pp.135-140、2012年
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上述した非特許文献１に記載の遠隔操作技術では、無人車両の数秒後の予測経路が遠隔操作卓の表示画面上に表示されるが、当該表示画面上に表示される映像上の無人車両の位置は、少なくとも無人車両と遠隔操作卓との間の通信遅延分は遅れている。このため、遠隔操作者にとっては、通信遅延分の無人車両の動きを自分の中で推定して次の無人車両の遠隔操作を行わねばならないという負担があった。
【0005】
また、無人車両の予測経路や限界旋回経路が遠隔操作卓の表示画面上に表示されるが、遠隔操作者が当該予測経路や限界旋回経路を誤って認識すると、遠隔運転を正しく行うことができない可能性があった。特に急制動（所謂、急ブレーキ）をかけなければならないような緊急時にあっては、そのような誤認識によって遠隔運転を正しく行うことができない事態を極力防止することが望まれる。
【0006】
本発明は、このような事情を考慮してなされたものであり、その目的は、遠隔操作対象の車両等の自動運転装置と遠隔操作卓との間の通信遅延に起因する遠隔操作上の遠隔操作者の負担を軽減すると共に、遠隔運転の安全性の向上を図ることにある。
【課題を解決するための手段】
【0007】
（１）本発明の一態様は、遠隔操作装置と、前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置とを備える遠隔自動運転システムにおいて、前記遠隔操作装置は、遠隔操作者が行う前記車両の遠隔操作に対応する前記車両制御信号を前記車載装置へ送信する送信部と、前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号と、前記車両の走行映像と、前記車両の走行状態を示す車両状態データとを前記車載装置から受信する受信部と、前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理部と、前記差分と前記車両状態データとに基づいて、前記走行映像上の前記車両の位置を原点にした前記車両の推定位置を計算する計算部と、前記車載装置から受信した前記走行映像の表示画面上に前記車両の推定位置を重畳表示させる映像表示部と、を備え、前記車載装置は、前記車両制御信号を受信する車載受信部と、前記返送信号を生成する信号複製部と、前記返送信号と前記走行映像と前記車両状態データとを前記遠隔操作装置へ送信する車載送信部と、を備え、前記計算部は、前記車両に対して仮に制動をかけた場合の前記車両の仮想上の制動の動きをさらに計算し、前記映像表示部は、前記車両の仮想上の制動の動き示す情報を、前記車載装置から受信した前記走行映像の表示画面上にさらに重畳表示させる、遠隔自動運転システムである。
（２）本発明の一態様は、前記計算部は、前記車両に対して仮に制動をかけた場合の前記車両の仮想上の停止位置を計算し、前記映像表示部は、前記車両の仮想上の停止位置を、前記車載装置から受信した前記走行映像の表示画面上に重畳表示させる、上記（１）の遠隔自動運転システムである。
（３）本発明の一態様は、前記映像表示部は、前記車両の走行状態に基づいて、前記車両の仮想上の制動の動き示す情報を表示するか否かを決定する、上記（１）又は（２）のいずれかの遠隔自動運転システムである。
（４）本発明の一態様は、前記映像表示部は、前記車両の走行速度に基づいて、前記車両の仮想上の制動の動き示す情報を表示するか否かを決定する、上記（３）の遠隔自動運転システムである。
（５）本発明の一態様は、前記映像表示部は、前記車両が加速している場合には前記車両の仮想上の制動の動き示す情報を表示しない、上記（４）の遠隔自動運転システムである。
（６）本発明の一態様は、前記映像表示部は、前記車両の走行位置と停止目標位置との間の距離が所定の閾値未満である場合に前記車両の仮想上の制動の動き示す情報を表示し、前記車両の走行位置と停止目標位置との間の距離が所定の閾値以上である場合に前記車両の仮想上の制動の動き示す情報を表示しない、上記（３）の遠隔自動運転システムである。
（７）本発明の一態様は、遠隔操作者が前記車両の遠隔操作を行ってから当該遠隔操作に対応する前記車両制御信号が反映された前記車両の走行映像が前記遠隔操作装置で表示されるまでにかかる遅延時間のうち、前記車両と前記遠隔操作装置との間の通信にかかる通信遅延時間以外の残りの遅延時間分を前記返送信号の遅延時間として追加するバッファをさらに備える、上記（１）から（６）のいずれかの遠隔自動運転システムである。
（２）本発明の一態様は、前記計算部は、前記車両に対して仮に制動をかけた場合の前記車両の仮想上の停止位置を計算し、前記映像表示部は、前記車両の仮想上の停止位置を、前記車載装置から受信した前記走行映像の表示画面上に重畳表示させる、上記（１）の遠隔自動運転システムである。
（３）本発明の一態様は、前記映像表示部は、前記車両の走行状態に基づいて、前記車両の仮想上の制動の動き示す情報を表示するか否かを決定する、上記（１）又は（２）のいずれかの遠隔自動運転システムである。
（４）本発明の一態様は、前記映像表示部は、前記車両の走行速度に基づいて、前記車両の仮想上の制動の動き示す情報を表示するか否かを決定する、上記（３）の遠隔自動運転システムである。
（５）本発明の一態様は、前記映像表示部は、前記車両が加速している場合には前記車両の仮想上の制動の動き示す情報を表示しない、上記（４）の遠隔自動運転システムである。
（６）本発明の一態様は、前記映像表示部は、前記車両の走行位置と停止目標位置との間の距離が所定の閾値未満である場合に前記車両の仮想上の制動の動き示す情報を表示し、前記車両の走行位置と停止目標位置との間の距離が所定の閾値以上である場合に前記車両の仮想上の制動の動き示す情報を表示しない、上記（３）の遠隔自動運転システムである。
（７）本発明の一態様は、遠隔操作者が前記車両の遠隔操作を行ってから当該遠隔操作に対応する前記車両制御信号が反映された前記車両の走行映像が前記遠隔操作装置で表示されるまでにかかる遅延時間のうち、前記車両と前記遠隔操作装置との間の通信にかかる通信遅延時間以外の残りの遅延時間分を前記返送信号の遅延時間として追加するバッファをさらに備える、上記（１）から（６）のいずれかの遠隔自動運転システムである。
【0008】
（８）本発明の一態様は、遠隔操作装置と、前記遠隔操作装置が送信する運転制御信号に基づいて自動運転を行う自動運転装置に搭載される搭載装置とを備える遠隔自動運転システムにおいて、前記遠隔操作装置は、遠隔操作者が行う前記自動運転装置の遠隔操作に対応する前記運転制御信号を前記搭載装置へ送信する送信部と、前記搭載装置が前記遠隔操作装置から受信した前記運転制御信号を前記遠隔操作装置へ送り返す返送信号と、前記自動運転装置の映像と、前記自動運転装置の運転状態を示す装置状態データとを前記搭載装置から受信する受信部と、前記遠隔操作装置から前記搭載装置へ送信された前記運転制御信号と、前記搭載装置から受信した前記返送信号との差分を抽出する情報管理部と、前記差分と前記装置状態データとに基づいて、前記映像上の前記自動運転装置の位置を原点にした前記自動運転装置の推定位置を計算する計算部と、前記搭載装置から受信した前記映像の表示画面上に前記自動運転装置の推定位置を重畳表示させる映像表示部と、を備え、前記搭載装置は、前記運転制御信号を受信する搭載受信部と、前記返送信号を生成する信号複製部と、前記返送信号と前記映像と前記装置状態データとを前記遠隔操作装置へ送信する搭載送信部と、を備え、前記計算部は、前記自動運転装置に対して仮に制動をかけた場合の前記自動運転装置の仮想上の制動の動きをさらに計算し、前記映像表示部は、前記自動運転装置の仮想上の制動の動き示す情報を、前記搭載装置から受信した前記映像の表示画面上にさらに重畳表示させる、遠隔自動運転システムである。
【0009】
（９）本発明の一態様は、遠隔操作装置において、前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置へ、遠隔操作者が行う前記車両の遠隔操作に対応する前記車両制御信号を送信する送信部と、前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号と、前記車両の走行映像と、前記車両の走行状態を示す車両状態データとを前記車載装置から受信する受信部と、前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理部と、前記差分と前記車両状態データとに基づいて、前記走行映像上の前記車両の位置を原点にした前記車両の推定位置を計算する計算部と、前記車載装置から受信した前記走行映像の表示画面上に前記車両の推定位置を重畳表示させる映像表示部と、を備え、前記計算部は、前記車両に対して仮に制動をかけた場合の前記車両の仮想上の制動の動きをさらに計算し、前記映像表示部は、前記車両の仮想上の制動の動き示す情報を、前記車載装置から受信した前記走行映像の表示画面上にさらに重畳表示させる、遠隔操作装置である。
【0010】
（１０）本発明の一態様は、遠隔操作装置と、前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置とを備える遠隔自動運転システムの遠隔自動運転方法であって、前記遠隔操作装置が、遠隔操作者が行う前記車両の遠隔操作に対応する前記車両制御信号を前記車載装置へ送信する送信ステップと、前記車載装置が、前記遠隔操作装置から前記車両制御信号を受信する車載受信ステップと、前記車載装置が、前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号を生成する信号複製ステップと、前記車載装置が、前記車両の走行映像と前記返送信号と前記車両の走行状態を示す車両状態データとを前記遠隔操作装置へ送信する車載送信ステップと、前記遠隔操作装置が、前記走行映像と前記返送信号と前記車両状態データとを前記車載装置から受信する受信ステップと、前記遠隔操作装置が、前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理ステップと、前記遠隔操作装置が、前記差分と前記車両状態データとに基づいて、前記走行映像上の前記車両の位置を原点にした前記車両の推定位置を計算する計算ステップと、前記遠隔操作装置が、前記車載装置から受信した前記走行映像の表示画面上に前記車両の推定位置を重畳表示させる映像表示ステップと、を含み、前記計算ステップは、前記車両に対して仮に制動をかけた場合の前記車両の仮想上の制動の動きをさらに計算し、前記映像表示ステップは、前記車両の仮想上の制動の動き示す情報を、前記車載装置から受信した前記走行映像の表示画面上にさらに重畳表示させる、遠隔自動運転方法である。
【0011】
（１１）本発明の一態様は、遠隔操作装置のコンピュータに、前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置へ、遠隔操作者が行う前記車両の遠隔操作に対応する前記車両制御信号を送信する送信ステップと、前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号と、前記車両の走行映像と、前記車両の走行状態を示す車両状態データとを前記車載装置から受信する受信ステップと、前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理ステップと、前記差分と前記車両状態データとに基づいて、前記走行映像上の前記車両の位置を原点にした前記車両の推定位置を計算する計算ステップと、前記車載装置から受信した前記走行映像の表示画面上に前記車両の推定位置を重畳表示させる映像表示ステップと、を実行させるためのコンピュータプログラムであり、前記計算ステップは、前記車両に対して仮に制動をかけた場合の前記車両の仮想上の制動の動きをさらに計算し、前記映像表示ステップは、前記車両の仮想上の制動の動き示す情報を、前記車載装置から受信した前記走行映像の表示画面上にさらに重畳表示させる、コンピュータプログラムである。
【発明の効果】
【0012】
本発明によれば、遠隔操作対象の車両等の自動運転装置と遠隔操作卓との間の通信遅延に起因する遠隔操作上の遠隔操作者の負担を軽減すると共に、遠隔運転の安全性の向上を図ることができるという効果が得られる。
【図面の簡単な説明】
【0013】
【図1】一実施形態に係る遠隔自動運転システムの構成例を示すブロック図である。
【図2】一実施形態に係る遠隔操作卓と自動運転車との間の通信遅延を説明するためのシーケンス図である。
【図3】一実施形態に係る車両制御信号送信管理リストの構成例である。
【図4】一実施形態に係る返送信号受信管理リストの構成例である。
【図5】一実施形態に係る差分リストの構成例である。
【図6】一実施形態に係る走行映像表示画面の例である。
【図7】一実施形態に係る走行映像表示画面の例である。
【図8】一実施形態に係る遠隔自動運転方法の手順の例を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、図面を参照し、本発明の実施形態について説明する。なお、以下に示す実施形態では、自動運転装置として車両の一例である自動車を例に挙げて説明する。
【0015】
図１は、一実施形態に係る遠隔自動運転システムの構成例を示すブロック図である。図１に示す遠隔自動運転システム１は、遠隔操作卓１０と、自動車３に搭載される車載装置３０とを備える。遠隔操作卓１０は遠隔操作装置に対応する。自動車３は、遠隔操作卓１０が送信する車両制御信号に基づいて自動運転を行う車両（自動運転車）である。
【0016】
遠隔操作卓１０と車載装置３０とは、通信ネットワークＮＷを介して通信を行う。通信ネットワークＮＷは、固定電話ネットワークや有線ＬＡＮ（Local Area Network）等の有線通信ネットワーク、携帯電話ネットワークや無線ＬＡＮ等の無線通信ネットワーク、インターネットなどを含んで構成されるものであってもよい。
【0017】
遠隔操作卓１０は、通信ネットワークＮＷを介して、車両制御信号を車載装置３０へ送信する。車載装置３０は、遠隔操作卓１０から受信した車両制御信号に基づいて自動車３の自動運転制御を行う。自動車３は、車載装置３０の自動運転制御に従って自動運転を行う。車載装置３０は、自動車３に搭載された車載撮像装置が自動車３の進行方向を撮像した映像（以下、走行映像と称する）を、通信ネットワークＮＷを介して、遠隔操作卓１０へ常時配信する。遠隔操作卓１０は、車載装置３０から受信した走行映像を遠隔操作卓１０の表示画面に表示する。遠隔操作者は、遠隔操作卓１０の表示画面に表示された走行映像を見ながら、自動車３の遠隔操作を行う。遠隔操作者による自動車３の遠隔操作は、車両制御信号により車載装置３０へ伝達されて自動車３の自動運転に反映される。これにより、遠隔操作者は、遠隔操作卓１０により自動車３の遠隔操作を行うことにより、自動車３の自動運転を遠隔で操作することができる。
【0018】
ここで、図２に示されるように、遠隔操作者が遠隔操作卓１０により自動車３（自動運転車）の遠隔操作Ａ１を行う時刻Ｔａから、遠隔操作Ａ１が自動車３の自動運転に反映された走行映像Ｂが遠隔操作卓１０の表示画面に表示される時刻Ｔｂまでには、少なくとも遠隔操作卓１０と自動車３（車載装置３０）との間の通信遅延Ｔｄが存在する。このままでは、遠隔操作者が、遠隔操作卓１０で表示されている走行映像に映る自動車３に対して通信遅延分の自動車３の動きを自分の中で推定し加味して次の自動車３の遠隔操作Ａ２を行うことになる。これは遠隔操作者にとって負担になり得る。
【0019】
そこで本実施形態では、遠隔操作者が遠隔操作卓１０により行った遠隔操作のうち、遠隔操作卓１０の表示画面に表示される走行映像に映る自動車３の自動運転にまだ反映されていない遠隔操作を判断し、判断された遠隔操作に基づいて自動車３の動きを推定し、推定された自動車３の動きを示す情報を走行映像の表示画面上に重畳表示させる。これにより、遠隔操作者が通信遅延分の自動車３の動きを推定することを支援し、遠隔操作卓１０と自動車３との間の通信遅延に起因する遠隔操作上の遠隔操作者の負担を軽減することを図る。
【0020】
さらに本実施形態では、自動車３に対して仮に制動（ブレーキ）をかけた場合の自動車３の仮想上の制動の動きを示す情報を走行映像の表示画面上にさらに重畳表示させる。これにより、例えば急制動をかけなければならないような緊急時においても、遠隔操作者が遠隔運転を正しく行うことに寄与することを図る。
【0021】
なお、図２において、遠隔操作者が自動車３の遠隔操作を時刻Ｔａに行ってから当該遠隔操作に対応する車両制御信号が反映された自動車３の走行映像Ｂが遠隔操作卓１０の表示画面に表示される時刻Ｔｂまでにかかる遅延時間は、自動車３と遠隔操作卓１０との間の通信にかかる通信遅延時間に加えて、走行映像Ｂのエンコード及びデコードにかかる時間や自動車３で受信された車両制御信号が自動車３の自動運転に反映されるまでにかかる時間等の通信遅延時間以外の遅延時間を含む。そこで、本実施形態では、通信遅延時間以外の遅延時間に起因する走行映像Ｂの時間的なずれを考慮することにより、遠隔操作者に対してより正確な自動車３の動きの推定結果を走行映像Ｂの表示画面上に重畳表示させることを図る。
【0022】
以下、遠隔自動運転システム１について詳細に説明する。
【0023】
［遠隔操作卓］
図１において、遠隔操作卓１０は、通信部１１と、遠隔操作部１２と、操作情報管理部１３と、車両位置計算部１４と、映像表示部１５とを備える。
図１において、遠隔操作卓１０は、通信部１１と、遠隔操作部１２と、操作情報管理部１３と、車両位置計算部１４と、映像表示部１５とを備える。
【0024】
遠隔操作卓１０の各機能は、遠隔操作卓１０がＣＰＵ（Central Processing Unit：中央演算処理装置）及びメモリ等のコンピュータハードウェアを備え、ＣＰＵがメモリに格納されたコンピュータプログラムを実行することにより実現される。なお、遠隔操作卓１０として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。例えば、遠隔操作卓１０は、インターネット等の通信ネットワークに接続されるサーバコンピュータを使用して構成されてもよい。また、遠隔操作卓１０の各機能はクラウドコンピューティングにより実現されてもよい。また、遠隔操作卓１０は、単独のコンピュータにより実現するものであってもよく、又は遠隔操作卓１０の機能を複数のコンピュータに分散させて実現するものであってもよい。
【0025】
遠隔操作部１２は、遠隔操作者が自動車３の遠隔操作を行うためのユーザインタフェースを備える。当該ユーザインタフェースは、例えばステアリングやアクセルやブレーキなどの運転操作の車両制御信号を入力するためのユーザインタフェースである。遠隔操作部１２は、遠隔操作者による自動車３の遠隔操作に対応する車両制御信号Ｓａを通信部１１及び操作情報管理部１３へ送信する。
【0026】
通信部１１は、通信ネットワークＮＷを介して自動車３の車載装置３０と通信を行う。通信部１１は、遠隔操作部１２から受信した車両制御信号Ｓａを車載装置３０へ送信する送信機能を備える。また、通信部１１は、返送信号Ｒｂと車両状態データＲｄと走行映像Ｒｆとを車載装置３０から受信する受信機能を備える。返送信号Ｒｂは、車載装置３０が遠隔操作卓１０から受信した車両制御信号を遠隔操作卓１０へ送り返す返送信号であって、通信部１１が受信した信号である。車両状態データＲｄは、自動車３の走行状態を示すデータであって、通信部１１が受信したデータである。車両状態データＲｄは、例えば、自動車３の速度（車速）や舵角や傾きなどの情報を含むデータである。走行映像Ｒｆは、車載装置３０から遠隔操作卓１０へ常時配信される走行映像であって、通信部１１が受信した映像である。通信部１１（受信機能）は、車載装置３０から走行映像Ｒｆを常時受信する。
【0027】
通信部１１は、車載装置３０から受信した返送信号Ｒｂを操作情報管理部１３へ送信する。通信部１１は、車載装置３０から受信した車両状態データＲｄを車両位置計算部１４へ送信する。通信部１１は、車載装置３０から受信した走行映像Ｒｆを映像表示部１５へ送信する。
【0028】
操作情報管理部１３は、遠隔操作部１２から受信した車両制御信号Ｓａと、通信部１１から受信した返送信号Ｒｂとを蓄積する。操作情報管理部１３は、車両制御信号Ｓａと返送信号Ｒｂとをそれぞれ時系列で管理する。操作情報管理部１３は、車両制御信号Ｓａと返送信号Ｒｂとの差分を抽出する。この差分抽出では、現在管理している車両制御信号Ｓａ及び返送信号Ｒｂを対象にして、車両制御信号Ｓａの管理対象には存在するが、返送信号Ｒｂの管理対象には存在しない車両制御信号を抽出する。操作情報管理部１３は、抽出した車両制御信号のリスト（差分リスト）Ｃを車両位置計算部１４へ送信する。
【0029】
車両位置計算部１４は、操作情報管理部１３から受信した差分リストＣに基づいて、自動車３の動きを計算する。本実施形態では、自動車３の動きの計算の一例として、車両位置計算部１４は、操作情報管理部１３から受信した差分リストＣと、通信部１１から受信した車両状態データＲｄとに基づいて、自動車３の推定位置Ｅや推定車速を計算する。自動車３の推定位置Ｅは、自動車３の走行映像上の自動車３の位置を原点にした座標系における自動車３の推定の位置（座標）である。
【0030】
自動車３の動きの計算方法の一例として、シングルトラックモデルや低速の場合に単純幾何学モデルを用いる。具体的には、初期状態の車両状態データＲｄと差分リストＣ内の最古の識別子（ＩＤ）の車両制御信号Ｓａとを用いて当該最古のＩＤの車両制御信号Ｓａが反映された後の推定位置Ｅ及び推定車速を計算し、次いで差分リストＣ内の２番目に古いＩＤの車両制御信号Ｓａを用いて当該２番目に古いＩＤの車両制御信号Ｓａが反映された後の推定位置Ｅ及び推定車速を計算するという計算処理を、差分リストＣ内の最新のＩＤの車両制御信号Ｓａまで繰り返す。この計算処理の繰り返しの結果として得られた各推定位置Ｅを時系列の順に結ぶと、自動車３の推定軌道になる。
【0031】
また、車両位置計算部１４は、自動車３に対して仮に制動をかけた場合の自動車３の仮想上の制動の動きをさらに計算する。車両位置計算部１４は、推定位置Ｅで仮に制動をかけた場合に自動車３が停止する自動車３の仮想上の停止位置（仮想停止位置）を計算する。自動車３の仮想停止位置は、自動車３の走行映像上の自動車３の位置を原点にした座標系における自動車３の仮想上の停止位置（座標）である。
【0032】
自動車３の仮想停止位置の計算方法の一例として、例えば自動車３に制動をかけると自動車３が停止するまでに１秒かかる場合において、１００ミリ秒毎に自動車３の位置及び車速を計算するときは、自動車３が停止するまでの１００ミリ秒毎の自動車３の位置及び車速の仮想制動状態リスト（つまり、自動車３の１０組の位置及び車速が記載されたリスト）Ｆを生成する。仮想制動状態リストＦ内の自動車３の各位置を時系列の順に結ぶと、自動車３に対して推定位置Ｅで仮に制動をかけた場合に自動車３が停止するまでの自動車３の仮想上の制動の軌道（仮想制動軌道）になる。仮想制動軌道の始点が推定位置Ｅであり、仮想制動軌道の終点が仮想停止位置である。仮想制動軌道における舵角は、遠隔操作卓１０における現在の舵角を用いる。つまり、仮想制動状態リストＦ内の自動車３の各位置は、遠隔操作卓１０における現在の舵角に基づいて計算されたものである。
【0033】
なお、推定位置Ｅにおける車速が０である場合、つまり自動車３が推定位置Ｅで既に停止している場合には、車両位置計算部１４は、自動車３の仮想上の制動の動きの計算を実行しない。
【0034】
車両位置計算部１４は、計算結果の自動車３の推定位置Ｅ及び仮想制動状態リストＦを映像表示部１５へ送信する。仮想制動状態リストＦは、自動車３の仮想上の制動の動き示す情報である。
【0035】
映像表示部１５は、液晶表示装置等の表示装置を備える。映像表示部１５は、通信部１１から受信した走行映像Ｒｆを表示装置の表示画面に表示させる。また、映像表示部１５は、車両位置計算部１４から受信した推定位置Ｅを走行映像Ｒｆの表示画面上に重畳して表示させる。この重畳表示では、走行映像Ｒｆ上の自動車３の位置を原点にした座標系において、推定位置Ｅの座標上に所定の表示を行う。
【0036】
また、映像表示部１５は、車両位置計算部１４から受信した仮想制動状態リストＦに基づいて、走行映像Ｒｆの表示画面上に重畳表示する推定位置Ｅで仮に自動車３に制動をかけた場合に自動車３が停止するまでの自動車３の仮想制動軌道を、走行映像Ｒｆの表示画面上にさらに重畳して表示させる。この重畳表示では、走行映像Ｒｆ上の自動車３の位置を原点にした座標系において、仮想制動軌道の座標上に所定の表示を行う。自動車３の仮想制動軌道は、仮想制動状態リストＦ内の自動車３の各位置を時系列の順に結んだ軌道である。仮想制動軌道の始点が推定位置Ｅであり、仮想制動軌道の終点が仮想停止位置である。
【0037】
映像表示部１５は、自動車３の走行状態に基づいて、自動車３の仮想制動軌道を表示するか否かを決定してもよい。仮想制動軌道は、自動車３の仮想上の制動の動き示す情報である。
【0038】
例えば、映像表示部１５は、自動車３の車速に基づいて、自動車３の仮想制動軌道を表示するか否かを決定する。例えば、映像表示部１５は、自動車３が加速している場合には自動車３の仮想制動軌道を表示しない。例えば、映像表示部１５は、自動車３が高速（例えば時速８０キロメートル以上の車速）である場合には自動車３の仮想制動軌道を表示しない。これは、加速中や高速走行中に急ブレーキをかけることは安全上避けることが好ましく想定しにくいからである。また、例えば、映像表示部１５は、自動車３が減速している場合には自動車３の仮想制動軌道を表示する。これは、減速中には仮想制動軌道が遠隔操作者の遠隔操作の目安として有効に利用されることが想定されるからである。
【0039】
また、例えば、映像表示部１５は、自動車３の走行位置と停止目標位置との間の距離が所定の閾値未満である場合に仮想制動軌道を表示し、一方、当該距離が所定の閾値以上である場合に仮想制動軌道を表示しない。停止目標位置は、例えば、地図データに含まれる道路上の停止線である。
【0040】
［車載装置］
図１において、車載装置３０は、通信部３１と、信号複製部３２と、車両制御部３３と、映像取得部３４とを備える。信号複製部３２は、バッファｂｕｆを備える。
図１において、車載装置３０は、通信部３１と、信号複製部３２と、車両制御部３３と、映像取得部３４とを備える。信号複製部３２は、バッファｂｕｆを備える。
【0041】
車載装置３０の各機能は、車載装置３０がＣＰＵ及びメモリ等のコンピュータハードウェアを備え、ＣＰＵがメモリに格納されたコンピュータプログラムを実行することにより実現される。
【0042】
通信部３１は、通信ネットワークＮＷを介して遠隔操作卓１０と通信を行う。通信部３１は、遠隔操作卓１０が送信した車両制御信号Ｓａを受信する受信機能を備える。また、通信部３１は、返送信号Ｓｂと車両状態データＳｄと走行映像Ｓｆとを遠隔操作卓１０へ送信する送信機能を備える。
【0043】
通信部３１は、遠隔操作卓１０から受信した車両制御信号Ｒａを信号複製部３２へ送信する。
【0044】
信号複製部３２は、通信部３１から受信した車両制御信号Ｒａを車両制御部３３へ送信する。また、信号複製部３２は、通信部３１から受信した車両制御信号Ｒａをそのまま遠隔操作卓１０へ送り返す返送信号Ｓｂを生成する。信号複製部３２は、返送信号Ｓｂをバッファｂｕｆに入力し、バッファｂｕｆを介して返送信号Ｓｂを通信部３１により遠隔操作卓１０へ送信する。バッファｂｕｆは、返送信号Ｓｂに遅延時間を付加するためのバッファである。
【0045】
バッファｂｕｆは、遠隔操作卓１０の遠隔操作者が自動車３の遠隔操作を行ってから当該遠隔操作に対応する車両制御信号が反映された自動車３の走行映像が遠隔操作卓１０で表示されるまでにかかる遅延時間のうち、自動車３と遠隔操作卓１０との間の通信にかかる通信遅延時間以外の残りの遅延時間分を返送信号の遅延時間として追加するバッファである。
【0046】
通信遅延時間以外の残りの遅延時間は、走行映像のエンコード及びデコードにかかる時間や自動車３で受信された車両制御信号Ｒａが自動車３の自動運転に反映されるまでにかかる時間等である。通信遅延時間以外の残りの遅延時間は、予め設定されてもよく、又は実測されてもよい。例えば、エンコードにかかる時間は、映像取得部３４で実測された値を用いる。例えば、デコードにかかる時間は、遠隔操作卓１０の映像表示部１５で実測された値が遠隔操作卓１０から自動車３に送信されたものを用いる。例えば、車両制御信号Ｒａが自動車３の自動運転に反映されるまでにかかる時間は、車両制御部３３で実測された値を用いる。
【0047】
返送信号Ｓｂがバッファｂｕｆを介して遠隔操作卓１０へ送信されることにより、通信遅延時間以外の遅延時間に起因する走行映像の時間的なずれが考慮された自動車３の推定位置Ｅや仮想制動軌道が算出される。これにより、遠隔操作卓１０の遠隔操作者に対してより正確な自動車３の動きの推定位置Ｅや仮想制動軌道を走行映像Ｒｆの表示画面上に重畳表示させることができる。
【0048】
なお、本実施形態では、車載装置３０にバッファｂｕｆを設けたが、バッファｂｕｆが設けられる位置はこれに限定されない。例えば、遠隔操作卓１０にバッファｂｕｆを設け、自動車３から受信した返送信号Ｒｂをバッファｂｕｆに入力し、バッファｂｕｆを介した後の返送信号Ｒｂを操作情報管理部１３へ送信してもよい。つまり、差分リストＣの生成に使用される返送信号Ｒｂが、バッファｂｕｆを介した後の返送信号Ｒｂであればよい。
【0049】
また、バッファｂｕｆは、車載装置３０と遠隔操作卓１０とに分散して設けられてもよい。例えば、走行映像のエンコードにかかる時間及び車両制御信号Ｒａが自動車３の自動運転に反映されるまでにかかる時間については車載装置３０にバッファを設け、走行映像のデコードにかかる時間については遠隔操作卓１０にバッファを設ける。
【0050】
車両制御部３３は、信号複製部３２から受信した車両制御信号Ｒａに基づいて自動車３の自動運転制御を行う。自動車３は、車両制御部３３の自動運転制御に従って自動運転を行う。また、車両制御部３３は、自動車３の走行状態を示す車両状態データｓｄを取得する。車両状態データｓｄは、例えば、自動車３の速度（車速）や舵角や傾きなどの情報を含むデータである。車両制御部３３は、車両状態データｓｄを通信部３１により遠隔操作卓１０へ送信する。
【0051】
映像取得部３４は、自動車３に搭載された車載撮像装置が常時撮像する走行映像Ｓｆを取得する。映像取得部３４は、走行映像Ｓｆを通信部３１により遠隔操作卓１０へ常時送信する。
【0052】
［車両制御信号］
遠隔操作部１２から送信される車両制御信号Ｓａは、一般に自動車を運転操作するために必要な運転操作情報を有する。運転操作情報は、例えば、ステアリング、アクセル、ブレーキ、ギア、ウインカーなどの操作を示す情報である。また、車両制御信号Ｓａには、時系列管理のための識別子（ＩＤ）や、遠隔運転状態を管理をするための遠隔運転管理情報をさらに付与してもよい。車両制御信号Ｓａが一定間隔で車載装置３０へ送信される場合、車両制御信号のＩＤとしてシーケンス番号を用いてもよい。又は、車両制御信号のＩＤとして、システム時刻を用いてもよい。遠隔運転管理情報は、例えば、遠隔操作対象の自動車３のＩＤ、遠隔操作の可否、緊急停止信号等の情報である。
遠隔操作部１２から送信される車両制御信号Ｓａは、一般に自動車を運転操作するために必要な運転操作情報を有する。運転操作情報は、例えば、ステアリング、アクセル、ブレーキ、ギア、ウインカーなどの操作を示す情報である。また、車両制御信号Ｓａには、時系列管理のための識別子（ＩＤ）や、遠隔運転状態を管理をするための遠隔運転管理情報をさらに付与してもよい。車両制御信号Ｓａが一定間隔で車載装置３０へ送信される場合、車両制御信号のＩＤとしてシーケンス番号を用いてもよい。又は、車両制御信号のＩＤとして、システム時刻を用いてもよい。遠隔運転管理情報は、例えば、遠隔操作対象の自動車３のＩＤ、遠隔操作の可否、緊急停止信号等の情報である。
【0053】
［操作情報管理処理］
図３は、本実施形態に係る車両制御信号送信管理リストの構成例である。操作情報管理部１３は、図３に例示される車両制御信号送信管理リストＬＳａをメモリに保持する。操作情報管理部１３は、遠隔操作部１２から受信した車両制御信号Ｓａを、車両制御信号送信管理リストＬＳａに追加する。図３に例示されるように、車両制御信号送信管理リストＬＳａには、車両制御信号のＩＤの昇順（時系列の順）で車両制御信号Ｓａが記載されている。
図３は、本実施形態に係る車両制御信号送信管理リストの構成例である。操作情報管理部１３は、図３に例示される車両制御信号送信管理リストＬＳａをメモリに保持する。操作情報管理部１３は、遠隔操作部１２から受信した車両制御信号Ｓａを、車両制御信号送信管理リストＬＳａに追加する。図３に例示されるように、車両制御信号送信管理リストＬＳａには、車両制御信号のＩＤの昇順（時系列の順）で車両制御信号Ｓａが記載されている。
【0054】
図４は、本実施形態に係る返送信号受信管理リストの構成例である。操作情報管理部１３は、図４に例示される返送信号受信管理リストＬＲｂをメモリに保持する。操作情報管理部１３は、通信部１１から受信した返送信号Ｒｂを、返送信号受信管理リストＬＲｂに追加する。図４に例示されるように、返送信号受信管理リストＬＲｂには、車両制御信号のＩＤの昇順（時系列の順）で返送信号Ｒｂが記載されている。
なお、本実施形態では、車載装置３０の信号複製部３２が車両制御信号Ｒａをそのまま返送信号Ｓｂにしたが、返送信号Ｓｂは、車両制御信号Ｒａのうち少なくとも車両制御信号のＩＤを含む信号であってもよい。例えば、信号複製部３２は、車両制御信号Ｒａのうち車両制御信号のＩＤのみを返送信号Ｓｂにしてもよい。
なお、本実施形態では、車載装置３０の信号複製部３２が車両制御信号Ｒａをそのまま返送信号Ｓｂにしたが、返送信号Ｓｂは、車両制御信号Ｒａのうち少なくとも車両制御信号のＩＤを含む信号であってもよい。例えば、信号複製部３２は、車両制御信号Ｒａのうち車両制御信号のＩＤのみを返送信号Ｓｂにしてもよい。
【0055】
図５は、本実施形態に係る差分リストの構成例である。操作情報管理部１３は、図３の車両制御信号送信管理リストＬＳａと図４の返送信号受信管理リストＬＲｂとの差分を抽出して、図５に例示される差分リストＣを作成する。図５の差分リストＣには、図３の車両制御信号送信管理リストＬＳａには存在するが、図４の返送信号受信管理リストＬＲｂには存在しない車両制御信号が記載される。図５に例示されるように、差分リストＣには、図３の車両制御信号送信管理リストＬＳａには存在するが、図４の返送信号受信管理リストＬＲｂには存在しないＩＤ「５０」及び「５１」の車両制御信号が記載されている。
【0056】
なお、図５の差分リストＣには、図４の返送信号受信管理リストＬＲｂの中に含まれる最新の車両制御信号（ＩＤ「４９」）以降の車両制御信号のみを記載するようにしてもよい。これは、遠隔操作卓１０から自動車３（車載装置３０）に至る通信路において車両制御信号Ｓａのロスが発生することを想定した対策である。
【0057】
差分リストＣには、遠隔操作卓１０が車載装置３０へ送信した車両制御信号Ｓａのうち、通信遅延により車載装置３０の車両制御部３３がまだ受信していない車両制御信号が記載されている。これは、差分リストＣに記載されている車両制御信号が、走行映像Ｒｆに映る自動車３の自動運転にまだ反映されていないことを意味する。このことから、車両位置計算部１４が差分リストＣに記載されている車両制御信号に基づいて計算した自動車３の動きは、走行映像Ｒｆに映る自動車３にはまだ反映されていないが、実際の自動車３には反映されている動きを推定したものである。したがって、その車両位置計算部１４が計算した自動車３の動きを示す情報が、映像表示部１５により走行映像Ｒｆの表示画面上に重畳して表示されることにより、遠隔操作者は、走行映像Ｒｆに映る自動車３にはまだ反映されていない実際の自動車３の動きを容易に推定することができる。本実施形態の一例では、推定位置Ｅが走行映像Ｒｆの表示画面上に重畳して表示されることにより、遠隔操作者は、走行映像Ｒｆに映る自動車３にはまだ反映されていない実際の自動車３の位置を容易に推定することができる。
【0058】
［映像表示処理］
図６、図７は、本実施形態に係る走行映像表示画面の例である。図６に例示される走行映像表示画面１００には、走行映像Ｒｆに映る自動車３の車体の先頭部分が表示されている。さらに走行映像表示画面１００には、推定位置Ｅを示す破線１２０が重畳して表示されている。さらに走行映像表示画面１００には、仮想制動軌道を示す点線２２０が重畳して表示されている。図６の例では、推定位置Ｅを示す破線１２０及び仮想制動軌道を示す点線２２０は、走行映像Ｒｆに映る自動車３の車幅Ｗで表示されている。
図６、図７は、本実施形態に係る走行映像表示画面の例である。図６に例示される走行映像表示画面１００には、走行映像Ｒｆに映る自動車３の車体の先頭部分が表示されている。さらに走行映像表示画面１００には、推定位置Ｅを示す破線１２０が重畳して表示されている。さらに走行映像表示画面１００には、仮想制動軌道を示す点線２２０が重畳して表示されている。図６の例では、推定位置Ｅを示す破線１２０及び仮想制動軌道を示す点線２２０は、走行映像Ｒｆに映る自動車３の車幅Ｗで表示されている。
【0059】
図７に例示される走行映像表示画面１００には、図６と同様に、走行映像Ｒｆに映る自動車３の車体の先頭部分が表示され、さらに推定位置Ｅを示す破線１３０及び仮想制動軌道を示す点線２３０が重畳して表示されている。図７の例では、推定位置Ｅを示す破線１３０及び仮想制動軌道を示す点線２３０は、走行映像Ｒｆに映る自動車３の車幅方向の中心で表示されている。
【0060】
図６や図７に例示されるように、推定位置Ｅを示す情報（破線１２０や破線１３０）が走行映像Ｒｆの表示画面上に重畳して表示されることにより、遠隔操作者は、走行映像Ｒｆに映る自動車３にはまだ反映されていない実際の自動車３の位置を容易に推定することができる。これにより、遠隔操作卓１０と自動車３との間の通信遅延に起因する遠隔操作上の遠隔操作者の負担を軽減することができるという効果が得られる。
【0061】
また、図６や図７に例示されるように、仮想制動軌道を示す情報（点線２２０や点線２３０）が走行映像Ｒｆの表示画面上にさらに重畳して表示されることにより、遠隔操作者は、走行映像Ｒｆに映る自動車３に対して仮にブレーキをかけた場合に自動車３がどのような軌道で停止するのかや、どの位置で停車するのか等を容易に認識することができる。これにより、例えば急ブレーキをかけなければならないような緊急時においても、遠隔操作者が遠隔運転を正しく行うことに寄与することができ、遠隔運転の安全性の向上を図るという効果が得られる。
【0062】
次に図８を参照して本実施形態に係る遠隔自動運転方法を説明する。図８は、本実施形態に係る遠隔自動運転方法の手順の例を示すフローチャートである。遠隔操作卓１０には、遠隔操作対象の自動車３のＩＤ等の自動車情報や、遠隔操作対象の自動車３に搭載されている車載装置３０の通信アドレス等の車載装置情報が予め登録される。遠隔操作者が遠隔操作対象の自動車３を指定して遠隔操作を開始すると、遠隔操作卓１０と遠隔操作対象の自動車３に搭載されている車載装置３０との間で、図８に示される遠隔自動運転方法の手順が開始される。
【0063】
（ステップＳ１） 遠隔操作卓１０は、車両制御信号Ｓａを車載装置３０へ送信する。
【0064】
（ステップＳ２） 車載装置３０は、遠隔操作卓１０から受信した車両制御信号Ｒａを遠隔操作卓１０へ送り返す返送信号Ｓｂを生成する。車載装置３０は、返送信号Ｓｂと車両状態データＳｄと走行映像Ｓｆとを遠隔操作卓１０へ送信する。遠隔操作卓１０は、車載装置３０から、返送信号Ｒｂと車両状態データＲｄと走行映像Ｒｆとを受信する。
【0065】
（ステップＳ３） 遠隔操作卓１０は、遠隔操作卓１０から車載装置３０へ送信された車両制御信号Ｓａと、車載装置３０から受信した返送信号Ｒｂとの差分を抽出する。
【0066】
（ステップＳ４） 遠隔操作卓１０は、抽出された差分に基づいて自動車３の動きを計算する。自動車３の動きの計算では、差分リストＣと車両状態データＲｄとに基づいて自動車３の推定位置Ｅが計算される。
【0067】
（ステップＳ５） 遠隔操作卓１０は、自動車３に対して仮に制動をかけた場合の自動車３の仮想上の制動の動きをさらに計算する。
【0068】
（ステップＳ６） 遠隔操作卓１０は、走行映像Ｒｆを表示装置の表示画面に表示させる。また、映像表示部１５は、ステップＳ４で計算された自動車３の動きを示す情報を、走行映像Ｒｆの表示画面上に重畳して表示させる。また、映像表示部１５は、ステップＳ５で計算された自動車３の仮想上の制動の動きを示す情報を、走行映像Ｒｆの表示画面上にさらに重畳して表示させる。これにより、例えば、図６や図７に例示されるように、推定位置Ｅを示す情報（破線１２０や破線１３０）及び仮想制動軌道を示す情報（点線２２０や点線２３０）が走行映像Ｒｆの表示画面上に重畳して表示される。
【0069】
上述したように本実施形態によれば、走行映像Ｒｆに映る自動車３にはまだ反映されていないが、実際の自動車３には反映されている自動車３の動きを示す情報を走行映像Ｒｆの表示画面上に重畳して表示させることができる。遠隔操作者は、その走行映像Ｒｆの表示画面上に重畳して表示される自動車３の動きを示す情報によって、走行映像Ｒｆに映る自動車３にはまだ反映されていない実際の自動車３の動きを容易に推定することができる。これにより、遠隔操作卓１０と自動車３との間の通信遅延に起因する遠隔操作上の遠隔操作者の負担を軽減することができるという効果が得られる。
【0070】
また、本実施形態によれば、自動車３の仮想上の制動の動きを示す情報（例えば、仮想制動軌道を示す情報）が走行映像Ｒｆの表示画面上にさらに重畳して表示されることにより、遠隔操作者は、走行映像Ｒｆに映る自動車３に対して仮にブレーキをかけた場合に自動車３がどのような制動の動きを示すのか（例えば、どのような軌道で停止するのかや、どの位置で停車するのか等）を容易に認識することができる。これにより、例えば急ブレーキをかけなければならないような緊急時においても、遠隔操作者が遠隔運転を正しく行うことに寄与することができる。これは、遠隔運転の安全性の向上を図るという効果を奏する。
【0071】
また、本実施形態では、遠隔操作卓１０と車載装置３０との間の通信遅延時間を予測して自動車３の動きを推定するのではなく、遠隔操作卓１０から車載装置３０へ送信した車両制御信号Ｓａと車載装置３０から返送された車両制御信号との差分に基づいて自動車３の動きを推定する。遠隔操作卓１０と車載装置３０との間の通信遅延時間を予測して自動車３の動きを推定する方法は、通信遅延時間が大きく変動する等の通信遅延時間の予測が難しい通信環境では適用することができない可能性がある。一方、本実施形態によれば、遠隔操作卓１０と車載装置３０との間の通信遅延時間が大きく変動する等の通信遅延時間の予測が難しい通信環境であっても、十分に適用することができる。
【0072】
また、本実施形態によれば、バッファｂｕｆが設けられることにより、通信遅延時間以外の遅延時間に起因する走行映像の時間的なずれが考慮された自動車３の推定位置Ｅや仮想制動軌道が算出される。これにより、遠隔操作卓１０の遠隔操作者に対してより正確な自動車３の動きの推定位置Ｅや仮想制動軌道を走行映像Ｒｆの表示画面上に重畳表示させることができる。
【0073】
なお、これにより、例えば遠隔自動運転システムにおける総合的なサービス品質の向上を実現することができることから、国連が主導する持続可能な開発目標（SDGs）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
【0074】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0075】
上述した実施形態では、自動運転装置として、車両の一例である自動車を例に挙げたが、鉄道車両等の自動車以外の他の車両にも適用可能である。
【0076】
また、上述した実施形態は、自動運転装置として例えばクレーンやショベル等の建設機械に適用し、建設機械のアームやショベルなどの遠隔操作にも適用可能である。
建設機械等の自動運転装置に適用される遠隔自動運転システムの構成例を、以下に示す。
遠隔自動運転システムは、遠隔操作装置と、前記遠隔操作装置が送信する運転制御信号に基づいて自動運転を行う自動運転装置に搭載される搭載装置とを備える。前記遠隔操作装置は、遠隔操作者が行う前記自動運転装置の遠隔操作に対応する前記運転制御信号を前記搭載装置へ送信する送信部と、前記搭載装置が前記遠隔操作装置から受信した前記運転制御信号を前記遠隔操作装置へ送り返す返送信号と、前記自動運転装置の映像と、前記自動運転装置の運転状態を示す装置状態データとを前記搭載装置から受信する受信部と、前記遠隔操作装置から前記搭載装置へ送信された前記運転制御信号と、前記搭載装置から受信した前記返送信号との差分を抽出する情報管理部と、前記差分と前記装置状態データとに基づいて、前記映像上の前記自動運転装置の位置を原点にした前記自動運転装置の推定位置を計算する計算部と、前記搭載装置から受信した前記映像の表示画面上に前記自動運転装置の推定位置を重畳表示させる映像表示部と、を備える。前記搭載装置は、前記運転制御信号を受信する搭載受信部と、前記返送信号を生成する信号複製部と、前記返送信号と前記映像と前記装置状態データとを前記遠隔操作装置へ送信する搭載送信部と、を備える。前記計算部は、前記自動運転装置に対して仮に制動をかけた場合の前記自動運転装置の仮想上の制動の動きをさらに計算し、前記映像表示部は、前記自動運転装置の仮想上の制動の動き示す情報を、前記搭載装置から受信した前記映像の表示画面上にさらに重畳表示させる。
建設機械等の自動運転装置に適用される遠隔自動運転システムの構成例を、以下に示す。
遠隔自動運転システムは、遠隔操作装置と、前記遠隔操作装置が送信する運転制御信号に基づいて自動運転を行う自動運転装置に搭載される搭載装置とを備える。前記遠隔操作装置は、遠隔操作者が行う前記自動運転装置の遠隔操作に対応する前記運転制御信号を前記搭載装置へ送信する送信部と、前記搭載装置が前記遠隔操作装置から受信した前記運転制御信号を前記遠隔操作装置へ送り返す返送信号と、前記自動運転装置の映像と、前記自動運転装置の運転状態を示す装置状態データとを前記搭載装置から受信する受信部と、前記遠隔操作装置から前記搭載装置へ送信された前記運転制御信号と、前記搭載装置から受信した前記返送信号との差分を抽出する情報管理部と、前記差分と前記装置状態データとに基づいて、前記映像上の前記自動運転装置の位置を原点にした前記自動運転装置の推定位置を計算する計算部と、前記搭載装置から受信した前記映像の表示画面上に前記自動運転装置の推定位置を重畳表示させる映像表示部と、を備える。前記搭載装置は、前記運転制御信号を受信する搭載受信部と、前記返送信号を生成する信号複製部と、前記返送信号と前記映像と前記装置状態データとを前記遠隔操作装置へ送信する搭載送信部と、を備える。前記計算部は、前記自動運転装置に対して仮に制動をかけた場合の前記自動運転装置の仮想上の制動の動きをさらに計算し、前記映像表示部は、前記自動運転装置の仮想上の制動の動き示す情報を、前記搭載装置から受信した前記映像の表示画面上にさらに重畳表示させる。
【0077】
また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0078】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【0079】
１…遠隔自動運転システム、３…自動車、１０…遠隔操作卓、１１…通信部、１２…遠隔操作部、１３…操作情報管理部、１４…車両位置計算部、１５…映像表示部、３０…車載装置、３１…通信部、３２…信号複製部、３３…車両制御部、３４…映像取得部、ｂｕｆ…バッファ、ＮＷ…通信ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】