特許 7619397 遠隔オペレータ端末、遠隔操作支援方法、及び遠隔操作システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-01-14

(45)【発行日】2025-01-22

(54)【発明の名称】遠隔オペレータ端末、遠隔操作支援方法、及び遠隔操作システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20250115BHJP

【ＦＩ】

H04N7/18 J

【請求項の数】 8

(21)【出願番号】P 2023120698

(22)【出願日】2023-07-25

【審査請求日】2023-07-31

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】末廣 優樹

【審査官】西田 光宏

(56)【参考文献】

【文献】米国特許出願公開第２０１１／０３０７１７６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００６／０２８７８２５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０２９２８０５（ＵＳ，Ａ１）

【文献】特開２００８－２９０６６９（ＪＰ，Ａ）

【文献】特開２０２１－１１１８１４（ＪＰ，Ａ）

【文献】特開２０２１－１１１８５４（ＪＰ，Ａ）

【文献】特開２０１９－１５６２９８（ＪＰ，Ａ）

【文献】特開２０１４－０６７２９９（ＪＰ，Ａ）

【文献】特開２００４－１１４８７９（ＪＰ，Ａ）

【文献】特開２０１６－１０１８７２（ＪＰ，Ａ）

【文献】特開２０１４－０４０１９０（ＪＰ，Ａ）

【文献】特開２０１７－０３３５４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｋ ３５／００－３７／２０

Ｂ６０Ｒ １／００－１／３１

Ｂ６０Ｗ １０／００－６０／００

Ｂ６２Ｄ ６／００－６／１０

Ｇ０１Ｃ ２１／００－２５／００

Ｇ０８Ｇ １／００－９９／００

Ｇ０９Ｇ ５／００－５／４２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

移動体の遠隔操作を行う遠隔オペレータのための遠隔オペレータ端末であって、
前記移動体と通信を行い、前記移動体に搭載されたカメラによって撮影される画像を前記移動体から取得し、また、前記遠隔オペレータによる前記遠隔操作に関する遠隔操作情報を前記移動体に送信するように構成された制御装置と、
複数の表示領域を有する表示装置と
を備え、
前記画像は、前記移動体に搭載された後側方カメラによって撮影される後側方画像と、前記移動体に搭載された後方カメラによって撮影される後方画像とを含み、
前記表示装置は、前記後側方画像と前記後方画像とをそれぞれ異なる表示領域に表示し、
前記表示装置は、更に、前記移動体の左折あるいは右折と連動して、過去の一定期間内に前記移動体が通過した通過領域を前記後側方画像に重ねて表示し、
前記通過領域は、前記移動体の車輪以外の部分が通過した領域も含む
遠隔オペレータ端末。

【請求項2】

請求項１に記載の遠隔オペレータ端末であって、
前記移動体の操舵角あるいは前記遠隔オペレータによる操舵量が閾値を超えている場合、前記表示装置は、前記通過領域を前記後側方画像に重ねて表示し、
前記移動体の前記操舵角あるいは前記遠隔オペレータによる前記操舵量が前記閾値以下である場合、前記表示装置は、前記通過領域を重ね合わせることなく前記後側方画像を表示する
遠隔オペレータ端末。

【請求項3】

請求項１に記載の遠隔オペレータ端末であって、
前記移動体のウィンカが作動中である場合、前記表示装置は、前記通過領域を前記後側方画像に重ねて表示し、
前記移動体の前記ウィンカが作動していない場合、前記表示装置は、前記通過領域を重ね合わせることなく前記後側方画像を表示する
遠隔オペレータ端末。

【請求項4】

請求項１乃至３のいずれか一項に記載の遠隔オペレータ端末であって、
前記通過領域は、前記移動体の現在位置から見た前記過去の一定期間における前記移動体の位置履歴に基づいて推定される
遠隔オペレータ端末。

【請求項5】

請求項４に記載の遠隔オペレータ端末であって、
前記通過領域は、前記過去の一定期間における前記移動体の前記位置履歴に沿って延在する前記移動体の横幅と同じ幅の領域である
遠隔オペレータ端末。

【請求項6】

請求項４に記載の遠隔オペレータ端末であって、
前記通過領域は、前記過去の一定期間における前記移動体の前記位置履歴に対応する前記移動体の全車輪の位置履歴によって囲まれる領域である
遠隔オペレータ端末。

【請求項7】

移動体の遠隔操作を行う遠隔オペレータに対する情報を遠隔オペレータ端末の表示装置に表示する遠隔操作支援方法であって、
前記遠隔オペレータ端末は、前記移動体と通信を行い、前記移動体に搭載されたカメラによって撮影される画像を前記移動体から取得し、また、前記遠隔オペレータによる前記遠隔操作に関する遠隔操作情報を前記移動体に送信するように構成され、
前記画像は、前記移動体に搭載された後側方カメラによって撮影される後側方画像と、前記移動体に搭載された後方カメラによって撮影される後方画像とを含み、
前記表示装置は、複数の表示領域を有し、
前記遠隔操作支援方法は、
前記後側方画像と前記後方画像とをそれぞれ異なる表示領域に表示することと、
前記移動体の左折あるいは右折と連動して、過去の一定期間内に前記移動体が通過した通過領域を前記後側方画像に重ねて表示することと
を含み、
前記通過領域は、前記移動体の車輪以外の部分が通過した領域も含む
遠隔操作支援方法。

【請求項8】

移動体の遠隔操作を制御する１又は複数のプロセッサと、
前記移動体の前記遠隔操作を行う遠隔オペレータに対する情報を表示する遠隔オペレータ端末の表示装置と
を備え、
前記遠隔オペレータ端末は、前記移動体と通信を行い、前記移動体に搭載されたカメラによって撮影される画像を前記移動体から取得し、また、前記遠隔オペレータによる前記遠隔操作に関する遠隔操作情報を前記移動体に送信するように構成され、
前記画像は、前記移動体に搭載された後側方カメラによって撮影される後側方画像と、前記移動体に搭載された後方カメラによって撮影される後方画像とを含み、
前記表示装置は、複数の表示領域を有し、
前記１又は複数のプロセッサは、更に、
前記後側方画像と前記後方画像とをそれぞれ異なる表示領域に表示し、
前記移動体の左折あるいは右折と連動して、過去の一定期間内に前記移動体が通過した通過領域を前記後側方画像に重ねて前記表示装置に表示する
ように構成され、
前記通過領域は、前記移動体の車輪以外の部分が通過した領域も含む
遠隔操作システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、遠隔オペレータにより行われる移動体の遠隔操作に関する。

【背景技術】

【0002】

特許文献１は、作業機械を遠隔制御する際の画像表示方法を開示している。作業機械には前方カメラと後方カメラが取り付けられる。前方カメラと後方カメラによって撮影される画像が、遠隔操作側のディスプレイに表示される。このとき、前方カメラと後方カメラのいずれか一方により撮影される画像が、他方により撮影される画像よりも大きく表示される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－００９８２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

遠隔オペレータにより行われる移動体の遠隔操作について考える。移動体を右折あるいは左折させる際、遠隔オペレータは、移動体が他の物体を巻き込まないように移動体の周囲の状況を確認する。

【0005】

本開示の１つの目的は、遠隔オペレータが移動体を右折あるいは左折させる際の安全確認をより容易に行うことができる技術を提供することにある。

【課題を解決するための手段】

【0006】

第１の観点は、移動体の遠隔操作を行う遠隔オペレータのための遠隔オペレータ端末に関する。
遠隔オペレータ端末は、移動体に搭載された後側方カメラによって撮影される後側方画像を表示する表示装置を備える。
表示装置は、更に、移動体の後方における移動体の軌跡を後側方画像に重ねて表示する。

【0007】

第２の観点は、移動体の遠隔操作を行う遠隔オペレータに対する情報を表示装置に表示する遠隔操作支援方法に関する。
遠隔操作支援方法は、
移動体に搭載された後側方カメラによって撮影される後側方画像を表示装置に表示することと、
移動体の後方における移動体の軌跡を後側方画像に重ねて表示することと
を含む
。

【0008】

第３の観点は、遠隔操作システムに関する。
遠隔操作システムは、
移動体の遠隔操作を制御する１又は複数のプロセッサと、
移動体の遠隔操作を行う遠隔オペレータに対する情報を表示する表示装置と
を備える。
１又は複数のプロセッサは、移動体に搭載された後側方カメラによって撮影される後側方画像を取得する。
１又は複数のプロセッサは、移動体の後方における移動体の軌跡の情報を取得する。
１又は複数のプロセッサは、移動体の軌跡を後側方画像に重ねて表示装置に表示する。

【発明の効果】

【0009】

本開示によれば、移動体の遠隔操作に用いられる表示装置は、移動体に搭載された後側方カメラによって撮影される後側方画像を表示する。更に、表示装置は、移動体の後方における移動体の軌跡を後側方画像に重ねて表示する。遠隔オペレータは、移動体の軌跡が重ねられた後側方画像を見ることによって、移動体の左折あるいは右折時の安全確認をより容易に行うことができる。これにより、遠隔オペレータは、より安全に移動体の遠隔操作を行うことが可能となる。

【図面の簡単な説明】

【0010】

【図1】実施の形態に係る遠隔操作システムの構成例を示す概略図である。

【図2】実施の形態に係る車両に搭載されるカメラの例を示す概念図である。

【図3】実施の形態に係る遠隔オペレータ端末の表示装置の一例を説明するための概念図である。

【図4】遠隔オペレータが車両を左折させるシーンを説明するための概念図である。

【図5】実施の形態に係る軌跡表示処理の一例を説明するための概念図である。

【図6】実施の形態に係る軌跡表示処理の他の例を説明するための概念図である。

【図7】実施の形態に係る軌跡表示処理の更に他の例を説明するための概念図である。

【図8】実施の形態に係る軌跡表示処理のＯＮ／ＯＦＦを説明するための概念図である。

【図9】実施の形態に係る軌跡表示処理に関連する機能構成例を示すブロック図である。

【図10】実施の形態に係る軌跡表示処理に関連する処理を示すフローチャートである。

【図11】実施の形態に係る車両の構成例を示すブロック図である。

【図12】実施の形態に係る遠隔オペレータ端末の構成例を示すブロック図である。

【発明を実施するための形態】

【0011】

添付図面を参照して、本開示の実施の形態を説明する。

【0012】

１．遠隔操作システムの概要
移動体の遠隔操作（遠隔運転）について考える。特に、地上を走行する移動体の遠隔操作について考える。遠隔操作の対象である移動体としては、車両、ロボット、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、作業ロボット、等が例示される。一例として、以下の説明においては、移動体が車両である場合について考える。一般化する場合には、以下の説明における「車両」を「移動体」で読み替えるものとする。

【0013】

図１は、本実施の形態に係る遠隔操作システム１の構成例を示す概略図である。遠隔操作システム１は、車両１００、遠隔オペレータ端末２００、及び管理装置３００を含んでいる。車両１００は、遠隔操作の対象である。遠隔オペレータ端末２００は、遠隔オペレータＯが車両１００を遠隔操作する際に使用する端末装置である。遠隔オペレータ端末２００を遠隔操作ＨＭＩ（Human Machine Interface）と言うこともできる。管理装置３００は、遠隔操作システム１の管理を行う。典型的には、管理装置３００は、クラウド上の管理サーバである。管理サーバは、分散処理を行う複数のサーバにより構成されていてもよい。

【0014】

車両１００、遠隔オペレータ端末２００、及び管理装置３００は、通信ネットワークを介して互いに通信可能である。車両１００と遠隔オペレータ端末２００は、管理装置３００を介して互いに通信可能である。また、車両１００と遠隔オペレータ端末２００は、管理装置３００を介さずに直接通信を行ってもよい。

【0015】

車両１００には、カメラＣを含む各種センサが搭載されている。カメラＣは、車両１００の周囲を撮影し、車両１００の周囲の状況を示す画像（映像）ＩＭＧを取得する。センサ検出情報ＳＥＮは、各種センサにより得られる情報を含む。センサ検出情報ＳＥＮは、少なくとも、カメラＣにより撮影される画像ＩＭＧを含む。センサ検出情報ＳＥＮは、車両１００の位置及び状態（例：速度、操舵角、等）を含んでいてもよい。車両１００は、センサ検出情報ＳＥＮを遠隔オペレータ端末２００に送信する。

【0016】

遠隔オペレータ端末２００は、車両１００から送信されたセンサ検出情報ＳＥＮを受け取る。遠隔オペレータ端末２００は、センサ検出情報ＳＥＮを遠隔オペレータＯに提示する。具体的には、遠隔オペレータ端末２００は、表示装置２２０を備えており、画像ＩＭＧ等の情報を表示装置２２０に表示する。遠隔オペレータＯは、表示された情報をみて、車両１００の周囲の状況を認識し、車両１００の遠隔操作を行う。つまり、遠隔オペレータＯに対する情報を表示装置２２０に表示することによって、遠隔オペレータＯによる車両１００の遠隔操作が支援される。

【0017】

遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。遠隔オペレータ端末２００は、遠隔操作情報ＯＰＥを車両１００に送信する。車両１００は、遠隔オペレータ端末２００から送信された遠隔操作情報ＯＰＥを受け取る。車両１００は、受け取った遠隔操作情報ＯＰＥに従って車両走行制御を行う。このようにして、車両１００の遠隔操作が実現される。

【0018】

２．表示装置及び表示される画像の例
図２は、車両１００に搭載されるカメラＣの例を示す概念図である。図２に示される例では、車両１００は、前方カメラＣ１、左前方カメラＣ２、右前方カメラＣ３、左後方カメラＣ４、右後方カメラＣ５、及び後方カメラＣ６を備えている。前方カメラＣ１は、車両１００の前方を撮影するように設置されている。左前方カメラＣ２は、車両１００の左前方を撮影するように設置されている。右前方カメラＣ３は、車両１００の右前方を撮影するように設置されている。左後方カメラＣ４は、車両１００の左後方を撮影するように設置されている。右後方カメラＣ５は、車両１００の右後方を撮影するように設置されている。後方カメラＣ６は、車両１００の後方を撮影するように設置されている。

【0019】

図３は、遠隔オペレータ端末２００の表示装置２２０の一例を説明するための概念図である。表示装置２２０は、車両１００に搭載されたカメラＣによって撮影される画像ＩＭＧを表示する。図３に示される例では、表示装置２２０は、表示領域（表示部）２２１～２２６を含んでいる。表示領域２２１には、前方カメラＣ１によって撮影され、車両１００の前方の状況を示す前方画像ＩＭＧ１が表示される。表示領域２２２には、左前方カメラＣ２によって撮影され、車両１００の左前方の状況を示す左前方画像ＩＭＧ２が表示される。表示領域２２３には、右前方カメラＣ３によって撮影され、車両１００の右前方の状況を示す右前方画像ＩＭＧ３が表示される。表示領域２２４には、左後方カメラＣ４によって撮影され、車両１００の左後方の状況を示す左後方画像ＩＭＧ４が表示される。表示領域２２５には、右後方カメラＣ５によって撮影され、車両１００の右後方の状況を示す右後方画像ＩＭＧ５が表示される。表示領域２２６には、後方カメラＣ６によって撮影され、車両１００の後方の状況を示す後方画像ＩＭＧ６が表示される。

【0020】

尚、遠隔オペレータ端末２００はタブレット型であってもよい。遠隔オペレータ端末２００の表示装置２２０は、タッチパネルであってもよい。タッチパネルには、遠隔オペレータＯが車両１００を遠隔操作するための操作部２３１、２３２が表示されてもよい。遠隔オペレータＯは、タッチパネル上の操作部２３１、２３２をタッチすることによって、車両１００を遠隔操作することができる。

【0021】

図２で例示された左後方カメラＣ４と右後方カメラＣ５は、車両１００の後側方を撮影するための「後側方カメラ」であると言える。また、図３で例示された左後方画像ＩＭＧ４と右後方画像ＩＭＧ５は、車両１００の後側方の状況を示す「後側方画像」であると言える。表示装置２２０は、後側方カメラによって撮影される後側方画像を表示する。遠隔オペレータＯは、表示される後側方画像を見ることによって、車両１００の後側方の状況を確認することができる。これは、車両１００に搭乗しているドライバがサイドミラーを見て後側方の状況を確認することに相当する。

【0022】

表示装置２２０に表示される後側方画像は、例えば、遠隔オペレータＯが車両１００を左折あるいは右折させる際の安全確認に有用である。一例として、図４は、遠隔オペレータＯが車両１００を左折させるシーンを示している。遠隔オペレータＯは、左後方カメラＣ４によって撮影される左後方画像ＩＭＧ４を見ることによって、車両１００が他の物体Ｘ（例：歩行者、自転車）を巻き込まないように注意することができる。すなわち、遠隔オペレータＯは、左後方画像ＩＭＧ４を見て安全確認を行いながら、車両１００を慎重に左折させることができる。このように、遠隔オペレータＯによる車両１００の遠隔操作が支援される。

【0023】

３．軌跡表示処理
遠隔オペレータＯが車両１００を右折あるいは左折させる際の安全確認をより容易に行うことができることが望まれる。

【0024】

一例として、後側方画像（ＩＭＧ４，ＩＭＧ５）が表示される表示領域（２２４、２２５）を大きくすることが考えられる。但し、表示装置２２０のサイズに制限がある場合もあり、特定の表示領域を自由に拡大することができるとは限らない。また、表示装置２２０のサイズに制限がある場合、特定の表示領域が大きくなると、その分、他の表示領域が小さくなってしまう。他の表示領域が小さくなると、遠隔オペレータＯが遠隔操作を円滑に行いづらくなるおそれがある。

【0025】

そこで、本実施の形態では、別のアプローチが採用される。より詳細には、遠隔オペレータ端末２００の表示装置２２０は、必要に応じて、車両１００の後方における車両１００の軌跡ＴＲを後側方画像（ＩＭＧ４，ＩＭＧ５）に重ねて表示する。車両１００の軌跡ＴＲを後側方画像に重ねて表示することを、以下、「軌跡表示処理」と呼ぶ。軌跡表示処理は、例えば、拡張現実（ＡＲ）技術により実現される。

【0026】

図５は、軌跡表示処理の一例を説明するための概念図である。図５に示される例において、車両１００の軌跡ＴＲは、過去の一定期間内に車両１００が通過した領域である。過去の一定期間内に車両１００が通過した領域を、以下、「通過領域」と呼ぶ。

【0027】

車両位置ＰＶは、車両１００の代表点の位置である。例えば、車両位置ＰＶは、車両１００の中心点の位置である。現在の車両位置ＰＶから見た過去の一定期間における車両位置ＰＶの履歴は、過去の一定期間における車両１００の操舵角と速度に基づいて算出可能である。車幅Ｗは、車両１００の横幅であり、既知情報である。図５に示されるように、通過領域は、車両位置ＰＶの履歴に沿って延在する車幅Ｗの領域である。車両位置ＰＶが車両１００の中心点の位置である場合、通過領域の中心線は車両位置ＰＶの履歴に一致する。車両位置ＰＶの履歴と車両１００の車幅Ｗを組み合わせることによって、過去の一定期間における通過領域を推定することが可能である。

【0028】

他の例として、車両位置ＰＶの履歴から、車両１００の各車輪の位置の履歴が算出されてもよい。車両位置ＰＶから見た各車輪の設置位置は既知情報であり、その既知情報に基づいて各車輪の位置の履歴を算出することができる。この場合、車両１００の全車輪の位置の履歴によって囲まれる領域が、通過領域として用いられる。

【0029】

更に他の例として、絶対座標系における車両位置ＰＶの履歴が用いられてもよい。絶対座標系における車両位置ＰＶは、車両１００に搭載されたＧＮＳＳ（Global Navigation Satellite System）センサによって計測される。あるいは、絶対座標系における車両位置ＰＶは、周知の自己位置推定（Localization）によって算出される。現在の車両位置ＰＶを用いることによって、絶対座標系における車両位置ＰＶの履歴を、現在の車両位置ＰＶから見た車両位置ＰＶの履歴に変換することができる。

【0030】

遠隔オペレータ端末２００の表示装置２２０は、車両１００の通過領域（軌跡ＴＲ）を後側方画像に重ねて表示する。車両１００に搭載された後側方カメラの設置位置、設置向き、及び画角は既知情報である。その既知情報と現在の車両位置ＰＶから見た通過領域を組み合わせることによって、通過領域を後側方画像に重ねて表示することができる。通過領域を後側方画像に重ねることは、例えば拡張現実（ＡＲ）技術に基づいて行われる。図５に示される例では、左後方カメラＣ４によって撮影される左後方画像ＩＭＧ４に通過領域が重ねられる。そして、通過領域が重ねられた左後方画像ＩＭＧ４が表示領域２２４に表示される。

【0031】

遠隔オペレータＯは、通過領域が重ねられた後側方画像を見て、安全確認を行う。他の物体Ｘ（例：歩行者、自転車）が通過領域の外側に映っている場合、車両１００が物体Ｘを巻き込まないように特に注意が必要である。遠隔オペレータＯは、車両１００を停止させてもよい。車両１００の近傍に存在する他の物体Ｘが検知された場合、遠隔オペレータ端末２００は、表示及び音声の少なくとも一方を通して遠隔オペレータＯに注意喚起を行ってもよい。

【0032】

図６は、軌跡表示処理の他の例を説明するための概念図である。図６に示される例において、車両１００の軌跡ＴＲは、上述の通過領域の境界線である。通過領域の境界線の位置は、通過領域の位置から算出可能である。その他は、図５で説明された例と同様である。

【0033】

図７は、軌跡表示処理の更に他の例を説明するための概念図である。図７に示される例では、車両１００は、トラクタ１０１と、トラクタ１０１によって牽引されるトレーラ１０２を含んでいる。後側方カメラは、トラクタ１０１に搭載されている。図７に示される例では、車両１００の軌跡ＴＲは、トレーラ１０２の軌跡ＴＲである。トラクタ１０１とトレーラ１０２との接続態様、トラクタ１０１とトレーラ１０２の各々の車輪の位置、等は既知情報である。その既知情報と車両位置ＰＶに基づいて、トレーラ１０２の軌跡ＴＲを推定することができる。そして、トレーラ１０２の軌跡ＴＲが後側方画像に重ねられる。

【0034】

図８は、軌跡表示処理のＯＮ／ＯＦＦを説明するための概念図である。軌跡表示処理は、所定の軌跡表示条件が成立する場合にのみ選択的に実行されてもよい。例えば、軌跡表示処理は、車両１００の左折あるいは右折と連動して行われる。そのために、車両１００の操舵角、遠隔オペレータＯによる操舵量、あるいは、車両１００のウィンカの作動状態がモニタされる。例えば、車両１００の操舵角が閾値を超えている場合に軌跡表示処理がＯＮし、操舵角が閾値以下である場合に軌跡表示処理がＯＦＦする。他の例として、遠隔オペレータＯによる操舵量が閾値を超えている場合に軌跡表示処理がＯＮし、操舵量が閾値以下である場合に軌跡表示処理がＯＦＦする。更に他の例として、車両１００のウィンカが作動中の場合に軌跡表示処理がＯＮし、ウィンカが作動していない場合は軌跡表示処理がＯＦＦしてもよい。

【0035】

＜効果＞
以上に説明されたように、本実施の形態によれば、車両１００の遠隔操作に用いられる表示装置２２０は、車両１００に搭載された後側方カメラによって撮影される後側方画像を表示する。更に、表示装置２２０は、車両１００の後方における車両１００の軌跡ＴＲを後側方画像に重ねて表示する。遠隔オペレータＯは、車両１００の軌跡ＴＲが重ねられた後側方画像を見ることによって、車両１００の左折あるいは右折時の安全確認をより容易に行うことができる。例えば、他の物体Ｘ（例：歩行者、自転車）が車両１００の軌跡ＴＲの外側に映っている場合、遠隔オペレータＯは、車両１００が物体Ｘを巻き込まないように特に注意を払うことができる。これにより、遠隔オペレータＯは、より安全に車両１００の遠隔操作を行うことが可能となる。

【0036】

また、本実施の形態によれば、後側方画像（ＩＭＧ４，ＩＭＧ５）が表示される表示領域（２２４、２２５）を必要以上に大きくする必要がない。よって、表示装置２２０のサイズに制限がある場合であっても、他の表示領域をいたずらに狭める必要がない。このことは、円滑な遠隔操作の観点から好適である。

【0037】

軌跡表示処理は、所定の軌跡表示条件が成立する場合にのみ選択的に実行されてもよい。この場合、軌跡表示処理が常時実行されるわけではないため、遠隔操作システム１における処理負荷が軽減される。

【0038】

４．機能構成例
図９は、本実施の形態に係る軌跡表示処理に関連する機能構成例を示すブロック図である。遠隔操作システム１は、機能ブロックとして、情報取得部１０、判定部２０、画像処理部３０、及び表示制御部４０を含んでいる。図１０は、本実施の形態に係る軌跡表示処理に関連する処理を示すフローチャートである。以下、図９及び図１０を参照して、本実施の形態に係る軌跡表示装置に関連する処理について説明する。

【0039】

４－１．情報取得処理（ステップＳ１０）
ステップＳ１０において、情報取得部１０は、各種情報を取得する。より詳細には、情報取得部１０は、車両１００に搭載されたカメラＣによって撮影される画像ＩＭＧを取得する。また、情報取得部１０は、車両１００に関する車両情報ＶＣＬを取得する。

【0040】

例えば、車両情報ＶＣＬは、車両１００に搭載された各カメラＣの設置位置、設置向き、及び画角の情報を含んでいる。この情報は、既知情報である。

【0041】

車両情報ＶＣＬは、車両１００の諸元情報を含んでいてもよい。諸元情報は、車幅Ｗ、各車輪の設置位置、ホイールベース、トレッド、等を含む。車両１００がトラクタ１０１とトレーラ１０２を含む場合（図７参照）、車両１００の諸元情報は、トラクタ１０１とトレーラ１０２との接続態様、トラクタ１０１とトレーラ１０２の各々の車輪の位置、等を含んでいてもよい。

【0042】

車両情報ＶＣＬは、車両１００の操舵角と速度の情報を含んでいてもよい。車両１００の操舵角と速度は、センサ検出情報ＳＥＮから得られる。

【0043】

車両情報ＶＣＬは、車両１００のウィンカの作動状態を示す情報を含んでいてもよい。ウィンカの作動状態は、センサ検出情報ＳＥＮから得られる。

【0044】

車両情報ＶＣＬは、絶対座標系における車両位置ＰＶの情報を含んでいてもよい。絶対座標系における車両位置ＰＶは、例えば、車両１００に搭載されたＧＮＳＳセンサによって計測される。

【0045】

情報取得部１０は、更に、車両１００の後方における車両１００の軌跡ＴＲの情報を取得する。図５で示された例では、車両１００の軌跡ＴＲは、過去の一定期間内に車両１００が通過した通過領域である。図６で示された例では、車両１００の軌跡ＴＲは、通過領域の境界線である。図７で示された例では、車両１００の軌跡ＴＲは、トレーラ１０２の軌跡ＴＲである。いずれの場合であっても、情報取得部１０は、上述の車両情報ＶＣＬに基づいて、車両１００の軌跡ＴＲを算出（推定）することができる。

【0046】

情報取得部１０は、更に、遠隔操作情報ＯＰＥを取得してもよい。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量（例：操舵量）を含む。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる方向指示器の操作状態を含んでいてもよい。

【0047】

４－２．判定処理（ステップＳ２０）
ステップＳ２０において、判定部２０は、所定の軌跡表示条件が成立するか否かを判定する。

【0048】

例えば、所定の軌跡表示条件は、「車両１００の操舵角あるいは遠隔オペレータＯによる操舵量が閾値を超えていること」である。車両１００の操舵角は、上述の車両情報ＶＣＬに含まれている。遠隔オペレータＯによる操舵量は、遠隔操作情報ＯＰＥに含まれている。車両１００の操舵角は、遠隔オペレータＯによる操舵量から算出されてもよい。判定部２０は、車両情報ＶＣＬあるいは遠隔操作情報ＯＰＥに基づいて、車両１００の操舵角あるいは遠隔オペレータＯによる操舵量が閾値を超えているか否かを判定することができる。

【0049】

他の例として、所定の軌跡表示条件は、「車両１００のウィンカが作動中であること」である。車両１００のウィンカの作動状態は、上述の車両情報ＶＣＬから得られる。あるいは、遠隔オペレータＯによる方向指示器の操作状態が、車両１００のウィンカの作動状態とみなされてもよい。判定部２０は、車両情報ＶＣＬあるいは遠隔操作情報ＯＰＥに基づいて、車両１００のウィンカが作動中であるか否かを判定することができる。

【0050】

更に他の例として、所定の軌跡表示条件は、遠隔オペレータＯが軌跡表示機能をＯＮしていることを含んでいてもよい。

【0051】

所定の軌跡表示条件が成立する場合（ステップＳ２０；Ｙｅｓ）、処理は、ステップＳ３０に進む。一方、所定の軌跡表示条件が成立しない場合（ステップＳ２０；Ｎｏ）、処理は、ステップＳ３５に進む。

【0052】

４－３．画像処理（ステップＳ３０、Ｓ３５）
ステップＳ３０において、画像処理部３０は、後側方カメラによって撮影された後側方画像に車両１００の軌跡ＴＲを重ね合わせる。車両１００に搭載された後側方カメラの設置位置、設置向き、及び画角は、車両情報ＶＣＬから得られる。よって、画像処理部３０は、画像ＩＭＧ、軌跡ＴＲ、及び車両情報ＶＣＬに基づいて、後側方画像に車両１００の軌跡ＴＲを重ね合わせることができる。画像処理部３０は、車両１００の軌跡ＴＲが重ねられた後側方画像を含む画像ＩＭＧを表示制御部４０に出力する。

【0053】

一方、ステップＳ３５において、画像処理部３０は、後側方画像に車両１００の軌跡ＴＲを重ね合わせない。画像処理部３０は、画像ＩＭＧをそのまま表示制御部４０に出力する。

【0054】

４－４．表示制御処理（ステップＳ４０）
ステップＳ４０において、表示制御部４０は、遠隔オペレータ端末２００の表示装置２２０に画像ＩＭＧを表示する。車両１００の軌跡ＴＲが後側方画像に重ねられている場合、表示制御部４０は、車両１００の軌跡ＴＲが重ねられた後側方画像を表示装置２２０に表示する。一方、車両１００の軌跡ＴＲが後側方画像に重ねられていない場合、表示制御部４０は、後側方画像をそのまま表示装置２２０に表示する。

【0055】

尚、図１で示されたように、車両１００、遠隔オペレータ端末２００、及び管理装置３００は、通信ネットワークを介して互いに通信可能であり、必要な情報をやり取り可能である。よって、情報取得部１０は、車両１００、遠隔オペレータ端末２００、及び管理装置３００のいずれに含まれていてもよい。同様に、判定部２０は、車両１００、遠隔オペレータ端末２００、及び管理装置３００のいずれに含まれていてもよい。同様に、画像処理部３０は、車両１００、遠隔オペレータ端末２００、及び管理装置３００のいずれに含まれていてもよい。表示制御部４０は、遠隔オペレータ端末２００に含まれている。

【0056】

５．車両の構成例
５－１．構成例
図１１は、車両１００の構成例を示すブロック図である。車両１００は、通信装置１１０、センサ群１２０、走行装置１３０、及び制御装置１５０を備えている。

【0057】

通信装置１１０は、車両１００の外部と通信を行う。例えば、通信装置１１０は、遠隔オペレータ端末２００や管理装置３００と通信を行う。

【0058】

センサ群１２０は、認識センサ、車両状態センサ、位置センサ、等を含んでいる。認識センサは、車両１００の周辺の状況を認識（検出）する。認識センサとしては、カメラＣ、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、レーダ、等が例示される。車両状態センサは、車両１００の状態を検出する。車両状態センサは、速度センサ、加速度センサ、ヨーレートセンサ、舵角センサ、等を含んでいる。位置センサは、車両１００の位置及び方位を検出する。例えば、位置センサは、ＧＮＳＳセンサを含んでいる。

【0059】

走行装置１３０は、操舵装置、駆動装置、及び制動装置を含んでいる。操舵装置は、車輪を転舵する。例えば、操舵装置は、パワーステアリング（EPS: Electric Power Steering）装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジン、電動機、インホイールモータ、等が例示される。制動装置は、制動力を発生させる。

【0060】

制御装置１５０は、車両１００を制御するコンピュータである。制御装置１５０は、１又は複数のプロセッサ１６０（以下、単にプロセッサ１６０と呼ぶ）と１又は複数の記憶装置１７０（以下、単に記憶装置１７０と呼ぶ）を含んでいる。プロセッサ１６０は、各種処理を実行する。プロセッサ１６０として、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、等が例示される。記憶装置１７０は、各種情報を格納する。記憶装置１７０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。制御装置１５０は、１又は複数のＥＣＵ（Electronic Control Unit）を含んでいてもよい。

【0061】

車両制御プログラムＰＲＯＧ１は、プロセッサ１６０によって実行されるコンピュータプログラムである。車両制御プログラムＰＲＯＧ１を実行するプロセッサ１６０と記憶装置１７０との協働により、制御装置１５０の機能が実現されてもよい。車両制御プログラムＰＲＯＧ１は、記憶装置１７０に格納される。あるいは、車両制御プログラムＰＲＯＧ１は、コンピュータ読み取り可能な記録媒体に記録されてもよい。

【0062】

５－２．センサ検出情報
制御装置１５０は、センサ群１２０を用いてセンサ検出情報ＳＥＮを取得する。センサ検出情報ＳＥＮは、記憶装置１７０に格納される。センサ検出情報ＳＥＮは、画像ＩＭＧ、物体情報、等を含んでいる。画像ＩＭＧは、カメラＣによって撮影される。

【0063】

物体情報は、車両１００の周囲の物体に関する情報である。車両１００の周囲の物体としては、歩行者、自転車、二輪車、他車両（先行車両、並走車両、後続車両、等）、白線、道路構造物（例：縁石、ガードレール）、ポール、信号、標識、等が例示される。制御装置１５０は、認識センサを用いることによって車両１００の周囲の物体を認識することができる。例えば、画像ＩＭＧを解析することによって、物体を識別し、その物体の相対位置を算出することができる。また、ＬＩＤＡＲによって得られた点群情報に基づいて、物体を識別し、その物体の相対位置と相対速度を取得することもできる。物体情報は、車両１００に対する物体の相対位置を含む。物体情報は、更に、物体の相対速度を含んでいてもよい。

【0064】

５－３．車両走行制御
制御装置１５０は、車両１００の走行を制御する車両走行制御を実行する。車両走行制御は、操舵制御、駆動制御、及び制動制御を含む。制御装置１５０は、走行装置１３０（操舵装置、駆動装置、及び制動装置）を制御することによって車両走行制御を実行する。

【0065】

制御装置１５０は、センサ検出情報ＳＥＮに基づいて自動運転制御を行ってもよい。より詳細には、制御装置１５０は、センサ検出情報ＳＥＮに基づいて、車両１００の走行プランを生成する。更に、制御装置１５０は、センサ検出情報ＳＥＮに基づいて、車両１００が走行プランに従って走行するために必要な目標トラジェクトリを生成する。目標トラジェクトリは、目標位置及び目標速度を含んでいる。そして、制御装置１５０は、車両１００が目標トラジェクトリに追従するように車両走行制御を行う。

【0066】

５－４．遠隔操作に関連する処理
車両１００の遠隔操作が行われる場合、制御装置１５０は、通信装置１１０を介して遠隔オペレータ端末２００と通信を行う。

【0067】

制御装置１５０は、センサ検出情報ＳＥＮの少なくとも一部を遠隔オペレータ端末２００に送信する。典型的には、制御装置１５０は、画像ＩＭＧを遠隔オペレータ端末２００に送信する。制御装置１５０は、物体情報を遠隔オペレータ端末２００に送信してもよい。制御装置１５０は、車両情報ＶＣＬを遠隔オペレータ端末２００に送信してもよい。

【0068】

また、制御装置１５０は、遠隔操作情報ＯＰＥを遠隔オペレータ端末２００から受信する。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。制御装置１５０は、受信した遠隔操作情報ＯＰＥに従って車両走行制御を行う。

【0069】

更に、制御装置１５０は、図９で示された情報取得部１０、判定部２０、及び画像処理部３０のうち少なくとも１つの機能を備えていてもよい。

【0070】

６．遠隔オペレータ端末の構成例
図１２は、遠隔オペレータ端末２００の構成例を示すブロック図である。遠隔オペレータ端末２００は、通信装置２１０、表示装置２２０、入力装置２３０、及び制御装置２５０を含んでいる。

【0071】

通信装置２１０は、車両１００及び管理装置３００と通信を行う。

【0072】

表示装置２２０は、遠隔操作を行う遠隔オペレータＯに対する各種情報を表示する。言い換えれば、表示装置２２０は、各種情報を表示することにより、各種情報を遠隔オペレータＯに提示する。表示装置２２０は、タッチパネルであってもよい（図３参照）。

【0073】

入力装置２３０は、遠隔オペレータＯが車両１００を遠隔操作する際に操作する部材である。例えば、入力装置２３０は、遠隔操作部材を含んでいる。遠隔操作部材は、ハンドル、アクセルペダル、ブレーキペダル、方向指示器、等を含んでいる。

【0074】

表示装置２２０と入力装置２３０は、一体的に構成されたユーザインタフェースであってもよい。例えば、表示装置２２０と入力装置２３０は、一体的に構成されたタッチパネルであってもよい。タッチパネルは、表示領域（表示部）２２１～２２６や操作部２３１、２３２を含んでいてもよい（図３参照）。

【0075】

制御装置２５０は、遠隔オペレータ端末２００を制御する。制御装置２５０は、１又は複数のプロセッサ２６０（以下、単にプロセッサ２６０と呼ぶ）と１又は複数の記憶装置２７０（以下、単に記憶装置２７０と呼ぶ）を含んでいる。プロセッサ２６０は、各種処理を実行する。プロセッサ２６０として、ＣＰＵ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ、等が例示される。記憶装置２７０は、プ各種情報を格納する。記憶装置２７０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。

【0076】

遠隔操作制御プログラムＰＲＯＧ２は、プロセッサ２６０によって実行されるコンピュータプログラムである。遠隔操作制御プログラムＰＲＯＧ２を実行するプロセッサ２６０と記憶装置２７０の協働により、制御装置２５０の機能が実現されてもよい。遠隔操作制御プログラムＰＲＯＧ２は、記憶装置２７０に格納される。あるいは、遠隔操作制御プログラムＰＲＯＧ２は、コンピュータ読み取り可能な記録媒体に記録されてもよい。遠隔操作制御プログラムＰＲＯＧ２は、ネットワーク経由で提供されてもよい。

【0077】

制御装置２５０は、通信装置２１０を介して、車両１００と通信を行う。制御装置２５０は、車両１００から送信されるセンサ検出情報ＳＥＮを受信する。制御装置２５０は、受信したセンサ検出情報ＳＥＮのうち必要な情報を遠隔オペレータＯに提示する。例えば、制御装置２５０は、画像ＩＭＧを表示装置２２０に表示することによって、画像ＩＭＧを遠隔オペレータＯに提示する。つまり、制御装置２５０は、図９で示された表示制御部４０の機能を有する。遠隔オペレータＯは、提示された情報に基づいて、車両１００の状態や周囲の状況を認識することができる。

【0078】

遠隔オペレータＯは、入力装置２３０を操作する。入力装置２３０の操作量は、入力装置２３０に設置されたセンサにより検出される。制御装置２５０は、遠隔オペレータＯによる入力装置２３０の操作量を反映した遠隔操作情報ＯＰＥを生成する。そして、制御装置２５０は、その遠隔操作情報ＯＰＥを通信装置２１０を介して車両１００に送信する。

【0079】

更に、制御装置２５０は、図９で示された情報取得部１０、判定部２０、及び画像処理部３０のうち少なくとも１つの機能を備えていてもよい。

【符号の説明】

【0080】

１ 遠隔操作システム
１０ 情報取得部
２０ 判定部
３０ 画像処理部
４０ 表示制御部
１００ 車両
１０１ トラクタ
１０２ トレーラ
２００ 遠隔オペレータ端末
２２０ 表示装置
２５０ 制御装置
２６０ プロセッサ
２７０ 記憶装置
３００ 管理装置
ＩＭＧ 画像
ＯＰＥ 遠隔操作情報
ＳＥＮ センサ検出情報
ＴＲ 軌跡
ＶＣＬ 車両情報

【要約】

【課題】遠隔オペレータが移動体を右折あるいは左折させる際の安全確認をより容易に行うことができる技術を提供する。
【解決手段】遠隔オペレータ端末は、移動体の遠隔操作を行う遠隔オペレータによって用いられる。遠隔オペレータ端末は、移動体に搭載された後側方カメラによって撮影される後側方画像を表示する表示装置を備える。表示装置は、更に、移動体の後方における移動体の軌跡を後側方画像に重ねて表示する。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】