特許 7668966 遠隔操縦装置および遠隔操縦システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-04-17

(45)【発行日】2025-04-25

(54)【発明の名称】遠隔操縦装置および遠隔操縦システム

(51)【国際特許分類】

   B62D 1/28 20060101AFI20250418BHJP

   B62D 6/00 20060101ALI20250418BHJP

   B62D 13/00 20060101ALI20250418BHJP

【ＦＩ】

B62D1/28

B62D6/00

B62D13/00

【請求項の数】 12

(21)【出願番号】P 2024534557

(86)(22)【出願日】2024-02-14

(86)【国際出願番号】 JP2024005012

【審査請求日】2024-06-10

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100088672

【弁理士】

【氏名又は名称】吉竹 英俊

(74)【代理人】

【識別番号】100088845

【弁理士】

【氏名又は名称】有田 貴弘

(72)【発明者】

【氏名】亀岡 翔太

(72)【発明者】

【氏名】田▲崎▼ 勇一

(72)【発明者】

【氏名】横小路 泰義

(72)【発明者】

【氏名】永野 光

【審査官】瀬戸 康平

(56)【参考文献】

【文献】特開２０２２－１４５６５１（ＪＰ，Ａ）

【文献】特許第６９３８７９３（ＪＰ，Ｂ２）

【文献】米国特許出願公開第２０１５／０１１５５７１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／００５２５４８（ＵＳ，Ａ１）

【文献】特表２０２２－５１０４５０（ＪＰ，Ａ）

【文献】特表２００７－５０３３５２（ＪＰ，Ａ）

【文献】特開平０９－１３６６６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｒ ９９／００

Ｂ６０Ｗ ３０／０６

Ｂ６２Ｄ １／２８， ６／００，１３／００，１５／０２

(57)【特許請求の範囲】

【請求項1】

牽引車両を遠隔操縦して被牽引車両に連結させる遠隔操縦装置であって、
予め定められた条件を満たした場合に前記遠隔操縦の制御に切り替えられた前記牽引車両に対するオペレータの操縦を操縦量として取得する操縦検出部と、
前記遠隔操縦を行うか否かの設定を含む遠隔操縦情報を受け付ける入力検出部と、
前記操縦量および前記遠隔操縦情報を送信する送信部と、
前記牽引車両の後方の後方画像情報と、内界センサが検出した前記牽引車両のセンサ情報とを受信する受信部と、
前記操縦量、前記センサ情報、および前記牽引車両の運動モデルに基づいて、前記牽引車両における予め定められた部分の予測軌道を軌道情報として演算する軌道演算部と、
前記後方画像情報に前記軌道情報を重畳して前記オペレータに提示する提示画像を生成する画像生成部と、
を備え、
前記後方画像情報に基づいて前記被牽引車両の連結部の位置を被牽引車両情報として認識する認識部をさらに備え、
前記画像生成部は、前記後方画像情報に前記被牽引車両情報をさらに重畳した前記提示画像を生成する、遠隔操縦装置。

【請求項2】

牽引車両を遠隔操縦して被牽引車両に連結させる遠隔操縦装置であって、
予め定められた条件を満たした場合に前記遠隔操縦の制御に切り替えられた前記牽引車両に対するオペレータの操縦を操縦量として取得する操縦検出部と、
前記遠隔操縦を行うか否かの設定を含む遠隔操縦情報を受け付ける入力検出部と、
前記操縦量および前記遠隔操縦情報を送信する送信部と、
前記牽引車両の後方の後方画像情報と、内界センサが検出した前記牽引車両のセンサ情報とを受信する受信部と、
前記操縦量、前記センサ情報、および前記牽引車両の運動モデルに基づいて、前記牽引車両における予め定められた部分の予測軌道を軌道情報として演算する軌道演算部と、
前記後方画像情報に前記軌道情報を重畳して前記オペレータに提示する提示画像を生成する画像生成部と、
を備え、
前記受信部は、前記牽引車両の前方の前方画像情報をさらに受信し、
前記軌道演算部は、前進時には前記牽引車両における予め定められた部分である車輪の予測軌道を前記軌道情報として演算し、後進時には前記牽引車両における予め定められた部分である連結部の予測軌道を前記軌道情報として演算し、
前記画像生成部は、前進時には前記前方画像情報に前記軌道情報である前記車輪の予測軌道を重畳した前記提示画像を生成し、後進時には前記後方画像情報に前記軌道情報である前記連結部の予測軌道を重畳した前記提示画像を生成する、遠隔操縦装置。

【請求項3】

牽引車両を遠隔操縦して被牽引車両に連結させる遠隔操縦装置であって、
前記遠隔操縦を行うオペレータの操舵および加減速を含む操縦を操縦量として取得する操縦検出部と、
前記操縦量を送信する送信部と、
前記牽引車両の後方の後方画像情報と、内界センサが検出した前記牽引車両のセンサ情報とを受信する受信部と、
前記操縦量、前記センサ情報、および前記牽引車両の運動モデルに基づいて、前記牽引車両における予め定められた部分の予測軌道を軌道情報として演算する軌道演算部と、
前記後方画像情報に前記軌道情報を重畳して前記オペレータに提示する提示画像を生成する画像生成部と、
を備え、
前記後方画像情報に基づいて前記被牽引車両の連結部の位置を被牽引車両情報として認識する認識部をさらに備え、
前記画像生成部は、前記後方画像情報に前記被牽引車両情報をさらに重畳した前記提示画像を生成する、遠隔操縦装置。

【請求項4】

牽引車両を遠隔操縦して被牽引車両に連結させる遠隔操縦装置であって、
前記遠隔操縦を行うオペレータの操舵および加減速を含む操縦を操縦量として取得する操縦検出部と、
前記操縦量を送信する送信部と、
前記牽引車両の後方の後方画像情報と、内界センサが検出した前記牽引車両のセンサ情報とを受信する受信部と、
前記操縦量、前記センサ情報、および前記牽引車両の運動モデルに基づいて、前記牽引車両における予め定められた部分の予測軌道を軌道情報として演算する軌道演算部と、
前記後方画像情報に前記軌道情報を重畳して前記オペレータに提示する提示画像を生成する画像生成部と、
を備え、
前記受信部は、前記牽引車両の前方の前方画像情報をさらに受信し、
前記軌道演算部は、前進時には前記牽引車両における予め定められた部分である車輪の予測軌道を前記軌道情報として演算し、後進時には前記牽引車両における予め定められた部分である連結部の予測軌道を前記軌道情報として演算し、
前記画像生成部は、前進時には前記前方画像情報に前記軌道情報である前記車輪の予測軌道を重畳した前記提示画像を生成し、後進時には前記後方画像情報に前記軌道情報である前記連結部の予測軌道を重畳した前記提示画像を生成する、遠隔操縦装置。

【請求項5】

前記軌道演算部は、前記操縦量、前記センサ情報、および前記牽引車両と当該牽引車両に連結されている１台以上の被牽引車両とを含む連結車両の運動モデルに基づいて、前記予測軌道を演算する、請求項１から４のいずれか１項に記載の遠隔操縦装置。

【請求項6】

前記条件は、前記牽引車両を自動制御から前記遠隔操縦に切り替えるための条件である、請求項１または２に記載の遠隔操縦装置。

【請求項7】

前記軌道情報および前記被牽引車両情報に基づいて、前記牽引車両における予め定められた部分である第１連結部と、前記被牽引車両の連結部である第２連結部との間の偏差を偏差情報として計算する偏差計算部をさらに備え、
前記画像生成部は、前記後方画像情報に前記偏差情報をさらに重畳した前記提示画像を生成する、請求項１または３に記載の遠隔操縦装置。

【請求項8】

前記後方画像情報および前記センサ情報を受信する際に使用するネットワークの通信遅延を計測する通信遅延計測部と、
前記軌道情報および前記通信遅延に基づいて、前記第１連結部の位置を予測位置として予測する位置予測部と、
をさらに備え、
前記画像生成部は、前記後方画像情報に前記予測位置をさらに重畳した前記提示画像を生成する、請求項７に記載の遠隔操縦装置。

【請求項9】

牽引車両を遠隔操縦して被牽引車両に連結させる遠隔操縦システムであって、
オペレータの操縦を操縦量として取得する操縦検出部と、
前記遠隔操縦を行うか否かの設定を含む遠隔操縦情報を受け付ける入力検出部と、
前記操縦量を、前記牽引車両を制御するための第１アクチュエータ指令値に変換する指令値変換部と、
前記牽引車両を自動制御するための第２アクチュエータ指令値を演算するとともに、予め定められた条件を満たしたか否かを判定する自動制御部と、
前記遠隔操縦情報に基づいて、前記第１アクチュエータ指令値または前記第２アクチュエータ指令値を選択して前記牽引車両のアクチュエータに出力する設定部と、
前記操縦量、内界センサが検出した前記牽引車両のセンサ情報、および前記牽引車両の運動モデルに基づいて、前記牽引車両における予め定められた部分の予測軌道を軌道情報として演算する軌道演算部と、
前記牽引車両の後方の後方画像情報に前記軌道情報を重畳して前記オペレータに提示する提示画像を生成する画像生成部と、
を備え、
前記後方画像情報に基づいて前記被牽引車両の連結部の位置を被牽引車両情報として認識する認識部をさらに備え、
前記画像生成部は、前記後方画像情報に前記被牽引車両情報をさらに重畳した前記提示画像を生成する、遠隔操縦システム。

【請求項10】

牽引車両を遠隔操縦して被牽引車両に連結させる遠隔操縦システムであって、
オペレータの操縦を操縦量として取得する操縦検出部と、
前記遠隔操縦を行うか否かの設定を含む遠隔操縦情報を受け付ける入力検出部と、
前記操縦量を、前記牽引車両を制御するための第１アクチュエータ指令値に変換する指令値変換部と、
前記牽引車両を自動制御するための第２アクチュエータ指令値を演算するとともに、予め定められた条件を満たしたか否かを判定する自動制御部と、
前記遠隔操縦情報に基づいて、前記第１アクチュエータ指令値または前記第２アクチュエータ指令値を選択して前記牽引車両のアクチュエータに出力する設定部と、
前記操縦量、内界センサが検出した前記牽引車両のセンサ情報、および前記牽引車両の運動モデルに基づいて、前記牽引車両における予め定められた部分の予測軌道を軌道情報として演算する軌道演算部と、
前記牽引車両の後方の後方画像情報に前記軌道情報を重畳して前記オペレータに提示する提示画像を生成する画像生成部と、
を備え、
前記軌道演算部は、前進時には前記牽引車両における予め定められた部分である車輪の予測軌道を前記軌道情報として演算し、後進時には前記牽引車両における予め定められた部分である連結部の予測軌道を前記軌道情報として演算し、
前記画像生成部は、前進時には前記牽引車両の前方の前方画像情報に前記軌道情報である前記車輪の予測軌道を重畳した前記提示画像を生成し、後進時には前記後方画像情報に前記軌道情報である前記連結部の予測軌道を重畳した前記提示画像を生成する、遠隔操縦システム。

【請求項11】

牽引車両を遠隔操縦して被牽引車両に連結させる遠隔操縦システムであって、
前記遠隔操縦を行うオペレータの操舵および加減速を含む操縦を操縦量として取得する操縦検出部と、
前記操縦量を、前記牽引車両を制御するためのアクチュエータ指令値に変換する指令値変換部と、
前記操縦量、内界センサが検出した前記牽引車両のセンサ情報、および前記牽引車両の運動モデルに基づいて、前記牽引車両における予め定められた部分の予測軌道を軌道情報として演算する軌道演算部と、
前記牽引車両の後方の後方画像情報に前記軌道情報を重畳して前記オペレータに提示する提示画像を生成する画像生成部と、
を備え、
前記後方画像情報に基づいて前記被牽引車両の連結部の位置を被牽引車両情報として認識する認識部をさらに備え、
前記画像生成部は、前記後方画像情報に前記被牽引車両情報をさらに重畳した前記提示画像を生成する、遠隔操縦システム。

【請求項12】

牽引車両を遠隔操縦して被牽引車両に連結させる遠隔操縦システムであって、
前記遠隔操縦を行うオペレータの操舵および加減速を含む操縦を操縦量として取得する操縦検出部と、
前記操縦量を、前記牽引車両を制御するためのアクチュエータ指令値に変換する指令値変換部と、
前記操縦量、内界センサが検出した前記牽引車両のセンサ情報、および前記牽引車両の運動モデルに基づいて、前記牽引車両における予め定められた部分の予測軌道を軌道情報として演算する軌道演算部と、
前記牽引車両の後方の後方画像情報に前記軌道情報を重畳して前記オペレータに提示する提示画像を生成する画像生成部と、
を備え、
前記軌道演算部は、前進時には前記牽引車両における予め定められた部分である車輪の予測軌道を前記軌道情報として演算し、後進時には前記牽引車両における予め定められた部分である連結部の予測軌道を前記軌道情報として演算し、
前記画像生成部は、前進時には前記牽引車両の前方の前方画像情報に前記軌道情報である前記車輪の予測軌道を重畳した前記提示画像を生成し、後進時には前記後方画像情報に前記軌道情報である前記連結部の予測軌道を重畳した前記提示画像を生成する、遠隔操縦システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、牽引車両を遠隔操縦して被牽引車両に連結させる遠隔操縦装置および遠隔操縦システムに関する。

【背景技術】

【0002】

従来、牽引車両（トラクタとも呼ばれる）と被牽引車両（トレーラとも呼ばれる）とを連結する連結作業を支援する技術が開示されている。

【0003】

例えば、後方に取り付けたカメラの画像情報に基づいてトラクタを制御することによって、トラクタとトレーラとの連結作業を自動化する技術が開示されている（例えば、特許文献１参照）。また、操作者が入力装置を介してあたかもトレーラを単体車両として操舵するかのような感覚で操縦することが可能となるように、トレーラに対して仮想的な目標操舵角を設定し、この目標操舵角に追従するようにトラクタを制御する技術が開示されている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６９３８７９３号公報

【文献】国際公開第２０２２／２７０３２２号

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の技術は、省人化のためにトラクタを無人にして連結作業を完全無人化する際、自動制御による連結作業が失敗した場合は現場に補助員を派遣する必要があるため、省人化の効果が低くなる。また、特許文献２の技術は、トラクタとトレーラとが連結されている状態で操作することが前提となっており、トラクタとトレーラとを連結する連結作業には利用することができない。

【0006】

本開示は、このような問題を解決するためになされたものであり、自動制御による連結作業が失敗した場合であっても現場に補助員を派遣することなく牽引車両と被牽引車両との連結作業を行うことが可能な遠隔操縦装置および遠隔操縦システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本開示による遠隔操縦装置は、牽引車両を遠隔操縦して被牽引車両に連結させる遠隔操縦装置であって、予め定められた条件を満たした場合に遠隔操縦の制御に切り替えられた牽引車両に対するオペレータの操縦を操縦量として取得する操縦検出部と、遠隔操縦を行うか否かの設定を含む遠隔操縦情報を受け付ける入力検出部と、操縦量および遠隔操縦情報を送信する送信部と、牽引車両の後方の後方画像情報と、内界センサが検出した牽引車両のセンサ情報とを受信する受信部と、操縦量、センサ情報、および牽引車両の運動モデルに基づいて、牽引車両における予め定められた部分の予測軌道を軌道情報として演算する軌道演算部と、後方画像情報に軌道情報を重畳してオペレータに提示する提示画像を生成する画像生成部とを備え、後方画像情報に基づいて被牽引車両の連結部の位置を被牽引車両情報として認識する認識部をさらに備え、画像生成部は、後方画像情報に被牽引車両情報をさらに重畳した提示画像を生成する。

【発明の効果】

【0008】

本開示によれば、自動制御による連結作業が失敗した場合であっても現場に補助員を派遣することなく牽引車両と被牽引車両との連結作業を行うことが可能となる。

【0009】

本開示の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１に係る遠隔操縦システムの構成の一例を示す図である。

【図2】実施の形態１に係る遠隔操縦システムの構成の一例を示す図である。

【図3】実施の形態１に係る遠隔操縦装置の構成の一例を示すブロック図である。

【図4】実施の形態１に係る連結車両の運動モデルを説明するための図である。

【図5】実施の形態１に係る牽引車両の運動モデルを説明するための図である。

【図6】実施の形態１に係る連結車両の運動モデルを説明するための図である。

【図7】実施の形態１に係る牽引車両制御装置の構成の一例を示すブロック図である。

【図8】実施の形態１に係る遠隔操縦装置の動作の一例を示すフローチャートである。

【図9】実施の形態１に係る画像表示装置に表示される提示画像の一例を示す図である。

【図10】実施の形態１に係る画像表示装置に表示される提示画像の一例を示す図である。

【図11】実施の形態１に係る牽引車両制御装置の動作の一例を示すフローチャートである。

【図12】実施の形態２に係る遠隔操縦装置の構成の一例を示すブロック図である。

【図13】実施の形態２に係る遠隔操縦装置の動作の一例を示すフローチャートである。

【図14】実施の形態２に係る画像表示装置に表示される提示画像の一例を示す図である。

【図15】実施の形態３に係る遠隔操縦装置の構成の一例を示すブロック図である。

【図16】実施の形態３に係る偏差を説明するための図である。

【図17】実施の形態３に係る遠隔操縦装置の動作の一例を示すフローチャートである。

【図18】実施の形態３に係る画像表示装置に表示される提示画像の一例を示す図である。

【図19】実施の形態４に係る遠隔操縦装置の構成の一例を示すブロック図である。

【図20】実施の形態４に係る遠隔操縦装置の動作の一例を示すフローチャートである。

【図21】実施の形態４に係る画像表示装置に表示される提示画像の一例を示す図である。

【図22】実施の形態４に係る画像表示装置に表示される提示画像の一例を示す図である。

【図23】実施の形態１～４に係る遠隔操縦装置のハードウェア構成の一例を示すブロック図である。

【図24】実施の形態１～４に係る遠隔操縦装置のハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0011】

＜実施の形態１＞
＜遠隔操縦システムの構成＞
図１は、実施の形態１に係る遠隔操縦システムの構成の一例を示す図である。遠隔操縦システムは、遠隔操縦装置１、牽引車両制御装置７、および牽引車両８で構成されている。遠隔操縦装置１は、牽引車両８を遠隔操縦して被牽引車両１２に連結させる。遠隔操縦装置１と牽引車両制御装置７とは、ネットワーク６を介して通信可能に接続されている。ネットワーク６は、複数の構成要素をケーブルや電波などで相互に接続し、データを送受信することができる。ネットワーク６には、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、電話回線、無線通信など様々な方式がある。

【0012】

例えば、牽引車両制御装置７は、牽引車両８に設置された後方カメラ１０が撮影した画像情報（後方画像）を遠隔操縦装置１に送信する。遠隔操縦装置１は、牽引車両制御装置７から受信した画像情報を加工した提示画像を画像表示装置２に表示するよう制御する。オペレータ５は、画像表示装置２に表示された提示画像を見ながら操縦装置３を操縦する。遠隔操縦装置１は、オペレータ５が操縦装置３を操縦した操縦量を牽引車両制御装置７に送信する。牽引車両制御装置７は、遠隔操縦装置１から受信した操縦量に基づいて牽引車両８のアクチュエータを制御する。これにより、オペレータ５の遠隔操縦によって、牽引車両８のカプラ１１を被牽引車両１２のキングピン１３に連結することができる。

【0013】

遠隔操縦装置１は、画像表示装置２、操縦装置３、および入力装置４に通信可能に接続されている。遠隔操縦装置１は、牽引車両制御装置７から受信した画像情報を加工した提示画像を画像表示装置２に表示するよう制御する。オペレータ５は、画像表示装置２に表示された提示画像を見て、操縦装置３を操縦（遠隔操縦）し、あるいは入力装置４を操作する。遠隔操縦装置１は、オペレータ５が操縦装置３を操縦した操縦量、およびオペレータ５が入力装置４を用いて設定した遠隔操縦情報を牽引車両制御装置７に送信する。

【0014】

操縦装置３は、例えば、ステアリング、アクセル、ブレーキ、およびシフトなど実際の車両の操縦機構を模したものである。また、操縦装置３は、タブレットまたはジョイスティックなどであってもよい。

【0015】

入力装置４は、タブレットまたはスイッチなどで構成され、オペレータ５が入力した遠隔操縦情報を検出する。遠隔操縦情報は、駐車、前進、および後退などを含むシフト操作と、遠隔操縦のオンまたはオフの情報とを含む。

【0016】

牽引車両８は、牽引車両８の前方を撮影する前方カメラ９と、牽引車両８の後方を撮影する後方カメラ１０とを設置している。なお、前方カメラ９および後方カメラ１０は、牽引車両８に設置せず、路側に設置されてもよい。前方カメラ９および後方カメラ１０を路側に設置する場合は、視点変換などの技術を用いて牽引車両８の前方または後方の画像に変換する。なお、牽引車両８には、前方カメラ９および後方カメラ１０に限らず、ＬｉＤＡＲ（Light Detection and Ranging）またはレーダーなど、オペレータ５が連結部の周辺を認識できる外界センサを設置すればよい。

【0017】

牽引車両制御装置７は、牽引車両８に設置された前方カメラ９または後方カメラ１０の画像情報を遠隔操縦装置１に送信する。また、牽引車両制御装置７は、遠隔操縦装置１から受信した操縦量に基づいて牽引車両８を制御する。なお、牽引車両制御装置７は、前方カメラ９または後方カメラ１０の画像情報に基づいて牽引車両８を自動制御する場合もある。

【0018】

牽引車両８には、前方カメラ９、後方カメラ１０、およびモータなどで構成される操舵アクチュエータと、エンジン、モータ、およびブレーキで構成される加減速アクチュエータとが設置されている。操舵アクチュエータおよび加減速アクチュエータは、操縦量に基づいて動作する。また、牽引車両８には、被牽引車両１２との連結のために使用されるカプラ１１（連結部）が設置されている。

【0019】

被牽引車両１２には、牽引車両８との連結のために使用されるキングピン１３（連結部）が設置されている。図１に示すように、キングピン１３は、被牽引車両１２の下から覗き込まないと見えない場合がある。

【0020】

図２は、実施の形態１に係る遠隔操縦システムの構成の一例を示す図であり、被牽引車両が２台ある場合を示している。

【0021】

図２の例では、連結車両８に被牽引車両１４が連結されている状態を示している。オペレータ５は、遠隔操縦することによって、被牽引車両１４のヒッチレシーバ１６を被牽引車両１７のトレーラヒッチ１８に連結させる。この場合、画像表示装置２に表示される提示画像には、被牽引車両１４に設置された後方カメラ１５が撮影した後方画像が含まれている。なお、牽引車両８に２台の被牽引車両１４，１７が連結された状態で被牽引車両１７にさらに他の被牽引車両を連結させる場合も同様に、オペレータ５は、被牽引車両１７に設置された後方カメラ（図示せず）が撮影した後方画像を含む提示画像を見ながら遠隔操縦すればよい。

【0022】

なお、牽引車両８としては、例えば、自動車、クロスオーバー、トラック、バン、スポーツユーティリティビークル（ＳＵＶ）、レクリエーショナルビークル（ＲＶ）、あるいは、被牽引車両を牽引することが可能に構成された任意の車両などが挙げられる。

【0023】

また、被牽引車両１２，１４，１７は、通常、牽引車両に牽引される無動力車両である。被牽引車両１２，１４，１７としては、例えば、ユーティリティトレーラ、ポップアップキャンピングカー、旅行用トレーラ、家畜用トレーラ、フラットベッドトレーラ、密閉型自動車運搬車、およびボートトレーラなどが挙げられる。

【0024】

図１において、牽引車両８および被牽引車両１２は連結車両を構成する。また、図２において、牽引車両８および被牽引車両１４，１７は連結車両を構成する。連結車両は、牽引車両と１台以上の被牽引車両とを含む。連結車両には、ドーリが設置されていてもよい（図５参照）。

【0025】

図１に示すカプラ１１およびキングピン１３は、牽引車両８と被牽引車両１２とを連結する連結装置である。また、図２に示すヒッチレシーバ１６およびトレーラヒッチ１８は、被牽引車両１４と被牽引車両１７とを連結する連結装置である。トレーラヒッチ１８は、ボールおよびソケット、第５輪およびグースネック、あるいはトレーラジャックであってもよい。なお、牽引車両８および被牽引車両１２，１４，１７は、図１，２に示す連結装置以外の連結機構を設置してもよい。

【0026】

牽引車両８および被牽引車両１２は、機械的に接続（連結）されるだけでなく、電気的に接続されてもよい。牽引車両８および被牽引車両１２を電気的に接続することによって、被牽引車両１２は、牽引車両８のリアライト回路から電力を受給することができる。従って、被牽引車両１２は、牽引車両８のライトと同期するテールライト、ウインカ、およびブレーキライトを設置することが可能となる。

【0027】

＜遠隔操縦装置の構成＞
図３は、遠隔操縦装置１の構成の一例を示すブロック図である。遠隔操縦装置１は、操縦検出部１９と、入力検出部２０と、送信部２１と、受信部２２と、軌道演算部２３と、画像生成部２４とを備えている。また、遠隔操縦装置１は、画像表示装置２、操縦装置３、および入力装置４と通信可能に接続されている。

【0028】

操縦検出部１９は、操縦装置３からオペレータ５の操縦に関する操縦データを取得し、操縦データに基づいてオペレータ５がどのような操縦をどれだけ行ったのかを示す操縦量を検出する。すなわち、操縦検出部１９は、オペレータ５の操縦を操縦量として取得する。操縦検出部１９は、操縦量を送信部２１および軌道演算部２３に出力する。

【0029】

入力検出部２０は、入力装置４からオペレータ５が入力した遠隔操縦に関する入力データを取得し、入力データに基づいてオペレータ５が遠隔操縦についてどのような入力を行ったのかを示す遠隔操縦情報を検出する。すなわち、入力検出部２０は、遠隔操縦情報を受け付ける。入力検出部２０は、遠隔操縦情報を送信部２１に出力する。

【0030】

送信部２１は、ネットワーク６を介して、牽引車両制御装置７に操縦量および遠隔操縦情報を送信する。

【0031】

受信部２２は、ネットワーク６を介して、牽引車両制御装置７から画像情報、センサ情報、および制御成否情報を受信する。画像情報は、牽引車両８に設置された前方カメラ９または後方カメラ１０の画像情報である。センサ情報は、牽引車両に設置されたセンサ（内界センサ）が検出したセンサ情報である。制御成否情報は、牽引車両制御装置７が牽引車両８を自動制御することができるか否か（自動制御に成功または失敗したか）を示す情報である。受信部２２は、センサ情報を軌道演算部２３に出力し、画像情報および制御成否情報を画像生成部２４に出力する。

【0032】

軌道演算部２３は、操縦量、センサ情報、および牽引車両の運動モデルに基づいて、牽引車両８のカプラ１１（予め定められた部分）の予測軌道を演算する。軌道演算部２３は、演算した予測軌道を軌道情報として画像生成部２４に出力する。なお、図２に示すような牽引車両８および被牽引車両１４で構成される連結車両に被牽引車両１７を連結する場合、軌道演算部２３は、連結車両の運動モデルを用いて連結車両の予め定められた部分（例えば、被牽引車両１４のヒッチレシーバ１６）の予測軌道を演算する。

【0033】

画像生成部２４は、画像情報に軌道情報を重畳してオペレータ５に提示する提示画像を生成する。画像生成部２４は、生成した提示画像を画像表示装置２に出力する。画像表示装置２では、提示画像が表示される。また、画像生成部２４は、提示画像に制御成否情報を含めてもよい。この場合、オペレータ５は、画像表示装置２に表示された制御成否情報を見て、自身が牽引車両８を遠隔操縦する必要があるか否かを判断することができる。

【0034】

＜運動モデル＞
図４は、連結車両の運動モデルを説明するための図である。ここでは、牽引車両２５に被牽引車両２６～２９を含むｎ台の被牽引車両が連結された連結車両を想定する。なお、以下の説明において、グローバル座標系とは、基準となる座標系のことをいい、地理座標系、地理座標系上に基準を定めて平面展開した平面直角座標系、設計者が定めた座標系などが採用される。また、車両座標系とは、牽引車両および被牽引車両のそれぞれに固定された座標系のことをいう。連結車両が移動した場合、車両座標系は、グローバル座標系に対してその位置および姿勢（角度）が変化する。

【0035】

グローバル座標系（Ｘ，Ｙ）に対する車両座標系における第ｋ被牽引車両の車軸中心位置を（ｘ_ｋ，ｙ_ｋ）とすると、幾何学的な関係より、下記の式（１）が得られる。ただし、式（１）において下記の式（２）が成り立つものとする。

【数1】

【数2】

【0036】

ここで、ｔは時間、ｋ＝０は牽引車両を表している。すなわち、（ｘ_０，ｙ_０）は牽引車両の後軸中心位置である。また、γ_ｋはグローバル座標系に対する姿勢（角度）であり（図示せず）、ｈ_ｋ ^ｆは被牽引車両の車軸中心と前方のヒッチ点３０との距離（前ヒッチングオフセット）、ｈ_ｋ ^ｒは被牽引車両の車軸中心と後方のヒッチ点３０との距離（後ヒッチングオフセット）である。

【0037】

また、横滑り角が生じないという仮定のもと、下記（３）で表される運動モデルが得られる。ただし、式（３）において下記の式（４）が成り立つものとする。

【数3】

【数4】

【0038】

ここで、ν_０は牽引車両の並進速度、ζ_０は牽引車両の角速度である。

【0039】

式（３），（４）に示す牽引車両の並進速度ν_０および牽引車両の角速度ζ_０から、被牽引車両の角速度γ_ｋを求めることができる。そして、角速度γ_ｋを積分することによって各時刻におけるγ_ｋを求めることができる。

【0040】

式（１），（２）から牽引車両の後軸中央位置（ｘ_０，ｙ_０）およびγ_ｋが与えられれば、被牽引車両の車軸中央位置（ｘ_ｋ，ｙ_ｋ）を求めることができる。

【0041】

図５は、牽引車両３１に２つの荷台３４，３７が連結されている場合を示している。荷台３４は、ドーリ３２および被牽引車両３３で構成されている。荷台３７は、ドーリ３５および被牽引車両３６で構成されている。ドーリ３２，３５は、平面方向に回転自在な車軸を有するものである。図５の例では、ドーリ３２，３５のそれぞれを１つの被牽引車両として扱うことによって、式（１）～（４）を用いて運動モデルを構築することが可能である。

【0042】

次に、牽引車両の運動モデルについて説明する。

【0043】

牽引車両の運動モデルとして、例えば、牽引車両の並進速度ν_０および牽引車両の角速度ζ_０を入力とする下記の式（５）で表されるモデルが考えられる。

【数5】

【0044】

ζ_０＝ν_０／Ｌ_０ｔａｎδ_０の関係が成り立つため、この関係を用いて式（５）を修正してもよい。ここで、δ_０は牽引車両の操舵角、Ｌ_０は牽引車両のホイールベースである。

【0045】

その他、図６に示すように、牽引車両の前後の左右輪をそれぞれ１つの車輪として扱うことが多い。このような運動モデルは、４輪車両を２輪車両として扱うため２輪モデルと呼ばれる。

【0046】

２輪モデルの場合、牽引車両の操舵角δ_０、および牽引車両の加速度α_０を入力として、牽引車両の重心（ｘ_ｇ０，ｙ_ｇ０）を基準とした運動方程式と幾何学的な関係とから、下記の式（６）で表される運動モデルが使用されることもある。

【数6】

【0047】

＜牽引車両制御装置の構成＞
図７は、牽引車両制御装置７の構成の一例を示すブロック図である。牽引車両制御装置７は、受信部３８と、指令値変換部３９と、画像取得部４０と、センサ取得部４１と、自動制御部４２と、送信部４３と、設定部４４とを備えている。また、牽引車両制御装置７は、牽引車両８に設置された前方カメラ９、後方カメラ１０、センサ４５、およびアクチュエータ４６と通信可能に接続されている。

【0048】

受信部３８は、ネットワーク６を介して、遠隔操縦装置１から操縦量および遠隔操縦情報を受信する。受信部３８は、操縦量を指令値変換部３９に出力し、遠隔操縦情報を設定部４４に出力する。

【0049】

指令値変換部３９は、操縦量を第１アクチュエータ指令値に変換する。第１アクチュエータ指令値は、オペレータ５の遠隔操縦によってアクチュエータ４６を制御するための指令値であり、例えば電流および電圧などが挙げられる。指令値変換部３９は、第１アクチュエータ指令値を設定部４４に出力する。

【0050】

画像取得部４０は、前方カメラ９から牽引車両８の前方の画像データ（前方画像）を取得し、後方カメラ１０から牽引車両８の後方の画像データ（後方画像）を取得する。画像取得部４０は、画像データを画像情報として自動制御部４２および送信部４３のそれぞれに出力する。

【0051】

センサ取得部４１は、センサ４５からセンサデータを取得する。センサ４５は、牽引車両８の状態を検出する内界センサであり、例えば、操舵角センサ、車速センサ、ＩＭＵ(Inertial Measurement Unit)などで構成されている。

【0052】

自動制御部４２は、画像情報およびセンサ情報に基づいて、牽引車両８を自動制御するための第２アクチュエータ指令値を演算する。また、自動制御部４２は、画像情報およびセンサ情報のうち少なくとも一方に基づいて、牽引車両８の自動制御の成功または失敗を判定する。例えば、自動制御部４２は、牽引車両８に被牽引車両を自動で連結する連結作業が失敗した場合、自動制御が失敗したと判定する。また、自動制御部４２は、センサ４５の異常状態である場合、自動制御が失敗したと判定する。その他に、自動制御部４２は、連結車両の周辺に人がたくさんいるため制御できない場合、センサ４５以外の異常を検知した場合に、自動制御が失敗したと判定してもよい。このように、自動制御部４２は、予め定められた条件を満たしたか否か（自動制御が失敗したか否か）を判定する。自動制御部４２は、判定結果を制御成否情報として送信部４３に出力する。

【0053】

なお、自動制御部４２は、自動制御が失敗したと判定すると、自動的に遠隔操縦をオンにしてもよい。この場合、制御成否情報には、遠隔操縦をオンにした旨が含まれることになる。

【0054】

送信部４３は、ネットワーク６を介して、遠隔操縦装置１に画像情報、センサ情報、および制御成否情報を送信する。

【0055】

設定部４４は、遠隔操縦情報に基づいて第１アクチュエータ指令値または第２アクチュエータ指令値を選択し、実アクチュエータ指令値としてアクチュエータ４６に出力する。具体的には、設定部４４は、遠隔操縦情報が遠隔操縦をオンする旨の情報を含む場合、第１アクチュエータ指令値を選択する。この場合、牽引車両８は、オペレータ５による遠隔操縦に従って動作する。また、設定部４４は、遠隔操縦情報が遠隔操縦をオフする旨の情報を含む場合、第２アクチュエータ指令値を選択する。この場合、牽引車両８は、自動制御部４２による自動制御に従って動作する。

【0056】

＜遠隔操縦装置の動作＞
図８は、遠隔操縦装置１の動作の一例を示すフローチャートである。なお、図８では、牽引車両８に被牽引車両１２を連結する場合（図１参照）について説明するが、牽引車両８および被牽引車両１４で構成される連結車両に被牽引車両１７を連結する場合（図２参照）についても同様である。

【0057】

ステップＳ１１において、受信部２２は、ネットワーク６を介して、牽引車両制御装置７から画像情報、センサ情報、および制御成否情報を受信する。

【0058】

ステップＳ１２において、画像生成部２４は、画像情報を提示画像として画像表示装置２に出力する。画像表示装置２には提示画像が表示される。このとき、提示画像に制御成否情報を含めてもよい。

【0059】

ステップＳ１３において、入力検出部２０は、入力装置４から遠隔操縦情報を受け付ける。例えば、提示画像に制御成否情報が含まれている場合、オペレータ５は、自動制御が失敗したことを認識すると（予め定められた条件を満たすと）、入力装置４に対して遠隔操縦をオンする旨を入力する。また、牽引車両制御装置７の自動制御部４２が自動的に遠隔操縦をオンにした場合、オペレータ５は、遠隔操縦がオンされたことを認識し、入力装置４に対して遠隔操縦をオンする旨を入力する。

【0060】

ステップＳ１４において、操縦検出部１９は、オペレータ５の操縦を操縦量として取得する。

【0061】

ステップＳ１５において、軌道演算部２３は、操縦量、センサ情報、および牽引車両の運動モデルに基づいて、牽引車両８の予測軌道を軌道情報として演算する。例えば、軌道演算部２３は、牽引車両８のカプラ１１の予測軌道を軌道情報として演算する。

【0062】

ステップＳ１６において、画像生成部２４は、画像情報に軌道情報を重畳して提示画像を生成し、画像表示装置２に出力する。

【0063】

図９は、画像表示装置２に表示される提示画像の一例を示す図である。図９では、牽引車両８の後方カメラ１０が撮影した後方画像に、軌道演算部２３が演算したカプラ１１の予測軌道４７を重畳して表示する例を示している。また、図１０に示すように、牽引車両８の前方カメラ９が撮影した前方画像４８をさらに提示画像に含めてもよい。

【0064】

ステップＳ１７において、送信部２１は、操縦量および遠隔操縦情報を牽引車両制御装置７に送信する。

【0065】

＜牽引車両制御装置の動作＞
図１１は、牽引車両制御装置７の動作の一例を示すフローチャートである。なお、図１では、牽引車両８に被牽引車両１２を連結する場合（図１参照）について説明するが、牽引車両８および被牽引車両１４で構成される連結車両に被牽引車両１７を連結する場合（図２参照）についても同様である。

【0066】

ステップＳ２１において、受信部３８は、ネットワーク６を介して、遠隔操縦装置１から操縦量および遠隔操縦情報を受信する。

【0067】

ステップＳ２２において、指令値変換部３９は、操縦量を第１アクチュエータ指令値に変換する。

【0068】

ステップＳ２３において、画像取得部４０は、牽引車両８の後方カメラ１０から画像データ（後方画像）を画像情報として取得する。なお、画像取得部４０は、牽引車両８の前方カメラ９から画像データ（前方画像）を画像情報として取得してもよい。また、センサ取得部４１は、牽引車両８のセンサ４５からセンサデータをセンサ情報として取得する。

【0069】

ステップＳ２４において、自動制御部４２は、画像情報およびセンサ情報に基づいて第２アクチュエータ指令値を演算する。また、自動制御部４２は、自動制御の成功または失敗を判定する。

【0070】

ステップＳ２５において、設定部４４は、遠隔操縦情報に基づいて、第１アクチュエータ指令値または第２アクチュエータ指令値を選択して牽引車両８のアクチュエータ４６に出力する。

【0071】

ステップＳ２６において、送信部４３は、ネットワーク６を介して、遠隔操縦装置１に画像情報、センサ情報、および制御成否情報を送信する。

【0072】

＜効果＞
実施の形態１によれば、自動制御による連結作業が失敗した場合は、オペレータによる遠隔操縦に切り替えることができる。これにより、オペレータは、遠隔操縦によって連結作業を行うことができる。また、遠隔操縦時には画像表示装置に予測軌道が表示されるため、オペレータはスムーズに連結作業を行うことができる。このように、自動制御による連結作業が失敗した場合であっても現場では無人で牽引車両と被牽引車両との連結作業を行うことが可能となる。

【0073】

＜変形例＞
図７では、牽引車両制御装置７が自動制御部４２を備える構成について説明したが、牽引車両制御装置７は自動制御部４２を備えない構成としてもよい。この場合、牽引車両８の自動制御は行われず、第１アクチュエータ指令値または第２アクチュエータ指令値を選択する設定部４４も不要となる。また、遠隔操縦装置１の入力検出部２０は、オペレータ５から遠隔操縦をオンまたはオフの情報を受け付ける必要はない。

【0074】

実施の形態１では、軌道演算部２３が牽引車両８のカプラ１１の予測軌道を演算する場合について説明したが、これに限るものではない。軌道演算部２３は、例えば車輪の軌道など、牽引車両８の任意の部分の予測軌道を演算してもよい。なお、図２に示すような連結車両の場合は、被牽引車両１４のヒッチレシーバ１６に限らず、被牽引車両１４の任意の部分の予想軌道を演算してもよい。

【0075】

オペレータ５が連結車両を遠隔操縦する場合において、軌道演算部２３は連結車両が安定して動作するような操舵を演算し、画像生成部２４は当該操舵に関する情報を提示画像に含めるようにしてもよい。人の運転によって連結車両を後退させると、連結車両が途中で折れ曲がって動かなくなる現象（ジャックナイフ現象）が生じることがある。連結車両が安定して動作するような操舵を予め演算して画像表示装置２に表示することによって、オペレータ５は当該操舵に関する情報を見ながら連結車両を遠隔操縦することができるため、上記現象の発生を回避することができる。

【0076】

オペレータ５が操縦装置３を用いて操縦するときにおける操舵方向は、後方画面に映っている牽引車両８の後輪の動きと合うようにしてもよい。これにより、オペレータ５は、あたかも牽引車両８の運転席から後方に振り向いて牽引車両８を運転するかのように、操縦装置３を操縦することができる。

【0077】

＜実施の形態２＞
＜構成＞
図１２は、実施の形態２に係る遠隔操縦装置４９の構成の一例を示すブロック図である。遠隔操縦装置４９は、認識部５０を備えることを特徴としている。その他の構成は、実施の形態１に係る遠隔操縦装置１（図３参照）と同様であるため、ここでは詳細な説明を省略する。また、実施の形態２に係る牽引車両制御装置は、実施の形態１に係る牽引車両制御装置７（図７参照）と同様である。

【0078】

認識部５０は、画像情報に基づいて被牽引車両１２の連結部（例えば、キングピン１３）の位置を被牽引車両情報として認識し、被牽引車両情報を画像生成部２４に出力する。具体的には、認識部５０は、画像情報について画像処理または機械学習などを実行して被牽引車両１２を検出する。そして、認識部５０は、検出した被牽引車両１２の型番からキングピンの位置を取得する。なお、被牽引車両の型番と、当該被牽引車両のキングピンの位置との対応関係を示す情報は、遠隔操縦装置４９が図示しない記憶部に保持している。

【0079】

画像生成部２４は、画像情報に軌道情報および被牽引車両情報を重畳して提示画像を生成し、画像表示装置２に出力する。

【0080】

＜動作＞
図１３は、遠隔操縦装置４９の動作の一例を示すフローチャートである。なお、図１３のステップＳ３１～ステップＳ３５、およびステップＳ３８は、図８のステップＳ１１～ステップＳ１５、およびステップＳ１７と同様であるため、ここでは説明を省略する。以下では、ステップＳ３６およびステップＳ３７について説明する。

【0081】

ステップＳ３６において、認識部５０は、画像情報に基づいて被牽引車両１２の連結部の位置を被牽引車両情報として認識する。

【0082】

ステップＳ３７において、画像生成部２４は、画像情報に軌道情報および被牽引車両情報を重畳して提示画像を生成し、画像表示装置２に出力する。

【0083】

図１４は、画像表示装置２に表示される提示画像の一例を示す図である。図１４では、牽引車両８の後方カメラ１０が撮影した後方画像に、軌道演算部２３が演算したカプラ１１の予測軌道４７と、認識部５０が認識した被牽引車両１２のキングピン１３の位置とを重畳して表示する例を示している。

【0084】

＜効果＞
被牽引車両の連結部は車両の下部に設置されているため、牽引車両８の後方カメラ１０で撮影することができない場合が多い。実施の形態２によれば、被牽引車両１２の連結部の位置を表示するため、オペレータ５は被牽引車両１２の連結部の位置を認識しやすくなり、遠隔操縦による連結作業が効率化される。

【0085】

＜実施の形態３＞
＜構成＞
図１５は、実施の形態３に係る遠隔操縦装置５１の構成の一例を示すブロック図である。遠隔操縦装置５１は、偏差計算部５２を備えることを特徴としている。その他の構成は、実施の形態２に係る遠隔操縦装置４９（図１２参照）と同様であるため、ここでは詳細な説明を省略する。また、実施の形態３に係る牽引車両制御装置は、実施の形態１に係る牽引車両制御装置７（図７参照）と同様である。

【0086】

偏差計算部５２は、軌道情報および被牽引車両情報に基づいて、牽引車両８における予め定められた部分である第１連結部（例えば、カプラ１１）と、被牽引車両１２の連結部である第２連結部（例えば、キングピン１３）との間の偏差を偏差情報として計算する。

【0087】

図１６は、偏差を説明するための図である。偏差計算部５２は、軌道演算部２３が演算した牽引車両８のカプラ１１の予測軌道４７と、被牽引車両１２のキングピン１３との間における横偏差および角度偏差を計算する。

【0088】

画像生成部２４は、画像情報に軌道情報、被牽引車両情報、および偏差情報を重畳して提示画像を生成し、画像表示装置２に出力する。

【0089】

＜動作＞
図１７は、遠隔操縦装置５１の動作の一例を示すフローチャートである。なお、図１７のステップＳ４１～ステップＳ４６、およびステップＳ４９は、図１３のステップＳ３１～ステップＳ３６、およびステップＳ３８と同様であるため、ここでは説明を省略する。以下では、ステップＳ４７およびステップＳ４８について説明する。

【0090】

ステップＳ４７において、偏差計算部５２は、軌道情報および被牽引車両情報に基づいて、牽引車両８の連結部と、被牽引車両１２の連結部との間の偏差を計算する。

【0091】

ステップＳ４８において、画像生成部２４は、画像情報に軌道情報、被牽引車両情報、および偏差情報を重畳して提示画像を生成し、画像表示装置２に出力する。

【0092】

図１８は、画像表示装置２に表示される提示画像の一例を示す図である。図１８では、牽引車両８の後方カメラ１０が撮影した後方画像に、軌道演算部２３が演算したカプラ１１の予測軌道４７と、認識部５０が認識した被牽引車両１２のキングピン１３の位置と、偏差計算部５２が計算した偏差情報５３とを重畳して表示する例を示している。なお、図１８において、オペレータ５が良好な操縦を行っている場合（偏差が小さい場合）は提示画像の枠線を強調し（枠線に色を付けるなど）、偏差が大きい場合は提示画面の背景を赤色にしてもよい。また、偏差の大小に関する情報を音声で通知してもよい。

【0093】

＜効果＞
実施の形態３によれば、オペレータ５は牽引車両８の連結部と、被牽引車両１２の連結部との間の偏差を認識しやすくなるため、遠隔操縦による連結作業が効率化される。

【0094】

＜実施の形態４＞
＜構成＞
図１９は、実施の形態４に係る遠隔操縦装置５４の構成の一例を示すブロック図である。遠隔操縦装置５４は、通信遅延計測部５５および位置予測部５６を備えることを特徴としている。その他の構成は、実施の形態３に係る遠隔操縦装置５１（図１５参照）と同様であるため、ここでは詳細な説明を省略する。また、実施の形態４に係る牽引車両制御装置は、実施の形態１に係る牽引車両制御装置７（図７参照）と同様である。

【0095】

通信遅延計測部５５は、遠隔操縦装置５４と牽引車両制御装置７との間におけるネットワーク６の通信遅延を計測する。例えば、通信遅延計測部５５は、ＲＴＴ（Round Trip Time）などを用いてネットワーク６の通信遅延を計測する。

【0096】

位置予測部５６は、軌道情報および通信遅延に基づいて、牽引車両８の連結部（例えば、カプラ１１）の位置を予測位置として予測する。

【0097】

画像生成部２４は、画像情報に軌道情報、被牽引車両情報、偏差情報、および予測位置を重畳して提示画像を生成し、画像表示装置２に出力する。

【0098】

＜動作＞
図２０は、遠隔操縦装置５４の動作の一例を示すフローチャートである。なお、図２０のステップＳ５１～ステップＳ５７、およびステップＳ６１は、図１７のステップＳ４１～ステップＳ４７、およびステップＳ４９と同様であるため、ここでは説明を省略する。以下では、ステップＳ５８～ステップＳ６０について説明する。

【0099】

ステップＳ５８において、通信遅延計測部５５は、遠隔操縦装置５４と牽引車両制御装置７との間におけるネットワーク６の通信遅延を計測する。

【0100】

ステップＳ５９において、位置予測部５６は、軌道情報および通信遅延に基づいて、牽引車両８の連結部の位置を予測位置として予測する。

【0101】

ステップＳ６０において、画像生成部２４は、画像情報に軌道情報、被牽引車両情報、偏差情報、および予測位置を重畳して提示画像を生成し、画像表示装置２に出力する。

【0102】

図２１は、画像表示装置２に表示される提示画像の一例を示す図である。図２１では、牽引車両８の後方カメラ１０が撮影した後方画像に、軌道演算部２３が演算したカプラ１１の予測軌道４７と、認識部５０が認識した被牽引車両１２のキングピン１３の位置と、偏差計算部５２が計算した偏差情報５３と、位置予測部５６が予測したカプラ１１の予測位置５７とを重畳して表示する例を示している。

【0103】

＜効果＞
実施の形態４によれば、オペレータ５は牽引車両８のカプラ１１の位置が認識しやすくなるため、遠隔操縦による連結作業が効率化される。

【0104】

＜実施の形態５＞
実施の形態１～４では、画像表示装置２に後方画像を表示する場合について説明したが、画像表示装置２に前方画像を表示するようにしてもよい。具体的には、実施の形態５では、牽引車両８が前進する時は画像表示装置２に前方画像を表示し、牽引車両８が後進する時は画像表示装置２に後方画像を表示する。

【0105】

なお、実施の形態５に係る遠隔操縦装置の構成は、実施の形態１に係る遠隔操縦装置１（図３参照）、実施の形態２に係る遠隔操縦装置４９（図１２参照）、実施の形態３に係る遠隔操縦装置５１（図１５参照）、および実施の形態４に係る遠隔操縦装置５４（図１９参照）のいずれの構成であってもよい。また、実施の形態５に係る牽引車両制御装置は、実施の形態１に係る牽引車両制御装置７（図７参照）と同様である。

【0106】

受信部２２は、牽引車両８に設置された前方カメラ９が撮影した前方画像と、牽引車両８に設置された後方カメラ１０が撮影した後方画像とを含む画像情報を受信する。

【0107】

軌道演算部２３は、前進時には牽引車両８の車輪（予め定められた部分）の予測軌道を軌道情報として演算し、後進時には牽引車両８の連結部の予測軌道を軌道情報として演算する。なお、予測軌道の演算方法は、実施の形態１と同様である。また、軌道演算部２３は、操縦検出部１９または入力検出部２０からシフト操作に関する情報を取得するようにしてもよい。

【0108】

画像生成部２４は、前進時には前方画像に牽引車両８の車輪の予測軌道を重畳した提示画像を生成し、画像表示装置２に出力する。例えば図２２に示すように、画像表示装置２では、牽引車両８の前車輪の予測軌道５８と、被牽引車両（例えば図２の被牽引車両１４）の後車輪の予測軌道５９とを前方画像に重畳して表示している。なお、図２２の例では、連結車両が前進する時に画像表示装置２に表示される提示画像を示している。

【0109】

＜効果＞
実施の形態５によれば、後進時は連結部の予測軌道を表示し、前進時は車輪の予測軌道を表示するため、遠隔操縦による連結作業が効率化される。

【0110】

＜ハードウェア構成＞
実施の形態１で説明した遠隔操縦装置１における操縦検出部１９、入力検出部２０、送信部２１、受信部２２、軌道演算部２３、および画像生成部２４の各機能は、処理回路により実現される。すなわち、遠隔操縦装置１は、操縦量を取得し、遠隔操縦情報を取得し、操縦量および遠隔操縦情報を送信し、画像情報、センサ情報、および制御成否情報を受信し、軌道情報を演算し、軌道情報を含む提示画像を生成するための処理回路を備える。処理回路は、専用のハードウェアであってもよく、メモリに格納されるプログラムを実行するプロセッサ（ＣＰＵ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）ともいう）であってもよい。

【0111】

処理回路が専用のハードウェアである場合、図２３に示すように、処理回路６０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。操縦検出部１９、入力検出部２０、送信部２１、受信部２２、軌道演算部２３、および画像生成部２４の各機能をそれぞれ処理回路６０で実現してもよく、各機能をまとめて１つの処理回路６０で実現してもよい。

【0112】

処理回路６０が図２４に示すプロセッサ７０である場合、操縦検出部１９、入力検出部２０、送信部２１、受信部２２、軌道演算部２３、および画像生成部２４の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ７１に格納される。プロセッサ７０は、メモリ７１に記録されたプログラムを読み出して実行することにより、各機能を実現する。すなわち、遠隔操縦装置１は、操縦量を取得するステップ、遠隔操縦情報を取得するステップ、操縦量および遠隔操縦情報を送信するステップ、画像情報、センサ情報、および制御成否情報を受信するステップ、軌道情報を演算するステップ、軌道情報を含む提示画像を生成するステップが結果的に実行されることになるプログラムを格納するためのメモリ７１を備える。また、これらのプログラムは、操縦検出部１９、入力検出部２０、送信部２１、受信部２２、軌道演算部２３、および画像生成部２４の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリとは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ＤＶＤ（Digital Versatile Disc）等、または、今後使用されるあらゆる記憶媒体であってもよい。

【0113】

なお、操縦検出部１９、入力検出部２０、送信部２１、受信部２２、軌道演算部２３、および画像生成部２４の各機能について、一部の機能を専用のハードウェアで実現し、他の機能をソフトウェアまたはファームウェアで実現するようにしてもよい。

【0114】

このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

【0115】

上記では、実施の形態１に係る遠隔操縦装置１（図３）のハードウェア構成について説明したが、実施の形態２に係る遠隔操縦装置４９（図１２参照）、実施の形態３に係る遠隔操縦装置５１（図１５参照）、および実施の形態４に係る遠隔操縦装置５４（図１９参照）のそれぞれのハードウェア構成についても同様である。また、実施の形態１に係る牽引車両制御装置７のハードウェア構成についても同様である。

【0116】

なお、本開示の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

【0117】

本開示は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、限定的なものではない。例示されていない無数の変形例が想定され得るものと解される。

【符号の説明】

【0118】

１ 遠隔操縦装置、２ 画像表示装置、３ 操縦装置、４ 入力装置、５ オペレータ、６ ネットワーク、７ 牽引車両制御装置、８ 牽引車両、９ 前方カメラ、１０ 後方カメラ、１１ カプラ、１２ 被牽引車両、１３ キングピン、１４ 被牽引車両、１５ 後方カメラ、１６ ヒッチレシーバ、１７ 被牽引車両、１８ トレーラヒッチ、１９ 操縦検出部、２０ 入力検出部、２１ 送信部、２２ 受信部、２３ 軌道演算部、２４ 画像生成部、２５ 牽引車両、２６ 被牽引車両、２７ 被牽引車両、２８ 被牽引車両、２９ 被牽引車両、３０ ヒッチ点、３１ 牽引車両、３２ ドーリ、３３ 被牽引車両、３４ 荷台、３５ ドーリ、３６ 被牽引車両、３７ 荷台、３８ 受信部、３９ 指令値変換部、４０ 画像取得部、４１ センサ取得部、４２ 自動制御部、４３ 送信部、４４ 設定部、４５ センサ、４６ アクチュエータ、４７ 予測軌道、４８ 前方画像、４９ 遠隔操縦装置、５０ 認識部、５１ 遠隔操縦装置、５２ 偏差計算部、５３ 偏差情報、５４ 遠隔操縦装置、５５ 通信遅延計測部、５６ 位置予測部、５７ 予測位置、５８ 予測軌道、５９ 予測軌道、６０ 処理回路、７０ プロセッサ、７１ メモリ。

【要約】

本開示は、自動制御による連結作業が失敗した場合であっても現場に補助員を派遣することなく牽引車両と被牽引車両との連結作業を行うことが可能な遠隔操縦装置および遠隔操縦システムを提供することを目的とする。本開示による遠隔操縦装置は、予め定められた条件を満たした場合に遠隔操縦の制御に切り替えられた牽引車両に対するオペレータの操縦を操縦量として取得する操縦検出部と、遠隔操縦を行うか否かの設定を含む遠隔操縦情報を受け付ける入力検出部と、操縦量および遠隔操縦情報を送信する送信部と、牽引車両の後方の後方画像情報と、内界センサが検出した牽引車両のセンサ情報とを受信する受信部と、操縦量、センサ情報、および牽引車両の運動モデルに基づいて、牽引車両における予め定められた部分の予測軌道を軌道情報として演算する軌道演算部と、後方画像情報に軌道情報を重畳してオペレータに提示する提示画像を生成する画像生成部とを備える。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】