(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-11
(45)【発行日】2022-11-21
(54)【発明の名称】表示制御装置、表示制御システム、および表示制御方法
(51)【国際特許分類】
E02F 9/26 20060101AFI20221114BHJP
E02F 9/20 20060101ALI20221114BHJP
B60P 1/04 20060101ALI20221114BHJP
G09G 5/00 20060101ALI20221114BHJP
G09G 5/377 20060101ALI20221114BHJP
G01G 19/12 20060101ALI20221114BHJP
【ＦＩ】
E02F9/26 B
E02F9/20 N
B60P1/04 G
G09G5/00 550C
G09G5/00 530M
G09G5/36 520L
G01G19/12 Z
【請求項の数】
4
(21)【出願番号】P 2018163775
(22)【出願日】2018-08-31
(65)【公開番号】P2020033850
(43)【公開日】2020-03-05
【審査請求日】2021-07-01
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】丁 ▲キ▼
(72)【発明者】
【氏名】指宿 康洋
(72)【発明者】
【氏名】森永 淳
(72)【発明者】
【氏名】皆川 真範
【審査官】坪内 優佳
(56)【参考文献】
【文献】国際公開第２０１８／１２４１４４（ＷＯ，Ａ１）
【文献】特開２０１６－２１２０５５（ＪＰ，Ａ）
【文献】特開２０１３－１１３０４４（ＪＰ，Ａ）
【文献】特開２０１７－０８９１３９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｅ０２Ｆ ９／２０
Ｅ０２Ｆ ９／２６
Ｂ６０Ｐ １／０４
Ｇ０１Ｇ １９／１２
Ｇ０９Ｇ ５／００
Ｇ０９Ｇ ５／３７７
(57)【特許請求の範囲】
【請求項1】
表示装置の表示制御装置であって、積込車両に搭載された撮像装置が撮像した撮像画像を取得する撮像画像取得部と、
運搬車両に搭載された重量計によって計測された積載重量を取得する積載重量取得部と、
前記撮像画像上に前記積載重量を表す画像を配置した表示画像を生成する表示画像生成部と、
前記表示画像を前記表示装置に出力する表示制御部と
を備え、
前記積載重量取得部は、管制装置から送信される走行指示に基づいて無人走行する複数の運搬車両のうち、前記積込車両による作業対象である対象運搬車両に搭載された重量計によって計測された積載重量を、前記管制装置から取得する
表示制御装置。
【請求項2】
前記積込車両に搭載されたセンサが計測した計測値を取得する計測値取得部を備え、前記表示画像生成部は、前記撮像画像上に、前記積載重量を表す画像と前記計測値を表す画像とを配置した表示画像を生成する、
請求項１に記載の表示制御装置。
【請求項3】
表示装置と、積込車両に搭載された撮像装置が撮像した撮像画像を取得する撮像画像取得部と、
運搬車両に搭載された重量計によって計測された積載重量を取得する積載重量取得部と、
前記撮像画像上に前記積載重量を表す画像を配置した表示画像を生成する表示画像生成部と、
前記表示画像を前記表示装置に出力する表示制御部と
を備え、
前記積載重量取得部は、管制装置から送信される走行指示に基づいて無人走行する複数の運搬車両のうち、前記積込車両による作業対象である対象運搬車両に搭載された重量計によって計測された積載重量を、前記管制装置から取得する
表示制御システム。
【請求項4】
表示装置の表示制御方法であって、積込車両に搭載された撮像装置が撮像した撮像画像を取得するステップと、
運搬車両に搭載された重量計によって計測された積載重量を取得するステップと、
前記撮像画像上に前記積載重量を表す画像を配置した表示画像を生成するステップと、 前記表示画像を前記表示装置に表示させるステップと
を備え、
前記積載重量を取得するステップでは、管制装置から送信される走行指示に基づいて無人走行する複数の運搬車両のうち、前記積込車両による作業対象である対象運搬車両に搭載された重量計によって計測された積載重量を、前記管制装置から取得する
表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、積込車両を遠隔操作するための遠隔操作装置における表示装置の表示制御装置、表示制御システム、および表示制御方法に関する。
【背景技術】
【0002】
積込車両を遠隔操作する技術が知られている。積込車両を遠隔操作するためには、外部から積込車両の周囲の状況が認識可能である必要がある。そのため、遠隔操作される積込車両は、周囲の状況を撮像する撮像装置と撮像された画像を外部に送信する通信機を備える。これにより、オペレータは、積込車両から送信される画像を視認しながら操作を行うことができる。
また、特許文献１には、積込車両の表示装置に運搬車両の積載量を表示する技術が開示されている。
また、特許文献１には、積込車両の表示装置に運搬車両の積載量を表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第２０１３／０６５４１５号
【発明の概要】
【発明が解決しようとする課題】
【0004】
積込車両を遠隔操作する場合、オペレータは、ディスプレイに表示された画像によって運搬車両を視認することとなるため、運搬車両の積載量を認識することが困難である。
本発明の態様は、遠隔操作に係る積込車両のオペレータに運搬車両の積載量を容易に認識させることができる表示制御装置、表示制御システム、および表示制御方法を提供することを目的とする。
本発明の態様は、遠隔操作に係る積込車両のオペレータに運搬車両の積載量を容易に認識させることができる表示制御装置、表示制御システム、および表示制御方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明の第１の態様によれば、表示装置の表示制御装置は、積込車両に搭載された撮像装置が撮像した撮像画像を取得する撮像画像取得部と、運搬車両に搭載された重量計によって計測された積載重量を取得する積載重量取得部と、前記撮像画像上に前記積載重量を表す画像を配置した表示画像を生成する表示画像生成部と、前記表示画像前記表示装置に出力する表示制御部とを備え、前記積載重量取得部は、管制装置から送信される走行指示に基づいて無人走行する複数の運搬車両のうち、前記積込車両による作業対象である対象運搬車両に搭載された重量計によって計測された積載重量を、前記管制装置から取得する。
【発明の効果】
【0006】
上記態様のうち少なくとも１つの態様によれば、表示制御装置は、遠隔操作に係る積込車両のオペレータに運搬車両の積載量を容易に認識させることができる。
【図面の簡単な説明】
【0007】
【図1】第１の実施形態に係る作業システムの構成を示す概略図である。
【図2】走行経路の例を表す図である。
【図3】第１の実施形態に係る積込車両の外観図である。
【図4】第１の実施形態に係る積込車両の撮像装置が撮像する画像の例である。
【図5】第１の実施形態に係る管制装置の構成を示す概略ブロック図である。
【図6】第１の実施形態に係る管制装置の動作方法を示すフローチャートである。
【図7】第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。
【図8】前方カメラが撮像した画像から切り出される画像の例を示す図である。
【図9】第１の実施形態に係る表示装置に表示される表示画像の例を示す図である。
【図10】第１の実施形態に係る遠隔運転室の制御装置による表示制御方法を示すフローチャートである。
【発明を実施するための形態】
【0008】
〈第１の実施形態〉
《遠隔操作システム》
図１は、第１の実施形態に係る作業システムの構成を示す概略図である。
作業システム１は、遠隔操作によって動作する１または複数の積込車両１００と、複数の運搬車両２００と、管制装置３００と、アクセスポイント４００と、積込車両１００を遠隔操作する１または複数の遠隔運転室５００とを備える。
《遠隔操作システム》
図１は、第１の実施形態に係る作業システムの構成を示す概略図である。
作業システム１は、遠隔操作によって動作する１または複数の積込車両１００と、複数の運搬車両２００と、管制装置３００と、アクセスポイント４００と、積込車両１００を遠隔操作する１または複数の遠隔運転室５００とを備える。
【0009】
運搬車両２００は、管制装置３００から受信するコースデータ（例えば速度情報、無人運搬車が進むべき座標）に基づいて、走行経路に沿って無人走行する。運搬車両２００と管制装置３００とは、アクセスポイント４００を介した通信により接続される。管制装置３００は、運搬車両２００から位置および方位を取得し、これらに基づいて運搬車両２００の走行に用いるコースデータを生成する。管制装置３００は、コースデータを運搬車両２００に送信する。運搬車両２００は、受信したコースデータに基づいて無人走行する。つまり、作業システム１は、運搬車両２００と管制装置３００とから構成される無人搬送システムを備える。なお、第１の実施形態に係る作業システム１は、無人搬送システムを備えるが、他の実施形態においては、一部または全部の運搬車が有人運転されてもよい。この場合、管制装置３００は、コースデータおよび積込に関する指示の送信を行う必要がないが、運搬車の位置および方位を取得する。
【0010】
積込車両１００は、遠隔運転室５００から送信される操作信号に従って遠隔操作される。積込車両１００と遠隔運転室５００とは、アクセスポイント４００を介した通信により接続される。遠隔運転室５００の制御装置５５０は、オペレータから積込車両１００の操作を受け付け、操作信号を積込車両１００に送信する。積込車両１００は、遠隔運転室５００から受信した操作信号に従って駆動する。つまり、作業システム１は、積込車両１００と遠隔運転室５００とから構成される遠隔運転システムを備える。
【0011】
積込車両１００および運搬車両２００は、作業現場（例えば、鉱山、採石場）にて稼働する。遠隔運転室５００は、積込車両１００および運搬車両２００から離れた地点（例えば、市街、作業現場内）に設けられる。
【0012】
《走行経路》
図２は、走行経路の例を表す図である。
運搬車両２００には、走行すべき走行経路Ｒが設定される。走行経路Ｒは、２つのエリアＡ（例えば、積込場Ａ１と排土場Ａ２）を結ぶあらかじめ定められた接続経路Ｒ１、ならびにエリアＡ内の経路である進入経路Ｒ２、アプローチ経路Ｒ３および退出経路Ｒ４を有する。進入経路Ｒ２は、エリアＡ内において接続経路Ｒ１の一端である待機点Ｐ１と所定の切り返し点Ｐ２とを接続する経路である。アプローチ経路Ｒ３は、エリアＡ内の切り返し点Ｐ２と積込点Ｐ３または排土点Ｐ４とを接続する経路である。退出経路Ｒ４は、エリアＡ内の積込点Ｐ３または排土点Ｐ４と接続経路Ｒ１の他端である出口点Ｐ５とを接続する経路である。積込点Ｐ３は、積込車両１００のオペレータの操作によって設定される点である。切り返し点Ｐ２は、積込点Ｐ３または排土点Ｐ４の位置に応じて管制装置３００によって設定される点である。
図２は、走行経路の例を表す図である。
運搬車両２００には、走行すべき走行経路Ｒが設定される。走行経路Ｒは、２つのエリアＡ（例えば、積込場Ａ１と排土場Ａ２）を結ぶあらかじめ定められた接続経路Ｒ１、ならびにエリアＡ内の経路である進入経路Ｒ２、アプローチ経路Ｒ３および退出経路Ｒ４を有する。進入経路Ｒ２は、エリアＡ内において接続経路Ｒ１の一端である待機点Ｐ１と所定の切り返し点Ｐ２とを接続する経路である。アプローチ経路Ｒ３は、エリアＡ内の切り返し点Ｐ２と積込点Ｐ３または排土点Ｐ４とを接続する経路である。退出経路Ｒ４は、エリアＡ内の積込点Ｐ３または排土点Ｐ４と接続経路Ｒ１の他端である出口点Ｐ５とを接続する経路である。積込点Ｐ３は、積込車両１００のオペレータの操作によって設定される点である。切り返し点Ｐ２は、積込点Ｐ３または排土点Ｐ４の位置に応じて管制装置３００によって設定される点である。
【0013】
《遠隔運転室》
遠隔運転室５００は、運転席５１０、表示装置５２０、第１操作装置５３０、第２操作装置５４０、制御装置５５０を備える。
表示装置５２０は、運転席５１０に対向するように配置される。なお、本実施形態において対向とは、正面方向が平行になるように、または鈍角に交わるように向き合う状態をいう。表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの眼前に位置する。表示装置５２０は、図１に示すように、並べられた中央ディスプレイ５２１、左ディスプレイ５２２、右ディスプレイ５２３、上ディスプレイ５２４、下ディスプレイ５２５によって構成される。左ディスプレイ５２２は中央ディスプレイ５２１の左側に設けられる。右ディスプレイ５２３は中央ディスプレイ５２１の右側に設けられる。上ディスプレイ５２４は中央ディスプレイ５２１の上側に設けられる。下ディスプレイ５２５は中央ディスプレイ５２１の下側に設けられる。
なお、他の実施形態においては、表示装置５２０を構成するディスプレイの数はこれに限られない。例えば、表示装置５２０は１つのディスプレイによって構成されてもよい。また、表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。
遠隔運転室５００は、運転席５１０、表示装置５２０、第１操作装置５３０、第２操作装置５４０、制御装置５５０を備える。
表示装置５２０は、運転席５１０に対向するように配置される。なお、本実施形態において対向とは、正面方向が平行になるように、または鈍角に交わるように向き合う状態をいう。表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの眼前に位置する。表示装置５２０は、図１に示すように、並べられた中央ディスプレイ５２１、左ディスプレイ５２２、右ディスプレイ５２３、上ディスプレイ５２４、下ディスプレイ５２５によって構成される。左ディスプレイ５２２は中央ディスプレイ５２１の左側に設けられる。右ディスプレイ５２３は中央ディスプレイ５２１の右側に設けられる。上ディスプレイ５２４は中央ディスプレイ５２１の上側に設けられる。下ディスプレイ５２５は中央ディスプレイ５２１の下側に設けられる。
なお、他の実施形態においては、表示装置５２０を構成するディスプレイの数はこれに限られない。例えば、表示装置５２０は１つのディスプレイによって構成されてもよい。また、表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。
【0014】
第１操作装置５３０は、遠隔運転システム用の操作装置である。第１操作装置５３０は、オペレータが運転席５１０に座ったときにオペレータの操作可能な範囲内に位置する。第１操作装置５３０は、例えば電気式レバーおよび電気式ペダルを備える。第１操作装置５３０は、ブーム１３１の上げ操作信号および下げ操作信号、アーム１３２の押し操作信号、引き操作信号、バケット１３３の掘削操作信号およびダンプ操作信号、旋回体１２０の旋回操作信号、ならびに走行体１１０の走行操作信号の入力を受け付ける。
【0015】
第２操作装置５４０は、無人搬送システム用の操作装置である。第２操作装置５４０は、オペレータが運転席５１０に座ったときにオペレータの操作可能な範囲内に位置する。第２操作装置５４０は、タッチパネル等により構成される。第２操作装置５４０は、運搬車両２００への積込点指示信号、進入指示信号、および発進指示信号の入力を受け付ける。第２操作装置５４０は、入力された操作信号を管制装置３００に送信する。なお、他の実施形態に係る遠隔運転室５００は第２操作装置５４０を備えなくてもよい。
【0016】
制御装置５５０は、積込車両１００から受信した画像および車体情報を、表示装置５２０に表示させる。つまり、制御装置５５０は、表示制御装置の一例である。また制御装置５５０は、第１操作装置５３０に入力された操作信号を積込車両１００に送信する。
【0017】
《運搬車両》
第１の実施形態に係る運搬車両２００は、ベッセルを備えるオフロードダンプトラックである。なお、他の実施形態に係る運搬車両２００は、ダンプトラック以外の運搬車であってもよい。
運搬車両２００は、位置方位演算器２１０、ペイロードメータ２１５、および制御装置２２０を備える。
第１の実施形態に係る運搬車両２００は、ベッセルを備えるオフロードダンプトラックである。なお、他の実施形態に係る運搬車両２００は、ダンプトラック以外の運搬車であってもよい。
運搬車両２００は、位置方位演算器２１０、ペイロードメータ２１５、および制御装置２２０を備える。
【0018】
位置方位演算器２１０は、運搬車両２００の位置および方位を演算する。位置方位演算器２１０は、ＧＮＳＳ（Global Navigation Satellite System）を構成する人工衛星から測位信号を受信する２つの受信器を備える。ＧＮＳＳの例としては、ＧＰＳ（Global Positioning System）が挙げられる。２つの受信器は、それぞれ運搬車両２００の異なる位置に設置される。位置方位演算器２１０は、受信器が受信した測位信号に基づいて、現場座標系における運搬車両２００の位置を検出する。位置方位演算器２１０は、２つの受信器が受信した各測位信号を用いて、一方の受信器の設置位置に対する他方の受信器の設置位置の関係として、運搬車両２００の向く方位を演算する。なお、他の実施形態においてはこれに限られず、例えば運搬車両２００が慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を備え、慣性計測装置の計測結果に基づいて方位を演算してもよい。この場合、運搬車両２００の走行軌跡に基づいて慣性計測装置のドリフトを補正してもよい。なお、他の実施形態に係る運搬車両２００は、位置方位演算器２１０を備えなくてもよい。
【0019】
ペイロードメータ２１５は、運搬車両２００のベッセルに積載された積荷の重量、すなわち運搬車両２００の積載重量を計測する重量計である。例えば、ペイロードメータ２１５は、運搬車両２００のサスペンションシリンダに掛かる圧力を計測し、当該圧力を重量に換算するものであってもよい。
【0020】
制御装置２２０は、位置方位演算器２１０が検出した位置および方位、ならびにペイロードメータ２１５が計測した積載重量を、管制装置３００に送信する。制御装置２２０は、管制装置３００からコースデータおよび排土指示、積込点への進入指示、および積込点からの発進指示を受信する。制御装置２２０は、受信したコースデータに従って運搬車両２００を走行させ、または排土指示に従って運搬車両２００のベッセルを上下させる。運搬車両２００への操作信号は、進入指示信号、発進指示信号を含む。進入指示信号は、運搬車両２００に積込点Ｐ３まで進入することを指示する信号である。発進指示信号は、運搬車両２００に積込の完了により積込場Ａ１からの発進を指示する信号である。
また、制御装置２２０は、運搬車両２００が進入指示信号に従って積込点Ｐ３に到着したときに、管制装置３００に到着通知を送信する。
また、制御装置２２０は、運搬車両２００が進入指示信号に従って積込点Ｐ３に到着したときに、管制装置３００に到着通知を送信する。
【0021】
《積込車両》
図３は、第１の実施形態に係る積込車両の外観図である。
第１の実施形態に係る積込車両１００は、油圧ショベルである。なお、他の実施形態に係る積込車両１００は、油圧ショベル以外の例えばホイールローダ等の積込車両であってもよい。
積込車両１００は、油圧により駆動する作業機１３０と、作業機１３０を支持する旋回体１２０と、旋回体１２０を支持する走行体１１０とを備える。
図３は、第１の実施形態に係る積込車両の外観図である。
第１の実施形態に係る積込車両１００は、油圧ショベルである。なお、他の実施形態に係る積込車両１００は、油圧ショベル以外の例えばホイールローダ等の積込車両であってもよい。
積込車両１００は、油圧により駆動する作業機１３０と、作業機１３０を支持する旋回体１２０と、旋回体１２０を支持する走行体１１０とを備える。
【0022】
作業機１３０は、ブーム１３１と、アーム１３２と、バケット１３３とを備える。ブーム１３１の基端部は、旋回体１２０にピンを介して取り付けられる。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にピンを介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための容器とを備える。バケット１３３の基端部は、アーム１３２の先端部にピンを介して取り付けられる。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にピンを介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための容器とを備える。バケット１３３の基端部は、アーム１３２の先端部にピンを介して取り付けられる。
【0023】
旋回体１２０には、運転室１２１が備えられる。運転室１２１は、作業機１３０の左側に設けられる。運転室１２１には、前方カメラ１２２が設けられる。前方カメラ１２２は、運転室１２１内の前部かつ上部に設置される。前方カメラ１２２は、運転室１２１前部のフロントガラスを通して、運転室１２１の前方を撮像する。ここで、「前方」とは、旋回体１２０において作業機１３０が装着された方向をいい、「後方」は「前方」の逆方向をいう。「側方」とは、前後方向に対して交差する方向（左右方向）をいう。前方カメラ１２２の例としては、例えばＣＣＤ（Charge Coupled Device）センサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いた撮像装置が挙げられる。なお、他の実施形態に係る積込車両１００は、運転室１２１を備えなくてもよい。この場合においても、前方カメラ１２２は、運転室１２１に相当する位置に、前方を撮像するように設置される。また、他の実施形態においては、前方カメラ１２２は２台以上のカメラによって構成されてもよい。
【0024】
図４は、第１の実施形態に係る積込車両の撮像装置が撮像する画像の例である。前方カメラ１２２は、作業機１３０および運転室１２１の前方の積込作業対象が写る範囲を撮像する。つまり、前方カメラ１２２が撮像する画像Ｇ１には、図４に示すように、作業機１３０および運転室１２１の前方の積込作業対象が写る。また、運転室１２１が作業機１３０の左側に設けられるため、画像Ｇ１の右側部分には、ブーム１３１の一部が写りこんでいる。また、画像Ｇ１の上側部分には、運転室１２１の天井部分が写りこんでいる。
【0025】
積込車両１００は、前方カメラ１２２、バケットカメラ１２３、位置方位演算器１２４、傾斜計測器１２５、制御装置１２６を備える。
【0026】
バケットカメラ１２３は、アーム１３２の前面に設けられ、バケット１３３の内部を撮像する。以下、バケットカメラ１２３が撮像した画像を、バケット内部画像という。バケットカメラ１２３はセンサの一例である。なお、他の実施形態に係る積込車両１００は、バケットカメラ１２３を備えなくてもよい。
【0027】
位置方位演算器１２４は、旋回体１２０の位置および旋回体１２０が向く方位を演算する。位置方位演算器１２４は、ＧＮＳＳを構成する人工衛星から測位信号を受信する２つの受信器を備える。２つの受信器は、それぞれ旋回体１２０の異なる位置に設置される。位置方位演算器１２４は、受信器が受信した測位信号に基づいて、現場座標系における旋回体１２０の代表点（ショベル座標系の原点）の位置を検出する。
位置方位演算器１２４は、２つの受信器が受信した各測位信号を用いて、一方の受信器の設置位置に対する他方の受信器の設置位置の関係として、旋回体１２０の向く方位を演算する。
なお、他の実施形態においては、位置方位演算器１２４は、ロータリーエンコーダやＩＭＵの計測値に基づいて旋回体１２０が向く方位を検出してもよい。また、他の実施形態に係る積込車両１００は、位置方位演算器１２４を備えなくてもよい。
位置方位演算器１２４は、２つの受信器が受信した各測位信号を用いて、一方の受信器の設置位置に対する他方の受信器の設置位置の関係として、旋回体１２０の向く方位を演算する。
なお、他の実施形態においては、位置方位演算器１２４は、ロータリーエンコーダやＩＭＵの計測値に基づいて旋回体１２０が向く方位を検出してもよい。また、他の実施形態に係る積込車両１００は、位置方位演算器１２４を備えなくてもよい。
【0028】
傾斜計測器１２５は、旋回体１２０の加速度および角速度を計測し、計測結果に基づいて旋回体１２０の姿勢（例えば、ロール角、ピッチ角、ヨー角）を検出する。傾斜計測器１２５は、例えば旋回体１２０の下面に設置される。傾斜計測器１２５は、例えば、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を用いることができる。また、他の実施形態に係る積込車両１００は、傾斜計測器１２５を備えなくてもよい。
【0029】
制御装置１２６は、前方カメラ１２２が撮像した画像、バケットカメラ１２３が撮像した画像、ならびに旋回体１２０の旋回速度、位置、方位および傾斜角の情報を、遠隔運転室５００に送信する。以下、積込車両１００が備える各種センサによって計測され、制御装置１２６が送信する情報を、車体情報という。制御装置１２６は、遠隔運転室５００から操作信号を受信する。制御装置１２６は、受信した操作信号に基づいて、作業機１３０、旋回体１２０、または走行体１１０を駆動させる。
【0030】
《管制装置》
図５は、第１の実施形態に係る管制装置の構成を示すブロック図である。
管制装置３００は、運搬車両２００の走行を管理する。
管制装置３００は、プロセッサ３１００、メインメモリ３２００、ストレージ３３００、インタフェース３４００を備えるコンピュータである。ストレージ３３００は、管制プログラムを記憶する。プロセッサ３１００は、管制プログラムをストレージ３３００から読み出してメインメモリ３２００に展開し、管制プログラムに従った処理を実行する。管制装置３００は、インタフェース３４００を介して通信手段に接続される。
図５は、第１の実施形態に係る管制装置の構成を示すブロック図である。
管制装置３００は、運搬車両２００の走行を管理する。
管制装置３００は、プロセッサ３１００、メインメモリ３２００、ストレージ３３００、インタフェース３４００を備えるコンピュータである。ストレージ３３００は、管制プログラムを記憶する。プロセッサ３１００は、管制プログラムをストレージ３３００から読み出してメインメモリ３２００に展開し、管制プログラムに従った処理を実行する。管制装置３００は、インタフェース３４００を介して通信手段に接続される。
【0031】
ストレージ３３００は、走行経路記憶部３３０２、車両情報記憶部３３０３としての記憶領域を有する。ストレージ３３００の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ３３００は、管制装置３００の共通通信線に直接接続された内部メディアであってもよいし、インタフェース３４００を介して管制装置３００に接続される外部メディアであってもよい。ストレージ３３００は、一時的でない有形の記憶媒体である。
【0032】
積込点記憶部３３０１は、積込車両１００に関連付けて、当該積込車両１００が積込みを行う積込点Ｐ３の識別情報および座標を記憶する。
【0033】
走行経路記憶部３３０２は、運搬車両２００ごとに図２に示す走行経路Ｒを記憶する。管制装置３００は、積込車両１００のオペレータから積込点Ｐ３の座標の指定する積込点指示信号を受け付け、積込点指示信号に従って積込点Ｐ３を設定する。管制装置３００は、積込点Ｐ３を設定するたびに、進入経路Ｒ２、アプローチ経路Ｒ３および退出経路Ｒ４を計算する。なお、積込点Ｐ３は、管制装置３００が設けられる管制室において運搬車両２００を管理する運搬車両２００のオペレータによって指定されてもよい。
【0034】
車両情報記憶部３３０３は、各運搬車両２００の位置情報、方位情報、積載重量、最大積載重量およびスタンバイ情報を記憶する。スタンバイ情報とは、当該運搬車両２００が積込点Ｐ３で停止しているか否かを示す情報である。すなわち、運搬車両２００が積込点Ｐ３で停止している場合に、スタンバイ情報はＴｒｕｅを示し、運搬車両２００が積込点Ｐ３にいない場合に、スタンバイ情報はＦａｌｓｅを示す。
【0035】
プロセッサ３１００は、管制プログラムの実行により、車両情報収集部３１０１、走行コース生成部３１０２、操作信号転送部３１０３、通知受信部３１０４、更新部３１０５、積載重量送信部３１０６を備える。
【0036】
車両情報収集部３１０１は、アクセスポイント４００を介して運搬車両２００から位置情報、方位情報および積載重量の情報を受信する。車両情報収集部３１０１は、受信した位置情報、方位情報および積載重量の情報を車両情報記憶部３３０３に記憶させる。
【0037】
走行コース生成部３１０２は、走行経路記憶部３３０２が記憶する走行経路と、車両情報記憶部３３０３が記憶する位置情報および方位情報とに基づいて、運搬車両２００の移動を許可する領域を示すコースデータを生成し、コースデータを運搬車両２００に送信する。コースデータは、例えば、運搬車両２００が所定の速度で一定時間以内に走行可能かつ他の運搬車両２００の走行経路と重複しない領域を表す情報である。走行コース生成部３１０２は、遠隔運転室５００から運搬車両２００の停止信号を受信した場合、当該停止信号を運搬車両２００に転送する。
【0038】
操作信号転送部３１０３は、遠隔運転室５００から運搬車両２００への操作信号を受信し、当該操作信号を運搬車両２００に転送する。運搬車両２００への操作信号は、進入指示信号および発進指示信号を含む。進入指示信号は、運搬車両２００に積込点Ｐ３まで進入することを指示する信号である。発進指示信号は、運搬車両２００に積込の完了により積込場Ａ１からの発進を指示する信号である。
【0039】
通知受信部３１０４は、運搬車両２００から到着通知を受信する。
【0040】
更新部３１０５は、運搬車両２００から到着通知を受信した場合、車両情報記憶部３３０３において当該運搬車両２００に関連付けられたスタンバイ情報をＴｒｕｅに更新する。他方、遠隔運転室５００から発進指示信号を受信した場合、車両情報記憶部３３０３において当該運搬車両２００に関連付けられたスタンバイ情報をＦａｌｓｅに更新する。
【0041】
積載重量送信部３１０６は、スタンバイ情報がＴｒｕｅを示す運搬車両２００の積込点Ｐ３に関連付けられた積込車両１００を操作するための遠隔運転室５００に、当該運搬車両２００の積載重量を送信する。つまり、積載重量送信部３１０６は、複数の運搬車両２００のうち積込車両１００の積込対象である対象運搬車両の積載重量を、当該積込車両１００に送信する。積込車両１００の対象運搬車両は、積込車両１００に関連付けられた積込点Ｐ３に停車し、スタンバイ情報がＴｒｕｅを示す運搬車両２００である。
【0042】
《管制装置の動作方法》
図６は、第１の実施形態に係る管制装置の動作方法を示すフローチャートである。
管制装置３００は、所定の制御周期ごとに以下の処理を実行する。
車両情報収集部３１０１は、アクセスポイント４００を介して運搬車両２００から位置情報、方位情報および積載重量の情報を受信する（ステップＳ０１）。車両情報収集部３１０１は、受信した位置情報、方位情報および積載重量の情報を車両情報記憶部３３０３に記憶させる（ステップＳ０２）。また、通知受信部３１０４は、運搬車両２００から、進入指示信号に従って積込点Ｐ３に到着したことを示す到着通知を受信したか否かを判定する（ステップＳ０３）。
図６は、第１の実施形態に係る管制装置の動作方法を示すフローチャートである。
管制装置３００は、所定の制御周期ごとに以下の処理を実行する。
車両情報収集部３１０１は、アクセスポイント４００を介して運搬車両２００から位置情報、方位情報および積載重量の情報を受信する（ステップＳ０１）。車両情報収集部３１０１は、受信した位置情報、方位情報および積載重量の情報を車両情報記憶部３３０３に記憶させる（ステップＳ０２）。また、通知受信部３１０４は、運搬車両２００から、進入指示信号に従って積込点Ｐ３に到着したことを示す到着通知を受信したか否かを判定する（ステップＳ０３）。
【0043】
運搬車両２００から到着通知を受信した場合（ステップＳ０３：ＹＥＳ）、更新部３１０５は、当該運搬車両２００に関連付けられたスタンバイ情報をＴｒｕｅに更新する（ステップＳ０４）。運搬車両２００から到着通知を受信しない場合（ステップＳ０３：ＮＯ ）、スタンバイ情報は更新されない。
【0044】
次に、走行コース生成部３１０２は、走行経路記憶部３３０２が記憶する走行経路と、車両情報記憶部３３０３が記憶する位置情報および方位情報とに基づいて、各運搬車両２００の移動を許可する領域を示すコースデータを生成する（ステップＳ０５）。走行コース生成部３１０２は、生成したコースデータをアクセスポイント４００を介して運搬車両２００に送信する（ステップＳ０６）。
【0045】
また、操作信号転送部３１０３は、遠隔運転室５００から運搬車両２００への操作信号を受信し、当該操作信号を運搬車両２００に転送する（ステップＳ０７）。具体的には、操作信号転送部３１０３は、遠隔運転室５００から進入指示信号を受信した場合、当該遠隔運転室５００が操作する積込車両１００に関連付けられた積込点Ｐ３を終点とするアプローチ経路Ｒ３の始点の待機点Ｐ１で停止している運搬車両２００に、当該進入指示信号を転送する。また、操作信号転送部３１０３は、遠隔運転室５００から発進指示信号を受信した場合、当該遠隔運転室５００が操作する積込車両１００に関連付けられた積込点Ｐ３で停止している運搬車両２００に、当該発進指示信号を転送する。
更新部３１０５は、受信した操作信号に発進指示信号が含まれるか否かを判定する（ステップＳ０８）。更新部３１０５は、操作信号に発進指示信号が含まれる場合（ステップＳ０８：ＹＥＳ）、車両情報記憶部３３０３において発進指示信号の宛先の運搬車両２００に関連付けられたスタンバイ情報をＦａｌｓｅに更新する（ステップＳ０９）。
更新部３１０５は、受信した操作信号に発進指示信号が含まれるか否かを判定する（ステップＳ０８）。更新部３１０５は、操作信号に発進指示信号が含まれる場合（ステップＳ０８：ＹＥＳ）、車両情報記憶部３３０３において発進指示信号の宛先の運搬車両２００に関連付けられたスタンバイ情報をＦａｌｓｅに更新する（ステップＳ０９）。
【0046】
操作信号に発進指示信号が含まれない場合（ステップＳ０８：ＮＯ）、またはステップＳ０９で発信指示信号に基づいてスタンバイ情報を更新した場合、積載重量送信部３１０６は、スタンバイ情報がＴｒｕｅを示す運搬車両２００の積込点Ｐ３に関連付けられた積込車両１００を操作するための遠隔運転室５００に、当該運搬車両２００の積載重量および最大積載重量を送信する（ステップＳ１０）。
《遠隔運転室の制御装置》
図７は、第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。
制御装置５５０は、プロセッサ５１００、メインメモリ５２００、ストレージ５３００、インタフェース５４００を備えるコンピュータである。ストレージ５３００は、プログラムを記憶する。プロセッサ５１００は、プログラムをストレージ５３００から読み出してメインメモリ５２００に展開し、プログラムに従った処理を実行する。
《遠隔運転室の制御装置》
図７は、第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。
制御装置５５０は、プロセッサ５１００、メインメモリ５２００、ストレージ５３００、インタフェース５４００を備えるコンピュータである。ストレージ５３００は、プログラムを記憶する。プロセッサ５１００は、プログラムをストレージ５３００から読み出してメインメモリ５２００に展開し、プログラムに従った処理を実行する。
【0047】
ストレージ５３００の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ５３００は、制御装置５５０の共通通信線に直接接続された内部メディアであってもよいし、インタフェース５４００を介して制御装置５５０に接続される外部メディアであってもよい。ストレージ５３００は、一時的でない有形の記憶媒体である。なお、他の実施形態においては、制御装置５５０は、上記構成に加えて、または上記構成に代えて、ＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）またはＡＳＩＣ（Application Specific Integrated Circuit）などのセミカスタムＬＳＩを備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ５１００によって実現される機能の一部または全部が当該集積回路によって実現されてよい。
【0048】
プロセッサ５１００は、プログラムの実行により、車体情報受信部５１０１、画像切出部５１０２、積載重量受信部５１０３、表示画像生成部５１０４、表示制御部５１０５、操作信号送信部５１０６を備える。
【0049】
車体情報受信部５１０１は、前方カメラ１２２が撮像した画像、ならびに旋回体１２０の旋回速度、位置、方位および傾斜角の情報を、積込車両１００から受信する。つまり、車体情報受信部５１０１は、撮像画像取得部、および計測値取得部の一例である。
【0050】
図８は、前方カメラが撮像した画像から切り出される画像の例を示す図である。
画像切出部５１０２は、車体情報受信部５１０１が受信した前方カメラ１２２が撮像した画像Ｇ１から、中央ディスプレイ５２１に表示させるための中央画像Ｇ１１、左ディスプレイ５２２に表示させるための左画像Ｇ１２、右ディスプレイ５２３に表示させるための右画像Ｇ１３、上ディスプレイ５２４に表示させるための上画像Ｇ１４、下ディスプレイ５２５に表示させるための下画像Ｇ１５をそれぞれ切り出す。各画像は、掘削対象の地形および作業機１３０の位置が、積込車両１００のオペレータにとってに認識しやすくなるように切り出される。なお、表示装置５２０が１つのディスプレイから構成される場合、画像切出部５１０２は画像の切り出しを行わなくてもよい。
画像切出部５１０２は、車体情報受信部５１０１が受信した前方カメラ１２２が撮像した画像Ｇ１から、中央ディスプレイ５２１に表示させるための中央画像Ｇ１１、左ディスプレイ５２２に表示させるための左画像Ｇ１２、右ディスプレイ５２３に表示させるための右画像Ｇ１３、上ディスプレイ５２４に表示させるための上画像Ｇ１４、下ディスプレイ５２５に表示させるための下画像Ｇ１５をそれぞれ切り出す。各画像は、掘削対象の地形および作業機１３０の位置が、積込車両１００のオペレータにとってに認識しやすくなるように切り出される。なお、表示装置５２０が１つのディスプレイから構成される場合、画像切出部５１０２は画像の切り出しを行わなくてもよい。
【0051】
積載重量受信部５１０３は、管制装置３００から、運搬車両２００の積載重量および最大積載重量の情報を受信する。管制装置３００は、車両情報記憶部３３０３に、運搬車両２００ごとの最大積載重量を記憶する。これにより、管制装置３００は、車格の異なる複数の運搬車両２００が走行する場合にも、各運搬車両２００の最大積載重量を認識することができる。積載重量受信部５１０３は、積載重量取得部の一例である。
【0052】
図９は、第１の実施形態に係る表示装置に表示される表示画像の例を示す図である。
表示画像生成部５１０４は、例えば、積載重量受信部５１０３が受信した運搬車両２００の積載重量を示す積載重量画像Ｇ２と、車体情報受信部５１０１が受信したバケット内部画像Ｇ３とを、画像切出部５１０２が切り出した右画像Ｇ１３に配置することで、表示用右画像Ｇ１３ａを生成する。積載重量画像Ｇ２には、例えば、運搬車両２００の積載重量、最大積載重量、および残り積載重量が含まれる。なお、図９の積載重量画像Ｇ２には、運搬車両２００の側面図が描画されるが、当該側面図は例えば予めストレージ５３００に記憶されているものであってよい。
表示画像生成部５１０４は、例えば、積載重量受信部５１０３が受信した運搬車両２００の積載重量を示す積載重量画像Ｇ２と、車体情報受信部５１０１が受信したバケット内部画像Ｇ３とを、画像切出部５１０２が切り出した右画像Ｇ１３に配置することで、表示用右画像Ｇ１３ａを生成する。積載重量画像Ｇ２には、例えば、運搬車両２００の積載重量、最大積載重量、および残り積載重量が含まれる。なお、図９の積載重量画像Ｇ２には、運搬車両２００の側面図が描画されるが、当該側面図は例えば予めストレージ５３００に記憶されているものであってよい。
【0053】
表示制御部５１０５は、中央ディスプレイ５２１に中央画像Ｇ１１を表示させる。左ディスプレイ５２２に左画像Ｇ１２を表示させる。制御装置５５０は、右ディスプレイ５２３に表示用右画像Ｇ１３ａを表示させる。制御装置５５０は、上ディスプレイ５２４に上画像Ｇ１４を表示させる。制御装置５５０は、下ディスプレイ５２５に下画像Ｇ１５を表示させる。
【0054】
操作信号送信部５１０６は、オペレータによる第１操作装置５３０の操作に基づいて操作信号を生成し、積込車両１００に送信する。また操作信号送信部５１０６は、オペレータによる第２操作装置５４０の操作に基づいて操作信号を生成し、管制装置３００に送信する。
【0055】
《遠隔運転室の表示制御方法》
図１０は、第１の実施形態に係る遠隔運転室の制御装置による表示制御方法を示すフローチャートである。積込車両１００の遠隔操作が開始されると、制御装置５５０は、以下に示す表示制御を所定の周期で実行する。
車体情報受信部５１０１は、積込車両１００の制御装置１２６から車体情報を受信する（ステップＳ２１）。次に、画像切出部５１０２は、受信した車体情報のうち前方カメラ１２２が撮像した画像Ｇ１から、中央画像Ｇ１１、左画像Ｇ１２、右画像Ｇ１３、上画像Ｇ１４、および下画像Ｇ１５をそれぞれ切り出す（ステップＳ２２）。
図１０は、第１の実施形態に係る遠隔運転室の制御装置による表示制御方法を示すフローチャートである。積込車両１００の遠隔操作が開始されると、制御装置５５０は、以下に示す表示制御を所定の周期で実行する。
車体情報受信部５１０１は、積込車両１００の制御装置１２６から車体情報を受信する（ステップＳ２１）。次に、画像切出部５１０２は、受信した車体情報のうち前方カメラ１２２が撮像した画像Ｇ１から、中央画像Ｇ１１、左画像Ｇ１２、右画像Ｇ１３、上画像Ｇ１４、および下画像Ｇ１５をそれぞれ切り出す（ステップＳ２２）。
【0056】
次に、積載重量受信部５１０３は、管制装置３００から運搬車両２００の積載重量および最大積載重量を受信する（ステップＳ２３）。表示画像生成部５１０４は、受信した積載重量および最大積載重量を表す積載重量画像Ｇ２およびバケット内部画像Ｇ３を右画像Ｇ１３に配置することで、表示用右画像Ｇ１３ａを生成する（ステップＳ２４）。表示制御部５１０５は、中央画像Ｇ１１、左画像Ｇ１２、表示用右画像Ｇ１３ａ、上画像Ｇ１４、および下画像Ｇ１５を、表示装置５２０に表示させるための表示信号を生成し、表示装置５２０に送信する（ステップＳ２５）。
【0057】
《作用・効果》
このように、第１の実施形態に係る遠隔運転室５００の制御装置５５０は、複数の運搬車両２００のうち、積込車両１００による積込作業対象である対象運搬車両において計測された積載重量を管制装置３００から取得し、右画像Ｇ１３上に積載重量画像Ｇ２を配置した表示用右画像Ｇ１３ａを、表示装置５２０に表示させる。これにより、制御装置５５０は、積込車両１００のオペレータに運搬車両２００の積載量を容易に認識させることができる。なお、他の実施形態においては、積載重量画像Ｇ２は、右画像Ｇ１３以外の画像上に配置されてもよい。
このように、第１の実施形態に係る遠隔運転室５００の制御装置５５０は、複数の運搬車両２００のうち、積込車両１００による積込作業対象である対象運搬車両において計測された積載重量を管制装置３００から取得し、右画像Ｇ１３上に積載重量画像Ｇ２を配置した表示用右画像Ｇ１３ａを、表示装置５２０に表示させる。これにより、制御装置５５０は、積込車両１００のオペレータに運搬車両２００の積載量を容易に認識させることができる。なお、他の実施形態においては、積載重量画像Ｇ２は、右画像Ｇ１３以外の画像上に配置されてもよい。
【0058】
また、第１の実施形態に係る遠隔運転室５００の制御装置５５０は、右画像Ｇ１３上に積載重量画像Ｇ２と、積込車両１００に搭載されたバケットカメラ１２３が撮像したバケット内部画像Ｇ３とを配置する。これにより、オペレータは、積込車両１００の状態を確認しながら、運搬車両２００の積載量を認識することができる。特に、バケット内部画像Ｇ３を視認できるようにすることで、遠隔操作室のオペレータがバケット１３３内の積荷のの量を容易に調整することができる。なお、他の実施形態においては、表示用右画像Ｇ１３ａにバケット内部画像Ｇ３が含まれなくてもよい。表示用右画像Ｇ１３ａは、積込車両１００に搭載された他のセンサが計測した計測値（例えば、積込車両１００の傾き、作業機１３０の姿勢など）を表す画像を含んでもよい。
【0059】
また、第１の実施形態に係る作業システム１は、管制装置３００が、運搬車両２００から積込点Ｐ３への到着を示す到着通知を受け、到着通知の送信元の運搬車両２００に係る積載重量を遠隔運転室５００に送信する。これにより、管制装置３００は、積込車両１００による積込作業対象である対象運搬車両において計測された積載重量を遠隔運転室５００に送信することができる。なお、他の実施形態においては、管制装置３００は、到着通知によらずに対象運搬車両を特定してもよい。例えば、他の実施形態に係る管制装置３００は、運搬車両２００の位置情報に基づいて、積込車両１００の近傍の積込点Ｐ３で停車している運搬車両２００を特定してもよい。また、他の実施形態においては、管制装置３００は、すべての運搬車両２００の位置情報、方位情報、および積載重量を遠隔運転室５００に送信し、遠隔運転室５００の制御装置５５０が対象運搬車両を特定してもよい。また他の実施形態においては、制御装置５５０の機能の一部または全部を、積込車両１００の制御装置１２６が有していてもよい。この場合、制御装置１２６は、運搬車両２００のペイロード情報を車車間通信によって得てもよい。
【0060】
また、第１の実施形態においては、遠隔運転室５００の制御装置５５０が表示装置５２０の表示制御装置として機能するが、これに限られない。例えば、他の実施形態においては、制御装置５５０の一部の機能が外部のサーバ装置などによって実現されてもよい。この場合、制御装置５５０と当該外部のサーバ装置とによって表示制御装置が構成される。
【0061】
また、上述した実施形態では、作業システム１に表示制御装置が実装されるが、これに限られない。例えば、他の実施形態においては、積込車両１００の外部であって積込車両１００を視認できる位置において無線通信により積込車両１００を操作するラジオコントロールシステムに表示制御装置を適用してもよい。ラジオコントロールシステムに適用される場合、例えば制御装置に表示装置が搭載されてもよい。
【符号の説明】
【0062】
１…作業システム １００…積込車両 １２２…前方カメラ １２３…バケットカメラ １２４…位置方位演算器 １２５…傾斜計測器 １２６…制御装置 ２００…運搬車両 ３００…管制装置 ３１０１…車両情報収集部 ３１０２…走行コース生成部 ３１０３…操作信号転送部 ３１０４…通知受信部 ３１０５…更新部 ３１０６…積載重量送信部 ３３０１…積込点記憶部 ３３０２…走行経路記憶部 ３３０３…車両情報記憶部 ５００…遠隔運転室 ５１０…運転席 ５２０…表示装置 ５３０…第１操作装置 ５４０…第２操作装置 ５５０…制御装置 ５１０１…車体情報受信部 ５１０２…画像切出部 ５１０３…積載重量受信部 ５１０４…表示画像生成部 ５１０５…表示制御部 ５１０６…操作信号送信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】