(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-15
(45)【発行日】2023-06-23
(54)【発明の名称】表示制御システム、表示制御方法および遠隔操作システム
(51)【国際特許分類】
H04N 7/18 20060101AFI20230616BHJP
E02F 9/26 20060101ALI20230616BHJP
E02F 9/20 20060101ALI20230616BHJP
G05D 1/00 20060101ALI20230616BHJP
【ＦＩ】
H04N7/18 J
E02F9/26 B
E02F9/20 N
G05D1/00 B
【請求項の数】
5
(21)【出願番号】P 2018205854
(22)【出願日】2018-10-31
(65)【公開番号】P2020072401
(43)【公開日】2020-05-07
【審査請求日】2021-08-25
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】丁 ▲キ▼
(72)【発明者】
【氏名】指宿 康洋
(72)【発明者】
【氏名】森永 淳
(72)【発明者】
【氏名】皆川 真範
【審査官】益戸 宏
(56)【参考文献】
【文献】特開２００１－３４８９１４（ＪＰ，Ａ）
【文献】国際公開第２０１７／０４７８２６（ＷＯ，Ａ１）
【文献】特開平０５－０９６９８５（ＪＰ，Ａ）
【文献】特開２０１６－１１１５０９（ＪＰ，Ａ）
【文献】特開２０１２－００１０４１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｅ０２Ｆ ９／２６
Ｅ０２Ｆ ９／２０
Ｇ０５Ｄ １／００
(57)【特許請求の範囲】
【請求項1】
作業車両を遠隔操作するための遠隔操作装置の運転席に対向する表示装置の表示制御システムであって、前記作業車両に搭載された撮像装置が撮像した撮像画像を取得する撮像画像取得部と、 前記作業車両のロール角およびピッチ角の少なくとも一方を表す姿勢画像を取得する姿勢画像取得部と、
前記姿勢画像が前記表示装置の前記運転席に対向する位置に表示されるように、前記撮像画像のうち前記作業車両が写り得る領域に前記姿勢画像を配置した表示画像を生成する表示画像生成部と、
前記表示画像を表示させる表示信号を、前記表示装置に出力する表示制御部と
を備え、
前記撮像装置は前記作業車両の運転室内に設けられ、
前記表示画像生成部は、前記撮像画像のうち前記運転室の内部が写る領域に前記姿勢画像を配置する
表示制御システム。
【請求項2】
前記表示画像生成部は、前記表示装置を前記運転席の後方から前記表示装置を平面視したときに前記姿勢画像が前記運転席と重なる領域、または前記表示装置を平面視したときに前記運転席の左右に設けられた操作レバーに挟まれる領域内に表示されるように、前記表示画像を生成する請求項１に記載の表示制御システム。
【請求項3】
前記姿勢画像は照準画像を含み、前記表示装置の幅方向における前記照準画像の位置によって前記作業車両のロール角を表し、
前記表示装置の高さ方向における前記照準画像の位置によって前記作業車両のピッチ角を表す
請求項１または請求項２に記載の表示制御システム。
【請求項4】
作業車両を遠隔操作するための遠隔操作装置の運転席に対向する表示装置の表示制御方法であって、前記作業車両に搭載された撮像装置が撮像した撮像画像を取得するステップと、
前記作業車両のロール角およびピッチ角の少なくとも一方を表す姿勢画像を取得するステップと、
前記姿勢画像が前記表示装置の前記運転席に対向する位置に表示されるように、前記撮像画像のうち前記作業車両が写り得る領域に前記姿勢画像を配置した表示画像を生成するステップと、
前記表示装置に前記表示画像を表示するステップと
を備え、
前記撮像装置は前記作業車両の運転室内に設けられ、
前記表示画像を生成するステップでは、前記撮像画像のうち前記運転室の内部が写る領域に前記姿勢画像を配置する
表示制御方法。
【請求項5】
作業車両を遠隔操作するための遠隔操作システムであって、前記作業車両の運転室内に搭載された撮像装置が撮像した撮像画像、および前記作業車両のロール角およびピッチ角の少なくとも一方を表す姿勢画像を表示する表示装置と、
前記表示装置に対向するように設けられた運転席と、
を備え、
前記姿勢画像は、前記表示装置の幅方向において前記運転席に対向する位置であって、前記撮像画像のうち前記運転室の内部が写る領域に表示される
遠隔操作システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業車両を遠隔操作するための遠隔操作装置における表示装置の表示制御システム、表示制御方法、および遠隔操作システムに関する。
【背景技術】
【0002】
作業車両を遠隔操作する技術が知られている。作業車両を遠隔操作するためには、外部から作業車両の周囲の状況が認識可能である必要がある。そのため、遠隔操作される作業車両は、周囲の状況を撮像する撮像装置と撮像された画像を外部に送信する通信機を備える。これにより、オペレータは、作業車両から送信される画像を視認しながら操作を行うことができる。
また、特許文献１には、オペレータに作業機械の傾きを認識させるために、表示装置に水準器を表示する技術が開示されている。
また、特許文献１には、オペレータに作業機械の傾きを認識させるために、表示装置に水準器を表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第２０１７／０４７８２６号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載の水準器の表示では、オペレータが作業車両の傾きを直感的に認識することができない可能性がある。例えば、運転席の傍に設けられた表示装置の画面が運転席正面に対して斜めまたは横に向けられている場合、オペレータが表示装置に表示される水準器を視認した際に、当該水準器が物理的な水準器と異なる挙動をとるために、オペレータが作業車両の傾きを直感的に認識することができない可能性がある。特に遠隔操作においては、オペレータは撮像画像を見ながら操作を行うため、作業車両の傾きを体感することができず、作業車両の傾きを認識することが困難である。
本発明の態様は、オペレータに作業車両の傾きを直感的に認識させることができる表示制御システム、表示制御方法、および遠隔操作システムを提供することを目的とする。
本発明の態様は、オペレータに作業車両の傾きを直感的に認識させることができる表示制御システム、表示制御方法、および遠隔操作システムを提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一態様によれば、表示制御装置は、作業車両を遠隔操作するための遠隔操作装置の運転席に対向する表示装置の表示制御システムであって、前記作業車両に搭載された撮像装置が撮像した撮像画像を取得する撮像画像取得部と、前記作業車両のロール角およびピッチ角の少なくとも一方を表す姿勢画像を取得する姿勢画像取得部と、前記姿勢画像が前記表示装置の前記運転席に対向する位置に表示されるように、前記撮像画像上に前記姿勢画像を配置した表示画像を生成する表示画像生成部と、前記表示画像を表示させる表示信号を、前記表示装置に出力する表示制御部とを備える。
【発明の効果】
【0006】
上記態様によれば、表示制御装置は、オペレータに作業車両の傾きを直感的に認識させることができる。
【図面の簡単な説明】
【0007】
【図1】第１の実施形態に係る遠隔操作システムの構成を示す概略図である。
【図2】第１の実施形態に係る作業車両の外観図である。
【図3】第１の実施形態に係る作業車両の撮像装置が撮像する画像の例である。
【図4】第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。
【図5】前方カメラが撮像した画像から切り出される画像の例を示す図である。
【図6】水準器画像の例を示す図である。
【図7】第１の実施形態に係る表示装置に表示される表示画像の例を示す図である。
【図8】第１の実施形態に係る遠隔運転室の制御装置による表示制御方法を示すフローチャートである。
【発明を実施するための形態】
【0008】
〈第１の実施形態〉
《遠隔操作システム》
図１は、第１の実施形態に係る遠隔操作システムの構成を示す概略図である。
遠隔操作システム１は、遠隔操作により動作する作業車両１００と、遠隔操作を行うための遠隔運転室５００とを備える。作業車両１００は、作業現場（例えば、鉱山、採石場）に設けられる。遠隔運転室５００は、作業車両１００から離れた地点（例えば、市街、作業現場内）に設けられる。作業車両１００と遠隔運転室５００とは、インターネットなどのネットワークを介して接続される。
遠隔操作システム１は、遠隔運転室５００を用いて作業車両１００を操作するためのシステムである。
《遠隔操作システム》
図１は、第１の実施形態に係る遠隔操作システムの構成を示す概略図である。
遠隔操作システム１は、遠隔操作により動作する作業車両１００と、遠隔操作を行うための遠隔運転室５００とを備える。作業車両１００は、作業現場（例えば、鉱山、採石場）に設けられる。遠隔運転室５００は、作業車両１００から離れた地点（例えば、市街、作業現場内）に設けられる。作業車両１００と遠隔運転室５００とは、インターネットなどのネットワークを介して接続される。
遠隔操作システム１は、遠隔運転室５００を用いて作業車両１００を操作するためのシステムである。
【0009】
作業車両１００は、遠隔運転室５００から受信する操作信号に従って動作する。
遠隔運転室５００は、オペレータの操作により、作業車両１００の操作を受け付け、操作信号を作業車両１００に送信する。遠隔運転室５００は、遠隔操作装置の一例である。
遠隔運転室５００は、オペレータの操作により、作業車両１００の操作を受け付け、操作信号を作業車両１００に送信する。遠隔運転室５００は、遠隔操作装置の一例である。
【0010】
《作業車両》
図２は、第１の実施形態に係る作業車両の外観図である。
第１の実施形態に係る作業車両１００は、油圧ショベルである。なお、他の実施形態に係る作業車両１００は、油圧ショベル以外の例えばホイールローダ、ブルドーザ等の作業車両であってもよい。
作業車両１００は、油圧により駆動する作業機１３０と、作業機１３０を支持する旋回体１２０と、旋回体１２０を支持する走行体１１０とを備える。
図２は、第１の実施形態に係る作業車両の外観図である。
第１の実施形態に係る作業車両１００は、油圧ショベルである。なお、他の実施形態に係る作業車両１００は、油圧ショベル以外の例えばホイールローダ、ブルドーザ等の作業車両であってもよい。
作業車両１００は、油圧により駆動する作業機１３０と、作業機１３０を支持する旋回体１２０と、旋回体１２０を支持する走行体１１０とを備える。
【0011】
作業機１３０は、ブーム１３１と、アーム１３２と、バケット１３３とを備える。ブーム１３１の基端部は、旋回体１２０にピンを介して取り付けられる。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にピンを介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための容器とを備える。バケット１３３の基端部は、アーム１３２の先端部にピンを介して取り付けられる。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にピンを介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための容器とを備える。バケット１３３の基端部は、アーム１３２の先端部にピンを介して取り付けられる。
【0012】
旋回体１２０には、運転室１２１が備えられる。運転室１２１は、作業機１３０の左側に設けられる。運転室１２１には、前方カメラ１２２が設けられる。前方カメラ１２２は、運転室１２１内の前部かつ上部に設置される。前方カメラ１２２は、運転室１２１前部のフロントガラスを通して、運転室１２１の前方を撮像する。ここで、「前方」とは、旋回体１２０において作業機１３０が装着された方向をいい、「後方」は「前方」の逆方向をいう。「側方」とは、前後方向に対して交差する方向（左右方向）をいう。前方カメラ１２２の例としては、例えばＣＣＤ（Charge Coupled Device）センサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いた撮像装置が挙げられる。
図３は、第１の実施形態に係る作業車両の撮像装置が撮像する画像の例である。前方カメラ１２２は、作業機１３０および運転室１２１の前方の作業対象が写る範囲を撮像する。つまり、前方カメラ１２２が撮像する画像Ｐ１には、図３に示すように、作業機１３０および運転室１２１の前方の作業対象が写る。また、運転室１２１が作業機１３０の左側に設けられるため、画像Ｐ１の右側部分には、ブーム１３１の一部が写りこんでいる。また、画像Ｐ１の上側部分には、運転室１２１の天井部分が写りこんでいる。
図３は、第１の実施形態に係る作業車両の撮像装置が撮像する画像の例である。前方カメラ１２２は、作業機１３０および運転室１２１の前方の作業対象が写る範囲を撮像する。つまり、前方カメラ１２２が撮像する画像Ｐ１には、図３に示すように、作業機１３０および運転室１２１の前方の作業対象が写る。また、運転室１２１が作業機１３０の左側に設けられるため、画像Ｐ１の右側部分には、ブーム１３１の一部が写りこんでいる。また、画像Ｐ１の上側部分には、運転室１２１の天井部分が写りこんでいる。
【0013】
作業車両１００は、前方カメラ１２２、位置方位演算器１２３、傾斜計測器１２４、制御装置１２５を備える。
【0014】
位置方位演算器１２３は、旋回体１２０の位置および旋回体１２０が向く方位を演算する。位置方位演算器１２３は、ＧＮＳＳを構成する人工衛星から測位信号を受信する２つの受信器を備える。２つの受信器は、それぞれ旋回体１２０の異なる位置に設置される。位置方位演算器１２３は、受信器が受信した測位信号に基づいて、現場座標系における旋回体１２０の代表点（ショベル座標系の原点）の位置を検出する。
位置方位演算器１２３は、２つの受信器が受信した各測位信号を用いて、一方の受信器の設置位置に対する他方の受信器の設置位置の関係として、旋回体１２０の向く方位を演算する。
なお、他の実施形態においては、位置方位演算器１２３は、ロータリーエンコーダやＩＭＵの計測値に基づいて旋回体１２０が向く方位を検出してもよい。
位置方位演算器１２３は、２つの受信器が受信した各測位信号を用いて、一方の受信器の設置位置に対する他方の受信器の設置位置の関係として、旋回体１２０の向く方位を演算する。
なお、他の実施形態においては、位置方位演算器１２３は、ロータリーエンコーダやＩＭＵの計測値に基づいて旋回体１２０が向く方位を検出してもよい。
【0015】
傾斜計測器１２４は、旋回体１２０の加速度および角速度を計測し、計測結果に基づいて旋回体１２０の姿勢（例えば、ロール角、ピッチ角、ヨー角）を検出する。傾斜計測器１２４は、例えば旋回体１２０の下面に設置される。傾斜計測器１２４は、例えば、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を用いることができる。傾斜計測器１２４は、加速度および角速度によらずに傾斜角を検出する傾斜計であってもよい。また、他の実施形態に係る作業車両１００は傾斜計測器１２４を備えなくてもよい。
【0016】
制御装置１２５は、前方カメラ１２２が撮像した画像、ならびに旋回体１２０の旋回速度、位置、方位および傾斜角を、遠隔運転室５００に送信する。以下、作業車両１００が備える各種センサによって計測され、制御装置１２５が送信する情報を、車体情報ともいう。制御装置１２５は、遠隔運転室５００から操作信号を受信する。制御装置１２５は、受信した操作信号に基づいて、作業機１３０、旋回体１２０、または走行体１１０を駆動させる。
【0017】
《遠隔運転室》
遠隔運転室５００は、運転席５１０、第１表示装置５２０、第２表示装置５３０、操作装置５４０、制御装置５５０を備える。
第１表示装置５２０は、運転席５１０と向かい合うように配置される。運転席５１０に向かい合うように配置されることは、オペレータに対向して配置されることと等価である。第１表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの眼前に位置する。第１表示装置５２０は、図１に示すように、並べられた中央ディスプレイ５２１、左ディスプレイ５２２、右ディスプレイ５２３、上ディスプレイ５２４、下ディスプレイ５２５によって構成される。左ディスプレイ５２２は中央ディスプレイ５２１の左側に設けられる。右ディスプレイ５２３は中央ディスプレイ５２１の右側に設けられる。上ディスプレイ５２４は中央ディスプレイ５２１の上側に設けられる。下ディスプレイ５２５は中央ディスプレイ５２１の下側に設けられる。つまり、第１表示装置５２０のうち中央ディスプレイ５２１、上ディスプレイ５２４および下ディスプレイ５２５は、運転席５１０の真正面に配置される。なお、中央ディスプレイ５２１、上ディスプレイ５２４および下ディスプレイ５２５には、作業対象物や作業機１３０のうちバケット１３３の部分が映る。
なお、他の実施形態においては、第１表示装置５２０を構成するディスプレイの数はこれに限られない。例えば、第１表示装置５２０は１つのディスプレイによって構成されてもよい。また、第１表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。
遠隔運転室５００は、運転席５１０、第１表示装置５２０、第２表示装置５３０、操作装置５４０、制御装置５５０を備える。
第１表示装置５２０は、運転席５１０と向かい合うように配置される。運転席５１０に向かい合うように配置されることは、オペレータに対向して配置されることと等価である。第１表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの眼前に位置する。第１表示装置５２０は、図１に示すように、並べられた中央ディスプレイ５２１、左ディスプレイ５２２、右ディスプレイ５２３、上ディスプレイ５２４、下ディスプレイ５２５によって構成される。左ディスプレイ５２２は中央ディスプレイ５２１の左側に設けられる。右ディスプレイ５２３は中央ディスプレイ５２１の右側に設けられる。上ディスプレイ５２４は中央ディスプレイ５２１の上側に設けられる。下ディスプレイ５２５は中央ディスプレイ５２１の下側に設けられる。つまり、第１表示装置５２０のうち中央ディスプレイ５２１、上ディスプレイ５２４および下ディスプレイ５２５は、運転席５１０の真正面に配置される。なお、中央ディスプレイ５２１、上ディスプレイ５２４および下ディスプレイ５２５には、作業対象物や作業機１３０のうちバケット１３３の部分が映る。
なお、他の実施形態においては、第１表示装置５２０を構成するディスプレイの数はこれに限られない。例えば、第１表示装置５２０は１つのディスプレイによって構成されてもよい。また、第１表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。
【0018】
第２表示装置５３０は、運転席５１０の斜め前方に、画面が運転席５１０を向くように配置される。第２表示装置５３０には、作業車両１００から送信された車体情報（燃料残量、エンジン水温）や、作業車両１００の異常の通知などが表示される。なお、他の実施形態においては、第２表示装置５３０の位置は、オペレータによって視認が可能な位置であれば、運転席５１０の斜め前方でなくてもよい。また他の実施形態に係る遠隔運転室５００は第２表示装置５３０を備えなくてもよい。
【0019】
操作装置５４０は、運転席５１０の近傍に配置される。操作装置５４０は、オペレータが運転席５１０に座ったときにオペレータの操作可能な範囲内に位置する。操作装置５４０は、例えば電気式レバーおよび電気式ペダルを備える。オペレータが電気式レバーおよび電気式ペダルを操作することで、操作装置５４０は、ブーム１３１、アーム１３２およびバケット１３３の操作信号、旋回体１２０の旋回操作信号、ならびに走行体１１０の走行操作信号を出力する。なお、操作装置５４０は例えば２つのレバーを備える。２つのレバーは運転席５１０の両側に設けられる。２つのレバーの位置はオペレータによる運転席５１０からの乗り降りに影響するため、２つのレバーは、運転席５１０の左右のひじ掛けの位置など、少なくとも運転席の幅と同等または運転席５１０の幅より広い間隔で設けられる。なお、２つのレバーは、対向する第１表示装置５２０の幅よりも狭い間隔で設けられる。
【0020】
制御装置５５０は、作業車両１００から受信した画像および車体情報を、第１表示装置５２０に表示させる。つまり、制御装置５５０は、表示制御システムの一例である。また制御装置５５０は、操作装置５４０に入力された操作信号を作業車両１００に送信する。なお、表示制御システムは、制御装置５５０を含む遠隔運転室５００であってもよいし、さらに作業車両１００の制御装置１２５、および前方カメラ１２２を備えてもよい。
【0021】
《遠隔運転室の制御装置》
図４は、第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。
制御装置５５０は、プロセッサ９１０、メインメモリ９３０、ストレージ９５０、インタフェース９７０を備えるコンピュータである。ストレージ９５０は、プログラムを記憶する。プロセッサ９１０は、プログラムをストレージ９５０から読み出してメインメモリ９３０に展開し、プログラムに従った処理を実行する。
図４は、第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。
制御装置５５０は、プロセッサ９１０、メインメモリ９３０、ストレージ９５０、インタフェース９７０を備えるコンピュータである。ストレージ９５０は、プログラムを記憶する。プロセッサ９１０は、プログラムをストレージ９５０から読み出してメインメモリ９３０に展開し、プログラムに従った処理を実行する。
【0022】
ストレージ９５０の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９５０は、制御装置５５０の共通通信線に直接接続された内部メディアであってもよいし、インタフェース９７０を介して制御装置５５０に接続される外部メディアであってもよい。ストレージ９５０は、一時的でない有形の記憶媒体である。なお、他の実施形態においては、制御装置５５０は、上記構成に加えて、または上記構成に代えて、ＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）またはＡＳＩＣ（Application Specific Integrated Circuit）などのセミカスタムＬＳＩを備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ９１０によって実現される機能の一部または全部が当該集積回路によって実現されてよい。
【0023】
プロセッサ９１０は、プログラムの実行により、車体情報受信部９１１、画像切出部９１２、水準器画像生成部９１３、表示画像生成部９１４、表示制御部９１５、操作信号送信部９１６を備える。
【0024】
車体情報受信部９１１は、前方カメラ１２２が撮像した画像、ならびに旋回体１２０の旋回速度、位置、方位および傾斜角を、作業車両１００から受信する。つまり、車体情報受信部９１１は、撮像画像取得部の一例である。
【0025】
図５は、前方カメラが撮像した画像から切り出される画像の例を示す図である。
画像切出部９１２は、車体情報受信部９１１が受信した前方カメラ１２２が撮像した画像Ｐ１から、中央ディスプレイ５２１に表示させるための中央画像Ｐ１１、左ディスプレイ５２２に表示させるための左画像Ｐ１２、右ディスプレイ５２３に表示させるための右画像Ｐ１３、上ディスプレイ５２４に表示させるための上画像Ｐ１４、下ディスプレイ５２５に表示させるための下画像Ｐ１５をそれぞれ切り出す。図４に示すように、右画像Ｐ１３の多くの部分には、ブーム１３１が写りこんでいる。また、上画像Ｐ１４の上部には、運転室１２１の天井部分が写りこんでいる。なお、作業機１３０の姿勢によってブーム１３１が写る位置は変化し得るが、前方カメラ１２２の配置および作業車両１００の構造上、右画像Ｐ１３にはブーム１３１が写る。以下、画像において作業車両１００の一部が写りこむ領域を、「作業車両１００の一部が写り得る領域」ともいう。つまり、「作業車両１００の一部が写り得る領域」は、作業車両１００の姿勢によらず作業車両１００の一部が常に写る領域に限られない。なお、第１表示装置５２０が１つのディスプレイから構成される場合、画像切出部９１２は画像の切り出しを行わなくてもよい。
画像切出部９１２は、車体情報受信部９１１が受信した前方カメラ１２２が撮像した画像Ｐ１から、中央ディスプレイ５２１に表示させるための中央画像Ｐ１１、左ディスプレイ５２２に表示させるための左画像Ｐ１２、右ディスプレイ５２３に表示させるための右画像Ｐ１３、上ディスプレイ５２４に表示させるための上画像Ｐ１４、下ディスプレイ５２５に表示させるための下画像Ｐ１５をそれぞれ切り出す。図４に示すように、右画像Ｐ１３の多くの部分には、ブーム１３１が写りこんでいる。また、上画像Ｐ１４の上部には、運転室１２１の天井部分が写りこんでいる。なお、作業機１３０の姿勢によってブーム１３１が写る位置は変化し得るが、前方カメラ１２２の配置および作業車両１００の構造上、右画像Ｐ１３にはブーム１３１が写る。以下、画像において作業車両１００の一部が写りこむ領域を、「作業車両１００の一部が写り得る領域」ともいう。つまり、「作業車両１００の一部が写り得る領域」は、作業車両１００の姿勢によらず作業車両１００の一部が常に写る領域に限られない。なお、第１表示装置５２０が１つのディスプレイから構成される場合、画像切出部９１２は画像の切り出しを行わなくてもよい。
【0026】
図６は、水準器画像の例を示す図である。
水準器画像生成部９１３は、車体情報受信部９１１が受信した旋回体１２０の傾斜角に基づいて、作業車両１００のロール角およびピッチ角を表す水準器を模した水準器画像Ｐ２を生成する。水準器画像Ｐ２の画素は、互いに直交するＸ軸およびＹ軸で表される座標によって規定される。図６において、右方向が＋Ｘ方向、左方向が－Ｘ方向、上方向が－Ｙ方向、下方向が＋Ｙ方向である。水準器画像Ｐ２は、作業車両１００の姿勢を表す姿勢画像の一例である。
図６に示す水準器画像Ｐ２は、気泡式水準器を上面からみた表示態様となっている。水準器画像Ｐ２は、筐体画像Ｐ２１と泡画像Ｐ２２と標線画像Ｐ２３とを含む。筐体画像Ｐ２１は、気泡式水準器の筐体を模した画像である。泡画像Ｐ２２は、気泡式水準器の気泡を模した画像である。泡画像Ｐ２２は、筐体画像Ｐ２１の内側に描画される。泡画像Ｐ２２の中心位置が旋回体１２０の傾きの方向および大きさを表す。すなわち、泡画像Ｐ２２が筐体画像Ｐ２１の中央に位置するとき、旋回体１２０のピッチ角およびロール角はいずれもゼロである。泡画像Ｐ２２が筐体画像Ｐ２１の中央より＋Ｘ方向に位置する場合、水準器画像Ｐ２は、旋回体１２０が右に傾いている（右手系でロール角が負値である）ことを表す。泡画像Ｐ２２が筐体画像Ｐ２１の中央より－Ｘ方向に位置する場合、水準器画像Ｐ２は、旋回体１２０が左に傾いている（右手系でロール角が正値である）ことを表す。泡画像Ｐ２２が筐体画像Ｐ２１の中央より＋Ｙ方向に位置する場合、水準器画像Ｐ２は、旋回体１２０が前方に傾いている（右手系でピッチ角が負値である）ことを表す。泡画像Ｐ２２が筐体画像Ｐ２１の中央より－Ｙ方向に位置する場合、水準器画像Ｐ２は、旋回体１２０が後方に傾いている（右手系でピッチ角が正値である）ことを表す。泡画像Ｐ２２は、照準画像の一例である。
標線画像Ｐ２３は、Ｘ軸およびＹ軸ならびに筐体画像Ｐ２１の中心を示す。
水準器画像生成部９１３は、車体情報受信部９１１が受信した旋回体１２０の傾斜角に基づいて、作業車両１００のロール角およびピッチ角を表す水準器を模した水準器画像Ｐ２を生成する。水準器画像Ｐ２の画素は、互いに直交するＸ軸およびＹ軸で表される座標によって規定される。図６において、右方向が＋Ｘ方向、左方向が－Ｘ方向、上方向が－Ｙ方向、下方向が＋Ｙ方向である。水準器画像Ｐ２は、作業車両１００の姿勢を表す姿勢画像の一例である。
図６に示す水準器画像Ｐ２は、気泡式水準器を上面からみた表示態様となっている。水準器画像Ｐ２は、筐体画像Ｐ２１と泡画像Ｐ２２と標線画像Ｐ２３とを含む。筐体画像Ｐ２１は、気泡式水準器の筐体を模した画像である。泡画像Ｐ２２は、気泡式水準器の気泡を模した画像である。泡画像Ｐ２２は、筐体画像Ｐ２１の内側に描画される。泡画像Ｐ２２の中心位置が旋回体１２０の傾きの方向および大きさを表す。すなわち、泡画像Ｐ２２が筐体画像Ｐ２１の中央に位置するとき、旋回体１２０のピッチ角およびロール角はいずれもゼロである。泡画像Ｐ２２が筐体画像Ｐ２１の中央より＋Ｘ方向に位置する場合、水準器画像Ｐ２は、旋回体１２０が右に傾いている（右手系でロール角が負値である）ことを表す。泡画像Ｐ２２が筐体画像Ｐ２１の中央より－Ｘ方向に位置する場合、水準器画像Ｐ２は、旋回体１２０が左に傾いている（右手系でロール角が正値である）ことを表す。泡画像Ｐ２２が筐体画像Ｐ２１の中央より＋Ｙ方向に位置する場合、水準器画像Ｐ２は、旋回体１２０が前方に傾いている（右手系でピッチ角が負値である）ことを表す。泡画像Ｐ２２が筐体画像Ｐ２１の中央より－Ｙ方向に位置する場合、水準器画像Ｐ２は、旋回体１２０が後方に傾いている（右手系でピッチ角が正値である）ことを表す。泡画像Ｐ２２は、照準画像の一例である。
標線画像Ｐ２３は、Ｘ軸およびＹ軸ならびに筐体画像Ｐ２１の中心を示す。
【0027】
図７は、第１の実施形態に係る表示装置に表示される表示画像の例を示す図である。
表示画像生成部９１４は、水準器画像Ｐ２を、画像切出部９１２が切り出した上画像Ｐ１４に配置することで、表示用上画像Ｐ１４ａを生成する。このとき、表示画像生成部９１４は、上画像Ｐ１４のうち、運転室１２１の天井部分が写る配置領域Ｒ内、かつ上ディスプレイ５２４に表示させたときに幅方向において運転席５１０に対向する鉛直線Ｌ上の位置に、水準器画像Ｐ２を配置する。また、水準器画像Ｐ２は、上ディスプレイ５２４に表示させたときに、ディスプレイの水平方向と標線画像Ｐ２３のＸ軸とが平行となるように配置される。なお、水準器画像Ｐ２は、オペレータが撮像画像を見ながら視線をあまり動かすことなく操作可能とするため、上ディスプレイ５２４に表示されることが好ましい。また、他の実施形態においては、上ディスプレイ５２４に水準器画像Ｐ２に加え、ペイロード情報などを表す他の画像を表示させてもよい。
表示画像生成部９１４は、水準器画像Ｐ２を、画像切出部９１２が切り出した上画像Ｐ１４に配置することで、表示用上画像Ｐ１４ａを生成する。このとき、表示画像生成部９１４は、上画像Ｐ１４のうち、運転室１２１の天井部分が写る配置領域Ｒ内、かつ上ディスプレイ５２４に表示させたときに幅方向において運転席５１０に対向する鉛直線Ｌ上の位置に、水準器画像Ｐ２を配置する。また、水準器画像Ｐ２は、上ディスプレイ５２４に表示させたときに、ディスプレイの水平方向と標線画像Ｐ２３のＸ軸とが平行となるように配置される。なお、水準器画像Ｐ２は、オペレータが撮像画像を見ながら視線をあまり動かすことなく操作可能とするため、上ディスプレイ５２４に表示されることが好ましい。また、他の実施形態においては、上ディスプレイ５２４に水準器画像Ｐ２に加え、ペイロード情報などを表す他の画像を表示させてもよい。
【0028】
表示制御部９１５は、中央ディスプレイ５２１に中央画像Ｐ１１を表示させる。左ディスプレイ５２２に左画像Ｐ１２を表示させる。制御装置５５０は、右ディスプレイ５２３に右画像Ｐ１３を表示させる。制御装置５５０は、上ディスプレイ５２４に表示用上画像Ｐ１４ａを表示させる。制御装置５５０は、下ディスプレイ５２５に下画像Ｐ１５を表示させる。
【0029】
操作信号送信部９１６は、オペレータによる操作装置５４０の操作に基づいて操作信号を生成し、作業車両１００に送信する。
【0030】
《遠隔運転室の表示制御方法》
図８は、第１の実施形態に係る遠隔運転室の制御装置による表示制御方法を示すフローチャートである。作業車両１００の遠隔操作が開始されると、制御装置５５０は、以下に示す表示制御を所定の周期で実行する。
車体情報受信部９１１は、作業車両１００の制御装置１２５から車体情報を受信する（ステップＳ１１）。次に、画像切出部９１２は、受信した車体情報のうち前方カメラ１２２が撮像した画像Ｐ１から、中央画像Ｐ１１、左画像Ｐ１２、右画像Ｐ１３、上画像Ｐ１４、および下画像Ｐ１５をそれぞれ切り出す（ステップＳ１２）。
図８は、第１の実施形態に係る遠隔運転室の制御装置による表示制御方法を示すフローチャートである。作業車両１００の遠隔操作が開始されると、制御装置５５０は、以下に示す表示制御を所定の周期で実行する。
車体情報受信部９１１は、作業車両１００の制御装置１２５から車体情報を受信する（ステップＳ１１）。次に、画像切出部９１２は、受信した車体情報のうち前方カメラ１２２が撮像した画像Ｐ１から、中央画像Ｐ１１、左画像Ｐ１２、右画像Ｐ１３、上画像Ｐ１４、および下画像Ｐ１５をそれぞれ切り出す（ステップＳ１２）。
【0031】
水準器画像生成部９１３は、受信した車体情報のうち旋回体１２０の傾斜角に基づいて、旋回体１２０の傾きを表す水準器画像Ｐ２を生成する（ステップＳ１３）。表示画像生成部９１４は、水準器画像Ｐ２を上画像Ｐ１３の配置領域Ｒ内かつ運転席５１０に対向する鉛直線Ｌ上の位置に配置することで、表示用上画像Ｐ１４ａを生成する（ステップＳ１４）。表示制御部９１５は、中央画像Ｐ１１、左画像Ｐ１２、右画像Ｐ１３、表示用上画像Ｐ１４ａ、および下画像Ｐ１５を、第１表示装置５２０に表示させるための表示信号を生成し、第１表示装置５２０に送信する（ステップＳ１５）。
【0032】
《作用・効果》
このように、第１の実施形態に係る遠隔運転室５００の制御装置５５０は、水準器画像Ｐ２が第１表示装置５２０の幅方向において運転席５１０に対向する鉛直線Ｌ上の位置に表示されるように、上画像Ｐ１４上に水準器画像Ｐ２を配置する。つまり、運転席５１０と第１表示装置５２０とは互いに対向するように設けられる。オペレータは運転席５１０に座ることで中央ディスプレイ５２１に正対する。そのため、オペレータは、左右方向へ顔を向けることなく、上ディスプレイ５２４に表示された水準器画像Ｐ２を視認することができる。またこれにより、撮像画像Ｐ１の左右方向と水準器画像Ｐ２の左右方向とが一致するため、上ディスプレイ５２４に表示された水準器画像Ｐ２は、撮像画像Ｐ１と矛盾のない挙動をとる。したがって、オペレータは、作業車両１００の傾きを直感的に認識することができる。なお、水準器画像Ｐ２は、左ディスプレイ５２２または右ディスプレイ５２３に表示されてもよいが、オペレータに作業車両１００の傾きを直感的に認識させるためには、水準器画像Ｐ２はオペレータに正対する中央ディスプレイ５２１、上ディスプレイ５２４、または下ディスプレイ５２５に表示されることが好ましい。
このように、第１の実施形態に係る遠隔運転室５００の制御装置５５０は、水準器画像Ｐ２が第１表示装置５２０の幅方向において運転席５１０に対向する鉛直線Ｌ上の位置に表示されるように、上画像Ｐ１４上に水準器画像Ｐ２を配置する。つまり、運転席５１０と第１表示装置５２０とは互いに対向するように設けられる。オペレータは運転席５１０に座ることで中央ディスプレイ５２１に正対する。そのため、オペレータは、左右方向へ顔を向けることなく、上ディスプレイ５２４に表示された水準器画像Ｐ２を視認することができる。またこれにより、撮像画像Ｐ１の左右方向と水準器画像Ｐ２の左右方向とが一致するため、上ディスプレイ５２４に表示された水準器画像Ｐ２は、撮像画像Ｐ１と矛盾のない挙動をとる。したがって、オペレータは、作業車両１００の傾きを直感的に認識することができる。なお、水準器画像Ｐ２は、左ディスプレイ５２２または右ディスプレイ５２３に表示されてもよいが、オペレータに作業車両１００の傾きを直感的に認識させるためには、水準器画像Ｐ２はオペレータに正対する中央ディスプレイ５２１、上ディスプレイ５２４、または下ディスプレイ５２５に表示されることが好ましい。
【0033】
なお、水準器画像Ｐ２が、例えば第２表示装置５３０に表示される場合、第２表示装置５３０は運転席の斜め前に、画面が運転席を向くように配置される。そのため、中央ディスプレイ５２１に表示される撮像画像Ｐ１の左右方向と、第２表示装置５３０に表示される水準器画像Ｐ２の左右方向とが一致しなくなる。この場合、オペレータは、作業車両１００の傾きを直感的に認識することができることが困難となる。
【0034】
また、第１の実施形態に係る制御装置５５０は、撮像画像Ｐ１のうち作業車両１００が写る配置領域Ｒに水準器画像を配置する。これにより、表示画像において作業対象を隠すことなく水準器画像Ｐ２を表示することができる。したがって、水準器画像Ｐ２がオペレータによる作業車両１００の操作の邪魔になることを防ぐことができる。なお、第１の実施形態に係る制御装置５５０は、運転室１２１の天井が写る領域に水準器画像Ｐ２を表示するが、これに限られない。例えば、他の実施形態において、下画像Ｐ１５に運転室１２１の床面が写る領域がある場合、当該領域に水準器画像Ｐ２を表示してもよい。他方、他の実施形態においては、水準器画像Ｐ２がオペレータに対向する表示装置の任意の位置に配置されていてもよい。このとき、水準器画像Ｐ２は、画像中心が鉛直線Ｌ上に位置するように配置されてもよいし、画像の少なくとも一部分が鉛直線Ｌに重なるように配置されてもよい。また、例えば、水準器画像Ｐ２は、第１表示装置５２０のうち後方からの平面視において運転席５１０と重なる幅方向の領域Ｌａ、もしくは第１表示装置５２０のうち後方からの平面視において操作レバーに挟まれる幅方向の領域Ｌｂに少なくとも一部分が重なるように配置されてもよい。また、鉛直線Ｌの画面上の位置は、必ずしも画面中央を通るとは限らない。
【0035】
また、第１の実施形態に係る水準器画像Ｐ２は泡画像Ｐ２２を含み、第１表示装置５２０の幅方向における泡画像Ｐ２２の位置によって作業車両１００のロール角を表し、第１表示装置５２０の高さ方向における泡画像Ｐ２２の位置によって作業車両１００のピッチ角を表す。
なお、他の実施形態においては、水準器画像Ｐ２は、気泡式水準器を模したものでなくてもよい。例えば、他の実施形態においては、水準器画像Ｐ２は航空機の姿勢指示器やレーザー水準器を模したものであってもよい。また例えば、水準器画像Ｐ２に代えて、俯瞰画像において、画像中央に表示された作業車両１００の画像がロール角またはピッチ角に応じて傾くような他の姿勢画像が表示されてもよい。つまり、他の実施形態に係る姿勢画像は、ロール角およびピッチ角の少なくとも一方を表示するものであればよい。
なお、他の実施形態においては、水準器画像Ｐ２は、気泡式水準器を模したものでなくてもよい。例えば、他の実施形態においては、水準器画像Ｐ２は航空機の姿勢指示器やレーザー水準器を模したものであってもよい。また例えば、水準器画像Ｐ２に代えて、俯瞰画像において、画像中央に表示された作業車両１００の画像がロール角またはピッチ角に応じて傾くような他の姿勢画像が表示されてもよい。つまり、他の実施形態に係る姿勢画像は、ロール角およびピッチ角の少なくとも一方を表示するものであればよい。
【0036】
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
上述した実施形態では、作業車両１００から受信した車両情報に基づいて制御装置５５０が水準器画像Ｐ２を生成するが、これに限られない。例えば、他の実施形態においては、作業車両１００の制御装置１２５や、外部のサーバ装置が水準器画像Ｐ２を生成し、制御装置５５０がこれを受信して表示するものであってもよい。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
上述した実施形態では、作業車両１００から受信した車両情報に基づいて制御装置５５０が水準器画像Ｐ２を生成するが、これに限られない。例えば、他の実施形態においては、作業車両１００の制御装置１２５や、外部のサーバ装置が水準器画像Ｐ２を生成し、制御装置５５０がこれを受信して表示するものであってもよい。
【符号の説明】
【0037】
１…遠隔操作システム １００…作業車両 １１０…走行体 １２０…旋回体 １２１…運転室 １２２…前方カメラ １２３…位置方位演算器 １２４…傾斜計測器 １２５…制御装置 １３０…作業機 １３１…ブーム １３２…アーム １３３…バケット ５００…遠隔運転室 ５１０…運転席 第１５２０…表示装置 第２５３０…表示装置 ５４０…操作装置 ５５０…制御装置 ９１１…車体情報受信部 ９１２…画像切出部 ９１３…水準器画像生成部 ９１４…表示画像生成部 ９１５…表示制御部 ９１６…操作信号送信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】