特開 2023-83265 画像表示システム、画像表示複合システムおよび画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023083265

(43)【公開日】2023-06-15

(54)【発明の名称】画像表示システム、画像表示複合システムおよび画像表示方法

(51)【国際特許分類】

   E02F 9/20 20060101AFI20230608BHJP

   E02F 9/26 20060101ALI20230608BHJP

   G08G 1/13 20060101ALI20230608BHJP

   G08G 1/00 20060101ALI20230608BHJP

【ＦＩ】

E02F9/20 N

E02F9/26 A

G08G1/13

G08G1/00 D

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022193682

(22)【出願日】2022-12-02

(31)【優先権主張番号】P 2021197266

(32)【優先日】2021-12-03

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】弁理士法人創成国際特許事務所

(72)【発明者】

【氏名】廣瀬 龍一

(72)【発明者】

【氏名】佐伯 誠司

【テーマコード（参考）】

2D003

2D015

5H181

【Ｆターム（参考）】

2D003AA01

2D003BA04

2D003BA06

2D015HA03

5H181AA07

5H181BB04

5H181CC04

5H181FF04

5H181MA41

5H181MA48

5H181MB03

(57)【要約】

【課題】指定エリアで様々な形態で稼働している複数の建設機械のそれぞれの状態をユーザに知得させることができるシステム等を提供する。
【解決手段】情報端末装置６０の出力インターフェース６２０において指定エリア画像に映り込んでいる指定エリアに存在する作業機械Ｑｉの位置に対応付けられ、指標画像Ｍ１ｉとしての顔写真画像および顔イラスト画像が表示される。指標画像Ｍ１ｉの種類および／または意匠の別を通じて、当該作業機械Ｑｉの選択可能な複数の運転状態のうち現在運転状態としての遠隔操作状態および実機操作状態の別を当該情報端末装置６０のユーザに知得させることができる。
【選択図】図５

【特許請求の範囲】

【請求項1】

指定エリア画像に映り込んでいる指定エリアに存在する作業機械の位置に対応付けられ、当該作業機械の選択または交代可能な複数の運転状態のうち現在運転状態を識別可能に表わす指標画像と、を情報端末装置の出力インターフェースに出力させる画像表示システム。

【請求項2】

請求項１に記載の画像表示システムにおいて、
前記作業機械の現在運転状態が第１運転状態である場合、前記作業機械の位置に対応付けて前記指標画像を前記情報端末装置の出力インターフェースに出力させ、
前記作業機械の現在運転状態が第２運転状態である場合、前記作業機械の位置に対応付けて前記指標画像を前記情報端末装置の出力インターフェースに出力させない画像表示システム。

【請求項3】

請求項１または２に記載の画像表示システムにおいて、
前記作業機械の位置に対応付けて、当該作業機械の現在運転状態として、オペレータの有無、オペレータの特定情報およびオペレータの属性のうち少なくとも１つを識別可能に表わす前記指標画像を前記情報端末装置の出力インターフェースに出力させる画像表示システム。

【請求項4】

請求項１または２に記載の画像表示システムにおいて、
前記作業機械の位置に対応付けて、当該作業機械の現在運転状態としての、遠隔操作装置との通信状態を識別可能に表わす前記指標画像を前記情報端末装置の出力インターフェースに出力させる画像表示システム。

【請求項5】

請求項１または２に記載の画像表示システムにおいて、
前記指定エリア画像に加えて前記作業機械が存在するエリアの気象またはその時系列に関する気象情報を前記情報端末装置の出力インターフェースに出力させる画像表示システム。

【請求項6】

請求項１または２に記載の画像表示システムにおいて、
前記情報端末装置の入力インターフェースを通じて指定操作があった場合、前記指標画像に位置が対応付けられている前記作業機械に関連する実機関連情報を前記情報端末装置の出力インターフェースに出力させる画像表示システム。

【請求項7】

請求項１または２に記載の画像表示システムと、
前記情報端末装置および遠隔操作装置のうち少なくとも一方と、により構成されている画像表示複合システム。

【請求項8】

指定エリア画像に映り込んでいる指定エリアに存在する作業機械の位置に対応付けられ、当該作業機械の選択または交代可能な複数の運転状態のうち現在運転状態を識別可能に表わす指標画像と、を情報端末装置の出力インターフェースに出力させる工程を含む画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、建設機械の稼働状況等、当該建設機械が存在する指定エリアの状況を情報端末装置のユーザに知得させる技術に関する。

【背景技術】

【0002】

建設機械と通信可能な管理コンピュータのモニタ画面に、建設機械のエンジン始動日時、エンジン停止日時、エンジン冷却水量、エンジンオイル量、作動油量、フィルタ差圧、作業位置等の稼働情報を表示する技術が提案されている（例えば、特許文献１参照）。

【0003】

産業車両ごとの位置を示すシンボルを地図上に重ね、当該産業車両の号機Ｎｏ．、所在地情報、車両ＩＤ、アワーメータによる時間情報、保守費用の額、累積警告回数の稼働状態に応じてシンボルの態様を異ならせて表示する管理システムが提案されている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２－０８８８２１号公報

【特許文献2】特開２０１３－２３５４８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、従来技術における管理システムにおいては、作業機械に搭乗したオペレータにより当該作業機械が操作（実機操作）される場合については想定されているものの、指定エリアから遠隔した場所に設置された遠隔操作室におけるオペレータにより作業機械が操作（遠隔操作）される場合、および、作業機械が自動運転される場合については想定されていない。

【0006】

そこで、本発明は、指定エリアで様々な形態で稼働している複数の建設機械のそれぞれの状態をユーザに知得させることができるシステム等を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の画像表示システムは、
指定エリア画像に映り込んでいる指定エリアに存在する作業機械の位置に対応付けられ、当該作業機械の選択または交代可能な複数の運転状態のうち現在運転状態を識別可能に表わす指標画像と、を情報端末装置の出力インターフェースに出力させる。

【0008】

当該構成の画像表示システムによれば、情報端末装置の出力インターフェースにおいて指定エリア画像に映り込んでいる指定エリアに存在する作業機械の位置に対応付けられて出力される指標画像を通じて、当該作業機械の選択可能な複数の運転状態のうち現在運転状態を当該情報端末装置のユーザに知得させることができる。

【0009】

前記構成の画像表示システムにおいて、
前記作業機械の現在運転状態が第１運転状態である場合、前記作業機械の位置に対応付けて前記指標画像を前記情報端末装置の出力インターフェースに出力させ、
前記作業機械の現在運転状態が第２運転状態である場合、前記作業機械の位置に対応付けて前記指標画像を前記情報端末装置の出力インターフェースに出力させないことが好ましい。

【0010】

当該構成の画像表示システムによれば、情報端末装置の出力インターフェースにおいて指定エリアに存在する作業機械の位置に対応付けられている指標画像を通じて、当該作業機械の現在運転状態が第１運転状態であることを当該情報端末装置のユーザに知得させることができる。その一方、情報端末装置の出力インターフェースにおいて、指定エリアに存在している作業機械の位置に指標画像が対応付けられていないことを通じて、当該作業機械の現在運転状態が第２運転状態であることを情報端末装置のユーザに知得させることができる。

【0011】

前記構成の画像表示システムにおいて、
前記作業機械の位置に対応付けて、当該作業機械の現在運転状態として、オペレータの有無、オペレータの特定情報およびオペレータの属性のうち少なくとも１つを識別可能に表わす前記指標画像を前記情報端末装置の出力インターフェースに出力させることが好ましい。

【0012】

当該構成の画像表示システムによれば、情報端末装置の出力インターフェースにおいて指定エリア画像に映り込んでいる指定エリアに存在する作業機械の位置に対応付けられている指標画像を通じて、現在運転状態としての当該作業機械のオペレータの有無、オペレータの特定情報および／またはオペレータの属性を当該情報端末装置のユーザに知得させることができる。

【0013】

前記構成の画像表示システムにおいて、
前記作業機械の位置に対応付けて、当該作業機械の現在運転状態としての、遠隔操作装置との通信状態を識別可能に表わす前記指標画像を前記情報端末装置の出力インターフェースに出力させることが好ましい。

【0014】

当該構成の画像表示システムによれば、情報端末装置の出力インターフェースにおいて指定エリア画像に映り込んでいる指定エリアに存在する作業機械の位置に対応付けられている指標画像を通じて、現在運転状態としての当該作業機械と遠隔操作装置との通信状態（例：通信確立の有無など）を当該情報端末装置のユーザに知得させることができる。

【0015】

前記構成の画像表示システムにおいて、
前記指定エリア画像に加えて前記作業機械が存在するエリアの気象またはその時系列に関する気象情報を前記情報端末装置の出力インターフェースに出力させることが好ましい。

【0016】

当該構成の画像表示システムによれば、情報端末装置の出力インターフェースに出力される気象情報を通じて、作業機械が存在するエリアにおける気象またはその時系列（現在時刻・時間帯以降の予想気象）を当該情報端末装置のユーザに知得させることができる。

【0017】

前記構成の画像表示システムにおいて、
前記情報端末装置の入力インターフェースを通じて指定操作があった場合、前記指標画像に位置が対応付けられている前記作業機械に関連する実機関連情報を前記情報端末装置の出力インターフェースに出力させることが好ましい。

【0018】

当該構成の画像表示システムによれば、情報端末装置の入力インターフェースを通じて指定操作があった場合、出力インターフェースに出力される作業機械の実機関連情報を通じて当該情報端末装置のユーザに知得させることができる。

【図面の簡単な説明】

【0019】

【図1】画像表示複合システムおよび画像表示システムの構成に関する説明図。

【図2】遠隔操作装置の構成に関する説明図。

【図3】作業機械の構成に関する説明図。

【図4】画像表示システムの機能に関する説明図。

【図5】指定エリア画像および指標画像の第１表示形態に関する説明図。

【図6A】指標画像の第２表示形態に関する説明図。

【図6B】指標画像の第３表示形態に関する説明図。

【図6C】指標画像の第４表示形態に関する説明図。

【図7】指定エリア画像における実機関連情報の一表示形態に関する説明図。

【図8】指定エリア画像における気象情報の一表示形態に関する説明図。

【図9】指定エリア画像における通知情報の一表示形態に関する説明図。

【発明を実施するための形態】

【0020】

（画像表示複合システムの構成）
図１に示されている画像表示複合システムは、画像表示システム１０と、遠隔操作装置２０および／または当該遠隔操作装置２０による遠隔操作対象である作業機械４０と、により構成されている。画像表示システム１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。画像表示システム１０および遠隔操作装置２０の相互通信ネットワークと、画像表示システム１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

【0021】

（画像表示システムの構成）
画像表示システム１０は、本実施形態では、遠隔操作装置２０および作業機械４０とは別個に存在するコンピュータにより構成されており、データベース１０２と、第１機能要素１２１と、第２機能要素１２２と、を備えている。

【0022】

データベース１０２は、画像表示システム１０と相互通信可能なデータベースサーバにより構成されていてもよい。データベース１０２には、作業機械４０のオペレータを識別するためのオペレータ識別子と、当該オペレータの特定情報および／または属性と、が関連付けられて登録されている。オペレータの特定情報には、例えば、当該オペレータの顔写真画像、顔イラスト画像および／または氏名が含まれている。オペレータの属性には、例えば、当該オペレータの所属組織、使用言語および／または作業職務履歴などが含まれている。

【0023】

遠隔操作装置２０を通じて作業機械４０を遠隔操作しているオペレータの特定情報および／または属性が当該遠隔操作装置２０または当該作業機械４０から画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１０２に登録される。オペレータの特定情報および／または属性ならびにオペレータ識別子は、遠隔入力インターフェース２１０を構成するタッチパネルを通じて当該オペレータにより入力されてもよく、当該オペレータが所有しているカードまたは携帯情報端末装置などの電磁式記憶媒体から遠隔入力インターフェース２１０を構成する非接触式リーダにより読み取られてもよい。

【0024】

データベース１０２には、作業機械４０を識別するための実機識別子と、当該作業機械の関連情報と、が関連付けられて登録されている。作業機械４０の関連情報には、当該作業機械４０のクラス、仕様、アタッチメント４４５の種類および下部走行体４１０を構成するクローラの種類などの静的実機関連情報のほか、作業機械４０の作業機械４０が遠隔操作されている場合には遠隔操作装置２０の存在場所、１日または１月などの単位期間における累計運転時間、燃料残量、排気ガス浄化装置のスス残存量または尿素残水量などの動的実機関連情報が含まれている。

【0025】

作業機械４０から実機識別子および静的実機関連情報が画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１０２に登録される。作業機械４０から実機識別子および動的実機関連情報が画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１０２に累積的または逐次的に登録される。動的実機関連情報は、作業機械４０に搭載されている実機センサ群４１６を構成する適当なセンサを用いて計測される。動的実機関連情報には、作業機械４０の内部状態変数および／または外部状態変数が含まれていてもよい。「外部状態変数」は、作業機械４０の内部状態変数に影響を及ぼす、当該作業機械４０の環境を表わす変数である。例えば、作業機械４０の周囲の気温が外部状態変数に該当する。「内部状態変数」は、例えば、エンジン冷却水の配管内の水温、作業機構４４０等を作動させるための油圧系における油圧配管またはタンク等の温度など、当該作業機械４０の構成要素の状態を表わす変数である。

【0026】

遠隔操作装置２０を通じて作業機械４０の関連情報が画像表示システム１０に対して送信されたうえで、実機識別子に相互に関連付けられてデータベース１０２に登録される。

【0027】

作業機械４０を実機操作しているオペレータの特定情報および／または属性が画像表示システム１０に対して送信されたうえで、実機識別子に相互に関連付けられてデータベース１０２に登録されてもよい。オペレータの特定情報および／または属性は、実機入力インターフェース４１を構成するタッチパネルを通じて当該オペレータにより入力されてもよく、当該オペレータが所有しているカードまたは携帯端末などの電磁式記憶媒体から実機入力インターフェース４１を構成する非接触式リーダにより読み取られてもよい。

【0028】

各機能要素は、演算処理装置（例えば、シングルコアプロセッサおよび／またはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

【0029】

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（例えば、シングルコアプロセッサおよび／またはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0030】

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、ネットワークを介した通信をするための遠隔無線通信機器２２２と、を備えている。

【0031】

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は、作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

【0032】

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

【0033】

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

【0034】

遠隔画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

【0035】

図２に示されているように、中央遠隔画像出力装置２２１０の画面および左側遠隔画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側遠隔画像出力装置２２１１の右縁が、中央遠隔画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央遠隔画像出力装置２２１０の画面および右側遠隔画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側遠隔画像出力装置２２１２の左縁が、中央遠隔画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

【0036】

中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

【0037】

遠隔画像出力装置２２１が、シートＳｔを取り囲むように湾曲または屈曲した単一の画像出力装置によって構成されていてもよい。単一の画像出力装置が、例えば、中央遠隔画像出力装置２２１０により構成されていてもよい。遠隔画像出力装置２２１が、２つの画像出力装置（例えば、中央遠隔画像出力装置２２１０および左側遠隔画像出力装置２２１１または右側遠隔画像出力装置２２１２）によって構成されていてもよい。

【0038】

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0039】

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。

【0040】

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、実機測位装置４１４と、実機センサ群４１６と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えば、キャブ４２４の内部に設置され、フロントウィンドウ越しに作業機構４４０の少なくとも一部（例えば、アタッチメント４４５）を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。実機測位装置４１４は、作業機械４０の現在位置を測定するための装置であり、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）および必要に応じてジャイロセンサにより構成されている。実機センサ群４１６は、作業機械４０の燃料残量など、作業機械４０の状況を測定するためのさまざまなセンサにより構成されている。

【0041】

実機出力インターフェース４２は、ネットワークを介した通信をするための実機無線通信機器４２２を備えている。

【0042】

図３に示されているように、作業機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているアタッチメント４４５（例えば、バケット）と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

【0043】

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してアタッチメント４４５をアーム４４３に対して水平軸回りに回動させるように当該アタッチメント４４５と当該アーム４４３との間に介在する。

【0044】

（情報端末装置の構成）
情報端末装置６０は、スマートフォン、タブレット端末またはパーソナルコンピュータなどの端末装置であり、制御装置６００と、入力インターフェース６１０と、出力インターフェース６２０と、を備えている。制御装置６００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0045】

入力インターフェース６１０は、タッチパネル方式のボタンおよびスイッチなどにより構成されている。出力インターフェース６２０は、画像出力装置と、ネットワークを介した通信をするための無線通信機器と、を備えている。

【0046】

（機能）
前記構成の画像表示システムおよび画像表示システムの機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

【0047】

情報端末装置６０において、制御装置６００により入力インターフェース６１０を通じた第１指定操作の有無が判定される（図４／ＳＴＥＰ６１０）。「第１指定操作」には、例えば、指定エリアを特定するための因子を指定するための入力インターフェース６１０を通じたキーボードおよび／またはメニューの選択肢のタップなどの操作が含まれている。

【0048】

当該判定結果が否定的である場合（図４／ＳＴＥＰ６１０‥ＮＯ）、第１指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ６１０‥ＹＥＳ）、制御装置６００により情報端末装置６０から、画像表示システム１０に対して指定エリア情報要求が送信される（図４／ＳＴＥＰ６１２）。当該要求には、例えば、指定エリアを特定するための特定因子が含まれている。当該特定因子には、指定エリアの名称またはその所在地の名称もしくは住所、または、代表地点の緯度および経度もしくは緯度経度範囲などが含まれていてもよい。当該特定因子には、当該指定エリアに存在する作業機械４０を識別するための実機識別子、当該作業機械４０を操作するオペレータを識別するためのオペレータ識別子および／または当該作業機械４０を遠隔操作しているもしくは操作することが予定されている遠隔操作装置２０を識別するための遠隔識別子が含まれていてもよい。

【0049】

画像表示システム１０において、指定エリア情報要求が受信された場合（図４／Ｃ１１）、第１機能要素１２１により当該要求に含まれている特定因子により特定される指定エリアの状況を示す指定エリア画像が取得される（図４／ＳＴＥＰ１１０）。これにより、例えば、図５に示されているように、８台の作業機械Ｑ１～Ｑ８が映り込んでいる指定エリアの鳥瞰画像が取得される。

【0050】

指定エリア画像は、指定エリアの上空を飛行している飛行機（例えば、無人飛行機）もしくは人工衛星に搭載されている撮像装置、指定エリアに設置された撮像装置、および／または、指定エリアに存在する作業機械４０に搭載されている実機撮像装置４１２を通じて取得される。当該撮像画像は、データベース１０２および／または外部データベースに集積され、第１機能要素１２１により検索されてもよい。

【0051】

画像表示システム１０において、第１機能要素１２１により指定エリア画像により表わされる指定エリアに存在する作業機械４０の位置（実機位置）および識別子（実機識別子）が認識される（図４／ＳＴＥＰ１１２）。

【0052】

具体的には、作業機械４０において、実機制御装置４００により実機測位装置４１４を通じて当該作業機械４０の実空間における実機位置（緯度および経度）が認識される。実機制御装置４００により実機無線通信機器４２２を通じて当該実機位置またはこれを表わす実機位置データが実機識別子とともに画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１０２に登録される。第１機能要素１２１により、指定エリアを表わす緯度経度範囲に含まれている作業機械４０の実機位置およびこれに関連付けられている実機識別子がデータベース１０２から検索される。第１機能要素１２１により、実空間座標系における実機位置に基づき、指定エリア画像座標系における実機位置（画素位置）が認識される。

【0053】

これにより、例えば、図５に示されているように指定エリア画像に映り込んでいる作業機械Ｑ１～Ｑ８のほか、例えば、構造物などに隠れているために指定エリア画像に映り込んでいなくても指定エリアに存在する作業機械４０の実機位置および実機識別子が認識される。

【0054】

画像表示システム１０において、第１機能要素１２１により指定エリア画像により表わされる指定エリアに存在する作業機械４０の選択または交代可能な複数の運転状態のうち現在運転状態が認識される（図４／ＳＴＥＰ１１４）。

【0055】

具体的には、作業機械４０において、実機制御装置４００により現在運転状態が認識される。作業機械４０がオペレータにより遠隔操作装置２０を通じて遠隔操作されている「遠隔操作状態」、作業機械４０がそのキャブ４２４に搭乗したオペレータにより操作されている「実機操作状態」および作業機械４０が操作されていない「無操作状態」が複数の運転状態に含まれている。無操作状態には、作業機械４０が停止している状態のほか、ソフトウェアにしたがって自動運転されている状態が含まれていてもよい。

【0056】

作業機械４０と遠隔操作装置２０との通信が確立され、実機制御装置４００に対して当該遠隔操作装置２０から遠隔操作機構２１１の操作態様に応じた遠隔操作指令が伝送され、当該遠隔操作指令に応じて作業機構４４０の動作等が制御されている場合、現在運転状態が「遠隔操作状態」であると認識される。この場合、遠隔操作装置２０を操作しているオペレータのオペレータ識別子が認識される。作業機械４０の遠隔操作に際して、実機撮像装置４１２を通じて取得された撮像画像またはこれに応じて生成されたモデル画像が、遠隔操作装置２０の遠隔画像出力装置２２１に出力されている。

【0057】

作業機械４０と遠隔操作装置２０との通信が確立されておらず、実機制御装置４００に対して実機操作機構４１１の操作態様に応じた実機操作指令が伝送され、当該実機操作指令に応じて作業機構４４０の動作等が制御されている場合、現在運転状態が「実機操作状態」であると認識される。この場合、作業機械４０を操作しているオペレータのオペレータ識別子が認識される。

【0058】

実機制御装置４００に対して当該操作指令が伝送されていない場合、現在運転状態が「無操作状態」であると認識される。

【0059】

実機制御装置４００により実機無線通信機器４２２を通じて当該現在運転状態またはこれを表わす現在運転状態データが実機識別子および／またはオペレータ識別子とともに画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１０２に登録される。そして、第１機能要素１２１により、実機識別子に関連付けられている当該作業機械４０の現在運転状態がデータベース１０２から検索される。

【0060】

画像表示システム１０において、第２機能要素１２２により指定エリア画像および指標画像の出力指令が生成されたうえで、情報端末装置６０に対して送信される（図４／ＳＴＥＰ１１６）。指定エリア画像の出力指令および指標画像の出力指令は、同じタイミングではなく異なるタイミングで情報端末装置６０に対して送信されてもよい。

【0061】

情報端末装置６０において、指標画像の出力指令が受信された場合（図４／Ｃ２１）、制御装置６００により出力インターフェース６２０を構成する画像出力装置に当該指標画像が出力される（図４／ＳＴＥＰ６１４）。「指標画像」は、指定エリアに存在している作業機械４０の位置に対応付けられ、当該作業機械４０の現在運転状態を識別可能に表わす画像である。「位置に対応付けられる」とは、当該位置またはその近傍に配置されるほか、当該位置に線図などにより結び付けられることなど、当該位置に存在する作業機械４０との関連性が推察されるようなあらゆる形態を包含する概念である。

【0062】

これにより、例えば、図５に示されている指定エリア画像において、作業機械Ｑ１、Ｑ２およびＱ５のそれぞれを表わす画像の近傍に顔写真画像Ｍ１１、Ｍ１２およびＭ１５が指標画像として出力される。指標画像としての顔写真画像Ｍ１１、Ｍ１２およびＭ１５のそれぞれは、作業機械Ｑ１、Ｑ２およびＱ５のそれぞれを遠隔操作しているオペレータの顔写真画像である。各オペレータの顔写真画像は、例えば、実機識別子および／またはオペレータ識別子に基づいてデータベース１０２から検索される。指定エリア画像において作業機械４０の位置に対応付けられて出力されている指標画像としての顔写真画像は、作業機械４０の現在運転状態が遠隔操作状態（一の第１運転状態）であることを表わしている。指標画像Ｍ１ｉによりオペレータの特定情報のほかその属性が識別可能に表わされていてもよい。

【0063】

図５に示されている指定エリア画像において、作業機械Ｑ３、Ｑ４、Ｑ７およびＱ８のそれぞれを表わす画像の近傍に顔イラスト画像（または人間の姿を模したアイコン）Ｍ１３、Ｍ１４、Ｍ１７およびＭ１８が指標画像として出力される。指標画像としての顔イラスト画像Ｍ１３、Ｍ１４、Ｍ１７およびＭ１８のそれぞれは、作業機械Ｑ３、Ｑ４、Ｑ７およびＱ８のそれぞれを実機操作しているオペレータの顔イラスト画像である。各オペレータの顔イラスト画像は、例えば、実機識別子および／またはオペレータ識別子に基づいてデータベース１０２から検索される。指定エリア画像において作業機械４０の位置に対応付けられて出力されている指標画像としての顔イラスト画像は、作業機械４０の現在運転状態が実機操作状態（他の第１運転状態）であることを表わしている。作業機械４０が自動運転される場合には、指標画像としての顔イラスト画像は自動運転であることを表す画像（例えば、人型ロボットを模したアイコン画像）および／または自動運転の指示をした者の顔イラスト画像が表示される。

【0064】

図５に示されている指定エリア画像において、作業機械Ｑ６を表わす画像の近傍には、顔写真画像および顔イラスト画像は表示されていない。指定エリア画像において作業機械４０の位置に対応付けられて指標画像が出力されていないことは、作業機械４０の現在運転状態が無操作状態（第２運転状態）であることを表わしている。

【0065】

顔写真画像および顔イラスト画像に加えてまたは代えて、図６Ａに示されているように、指定エリア画像において作業機械Ｑｉ（ｉ＝１，２，‥）またはその位置を取り囲む略環状の指標画像Ｍ２ｉが表示されてもよい。例えば、指標画像Ｍ２ｉの色彩および／または明滅パターンの相違により、当該作業機械Ｑｉの現在運転状態が識別可能に表わされている。現在運転状態には、作業機械４０の遠隔操作装置２０との通信状態、具体的には、通信確立状態および通信不確立状態、ならびに／または、遠隔操作状態および通信確立状態で作業機械４０が待機している状態が含まれていてもよい。

【0066】

そのほか、図６Ｂに示されているように、指定エリア画像において作業機械Ｑｉの位置の近傍に略三角形状の指標画像Ｍ３ｉが表示されてもよい。例えば、指標画像Ｍ３ｉの表示の有無により、当該作業機械Ｑｉの異常の有無が識別可能に表わされている。作業機械Ｑｉに何らかの異常（例：実機センサ群４１６の異常）がある場合には指標画像Ｍ３ｉが表示される。

【0067】

当該作業機械Ｑｉの異常が作業機械４０の遠隔操作装置２０との通信不良（例：通信速度の低下、通信速度の安定度の低下）である場合には、図６Ｃに示されているように、指定エリア画像において作業機械Ｑｉの位置の近傍に複数の円弧とバツ印からなる指標画像Ｍ４ｉが表示されてもよい。例えば、指標画像Ｍ４ｉの表示の有無により、当該作業機械Ｑｉの通信不良の有無が識別可能に表わされている。作業機械Ｑｉに通信不良がある場合には指標画像Ｍ４ｉが表示される。

【0068】

指定エリア画像および指標画像Ｍ１ｉが情報端末装置６０において、制御装置６００により入力インターフェース６１０を通じた第２指定操作の有無が判定される（図４／ＳＴＥＰ６１６）。「第２指定操作」には、例えば、入力インターフェース６１０を通じた指標画像Ｍ１ｉなどの指定箇所のタップなどの操作が含まれている。

【0069】

当該判定結果が否定的である場合（図４／ＳＴＥＰ６１６‥ＮＯ）、第１指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ６１６‥ＹＥＳ）、制御装置６００により情報端末装置６０から、画像表示システム１０に対して指標画像Ｍ１ｉに対応する作業機械Ｑｉの実機関連情報要求が送信される（図４／ＳＴＥＰ６１８）。当該要求には、例えば、オペレータ識別子および／または実機識別子が含まれている。

【0070】

画像表示システム１０において、実機関連情報要求が受信された場合（図４／Ｃ１２）、第１機能要素１２１により当該要求に含まれている識別子により識別される作業機械４０および／またはそのオペレータに関連する実機関連情報が認識される（図４／ＳＴＥＰ１１８）。例えば、実機識別子に基づいて実機関連情報がデータベース１０２から検索される。

【0071】

画像表示システム１０において、第２機能要素１２２により、情報端末装置６０に対して実機関連情報またはその出力指令が送信される（図４／ＳＴＥＰ１２０）。

【0072】

情報端末装置６０において、実機関連情報またはその出力指令が受信された場合（図４／Ｃ２２）、制御装置６００により出力インターフェース６２０を構成する画像出力装置に当該実機関連情報が出力される（図４／ＳＴＥＰ６２０）。作業機械４０のクラス、仕様、アタッチメント４４５の種類および下部走行体４１０を構成するクローラの種類などの静的実機関連情報のほか、作業機械４０の作業機械４０が遠隔操作されている場合には遠隔操作装置２０の存在場所、１日または１月などの単位期間における累計運転時間、燃料残量、排気ガス浄化装置のスス残存量または尿素残水量などの動的実機関連情報が含まれている。

【0073】

これにより、例えば、図７に示されているように、指定エリア画像において、作業機械Ｑ５の位置に対応付けられている指標画像Ｍ１５に対応付けられて実機関連情報を示すウィンドウＰＭが表示される。ウィンドウＰＭにおいては、作業機械４０の型式番号、作業機械Ｑ５に搭乗しているオペレータＯＰの氏名及びそのアイコン、作業機械４０の残燃料、作業機械４０の尿素水の残量、作業機械４０の前回の整備からの稼働時間、当該作業現場の時刻、当該作業現場の地図などが表示される。ウィンドウＰＭに含まれている指定アイコンがタップ操作されることにより、情報端末装置６０を通じて遠隔操作装置２０および／または作業機械４０を通じて、情報端末装置６０のユーザと作業機械４０のオペレータとの通話機能および／またはチャット機能が発揮されてもよい。

【0074】

（効果）
当該構成の画像表示システム１０によれば、情報端末装置６０の出力インターフェース６２０において指定エリア画像に映り込んでいる指定エリアに存在する作業機械Ｑｉの位置に対応付けられ、指標画像Ｍ１ｉとしての顔写真画像および顔イラスト画像が表示される（図４／ＳＴＥＰ６１０→ＳＴＥＰ６１２→‥→ＳＴＥＰ１１０→ＳＴＥＰ１１２→ＳＴＥＰ１１４→ＳＴＥＰ１１６→‥→ＳＴＥＰ６１４および図５参照）。指標画像Ｍ１ｉの種類および／または意匠（色、形状もしくは模様またはこれらの組み合わせ、あるいは、明滅パターンなどの意匠の動的変化態様を含む。）の別を通じて、当該作業機械Ｑｉの選択可能な複数の運転状態のうち現在運転状態としての遠隔操作状態および実機操作状態の別を当該情報端末装置６０のユーザに知得させることができる。顔写真画像および顔イラスト画像は、オペレータの特定情報を識別可能に表わす指標画像に該当する。

【0075】

指定エリア画像に映り込んでおり、指標画像Ｍ２ｉが表示されている作業機械Ｑｉは遠隔操作状態であり、指標画像Ｍ２ｉが表示されていない作業機械Ｑｉは実機操作状態又は自動運転されていることを情報端末装置６０のユーザに知得させることができる。また、指標画像Ｍ２ｉの表示態様により、作業機械Ｑｉと遠隔操作装置２０との通信状態（例：通信確立の有無など）を情報端末装置６０のユーザに知得させることができる（図６Ａ参照）。指標画像Ｍ３ｉにより、作業機械Ｑｉにおける異常の有無を情報端末装置６０のユーザに知得させることができる（図６Ｂ参照）。

【0076】

作業機械Ｑｉ（図５ではｉ＝１～５，７，８）の位置に対応付けられている指標画像Ｍ１ｉを通じて、当該作業機械Ｑｉの現在運転状態が「第１運転状態」としての遠隔操作状態または実機操作状態であることを情報端末装置６０のユーザに知得させることができる。その一方、作業機械Ｑｉ（図５ではｉ＝６）の位置に指標画像が対応付けられていないことを通じて、当該作業機械Ｑｉの現在運転状態が「第２運転状態」としての無操作状態であることを情報端末装置６０のユーザに知得させることができる。この意味で、指標画像Ｍ１ｉは、現在運転状態としてのオペレータの有無を識別可能に表わす指標画像に該当する。

【0077】

情報端末装置６０の入力インターフェース６１０を通じて第２指定操作があった場合、指標画像Ｍｉに位置が対応付けられている作業機械Ｑｉの実機関連情報が当該情報端末装置６０の出力インターフェース６２０に出力される（図４／ＳＴＥＰ６１６→ＳＴＥＰ６１８→‥→ＳＴＥＰ１１８→ＳＴＥＰ１２０→‥→ＳＴＥＰ６２０および図７参照）。これにより、当該実機関連情報を通じて情報端末装置６０のユーザに知得させることができる。

【0078】

（本発明の他の実施形態）
前記実施形態では、画像表示システム１０およびこれ構成する第１機能要素１２１および第２機能要素１２２が遠隔操作装置２０および作業機械４０とは別個に存在するコンピュータにより構成されていたが、他の実施形態として、遠隔操作装置２０および／または作業機械４０に画像表示システムが搭載され、遠隔制御装置２００および／または実機制御装置４００により第１機能要素１２１および／または第２機能要素１２２が構成されていてもよい。

【0079】

情報端末装置６０が、遠隔操作装置２０または作業機械４０により構成されていてもよい。情報端末装置６０が遠隔操作装置２０により構成されている場合、遠隔画像出力装置２２１に図５に示されているような指定エリア画像および指標画像が出力される。

【0080】

第１機能要素１２１により気象データベースから気象情報ＷＲが取得され、第２機能要素１２２により当該気象情報ＷＲが情報端末装置６０に送信され、当該情報端末装置６０の制御装置６００により当該気象情報ＷＲが出力インターフェース６２０を構成する画像出力装置に表示されてもよい。これにより、図８に示されているように、指定エリア画像において作業機械４０が存在するエリアの気象またはその時系列に関する気象情報が情報端末装置６０の出力インターフェース６２０に出力される。気象情報を通じて、作業機械４０が存在するエリアにおける気象またはその時系列（過去の気象および／または将来の予測気象）を当該情報端末装置６０のユーザに知得させることができる。

【0081】

遠隔操作装置２０における遠隔入力インターフェース２１０、作業機械４０における実機入力インターフェース４１および／または情報端末装置６０における入力インターフェース６１０を通じて入力されたメッセージＭＳＧ（通知情報）が遠隔出力インターフェース２２０、実機出力インターフェース４２および／または出力インターフェース６２０に出力されてもよい。

【0082】

例えば、遠隔入力インターフェース２１０、実機入力インターフェース４１、入力インターフェース６１０のそれぞれの表示面に、メッセージＭＳＧを入力するための入力項目として、送付先、有効期間、重要度、メッセージ本文を設定したり入力したりするための入力ボックスが表示可能に構成される。送付先は、グループ（団体、会社、事業所など）、指定エリア（作業現場の名称など）、オペレータＯＰ（オペレータの名前など）の少なくともいずれかであり、ユーザがメッセージＭＳＧを送付したい宛先を選択ないし入力するものである。有効期間は、メッセージＭＳＧを通知する期間を設定するためのものであり、ユーザがメッセージＭＳＧの通知を開始させたい表示開始日時と、通知を終了させたい表示終了日時とを入力するものである。重要度は、メッセージＭＳＧに重量度を付与するものであり、初期状態では「普通」に設定されており、ユーザの操作に応じてが「重要」に変更されるものである。メッセージ本文は、ユーザに操作される文字入力手段を介して入力された文字列が表示されるものであり、ユーザがメッセージ本文を入力した後に宛先に送付されるメッセージＭＳＧが任意に入力されるためのものである。

【0083】

宛先の入力は、例えば、図９に示されているように、出力インターフェース６２０に出力されいる指定エリア画像において入力インターフェース６１０を通じた第２指定操作により指標画像Ｍ１ｉ（一のユーザおよび／またはオペレータ）および／または作業機械Ｑｉが選択されることで設定されてもよい。また、一のユーザおよび／またはオペレータから発信されたメッセージＭＳＧは、例えば、図９に示されているように、出力インターフェース６２０の表示面の上部に表示されることで他のユーザおよび／またはオペレータに通知することができる。重要度の高いメッセージＭＳＧは、強調して表示される。

【符号の説明】

【0084】

１０‥画像表示システム
１０２‥データベース
１２１‥第１機能要素
１２２‥第２機能要素
２０‥遠隔操作装置
２００‥遠隔制御装置
２１０‥遠隔入力インターフェース
２１１‥遠隔操作機構
２２０‥遠隔出力インターフェース
２２１‥遠隔画像出力装置
４０‥作業機械
４００‥実機制御装置
４１‥実機入力インターフェース
４２‥実機出力インターフェース
４２４‥キャブ（運転室）
４４０‥作業機構
４４５‥アタッチメント（バケット）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】