特開 2023-83267 画像表示システム、画像表示複合システム及び画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023083267

(43)【公開日】2023-06-15

(54)【発明の名称】画像表示システム、画像表示複合システム及び画像表示方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230608BHJP

   E02F 9/26 20060101ALI20230608BHJP

   E02F 9/20 20060101ALI20230608BHJP

【ＦＩ】

H04N7/18 J

E02F9/26 B

E02F9/20 N

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022193733

(22)【出願日】2022-12-02

(31)【優先権主張番号】P 2021197010

(32)【優先日】2021-12-03

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】弁理士法人創成国際特許事務所

(72)【発明者】

【氏名】廣瀬 龍一

(72)【発明者】

【氏名】佐伯 誠司

【テーマコード（参考）】

2D003

2D015

5C054

【Ｆターム（参考）】

2D003AA01

2D003BA02

2D003BA04

2D003BA06

2D003CA02

2D003DA04

2D003DB03

2D003DB04

2D003DB07

2D015HA03

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054EA07

5C054FC15

5C054FE05

5C054FF03

5C054GB01

5C054GB05

5C054GD07

5C054GD09

5C054HA30

(57)【要約】

【課題】作業機械を操作するオペレータごとの作業機械の作業履歴を表示することができる画像表示システムを提供することを目的とする。
【解決手段】
画像表示システムは、作業機械の操作者の識別情報及び、前記操作者の前記作業機械の
操作履歴情報を表示装置に表示する。本発明の画像表示システムによれば、操作者の識別
情報及び当該操作者の作業機械の操作履歴情報を表示装置に表示するため、当該操作者に
紐づけられた操作履歴情報を表示することが可能である。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業機械の操作者の識別情報及び、前記操作者の前記作業機械の操作履歴情報を表示装置に表示する
画像表示システム。

【請求項2】

請求項１に記載の画像表示システムにおいて、
前記識別情報ごとに各々の前記操作者の前記操作履歴情報に応じた一又は複数の前記作業機械の前記操作履歴情報を前記表示装置に表示する
画像表示システム。

【請求項3】

請求項２に記載の画像表示システムにおいて、
前記表示装置に前記操作履歴情報が表示されている状態で、前記作業機械に対する所定の操作があった場合、地図情報を前記表示装置に表示する
画像表示システム。

【請求項4】

請求項１～３のいずれかに記載の画像表示システムにおいて、
前記作業機械は遠隔操作される
画像表示システム。

【請求項5】

請求項１～３のいずれかに記載の画像表示システムにおいて、
前記作業機械を遠隔操作するための遠隔操作装置を備え、
前記遠隔操作装置は、一の作業機械から他の作業機械に操作対象を切り替える
画像表示システム。

【請求項6】

請求項１又は２に記載の画像表示システムにおいて、
複数の前記操作履歴情報に含まれる数値の順位にしたがって複数の前記操作履歴情報を前記表示装置に表示する
画像表示システム。

【請求項7】

請求項１又は２に記載の画像表示システムにおいて、
予め定められた作業領域ごとに複数の前記操作履歴情報を前記表示装置に表示する
画像表示システム。

【請求項8】

請求項１又は２に記載の画像表示システムにおいて、
前記作業機械が備える撮像装置によって取得された動画データが再生されて前記表示装置に表示される
画像表示システム。

【請求項9】

請求項１又は２に記載の画像表示システムと、前記作業機械及び前記作業機械を遠隔操作するための遠隔操作装置のうち少なくとも一方と、により構成されている画像表示複合システム。

【請求項10】

作業機械の操作者の識別情報及び、前記操作者の前記作業機械の操作履歴情報を表示装置に表示する工程を含む画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、操作者の作業機械の操作履歴に応じた情報を表示する画像表示システム、画像表示複合システム及び画像表示方法に関する。

【背景技術】

【0002】

従来、オペレータの作業効率および／またはスキルレベルの向上を図るために、当該オペレータが作業機械を操作した際の作業実績をオペレータに提示することが行われている。

【0003】

例えば、作業機械の作業量、作業時間および動力消費量に基づいて作業の効率を表す作業実績を演算する作業機械の操作支援装置が特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６－１４１９４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１においては、一の作業機械に搭乗したオペレータの作業実績を取得することが行われている。しかしながら、例えば、同一のオペレータが、一の作業機械から他の作業機械に乗り換えて作業機械を行った場合等に、適切な作業実績を取得することは困難である。

【0006】

本発明は、かかる問題に鑑みてなされたものであり、作業機械を操作するオペレータごとの作業機械の作業履歴を表示することができる画像表示システム、画像表示複合システム及び画像表示方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

かかる目的を達成するため本発明の画像表示システムは、作業機械の操作者の識別情報及び、前記操作者の前記作業機械の操作履歴情報を表示装置に表示することを特徴とする。

【0008】

本発明の画像表示システムによれば、操作者の識別情報及び当該操作者の作業機械の操作履歴情報を表示装置に表示するため、当該操作者に紐づけられた操作履歴情報を表示することが可能である。

【0009】

本発明の画像表示システムにおいて、前記識別情報ごとに各々の前記操作者の前記操作履歴情報に応じた一又は複数の前記作業機械の前記操作履歴情報を前記表示装置に表示することが好ましい。

【0010】

このような態様によれば、複数の操作者ごとに紐づけられた操作履歴情報を表示することが可能となる。

【0011】

本発明の画像表示システムにおいて、前記表示装置に前記操作履歴情報が表示されている状態で、前記作業機械に対する所定の操作があった場合、地図情報を前記表示装置に表示することが好ましい。

【0012】

このような態様によれば、作業機械に対する所定の操作があった場合に、地図情報を表示装置に表示することにより、操作者による操作に応じた表示を行うことができる。

【0013】

本発明の画像表示システムにおいて、前記作業機械が遠隔操作されることが好ましい。

【0014】

このような態様によれば、遠隔操作がされる作業機械について、操作者ごとの操作履歴情報を表示装置に表示することが可能となる。

【0015】

本発明の画像表示システムにおいて、前記作業機械を遠隔操作するための遠隔操作装置を備え、前記遠隔操作装置は、一の作業機械から他の作業機械に操作対象を切り替えることが好ましい。

【0016】

このような態様によれば、一の遠隔操作装置によって操作された複数の作業機械の操作履歴情報を操作者ごとに紐づけて表示することが可能となる。例えば、１の作業機械に接続される遠隔操作装置を切り替えることにより、２人の操作者が１の作業機械を操作する場合がある。このような場合であっても、操作者ごとの操作履歴情報を表示装置に表示することができる。

【0017】

本発明の画像表示システムにおいて、複数の前記操作履歴情報に含まれる数値の順位にしたがって複数の前記操作履歴情報を前記表示装置に表示することが好ましい。

【0018】

このような態様によれば、操作履歴情報に含まれる数値の順位にしたがって操作履歴情報が表示装置に表示されているため、管理者は、例えば、複数の操作者を操作履歴の長短（大小）に応じて比較することができる。

【0019】

本発明の画像表示システムにおいて、予め定められた作業領域ごとに複数の前記操作履歴情報を前記表示装置に表示することが好ましい。

【0020】

このような態様によれば、作業領域に応じた操作履歴情報が、操作者ごとに順位づけられている。このため、作業領域（作業環境）に応じた操作者の作業効率を表示することが可能となる。

【0021】

本発明の画像表示システムにおいて、作業機械が備える撮像装置によって取得された動画データが再生されて前記表示装置に表示されることが好ましい。

【0022】

このような態様によれば、作業機械が備える撮像装置によって取得された動画データが再生されて前記表示装置に表示されるので、作業機械の作業状況を動画として表示することが可能となる。

【0023】

本発明の画像表示複合システムは、上記の画像表示システムと、前記作業機械及び前記作業機械を遠隔操作するための遠隔操作装置のうち少なくとも一方と、により構成されていることを特徴とする。

【0024】

本発明の画像表示方法は、作業機械の操作者の識別情報及び、前記操作者の前記作業機械の操作履歴情報を表示装置に表示する工程を含むことを特徴とする。

【図面の簡単な説明】

【0025】

【図1】本発明の一実施形態としての画像表示複合システムの構成説明図。

【図2】図１の遠隔操作装置の構成に関する説明図。

【図3】図１の作業機械の構成に関する説明図。

【図4】画像表示複合システムの画像表示処理を示すフロー図。

【図5】表示装置としての情報端末装置の表示態様を示す説明図。

【図6】表示装置としての情報端末装置の他の表示態様を示す説明図。

【図7】表示装置としての情報端末装置の他の表示態様を示す説明図。

【図8】表示装置としての情報端末装置の他の表示態様を示す説明図。

【図9】表示装置としての情報端末装置の他の表示態様を示す説明図。

【図10】表示装置としての情報端末装置の他の表示態様を示す説明図。

【図11】表示装置としての情報端末装置の他の表示態様を示す説明図。

【図12】表示装置としての情報端末装置の他の表示態様を示す説明図。

【図13】表示装置としての情報端末装置の他の表示態様を示す説明図。

【図14】表示装置としての情報端末装置の他の表示態様を示す説明図。

【図15】表示装置としての情報端末装置の他の表示態様を示す説明図。

【図16】表示装置としての情報端末装置の他の表示態様を示す説明図。

【図17A】動画データのリストに関する説明図。

【図17B】動画データの選択用のメニューバーに関する説明図。

【図18】イベントフラグを含む動画データのリストに関する説明図。

【図19】動画再生画面に関する説明図。

【発明を実施するための形態】

【実施例0026】

（画像表示複合システムの構成）
図１に示されている本発明の一実施形態としての画像表示複合システムは、画像表示システム１０と、遠隔操作装置２０および／または当該遠隔操作装置２０による遠隔操作対象である複数の作業機械４０と、情報端末装置６０と、により構成されている。画像表示システム１０と、遠隔操作装置２０、複数の作業機械４０のそれぞれとは共通のまたは別個のネットワークを介して相互に通信可能に構成されている。尚、本図においては、画像表示システム１０は、複数の作業機械４０と接続可能にされているが、画像表示システム１０は１台以上の作業機械４０と接続可能であればよく、その接続台数に制限はない。

【0027】

本発明の構成要素（ハードウェア）が、各種情報を「取得する」とは、当該情報を受信すること、当該情報を内部記憶装置（例えば、メモリ）および／または外部記憶装置（例えば、外部のデータベースサーバ）から読み取るまたは検索すること、受信、読み取り、検索等された情報を対象にして演算処理を実行することにより情報を算定、推定、予測、同定等すること、など、各種情報を後続の演算処理において利用可能な形態で準備するためのあらゆる演算処理を包含する概念である。

【0028】

（画像表示システムの構成）
画像表示システム１０は、本実施形態では、遠隔操作装置２０および作業機械４０とは別個に存在するコンピュータにより構成されている。画像表示システム１０は、第１機能要素１０１と、第２機能要素１０２と、データベース１１０と、を備えている。

【0029】

機能要素１０１、１０２のそれぞれは、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアに従った後述の演算処理を実行する。

【0030】

データベース１１０は、画像表示システム１０と相互通信可能なデータベースサーバにより構成されていてもよい。データベース１１０には、作業機械４０の操作者であるオペレータＯＰを識別するための識別情報としてのオペレータ識別子と、当該オペレータＯＰの特定情報および／または属性と、が関連付けられて登録されている。オペレータＯＰの特定情報には、例えば、当該オペレータの顔写真画像、顔イラスト画像および／または氏名が含まれている。オペレータの属性には、例えば、当該オペレータの所属組織、使用言語および／または作業職務履歴などが含まれている。
オペレータ識別子は、作業機械４０に直接に搭乗するオペレータＯＰの情報であってもよいし、遠隔操作装置２０を操作することにより作業機械４０を遠隔操作するオペレータＯＰの情報であってもよい。また、オペレータ識別子は、自動運転により作業機械４０が稼働するような場合は、当該作業機械４０に自動運転の指示を行った者の情報であってもよい。オペレータ識別子としては、例えば、社員番号等のＩＤ番号等が挙げられる。

【0031】

遠隔操作装置２０を通じて作業機械４０を遠隔操作しているオペレータの特定情報および／または属性が当該遠隔操作装置２０または当該作業機械４０から画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１１０に登録される。オペレータの特定情報および／または属性ならびにオペレータ識別子は、遠隔入力インターフェース２１０を構成するタッチパネルを通じて当該オペレータにより入力されてもよく、当該オペレータが所有しているカードまたは携帯情報端末装置などの電磁式記憶媒体から遠隔入力インターフェース２１０を構成する非接触式リーダにより読み取られてもよい。

【0032】

データベース１１０には、作業機械４０を識別するための実機識別子と、当該作業機械４０の関連情報と、が関連付けられて登録されている。作業機械４０の関連情報には、当該作業機械４０のクラス、仕様、アタッチメント４６５の種類および下部走行体４３０を構成するクローラの種類などの静的実機関連情報のほか、作業機械４０が遠隔操作されている場合には遠隔操作装置２０の存在場所、作業機械４０になされた操作内容、１日または１カ月などの単位期間における累計運転時間、燃料残量、排気ガス浄化装置のスス残存量または尿素水残量などの動的実機関連情報が含まれている。

【0033】

作業機械４０から実機識別子および静的実機関連情報が画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１１０に登録される。作業機械４０から実機識別子および動的実機関連情報が画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１１０に累積的または逐次的に登録される。動的実機関連情報は、作業機械４０に搭載されている実機制御装置４００に入力される実機センサ群（図示せず）を構成する適当なセンサを用いて計測される。動的実機関連情報には、例えば、単位時間当たりのリフティングマグネットの吸着回数、単位時間当たりの掘削した土砂量等の作業機械４０に対する操作内容が含まれる。また、動的実機関連情報には、作業機械４０の内部状態変数および／または外部状態変数が含まれていてもよい。「外部状態変数」は、作業機械４０の内部状態変数に影響を及ぼす、当該作業機械４０の環境を表わす変数である。例えば、作業機械４０の周囲の気温が外部状態変数に該当する。「内部状態変数」は、例えば、エンジン冷却水の配管内の水温、作業機構４６０および／または旋回機構４４０等を作動させるための油圧系における油圧配管またはタンク等の温度など、当該作業機械４０の構成要素の状態を表わす変数である。

【0034】

遠隔操作装置２０を通じて作業機械４０の関連情報が画像表示システム１０に対して送信されたうえで、実機識別子に相互に関連付けられてデータベース１１０に登録される。

【0035】

作業機械４０を実機操作しているオペレータの特定情報および／または属性が画像表示システム１０に対して送信されたうえで、実機識別子に相互に関連付けられてデータベース１１０に登録されてもよい。オペレータの特定情報および／または属性は、実機入力インターフェース４１を構成するタッチパネルを通じて当該オペレータにより入力されてもよく、当該オペレータが所有しているカードまたは携帯端末などの電磁式記憶媒体から実機入力インターフェース４１を構成する非接触式リーダにより読み取られてもよい。

【0036】

また、データベース１１０は、オペレータ識別子と関連付けて作業機械４０の操作履歴情報を記憶している。操作履歴情報は、例えば、オペレータＯＰが操作した作業機械４０の種別、当該作業機械４０の種別ごとの操作時間、当該作業機械４０を操作している間に計測された要注意操作の回数、作業機械４０の操作の作業効率、当該作業機械４０の操作が行われた日付及び時刻に紐づいて記憶されている。また、操作履歴情報は、当該作業機械４０の操作が行われた作業現場ごと、すなわち、位置情報と紐づいて記憶されていてもよい。

【0037】

操作履歴情報は、オペレータＯＰの操作に伴う作業機械４０の情報であってもよい。このような操作履歴情報としては、作業機械４０の燃料消費量の平均値（エコ運転評価）、作業機械４０の稼働時間に伴うメンテナンスに必要な数値等が挙げられる。

【0038】

操作履歴情報が当該遠隔操作装置２０または当該作業機械４０から画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１１０に登録される。

【0039】

尚、データベース１１０には、複数の作業機械４０の各々の実機撮像装置４１２によって取得された撮像データが、オペレータ識別子と関連付けられて登録されている。撮像データは、オペレータ識別子と関連付けられて動画データとして記憶される。また、撮像データは、操作履歴情報と関連付けられてまたは操作履歴情報の一部としてデータベース１１０に登録されていることが好ましい。撮像データがデータベース１１０に登録される際に一定時間経過ごとに区切られた動画データとして登録されるように構成されており、各動画データそれぞれに異なる識別子（オペレータ識別子）が関連付けられる。

【0040】

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。

【0041】

遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0042】

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。

【0043】

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、操作者であるオペレータＯＰによる操作を受け付ける受付状態と操作を受け付けない非受付状態とを切り替える油圧ロックレバー（遮断レバー）と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の左右一対のクローラを備える下部走行体４３０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４４０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４６２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は、作業機械４０のアームシリンダ４６４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は、作業機械４０のバケットシリンダ４６６を動かすために操作される。遮断レバーは、受付状態においては遮断レバーになされる操作に応じて作業機械４０を操作するための信号が出力されこの信号に応じて作業機械４０が動作され、非受付状態においては遮断レバーに操作がなされても作業機械４０を操作するための信号は出力されず作業機械４０は動作されない。

【0044】

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータＯＰが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータＯＰが着座できる任意の形態の着座部であってもよい。

【0045】

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータＯＰの操作指示によって任意に変更されてもよい。

【0046】

遠隔出力インターフェース２２０は、画像出力装置２２１と、ネットワークを介した通信をするための遠隔無線通信機器２２２とを備えている。

【0047】

表示装置としての画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１、右側画像出力装置２２１２及び中央画像出力装置２２１０の下方に配置された略矩形状の画面を有する下側画像出力装置２２１３により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１、右側画像出力装置２２１２及び下側画像出力装置２２１３のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

【0048】

中央画像出力装置２２１０、左側画像出力装置２２１１、右側画像出力装置２２１２及び下側画像出力装置２２１３のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１、右側画像出力装置２２１２及び下側画像出力装置２２１３のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。尚、中央画像出力装置２２１０、左側画像出力装置２２１１、右側画像出力装置２２１２及び下側画像出力装置２２１３は、タッチパネルディスプレイ等により、情報入力が可能な入力手段として機能することが可能である。

【0049】

（作業機械の構成）
図１に示されているように、作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４６０と、を備えている。

【0050】

実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0051】

作業機械４０は、例えば、油圧式、電動式または油圧式および電動式が組み合わされたハイブリッド駆動式のクローラショベル（作業機械）であり、図３に示されているように、下部走行体４３０と、下部走行体４３０に旋回機構４４０を介して旋回可能に搭載されている上部旋回体４５０と、を備えている。上部旋回体４５０の前方左側部にはキャブ４５４（運転室）が設けられている。上部旋回体４５０の前方中央部には作業機構４６０が設けられている。

【0052】

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４５４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の実機操作レバーを備えている。

【0053】

作業機械４０には、遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４５４に設けられている。

【0054】

実機撮像装置４１２（以後、メインカメラとも称される）は、例えばキャブ４５４の内部に設置される。実機撮像装置４１２は、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構４６０の少なくとも一部を含む環境を撮像する。実機撮像装置４１２は、例えば、アタッチメントであるバケット４６５の少なくとも一部を含む環境を撮像する。

【0055】

また、実機撮像装置４１２は、実施の態様に応じて適宜増設してもよい。

【0056】

実機入力インターフェース４１は、実機状態センサ群（図示せず）を含む。実機状態センサ群（図示せず）は、上部旋回体４５０に対するブーム４６１の回動角度（起伏角度）、ブーム４６１に対するアーム４６３の回動角度、および、アーム４６３に対するバケット４６５の回動角度のそれぞれを測定するための角度センサ、下部走行体４３０に対する上部旋回体４５０の旋回角度を測定するための旋回角度センサ、バケット４６５に対して作用する外力を測定するための外力センサ、上部旋回体４５０に作用する３軸加速度を測定するための３軸加速度センサ、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）等の位置情報取得センサ等により構成されている。

【0057】

実機出力インターフェース４２は、ネットワークを介した通信をするための実機無線通信機器４２２を備えている。

【0058】

作業機構４６０は、上部旋回体４５０に起伏可能に装着されているブーム４６１と、ブーム４６１の先端に回動可能に連結されているアーム４６３と、アーム４６３の先端に回動可能に連結されているバケット４６５と、を備えている。作業機構４６０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４６２、アームシリンダ４６４およびバケットシリンダ４６６が装着されている。作業部として、バケット４６５のほか、ニブラ、カッター、マグネットなど、さまざまなアタッチメントが用いられてもよい。

【0059】

ブームシリンダ４６２は、作動油の供給を受けることにより伸縮してブーム４６１を起伏方向に回動させるように当該ブーム４６１と上部旋回体４５０との間に介在する。アームシリンダ４６４は、作動油の供給を受けることにより伸縮してアーム４６３をブーム４６１に対して水平軸回りに回動させるように当該アーム４６３と当該ブーム４６１との間に介在する。バケットシリンダ４６６は、作動油の供給を受けることにより伸縮してバケット４６５をアーム４６３に対して水平軸回りに回動させるように当該バケット４６５と当該アーム４６３との間に介在する。

【0060】

（情報端末装置の構成）
表示装置としての情報端末装置６０は、スマートフォン、タブレット端末またはパーソナルコンピュータなどの端末装置であり、制御装置６００と、入力インターフェース６１０と、出力インターフェース６２０と、を備えている。制御装置６００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアに従った演算処理を実行する。

【0061】

入力インターフェース６１０は、例えば、タッチパネル方式のボタンおよびスイッチなどにより構成されている。出力インターフェース６２０は、画像出力装置と、ネットワークを介した通信をするための無線通信機器と、を備えている。

【0062】

上記の画像表示システム１０、遠隔操作装置２０、及び、作業機械４０の連携により発揮される画像表示システムの画像表示処理方法について図４に示されているフローチャートを用いて説明する。

【0063】

画像表示システムは、遠隔操作装置２０の起動をトリガーとして、画像表示処理を開始する。操作者であるオペレータＯＰによって、例えば、遠隔操作装置２０が起動されると、遠隔操作装置２０は、操作信号を画像表示システム１０に送信する（ＳＴＥＰ２０１）。なお、当該操作信号は、オペレータＯＰにより遠隔操作装置２０と接続される（連携する）作業機械４０が選択されたタイミングおよび／またはオペレータＯＰにより遮断レバーがＯＮ状態からＯＦＦ状態に切り替えられたタイミングなど、遠隔操作装置２０の起動の後の処理に応じて送信されてもよい。

【0064】

画像表示システム１０は、第１機能要素１０１により操作信号を受信すると、第２機能要素１０２によりオペレータＯＰの識別情報としてのオペレータ識別子を送信するように遠隔操作装置２０に要求する（ＳＴＥＰ１０１）。

【0065】

遠隔操作装置２０は、オペレータ識別子送信要求を受信すると、オペレータ識別子を画像表示システム１０に送信する（ＳＴＥＰ２０２）。

【0066】

遠隔操作装置２０は、ＳＴＥＰ２０２の処理において、例えば、顔認証等の既存のユーザ認証手段で認証された認証結果に基づいて、オペレータ識別子を画像表示システム１０に送信する。

【0067】

また、オペレータ識別子の取得は、このような態様に限られず、例えば、識別情報であるオペレータ識別子を保持したＩＣカードを読み取ることによって取得されるようにしてもよいし、図示しないキーボードによって入力された社員番号等のＩＤ番号を入力することによって取得されるようにしてもよい。なお、識別情報は、オペレータＯＰが操作することにより取得されるようにしてもよいし、例えば、オペレータＯＰを管理する管理者等の第三者が操作することにより取得されるようにしてもよい。

【0068】

画像表示システム１０は、第１機能要素１０１によりオペレータ識別子を受信する。第２機能要素１０２は、遠隔操作装置２０と接続されている作業機械４０に操作情報を送信するように要求する（ＳＴＥＰ１０２）。なお、操作情報には、動的実機関連情報等のデータベース１１０に登録されうる情報が含まれる。

【0069】

作業機械４０は、操作情報要求を受信すると操作情報を画像表示システム１０に逐次送信する（ＳＴＥＰ４０１）。なお、作業機械４０は、操作情報を送信する際に、位置情報取得センサ等によって得られた作業機械４０の現在値を示す位置情報も送信するとよい。また、作業機械４０は、例えば、遠隔操作装置２０との接続が解除された場合、作業機械４０の遮断レバーがＯＮにされた場合等においては、ＳＴＥＰ４０１の送信処理を停止してもよい。

【0070】

画像表示システム１０の第１機能要素１０１は、取得した操作情報をオペレータ識別子と紐づけてデータベース１１０に登録する。第２機能要素１０２は、データベース１１０に登録された操作情報を集計して操作履歴情報を生成する（ＳＴＥＰ１０３）。画像表示システム１０において、第２機能要素１０２により集計された情報の出力指令が生成されたうえで、第２機能要素１０２により、当該情報（オペレータ識別子及び操作履歴情報）が情報端末装置６０に対して送信される（ＳＴＥＰ１０４）。なお、ＳＴＥＰ１０４の送信処理の際に、第１機能要素１０１は、予め入力された作業現場情報に基づいて、当該作業現場の地図情報を取得し、第２機能要素１０２が取得した地図情報を情報端末装置６０に送信してもよい。

【0071】

情報端末装置６０は、オペレータ識別子及び操作履歴情報を受信すると、出力インターフェース６２０に識別情報及び操作履歴情報を表示する（ＳＴＥＰ６０１）。

【0072】

なお、遠隔操作装置２０と接続される作業機械４０が一の作業機械から他の作業機械に切り替えられた場合には、図４に示されている画像表示処理は、遠隔操作装置２０と接続されている切り替え後の作業機械４０に操作情報を送信するように要求する（ＳＴＥＰ１０２）ところから開始されるとよい。すなわち、既に画像表示システム１０においてオペレータ識別子が取得されているので、オペレータ識別子を要求するまでの処理（ＳＴＥＰ２０１→ＳＴＥＰ１０１→ＳＴＥＰ２０２）は省略することが可能である。また、遠隔操作装置２０との接続が解除された作業機械４０は操作情報の送信を停止するとよい。

【0073】

図５は、表示装置としての情報端末装置６０の出力インターフェース６２０における表示態様を示している。図５に示すように、出力インターフェース６２０の画面中央には、とある作業現場ＡＲ（以下、ヤードともいう）の地図と共に、６台の作業機械４０が配置されている各々の地図上の位置に作業機械４０のアイコンＡ～Ｆが表示されている。

【0074】

各々の作業機械４０のアイコンの近傍には、当該作業機械４０を操作するオペレータＯＰのアイコンＸ１～Ｘ６が表示されている。オペレータＯＰのアイコンＸ１～Ｘ６は、例えば、予め登録しているオペレータＯＰの写真を表示してもよいし、当該オペレータＯＰを示すアバターを表示してもよい。また、当該アイコンは、複数のオペレータの中から一のオペレータを識別できればよく、画像に限られず、例えば、氏名を示す文字情報であってもよい。

【0075】

情報端末装置６０の出力インターフェース６２０の左上には、情報端末装置６０のユーザを示すアイコンＸ７が表示されている。なお、出力インターフェース６２０のアイコンＸ７の下方には、様々な表示メニューを配列してもよい。

【0076】

図６は、図５に示されている作業機械４０のアイコンＡが選択された場合の表示を示している。なお、当該選択は、例えば、入力インターフェース６１０を通じたキーボードおよび／またはメニューの選択肢のタップなどの操作によって行うことができる。

【0077】

図６に示されるように、作業機械４０のアイコンＡ～Ｆのいずれかが選択されると、当該作業機械４０の稼働状況および／または稼働状態を示す稼働情報と、当該作業機械４０を操作するオペレータＯＰの特定情報と、が表示される。

【0078】

稼働情報は、例えば、作業機械４０の型式番号、作業機械４０が操作されている際の動画、作業機械４０の残燃料、作業機械４０の前回の整備からの稼働時間、当該作業現場の時刻、当該作業現場の地図などが挙げられる。稼働情報は、作業機械４０に関する情報であれば、特には限定されず、例えば、作業機械４０のメンテナンスに必要な情報等が挙げられる。

【0079】

オペレータＯＰの特定情報は、本図においては、その作業機械４０に搭乗しているオペレータＯＰの氏名及び、そのアイコンが表示されている。なお、識別情報の表示は、オペレータＯＰが作業機械４０に直接搭乗して操作している状態、オペレータＯＰが遠隔操作装置２０を介して作業機械４０を操作している状態、作業機械４０に自動運転の指示を与えている状態のいずれかの状態が識別可能なように、例えば、色分け等によって表示されているとよい。

【0080】

また、情報端末装置６０の出力インターフェース６２０に表示される情報としては、上記の情報に限られず、他の端末、例えば、管理者および／またはオペレータが所持する通信機器（スマートフォン）及び／又は作業機械４０および／または遠隔操作装置２０および／または情報端末装置６０が有する音声通話機能を用いて通話を開始する通話ボタン、作業機械４０の尿素水の残量を示すアイコンが表示されていてもよい。

【0081】

図６において、例えば、オペレータＯＰのアイコンＸ１が選択されると、図７に示す表示がなされる。図７において、オペレータ１～５が「リフマグ（リフティングマグネット）」、「ブレーカ」、「ハイリーチクレーン」、「ニブラ」の操作を行った累積時間が表示されている。累積時間の集計する起点日又は起点時と終点日又は終点時は任意に定めることが可能である。なお、オペレータ１～５は、図５に表示されているオペレータのアイコンＸ１～Ｘ６のうちの任意の５人を示している。すなわち、図７においては、とある作業現場ＡＲにおいて作業機械４０を操作するオペレータ１～５に関連付けられた情報が表示されている。また、図７においては、アイコンＸ１のオペレータが選択されたため、アイコンＸ１を最も左側に配置することで識別しやすくなるように表示している。同様に、アイコンＸ１以外の任意のアイコンが選択された場合においても当該選択されたアイコンを最も左側に配置するように表示する。

【0082】

また、例えば、ユーザが図示しないメニューバーを選択することにより、累積時間が多いオペレータの順に表示がなされるようにしてもよいし、累積時間が少ないオペレータの順に表示がなされるようにしてもよい。図７においては、画面の左側から累積時間が多いオペレータの順に表示されている。

【0083】

さらに、累積時間に代えて、累積操作数を基にオペレータの操作履歴を並べて表示するようにしてもよい。累積操作数は、例えば、「リフマグ（リフティングマグネット）」、「ブレーカ」、「ハイリーチクレーン」、「ニブラ」等のアタッチメントを操作した日数が相当する。

【0084】

また、選択されたアイコンＸ１に対応するオペレータの操作履歴情報が個別に表示されてもよい。例えば、「リフマグ（リフティングマグネット）」、「ブレーカ」、「ハイリーチクレーン」、「ニブラ」等の異なる種類のアタッチメントをそれぞれ操作した日数および／または作業時間の累積値である累積操作時間を表示するようにしてもよい。この場合、例えば、アタッチメント別の累積操作時間を、横軸を時間（日付）、縦軸を累積操作時間とするグラフとして表示するようにしてもよい。オペレータがアタッチメントを継続的に操作している場合には、日数が経過するほど累積操作時間が増加するようなグラフが表示される。累積操作時間が大きくなるほど習熟度を高くするようにオペレータを評価して、その評価結果を表示するようにしてもよい。習熟度は累積操作時間の大きさに応じて複数設定され、次の習熟度に至るまでに必要な操作時間が表示されてもよい。このような表示によれば、ユーザは、アイコンＸ１に対応するオペレータの操作を習熟度を考慮しながら振り返ることができる。

【0085】

このように表示されることにより、オペレータの操作経験を視覚的に表示することが可能となる。なお、当該表示は、アイコンＸ１～Ｘ６の選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

【0086】

図７において、例えば、下にスクロールする操作がなされると、図８に示す表示がなされる。図８において、２０１９年～２０２１年の間にオペレータ１～５が属する組織において、「リフマグ（リフティングマグネット）」、「ブレーカ」、「ハイリーチクレーン」、「ニブラ」の操作が行われた回数が表示されている。このように表示されることにより、業務で行われる特定の作業の頻度を把握することが可能となる。

【0087】

図６において、例えば、オペレータＯＰのアイコンＸ１が選択されると、図９に示す表示がなされる。図９においては、オペレータ１～５のとある日付の時間帯における作業機械４０の操作の合計時間が示されている。このような表示が行われることにより、オペレータが行っている作業内容の比率を把握することが可能となる。なお、当該表示は、アイコンＸ１～Ｘ６の選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

【0088】

図６において、例えば、オペレータＯＰのアイコンＸ１が選択されると、図１０に示す表示がなされる。図１０においては、オペレータ１のとある日付の時間帯における作業機械４０の作業効率が示されている。作業効率は、例えば、「リフマグ（リフティングマグネット）」の操作の場合、操作時間（分）／吸着回数で示される値である。このように表示が行われることにより、例えば、当該オペレータＯＰの技量を把握することができる。なお、当該表示は、アイコンＸ１～Ｘ６の選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

【0089】

図６において、例えば、オペレータＯＰのアイコンＸ１が選択されると、図１１に示す表示がなされる。図１１においては、オペレータ１が複数の作業機械４０を操作した場合の単位時間当たりの燃料の消費量の平均（ｌ／Ｈｒ）が表されている。図１１においては、例えば、一の作業機械（黒三角：「▲」）において、１０時から１１時までの１時間に消費した燃料が１．２リットルであることを読み取ることができる。このような表示が行われることにより、オペレータのロスが少ない操作、すなわち、作業の効率性を把握することができる。なお、当該表示は、アイコンＸ１～Ｘ６の選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

【0090】

図６において、例えば、オペレータＯＰのアイコンＸ１が選択されると、図１２に示す表示がなされる。図１２においては、とある作業現場におけるオペレータ１～５ごとの作業機械４０の合計操作時間が時間帯ごとに示されている。このような表示が行われることにより、各々の時間帯におけるオペレータ１～５の作業時間を把握することができる。なお、当該表示は、アイコンＸ１～Ｘ６の選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

【0091】

図６において、例えば、オペレータＯＰのアイコンＸ１が選択されると、図１３に示す表示がなされる。図１３においては、オペレータ１，２ごとの作業機械４０の作業効率が示されている。当該作業効率の算出は上記と同一であるので説明を省略する。このような表示が行われることにより、各々の時間帯におけるオペレータ１、２の作業効率を把握することができる。なお、当該表示は、アイコンＸ１～Ｘ６の選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

【0092】

図６において、例えば、オペレータＯＰのアイコンＸ１が選択されると、図１４に示す表示がなされる。図１４においては、オペレータ１，２のごとの作業機械４０の要注意作業回数が示されている。このような表示が行われることにより、各々の時間帯におけるオペレータ１、２の要注意作業回数を把握することができる。要注意作業は、例えば、操作履歴情報に急操作（発進、旋回、アッタッチメント動作）、急停止に相当する操作履歴が含まれる場合にその作業回数がカウントされる。要注意作業は、急操作（発進、旋回、アッタッチメント動作）、急停止に限らず作業機械４０の運転の状態を不安定にする作業および／または操作の回数がカウントされるようにしてよい。したがって、安全性に配慮した作業時間帯を認識することが可能である。なお、当該表示は、アイコンＸ１～Ｘ６の選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

【0093】

図６において、例えば、天候を示すアイコン（図示せず）が選択されると、図１５に示す表示がなされる。図１５においては、当該オペレータＯＰが操作する作業機械４０が位置する場所における降水雨量及び気温を示している。このような表示が行われることにより、作業機械４０が位置する／していた場所の天候を把握することができる。これによって、作業の善し悪しが天候によるものであるか否かを確認することができる。なお、図１５に示されている当該表示は、図１６に示されるように、温度に代えて風速を表示してもよい。また、当該表示は、アイコンの選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

【0094】

図６において、例えば、ビデオを示すアイコンが選択されると、図１７Ａに示されているように、データベース１１０に記憶された動画データのリストを示す画像が出力インターフェース６２０に表示される。図１７Ａに示されているように、当該リスト（一覧表）には、各動画データの「録画開始スロット日付（録画開始年月日）」、「録画開始スロット時刻（録画開始時刻）」、「建機名（作業機械４０の識別情報または属性情報）」、「オペレータ名（オペレータＯＰの識別情報）」、「カメラタイプ」、「（録画時間の）長さ」、「動画ＵＲＬ（リンク先）」および「削除の状況」の各項目の情報が含まれている。当該各項目の情報が「操作履歴情報」を構成していてもよい。録画データのリストにおける昇順および／または降順は変更または入れ替え可能である。例えば、録画開始日付が選択された場合、各動画データが録画開始日付の順に応じた昇順および／または降順に並べ替えられたリストが出力インターフェース６２０に表示される。

【0095】

動画データが指定時間ごとに区切られてデータベース１１０に記憶されていてもよい。この場合、実機撮像装置４１２等により指定時間ごとに断続的に録画（動画データの取得）が実行されてもよい。出力インターフェース６２０に表示されるリストにおいて、複数の動画データのそれぞれの録画開始時刻が指定時間（例えば、５分）ずつずれていてもよい。当該複数の動画データのそれぞれの録画時間の長さが指定時間よりもわずかに短い時間（例えば、４分５０秒）以下に設定されていてもよい。

【0096】

指定時間以下の録画時間を有する動画データと、指定時間を超える録画時間を有する動画データと、がリストに併存していてもよい。例えば、現在時刻よりも一定期間以上過去に録画が開始または終了した指定時間以下の録画時間を有する複数の動画データがまとめられて、当該指定時間を超える録画時間を有する動画データとしてデータベース１１０に記憶されていてもよい。この場合、指定時間を超える録画時間を有する動画データが、ユーザの操作に応じて、元の複数の動画データに分割されてリストに表示されてもよい。

【0097】

「カメラタイプ」には、メインカメラ（Ｍａｉｎ）としての実機撮像装置４１２のほかに、サブカメラとしての作業機械４０の後方を撮像するカメラ（Ｂａｃｋ）、右側方を撮像するカメラ（Ｒｉｇｈｔ）および／または左側方を撮像するカメラ（Ｌｅｆｔ）が含まれていてもよい。「動画ＵＲＬ」が選択されると、当該動画データに対応する動画が再生される。２段目以降の録画データは項目ごとに表示する段を並べ替え可能であり、例えば、録画開始日付が選択されると２段目以降の動画データが昇順および／または降順に並べ替えられて表示される。「削除の状況」における「－」は、当該動画データが削除されておらずデータベース１１０に記憶されていることを表わしている。

【0098】

図１７Ａに示されているように、リストとともに機能ボタンｆｂ１およびｆｂ２が出力インターフェース６２０に表示されていてもよい。例えば、入力インターフェース６１０を通じて機能ボタンｆｂ１が操作されることにより、リストにおける動画データが一括してまたは選択的に保護対象（自動的に削除される対象外）として設定される。入力インターフェース６１０を通じて機能ボタンｆｂ２が操作されることにより、リストにおける動画データがデータベース１１０または表示対象から一括してまたは選択的に削除される。

【0099】

動画データのリストとは別に、図１７Ｂに示されているようにメニューバーが出力インターフェース６２０に表示されてもよい。ユーザがメニューバーを通じて動画データの選択条件を指定することによってデータベース１１０に登録されている動画データが選択され、図１７Ａに示されているように当該選択された動画データのリストが表示されてもよい。

【0100】

メニューバーには、動画データに関連付けられているタグ情報を指定するための一または複数の項目が含まれている。「タグ情報」が「操作履歴情報」の一部を構成していてもよい。メニューバーには、例えば「日時」、「グループ」、「オペレータ」および「作業機械」が、動画データの選択条件を指定するための項目として含まれている。「日時」のメニューバーｍｂ１を通じて始点時点が指定されることにより、録画開始時点が当該始点時点以降である動画データが選択されうる。「日時」のメニューバーｍｂ１を通じて終点時点が指定されることにより、録画開始時点が当該終点時点以降である動画データが選択されうる。「グループ」のメニューバーｍｂ２を通じてグループ（団体、会社）が指定されることにより、「オペレータ」のメニューバーｍｂ３を通じて当該指定グループ（団体、会社）に所属するオペレータが指定されうる。「オペレータ」のメニューバーｍｂ３を通じてオペレータ（識別情報）が指定されることにより、当該指定オペレータを含むタグ情報に関連付けられている動画データが選択されうる。「作業機械」のメニューバーｍｂ４を通じて作業機械４０（製造元、機種、型番）が指定されることにより、当該指定作業機械を含むタグ情報に関連付けられている動画データが選択されうる。なお、図１７Ａと図１７Ｂにおける「ログインなし」は、作業機械４０が稼働して撮像データがデータベース１１０に登録される際に、作業機械４０を操作するオペレータが不在する状況および／または作業機械４０と接続される遠隔操作装置２０が無い状況を示すタグ情報を示す。

【0101】

メニューバーを通じて指定された項目を含むタグ情報に関連付けられ、選択された動画データのリストが出力インターフェース６２０に表示される。これにより、ユーザは、先に指定した項目に応じた動画データのリストの中から、動画ＵＲＬのタップ・クリック操作等により動画データを選択して視聴することができる。

【0102】

出力インターフェース６２０においてリストおよびメニューバーが同時に表示されてもよく、メニューバーの表示後にリストが表示されてもよい。出力インターフェース６２０においてリストおよびメニューバーが同時に表示される場合、リストがメニューバーの右側、左側、下側、上側、右斜め下方など、さまざまな配置態様またはレイアウトで表示されてもよい。

【0103】

また、ユーザが入力インターフェース６１０を通じて入力または指定する任意のキーワードに基づき、当該キーワードを含むまたは関連するタグ情報に関連付けられてデータベース１１０に記憶または登録されている動画データが選定され、当該選定された動画データのリストが出力インターフェース６２０に表示されてもよい。この場合、リストとは別に検索キーワードを入力または選択するための検索ボックスが出力インターフェース６２０に表示される。これにより、ユーザがキーワードを通じて選択した動画データのリストが出力インターフェース６２０に表示されるので、自身が視聴したい動画を選んで視聴することが容易になる。

【0104】

このような表示が行われることにより、オペレータＯＰごとの作業機械４０の操作の態様を実機撮像装置４１２により撮像された動画にて確認することができる。例えば、図１１に示される燃料消費量の情報を基にロスが少ない操作をしていた時間を特定し、当該時間に対応する動画を確認することで、ユーザはロスが少ない操作の態様を確認することができる。なお、当該表示は、アイコンの選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

【0105】

また、データベース１１０の容量確保の観点から、動画データは保存されてから一定期間経過後に自動的に削除されるように設定されていてもよい。この場合、一定期間経過後であっても動画データを確認できるように、例えば、ユーザの所定の操作（図１７Ａに示されている機能ボタンｆｂ１の操作）により自動的に削除されない状態に変更されてもよい。この場合、リストにおける動画データの「削除の状況」の欄が「－」から「保護」に変更されて表示される。また、撮影不良等により動画データを保存しておく必要が無い場合には一定期間経過前であっても手動で動画データが削除されるように構成されてもよい。例えば、ユーザの所定の操作（図１７Ａに示されている機能ボタンｆｂ２の操作）により動画データの「削除の状況」が「－」から「削除」に変更されて表示され、この表示を確認したユーザが最終的に当該動画を削除するための所定の操作をすることで動画データが削除される。

【0106】

以上の実施例に基づいて、オペレータＯＰが、一の作業機械４０から他の作業機械４０に乗り換えた場合においても、当該オペレータＯＰごとの適切な作業実績を取得することが可能である。

【0107】

また、例えば、オペレータＯＰに対して支払われる報酬が算定され出力インターフェース６２０に表示されてもよい。具体的には、オペレータＯＰが複数の作業機械４０を乗り換えて作業を行った場合、従来ではオペレータＯＰごとの作業の集計がなされていないため、作業実績に基づいて当該報酬の算定が難しくなるという課題がある。特に、遠隔操作装置２０を用いて作業機械４０を操作する場合、オペレータＯＰは作業機械４０に赴くことなく操作可能である。このため、オペレータＯＰが作業機械４０に実搭乗する場合と比べてより多くの作業機械４０を乗り換えて操作することが見込まれるため、オペレータＯＰごとの各作業機械４０の操作情報の管理が必要となる。また、作業機械４０は複数のオペレータＯＰが交代されることよって操作されることが見込まれるため、操作情報をオペレータＯＰごとに区別する必要がある。このような状況においても、オペレータＯＰごとの作業実績を取得できるので、作業実績に基づいてオペレータＯＰの報酬を容易に算定することができる。さらに、オペレータＯＰごとの作業実績を加算することで複数のオペレータＯＰが所属しているグループ（団体、会社）単位での作業実績の算定も可能となり、グループ内における特定のオペレータＯＰの順位も確認することできる。

【0108】

以上の実施例の説明においては、表示装置が情報端末装置６０であるとして説明した。表示装置は、このような態様に限られず、例えば、遠隔操作装置２０の画像出力装置２２１を表示装置として実施してもよい。また、情報端末装置６０は、一台に限られず、複数台の情報端末装置６０で実施してもよい。例えば、作業機械４０のキャブ４５４及び遠隔操作装置２０の近傍に情報端末装置６０を設置してもよい。

【0109】

ところで、表示装置が画像出力装置２２１で構成される、または表示装置が作業機械４０のキャブ４５４及び遠隔操作装置２０の近傍に情報端末装置６０を設置される場合には、当該表示装置を参照するオペレータはユーザ認証手段により認証される。この認証結果に基づいて、オペレータに対して視聴すべき動画データを表示枠に提示する機能が搭載されてもよい。この場合、例えば、認証結果に基づいて識別されるオペレータＩＤに応じてオペレータに対して視聴すべき動画データとして、直近状況および／または注意操作に関連する動画データの少なくとも一つが視聴すべき動画データとして提示される。

【0110】

直近状況に関連する動画データには、例えば、（１）当該動画データの閲覧者であるオペレータが直近で作業機械４０を用いて作業を実行したことを表わすタグ情報（当該オペレータの識別情報を含む。）、（２）当該閲覧者が最後に操作した作業機械４０と同じ種類または区分の作業機械４０を用いて他のオペレータが作業を実行したことを表わすタグ情報（当該他のオペレータの識別情報を含む。）、（３）当該閲覧者が直近で作業機械４０を用いて実行した作業と同一または類似の作業を他のオペレータが作業機械４０を用いて実行したことを表わすタグ情報、および、（４）当該閲覧者が直近で作業機械４０を用いて作業を実行した地域と同一地域で他のオペレータが作業機械４０を用いて作業を実行したことを表わすタグ情報のうち少なくとも１つに関連付けられている動画データが含まれている。

【0111】

タグ情報（２）、（３）および（４）など、他のオペレータの識別情報を含むタグ情報に関連付けられている動画データは、閲覧者である一のオペレータよりも作業能力（オペレータスキル）が高い他のオペレータにより遠隔操作された作業機械４０に搭載されている実機撮像装置４１２を通じて取得された動画データであることが好ましい。オペレータの識別情報には、各オペレータの作業能力が含まれていてもよくまたは付属していてもよい。このように、他のオペレータにより遠隔操作されている作業機械４０の周囲の状況を表わす動画データを一のオペレータに提示して参考させることで、当該一のオペレータの作業効率および／または作業能力の向上を図ることができる。

【0112】

注意操作に関連する動画データは、例えば、作業機械４０をよそ見しながら操作するなどの危険操作を表わすタグ情報に関連付けられている動画データおよび／または作業機械４０を旋回操作しながら同時に整地作業を行うなどの禁止操作を表わすタグ情報に関連付けられている動画データである。このように、危険操作および／または禁止操作の参考となる情報をオペレータに提示することで、当該オペレータの作業能力の向上を図ることができる。

【0113】

指定イベントが発生した場合、実機撮像装置４１２（メインカメラ）および／またはサブカメラを通じて取得された動画データに対して、当該指定イベントの発生時点（または当該指定イベントおよびその発生時点）を表わすイベントフラグが付されてもよい。イベントフラグにより表わされる情報が「操作履歴情報」を構成していてもよい。この場合、イベントフラグの欄が含まれているリストが出力インターフェース６２０に表示されてもよい。例えば、図１７Ａに示されているリストに代えて、図１８に示されているリストが出力インターフェース６２０に表示される。

【0114】

図１８に示されているように、当該リスト（一覧表）には、各動画データの「録画開始スロット日付（録画開始年月日）」、「録画開始スロット時刻（録画開始時刻）」、「オペレータ名（オペレータＯＰの識別情報）」、「作業内容」、「作業時間」、「動画ＵＲＬ（リンク先）」、「フラグ（イベントフラグ）」および「フラグの内容（イベントの内容）」の各項目の情報が含まれている。一の動画データに複数のイベントフラグが関連付けられていてもよい。

【0115】

作業機械４０により実行された作業内容（掘削、法面形成、整地など）、作業機械４０が有するアタッチメントの種類（バケット、ニブラなど）、作業機械４０の種類（作業機械の製造メーカ、機種名など）、作業機械４０の型式および作業機械４０の操作を行ったオペレータ（オペレータＩＤ（識別情報）、オペレータスキルなど）等に関する情報のうち少なくとも１以上の情報を含むタグ情報が、各動画データに関連付けられてデータベース１１０に記憶または登録されている。タグ情報は、作業機械４０を操作するオペレータにより入力され、または、作業機械４０がオペレータにより操作される際に自動的に入力され、各動画データと関連付けられてデータベース１１０に記憶されている。

【0116】

「動画ＵＲＬ」が選択されると、当該動画データに対応する動画が再生される。これにより、例えば、図１９に示されているような動画再生画面が出力インターフェース６２０に表示される。動画再生画面には、動画のほか、シークバーｓｂ（進捗バー）、動画の再生時点を表わし、かつ、当該再生時点を変更可能なスライダｓｄ、シークバーｓｂにおいて指定イベントの発生時点（または発生時点および発生地点）および指定イベントの内容または区分を表わすタブｔi（i＝１，２，３，‥）、動画の録画開始時点（年月日および時刻）の表示欄ｃ１、オペレータ名（オペレータの識別情報）の表示欄ｃ２および作業内容の表示欄ｃ３が含まれている。図１９に示されている動画には、作業機構４４を構成するブーム４６１、アーム４６３およびバケット４６５が映り込み、バケット４６５により作業機械４０の前方の土砂をすくう作業の様子が表わされている。

【0117】

例えば、シークバーｓｂにおいてスライダｓｄが任意の位置にシフトされ、その位置に応じた時点から動画の再生が開始されてもよい。シークバーｓｂにおいて「人侵入」という指定イベントを表わすタブｔ１（ひいてはイベントフラグ）が指定または選択された場合、スライダｓｄが当該タブｔ１に表わされる時点の位置にシフトされ、その時点から動画の再生が開始されてもよい。例えば、図１９に示されているように、作業機械４０の左斜め前方に作業者ｗｐが映り込んでいる動画が再生される。これにより、指定イベントが発生した時点における作業機械４０の周囲における状況をオペレータまたはユーザにその視覚（または視覚および聴覚）を通じて認識させることができる。

【0118】

「指定イベント」には、遠隔操作装置２０を通じた作業機械４０の遠隔操作態様に由来する第１指定イベント（能動的イベント）および作業機械４０の遠隔操作対応に由来しない第２指定イベント（受動的イベント）が含まれている。

【0119】

「第１指定イベント」には、例えば、（１－１）作業機械４０が振動周波数および／または振幅が閾値以上になること、（１－２）作業機械４０または上部旋回体４５０の傾斜角度が所定角度以上になること、（１－３）指定作業期間と目標時間または予定時間との偏差が閾値を超えたこと（指定作業の完了が目標または予定よりも遅すぎるまたは早すぎること）、（１－４）作業機械４０におけるダンプ（運搬車）等の積込対象への荷の積み込み量（作業機構４６０にかかる負荷および／またはダンプ（運搬車）等の積込対象に積載した量）が指定範囲から外れていること（積み込み量が多すぎることまたは少なすぎること）、（１－５）作業機械４０による作業内容が変更されたこと、（１－６）作業機械４０の操作主体であるオペレータが変更されたこと、（１－７）オペレータの操作に対する集中度が閾値以下になったこと（操作中によそ見（視線の指定範囲からの逸脱）の頻度が高いこと、操作レバーを指定時間以上にわたり触れていないこと、力を作用させていないこと）、（１－８）作業機械４０が移動していること、移動速度が所定速度以上であることおよび／または移動距離が所定距離以上であること、（１－９）オペレータにより作業機械４０の指定機能（例えば、オペレータの音声を集音し作業機械４０の周囲に拡声させる拡声機能）を使用していること、が含まれていてもよい。

【0120】

「第２指定イベント」には、例えば、（２－１）遠隔操作装置２０および／もしくは作業機械４０における通信が悪化したこと（受信信号強度が閾値以下になったこと）または遠隔操作装置２０と作業機械４０との通信が途絶したこと、（２－２）遠隔操作措置２０またはそのコックピットにオペレータとして登録されていない人物が近づくこと、（２－３）作業機械４０が指定環境（一定量以上の降雨・降雪、指定温度範囲から外れている外気温、指定湿度範囲から外れている湿度など）に接したこと、（２－４）作業機械４０に作用する外力またはその変化速度が閾値以上であること、（２－５）周囲の音量または指定種類の音響（作業機械４０の周囲にあるダンプ（運搬車）のエンジン音またはホーン音など）の音量が閾値以上であること、（２－６）作業機械４０の周囲にいる監督者または作業者が有する端末装置から作業機械４０に対して非常停止信号が送信されたこと、（２－７）作業機械４０の周囲エリアに指定物体（人間もしくはその他の動物または他の作業機械もしくはダンプなど）が侵入したこと（指定物体の種類に応じて指定エリアの延在態様が異なっていてもよい）、などが含まれていてもよい。

【0121】

指定イベントが発生していない期間（例えば、作業機械４０が停止して遠隔操作指令を待機している状態など）における、動画データの少なくとも一部がカットされるなど、当該動画データに対して編集処理が施されてもよい。指定イベントが発生した場合、当該指定イベントが発生した作業機械４０もしくはその周囲にある他の作業機械のオペレータ、または、作業監督者が携帯している情報端末装置６０（スマートフォンなど）に対して、当該指定イベントの内容、発生時刻および発生時点などのイベント関連状態が伝送されてもよい。

【0122】

複数の異なる指定イベントのうち、遠隔入力インターフェース２１０や入力インターフェース６１を通じてイベントの有効および無効の別が指定可能な画面が出力インターフェース６２０に表示され、有効にされた指定イベントが発生した動画データのリストが表示されてもよく、また、有効にされた指定イベントが発生した場合にのみ動画データにタグが付されてデータベース１１０に登録されてもよい。

【0123】

また、図７等の説明においてオペレータ１～５については、作業現場ＡＲ内において作業機械４０を操作するオペレータとして説明をした。しかし、当該オペレータ１～５については、作業現場ＡＲとは異なる作業現場で作業するオペレータを任意に選択して表示してもよい。また、図７等に表示させるオペレータの人数および／または図８等に示されているアタッチメントの種類は、適宜変更して実施してもよい。

【0124】

さらに、以上の実施例の説明では、画像表示システム１０によって画像表示処理が実行される説明をした。しかし、画像表示処理は、遠隔操作装置２０によって行われてもよいし、作業機械４０によって行われてもよい。

【0125】

また、以上の実施例の説明では、画像表示システム１０によるオペレータ識別子の要求は遠隔操作装置２０の起動後の１回のみとなっている。しかし、遠隔操作装置２０の起動後に遠隔操作装置２０を操作するオペレータＯＰが操作を交代し、途中から別のオペレータＯＰが操作をする場合がある。このような場合には、画像表示システム１０は、オペレータＯＰごとのオペレータ識別子を取得する必要がある。これを実現するために、例えば、オペレータＯＰの遠隔操作装置２０のシートＳｔからの離席が検出された後に、シートＳｔへの着席が再度検出された場合に、画像表示システム１０は、オペレータ識別子の送信を要求するようにしてもよい。オペレータＯＰの離席の検出については、例えば、顔認証に用いるカメラの撮像画像にオペレータＯＰの顔が検出されない場合および／またはシートＳｔに設けられた荷重センサの荷重が検出されない場合等により行うことが可能である。

【0126】

また、オペレータＯＰの乗り替わりをオペレータ識別子の変更により検出してもよく、例えば、オペレータ識別子の変更がないか確認するためにユーザ認証手段による認証結果を用いてオペレータＯＰの乗り替わりを検出するようにしてもよい。具体的には、画像表示システム１０は、一定時間ごとに顔認証等のユーザ認証手段で認証された認証結果を取得し、当該認証結果をもとにオペレータ識別子の変更がないかを確認するようにしてもよい。このようにすることで、確実にオペレータ識別子を設定することが可能となる。

【0127】

作業機械４０を実機操作しているオペレータＯＰが操作を交代し、途中から別のオペレータＯＰが操作をする場合にも同様にしてオペレータＯＰの乗り替わりを検出することにより、確実にオペレータ識別子を設定することが可能となる。

【0128】

また、以上の実施例の説明では、図７において、オペレータ１～５について累積時間および／または累積操作数が多い順および／または少ない順に並べる機能について説明した。しかし、オペレータの操作スコアの高い順に並べて表示するようにしてもよい。操作スコアは、例えば、オペレータＯＰの操作履歴情報における評価が高いほどスコアが高くなるように設定される指標（数値）である。操作スコアが高くなる条件は、例えば、上述した累積時間および／または累積操作時間が多く操作経験が豊富であること、作業効率が高いこと、燃料消費量の平均が少ないこと、要注意作業が少ないこと、が挙げられる。また、操作スコアを算出する際には、悪天候時の操作履歴情報を高くして算出してもよい。また、作業効率は、例えば、単位時間あたりに掘削した土砂量の多さ、標準操作に対する操作量の偏差の少なさ等により評価されてもよい。複数の操作履歴情報を複合的に評価して操作スコアが算出されてもよい。

【符号の説明】

【0129】

１０‥画像表示システム
１０１‥第1機能要素
１０２‥第２機能要素
２０‥遠隔操作装置
２２０‥遠隔出力インターフェース
４０‥作業機械
６０‥情報端末装置（表示装置）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17A】

【図17B】

【図18】

【図19】