(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024137093
(43)【公開日】2024-10-07
(54)【発明の名称】作業機械の監視システム
(51)【国際特許分類】
E02F 9/26 20060101AFI20240927BHJP
G06V 20/58 20220101ALI20240927BHJP
G06V 10/778 20220101ALI20240927BHJP
【ＦＩ】
E02F9/26 B
G06V20/58
G06V10/778
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023048467
(22)【出願日】2023-03-24
(71)【出願人】
【識別番号】000005522
【氏名又は名称】日立建機株式会社
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】太田 守飛
(72)【発明者】
【氏名】國松 聡美
(72)【発明者】
【氏名】泉 枝穂
【テーマコード（参考）】
2D015
5L096
【Ｆターム（参考）】
2D015HA03
2D015HB00
5L096CA02
5L096CA23
5L096CA27
5L096DA02
5L096FA02
5L096FA18
5L096FA64
5L096FA69
5L096HA03
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】認識モデルの更新時に必要な学習用データを選別するために必要な知識のない人でも収集されたデータの中より適切な学習用データを容易に抽出することができ、学習用データを容易に作成することができ、認識モデルの更新を適切に行うことにより、物体の認識の精度の向上を図ることができる作業機械の監視システムを提供する。
【解決手段】教師データ作成装置（サーバ５２）は、作業機械１０の周囲画像にフラグ情報を付加し、フラグ情報に基づいて周囲画像に対応する機械学習の優先度を決定し、外部（外部端末７０）からの入力によって選択された機械学習の優先度に対応する周囲画像を用いて物体認識モデルの教師データを作成し、学習装置５３は、教師データ作成装置（サーバ５２）で作成された教師データを用いて物体認識モデルの追加の機械学習を実行し、物体認識モデルを更新する。
【選択図】図３
【解決手段】教師データ作成装置（サーバ５２）は、作業機械１０の周囲画像にフラグ情報を付加し、フラグ情報に基づいて周囲画像に対応する機械学習の優先度を決定し、外部（外部端末７０）からの入力によって選択された機械学習の優先度に対応する周囲画像を用いて物体認識モデルの教師データを作成し、学習装置５３は、教師データ作成装置（サーバ５２）で作成された教師データを用いて物体認識モデルの追加の機械学習を実行し、物体認識モデルを更新する。
【選択図】図３
【特許請求の範囲】
【請求項1】
機械学習が行われた物体認識モデルを用いて作業機械の周囲を撮影した周囲画像を処理し、前記周囲画像から前記作業機械の周囲に存在する物体を検出する物体検出装置と、
前記周囲画像にフラグ情報を付加し、前記フラグ情報に基づいて前記周囲画像に対応する機械学習の優先度を決定し、外部からの入力によって選択された前記機械学習の優先度に対応する前記周囲画像を用いて前記物体認識モデルの教師データを作成する教師データ作成装置と、
前記教師データ作成装置で作成された前記教師データを用いて前記物体認識モデルの追加の機械学習を実行し、前記物体認識モデルを更新する学習装置と、を備えることを特徴とする作業機械の監視システム。
前記周囲画像にフラグ情報を付加し、前記フラグ情報に基づいて前記周囲画像に対応する機械学習の優先度を決定し、外部からの入力によって選択された前記機械学習の優先度に対応する前記周囲画像を用いて前記物体認識モデルの教師データを作成する教師データ作成装置と、
前記教師データ作成装置で作成された前記教師データを用いて前記物体認識モデルの追加の機械学習を実行し、前記物体認識モデルを更新する学習装置と、を備えることを特徴とする作業機械の監視システム。
【請求項2】
請求項１に記載の作業機械の監視システムにおいて、
前記フラグ情報には、前記物体認識モデルの更新履歴に関する情報が含まれていることを特徴とする作業機械の監視システム。
前記フラグ情報には、前記物体認識モデルの更新履歴に関する情報が含まれていることを特徴とする作業機械の監視システム。
【請求項3】
請求項１に記載の作業機械の監視システムにおいて、
前記フラグ情報には、前記周囲画像の撮影時点における前記作業機械の動作内容に関する情報が含まれることを特徴とする作業機械の監視システム。
前記フラグ情報には、前記周囲画像の撮影時点における前記作業機械の動作内容に関する情報が含まれることを特徴とする作業機械の監視システム。
【請求項4】
請求項１に記載の作業機械の監視システムにおいて、
前記フラグ情報には、前記物体認識モデルを用いて前記周囲画像を処理したときの物体検出結果に関する情報が含まれていることを特徴とする作業機械の監視システム。
前記フラグ情報には、前記物体認識モデルを用いて前記周囲画像を処理したときの物体検出結果に関する情報が含まれていることを特徴とする作業機械の監視システム。
【請求項5】
請求項１に記載の作業機械の監視システムにおいて、
前記作業機械の運転室には前記周囲画像に対して物体認識の結果のエラーを入力するための入力装置が備えられ、
前記フラグ情報には、前記周囲画像の撮影時点における前記入力装置の操作の有無に関する情報が含まれていることを特徴とする作業機械の監視システム。
前記作業機械の運転室には前記周囲画像に対して物体認識の結果のエラーを入力するための入力装置が備えられ、
前記フラグ情報には、前記周囲画像の撮影時点における前記入力装置の操作の有無に関する情報が含まれていることを特徴とする作業機械の監視システム。
【請求項6】
請求項１に記載の作業機械の監視システムにおいて、
前記教師データ作成装置は、前記作業機械の動作中に撮影した前記周囲画像に対応する機械学習の優先度を動作中以外に撮影した前記周囲画像に対応する機械学習の優先度よりも低く設定することを特徴とする作業機械の監視システム。
前記教師データ作成装置は、前記作業機械の動作中に撮影した前記周囲画像に対応する機械学習の優先度を動作中以外に撮影した前記周囲画像に対応する機械学習の優先度よりも低く設定することを特徴とする作業機械の監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械の監視システムに関する。
【背景技術】
【0002】
特許文献１には、ショベル周囲の環境情報を取得する環境情報取得部と、環境情報取得部により取得された環境情報に基づいてショベル周囲の物体を判定する判定部と、を備えたショベル支援システムが記載されている。
【0003】
具体的には、判定部は、機械学習が行われた学習済みモデルを用いて、環境情報取得部により取得された環境情報に基づいてショベル周囲の物体を判定する。そして、学習部は、外部装置で環境情報取得部にて取得された環境情報から生成された教師情報に基づいて上記学習済みモデルと同一の学習済みモデルに追加学習を行い、追加学習済みモデルを更新する。判定部は、環境情報取得部により取得された環境情報に基づき、更新された追加学習済みモデルを用いて、ショベル周囲の物体を判定する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０２０／０９１００２号
【発明の概要】
【発明が解決しようとする課題】
【0005】
機械学習により物体の認識の精度を向上させるためには、実際に使用される環境で判定対象となる物体が存在する学習用データを収集し、物体の認識処理に必要な認識モデル（学習モデル）を更新することが有効である。
【0006】
しかしながら、学習用データの収集者は、認識モデルが使用環境に適用するにはどのようなデータが必要であるかを理解し、システム稼働時に収集される膨大な画像データより適切な画像データを抽出しなければならない。このため、学習用データの作成に手間がかかり、物体の認識の精度の向上に必要な認識モデルの更新の遅れや精度ばらつきが発生してしまうといった問題がある。
【0007】
本発明は、認識モデルの更新時に必要な学習用データを選別するために必要な知識のない人でも収集されたデータの中より適切な学習用データを容易に抽出することができ、学習用データを容易に作成することができ、認識モデルの更新を適切に行うことにより、物体の認識の精度の向上を図ることができる作業機械の監視システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明の一態様による作業機械の監視システムは、機械学習が行われた物体認識モデルを用いて作業機械の周囲を撮影した周囲画像を処理し、前記周囲画像から前記作業機械の周囲に存在する物体を検出する物体検出装置と、前記周囲画像にフラグ情報を付加し、前記フラグ情報に基づいて前記周囲画像に対応する機械学習の優先度を決定し、外部からの入力によって選択された前記機械学習の優先度に対応する前記周囲画像を用いて前記物体認識モデルの教師データを作成する教師データ作成装置と、前記教師データ作成装置で作成された前記教師データを用いて前記物体認識モデルの追加の機械学習を実行し、前記物体認識モデルを更新する学習装置と、を備えることを特徴とする。
【発明の効果】
【0009】
本発明によれば、監視システムの使用現場で撮影された画像データのうち、認識モデルの更新時に必要な学習用データを選別するために必要な知識なく、認識モデルの追加学習用データとして、使用現場への適用性の向上が可能な適切な画像データを容易に選出することができ、学習用データを容易に作成することができ、認識モデルの更新を適切に行うことにより、物体の認識の精度の向上を図ることができる作業機械の監視システムを提供することができる。
【0010】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態における作業機械の側面図である。
【図2】本発明の一実施形態における監視システムのシステム構成図である。
【図3】本発明の一実施形態における監視システムの回路図である。
【図4】本発明の一実施形態における監視システムの表示画面例である。
【図5】本発明の一実施形態におけるモデル変更履歴フラグ追加処理のフローチャートである。
【図6】本発明の一実施形態における動作フラグ追加処理のフローチャートである。
【図7】本発明の一実施形態における移動前エリア情報記録処理のフローチャートである。
【図8】本発明の一実施形態におけるエリア移動フラグ追加処理のフローチャートである。
【図9】本発明の一実施形態における物体検知フラグ追加処理及び動体検知フラグ追加処理のフローチャートである。
【図10】本発明の一実施形態におけるエラーフラグ追加処理のフローチャートである。
【図11】本発明の一実施形態における優先度設定処理のフローチャートである。
【図12】本発明の一実施形態における第１の重み設定処理の設定例である。
【図13】本発明の一実施形態における第２の重み設定処理の設定例である。
【図14】本発明の一実施形態における第３の重み設定処理の設定例である。
【図15】本発明の一実施形態における学習画像選択画面例である。
【図16】本発明の一実施形態における画像確認画面例である。
【発明を実施するための形態】
【0012】
図面を参照して、本発明の実施形態に係る作業機械の監視システムについて説明する。作業機械は、土木作業、建設作業、解体作業等の各種作業に用いられる機械である。本実施形態では、作業機械が、クローラ式の油圧ショベルである例について説明する。
【0013】
＜作業機械の構成＞
図１は、本発明の一実施形態に係る作業機械１０の側面図である。図１に示すように、作業機械１０は、作業部２０で作業を行う機械であり、例えば油圧ショベルである。作業機械１０は、下部走行体１１と、上部旋回体１２と、作業部２０と、油圧シリンダ３０と、を有している。
図１は、本発明の一実施形態に係る作業機械１０の側面図である。図１に示すように、作業機械１０は、作業部２０で作業を行う機械であり、例えば油圧ショベルである。作業機械１０は、下部走行体１１と、上部旋回体１２と、作業部２０と、油圧シリンダ３０と、を有している。
【0014】
下部走行体１１は、作業機械１０を走行させる部分であり、例えばクローラを備える。
【0015】
上部旋回体１２は、下部走行体１１の上部に旋回装置を介して旋回可能に取り付けられる。上部旋回体１２の前部には、運転室１３が設けられている。
【0016】
作業部２０は、上部旋回体１２に取り付けられる。作業部２０は、ブーム２１と、アーム２２と、バケット２３と、を備える。ブーム２１は、上部旋回体１２に回転自在（起伏自在）に取り付けられる。アーム２２は、ブーム２１に回転自在に取り付けられる。バケット２３は、アーム２２に回転自在に取り付けられる。バケット２３は、作業対象（土砂など）の、掘削、ならし、すくい、などの作業を行う部分である。
【0017】
油圧シリンダ３０は、作業部２０を作動させる。油圧シリンダ３０は、油圧式の伸縮シリンダである。油圧シリンダ３０は、ブームシリンダ３１と、アームシリンダ３２と、バケットシリンダ３３と、を備える。
【0018】
ブームシリンダ３１は、上部旋回体１２に対してブーム２１を回転駆動させる。ブームシリンダ３１の基端部は、上部旋回体１２に回転自在に取り付けられる。ブームシリンダ３１の先端部は、ブーム２１に回転自在に取り付けられる。
【0019】
アームシリンダ３２は、ブーム２１に対してアーム２２を回転駆動させる。アームシリンダ３２の基端部は、ブーム２１に回転自在に取り付けられる。アームシリンダ３２の先端部は、アーム２２に回転自在に取り付けられる。
【0020】
バケットシリンダ３３は、アーム２２に対してバケット２３を回転駆動させる。バケットシリンダ３３の基端部は、アーム２２に回転自在に取り付けられる。バケットシリンダ３３の先端部は、バケット２３に回転自在に取り付けられたリンク部材２４に、回転自在に取り付けられる。
【0021】
図１に示した作業機械１０には、上部旋回体１２の周囲をリアルタイムに撮影するカメラ４０が備わっている。図１に例示したカメラ４０は、上部旋回体１２の後端の上部に取り付けられ、作業機械１０と同じ地面に立つ人間の身長よりも高い位置にあり、上部旋回体１２の後方の領域を左右約１８０°の画角で斜めに見下ろすような姿勢で設置されている。同図には示していないが、カメラ４０は、上部旋回体１２の後部の他、上部旋回体１２の左右や前部に設置される場合もあり、この場合には上部旋回体１２の左方、右方、前方も撮影される。カメラ４０には、ＣＣＤやＣＭＯＳ等の撮像素子と広角レンズを備えた広角ビデオカメラ、特に耐久性や耐候性に優れたカメラが好ましく採用される。
【0022】
また、運転室１３の内部には、作業機械１０の各アクチュエータを操作するための操作装置であるレバー１７０（図３）、及びカメラ４０による撮影画像や各種情報を表示するモニタ（表示装置）１９０が設けられている。作業機械１０の周囲に対象物体（例えば人間）が存在するとコントローラ１００で判定された場合、コントローラ１００からの入力データに基づいて周囲の対象物体の情報がモニタ１９０に表示される。本実施形態におけるモニタ１９０はタッチパネルであり、タッチ操作によりデータをコントローラ１００に入力する入力装置１８０（図３）を兼ねる。但し、入力装置１８０は、各種スイッチ等によりモニタ１９０とは別に設けても良い。
【0023】
＜監視システムの構成＞
図２は、本発明の一実施形態に係る監視システムの適用例を表した図である。図２に示した監視システム５は、カメラ４０で撮影された撮影画像（画像データ）により監視範囲内を監視するシステムであり、コントローラ１００と、サーバ５２と、学習装置５３と、外部端末７０とを含んで構成されている。監視範囲には、作業機械１０に搭載されたカメラ４０の視野の全部又は一部を設定することができ、例えば作業機械１０から一定距離の領域を監視範囲に設定することもできる。
図２は、本発明の一実施形態に係る監視システムの適用例を表した図である。図２に示した監視システム５は、カメラ４０で撮影された撮影画像（画像データ）により監視範囲内を監視するシステムであり、コントローラ１００と、サーバ５２と、学習装置５３と、外部端末７０とを含んで構成されている。監視範囲には、作業機械１０に搭載されたカメラ４０の視野の全部又は一部を設定することができ、例えば作業機械１０から一定距離の領域を監視範囲に設定することもできる。
【0024】
コントローラ１００は、作業機械１０に搭載された車載コンピュータであり、サーバ５２と、学習装置５３は、管理センタ５０に設置されたコンピュータである。外部端末７０は、例えば、現場事務所６０に設置された、タブレットＰＣ、スマートフォン、ノート型ＰＣ、デスクトップＰＣ等の通信機能を有する情報機器であり、例えば、作業機械１０を使用する工事業者の管理者が施工データなどのデータの入力に使用する。
【0025】
監視システム５は、現場事務所６０と、作業機械１０と、管理センタ５０に分散して設置される。管理センタ５０は、作業機械１０が稼働する作業現場から離れた場所に位置する。管理センタ５０は、例えば、作業機械１０の製造業者（メーカー）の本社、支社、工場等の施設、作業機械１０のレンタル会社、サーバの運営を専門的に行うデータセンタ、作業機械１０を所有するオーナーの施設等に設置される。管理センタ５０に設置されたサーバ５２により、作業機械１０の状態が遠隔管理される。複数の作業機械１０が１台のサーバ５２の管理対象となる場合もある。
【0026】
また、作業機械１０には、コントローラ１００に接続する通信装置１１０（図３）が備わっている。現場事務所６０に設置された外部端末７０は、通信装置７１０（図３）を内蔵しており、通信装置７１０、通信装置１１０及びローカルネットワークを介してコントローラ１００と双方向通信ができるように構成されている。例えば、作業現場に無線基地局（アクセスポイント）５１を設置し、無線基地局５１を介してコントローラ１００と外部端末７０との間でデータが授受される。
【0027】
【0028】
なお、コントローラ１００に接続する通信装置１１０は、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信方式で、サーバ５２及び外部端末７０と直接的又は間接的にデータを授受する構成とすることができる。
【0029】
コントローラ１００及びサーバ５２の間の通信方式とコントローラ１００及び外部端末７０の間の通信方式は異なっても良い。
【0030】
＜監視システムの機能ブロック＞
図３は、本発明の一実施形態に係る監視システムの機能ブロック図である。
図３は、本発明の一実施形態に係る監視システムの機能ブロック図である。
【0031】
＜コントローラ＞
図３に示すように、コントローラ１００には、カメラ４０、モニタ１９０、通信装置１１０及び入力装置１８０が接続されている。このコントローラ１００は、ＲＯＭやＲＡＭ、ＨＤＤ、ＳＳＤ等のメモリ１２０の他、ＣＰＵ１３０、入出力インタフェース、その他の周辺回路を含んで構成されている。
図３に示すように、コントローラ１００には、カメラ４０、モニタ１９０、通信装置１１０及び入力装置１８０が接続されている。このコントローラ１００は、ＲＯＭやＲＡＭ、ＨＤＤ、ＳＳＤ等のメモリ１２０の他、ＣＰＵ１３０、入出力インタフェース、その他の周辺回路を含んで構成されている。
【0032】
コントローラ１００（サーバ５２や外部端末７０も同様）のＲＯＭは、ＥＥＰＲＯＭ等の不揮発性メモリであり、各種演算が実行可能なプログラムを格納している。ＲＡＭは、揮発性メモリであり、ＣＰＵ１３０との間で直接的にデータの入出力を行うワークメモリである。ＲＡＭは、ＣＰＵ１３０がプログラムを実行している間、必要なデータを一時的に記憶する。不揮発性メモリには、基礎画像１２１、フラグ情報１２２及びモデル１２３が記憶される。基礎画像１２１、フラグ情報１２２及びモデル１２３は、単一の不揮発性メモリに記憶されるようにしても良いし、異なる不揮発性メモリに記憶されるようにしても良い。
【0033】
モデル１２３は、対象物体（人間その他の障害物）を認識するためのデータである。モデル１２３は、例えば畳み込みニューラルネットワーク（Convolutional Neural Network）の一種であるＹＯＬＯ（You Only Look Once）モデルである。ＹＯＬＯモデルは、ニューラルネットワークによる機械学習に基づく深層学習により作成される認識モデルであり、予めメモリに記憶されている。モデル１２３はまた、例えばサーバ５２と学習装置５３における追加の機械学習に基づき対象物体毎に生成されてメモリに蓄積又は更新される。
【0034】
コントローラ１００（サーバ５２や外部端末７０も同様）の入出力インタフェースには、各種のセンサや機器からの信号が入力される。入出力インタフェースは、入力信号を必要に応じてＣＰＵ１３０で演算可能な形式に変換する。ＣＰＵ１３０は、ＲＯＭに記憶されたプログラムをＲＡＭに展開して実行する処理装置であり、プログラムに従って入出力インタフェース及びＲＯＭ、ＲＡＭから入力したデータに基づいて所定の演算処理を行う。入出力インタフェースは、ＣＰＵ１３０の演算結果を出力用のデータ形式に変換し、対応する機器に出力する。
【0035】
ＣＰＵ１３０は、メモリ１２０に記憶されたプログラムに従い、記憶制御１３１、物体認識１３２、表示画像生成１３３の各処理を実行する。
【0036】
［記憶制御］
記憶制御１３１は、カメラ４０で撮影された撮影画像から、対象物体のモデル１２３の機械学習用の基礎画像１２１を抽出し、メモリ１２０に記録する処理である。基礎画像１２１の抽出は、動画を構成する複数の静止画像から抜き出すことにより行われる。例えば、カメラ４０で１秒間３０枚の静止画像からなる動画が撮影される場合、１秒間で取得される３０枚の撮影画像の多くは一般に類似している。そのため、記憶制御１３１の処理では、カメラ４０の撮影画像を間引く（例えば０．２秒間隔で抜き出す）ことで、基礎画像１２１を抽出し、メモリ１２０に記録する。
記憶制御１３１は、カメラ４０で撮影された撮影画像から、対象物体のモデル１２３の機械学習用の基礎画像１２１を抽出し、メモリ１２０に記録する処理である。基礎画像１２１の抽出は、動画を構成する複数の静止画像から抜き出すことにより行われる。例えば、カメラ４０で１秒間３０枚の静止画像からなる動画が撮影される場合、１秒間で取得される３０枚の撮影画像の多くは一般に類似している。そのため、記憶制御１３１の処理では、カメラ４０の撮影画像を間引く（例えば０．２秒間隔で抜き出す）ことで、基礎画像１２１を抽出し、メモリ１２０に記録する。
【0037】
また、記憶制御１３１の処理では、作業機械１０のレバー１７０が操作された操作情報と、作業機械１０に搭載されたＧＰＳ１６０からのグローバル座標である位置情報（測位情報とも呼ぶ）と、作業機械１０の運転手がモニタ１９０に表示された物体認識１３２の結果に間違いがある場合に（入力装置１８０から）入力された信号であるエラー信号と、をフラグ情報１２２として、前記基礎画像１２１と同期してメモリ１２０に記録する。
【0038】
これらの情報の他、カメラ４０を搭載した作業機械１０の識別番号、カメラ４０の識別情報、基礎画像の撮影日時等の付加データが含まれる。カメラ４０の識別情報としては、例えば作業機械１０のローカル座標系のカメラ４０の座標（作業機械１０のどの部位に設置されているかの位置データ）を用いることができる。これら付加データを含めることで、基礎画像１２１がいつどこで撮影されたかが判別でき、基礎画像１２１に基づいて生成されるモデル１２３の更新用データがどのような場面で有効かが判断できる。
【0039】
［物体認識］
物体認識１３２は、カメラ４０から入力される撮影画像（画像データ）を取得し、取得した撮影画像からモデル１２３に基づき監視範囲内の対象物体の存在を認識する処理である。具体的には、物体認識１３２において、ＣＰＵ１３０は、撮影画像を対象とする認識処理で演算された信頼度が第１信頼度（設定値）以上であるかを判定する。信頼度が第１信頼度以上である場合、監視範囲内に対象物体が存在すると判定される。信頼度が第１信頼度未満である場合、監視範囲内に物体が存在するとは判定されない。
物体認識１３２は、カメラ４０から入力される撮影画像（画像データ）を取得し、取得した撮影画像からモデル１２３に基づき監視範囲内の対象物体の存在を認識する処理である。具体的には、物体認識１３２において、ＣＰＵ１３０は、撮影画像を対象とする認識処理で演算された信頼度が第１信頼度（設定値）以上であるかを判定する。信頼度が第１信頼度以上である場合、監視範囲内に対象物体が存在すると判定される。信頼度が第１信頼度未満である場合、監視範囲内に物体が存在するとは判定されない。
【0040】
撮影画像を対象とする認識処理で演算される信頼度は、物体認識１３２の処理で演算される評価値であり、モデル１２３で予め設定されている対象物体（例えば人間）のパラメータ群との一致度に相当する。仮にモデル１２３に完全一致する場合に、信頼度は１００％となる。対象物体のパラメータ群とは、画像上の特徴（エッジ、カラー、位置等）であり、例えばＹＯＬＯｖ３の場合、７２層の畳み込み層（特徴フィルタ）毎に機械学習で求めた設定値をパラメータという。第１信頼度は、監視範囲内の対象物体の有無を判定するために予め設定された閾値であり、例えば９０％程度の値を設定することができる。物体認識１３２の処理では、監視範囲内に存在を認識された対象物体のデータとして、クラス、位置座標、大きさが生成される。クラスは、対象物体の種類（分類）のデータである。位置座標は、対象物体の撮影画像内の横軸方向の座標及び縦軸方向の座標のデータである。大きさは、対象物体の撮影画像上の大きさ（撮影画像上で対象物体を囲む四角形のフレームの横軸方向及び縦軸方向の長さ）のデータである。
【0041】
［表示画像生成］
表示画像生成１３３は、物体認識１３２により監視範囲内に存在すると判定された対象物体のデータ（位置座標及び大きさ）に基づいて、カメラ４０によるリアルタイムの撮影画像に対象物体を囲うフレームを合成した表示画像を生成する処理である。表示画像生成１３３の処理で生成された表示画像のデータが、コントローラ１００からモニタ１９０に出力されてモニタ１９０の画面に表示出力される。
表示画像生成１３３は、物体認識１３２により監視範囲内に存在すると判定された対象物体のデータ（位置座標及び大きさ）に基づいて、カメラ４０によるリアルタイムの撮影画像に対象物体を囲うフレームを合成した表示画像を生成する処理である。表示画像生成１３３の処理で生成された表示画像のデータが、コントローラ１００からモニタ１９０に出力されてモニタ１９０の画面に表示出力される。
【0042】
ここで、表示画像生成１３３の処理で生成されてモニタ１９０の画面に表示される画像の例を図４に示す。同図に示した表示画像では、カメラ４０によるリアルタイムの撮影画像１９１に対象物体１９２を囲うフレーム１９３が重ねて表示されている。図４では、対象物体１９２としてカメラ４０の近く（つまり作業機械１０の後部付近）に立つ作業員（人間）が映った表示画像を例示している。この表示画像において、対象物体のクラスを表すテキストデータ（同図の場合は例えば「人間」）がフレーム１９３に沿って表示されるようにすることもできる。このように対象物体１９２を表示画像上においてフレーム１９３で囲って表示することにより、作業機械１０のオペレータに、作業機械１０の周囲に存在する対象物体の位置等を視覚的に知らせることができる。
【0043】
＜通信装置＞
通信装置１１０は、無線基地局５１（図２）との接続状況を確認し、通信装置１１０を介してサーバ５２と通信可能な状態であるかを判定する。
通信装置１１０は、無線基地局５１（図２）との接続状況を確認し、通信装置１１０を介してサーバ５２と通信可能な状態であるかを判定する。
【0044】
また、ＣＰＵ１３０は、サーバ５２と通信可能な状態であれば、通信装置１１０を介してメモリ１２０に記録されている基礎画像１２１及びフラグ情報１２２のデータをサーバ５２に出力する（送信してアップロードする）。基礎画像１２１及びフラグ情報１２２のデータのアップロードが正常に完了すると、通信装置１１０を介してサーバ５２から受信完了通知が送信される。通信装置１１０では、この受信完了通知を受信すると、アップロードが正常に行われた基礎画像１２１及びフラグ情報１２２について、メモリ１２０に記録されている基礎画像１２１及びフラグ情報１２２のデータに送信済みである旨のデータが付加される。送信済みの基礎画像１２１及びフラグ情報１２２のデータは、サーバ５２に再送信されることはなく、定期的に消去されるか上書きされる。
【0045】
更に、通信装置１１０では、ＣＰＵ１３０は、サーバ５２と通信してサーバ５２のメモリ５６に記憶されているモデル１２３の情報（バージョンデータ）を取得する。その際、コントローラ１００は、ＣＰＵ１３０によりメモリ１２０に記憶されているモデル１２３よりもバージョンの新しいモデル１２３がサーバ５２のメモリ５６に記録されているかを判定する。サーバ５２に新しいモデル１２３がある場合、モデル１２３の更新用データの送信を要求する信号がコントローラ１００からサーバ５２に送信される。要求信号を受信したサーバ５２からモデル１２３の更新用データが送信されると、コントローラ１００はこれを受信し、メモリ１２０に記録してあるモデル１２３を更新（バージョンアップ）する。つまり、メモリ１２０に記憶されているモデル１２３を構成するパラメータ群が更新される。
【0046】
＜サーバ＞
サーバ５２には、通信装置（第２通信装置）５２１及びモニタ５５、入力装置５４が接続されている。モニタ５５は液晶ディスプレイ装置等であり、入力装置５４はキーボードやマウス等である。
サーバ５２には、通信装置（第２通信装置）５２１及びモニタ５５、入力装置５４が接続されている。モニタ５５は液晶ディスプレイ装置等であり、入力装置５４はキーボードやマウス等である。
【0047】
サーバ５２は、作業機械１０から稼働データや基礎画像１２１のデータ等を受信すると、それらのデータをメモリ５６に記録し、入力装置５４からの所定の操作入力に応じてメモリ５６に記憶したデータをモニタ５５に表示出力する。
【0048】
管理者は、所定の情報をモニタ５５で閲覧することで、作業機械１０の状態等を知ることができる。作業機械１０のカメラ４０による撮影画像（基礎画像１２１を含む）も、同様にモニタ５５に表示させることができる。
【0049】
サーバ５２も、コントローラ１００と同じくコンピュータであり、ＲＯＭ、ＲＡＭ、ＨＤＤ、ＳＳＤ等のメモリ５６（第２のメモリ）の他、ＣＰＵ５７（第２の処理装置）、入出力インタフェース、その他の周辺回路を含んで構成されている。
【0050】
メモリ５６には、フラグ情報１２２を含む、管理される作業機械１０でどのモデル１２３が使用されているかなどの車体情報５６０と、管理される作業機械１０のモデル１２３であるモデル５６１と、基礎画像１２１及びモデル１２３を生成するための教師データを含む画像５６２が記憶されている。
【0051】
教師データには、作業機械１０のコントローラ１００から送られてくる基礎画像１２１のうち、対象物体（例えば人間）が映っていることが管理者の目視により確認された画像データを選択して用いることができる。この教師データには、画像データのみならず、対象物体の位置、大きさ、クラス等の付加データが含まれている。対象物体の位置データには、例えば画像内における対象物体の横軸方向及び縦軸方向の座標を用いることができる。対象物体の大きさのデータには、例えば対象物体を囲むフレーム１９３（図４）の画像内の横軸方向及び縦軸方向の長さを用いることができる。対象物体のクラスとは、前述した通り対象物体の種類を表す分類情報（例えば人間）である。こうした付加データは、例えば管理者がモニタ５５で画像を確認しながら入力装置５４でデータ入力し、教師データとして選択した基礎画像１２１に対応付けてメモリ５６に記録する作業（教師データ作成５７０）をすることにより作成することができる。
【0052】
ＣＰＵ５７は、メモリ５６に格納されたプログラムに従って各種の処理を実行する。例えば、ＣＰＵ５７は、通信装置５２１を介してコントローラ１００から基礎画像１２１のデータを受信すると、コントローラ１００から受信した基礎画像１２１のデータをメモリ５６に記録する。基礎画像１２１の記録を終えたら、ＣＰＵ５７は、基礎画像１２１の受信が正常に完了した旨を表す受信完了通知を、通信装置５２１を介して作業機械１０のコントローラ１００に送信する。ＣＰＵ５７はまた、入力装置５４の所定の操作に応じて、基礎画像１２１をモニタ５５に表示させる。
【0053】
更には、ＣＰＵ５７は、メモリ５６に格納されたプログラムに従って、画像認識５７１、フラグ追加５７２、優先度設定５７３、学習画像選択５７４の各処理を実行する。ＣＰＵ５７は、コントローラ１００から送信された基礎画像１２１に画像認識５７１を実行した画像認識情報と、コントローラ１００から送信されたフラグ情報１２２と、を用いて、基礎画像１２１に対し、フラグ追加５７２を実行し、フラグ情報を追加する。また、優先度設定５７３を実行し、コントローラ１００から送信された基礎画像１２１から、コントローラ１００のメモリ１２０に記憶されたモデル１２３の更新用データの生成に使用する学習画像の優先度を設定する。また、外部端末７０より通信装置７１０及び通信装置５２１を介して学習画像を選択できる学習画像選択５７４を実行する。
【0054】
また、学習画像選択５７４によって選択された学習画像と、学習画像の教師データとは、通信装置５２１及び通信装置５３１を介して、学習装置５３のメモリ５８の画像５８０に記憶される。
【0055】
＜学習装置＞
学習装置５３も、コントローラ１００と同じくコンピュータであり、ＲＯＭ、ＲＡＭ、ＨＤＤ、ＳＳＤ等のメモリ５８（第３のメモリ）の他、ＣＰＵ５９（第３の処理装置）、入出力インタフェース、その他の周辺回路を含んで構成されている。
学習装置５３も、コントローラ１００と同じくコンピュータであり、ＲＯＭ、ＲＡＭ、ＨＤＤ、ＳＳＤ等のメモリ５８（第３のメモリ）の他、ＣＰＵ５９（第３の処理装置）、入出力インタフェース、その他の周辺回路を含んで構成されている。
【0056】
学習装置５３は、通信装置（第３通信装置）５３１及びモニタ（不図示）、入力装置（不図示）が接続されている。モニタは液晶ディスプレイ装置等であり、入力装置はキーボードやマウス等である。
【0057】
学習装置５３は、サーバ５２から学習画像、教師データ等を受信すると、それらのデータをメモリ５８に記録し、入力装置からの所定の操作入力に応じてメモリ５８に記憶したデータをモニタに表示出力する。
【0058】
メモリ５８には、管理される作業機械１０のコントローラ１００のメモリ１２０に記憶されるモデル１２３であるモデル５８１と、サーバ５２で選択された学習画像と、学習画像の教師データを含む画像５８０が記憶されている。
【0059】
ＣＰＵ５９は、サーバ５２から送信された学習画像と、学習画像の教師データから、コントローラ１００のメモリ１２０に記憶されたモデル１２３の更新用データを生成する処理（学習５９０）を実行する。学習５９０は、学習画像について、メモリ５８に記憶された教師データに基づく機械学習（例えばＹＯＬＯｖ３を用いたニューラルネットワーク手法）により実行される。更新用データとは、コントローラ１００のメモリ１２０に記録されたモデル１２３を新しいバージョンに更新する（機械学習で演算されたパラメータをメモリ１２０に記憶されているモデル１２３に適用する）ための更新プログラムである。
【0060】
なお、この更新用データは、更新プログラムに限定されず、新しいバージョンのモデル１２３そのものであっても良い。更新用データは、メモリ５８に記録され、通信装置５３１及び通信装置５２１を介して、サーバ５２に送信される。
【0061】
管理者は、所定の情報をモニタで閲覧することで、学習５９０の実行状態等を知ることができる。サーバ５２から送信された学習画像と、学習画像の教師データも、同様にモニタに表示させることができる。
【0062】
＜外部端末＞
外部端末７０は、ＲＯＭ、ＲＡＭ、ＨＤＤ、ＳＳＤ等のメモリ（不図示）やＣＰＵ７４０（第４の処理装置）の他、モニタ７２０、通信装置（第４通信装置）７１０及び入力装置７３０を含んで構成されている。モニタ７２０は液晶ディスプレイ装置等であり、入力装置７３０は代表的にはキーボードやマウスであり、タッチパネルやタッチパッド等を用いることもできる。
外部端末７０は、ＲＯＭ、ＲＡＭ、ＨＤＤ、ＳＳＤ等のメモリ（不図示）やＣＰＵ７４０（第４の処理装置）の他、モニタ７２０、通信装置（第４通信装置）７１０及び入力装置７３０を含んで構成されている。モニタ７２０は液晶ディスプレイ装置等であり、入力装置７３０は代表的にはキーボードやマウスであり、タッチパネルやタッチパッド等を用いることもできる。
【0063】
この外部端末７０は、通信装置７１０及び通信装置５２１を介して、管理される作業機械１０のコントローラ１００のメモリ１２０に記憶されるモデル１２３の更新用データ作成に使用する学習画像を基礎画像１２１より選択できる。例えば、外部端末７０を使用する作業機械１０の管理者が、作業機械１０のコントローラ１００のメモリ１２０に記憶されるモデル１２３の更新用データとして、サーバ５２で優先度設定された学習画像及び学習画像の教師データを選択し、学習装置５３で学習５９０を実行し、モデル１２３の更新用データを生成するように操作できる。
【0064】
＜動作＞
サーバ５２のＣＰＵ５７は、モデル１２３の更新用データの学習に使用する学習画像の優先度を決定する（優先度設定５７３）ため、サーバ５２のＣＰＵ５７で実行されるフラグ追加５７２において、基礎画像の撮影期間内に基礎画像が撮影された作業機械の物体認識モデルが変更された場合に、変更後に撮影された基礎画像に対し、フラグ情報を追加する。図５は、その処理（モデル変更履歴フラグ追加処理）を示すフローチャートである。
サーバ５２のＣＰＵ５７は、モデル１２３の更新用データの学習に使用する学習画像の優先度を決定する（優先度設定５７３）ため、サーバ５２のＣＰＵ５７で実行されるフラグ追加５７２において、基礎画像の撮影期間内に基礎画像が撮影された作業機械の物体認識モデルが変更された場合に、変更後に撮影された基礎画像に対し、フラグ情報を追加する。図５は、その処理（モデル変更履歴フラグ追加処理）を示すフローチャートである。
【0065】
ＣＰＵ５７は、メモリ５６に基礎画像及びフラグ情報が格納されると実行される。
【0066】
ステップＳ５０１において、ＣＰＵ５７は、メモリ５６の画像５６２より基礎画像を取得し、ステップＳ５０２に手順を移す。
【0067】
ステップＳ５０２において、ＣＰＵ５７は、メモリ５６の車体情報５６０より作業機械の基礎画像の撮影期間におけるモデルの変更履歴を確認し、ステップＳ５０３に手順を移す。
【0068】
ステップＳ５０３において、モデル変更履歴がない場合は、処理を終了し、モデル変更履歴があった場合は、ステップＳ５０４に手順を移す。
【0069】
ステップＳ５０４において、ＣＰＵ５７は、基礎画像よりモデル変更以降の画像に対し、モデル変更履歴ありを示す「モデル変更履歴フラグ」を追加する。
【0070】
本処理により、基礎画像が撮影された際のモデルが現行モデルか、旧モデルかを判断でき、現行モデル（変更履歴あり）の場合は、作業現場においてモデルを更新していることから既に学習された基礎画像の可能性が高く、未学習の基礎画像を学習するために現行モデル時に撮影された（変更履歴のない）基礎画像を学習対象とすることができる。
【0071】
ここで、変更履歴と記載しているが、モデルバージョン管理番号などで基礎画像が撮影された際のモデルが現行モデルか否かを判定してもよい。
【0072】
サーバ５２のＣＰＵ５７は、モデル１２３の更新用データの学習に使用する学習画像の優先度を決定する（優先度設定５７３）ため、サーバ５２のＣＰＵ５７で実行されるフラグ追加５７２において、基礎画像に対し、作業機械１０のメモリ１２０に記録されたレバー１７０の操作情報であるフラグ情報１２２を用いて、操作情報に応じたフラグを追加する。図６は、その処理（動作フラグ追加処理）を示すフローチャートである。ＣＰＵ５７は、メモリ５６に基礎画像及びフラグ情報が格納されると実行され、基礎画像すべてが入力されるまで繰り返し実行される。
【0073】
ステップＳ６０１において、ＣＰＵ５７は、メモリ５６の画像５６２より画像と、車体情報５６０より、画像と同期的に取得された操作情報を取得し、ステップＳ６０２に手順を移す。
【0074】
ステップＳ６０２において、ＣＰＵ５７は、取得した操作情報に基づき作業機械１０の作業部２０を動作させる「作業」、上部旋回体１２を旋回させる「旋回」、及び下部走行体１１を走行させる「走行」の操作がされたか否かを判定し、操作なしの場合はステップＳ６０８に、操作ありの場合はステップＳ６０３にそれぞれ手順を移す。
【0075】
ステップＳ６０３において、ＣＰＵ５７は、前フレーム画像で現画像と同じ操作情報があったか否かを判定し、あった場合はステップＳ６０５に、なかった場合はステップＳ６０４にそれぞれ手順を移す。
【0076】
ステップＳ６０４において、ＣＰＵ５７は、現画像より所定フレーム前のすべての画像に操作情報に応じた動作前フラグを追加し、ステップＳ６０５に手順を移す。動作前フラグは、例えば、操作情報が「旋回」の場合は「旋回前フラグ」を追加する。
【0077】
ステップＳ６０５において、ＣＰＵ５７は、次フレームの画像で現画像と同じ操作情報があったか否かを判定し、あった場合はステップＳ６０７に、なかった場合はステップＳ６０６にそれぞれ手順を移す。
【0078】
ステップＳ６０６において、ＣＰＵ５７は、現画像より所定フレーム先のすべての画像に操作情報に応じた動作後フラグを追加し、ステップＳ６０７に手順を移す。動作後フラグは、例えば、操作情報が「旋回」の場合は「旋回後フラグ」を追加する。
【0079】
ステップＳ６０７において、ＣＰＵ５７は、現画像に対し、動作中フラグを追加し、ステップＳ６０８に手順を移す。動作中フラグは、例えば、操作情報が「作業」の場合は「作業中フラグ」を追加する。
【0080】
ステップＳ６０８において、次フレームの画像がなければ、処理を終了し、次フレームの画像があれば、ステップＳ６０１に手順を移す。
【0081】
本処理により、作業機械１０が「動作中」か、静止中の「動作前」、「動作後」、「動作前、動作後以外の静止中」か、の動作内容を判定する。作業機械１０が動作中と判定することで、車体が振動しやすく基礎画像にブレが発生しやすい、また、作業中における土ほこりなどの画像が取得され、学習データとして適さない（たとえ人が映っていたとしても画像品質が悪い）ため、学習画像の優先度を低く設定できる。
【0082】
また、作業機械１０が静止中かつ「動作後」と判定することで、旋回や移動により車体が元の場所から動いたことで基礎画像の背景が変化し、学習データのバリエーションが増える。同様に、作業部２０を動かしたことにより掘削や放土などによっても基礎画像の背景は変化し、学習データのバリエーションが増える。よって、静止中かつ「動作後」の学習画像の優先度を高く設定できる。
【0083】
また、作業機械１０が静止中かつ「動作前」と判定することで、動作によって基礎画像の背景が変化する前の基礎画像であることから、「動作前、動作後以外の静止中」に比べて、学習画像の優先度を高く設定できる。
【0084】
サーバ５２のＣＰＵ５７は、モデル１２３の更新用データの学習に使用する学習画像の優先度を決定する（優先度設定５７３）ため、サーバ５２のＣＰＵ５７で実行されるフラグ追加５７２において、基礎画像に対し、作業機械１０のメモリ１２０に記録されたＧＰＳ１６０の測位情報であるフラグ情報１２２を用いて、測位情報に応じたフラグを追加する。図７は、その処理（移動前エリア情報記録処理）を示すフローチャートである。ＣＰＵ５７は、フラグ追加５７２の動作前フラグ追加処理（図６のＳ６０４）の後に実行される。
【0085】
ステップＳ７０１において、ＣＰＵ５７は、入力画像と同期的に取得された操作情報に基づき作業機械１０の下部走行体１１を走行させる「走行」の操作がされたか否かを判定し、操作されていない場合はステップＳ６０５（図６）に、操作された場合はステップＳ７０２へそれぞれ手順を移す。
【0086】
ステップＳ７０２において、ＣＰＵ５７は、メモリ５６の車体情報５６０より前フレーム（走行前）における測位情報を取得し、ステップＳ７０３に手順を移す。
【0087】
ステップＳ７０３において、ＣＰＵ５７は、取得した測位情報より移動前の地点があらかじめ決められたエリアのどのエリアに属するかを判定し、移動前のエリア情報を記録し、ステップＳ６０５（図６）に手順を移す。
【0088】
サーバ５２のＣＰＵ５７は、モデル１２３の更新用データの学習に使用する学習画像の優先度を決定する（優先度設定５７３）ため、サーバ５２のＣＰＵ５７で実行されるフラグ追加５７２において、基礎画像に対し、作業機械１０のメモリ１２０に記録されたＧＰＳ１６０の測位情報であるフラグ情報１２２を用いて、測位情報に応じたフラグを追加する。図８は、その処理（エリア移動フラグ追加処理）を示すフローチャートである。ＣＰＵ５７は、フラグ追加５７２の動作後フラグ追加処理（図６のＳ６０６）の後に実行される。
【0089】
ステップＳ８０１において、ＣＰＵ５７は、入力画像と同期的に取得された操作情報に基づき作業機械１０の下部走行体１１を走行させる「走行」の操作がされたか否かを判定し、操作されていない場合はステップＳ６０７（図６）に、操作された場合はステップＳ８０２へそれぞれ手順を移す。
【0090】
ステップＳ８０２において、ＣＰＵ５７は、メモリ５６の車体情報５６０より次フレーム（走行後）における測位情報を取得し、ステップＳ８０３に手順を移す。
【0091】
ステップＳ８０３において、ＣＰＵ５７は、Ｓ７０３（図７）において記録された移動前のエリア情報と、取得した測位情報より、移動後の地点があらかじめ決められたエリアのどのエリアに属するかを判定し、移動後のエリアと比較して（エリア移動の有無を判定して）同じエリアの場合はステップＳ６０７（図６）に、異なるエリアの場合はステップＳ８０４にそれぞれ手順を移す。
【0092】
ステップＳ８０４において、ＣＰＵ５７は、次フレーム以降の画像すべてにエリア移動ありを示す「エリア移動フラグ」を追加する。また、エリア移動が重複して起こる場合には、本処理実行時に現画像より前のフレームにおける「エリア移動フラグ」を削除する。これにより、作業機械１０が最も直近で稼働しているエリアの画像に対し、フラグが追加される。
【0093】
図７では、車体が移動した場合の移動前のエリア情報を記録し、図８では、車体が移動した場合に図７のエリア情報と比較してエリアの移動があった場合にエリア移動フラグを追加する。エリア移動を判定することで、基本的に止まって掘削する作業機械が大きく移動する場合は作業場所が変わった可能性が高いため、エリアの移動を判定することで、現在作業しているエリアでの基礎画像の優先度を高く設定することができる。
【0094】
図９は、モデル１２３の更新用データの学習に使用する学習画像の優先度を決定する（優先度設定５７３）ため、サーバ５２のＣＰＵ５７が実行する、メモリ５６に格納されたプログラムである画像認識５７１及びフラグ追加５７２の処理手順（物体検知フラグ追加処理及び動体検知フラグ追加処理）を表すフローチャートである。ＣＰＵ５７は、メモリ５６に格納される基礎画像に対し、動作フラグ追加処理（図６）実行後に実行され、基礎画像すべてが入力されるまで繰り返し実行される。
【0095】
ステップＳ９０１において、ＣＰＵ５７は、車体情報５６０から当該作業機械１０の最新モデル情報を取得し、ステップＳ９０２に手順を移す。
【0096】
ステップＳ９０２において、ＣＰＵ５７は、画像認識５７１でモデル５６１（モデル記憶部）より最新モデルを取得し、物体認識が実行できるように設定し、ステップＳ９０３に手順を移す。ここでの物体認識は、コントローラ１００のＣＰＵ１３０で実行される物体認識１３２と同等である。
【0097】
ステップＳ９０３において、ＣＰＵ５７は、画像５６２から画像データを取得し、ステップＳ９０４に手順を移す。
【0098】
ステップＳ９０４において、ＣＰＵ５７は、当該画像に対し、動作中フラグがあるか否かを判定し、動作中フラグがある場合はステップＳ９０７に、動作中フラグがない場合はステップＳ９０５にそれぞれ手順を移す。ここで動作中フラグとは、例えば、作業機械１０の作業部２０を動作させるようにレバー１７０が操作された場合は、操作情報に基づいて「作業中フラグ」となる。
【0099】
ステップＳ９０５において、ＣＰＵ５７は、ステップＳ９０２にて最新モデルが適用された物体認識を取得画像に実行し、検知結果が出力された場合に物体検知フラグとして「物体有フラグ」を追加する。また、検知結果数が１つの場合は物体検知フラグとして「物体１フラグ」を追加する。また、検知結果のうち、１つでもあらかじめ設定した所定の監視エリア内の場合は物体検知フラグとして「近傍有フラグ」を追加し、ステップＳ９０６に手順を移す。
【0100】
ステップＳ９０６において、ＣＰＵ５７は、取得画像と所定フレーム前の画像間における特徴点もしくは特徴領域のオプティカルフローより移動体を検知する。検知結果が出力された場合に動体検知フラグとして「動体有フラグ」を追加し、ステップＳ９０７に手順を移す。
【0101】
ステップＳ９０７において、次フレームの画像がなければ、処理を終了し、次フレームの画像があれば、ステップＳ９０３に手順を移す。
【0102】
本処理により、作業機械１０が静止中における基礎画像に対し、最新のモデルによる物体検出により、人がいる可能性が高い基礎画像の優先度を高く設定することができる。さらに、動体検出も実施することで、移動物が存在する可能性が高い基礎画像の優先度を高く設定することができる。
【0103】
サーバ５２のＣＰＵ５７は、モデル１２３の更新用データの学習に使用する学習画像の優先度を決定する（優先度設定５７３）ため、サーバ５２のＣＰＵ５７で実行されるフラグ追加５７２において、基礎画像に対し、作業機械１０のメモリ１２０に記録された入力装置１８０の入力情報（エラー情報）であるフラグ情報１２２を用いて、エラー情報に応じたフラグを追加する。図１０は、その処理（エラーフラグ追加処理）を示すフローチャートである。ＣＰＵ５７は、メモリ５６に基礎画像及びフラグ情報が格納されると実行され、基礎画像すべてが入力されるまで繰り返し実行される。
【0104】
ステップＳ１０１において、ＣＰＵ５７は、メモリ５６の画像５６２より画像と、車体情報５６０より、画像と同期的に取得されたエラー情報を取得し、ステップＳ１０２に手順を移す。
【0105】
ステップＳ１０２において、ＣＰＵ５７は、取得したエラー情報があるか否かを判定し、エラー情報なしの場合はステップＳ１０６に、エラー情報ありの場合はステップＳ１０３にそれぞれ手順を移す。
【0106】
ステップＳ１０３において、ＣＰＵ５７は、前フレーム画像で現画像と同様にエラー情報があるか否かを判定し、なかった場合はステップＳ１０５に、あった場合はステップＳ１０４にそれぞれ手順を移す。
【0107】
ステップＳ１０４において、ＣＰＵ５７は、現画像より所定フレーム前のすべての画像に「エラーフラグ」を追加し、ステップＳ１０５に手順を移す。ここで、所定フレーム前のすべての画像に「エラーフラグ」を追加することによって、運転手がエラーに気づいて入力装置１８０にエラー情報が入力される場合、既にエラーが発生している可能性が高いことから、エラー情報のあった画像より前のフレームの画像にも「エラーフラグ」を追加することで見落としを防ぐ。
【0108】
ステップＳ１０５において、ＣＰＵ５７は、現画像に対し、「エラーフラグ」を追加し、ステップＳ１０６に手順を移す。
【0109】
ステップＳ１０６において、次フレームの画像がなければ、処理を終了し、次フレームの画像があれば、ステップＳ１０１に手順を移す。
【0110】
本処理により、使用者はエラー（画像における物体の未検出や誤検出といった物体認識１３２の結果の間違い）が発生したと判断した基礎画像の優先度を高く設定することができる。
【0111】
図１１は、前記フラグ情報を組み合わせてモデル１２３の更新用データの学習に使用する学習画像の優先度を設定する優先度設定処理を示すフローチャートである。本フローチャートについて図１２～図１４を用いて説明する。ＣＰＵ５７は、メモリ５６に格納される基礎画像に対し、フラグ追加５７２及び画像認識５７１が実行され、各種フラグが追加された場合に実行され、基礎画像すべてが入力されるまで繰り返し実行される。
【0112】
ステップＳ１１１において、ＣＰＵ５７は、画像５６２から画像を取得し、メモリ５６に格納されている画像に対する各種フラグを取得し、ステップＳ１１２に手順を移す。
【0113】
ステップＳ１１２において、ＣＰＵ５７は、「エラーフラグ」の有無と「モデル変更履歴フラグ」の有無より、図１２に示す各フラグの有無（〇が有、×が無）の組み合わせにより第１の重みを設定し、ステップＳ１１３に手順を移す。
【0114】
ここでは、「モデル変更履歴フラグ」が有の場合の重みが高く、次に「エラーフラグ」が有の場合の重みが高く設定される。
【0115】
ステップＳ１１３において、ＣＰＵ５７は、「動作中フラグ」、「動作前フラグ」、「動作後フラグ」、「エリア移動フラグ」のそれぞれの有無より、図１３に示す各フラグの有無（〇が有、×が無）の組み合わせにより第２の重みを設定し、ステップＳ１１４に手順を移す。
【0116】
ここでは、「動作後フラグ」が有かつ「エリア移動フラグ」が有の場合（そのほかのフラグは同時に有とならない）が最も重みが高く、次に「動作後フラグ」が有かつ「エリア移動フラグ」が無の場合の重みが高い。次に「動作前フラグ」が有の場合（そのほかのフラグは同時に有とならない）の重みが高い。最後に「動作中フラグ」が有の場合の重みとなる。
【0117】
ステップＳ１１４において、ＣＰＵ５７は、「動体検知フラグ」、「物体検知フラグ」のそれぞれの有無より、図１４に示す各フラグの有無（〇が有、×が無）の組み合わせにより第３の重みを設定し、ステップＳ１１５に手順を移す。
【0118】
ここでは、モデル５６１の最新モデルで検知できないにもかかわらず動体が検出されるために学習対象が存在する可能性が高いことから、「動体検知フラグ」が有の場合、かつ「物体検知フラグ」が無の場合の重みが高く設定される。次に「動体検知フラグ」が有の場合、かつ「物体検知フラグ」が有の場合の重みが高く設定される。次に学習対象が存在する可能性が高い「動体検知フラグ」が無の場合、かつ「物体検知フラグ」が有の場合の重みが高く設定される。
【0119】
ステップＳ１１５において、ＣＰＵ５７は、先に設定された第１の重みと第２の重みと第３の重みをそれぞれ乗算し、統合重みを算出し、算出した統合重み０～４８に対し、優先度４９～１（統合重み０は優先度４９、統合重み４８は優先度１）を設定し、ステップＳ１１６に手順を移す。ここで、第２の重みが０（「動作中フラグ」が有）の場合は、統合重みは必ず０となる。これは、作業機械１０が動作中の場合に撮影される画像の品質が悪いために当該画像に対応する優先度を低く設定するためである。
【0120】
ステップＳ１１６において、次フレームの画像がなければ、処理を終了し、次フレームの画像があれば、ステップＳ１１１に手順を移す。
【0121】
サーバ５２のＣＰＵ５７は、外部端末７０より（外部からの入力によって）、通信装置７１０及び通信装置５２１を介して、サーバ５２に格納される基礎画像１２１から、学習装置５３のＣＰＵ５９にて実行される学習５９０に使用する学習画像を選択する。図１５は、そのサーバ５２で表示される学習画像選択画面の一例である学習画像選択画面１５０を示す。
【0122】
学習画像選択画面１５０には、優先度選択チェックボックス１５１と、画像例表示１５２と、優先度遷移ボタン（前）１５３と、優先度遷移ボタン（次）１５４と、選択画像数表示１５５と、選択完了ボタン１５６が表示される。優先度選択チェックボックス１５１には、優先度と、その優先度における画像数が表示され、チェックボックスでクリックするとチェックが入力され、その優先度の画像が選択中の状態となる。画像例表示１５２には、対応する優先度の画像例が表示され、選択すると、図１６に示す画像確認画面に遷移する。
【0123】
図１５の学習画像選択画面１５０では、優先度選択チェックボックス１５１と画像例表示１５２は５つ表示してもよい。優先度遷移ボタン（前）１５３と、優先度遷移ボタン（次）１５４は、クリックすると、優先度遷移ボタン（前）１５３の場合は優先度の高い優先度選択チェックボックス１５１と画像例表示１５２を表示する。優先度遷移ボタン（次）１５４の場合は優先度の低い優先度選択チェックボックス１５１と画像例表示１５２を表示する。選択画像数表示１５５と、選択完了ボタン１５６は、優先度遷移ボタン（前）１５３及び優先度遷移ボタン（次）１５４に関わらず表示される。選択画像数表示１５５は、優先度選択チェックボックス１５１でチェックされた優先度と画像数合計を表示する。すべての学習画像を選び終えた時点で選択完了ボタン１５６をクリックし、選択中状態の基礎画像を学習画像として確定する。この学習画像は、メモリ５６に記録され、教師データ作成５７０にて教師データ作成用に選択して使用できる。
【0124】
図１６の画像確認画面には、学習画像選択画面１５０の画像例表示１５２の選択された画像例の優先度に対応する基礎画像１６７が表示され、基礎画像固有の名称（撮影日時や固有カメラ番号、フレーム番号などを組み合わせた名称でもよい）である画像名１６３が表示される。「動体検知フラグ」もしくは「物体検知フラグ」が有の画像の場合には、対象１６１に対し、検知枠１６２を描画した状態で表示してもよい。同じ優先度における他の基礎画像は、画像送りボタン１６４、１６５をクリックすることで基礎画像を遷移させ、確認できる。閉じるボタン１６６をクリックすることで、画像例表示１５２の画像例選択前の学習画像選択画面１５０に戻る。
【0125】
（実施形態のまとめ）
以上説明したように、本実施形態の作業機械１０の監視システム５は、機械学習が行われた物体認識モデルを用いて作業機械１０の周囲を撮影した周囲画像を処理し、前記周囲画像から前記作業機械１０の周囲に存在する物体を検出する物体検出装置（コントローラ１００）と、前記周囲画像にフラグ情報を付加し（フラグ追加５７２）、前記フラグ情報に基づいて前記周囲画像に対応する機械学習の優先度を決定し（優先度設定５７３）、外部（外部端末７０）からの入力によって選択（学習画像選択５７４）された前記機械学習の優先度に対応する前記周囲画像を用いて前記物体認識モデルの教師データを作成（教師データ作成５７０）する教師データ作成装置（サーバ５２）と、前記教師データ作成装置（サーバ５２）で作成された前記教師データを用いて前記物体認識モデルの追加の機械学習を実行し、前記物体認識モデルを更新する学習装置５３と、を備える。
以上説明したように、本実施形態の作業機械１０の監視システム５は、機械学習が行われた物体認識モデルを用いて作業機械１０の周囲を撮影した周囲画像を処理し、前記周囲画像から前記作業機械１０の周囲に存在する物体を検出する物体検出装置（コントローラ１００）と、前記周囲画像にフラグ情報を付加し（フラグ追加５７２）、前記フラグ情報に基づいて前記周囲画像に対応する機械学習の優先度を決定し（優先度設定５７３）、外部（外部端末７０）からの入力によって選択（学習画像選択５７４）された前記機械学習の優先度に対応する前記周囲画像を用いて前記物体認識モデルの教師データを作成（教師データ作成５７０）する教師データ作成装置（サーバ５２）と、前記教師データ作成装置（サーバ５２）で作成された前記教師データを用いて前記物体認識モデルの追加の機械学習を実行し、前記物体認識モデルを更新する学習装置５３と、を備える。
【0126】
前記フラグ情報には、前記物体認識モデルの更新履歴（変更履歴）に関する情報、前記周囲画像の撮影時点における前記作業機械１０の動作内容に関する情報、前記物体認識モデルを用いて前記周囲画像を処理したときの物体検出結果に関する情報、前記周囲画像の撮影時点における前記入力装置１８０（前記周囲画像に対して物体認識の結果のエラーを入力するための入力装置１８０）の操作の有無に関する情報、が含まれている。
【0127】
（実施形態で得られる効果）
本実施形態の監視システム５を用いると、監視システム５の使用現場で撮影された画像データのうち、認識モデルの更新時に必要な（教師データを含む）学習用データを選別するために必要な知識なく、認識モデルの追加学習用データとして、使用現場への適用性の向上が可能な（認識モデルの性能向上に有効な）適切な画像データを容易に選出でき、学習用データを容易に作成することができ、認識モデルの更新を適切に行うことにより、物体の認識の精度の向上を図ることができる作業機械の監視システムを提供することができる。
本実施形態の監視システム５を用いると、監視システム５の使用現場で撮影された画像データのうち、認識モデルの更新時に必要な（教師データを含む）学習用データを選別するために必要な知識なく、認識モデルの追加学習用データとして、使用現場への適用性の向上が可能な（認識モデルの性能向上に有効な）適切な画像データを容易に選出でき、学習用データを容易に作成することができ、認識モデルの更新を適切に行うことにより、物体の認識の精度の向上を図ることができる作業機械の監視システムを提供することができる。
【0128】
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0129】
また、上記した実施形態のコントローラの各機能は、それらの一部または全部を、例えば集積回路で設計することによりハードウェアで実現してもよい。また、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、コントローラ内の記憶装置の他に、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【符号の説明】
【0130】
５…監視システム、１０…作業機械、１００…コントローラ（物体検出装置）、５２…サーバ（教師データ作成装置）、５３…学習装置、７０…外部端末
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】