(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024137067
(43)【公開日】2024-10-07
(54)【発明の名称】作業機械の物体検出システム
(51)【国際特許分類】
G06V 10/70 20220101AFI20240927BHJP
G06T 7/00 20170101ALI20240927BHJP
E02F 9/26 20060101ALI20240927BHJP
【ＦＩ】
G06V10/70
G06T7/00 350B
E02F9/26 B
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023048429
(22)【出願日】2023-03-24
(71)【出願人】
【識別番号】000005522
【氏名又は名称】日立建機株式会社
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】佐々木 一樹
(72)【発明者】
【氏名】太田 守飛
(72)【発明者】
【氏名】國松 聡美
(72)【発明者】
【氏名】泉 枝穂
【テーマコード（参考）】
2D015
5L096
【Ｆターム（参考）】
2D015HA03
2D015HB00
5L096BA02
5L096CA05
5L096GA34
5L096HA11
5L096JA16
5L096JA22
5L096JA25
5L096KA04
5L096KA15
(57)【要約】
【課題】環境設置センサ上の物体検出モデルの検出結果に基づき、ショベル上の物体検出モデルで未検出や誤検出が発生した場合に、教師データを自動生成することにより、教師データのデータ量および教師データの作成にかかるコストを削減することができる作業機械の物体検出システムを提供する。
【解決手段】現場管理装置４０は、ショベル２に搭載された情報処理装置２０と環境設置センサ３に搭載された情報処理装置３０から受信した検出情報を照合し、互いの検出結果に差異がある場合、情報処理装置３０から受信した検出情報に基づき、情報処理装置２０の検出情報を補正する検出補正情報を生成し、情報処理装置２０は、現場管理装置４０から受信した前記検出補正情報を基に教師データを自動生成し、学習装置５０は、情報処理装置２０から受信した教師データを基に物体検出モデルの学習を行う。
【選択図】図１
【解決手段】現場管理装置４０は、ショベル２に搭載された情報処理装置２０と環境設置センサ３に搭載された情報処理装置３０から受信した検出情報を照合し、互いの検出結果に差異がある場合、情報処理装置３０から受信した検出情報に基づき、情報処理装置２０の検出情報を補正する検出補正情報を生成し、情報処理装置２０は、現場管理装置４０から受信した前記検出補正情報を基に教師データを自動生成し、学習装置５０は、情報処理装置２０から受信した教師データを基に物体検出モデルの学習を行う。
【選択図】図１
【特許請求の範囲】
【請求項1】
物体検出モデルを用いて、作業機械に搭載された撮像装置で撮影した前記作業機械の周囲の画像データから、前記作業機械の周囲の物体を検出する第１情報処理装置と、
物体検出モデルを用いて、前記作業機械が稼働する施工現場に設置された撮像装置で撮影した前記作業機械の周囲の画像データから、前記作業機械の周囲の物体を検出する第２情報処理装置と、
前記第１情報処理装置の検出情報と前記第２情報処理装置の検出情報を照合する現場管理装置と、
画像データと教師情報とから構成される教師データに基づいて前記物体検出モデルの学習を行う学習装置と、を備える作業機械の物体検出システムであって、
前記現場管理装置は、前記第１情報処理装置の検出情報と前記第２情報処理装置の検出情報に差異が生じた場合、前記第２情報処理装置の検出情報に基づき、前記第１情報処理装置の検出情報を前記第２情報処理装置の検出情報に合致するように補正する検出補正情報を生成し、
前記第１情報処理装置は、前記現場管理装置で生成した前記検出補正情報に基づいて前記教師データを自動生成し、
前記学習装置は、前記第１情報処理装置で自動生成した前記教師データに基づいて前記物体検出モデルの学習を実行し、学習済みの前記物体検出モデルを前記第１情報処理装置に送信することを特徴とする作業機械の物体検出システム。
物体検出モデルを用いて、前記作業機械が稼働する施工現場に設置された撮像装置で撮影した前記作業機械の周囲の画像データから、前記作業機械の周囲の物体を検出する第２情報処理装置と、
前記第１情報処理装置の検出情報と前記第２情報処理装置の検出情報を照合する現場管理装置と、
画像データと教師情報とから構成される教師データに基づいて前記物体検出モデルの学習を行う学習装置と、を備える作業機械の物体検出システムであって、
前記現場管理装置は、前記第１情報処理装置の検出情報と前記第２情報処理装置の検出情報に差異が生じた場合、前記第２情報処理装置の検出情報に基づき、前記第１情報処理装置の検出情報を前記第２情報処理装置の検出情報に合致するように補正する検出補正情報を生成し、
前記第１情報処理装置は、前記現場管理装置で生成した前記検出補正情報に基づいて前記教師データを自動生成し、
前記学習装置は、前記第１情報処理装置で自動生成した前記教師データに基づいて前記物体検出モデルの学習を実行し、学習済みの前記物体検出モデルを前記第１情報処理装置に送信することを特徴とする作業機械の物体検出システム。
【請求項2】
請求項１に記載の作業機械の物体検出システムにおいて、
前記現場管理装置は、前記第１情報処理装置の検出情報と前記第２情報処理装置の検出情報に差異が生じた場合、前記第２情報処理装置の検出情報に基づいて前記第１情報処理装置の検出情報を未検出状態から検出状態に補正するために必要な検出補正情報を生成する未検出補正情報生成処理、もしくは、前記第２情報処理装置の検出情報に基づいて前記第１情報処理装置の検出情報を誤検出状態から無検出状態に補正するために必要な検出補正情報を生成する誤検出補正情報生成処理を行うことを特徴とする作業機械の物体検出システム。
前記現場管理装置は、前記第１情報処理装置の検出情報と前記第２情報処理装置の検出情報に差異が生じた場合、前記第２情報処理装置の検出情報に基づいて前記第１情報処理装置の検出情報を未検出状態から検出状態に補正するために必要な検出補正情報を生成する未検出補正情報生成処理、もしくは、前記第２情報処理装置の検出情報に基づいて前記第１情報処理装置の検出情報を誤検出状態から無検出状態に補正するために必要な検出補正情報を生成する誤検出補正情報生成処理を行うことを特徴とする作業機械の物体検出システム。
【請求項3】
請求項２に記載の作業機械の物体検出システムにおいて、
前記現場管理装置は、前記未検出補正情報生成処理として、前記第２情報処理装置の検出情報が前記作業機械の作業領域の内側であるか否かを判定し、内側である場合、前記第２情報処理装置の検出情報の内容と合致する前記第１情報処理装置の検出情報が存在するか否かを判定し、存在しない場合、前記第２情報処理装置の検出情報に基づいて前記第１情報処理装置の検出情報を未検出状態から検出状態に補正するために必要な検出補正情報を生成し、前記第１情報処理装置に前記検出補正情報を送信することを特徴とする作業機械の物体検出システム。
前記現場管理装置は、前記未検出補正情報生成処理として、前記第２情報処理装置の検出情報が前記作業機械の作業領域の内側であるか否かを判定し、内側である場合、前記第２情報処理装置の検出情報の内容と合致する前記第１情報処理装置の検出情報が存在するか否かを判定し、存在しない場合、前記第２情報処理装置の検出情報に基づいて前記第１情報処理装置の検出情報を未検出状態から検出状態に補正するために必要な検出補正情報を生成し、前記第１情報処理装置に前記検出補正情報を送信することを特徴とする作業機械の物体検出システム。
【請求項4】
請求項２に記載の作業機械の物体検出システムにおいて、
前記現場管理装置は、前記誤検出補正情報生成処理として、前記第１情報処理装置の検出情報の内容と合致する前記第２情報処理装置の検出情報が存在するか否かを判定し、存在しない場合、前記第１情報処理装置の検出情報に基づいて前記第１情報処理装置の検出情報を誤検出状態から無検出状態に補正するために必要な検出補正情報を生成し、前記第１情報処理装置に前記検出補正情報を送信することを特徴とする作業機械の物体検出システム。
前記現場管理装置は、前記誤検出補正情報生成処理として、前記第１情報処理装置の検出情報の内容と合致する前記第２情報処理装置の検出情報が存在するか否かを判定し、存在しない場合、前記第１情報処理装置の検出情報に基づいて前記第１情報処理装置の検出情報を誤検出状態から無検出状態に補正するために必要な検出補正情報を生成し、前記第１情報処理装置に前記検出補正情報を送信することを特徴とする作業機械の物体検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械の物体検出システムに関する。
【背景技術】
【0002】
計算機の演算性能の向上により、近年、ディープラーニング等の機械学習による物体検出技術が目覚ましい進歩を遂げている。このような背景もあり、建設機械の分野においても機械学習を用いた物体検出技術の導入が昨今積極的に進められている。
【0003】
例えば、特許文献１では、物体検出モデルを用いて撮像装置で撮影した車体周囲の画像データから検出対象の物体の存在の有無を検出する物体検出機能を有するショベルを備え、撮像装置で撮影した車体周囲の画像データに基づいて作成した教師データを現行の物体検出モデルに学習させ、生成された学習済み物体検出モデルをショベルに提供することにより、ショベルの物体検出性能を向上させる物体検出モデル更新機能を有するショベル支援システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０２０／０９１００２号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１で開示された技術では、教師データの作成に用いられる画像データの撮影タイミングをショベルの走行時および旋回時としており、ショベルが動作する度に画像データを撮影する仕様となっているため、教師データのデータ量が増大する問題がある。また、画像データ毎に、管理者や作業者などがＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を操作して手動で教師データを作成しなければならず、教師データの作成に多大なコストがかかる問題がある。
【0006】
また、一般的にショベル上の物体検出モデルは、ショベルが動作する度に検出対象となる領域が変更されるため、必要な学習シーンが多く、長期間にわたって検出精度が向上しにくい問題もある。その一方で、ショベルが稼働する施工現場内の物体を監視する目的で施工現場に設置されるショベルと同様の物体検出機能を有する環境設置センサ上の物体検出モデルは、検出対象となる領域が固定されており、必要な学習シーンが少ないため、短期間で検出精度が高精度になる特性を持っている。
【0007】
本発明は、上記事情を鑑みてなされたものであり、環境設置センサ上の物体検出モデルの検出結果に基づき、ショベル上の物体検出モデルで未検出や誤検出が発生した場合に、教師データを自動生成することにより、教師データのデータ量および教師データの作成にかかるコストを削減することができる作業機械の物体検出システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、上記課題を解決するために次のような手段を採用した。本発明に係る作業機械の物体検出システムは、物体検出モデルを用いて、作業機械に搭載された撮像装置で撮影した前記作業機械の周囲の画像データから、前記作業機械の周囲の物体を検出する第１情報処理装置と、物体検出モデルを用いて、前記作業機械が稼働する施工現場に設置された撮像装置で撮影した前記作業機械の周囲の画像データから、前記作業機械の周囲の物体を検出する第２情報処理装置と、前記第１情報処理装置の検出情報と前記第２情報処理装置の検出情報を照合する現場管理装置と、画像データと教師情報とから構成される教師データに基づいて前記物体検出モデルの学習を行う学習装置と、を備える作業機械の物体検出システムであって、前記現場管理装置は、前記第１情報処理装置の検出情報と前記第２情報処理装置の検出情報に差異が生じた場合、前記第２情報処理装置の検出情報に基づき、前記第１情報処理装置の検出情報を前記第２情報処理装置の検出情報に合致するように補正する検出補正情報を生成し、前記第１情報処理装置は、前記現場管理装置で生成した前記検出補正情報に基づいて前記教師データを自動生成し、前記学習装置は、前記第１情報処理装置で自動生成した前記教師データに基づいて前記物体検出モデルの学習を実行し、学習済みの前記物体検出モデルを前記第１情報処理装置に送信するものとする。
【発明の効果】
【0009】
本発明によれば、環境設置センサ上の物体検出モデルの検出結果に基づき、ショベル上の物体検出モデルで未検出や誤検出が発生した場合に、教師データを自動生成することにより、教師データのデータ量および教師データの作成にかかるコストを削減することができる。
【0010】
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0011】
【図1】実施形態に係る物体検出システムの構成を示すブロック図である。
【図2】実施形態に係るショベルの側面図である。
【図3】実施形態に係るショベルの作業領域の模式図である。
【図4】実施形態に係るショベルに搭載される情報処理装置の構成を示すブロック図である。
【図5】実施形態に係る情報処理装置で実行される作業領域設定処理の構成を示すブロック図である。
【図6】実施形態に係る情報処理装置で実行される物体検出処理の構成を示すブロック図である。
【図7】実施形態に係る情報処理装置で実行される未検出教師データ生成処理の構成を示すブロック図である。
【図8】実施形態に係る情報処理装置で実行される誤検出教師データ生成処理の構成を示すブロック図である。
【図9】実施形態に係る環境設置センサに搭載される情報処理装置の構成を示すブロック図である。
【図10】実施形態に係る情報処理装置で実行される物体検出処理の構成を示すブロック図である。
【図11】実施形態に係る現場管理装置の構成を示すブロック図である。
【図12】実施形態に係る現場管理装置で実行される未検出補正情報生成処理の構成を示すブロック図である。
【図13】実施形態に係る現場管理装置で実行される誤検出補正情報生成処理の構成を示すブロック図である。
【図14】実施形態に係る学習装置の構成を示すブロック図である。
【図15】実施形態に係る学習装置で実行される学習処理の構成を示すブロック図である。
【図16】実施形態に係る情報処理装置で実行される作業領域設定処理のフローチャートである。
【図17】実施形態に係る情報処理装置で実行される物体検出処理のフローチャートである。
【図18】実施形態に係る情報処理装置で実行される未検出教師データ生成処理のフローチャートである。
【図19】実施形態に係る情報処理装置で実行される誤検出教師データ生成処理のフローチャートである。
【図20】実施形態に係る情報処理装置で実行される物体検出処理のフローチャートである。
【図21】実施形態に係る現場管理装置で実行される未検出補正情報生成処理のフローチャートである。
【図22】実施形態に係る現場管理装置で実行される誤検出補正情報生成処理のフローチャートである。
【図23】実施形態に係る学習装置で実行される学習処理のフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明に係る実施形態について図面を用いて説明する。なお、本発明の実施形態は、下記の実施形態に限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得る。施工現場では、作業機械が稼働している。作業機械は、土木作業、建設作業、解体作業等の各種作業に用いられる機械である。本実施形態では、作業機械が、クローラ式の油圧ショベル（以下、ショベルと記載する）である例について説明する。
【0013】
＜物体検出システム＞
図１は、実施形態に係る物体検出システム１０の構成を示すブロック図である。
図１は、実施形態に係る物体検出システム１０の構成を示すブロック図である。
【0014】
物体検出システム１０は、施工現場で稼働するショベル２に搭載された情報処理装置２０と、施工現場に存在する物体を監視する環境設置センサ３に搭載された情報処理装置３０と、無線ネットワーク網４を経由してショベル２に搭載された情報処理装置２０および環境設置センサ３に搭載された情報処理装置３０と通信する現場管理装置４０および学習装置５０とから構成される。なお、本実施形態では、ショベル２が１台、環境設置センサ３が１台の最小構成について説明しているが、ショベル２および環境設置センサ３は、任意の台数の構成であってもよい。
【0015】
＜ショベル＞
図２は、実施形態に係るショベル２の側面図である。
図２は、実施形態に係るショベル２の側面図である。
【0016】
ショベル２は、走行体２ａと、走行体２ａの上部に旋回可能に取り付けられた旋回体２ｂと、一端が旋回体２ｂに連結された多関節型のリンク機構よりなる作業フロント２ｄとを備えている。
【0017】
作業フロント２ｄは、一端が旋回体２ｂに連結されたブーム２ｅと、一端がブーム２ｅの他端に連結されたアーム２ｆと、一端がアーム２ｆの他端に連結されたバケット２ｇとを有しており、これらの各部材は、それぞれ上下方向に回動するように構成されている。
【0018】
旋回体２ｂ上には、運転室２ｃが備えられている。また、この旋回体２ｂ上の所要の部分には、動力系を構成するエンジンや駆動アクチュエータの駆動油圧回路等から構成され、ショベル２の起動停止及び動作全般を制御する運転制御装置が備えられている。運転室２ｃ内には、オペレータが各駆動アクチュエータに対する動きの指示を入力するための複数の操作レバーが備えられる。それぞれの操作レバーを操作することにより、走行、旋回、そして、作業フロント２ｄを用いた各種動作が行われる。
【0019】
また、ショベル２には、作業領域内に存在する作業員および障害物などの検出対象の物体を検出する物体検出処理などを行う情報処理装置２０が搭載される。情報処理装置２０の構成要素については後述するが、情報処理装置２０の構成要素である制御部２１、記憶部２５、表示部２６、操作部２７、警報部２８、通信部２９は運転室２ｃに搭載される。撮像部２２および測距部２３は、運転室２ｃ上部、旋回体２ｂ上後部、旋回体２ｂ上左部、旋回体２ｂ上右部などに複数搭載される。測位部２４は旋回体２ｂ上部に搭載される。
【0020】
＜作業領域＞
図３は、実施形態に係るショベル２の作業領域２Ａの模式図である。
図３は、実施形態に係るショベル２の作業領域２Ａの模式図である。
【0021】
ショベル２の作業領域２Ａは、ショベル２の作業フロント２ｄを最大限展開した状態で旋回中心２Ｂを中心として旋回した場合にできる最大旋回半径２Ｃの最大旋回円とする。したがって、ショベル２の作業領域２Ａは、ショベル２の旋回中心２Ｂが決定すれば、設計時の諸元から算出できる。
【0022】
なお、ショベル２に搭載される情報処理装置２０上で動作する物体検出処理の検出対象領域は、ショベル２の作業領域２Ａとする。
【0023】
一方で、環境設置センサ３に搭載される情報処理装置３０上で動作する物体検出処理の検出対象領域は、環境設置センサ３の監視領域３Ａとする。
【0024】
ショベル２の作業領域２Ａと環境設置センサ３の監視領域３Ａとが重複した（ショベル２の車体周囲の）重複領域１００が本実施形態である物体検出システム１０の効果が得られる領域となる。
【0025】
＜情報処理装置（ショベル搭載）＞
図４は、実施形態に係るショベル２に搭載される情報処理装置２０の構成を示すブロック図である。
図４は、実施形態に係るショベル２に搭載される情報処理装置２０の構成を示すブロック図である。
【0026】
情報処理装置２０は、ショベル２の作業領域２Ａ内に存在する作業員および障害物などの検出対象の物体を検出する実行環境として、制御部２１、撮像部２２、測距部２３、測位部２４、記憶部２５、表示部２６、操作部２７、警報部２８、通信部２９を備える。
【0027】
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびこれらを接続するバスラインなどからなる一般的なコンピュータにより構成され、ＲＯＭに記憶されたプログラムをＲＡＭに読み込むことで各種処理を実行する。
【0028】
撮像部２２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラや赤外線カメラなどの撮像装置から構成されており、ショベル２の車体周囲の様子を撮影する部位であり、撮影したデータは画像データとして記憶部２５に保存される。また、画像データの撮影時に測位部２４から取得した位置情報と、予め記憶部２５に保存された撮像部２２と測位部２４との間のジオメトリ情報とに基づき、算出された測地座標系における撮像部２２の撮像部位置姿勢情報がメタデータとして画像データと共に記憶部２５に保存される。さらに、撮像部２２の光学的中心や焦点距離などを含んだ撮像部特性情報がメタデータとして画像データと共に記憶部２５に保存される。
【0029】
測距部２３は、レーザスキャナやＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などの測距装置から構成されており、ショベル２の車体と物体との距離を計測する部位であり、計測したデータは点群データとして記憶部２５に保存される。
【0030】
測位部２４は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）やＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）などの測位装置から構成されており、測地座標系における測位部２４の位置情報を取得する部位であり、取得したデータは位置情報として記憶部２５に保存される。
【0031】
記憶部２５は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置から構成されており、物体検出処理に用いる物体検出モデルなどの各種情報が記憶されている。
【0032】
表示部２６は、液晶ディスプレイなどから構成されており、各種情報を表示する。操作部２７は、ボタンスイッチなどから構成されており、各種操作を受け付ける。なお、表示部２６と操作部２７を統合してタッチパネルなどの構成であってもよい。
【0033】
警報部２８は、ブザーやパトランプなどの警報装置から構成されており、物体検出処理により作業領域２Ａ内に検出対象の物体が検出された場合、ショベル２のオペレータやショベル２の作業領域２Ａ内に存在する作業員に対して警告を報知する。
【0034】
通信部２９は、Ｗｉ－Ｆｉ６（登録商標）およびＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの無線通信規格に対応する通信装置から構成されており、無線通信により無線ネットワーク網４に接続し、現場管理装置４０および学習装置５０と通信する。
【0035】
＜作業領域設定処理＞
図５は、実施形態に係る情報処理装置２０上で実行される作業領域設定処理２００の構成を示すブロック図である。図１６は、実施形態に係る情報処理装置２０上で実行される作業領域設定処理２００のフローチャートである。
図５は、実施形態に係る情報処理装置２０上で実行される作業領域設定処理２００の構成を示すブロック図である。図１６は、実施形態に係る情報処理装置２０上で実行される作業領域設定処理２００のフローチャートである。
【0036】
作業領域設定処理２００は、施工現場内においてショベル２の作業領域２Ａを設定する機能を実現する主体として制御部２１で実行され、位置取得部２０１、旋回中心位置算出部２０２、旋回中心位置変化判定部２０３、作業領域情報生成部２０４、作業領域情報送信部２０５を備える。作業領域設定処理２００の実行タイミングは、測位部２４で測地座標系における測位部２４の位置座標が取得された時とする。
【0037】
位置取得部２０１は、記憶部２５に保存された測地座標系から現場座標系に座標変換する座標変換行列を用い、測位部２４で取得された測地座標系における測位部２４の位置座標から現場座標系における測位部２４の位置座標を取得する（ステップＳ２００）。
【0038】
旋回中心位置算出部２０２は、記憶部２５に保存されたショベル２の車体に対する測位部２４の取り付け位置と旋回中心２Ｂとのジオメトリ情報に基づき、位置取得部２０１で取得された現場座標系における測位部２４の位置座標から現場座標系におけるショベル２の旋回中心２Ｂの位置座標を算出する（ステップＳ２０１）。
【0039】
旋回中心位置変化判定部２０３は、旋回中心位置算出部２０２で算出された現場座標系におけるショベル２の旋回中心２Ｂの位置座標が前回の作業領域設定処理２００時に算出された現場座標系におけるショベル２の旋回中心２Ｂの位置座標から変化が生じたかを判定する（ステップＳ２０２）。
【0040】
作業領域情報生成部２０４は、旋回中心位置変化判定部２０３で前回と今回の作業領域設定処理２００の間に現場座標系におけるショベル２の旋回中心２Ｂの位置座標に変化が生じたと判定された場合、記憶部２５に保存されたショベル２のシリアル番号と、位置取得部２０１で測地座標系における測位部２４の位置座標が取得された時の作業領域設定タイムスタンプと、旋回中心位置算出部２０２で算出された現場座標系におけるショベル２の旋回中心２Ｂの位置座標と、記憶部２５に保存されたショベル２の最大旋回半径２Ｃとが記載されたテキストファイルを作業領域情報として生成する（ステップＳ２０３）。
【0041】
作業領域情報送信部２０５は、通信部２９を介して作業領域情報生成部２０４で生成されたショベル２の作業領域情報を現場管理装置４０に送信する（ステップＳ２０４）。
【0042】
＜物体検出処理＞
図６は、実施形態に係る情報処理装置２０上で実行される物体検出処理２１０の構成を示すブロック図である。図１７は、実施形態に係る情報処理装置２０上で実行される物体検出処理２１０のフローチャートである。
図６は、実施形態に係る情報処理装置２０上で実行される物体検出処理２１０の構成を示すブロック図である。図１７は、実施形態に係る情報処理装置２０上で実行される物体検出処理２１０のフローチャートである。
【0043】
物体検出処理２１０は、ショベル２の作業領域２Ａ内に存在する作業員および障害物などの検出対象の物体を検出する機能を実現する主体として制御部２１で実行され、画像取得部２１１、点群取得部２１２、物体検出部２１３、物体位置算出部２１４、物体検出判定部２１５、警報指示部２１６、ショベル検出情報生成部２１７、ショベル検出情報送信部２１８、物体検出モデル更新部２１９を備える。物体検出処理２１０の実行タイミングは、撮像部２２で画像データが取得された時とする。
【0044】
画像取得部２１１は、撮像部２２が撮影するショベル２の車体周囲の様子を画像データ（環境認識データ）として取得する（ステップＳ２１０）。
【0045】
点群取得部２１２は、測距部２３が計測するショベル２の車体周囲の物体の形状を点群データ（環境認識データ）として取得する（ステップＳ２１０）。
【0046】
物体検出部２１３は、記憶部２５から読み込まれた物体検出モデルを用いて画像取得部２１１で取得した画像データからショベル２の車体周囲に存在する作業員や障害物などの検出対象の物体を検出する（ステップＳ２１１）。物体検出モデルには、例えば、物体検出精度と処理速度が共に良好なＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）などを用いる。
【0047】
物体位置算出部２１４は、記憶部２５に保存された撮像部２２と測距部２３の間のキャリブレーション情報を用い、点群取得部２１２で取得した点群データを画像取得部２１１で取得した画像データに投影し、物体検出部２１３から検出結果として出力された画像座標系における検出物体の位置や大きさを示すバウンディングボックスに基づき、バウンディングボックスの内部に投影された点群データの中から、検出物体の形状を表す点群データを抽出し、記憶部２５に保存された測距部２３のセンサ座標系から現場座標系に座標変換する座標変換行列を用い、現場座標系における検出物体の位置座標を算出する（ステップＳ２１２）。なお、現場座標系における検出物体の位置座標は、検出物体の輪郭を表す複数の代表点の座標とする。
【0048】
物体検出判定部２１５は、作業領域設定処理２００の作業領域情報生成部２０４で生成された作業領域情報に含まれた現場座標系におけるショベル２の旋回中心２Ｂの位置座標およびショベル２の最大旋回半径２Ｃと、物体位置算出部２１４で算出された現場座標系における検出物体の位置座標とに基づき、ショベル２の作業領域２Ａ内に検出物体が存在するかを判定する（ステップＳ２１３）。
【0049】
警報指示部２１６は、物体検出判定部２１５の判定結果においてショベル２の作業領域２Ａ内に検出物体が存在すると判定された場合、表示部２６および警報部２８に警告を報知するように指示する。
【0050】
ショベル検出情報生成部２１７は、物体検出判定部２１５の判定結果においてショベル２の作業領域２Ａに検出物体が存在すると判定された場合、記憶部２５に保存されたショベル２のシリアル番号と、画像取得部２１１で画像データが取得された時の物体検出タイムスタンプと、検出物体の種別を示すクラスＩＤと、物体位置算出部２１４で算出された現場座標系における検出物体の位置座標とが記載されたテキストファイルをショベル検出情報として生成する（ステップＳ２１４）。
【0051】
ショベル検出情報送信部２１８は、通信部２９を介してショベル検出情報生成部２１７で生成されたショベル検出情報を現場管理装置４０に送信する（ステップＳ２１５）。
【0052】
物体検出モデル更新部２１９は、学習装置５０の物体検出モデル送信部５０３（図１５）から学習済み物体検出モデルを受信し、現行の物体検出モデルを学習済み物体検出モデルに更新する。
【0053】
＜未検出教師データ生成処理＞
図７は、実施形態に係る情報処理装置２０上で実行される未検出教師データ生成処理２２０の構成を示すブロック図である。図１８は、実施形態に係る情報処理装置２０上で実行される未検出教師データ生成処理２２０のフローチャートである。
図７は、実施形態に係る情報処理装置２０上で実行される未検出教師データ生成処理２２０の構成を示すブロック図である。図１８は、実施形態に係る情報処理装置２０上で実行される未検出教師データ生成処理２２０のフローチャートである。
【0054】
未検出教師データ生成処理２２０は、現場管理装置４０から受信した未検出補正情報に基づき、ショベル２に搭載された情報処理装置２０上で実行される物体検出処理２１０において検出対象の物体の未検出が発生した未検出シーンを物体検出モデルに学習させる際に用いる未検出教師データを自動で生成する機能を実現する主体として制御部２１で実行され、未検出補正情報取得部２２１、未検出教師データ生成部２２２、未検出教師データ送信部２２３を備える。未検出教師データ生成処理２２０の実行タイミングは、通信部２９を介して現場管理装置４０から受信した未検出補正情報が記憶部２５に保存された時とする。
【0055】
未検出補正情報取得部２２１は、記憶部２５から未検出補正情報を取得する（ステップＳ２２０）。
【0056】
未検出補正情報取得部２２１は、未検出教師データ生成処理２２０の処理対象とする未検出補正情報を取得する目的で実行される。
【0057】
未検出教師データ生成部２２２は、未検出補正情報取得部２２１で取得された未検出補正情報の中に記載された物体検出タイムスタンプに基づき、ショベル２の撮像部２２で取得されて記憶部２５に保存された画像データの中から、メタデータとして付与された画像取得タイムスタンプが前記物体検出タイムスタンプと同一時間の画像データを取得し、前記画像データが取得された時にメタデータとして付与された撮像部位置姿勢情報と、記憶部２５に保存された測地座標系から現場座標系に座標変換する座標変換行列と、記憶部２５に保存された撮像部２２の撮像部特性情報とに基づき、現場座標系から前記画像データの画像座標系に座標変換する座標変換行列を算出し、前記未検出補正情報の中に記載された現場座標系における検出物体の位置座標に前記座標変換行列を乗算することで、当該画像データの画像座標系に検出物体の位置座標を投影することにより、前記画像データ上における検出物体の周囲を取り囲む外接矩形を算出し、前記外接矩形の左上頂点および右下頂点の座標をバウンディングボックス座標として抽出後、前記未検出補正情報の中に記載されたクラスＩＤと、前記バウンディングボックス座標とが記載されたテキストファイルを生成し、前記画像データと前記テキストファイル（教師情報とも称する）とから構成されるデータ群を未検出教師データとして生成する（ステップＳ２２１）。
【0058】
未検出教師データ生成部２２２は、未検出補正情報に基づき、ショベル２に搭載された情報処理装置２０上で実行される物体検出処理２１０において検出対象の物体の未検出が発生した未検出シーンを物体検出モデルに学習させる際に用いる未検出教師データを自動で生成する目的で実行される。
【0059】
未検出教師データ送信部２２３は、通信部２９を介して未検出教師データ生成部２２２で生成された未検出教師データを学習装置５０に送信する（ステップＳ２２２）。
【0060】
未検出教師データ送信部２２３は、未検出教師データを物体検出モデルの学習環境である学習装置５０に送信する目的で実行される。
【0061】
＜誤検出教師データ生成処理＞
図８は、実施形態に係る情報処理装置２０上で実行される誤検出教師データ生成処理２３０の構成を示すブロック図である。図１９は、実施形態に係る情報処理装置２０上で実行される誤検出教師データ生成処理２３０のフローチャートである。
図８は、実施形態に係る情報処理装置２０上で実行される誤検出教師データ生成処理２３０の構成を示すブロック図である。図１９は、実施形態に係る情報処理装置２０上で実行される誤検出教師データ生成処理２３０のフローチャートである。
【0062】
誤検出教師データ生成処理２３０は、現場管理装置４０から受信した誤検出補正情報に基づき、ショベル２に搭載された情報処理装置２０上で実行される物体検出処理２１０において検出対象ではない物体の誤検出が発生した誤検出シーンを物体検出モデルに学習させる際に用いる誤検出教師データを自動で生成する機能を実現する主体として制御部２１で実行され、誤検出補正情報取得部２３１、誤検出教師データ生成部２３２、誤検出教師データ送信部２３３を備える。誤検出教師データ生成処理２３０の実行タイミングは、通信部２９を介して現場管理装置４０から受信した誤検出補正情報が記憶部２５に保存された時とする。
【0063】
誤検出補正情報取得部２３１は、記憶部２５から誤検出補正情報を取得する（ステップＳ２３０）。
【0064】
誤検出補正情報取得部２３１は、誤検出教師データ生成処理２３０の処理対象とする誤検出補正情報を取得する目的で実行される。
【0065】
誤検出教師データ生成部２３２は、誤検出補正情報取得部２３１で取得された誤検出補正情報の中に記載された物体検出タイムスタンプに基づき、ショベル２の撮像部２２で取得されて記憶部２５に保存された画像データの中から、メタデータとして付与された画像取得タイムスタンプが前記物体検出タイムスタンプと同一時間の画像データを取得し、また、何も記載されていない空のテキストファイルを生成し、前記画像データと前記テキストファイル（教師情報とも称する）とから構成されるデータ群を誤検出教師データとして生成する（ステップＳ２３１）。
【0066】
誤検出教師データ生成部２３２は、誤検出補正情報に基づき、ショベル２に搭載された情報処理装置２０上で実行される物体検出処理２１０において検出対象ではない物体の誤検出が発生した誤検出シーンを物体検出モデルに学習させる際に用いる誤検出教師データを自動で生成する目的で実行される。
【0067】
誤検出教師データ送信部２３３は、通信部２９を介して誤検出教師データ生成部２３２で生成された誤検出教師データを学習装置５０に送信する（ステップＳ２３２）。
【0068】
誤検出教師データ送信部２３３は、誤検出教師データを物体検出モデルの学習環境である学習装置５０に送信する目的で実行される。
【0069】
＜情報処理装置（環境設置センサ搭載）＞
図９は、実施形態に係る環境設置センサ３に搭載される情報処理装置３０の構成を示すブロック図である。
図９は、実施形態に係る環境設置センサ３に搭載される情報処理装置３０の構成を示すブロック図である。
【0070】
情報処理装置３０は、環境設置センサ３の監視領域３Ａ内に存在する作業員および障害物などの検出対象の物体を検出する実行環境として、制御部３１、撮像部３２、測距部３３、記憶部３４、通信部３５を備える。
【0071】
制御部３１は、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭおよびこれらを接続するバスラインなどからなる一般的なコンピュータにより構成され、ＲＯＭに記憶されたプログラムをＲＡＭに読み込むことで各種処理を実行する。
【0072】
撮像部３２は、ＣＣＤカメラや赤外線カメラなどの撮像装置から構成されており、環境設置センサ３の監視領域３Ａの様子を撮影する部位であり、撮影したデータは画像データとして記憶部３４に保存される。
【0073】
測距部３３は、レーザスキャナやＬｉＤＡＲなどの測距装置から構成されており、環境設置センサ３と物体との距離を計測する部位であり、計測したデータは点群データとして記憶部３４に保存される。
【0074】
記憶部３４は、ＨＤＤやＳＳＤなどの記憶装置から構成されており、物体検出処理に用いる物体検出モデルなどの各種情報が記憶されている。
【0075】
通信部３５は、Ｗｉ－Ｆｉ６（登録商標）およびＬＴＥなどの無線通信規格に対応する通信装置から構成されており、無線通信により無線ネットワーク網４に接続し、現場管理装置４０および学習装置５０と通信する。
【0076】
＜物体検出処理＞
図１０は、実施形態に係る情報処理装置３０上で実行される物体検出処理３００の構成を示すブロック図である。図２０は、実施形態に係る情報処理装置３０上で実行される物体検出処理３００のフローチャートである。
図１０は、実施形態に係る情報処理装置３０上で実行される物体検出処理３００の構成を示すブロック図である。図２０は、実施形態に係る情報処理装置３０上で実行される物体検出処理３００のフローチャートである。
【0077】
物体検出処理３００は、環境設置センサ３の監視領域３Ａ内に存在する作業員および障害物などの検出対象の物体を検出する機能を実現する主体として制御部３１で実行され、画像取得部３０１、点群取得部３０２、物体検出部３０３、物体位置算出部３０４、環境設置センサ検出情報生成部３０５、環境設置センサ検出情報送信部３０６、物体検出モデル更新部３０７を備える。物体検出処理３００の実行タイミングは、撮像部３２で画像データが取得された時とする。
【0078】
画像取得部３０１は、撮像部３２が撮影する環境設置センサ３の監視領域３Ａ内の様子を画像データ（環境認識データ）として取得する（ステップＳ３００）。
【0079】
点群取得部３０２は、測距部３３が計測する環境設置センサ３の監視領域３Ａ内に存在する物体の形状を点群データ（環境認識データ）として取得する（ステップＳ３００）。
【0080】
物体検出部３０３は、記憶部３４から読み込まれた物体検出モデルを用いて画像取得部３０１で取得した画像データから環境設置センサ３の監視領域３Ａ内に存在する作業員や障害物などの検出対象の物体を検出する（ステップＳ３０１）。物体検出モデルには、例えば、物体検出精度と処理速度が共に良好なＹＯＬＯ又はＳＳＤなどを用いる。
【0081】
物体位置算出部３０４は、記憶部３４に保存された撮像部３２と測距部３３の間のキャリブレーション情報を用い、点群取得部３０２で取得した点群データを画像取得部３０１で取得した画像データに投影し、物体検出部３０３から検出結果として出力された画像座標系における検出物体の位置や大きさを示すバウンディングボックスに基づき、バウンディングボックス内部に投影された点群データの中から、検出物体の形状を表す点群データを抽出し、記憶部３４に保存された測距部３３のセンサ座標系から現場座標系に座標変換する座標変換行列を用い、現場座標系における検出物体の位置座標を算出する（ステップＳ３０２）。なお、現場座標系における検出物体の位置座標は、検出物体の輪郭を表す複数の代表点の座標とする。
【0082】
環境設置センサ検出情報生成部３０５は、記憶部３４に保存された環境設置センサ３のシリアル番号と、画像取得部３０１で画像データが取得された時の物体検出タイムスタンプと、検出物体の種別を示すクラスＩＤと、物体位置算出部３０４で算出された現場座標系における検出物体の位置座標とが記載されたテキストファイルを環境設置センサ検出情報として生成する（ステップＳ３０３）。
【0083】
環境設置センサ検出情報送信部３０６は、通信部３５を介して環境設置センサ検出情報生成部３０５で生成された環境設置センサ検出情報を現場管理装置４０に送信する（ステップＳ３０４）。
【0084】
物体検出モデル更新部３０７は、学習装置５０の物体検出モデル送信部５０３（図１５）から学習済み物体検出モデルを受信し、現行の物体検出モデルを学習済み物体検出モデルに更新する。
【0085】
＜現場管理装置＞
図１１は、実施形態に係る現場管理装置４０の構成を示すブロック図である。
図１１は、実施形態に係る現場管理装置４０の構成を示すブロック図である。
【0086】
現場管理装置４０は、ショベル２および環境設置センサ３から受信した検出情報を一元管理（照合）し、ショベル２および環境設置センサ３から受信した検出結果に差異が生じた場合、環境設置センサ３から受信した検出情報に基づき、ショベル２の検出情報の誤りを補正（すなわち、ショベル２の検出情報を環境設置センサ３の検出情報に合致するように補正）する検出補正情報（未検出補正情報および誤検出補正情報）を生成する実行環境として、制御部４１、記憶部４２、通信部４３、表示部４４、操作部４５を備える。現場管理装置４０は、例えば、施工現場内に設置されたオンプレミスのサーバなどから構成される。
【0087】
制御部４１は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びこれらを接続するバスライン等からなる一般的なコンピュータにより構成されており、ＲＯＭに記憶されたプログラムをＲＡＭに読み込むことで各種処理を実行する。
【0088】
記憶部４２は、ＨＤＤやＳＳＤなどの記憶装置から構成される。
【0089】
通信部４３は、Ｗｉ－Ｆｉ６（登録商標）などの無線通信規格に対応する通信装置から構成されており、無線通信により無線ネットワーク網４に接続し、ショベル２に搭載された情報処理装置２０および環境設置センサ３に搭載された情報処理装置３０と通信する。
【0090】
表示部４４は、液晶ディスプレイなどから構成されており、各種情報を表示する。
【0091】
操作部４５は、キーボードやマウスなどから構成されており、各種操作を受け付ける。
【0092】
＜未検出補正情報生成処理＞
図１２は、実施形態に係る現場管理装置４０上で実行される未検出補正情報生成処理４００の構成を示すブロック図である。図２１は、実施形態に係る現場管理装置４０上で実行される未検出補正情報生成処理４００のフローチャートである。
図１２は、実施形態に係る現場管理装置４０上で実行される未検出補正情報生成処理４００の構成を示すブロック図である。図２１は、実施形態に係る現場管理装置４０上で実行される未検出補正情報生成処理４００のフローチャートである。
【0093】
未検出補正情報生成処理４００は、環境設置センサ３から受信した環境設置センサ検出情報を基にショベル２に搭載された情報処理装置２０上で実行される物体検出処理２１０において検出対象の物体の未検出が発生したかどうかを判定し、未検出が発生したと判定された場合、前記環境設置センサ検出情報を基に前記物体検出処理２１０の検出結果を未検出から検出と補正する未検出補正情報を生成する機能を実現する主体として制御部４１で実行され、環境設置センサ検出情報取得部４０１、作業領域情報取得部４０２、作業領域内判定部４０３、ショベル検出情報取得部４０４、未検出判定部４０５、未検出補正情報生成部４０６、未検出補正情報送信部４０７を備える。未検出補正情報生成処理４００の実行タイミングは、通信部４３を介して環境設置センサ３から受信した環境設置センサ検出情報が記憶部４２に保存された時とする。
【0094】
環境設置センサ検出情報取得部４０１は、記憶部４２から環境設置センサ３から受信した環境設置センサ検出情報を取得する（ステップＳ４００）。
【0095】
環境設置センサ検出情報取得部４０１は、未検出補正情報生成処理４００の処理対象となる環境設置センサ検出情報を取得する目的で実行される。
【0096】
作業領域情報取得部４０２は、環境設置センサ検出情報取得部４０１で取得された環境設置センサ検出情報の中に記載された物体検出タイムスタンプに基づき、通信部４３を介してショベル２から受信して記憶部４２に保存された作業領域情報の中から、前記物体検出タイムスタンプと同一時間の作業領域設定タイムスタンプを持つ作業領域情報を取得する（ステップＳ４０１）。
【0097】
作業領域情報取得部４０２は、環境設置センサ３に搭載された情報処理装置３０上で実行される物体検出処理３００において検出対象の物体が検出された時のショベル２の作業領域情報を取得する目的で実行される。
【0098】
作業領域内判定部４０３は、環境設置センサ検出情報取得部４０１で取得された環境設置センサ検出情報の中に記載された現場座標系における検出物体の位置座標と、作業領域情報取得部４０２で取得された作業領域情報の中に記載された現場座標系におけるショベル２の旋回中心２Ｂの位置座標および最大旋回半径２Ｃとに基づき、現場座標系における検出物体の位置座標がショベル２の作業領域２Ａの内側にあるかどうかを判定する（ステップＳ４０２）。
【0099】
作業領域内判定部４０３は、環境設置センサ３に搭載された情報処理装置３０上で実行される物体検出処理３００において検出対象の物体が検出された位置（検出情報）がショベル２の検出対象領域となる作業領域２Ａの内側にあるかどうかを判定する目的で実行される。
【0100】
ショベル検出情報取得部４０４は、作業領域内判定部４０３により、環境設置センサ３に搭載された情報処理装置３０上で実行される物体検出処理３００において検出対象の物体が検出された位置（検出情報）がショベル２の検出対象領域となる作業領域の内側にあると判定された場合、環境設置センサ検出情報取得部４０１で取得された環境設置センサ検出情報の中に記載された物体検出タイムスタンプ、クラスＩＤおよび現場座標系における検出物体の位置座標と、作業領域情報取得部４０２で取得された作業領域情報の中に記載されたショベル２のシリアル番号とに基づき、通信部４３を介してショベル２から受信して記憶部４２に保存されたショベル検出情報の中から、同一時間かつ同一クラスＩＤかつ同一位置座標かつ同一シリアル番号が記載されたショベル検出情報を取得する（ステップＳ４０３）。
【0101】
ショベル検出情報取得部４０４は、環境設置センサ３に搭載された情報処理装置３０上で実行される物体検出処理３００の検出結果である環境設置センサ検出情報と検出内容が合致するショベル検出情報を取得する目的で実行される。
【0102】
未検出判定部４０５は、ショベル検出情報取得部４０４においてショベル検出情報が取得できなかった場合、ショベル２に搭載された情報処理装置２０上で実行される物体検出処理２１０において検出対象の物体の未検出が発生したと判定する（ステップＳ４０４）。
【0103】
未検出判定部４０５は、環境設置センサ検出情報の検出内容と合致するショベル検出情報が存在するか否かを判定することにより、ショベル２に搭載された情報処理装置２０上で実行される物体検出処理２１０において検出対象の物体の未検出が発生したかどうかを判定する目的で実行される。
【0104】
未検出補正情報生成部４０６は、未検出判定部４０５により、ショベル２に搭載された情報処理装置２０上で実行される物体検出処理２１０において検出対象の物体の未検出が発生した（環境設置センサ検出情報の検出内容と合致するショベル検出情報が存在しない）と判定された場合、環境設置センサ検出情報取得部４０１で取得された環境設置センサ検出情報の中に記載された物体検出タイムスタンプ、クラスＩＤおよび現場座標系における検出物体の位置座標と、作業領域情報取得部４０２で取得された作業領域情報の中に記載されたショベル２のシリアル番号とに基づき、前記物体検出タイムスタンプ、前記クラスＩＤ、前記位置座標および前記シリアル番号が記載されたテキストファイルを未検出補正情報として生成する（ステップＳ４０５）。
【0105】
未検出補正情報生成部４０６は、ショベル２に搭載された情報処理装置２０上で実行される物体検出処理２１０で発生した検出対象の物体の未検出（の検出結果）を未検出から検出に補正するために必要な情報が記載された未検出補正情報を生成する目的で実行される。
【0106】
未検出補正情報送信部４０７は、未検出補正情報生成部４０６で生成された未検出補正情報の中に記載されたショベル２のシリアル番号に基づき、通信部４３を介して前記シリアル番号に合致するショベル２に搭載された情報処理装置２０に対して前記未検出補正情報を送信する（ステップＳ４０６）。
【0107】
未検出補正情報送信部４０７は、検出対象の物体の未検出が発生したショベル２に搭載された情報処理装置２０に未検出補正情報生成部４０６で生成された未検出補正情報を送信する目的で実行される。
【0108】
＜誤検出補正情報生成処理＞
図１３は、実施形態に係る現場管理装置４０上で実行される誤検出補正情報生成処理４１０の構成を示すブロック図である。図２２は、実施形態に係る現場管理装置４０上で実行される誤検出補正情報生成処理４１０のフローチャートである。
図１３は、実施形態に係る現場管理装置４０上で実行される誤検出補正情報生成処理４１０の構成を示すブロック図である。図２２は、実施形態に係る現場管理装置４０上で実行される誤検出補正情報生成処理４１０のフローチャートである。
【0109】
誤検出補正情報生成処理４１０は、環境設置センサ３から受信した環境設置センサ検出情報の存在の有無を基にショベル２に搭載された情報処理装置２０上で実行される物体検出処理２１０において検出対象ではない物体の誤検出が発生したかどうかを判定し、誤検出が発生したと判定された場合、前記物体検出処理２１０の検出結果を誤検出から無検出と補正する誤検出補正情報を生成する機能を実現する主体として制御部４１で実行され、ショベル検出情報取得部４１１、環境設置センサ検出情報取得部４１２、誤検出判定部４１３、誤検出補正情報生成部４１４、誤検出補正情報送信部４１５を備える。誤検出補正情報生成処理４１０の実行タイミングは、通信部４３を介してショベル２から受信したショベル検出情報が記憶部４２に保存された時とする。
【0110】
ショベル検出情報取得部４１１は、記憶部４２からショベル２から受信したショベル検出情報を取得する（ステップＳ４１０）。
【0111】
ショベル検出情報取得部４１１は、誤検出補正情報生成処理４１０の処理対象となるショベル検出情報を取得する目的で実行される。
【0112】
環境設置センサ検出情報取得部４１２は、ショベル検出情報取得部４１１で取得されたショベル検出情報の中に記載された物体検出タイムスタンプ、クラスＩＤおよび現場座標系における検出物体の位置座標に基づき、通信部４３を介して環境設置センサ３から受信して記憶部４２に保存された環境設置センサ検出情報の中から、同一時間かつ同一クラスＩＤかつ同一位置座標が記載された環境設置センサ検出情報を取得する（ステップＳ４１１）。
【0113】
環境設置センサ検出情報取得部４１２は、ショベル２に搭載された情報処理装置２０上で実行される物体検出処理２１０の検出結果であるショベル検出情報と検出内容が合致する環境設置センサ検出情報を取得する目的で実行される。
【0114】
誤検出判定部４１３は、環境設置センサ検出情報取得部４１２において環境設置センサ検出情報が取得できなかった場合、ショベル２に搭載された情報処理装置２０上で実行される物体検出処理２１０において検出対象ではない物体の誤検出が発生したと判定する（ステップＳ４１２）。
【0115】
誤検出判定部４１３は、ショベル検出情報の検出内容と合致する環境設置センサ検出情報が存在するか否かを判定することにより、ショベル２に搭載された情報処理装置２０上で実行される物体検出処理２１０において検出対象ではない物体の誤検出が発生したかどうかを判定する目的で実行される。
【0116】
誤検出補正情報生成部４１４は、誤検出判定部４１３により、ショベル２に搭載された情報処理装置２０上で実行される物体検出処理２１０において検出対象ではない物体の誤検出が発生した（ショベル検出情報の検出内容と合致する環境設置センサ検出情報が存在しない）と判定された場合、ショベル検出情報取得部４１１で取得されたショベル検出情報に基づき、前記ショベル検出情報の中に記載されたショベル２のシリアル番号および物体検出タイムスタンプが記載されたテキストファイルを誤検出補正情報として生成する（ステップＳ４１３）。
【0117】
誤検出補正情報生成部４１４は、ショベル２に搭載された情報処理装置２０上で実行される物体検出処理２１０で発生した検出対象ではない物体の誤検出（の検出結果）を誤検出から無検出に補正するために必要な情報が記載された誤検出補正情報を生成する目的で実行される。
【0118】
誤検出補正情報送信部４１５は、誤検出補正情報生成部４１４で生成された誤検出補正情報の中に記載されるショベル２のシリアル番号に基づき、通信部４３を介して前記シリアル番号に合致するショベル２に搭載された情報処理装置２０に対して前記誤検出補正情報を送信する（ステップＳ４１４）。
【0119】
誤検出補正情報送信部４１５は、検出対象ではない物体の誤検出が発生したショベル２に搭載された情報処理装置２０に誤検出補正情報生成部４１４で生成された誤検出補正情報を送信する目的で実行される。
【0120】
＜学習装置＞
図１４は、実施形態に係る学習装置５０の構成を示すブロック図である。
図１４は、実施形態に係る学習装置５０の構成を示すブロック図である。
【0121】
学習装置５０は、ショベル２に搭載された情報処理装置２０から受信した教師データ（未検出教師データおよび誤検出教師データ）を現行の物体検出モデルに学習させて学習済み物体検出モデルを生成する実行環境として、制御部５１、記憶部５２、通信部５３、表示部５４、操作部５５を備える。学習装置５０は、例えば、クラウド上に構築したサーバなどから構成される。
【0122】
制御部５１は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びこれらを接続するバスライン等からなる一般的なコンピュータにより構成されており、ＲＯＭに記憶されたプログラムをＲＡＭに読み込むことで各種処理を実行する。
【0123】
記憶部５２は、ＨＤＤやＳＳＤなどの記憶装置から構成される。
【0124】
通信部５３は、ＬＴＥなどの無線通信規格に対応する通信装置から構成され、無線通信により無線ネットワーク網４に接続し、ショベル２に搭載された情報処理装置２０と通信する。
【0125】
表示部５４は、液晶ディスプレイなどから構成されており、各種情報を表示する。
【0126】
操作部５５は、キーボードやマウスなどから構成されており、各種操作を受け付ける。
【0127】
＜学習処理＞
図１５は、実施形態に係る学習装置５０上で実行される学習処理５００の構成を示すブロック図である。また、図２３は、実施形態に係る学習装置５０上で実行される学習処理５００のフローチャートである。
図１５は、実施形態に係る学習装置５０上で実行される学習処理５００の構成を示すブロック図である。また、図２３は、実施形態に係る学習装置５０上で実行される学習処理５００のフローチャートである。
【0128】
学習処理５００は、ショベル２に搭載された情報処理装置２０から受信した未検出教師データおよび誤検出教師データをショベル２の情報処理装置２０で用いられている現行バージョンの物体検出モデルに学習させ、学習済み物体検出モデルを生成する機能を実現する主体として制御部５１で実行され、教師データ取得部５０１、学習部５０２、物体検出モデル送信部５０３を備える。学習処理５００の実行タイミングは、ショベル２から受信した教師データの数が所定の数を超過した時とする。
【0129】
教師データ取得部５０１は、通信部５３を介してショベル２に搭載された情報処理装置２０から受信し、記憶部５２に保存されたショベル２に搭載された情報処理装置２０で用いられている現行バージョンの物体検出モデルに学習させていない未学習の未検出教師データおよび誤検出教師データを取得する（ステップＳ５００）。
【0130】
学習部５０２は、教師データ取得部５０１で取得した未学習の未検出教師データおよび誤検出教師データをショベル２に搭載された情報処理装置２０で用いられている現行バージョンの物体検出モデルに転移学習させ、学習済み物体検出モデルを生成する。物体検出モデルの学習に転移学習を用いることで、学習に必要な未学習の教師データ数を少量に済ませることができ、学習時間も短時間に抑えることができる（ステップＳ５０１）。
【0131】
物体検出モデル送信部５０３は、通信部５３を介して学習部５０２で生成された学習済み物体検出モデルをショベル２に搭載された情報処理装置２０に送信する（ステップＳ５０２）。
【0132】
＜まとめ＞
以上説明したように、本実施形態のショベル（作業機械）２の物体検出システム１０は、物体検出モデルを用いて、作業機械に搭載された撮像装置（撮像部２２）で撮影した前記作業機械の周囲の画像データから、前記作業機械の周囲の物体を検出する第１情報処理装置２０と、物体検出モデルを用いて、前記作業機械が稼働する施工現場に設置された撮像装置（撮像部３２）で撮影した前記作業機械の周囲の画像データから、前記作業機械の周囲の物体を検出する第２情報処理装置３０と、前記第１情報処理装置２０の検出情報と前記第２情報処理装置３０の検出情報を照合（一元管理）する現場管理装置４０と、画像データと教師情報とから構成される教師データに基づいて（第１情報処理装置２０および第２情報処理装置３０の物体検出に用いられる）前記物体検出モデルの学習を行う学習装置５０と、を備え、前記現場管理装置４０は、前記第１情報処理装置２０の検出情報と前記第２情報処理装置３０の検出情報に差異が生じた場合、前記第２情報処理装置３０の検出情報に基づき、前記第１情報処理装置２０の検出情報を前記第２情報処理装置３０の検出情報に合致するように補正する検出補正情報を生成し、前記第１情報処理装置２０は、前記現場管理装置４０で生成した前記検出補正情報に基づいて前記教師データを自動生成し、前記学習装置５０は、前記第１情報処理装置２０で自動生成した前記教師データに基づいて前記物体検出モデルの学習を実行し、学習済みの前記物体検出モデルを前記第１情報処理装置２０に送信する。
以上説明したように、本実施形態のショベル（作業機械）２の物体検出システム１０は、物体検出モデルを用いて、作業機械に搭載された撮像装置（撮像部２２）で撮影した前記作業機械の周囲の画像データから、前記作業機械の周囲の物体を検出する第１情報処理装置２０と、物体検出モデルを用いて、前記作業機械が稼働する施工現場に設置された撮像装置（撮像部３２）で撮影した前記作業機械の周囲の画像データから、前記作業機械の周囲の物体を検出する第２情報処理装置３０と、前記第１情報処理装置２０の検出情報と前記第２情報処理装置３０の検出情報を照合（一元管理）する現場管理装置４０と、画像データと教師情報とから構成される教師データに基づいて（第１情報処理装置２０および第２情報処理装置３０の物体検出に用いられる）前記物体検出モデルの学習を行う学習装置５０と、を備え、前記現場管理装置４０は、前記第１情報処理装置２０の検出情報と前記第２情報処理装置３０の検出情報に差異が生じた場合、前記第２情報処理装置３０の検出情報に基づき、前記第１情報処理装置２０の検出情報を前記第２情報処理装置３０の検出情報に合致するように補正する検出補正情報を生成し、前記第１情報処理装置２０は、前記現場管理装置４０で生成した前記検出補正情報に基づいて前記教師データを自動生成し、前記学習装置５０は、前記第１情報処理装置２０で自動生成した前記教師データに基づいて前記物体検出モデルの学習を実行し、学習済みの前記物体検出モデルを前記第１情報処理装置２０に送信する。
【0133】
前記現場管理装置４０は、前記第１情報処理装置２０の検出情報と前記第２情報処理装置３０の検出情報に差異が生じた場合、前記第２情報処理装置３０の検出情報に基づいて前記第１情報処理装置２０の検出情報を未検出状態から検出状態に補正するために必要な検出補正情報を生成する未検出補正情報生成処理４００、もしくは、前記第２情報処理装置３０の検出情報に基づいて前記第１情報処理装置２０の検出情報を誤検出状態から無検出状態に補正するために必要な検出補正情報を生成する誤検出補正情報生成処理４１０を行う。
【0134】
前記現場管理装置４０は、前記未検出補正情報生成処理４００として、前記第２情報処理装置３０の検出情報が前記作業機械の作業領域の内側であるか否かを判定し、内側である場合、前記第２情報処理装置３０の検出情報の内容と合致する前記第１情報処理装置２０の検出情報が存在するか否かを判定し、存在しない場合、前記第２情報処理装置３０の検出情報に基づいて前記第１情報処理装置２０の検出情報を未検出状態から検出状態に補正するために必要な検出補正情報を生成し、前記第１情報処理装置２０に前記検出補正情報を送信する。
【0135】
前記現場管理装置４０は、前記誤検出補正情報生成処理４１０として、前記第１情報処理装置２０の検出情報の内容と合致する前記第２情報処理装置３０の検出情報が存在するか否かを判定し、存在しない場合、前記第１情報処理装置２０の検出情報に基づいて前記第１情報処理装置２０の検出情報を誤検出状態から無検出状態に補正するために必要な検出補正情報を生成し、前記第１情報処理装置２０に前記検出補正情報を送信する。
【0136】
すなわち、本実施形態のショベル（作業機械）２の物体検出システム１０では、現場管理装置４０は、ショベル２に搭載された情報処理装置２０と環境設置センサ３に搭載された情報処理装置３０から受信した検出情報を照合し、互いの検出結果に差異がある場合、情報処理装置３０から受信した検出情報に基づき、情報処理装置２０の検出情報を補正する検出補正情報を生成し、情報処理装置２０は、現場管理装置４０から受信した前記検出補正情報を基に教師データを自動生成し、学習装置５０は、情報処理装置２０から受信した教師データを基に物体検出モデルの学習を行う。
【0137】
本実施形態によれば、環境設置センサ３上の物体検出モデルの検出結果に基づき、ショベル２上の物体検出モデルで未検出や誤検出が発生した場合に、教師データを自動生成することにより、教師データのデータ量および教師データの作成にかかるコストを削減することができる。
【0138】
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
【0139】
また、上記した実施形態のコントローラの各機能は、それらの一部または全部を、例えば集積回路で設計することによりハードウェアで実現してもよい。また、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、コントローラ内の記憶装置の他に、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【符号の説明】
【0140】
２…ショベル、３…環境設置センサ、４…無線ネットワーク網、１０…物体検出システム、２０…情報処理装置、３０…情報処理装置、４０…現場管理装置、５０…学習装置、２００…作業領域設定処理、２０１…位置取得部、２０２…旋回中心位置算出部、２０３…旋回中心位置変化判定部、２０４…作業領域情報生成部、２０５…作業領域情報送信部、２１０…物体検出処理、２１１…画像取得部、２１２…点群取得部、２１３…物体検出部、２１４…物体位置算出部、２１５…物体検出判定部、２１６…警報指示部、２１７…ショベル検出情報生成部、２１８…ショベル検出情報送信部、２２０…未検出教師データ生成処理、２２１…未検出補正情報取得部、２２２…未検出教師データ生成部、２２３…未検出教師データ送信部、２３０…誤検出教師データ生成処理、２３１…誤検出補正情報取得部、２３２…誤検出教師データ生成部、２３３…誤検出教師データ送信部、３００…物体検出処理、３０１…画像取得部、３０２…点群取得部、３０３…物体検出部、３０４…物体位置算出部、３０５…環境設置センサ検出情報生成部、３０６…環境設置センサ検出情報送信部、４００…未検出補正情報生成処理、４０１…環境設置センサ検出情報取得部、４０２…作業領域情報取得部、４０３…作業領域内判定部、４０４…ショベル検出情報取得部、４０５…未検出判定部、４０６…未検出補正情報生成部、４０７…未検出補正情報送信部、４１０…誤検出補正情報生成処理、４１１…ショベル検出情報取得部、４１２…環境設置センサ検出情報取得部、４１３…誤検出判定部、４１４…誤検出補正情報生成部、４１５…誤検出補正情報送信部、５００…学習処理、５０１…教師データ取得部、５０２…学習部、５０３…物体検出モデル送信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】