(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024136027
(43)【公開日】2024-10-04
(54)【発明の名称】資材自動計数システム及び資材自動計数方法
(51)【国際特許分類】
G06T 7/60 20170101AFI20240927BHJP
【ＦＩ】
G06T7/60 110
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023046977
(22)【出願日】2023-03-23
(11)【特許番号】
(45)【特許公報発行日】2023-05-16
(71)【出願人】
【識別番号】000153443
【氏名又は名称】株式会社 日立産業制御ソリューションズ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】三沢 博章
(72)【発明者】
【氏名】小味 弘典
(72)【発明者】
【氏名】菊池 博幸
(72)【発明者】
【氏名】金 川
(72)【発明者】
【氏名】村井 泰裕
(72)【発明者】
【氏名】鈴木 寿法
(72)【発明者】
【氏名】市村 守
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096FA18
5L096FA52
5L096FA69
5L096KA04
(57)【要約】
【課題】資材の物体位置または個数を適切に推定できる資材自動計数システム及び資材自動計数方法を提供する。
【解決手段】本発明の資材自動計数システム１０は、複数の資材の画像情報と前記画像情報に対応付けた資材の距離画像情報とを取得するデータ取得装置１と、ネットワークＮＷを介してデータ取得装置から画像情報と距離画像情報を受信し、画像情報と距離画像情報とから、解析モデルにより資材を示す境界ボックスを抽出して境界ボックスを３次元空間に統合し、資材の位置または個数を求める物体自動計数装置２と、物体自動計数装置で求めた資材の位置または個数を、画像情報の各フレームを重ね合わせた全体画像データに基づいて修正し、物体自動計数装置に指示するデータ修正装置３と、を備えるようにした。
【選択図】図１
【解決手段】本発明の資材自動計数システム１０は、複数の資材の画像情報と前記画像情報に対応付けた資材の距離画像情報とを取得するデータ取得装置１と、ネットワークＮＷを介してデータ取得装置から画像情報と距離画像情報を受信し、画像情報と距離画像情報とから、解析モデルにより資材を示す境界ボックスを抽出して境界ボックスを３次元空間に統合し、資材の位置または個数を求める物体自動計数装置２と、物体自動計数装置で求めた資材の位置または個数を、画像情報の各フレームを重ね合わせた全体画像データに基づいて修正し、物体自動計数装置に指示するデータ修正装置３と、を備えるようにした。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の資材の画像情報と前記画像情報に対応付けた前記資材の距離画像情報とを取得するデータ取得装置と、
ネットワークを介してデータ取得装置から前記画像情報と前記距離画像情報を受信し、前記画像情報と前記距離画像情報とから、解析モデルにより前記資材を示す境界ボックスを抽出して前記境界ボックスを３次元空間に統合し、前記資材の位置または個数を求める物体自動計数装置と、
前記物体自動計数装置で求めた資材の位置または個数を、前記画像情報の各フレームを重ね合わせた全体画像データに基づいて修正し、前記物体自動計数装置に指示するデータ修正装置と、
を備えることを特徴とする資材自動計数システム。
ネットワークを介してデータ取得装置から前記画像情報と前記距離画像情報を受信し、前記画像情報と前記距離画像情報とから、解析モデルにより前記資材を示す境界ボックスを抽出して前記境界ボックスを３次元空間に統合し、前記資材の位置または個数を求める物体自動計数装置と、
前記物体自動計数装置で求めた資材の位置または個数を、前記画像情報の各フレームを重ね合わせた全体画像データに基づいて修正し、前記物体自動計数装置に指示するデータ修正装置と、
を備えることを特徴とする資材自動計数システム。
【請求項2】
請求項１に記載の資材自動計数システムにおいて、
前記物体自動計数装置は、
前記画像情報と前記距離画像情報とから、前記解析モデルとは異なる解析モデルにより前記資材を示す境界ボックスを抽出して前記境界ボックスを３次元空間に統合し、前記資材の位置または個数を求め、
前記データ修正装置により求めた前記位置または前記個数の修正時間を取得し、
取得した修正時間が、元の解析モデル時の修正時間より短縮している場合に、前記異なる解析モデルに解析モデルをアップデートする
ことを特徴とする資材自動計数システム。
前記物体自動計数装置は、
前記画像情報と前記距離画像情報とから、前記解析モデルとは異なる解析モデルにより前記資材を示す境界ボックスを抽出して前記境界ボックスを３次元空間に統合し、前記資材の位置または個数を求め、
前記データ修正装置により求めた前記位置または前記個数の修正時間を取得し、
取得した修正時間が、元の解析モデル時の修正時間より短縮している場合に、前記異なる解析モデルに解析モデルをアップデートする
ことを特徴とする資材自動計数システム。
【請求項3】
請求項１に記載の資材自動計数システムにおいて、
前記物体自動計数装置は、
前記資材の位置または個数を求めた際に、予め登録したシステムに計数した資材の個数を通知する
ことを特徴とする資材自動計数システム。
前記物体自動計数装置は、
前記資材の位置または個数を求めた際に、予め登録したシステムに計数した資材の個数を通知する
ことを特徴とする資材自動計数システム。
【請求項4】
請求項１に記載の資材自動計数システムにおいて、
前記物体自動計数装置は、
使用可能な前記解析モデルの一覧を前記データ取得装置に通知し、
前記画像情報と前記距離画像情報とともに前記データ取得装置から受信したモデル名が、一覧通知した前記解析モデルと異なる場合には、前記データ取得装置から受信したモデル名の解析モデルの学習を行った後に、前記資材を示す境界ボックスを抽出する
ことを特徴とする資材自動計数システム。
前記物体自動計数装置は、
使用可能な前記解析モデルの一覧を前記データ取得装置に通知し、
前記画像情報と前記距離画像情報とともに前記データ取得装置から受信したモデル名が、一覧通知した前記解析モデルと異なる場合には、前記データ取得装置から受信したモデル名の解析モデルの学習を行った後に、前記資材を示す境界ボックスを抽出する
ことを特徴とする資材自動計数システム。
【請求項5】
請求項１に記載の資材自動計数システムにおいて、
前記物体自動計数装置は、
使用可能な前記解析モデルの一覧を前記データ取得装置に通知し、
前記画像情報と前記距離画像情報とともに前記データ取得装置から受信したモデル名が、一覧通知した前記解析モデルと異なる場合には、前記画像情報と前記距離画像情報とを一時記憶し、他の資材の前記画像情報と前記距離画像情報を受信する
ことを特徴とする資材自動計数システム。
前記物体自動計数装置は、
使用可能な前記解析モデルの一覧を前記データ取得装置に通知し、
前記画像情報と前記距離画像情報とともに前記データ取得装置から受信したモデル名が、一覧通知した前記解析モデルと異なる場合には、前記画像情報と前記距離画像情報とを一時記憶し、他の資材の前記画像情報と前記距離画像情報を受信する
ことを特徴とする資材自動計数システム。
【請求項6】
データ取得装置が、複数の資材の画像情報と前記画像情報に対応付けた前記資材の距離画像情報とを取得するステップと、
物体自動計数装置が、ネットワークを介して前記データ取得装置から前記画像情報と前記距離画像情報を受信するステップと、
物体自動計数装置が、前記画像情報と前記距離画像情報とから、解析モデルにより前記資材を示す境界ボックスを抽出して前記境界ボックスを３次元空間に統合し、前記資材の位置または個数を求めるステップと、
データ修正装置が、前記画像情報の各フレームを重ね合わせた全体画像データに基づいて前記物体自動計数装置で求めた資材の位置または個数を修正し、前記物体自動計数装置に修正指示するステップと、
を含む資材自動計数方法。
物体自動計数装置が、ネットワークを介して前記データ取得装置から前記画像情報と前記距離画像情報を受信するステップと、
物体自動計数装置が、前記画像情報と前記距離画像情報とから、解析モデルにより前記資材を示す境界ボックスを抽出して前記境界ボックスを３次元空間に統合し、前記資材の位置または個数を求めるステップと、
データ修正装置が、前記画像情報の各フレームを重ね合わせた全体画像データに基づいて前記物体自動計数装置で求めた資材の位置または個数を修正し、前記物体自動計数装置に修正指示するステップと、
を含む資材自動計数方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、資材自動計数装置及び資材自動計数方法に関する。
【背景技術】
【0002】
近年の少子高齢化に伴う作業者の減少に伴い、資材の在庫数確認などの目視による確認作業を代替するため、各種資材の物体個数を計数する技術が提案されている。例えば、下記特許文献１の要約には、「…入力される画像データに基づいて、当該画像データに含まれる各資材に対して境界ボックスを検出して、各境界ボックス毎に所定の種類の資材か否かを出力し、前記各種類毎の資材の個数を計数する計数処理部…」と記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－２６６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上述した技術において、資材等の認識対象物体の位置または対象物体の個数を一層適切に推定したいという要望がある。
この発明は上述した事情に鑑みてなされたものであり、資材の物体位置または個数を適切に推定できる資材自動計数システム及び資材自動計数方法を提供することを目的とする。
この発明は上述した事情に鑑みてなされたものであり、資材の物体位置または個数を適切に推定できる資材自動計数システム及び資材自動計数方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するため本発明の資材自動計数システムは、複数の資材の画像情報と前記画像情報に対応付けた前記資材の距離画像情報とを取得するデータ取得装置と、ネットワークを介してデータ取得装置から前記画像情報と前記距離画像情報を受信し、前記画像情報と前記距離画像情報とから、解析モデルにより前記資材を示す境界ボックスを抽出して前記境界ボックスを３次元空間に統合し、前記資材の位置または個数を求める物体自動計数装置と、前記物体自動計数装置で求めた資材の位置または個数を、前記画像情報の各フレームを重ね合わせた全体画像データに基づいて修正し、前記物体自動計数装置に指示するデータ修正装置と、を備えるようにした。
【発明の効果】
【0006】
本発明によれば、資材等の認識対象物体の位置または個数を適切に推定できる。
【図面の簡単な説明】
【0007】
【図1】実施形態の資材自動計数システムのブロック図である。
【図2】資材の２次元フレーム画像の例を示す図である。
【図3】コンピュータのブロック図である。
【図4】データ取得装置において実行されるデータ取得処理ルーチンのフローチャートである。
【図5】物体自動計数装置において実行される計数処理ルーチンのフローチャートである。
【図6】カウント対象となった境界ボックスの一例を示す図である。
【図7】計算結果表示部における表示画面の例を示す図である。
【図8】資材自動計数システムの他の全体動作を説明するシーケンス図である。
【図9】資材自動計数システムの解析モデルのアップデート方法について説明する図である。
【発明を実施するための形態】
【0008】
［実施形態の概要］
一般的には、画像解析ＡＩによる物体の自動計数は、目標精度を達成するまで、データの再収集・再学習を行う必要があり、非常に大きな工数がかかる。また、上述した特許文献１では、計数対象物体が一枚の画像に収まらない場合の対策をしていないため、撮影の方法や対象の物体が限定される。そこで、後述する実施形態では、２次元の画像データと３次元の点群データとを同期して（より好ましくは同時に）取得することで、２次元の画像データに基づく計数結果（境界ボックス）と、３次元の点群情報とを相互参照し、計数対象物体が一枚の画像に収まらない場合であっても、計数対象物体の数を適切に計数するものである。そして、実施形態の資材自動計数システムでは、自動的に計数した結果を遠隔地から修正できるようしている。
一般的には、画像解析ＡＩによる物体の自動計数は、目標精度を達成するまで、データの再収集・再学習を行う必要があり、非常に大きな工数がかかる。また、上述した特許文献１では、計数対象物体が一枚の画像に収まらない場合の対策をしていないため、撮影の方法や対象の物体が限定される。そこで、後述する実施形態では、２次元の画像データと３次元の点群データとを同期して（より好ましくは同時に）取得することで、２次元の画像データに基づく計数結果（境界ボックス）と、３次元の点群情報とを相互参照し、計数対象物体が一枚の画像に収まらない場合であっても、計数対象物体の数を適切に計数するものである。そして、実施形態の資材自動計数システムでは、自動的に計数した結果を遠隔地から修正できるようしている。
【0009】
［第１実施形態］
〈第１実施形態の構成〉
図１は、第１実施形態による資材自動計数システム１０のブロック図である。
資材自動計数システム１０は、物体群２０に含まれる認識対象物体２２の位置を推定し、かつ数量を計数するものであり、ネットワークＮＷで接続された、データ取得装置１と物体自動計数装置２とデータ修正装置３を備えている。なお、図示の例におい各認識対象物体２２は、建築現場の足場資材である円筒状の物体（パイプ）である。
〈第１実施形態の構成〉
図１は、第１実施形態による資材自動計数システム１０のブロック図である。
資材自動計数システム１０は、物体群２０に含まれる認識対象物体２２の位置を推定し、かつ数量を計数するものであり、ネットワークＮＷで接続された、データ取得装置１と物体自動計数装置２とデータ修正装置３を備えている。なお、図示の例におい各認識対象物体２２は、建築現場の足場資材である円筒状の物体（パイプ）である。
【0010】
より具体的には、実施形態の資材自動計数システム１０は、リース会社からリースされた建築現場の足場資材である円筒状の物体（パイプ）を認識対象物体２２とし、リース会社に返却予定の複数の認識対象物体２２から成る物体群２０の２次元の画像データと３次元の点群データとを、スマートフォン等の携帯端末であるデータ取得装置１により取得する。そして、ネットワークサーバである物体自動計数装置２が、２次元の画像データと３次元の点群データの画像解析により認識対象物体２２を計数し、認識対象物体２２の計数結果をリース会社に通知する。これにより返却する資材の管理を容易にする。
【0011】
データ取得装置１は、データ取得部１０１と、データ分析部１０２と、データ送信部１０４とを備え、データ修正装置３は、計算値表示部１０６と、計算値修正部１０８と、を備えている。物体自動計数装置２は、データ受信部２０１と、物体計数部２０２と、計数値補正部２０３と、計数値送信部２０４と、計数結果登録・通知部２０５と、計数結果データベース２０６と、を備えている。
【0012】
データ取得装置１のデータ取得部１０１は、２次元動画データを撮影するカメラ（図示略）と、３次元点群データを取得するＬｉＤＡＲ（Light Detection and Ranging）等の３次元センサ（図示略）と、ＩＭＵ（Inertial Measurement Unit）センサと、を備える。これにより、ユーザがデータ取得部１０１を操作して物体群２０をスキャンすると、データ取得部１０１は、２次元動画データＤＧ（２次元画像データ）と、３次元点群データＴＱと、ＩＭＵセンサの検出結果であるＩＭＵデータＤＩと、を出力する。
【0013】
データ分析部１０２は、データ取得部１０１から供給されたデータに基づいて、２次元動画データＤＧと、３次元点群データＴＰと、撮影位置データＰＳと、デプスデータＤＰと、を出力する。ここで、撮影位置データＰＳは、ＩＭＵデータＤＩや、Ｖｉｓｕａｌ ＳＬＡＭ、ＬｉＤＡＲ ＳＬＡＭ等の手法に基づいて取得したものであり、データ取得部１０１の位置を示すデータである。３次元点群データＴＰは、３次元点群データＴＱに対して点群累積処理（詳細は後述する）を行った結果のデータである。また、デプスデータＤＰとは、３次元点群データＴＱ，ＴＰを変換して得たデータであり、データ取得部１０１の位置から各３次元点までの距離を表すデータである。
【0014】
２次元データ動画データＤＧのフレーム番号をｎとし、物体群２０をスキャンする期間内におけるフレーム番号ｎの最小値を「１」とし、フレーム番号ｎの最大値を「ｎ_max」とする。２次元動画データＤＧの、フレーム番号ｎの画像を２次元フレーム画像ＤＧ（ｎ）と呼ぶ。また、データ分析部１０２は、２次元動画データＤＧのフレーム周期に同期して（より好ましくは同一タイミングで）３次元点群データＴＱ、撮影位置データＰＳおよびデプスデータＤＰを分割する。以下、フレーム毎に分割された３次元点群データＴＱを、フレーム番号ｎを用いて３次元フレーム点群ＴＱ（ｎ）と呼ぶ。
【0015】
ここで、データ分析部１０２が実行する点群累積処理について説明する。あるフレーム番号ｎにおける３次元フレーム点群ＴＱ（ｎ）には、物体群２０の表面上における点の３次元位置座標である複数の点座標が含まれる。同様に、次のフレーム番号ｎ＋１における３次元フレーム点群ＴＱ（ｎ＋１）にも、複数の点座標が含まれる。ここで、データ取得部１０１が両フレーム間で移動すると、基準となるデータ取得部１０１の位置が異なるため、一般的には、３次元フレーム点群ＴＱ（ｎ）に含まれる点座標は、３次元フレーム点群ＴＱ（ｎ＋１）に含まれる何れの点座標とも一致しない。
【0016】
そこで、データ分析部１０２は、レジストレーションと呼ばれる技術を用いて、３次元フレーム点群ＴＱ（ｎ）の点座標となるべく一致するように３次元フレーム点群ＴＱ（ｎ＋１）に含まれる点座標の空間上の絶対位置に合わせ（以下、単に「位置合わせ」と呼ぶ）、その結果を３次元点群データＴＰとして出力する。この結果、３次元フレーム点群ＴＰ（ｎ）および３次元フレーム点群ＴＰ（ｎ＋１）に含まれる点座標は、大部分が一致するようになる。そして、３次元フレーム点群ＴＰ（ｎ），ＴＰ（ｎ＋１）のうち一方のみに含まれる点座標は、一般的には、他方において死角になる部分の点座標になる。この処理を点群累積処理と呼ぶ。なお、図１の例では、データ分析部１０２はデータ取得装置１に含まれているが、データ分析部１０２を物体自動計数装置２に含めてもよい。
【0017】
データ送信部１０４は、２次元動画データＤＧ、３次元点群データＴＰ、撮影位置データＰＳおよびデプスデータＤＰをネットワークＮＷを介して、物体自動計数装置２のデータ受信部２０１に送信する。
【0018】
物体自動計数装置２のデータ受信部２０１は、データ送信部１０４から受信したデータを、次の物体計数部２０２により解析するが、随時解析できるように、不図示の記憶部に受信したデータを一時記憶しておいてもよい。これにより、データの受信を中断することなく現場での撮影作業を継続でき、現場効率を上げることができる。
【0019】
物体計数部２０２は、特徴領域認識部２２２（特徴領域認識過程）と、３次元形状認識部２２４（３次元形状認識過程）と、物体位置推定部２２６（物体位置推定過程）と、推定カウント値算出部２２８と、を備えている。特徴領域認識部２２２は、各フレームの２次元フレーム画像ＤＧ（ｎ）を画像解析し、認識対象物体２２の特徴を表す境界ボックスＢＢ（特徴領域、図２参照）を推定する。
【0020】
図１に示した例において、認識対象物体２２は円筒状であるため、その端面の像は、２次元フレーム画像ＤＧ（ｎ）において円形または楕円形になる。そこで、これらの円形または楕円形を囲む四角形の枠を境界ボックスＢＢ（図２参照）と呼ぶ。フレーム番号ｎにおけるｋ番目の境界ボックス（但し、ｋ＝１，…，ｋ_max）を、境界ボックスＢＢ（ｎ，ｋ）と表す。なお、境界ボックス数ｋ_maxは、フレーム番号ｎ毎に異なる。認識対象物体２２の端面を検出する手法は、ディープラーニングを用いた物体検出手法であってもよいし、ＨｏＧ特徴量などを用いた物体検出手法であってもよい。
【0021】
特徴領域認識部２２２のこれらの物体検出手法は、解析モデルとしてプログラム実装され、機械学習により検出精度を向上できるようにするとよい。また、プログラム実装された解析モデルは、随時、機械学習できるようによいし、アップデートモジュールとして外部より供給できるようにしてもよい。
【0022】
３次元形状認識部２２４は、認識対象物体２２の形状を示すプロファイルデータに基づいて、認識対象物体２２の３次元形状および寸法を認識する。物体位置推定部２２６は、特徴領域認識部２２２および３次元形状認識部２２４の認識結果に基づいて、各々の認識対象物体２２の位置および姿勢を推定する。推定カウント値算出部２２８は、物体位置推定部２２６における推定結果に基づいて、認識対象物体２２の数量の暫定値である暫定カウント値ＣＮＴＰ（詳細は後述する）を算出する。
【0023】
物体自動計数装置２は、３次元形状認識部２２４におけるプロファイルデータと徴領域認識部２２２の解析モデルは、認識対象物体２２の種別に応じて複数有し、指定に応じて析モデルとプロファイルデータとを切り替えて物体の計数と位置の推定を行う。
【0024】
また、計数値補正部２０３は、確信度算出部２３２と、修正部２３４と、を備えている。確信度算出部２３２は、複数のフレームにおける境界ボックスＢＢが、同一の認識対象物体２２に対応する度合いを示す確信度ＰＲを算出する。また、修正部２３４は、暫定カウント値ＣＮＴＰを修正することにより、より確実性の高いカウント値ＣＮＴを求める。
【0025】
計数値送信部２０４は、計数値補正部２０３で求めたカウント値ＣＮＴと、計数値補正部２０３が、２次元動画データＤＧの各フレームを重ね合わせることによって生成した全体画像データＩＧＤと、をデータ取得装置１に出力する。全体画像データＩＧＤについては、詳細を後述する。
【0026】
計数結果登録・通知部２０５は、計数値補正部２０３で求めたカウント値ＣＮＴ、または、データ修正装置３で修正したカウント値ＣＮＴを計数結果データベース２０６に格納する。
また、計数結果登録・通知部２０５は、認識対象物体２２のカウント値ＣＮＴを、予め設定されたシステムに通知する。
また、計数結果登録・通知部２０５は、認識対象物体２２のカウント値ＣＮＴを、予め設定されたシステムに通知する。
【0027】
データ修正装置３の計算値表示部１０６は、物体自動計数装置２の計数値送信部２０４から通知された、詳細を後述する全体画像データＩＧＤとカウント値ＣＮＴを表示する。
計算値修正部１０８は、全体画像データＩＧＤの表示に基づいてユーザが操作入力したカウンタ値ＣＮＴの修正指示、または検出すべき認識対象物体２２の境界ボックスの追加
を、物体自動計数装置２に通知する。これにより、カウント値ＣＮＴが全体画像データＩＧＤとして表示された認識対象物体２２の数と相違する場合に、ユーザは、カウント値ＣＮＴの修正、または検出すべき認識対象物体２２の追加を指令することができる。
計算値修正部１０８は、全体画像データＩＧＤの表示に基づいてユーザが操作入力したカウンタ値ＣＮＴの修正指示、または検出すべき認識対象物体２２の境界ボックスの追加
を、物体自動計数装置２に通知する。これにより、カウント値ＣＮＴが全体画像データＩＧＤとして表示された認識対象物体２２の数と相違する場合に、ユーザは、カウント値ＣＮＴの修正、または検出すべき認識対象物体２２の追加を指令することができる。
【0028】
図２は、２次元フレーム画像ＤＧ（ｎ）の例を示す図である。
図２には、あるフレーム番号ｎａ，ｎｂにおける２次元フレーム画像ＤＧ（ｎａ），ＤＧ（ｎｂ）を示す。これら画像においては、認識対象物体２２の像である複数の物体像３２が含まれている。また、図２には、各画像から抽出された境界ボックスＢＢの例も併せて表記している。但し、図示の２次元フレーム画像ＤＧ（ｎａ）には、実際には認識対象物体２２の端面の像が含まれていないにもかかわらず、境界ボックスとして誤って抽出した誤抽出境界ボックス３８も含まれている。例えば、物体群２０（図１参照）の周辺に円環状の形状を有する異物が存在し、認識対象物体２２がその異物を認識対象物体２２の端面であると誤認した場合に、誤抽出境界ボックス３８が現れる。
図２には、あるフレーム番号ｎａ，ｎｂにおける２次元フレーム画像ＤＧ（ｎａ），ＤＧ（ｎｂ）を示す。これら画像においては、認識対象物体２２の像である複数の物体像３２が含まれている。また、図２には、各画像から抽出された境界ボックスＢＢの例も併せて表記している。但し、図示の２次元フレーム画像ＤＧ（ｎａ）には、実際には認識対象物体２２の端面の像が含まれていないにもかかわらず、境界ボックスとして誤って抽出した誤抽出境界ボックス３８も含まれている。例えば、物体群２０（図１参照）の周辺に円環状の形状を有する異物が存在し、認識対象物体２２がその異物を認識対象物体２２の端面であると誤認した場合に、誤抽出境界ボックス３８が現れる。
【0029】
これら２次元フレーム画像ＤＧ（ｎａ），ＤＧ（ｎｂ）における境界ボックスＢＢには、同一の認識対象物体２２に対するものが含まれている。計数値補正部２０３は、３次元点群データＴＰを参照して、複数のフレームに現れている、同一の認識対象物体２２に対するもの境界ボックスＢＢを統合し、これによって物体群２０（図１参照）に含まれる認識対象物体２２の数をカウントする。なお、その詳細については後述する。
【0030】
図３は、コンピュータ９８０のブロック図である。
図１に示したデータ取得装置１および物体自動計数装置２は、何れも図１に示すコンピュータ９８０を、１台または複数台備えている。図３において、コンピュータ９８０は、ＣＰＵ９８１と、記憶部９８２と、通信Ｉ／Ｆ（インタフェース）９８３と、入出力Ｉ／Ｆ９８４と、メディアＩ／Ｆ９８５と、を備える。ここで、記憶部９８２は、ＲＡＭ９８２ａと、ＲＯＭ９８２ｂと、ＨＤＤ９８２ｃと、を備える。通信Ｉ／Ｆ９８３は、通信回路９８６に接続される。入出力Ｉ／Ｆ９８４は、入出力装置９８７に接続される。メディアＩ／Ｆ９８５は、記録媒体９８８からデータを読み書きする。
図１に示したデータ取得装置１および物体自動計数装置２は、何れも図１に示すコンピュータ９８０を、１台または複数台備えている。図３において、コンピュータ９８０は、ＣＰＵ９８１と、記憶部９８２と、通信Ｉ／Ｆ（インタフェース）９８３と、入出力Ｉ／Ｆ９８４と、メディアＩ／Ｆ９８５と、を備える。ここで、記憶部９８２は、ＲＡＭ９８２ａと、ＲＯＭ９８２ｂと、ＨＤＤ９８２ｃと、を備える。通信Ｉ／Ｆ９８３は、通信回路９８６に接続される。入出力Ｉ／Ｆ９８４は、入出力装置９８７に接続される。メディアＩ／Ｆ９８５は、記録媒体９８８からデータを読み書きする。
【0031】
ＲＯＭ９８２ｂには、ＣＰＵによって実行されるＩＰＬ（Initial Program Loader）等が格納されている。ＨＤＤ９８２ｃには、アプリケーションプログラムや各種データ等が記憶されている。ＣＰＵ９８１は、ＨＤＤ９８２ｃからＲＡＭ９８２ａに読み込んだアプリケーションプログラム等を実行することにより、各種機能を実現する。先に図１に示した、データ取得装置１および物体自動計数装置２の内部は、アプリケーションプログラム等によって実現される機能をブロックとして示したものである。
【0032】
〈第１実施形態の動作〉
（データ取得処理）
次に、本実施形態の動作を説明する。
図４は、データ取得装置１において実行されるデータ取得処理ルーチンのフローチャートである。
図４において処理がステップＳ２０１に進むと、データ取得部１０１は、ＩＭＵデータＤＩを取得する。次に、処理がステップＳ２０２に進むと、データ分析部１０２は、３次元点群データＴＰに基づいて、デプスデータＤＰを取得する。
（データ取得処理）
次に、本実施形態の動作を説明する。
図４は、データ取得装置１において実行されるデータ取得処理ルーチンのフローチャートである。
図４において処理がステップＳ２０１に進むと、データ取得部１０１は、ＩＭＵデータＤＩを取得する。次に、処理がステップＳ２０２に進むと、データ分析部１０２は、３次元点群データＴＰに基づいて、デプスデータＤＰを取得する。
【0033】
次に、処理がステップＳ２０３に進むと、データ取得部１０１は２次元動画データＤＧを取得する。次に、処理がステップＳ２０４に進むと、データ分析部１０２は、ＩＭＵデータＤＩ、３次元点群データＴＰおよび２次元動画データＤＧに基づいて、撮影位置データＰＳを取得する。次に、処理がステップＳ２０５に進むと、データ分析部１０２は、３次元点群データＴＱに対して点群累積処理を行い、その結果である３次元点群データＴＰを取得する。
【0034】
次に、処理がステップＳ２０６に進むと、データ分析部１０２は、２次元動画データＤＧのエンコード処理を行う。次に、処理がステップＳ２０７に進むと、データ分析部１０２は、３次元点群データＴＰ、撮影位置データＰＳ、およびデプスデータＤＰを、２次元動画データＤＧのフレームタイミングに同期して、フレーム単位に分割する。
【0035】
次に、処理がステップＳ２０８に進むと、データ分析部１０２は、ユーザが所定の終了操作を行ったか否かを判定する。ここで「Ｎｏ」と判定されると、ステップＳ２０１～Ｓ２０８の動作が再度繰り返される。一方、ユーザが所定の終了操作を行った場合は「Ｙｅｓ」と判定され、処理はステップＳ２０９に進む。ここでは、データ送信部１０４が、上述した２次元動画データＤＧ、３次元点群データＴＰ、撮影位置データＰＳおよびデプスデータＤＰを、物体自動計数装置２に送信し、本ルーチンの処理が終了する。
【0036】
（計数処理）
図５は、物体自動計数装置２において実行される計数処理ルーチンのフローチャートである。
図５において処理がステップＳ３０１に進むと、物体計数部２０２は、各々の２次元フレーム画像ＤＧ（ｎ）において、境界ボックスＢＢ（図２参照）を推定し、各フレームにおける境界ボックス数ｋ_maxを取得する。次に、処理がステップＳ３０２に進むと、物体計数部２０２は、全てのフレーム番号の中で、（後述するステップＳ３０３の処理において）未だ選択されていないフレーム番号が存在するか否かを判定する。
図５は、物体自動計数装置２において実行される計数処理ルーチンのフローチャートである。
図５において処理がステップＳ３０１に進むと、物体計数部２０２は、各々の２次元フレーム画像ＤＧ（ｎ）において、境界ボックスＢＢ（図２参照）を推定し、各フレームにおける境界ボックス数ｋ_maxを取得する。次に、処理がステップＳ３０２に進むと、物体計数部２０２は、全てのフレーム番号の中で、（後述するステップＳ３０３の処理において）未だ選択されていないフレーム番号が存在するか否かを判定する。
【0037】
ステップＳ３０２において「Ｙｅｓ」と判定されると、処理はステップＳ３０３に進み、物体計数部２０２は、未だ選択されていない一つのフレーム番号を選択する。選択されたフレーム番号を、以下、「フレーム番号ｎｓ」と呼ぶ。次に、処理がステップＳ３０４に進むと、フレーム番号ｎｓに係る２次元フレーム画像ＤＧ（ｎｓ）において、識別番号ＢＩＤが未割当である境界ボックスＢＢが存在するか否かを判定する。
【0038】
なお、識別番号ＢＩＤとは、同一の認識対象物体２２（図１参照）に対応して認識されたと推定される、一または複数の境界ボックスＢＢ（ｎ，ｋ）に対して共通に付与される識別番号である。ある境界ボックスＢＢ（ｎ，ｋ）に付与された識別番号ＢＩＤを、「識別番号ＢＩＤ（ｎ，ｋ）」のように表記することがある。ステップＳ３０４において「Ｙｅｓ」と判定されると、処理はステップＳ３０５に進み、物体計数部２０２は、２次元フレーム画像ＤＧ（ｎｓ）において識別番号ＢＩＤが未割当である一つの境界ボックスＢＢを選択する。選択された境界ボックスＢＢを、以下、選択境界ボックスＢＢ（ｎｓ，ｋｓ）（但し、ｋ＝１，…，ｋ_max）と呼ぶ。
【0039】
次に、処理がステップＳ３０６に進むと、物体計数部２０２は最尤識別番号ＢＩＤ_Mを検索する。そこで、この処理の内容について説明する。まず、フレーム番号ｎにおける３次元フレーム点群ＴＰ（ｎ）のうち、境界ボックスＢＢ（ｎ，ｋ）に対応する点群を境界ボックス対応点群ＢＰ（ｎ，ｋ）と呼ぶ。すなわち、境界ボックス対応点群ＢＰ（ｎ，ｋ）とは、認識対象物体２２（図１参照）の形状（例えば円筒）に基づいて、境界ボックスＢＢ（ｎ，ｋ）に係る認識対象物体２２（図１参照）の表面の点座標であると推定できる点座標の集合である。物体位置推定部２２６（図１参照）は、各境界ボックスＢＢ（ｎ，ｋ）に対応する境界ボックス対応点群ＢＰ（ｎ，ｋ）を抽出することによって、各認識対象物体２２の位置および姿勢を認識する。また、選択境界ボックスＢＢ（ｎｓ，ｋｓ）に対応する点群を選択境界ボックス対応点群ＢＰ（ｎｓ，ｋｓ）と呼ぶ。
【0040】
物体計数部２０２は、既に識別番号ＢＩＤが付与された全ての境界ボックスＢＢ（ｎ，ｋ）について、境界ボックス対応点群ＢＰ（ｎ，ｋ）と、選択境界ボックス対応点群ＢＰ（ｎｓ，ｋｓ）との重複度ＭＵＬ（ＢＩＤ）を計算する。ここで、重複度ＭＵＬ（ＢＩＤ）とは、識別番号ＢＩＤの境界ボックス対応点群ＢＰ（ｎ，ｋ）に属する点座標のうち選択境界ボックス対応点群ＢＰ（ｎｓ，ｋｓ）に属する点座標と一致するものの割合である。そして、計数値補正部２０３は、全ての識別番号ＢＩＤに対応する重複度ＭＵＬ（ＢＩＤ）のうち、最大になるものを検索する。検索された重複度ＭＵＬ（ＢＩＤ）に係る識別番号ＢＩＤを、最尤識別番号ＢＩＤ_Mと呼ぶ。
【0041】
次に、処理がステップＳ３０７に進むと、物体計数部２０２は、最尤識別番号ＢＩＤ_Mに係る重複度ＭＵＬ（ＢＩＤ_M）が、所定の閾値ＭＵＬth以上であるか否かを判定する。ここで、「Ｎｏ」と判定されると、処理はステップＳ３０８に進む。ステップＳ３０７で「Ｎｏ」と判定されたということは、選択境界ボックス対応点群ＢＰ（ｎｓ，ｋｓ）は、既に識別番号ＢＩＤが付与された他の境界ボックスＢＢ（ｎ，ｋ）の境界ボックス対応点群ＢＰ（ｎ，ｋ）との間で重複する点座標が少ない、ということである。
【0042】
換言すれば、選択境界ボックスＢＢ（ｎｓ，ｋｓ）は、既に識別番号ＢＩＤが付与された他の境界ボックスＢＢ（ｎ，ｋ）とは異なる認識対象物体２２（図１参照）について検出された境界ボックスＢＢであると推定される。そこで、ステップＳ３０８において、物体計数部２０２は、新しい識別番号ＢＩＤ（新識別番号ＢＩＤ_nと呼ぶ）を生成し、選択境界ボックスＢＢ（ｎｓ，ｋｓ）に割り当てる。また、新識別番号ＢＩＤ_nの確信度ＰＲ（ＢＩＤ_n）を「１」に設定する。
【0043】
一方、ステップＳ３０７において「Ｙｅｓ」と判定されると、処理はステップＳ３０９に進む。この場合、選択境界ボックスＢＢ（ｎｓ，ｋｓ）は、既に最尤識別番号ＢＩＤ_Mが付与されている一または複数の他の境界ボックスＢＢ（ｎ，ｋ）と同一の認識対象物体２２について検出された境界ボックスＢＢであると推定される。そこで、ステップＳ３０９において、物体計数部２０２は、選択境界ボックスＢＢ（ｎｓ，ｋｓ）の識別番号ＢＩＤ（ｎｓ，ｋｓ）に、最尤識別番号ＢＩＤ_Mを代入し、確信度ＰＲ（ＢＩＤ_M）を「１」だけ増加させる。
【0044】
以下、同様にステップＳ３０２～Ｓ３０９の処理が繰り返されると、全てのフレーム番号ｎにおいて検出された全ての境界ボックスＢＢ（ｎ，ｋ）に対して、識別番号ＢＩＤが付与され、かつ、これら識別番号ＢＩＤの各々に対して確信度ＰＲ（ＢＩＤ）が計算される。その後、処理がステップＳ３０２に進むと、ここで「Ｎｏ」と判定され、処理はステップＳ３１０に進む。なお、この時点で既に付与された識別番号ＢＩＤの総数は、認識対象物体２２（図１参照）の数量として暫定的に推定された数になる。そこで、識別番号ＢＩＤの総数を、暫定カウント値ＣＮＴＰと呼ぶ。換言すれば、物体計数部２０２の推定カウント値算出部２２８は、識別番号ＢＩＤの総数をカウントすることによって暫定カウント値ＣＮＴＰを求める機能を備える。
【0045】
次に、ステップＳ３１０において、計数値補正部２０３は、全ての点座標のヒット値Ｑを算出する。その内容を、以下説明する。フレーム番号ｎにおける３次元フレーム点群ＴＰ（ｎ）に属する全ての点座標の数をｐ_maxとしたとき、３次元フレーム点群ＴＰ（ｎ）に属する点座標を点座標ＴＴＰ（ｎ，ｐ）（但し、ｐ＝１，…，ｐ_max）と呼ぶ。上述したように、ステップＳ２０５（図４参照）において点群累積処理を行った結果、点座標ＴＴＰ（ｎ，ｐ）は複数のフレームにおいて、同一値になる場合もある。一または複数のフレームにおいて、同一値である点座標ＴＴＰ（ｎ，ｐ）が存在するとき、これらフレームの数を「ヒット値Ｑ」と呼ぶ。また、点座標ＴＴＰ（ｎ，ｐ）のヒット値をヒット値Ｑ（ｎ，ｐ）と呼ぶ。ステップＳ３１０において、計数値補正部２０３は、全てのフレームにおける全ての点座標ＴＴＰ（ｎ，ｐ）のヒット値Ｑ（ｎ，ｐ）を算出する。
【0046】
次に、処理がステップＳ３１１に進むと、計数値補正部２０３は、全ての識別番号ＢＩＤに対応する平均ヒット値Ｑave（ＢＩＤ）を算出する。その処理内容を説明する。まず、計数値補正部２０３は、全ての識別番号ＢＩＤについて、各々の識別番号ＢＩＤが付与された境界ボックスＢＢ（ｎ，ｋ）に対応する境界ボックス対応点群ＢＰ（ｎ，ｋ）を列挙する。次に、計数値補正部２０３は、列挙した境界ボックス対応点群ＢＰ（ｎ，ｋ）に属する点座標のヒット値Ｑを抽出する。この抽出した全てのヒット値Ｑの平均値が平均ヒット値Ｑaveになる。ある識別番号ＢＩＤにおける平均ヒット値Ｑaveを、平均ヒット値Ｑave（ＢＩＤ）と呼ぶ。
【0047】
次に、処理がステップＳ３１２に進むと、計数値補正部２０３における修正部２３４は、カウント値ＣＮＴを「０」に初期化する。次に、処理がステップＳ３１２に進むと、修正部２３４は、全ての識別番号ＢＩＤについて、ステップＳ３１４の処理を実行したか否かを判定する。
【0048】
ここで「Ｎｏ」と判定されると、処理はステップＳ３１４に進み、修正部２３４は、未処理の識別番号ＢＩＤを一つ選択し、その評価値ＥＶ（ＢＩＤ）を計算する。ここで、評価値ＥＶ（ＢＩＤ）は、「ＥＶ（ＢＩＤ）＝ＰＲ（ＢＩＤ）×Ｑave（ＢＩＤ）」で計算される値である。次に、処理がステップＳ３１５に進むと、修正部２３４は、評価値ＥＶ（ＢＩＤ）が所定の閾値ＥＶth以上であるか否かを判定する。
【0049】
ここで、「Ｙｅｓ」と判定されると、処理はステップＳ３１６に進む。この場合、識別番号ＢＩＤが付与された境界ボックスＢＢ（ｎ，ｋ）は、実際に認識対象物体２２（図１参照）に対応した有効な境界ボックスであり、識別番号ＢＩＤは有効な識別番号になる。そこで、修正部２３４は、カウント値ＣＮＴを「１」だけ増加させる。その後、処理はステップＳ３１３に戻る。
【0050】
一方、ステップＳ３１５において「Ｎｏ」と判定されると、ステップＳ３１６はスキップされ、処理はステップＳ３１３に戻る。この場合、識別番号ＢＩＤが付与された境界ボックスＢＢ（ｎ，ｋ）は、実際に認識対象物体２２（図１参照）に対応したものではなく、誤抽出境界ボックス３８（図２参照）であると推定される。すなわち、識別番号ＢＩＤは無効な識別番号になる。このように、全ての識別番号ＢＩＤについてステップＳ３１４～Ｓ３１６が実行され、その後に処理がステップＳ３１３に戻ると、ここで「Ｙｅｓ」と判定され、処理はステップＳ３１７に進む。
【0051】
ステップＳ３１７において、計数値送信部２０４は、カウント値ＣＮＴと、全体画像データＩＧＤと、をデータ修正装置３に送信する。ここで、全体画像データＩＧＤとは、物体群２０（図１参照）の全体を俯瞰した画像であり、計数値補正部２０３が、２次元動画データＤＧの各フレームを重ね合わせることによって生成したものである。以上により、本ルーチンの処理が終了する。
【0052】
図６は、カウント対象となった境界ボックスＢＢの一例を示す図である。
図６においては、図２に示した誤抽出境界ボックス３８は、評価値ＥＶ（ＢＩＤ）が閾値ＥＶth未満になるため、カウント対象から除外されている。
図６においては、図２に示した誤抽出境界ボックス３８は、評価値ＥＶ（ＢＩＤ）が閾値ＥＶth未満になるため、カウント対象から除外されている。
【0053】
【0054】
全体画像表示部３１２は、表示画面３１０の全体と重なっており、物体自動計数装置２から供給された全体画像データＩＧＤの内容を表示する。ここで、表示画面３１０においては、有効な識別番号ＢＩＤに対応する境界ボックス対応点群ＢＰ（ｎ，ｋ）に対応する領域がハイライト表示される。図６においては、ハイライト表示されている部分を、ドットを付して表示している。
【0055】
カウント値表示部３１４は、カウント値ＣＮＴを表示する。カーソル３１６は、ユーザの操作に応じて表示画面に示される矩形枠画像であり、ユーザは、その位置および大きさを自由に調節できる。図示の例においては、カーソル３１６が表示されている領域において、カウント抜けが生じたと考えられる部分が生じている。このような場合、ユーザは、図示のように、カウント抜けが生じたと考えられる部分にカーソル３１６の位置を合わせ、所定の操作を行い、物体自動計数装置２に対して計数処理の再実行を指令することができる。
【0056】
計数処理の再実行が指令されると、その旨が物体自動計数装置２に通知され、物体自動計数装置２は、上述した計数処理ルーチン（図５）を再実行する。但し、計数処理ルーチンの再実行時において、計数値補正部２０３は、カーソル３１６が表示されている部分において有効な識別番号ＢＩＤに対応する境界ボックス対応点群ＢＰ（ｎ，ｋ）が生じるように、上述した閾値ＭＵＬthまたは閾値ＥＶthを、最初に実行した時と比較して、低い値に設定する。
【0057】
図７に示す表示画面３２０は、物体自動計数装置２が計数処理ルーチンを再実行時した後に計算値表示部１０６に表示される表示画面の例である。表示画面３２０は、表示画面３１０と同様に、全体画像表示部３１２と、カウント値表示部３１４と、を含んでいる。
【0058】
但し、全体画像表示部３１２は、計数処理ルーチンの再実行結果に基づく全体画像データＩＧＤを表示する。そして、図示の例において、表示画面３２０には、上述した表示画面３１０におけるカウント抜けが解消されている。また、その結果、表示画面３２０におけるカウント値表示部３１４の内容も、表示画面３１０のものから更新されている。
【0059】
図７に示す表示画面３２０のように、認識対象物体２２を正常に認識した全体画像データＩＧＤが取得できた場合は、ユーザが所定の登録操作を行う。登録操作が行われると、計数結果登録・通知部２０５は、カウント値ＣＮＴを、計数結果データベース２０６に格納する。
【0060】
［実施形態の効果］
以上のように上述の実施形態によれば、資材自動計数システム１０は、複数の認識対象物体２２を含む物体群２０を撮影した２次元画像データ（ＤＧ）から認識対象物体２２に対応する特徴領域（ＢＢ）を認識する特徴領域認識部２２２と、認識対象物体２２の３次元形状を認識する３次元形状認識部２２４と、特徴領域認識部２２２および３次元形状認識部２２４における認識結果に基づいて、各々の認識対象物体２２の位置を推定する物体位置推定部２２６と、を備える。このように、特徴領域認識部２２２および３次元形状認識部２２４における認識結果に基づいて、各々の認識対象物体２２の位置を推定するため、認識対象物体２２の位置を適切に推定できる。さらに、認識対象物体２２の位置を適切に推定できることにより、認識対象物体２２をカウントする際の精度も向上させるという効果も奏する。
以上のように上述の実施形態によれば、資材自動計数システム１０は、複数の認識対象物体２２を含む物体群２０を撮影した２次元画像データ（ＤＧ）から認識対象物体２２に対応する特徴領域（ＢＢ）を認識する特徴領域認識部２２２と、認識対象物体２２の３次元形状を認識する３次元形状認識部２２４と、特徴領域認識部２２２および３次元形状認識部２２４における認識結果に基づいて、各々の認識対象物体２２の位置を推定する物体位置推定部２２６と、を備える。このように、特徴領域認識部２２２および３次元形状認識部２２４における認識結果に基づいて、各々の認識対象物体２２の位置を推定するため、認識対象物体２２の位置を適切に推定できる。さらに、認識対象物体２２の位置を適切に推定できることにより、認識対象物体２２をカウントする際の精度も向上させるという効果も奏する。
【0061】
また、物体位置推定部２２６は、物体群２０の表面の点座標を含む３次元点群データＴＰから、特徴領域（ＢＢ）に対応する点座標を抽出することにより、各々の認識対象物体２２の位置を認識すると一層好ましい。これにより、３次元点群データＴＰと特徴領域（ＢＢ）とを関連させることができ、認識対象物体２２の位置を一層適切に推定できる。
【0062】
また、２次元画像データ（ＤＧ）は複数のフレームに分割されているものであり、３次元点群データＴＰを、２次元画像データ（ＤＧ）に同期して分割するデータ分析部１０２をさらに備えると一層好ましい。これにより、３次元点群データＴＰと、２次元画像データ（ＤＧ）との対応付けが一層容易になる。
【0063】
また、資材自動計数システム１０は、特徴領域認識部２２２によって複数のフレームに対応して認識した特徴領域（ＢＢ）が、同一の認識対象物体２２に対応する度合いを示す確信度ＰＲを、特徴領域（ＢＢ）毎に算出する確信度算出部２３２をさらに備えると一層好ましい。これにより、各々の特徴領域（ＢＢ）の確信度ＰＲを取得できる。
【0064】
また、資材自動計数システム１０は、特徴領域認識部２２２が推定した特徴領域（ＢＢ）と、３次元形状認識部２２４における認識結果と、に基づいて、認識対象物体２２の暫定カウント値ＣＮＴＰを算出する推定カウント値算出部２２８と、確信度ＰＲに基づいて、暫定カウント値ＣＮＴＰを修正した結果であるカウント値ＣＮＴを求める修正部２３４と、をさらに備えると一層好ましい。これにより、認識対象物体２２の数量を適切にカウントすることができる。
【0065】
また、資材自動計数システム１０は、カウント値ＣＮＴに対応する認識対象物体２２の画像を表示する計算値表示部１０６と、ユーザの操作に基づいて、カウント値ＣＮＴの修正を指令する計算値修正部１０８と、をさらに備えると一層好ましい。これにより、カウント値ＣＮＴが認識対象物体２２の数と相違する場合に、ユーザは、カウント値ＣＮＴの修正を指令することができる。
【0066】
図８は、実施形態の資材自動計数システム１０の他の全体動作を説明するシーケンス図である。図８の資材自動計数システム１０は、スマートフォン等の携帯端末であるデータ取得装置１とネットワークサーバである物体自動計数装置２とＰＣ等のネットワーク端末であるデータ修正装置３から構成する。なお、図８では、データ修正装置３の場合を示しているが、複数台のデータ修正装置３から構成してもよい。
【0067】
物体自動計数装置２は、まず、特徴領域認識部２２２（物体計数部２０２）が、学習を完了し使用可能な認識対象物体２２を検出する解析モデルの一覧（少なくともひとつ）を、データ取得装置１に通知する（ステップＳ８０）。
【0068】
データ取得装置１は、解析モデルの一覧を表示し、認識対象物体２２に対応しユーザに指定した解析モデルを選択する（ステップＳ８１）。この際、データ取得装置１は、ユーザが指定しやすいように、解析モデル毎に検出する認識対象物体２２の像を表示して、ユーザが指定できるようにするとよい。また、検出する認識対象物体２２に対応する解析モデルがない場合には、その旨を取得する。
【0069】
次に、データ取得装置１は、物体群２０の２Ｄ画像と距離画像を取得し（ステップＳ８２）、２Ｄ画像と距離画像を対応付ける（ステップＳ８３）。このステップＳ８２とステップＳ８３は、データ取得装置１のデータ取得部１０１とデータ分析部１０２の動作であり、図４で説明したので、ここでは説明を省略する。
【0070】
データ取得装置１は、物体群２０の撮像が終了すると、ユーザが指定した解析モデルのモデル名、２次元動画データＤＧ、３次元点群データＴＰ、撮影位置データＰＳおよびデプスデータＤＰを、物体自動計数装置２に送信する（ステップＳ８４）。
【0071】
物体自動計数装置２（データ受信部２０１）は、データ取得装置１から受信したモデル名、２次元動画データＤＧ、３次元点群データＴＰ、撮影位置データＰＳおよびデプスデータＤＰを、不図示の記憶部に記憶するとともに、受信したモデル名が、特徴領域認識部２２２がサポートしている解析モデルであるか否かを判定する（ステップＳ８５）。
【0072】
物体自動計数装置２は、未サポートの解析モデルが指定された場合（ステップＳ８５が否の場合）、物体自動計数装置２のオペレータに、解析モデルを準備（解析モデルの機械学習）するよう通知する。
【0073】
そして、物体自動計数装置２は、解析モデルの学習処理を行う（ステップＳ８６）。
物体自動計数装置２は、解析モデルの学習処理を行っている際中でも、データ取得装置１からの、解析モデルのモデル名、２次元動画データＤＧ、３次元点群データＴＰ、撮影位置データＰＳおよびデプスデータＤＰの受信を継続し、受信したデータを記憶部に記憶する。
物体自動計数装置２は、解析モデルの学習処理を行っている際中でも、データ取得装置１からの、解析モデルのモデル名、２次元動画データＤＧ、３次元点群データＴＰ、撮影位置データＰＳおよびデプスデータＤＰの受信を継続し、受信したデータを記憶部に記憶する。
【0074】
物体自動計数装置２は、サポートしている解析モデルが指定された場合、または解析モデルの準備が完了すると、解析モデルにより２Ｄ画像から境界ボックスを抽出し、抽出した２Ｄ画像の境界ボックスを３Ｄ空間に統合する（ステップＳ８７）。そして、物体自動計数装置２は、有効な境界ボックスを検出し、自動計数する（ステップＳ８８）。このステップＳ８７とステップＳ８８の処理は、図５で説明した物体計数部２０２と計数値補正部２０３の処理であり、詳細な説明を省略する。
【0075】
物体自動計数装置２は、求めたカウント値ＣＮＴと全体画像データＩＧＤとを、少なくとも一つのデータ修正装置３に送信する（ステップＳ８９）。これにより、複数のデータ修正装置３で境界ボックスＢＢの追加・削除、カウント値ＣＮＴの修正を並行して行えるようにする。
【0076】
データ修正装置３（計算値表示部１０６）は、ユーザがカウント値ＣＮＴの修正と境界ボックスＢＢの追加・削除を行えるように、全体画像データＩＧＤとカウント値ＣＮＴを表示する（ステップＳ８１０）。
【0077】
データ修正装置３（計算値修正部１０８）は、全体画像データＩＧＤの表示に基づいてユーザが操作入力したカウンタ値ＣＮＴの修正指示、または検出すべき認識対象物体２２の境界ボックスの追加を、物体自動計数装置２に通知する（ステップＳ８１１）。
【0078】
物体自動計数装置２（物体係数部２０２と計数値補正部２０３）は、ステップＳ８１１の通知に応じて、有効な境界ボックスを判定するための閾値ＥＶthを修正または解析モデル修正（追加学習）を行い（ステップＳ８１２）、有効な境界ボックスを再検出し、計数を再度行う（ステップＳ８１３）。
【0079】
物体自動計数装置２（計数結果登録・通知部２０５）は、ステップＳ８１３で求めた計数値（カウント値ＣＮＴ）を検出結果として計数結果データベース２０６に格納するとともに、予め設定されたシステムに通知する（ステップＳ８１４）。
【0080】
上記では、ステップＳ８１３により有効な境界ボックを再検出する例を説明したが、ステップＳ８１１で通知されたカウンタ値ＣＮＴを、検出結果として計数結果データベース２０６に格納するとともに、予め設定されたシステムに通知する（ステップＳ８１４）ようにしてもよい。
【0081】
また、ステップＳ８１３で処理したカウント値ＣＮＴと全体画像データＩＧＤを、データ修正装置３に送信し（ステップＳ８９）、ステップＳ８１１における追加・修正指示がなくなるまで、ステップＳ８１２とステップＳ８１３の処理を繰り返し行うようにしてもよい。
【0082】
図８で説明した資材自動計数システム１０の動作シーケンスにより、複数のデータ修正端末３で検出結果の確認・修正を行うことができるので、現場での確認時間を不要とし、過酷な現場での労働時間を削減することができる。また、確認・修正を複数人に分担できるので作業効率を向上できる。
【0083】
また、物体自動計数装置２が、認識対象物体２２のカウント値の検出結果を、予め登録したシステムに通知するので、リース会社に足場資材のカウント値を通知するようにした場合には、足場資材の返却時に事前に物量を把握でき、受け入れの準備、人員配備などが可能となる。
【0084】
さらに、物体自動計数装置２の解析モデルの事前学習が完了していない場合でも、他の足場資材等の認識対象物２２のデータ取得（撮影作業）を行えるので、現場効率を向上することができる。
また、物体自動計数装置２のオペレータに解析モデルを準備（解析モデルの機械学習）するよう通知するので、作業効率の低下を抑止できる。
また、物体自動計数装置２のオペレータに解析モデルを準備（解析モデルの機械学習）するよう通知するので、作業効率の低下を抑止できる。
【0085】
次に、図９により、実施形態の資材自動計数システム１０の解析モデルのアップデート方法について説明する。実施形態のアップデート方法により、手動補正時間が短縮する場合に、解析モデルをアップデートするようにしたので、導入効果が得られないものについては無駄なアップデートを排除でき、有効なアップデートのみを選択できる。
【0086】
図９は、物体自動計数装置２の処理フロー図であり、現在使用中の解析モデルを第１のモデルと記し、アップデート可否を判定する解析モデルを第２のモデルと記す。
【0087】
物体自動計数装置２（データ受信部２０１）は、物体計数部２０２で処理する解析データ（２次元動画データＤＧ、３次元点群データＴＰ、撮影位置データＰＳおよびデプスデータＤＰ）を取得する（ステップＳ９１）。
【0088】
物体自動計数装置２は、ステップＳ９１で取得した解析データを第１のモデルで処理するステップＳ９２からステップＳ９５の処理と、ステップＳ９１で取得した解析データを第２のモデルで処理するステップＳ９６からステップＳ９９の処理と、を並行処理する。
【0089】
まず、第１のモデルの物体計数部２０２による境界ボックスＢＢを検出する処理（物体検出処理）（ステップＳ９３）と、第２のモデルの物体計数部２０２による境界ボックスＢＢを検出する処理（物体検出処理）（ステップＳ９６）とを行う。
【0090】
そして、ステップＳ９３で検出した境界ボックスを統合し、第１のモデルで検出した境界ボックスの計数値である第1計数値、及び境界ボックスの位置を推定する（ステップＳ９４）。同様に、ステップＳ９６で検出した境界ボックスを統合し、第２のモデルで検出した境界ボックスの計数値である第２計数値、及び境界ボックスの位置を推定する（ステップＳ９７）。
【0091】
さらに、ステップＳ９３で統合した境界ボックスを手動補正する（ステップＳ９４）ともに、その修正時間である第１修正時間を算出する（ステップＳ９４）。同様に、ステップＳ９７で統合した境界ボックスを手動補正する（ステップＳ９８）ともに、その修正時間である第２修正時間を算出する（ステップＳ９９）。
このステップＳ９３とステップＳ９４の処理と、ステップＳ９３とステップＳ９４の処理とは、図５で説明した物体計数部２０２と計数値補正部２０３の処理であり、詳細な説明を省略する。
このステップＳ９３とステップＳ９４の処理と、ステップＳ９３とステップＳ９４の処理とは、図５で説明した物体計数部２０２と計数値補正部２０３の処理であり、詳細な説明を省略する。
【0092】
ここで、物体自動計数装置２は、解析モデルの変更により修正時間は短縮したか否かを判定する。詳しくは、ステップＳ９９で算出した第２修正時間が、ステップＳ９５で算出した第１修正時間より短いか否を判定する（ステップＳ９１０）。
【0093】
そして、修正時間は短縮した場合には（Ｓ９１０のＹｅｓ）、物体計数部２０２の解析モデルを第１のモデルから第２のモデルにアップデートし、修正時間は短縮しなかった場合には（Ｓ９１０のＮｏ）、第２のモデルにアップデートせず処理を終了する。
【0094】
図９では、物体自動計数装置２が、ステップＳ９２からＳ９５と、ステップＳ９６からＳ９９とを並行処理するフローを示したが、物体自動計数装置２が、ステップＳ９２からＳ９５と、ステップＳ９６からＳ９９とを順次処理するようにしてもよい。
【0095】
［変形例］
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成に他の構成を追加してもよく、構成の一部について他の構成に置換をすることも可能である。また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成に他の構成を追加してもよく、構成の一部について他の構成に置換をすることも可能である。また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。
【0096】
（１）上記実施形態においては、３次元点群データＴＰを取得するために、データ取得部１０１にＬｉＤＡＲ（Light Detection and Ranging）等の３次元センサ（図示略）設けた。しかし、３次元点群データＴＰを取得する方法は、３次元センサを用いることに限定されるわけではなく、例えば、フォトグラメトリなどの、複数の２次元データから３次元点群データを取得する技法によって３次元点群データＴＰを算出するようにしてもよい。
【0097】
（２）上記実施形態においては、レジストレーションによって、３次元フレーム点群ＴＱ（ｎ）間の位置合わせを行ったが、レジストレーション以外の方法によって位置合わせを行ってもよい。例えば、ＩＭＵデータＤＩに基づいて、３次元フレーム点群ＴＱ（ｎ）間の位置合わせを行っても差し支えない。
【0098】
（３）上記実施形態における資材自動計数システム１０のハードウエアは一般的なコンピュータによって実現できるため、図４、図５に示したフローチャート、その他上述した各種処理を実行するプログラム等を記憶媒体（プログラムを記録したコンピュータ読み取り可能な記録媒体）に格納し、または伝送路を介して頒布してもよい。
【0099】
（４）図４、図５に示した処理、その他上述した各処理は、上記実施形態ではプログラムを用いたソフトウエア的な処理として説明したが、その一部または全部をＡＳＩＣ(Application Specific Integrated Circuit；特定用途向けＩＣ)、あるいはＦＰＧＡ(Field Programmable Gate Array)等を用いたハードウエア的な処理に置き換えてもよい。
【0100】
（５）上記実施形態において実行される各種処理は、図示せぬネットワーク経由でサーバコンピュータが実行してもよく、上記実施形態において記憶される各種データも該サーバコンピュータに記憶させるようにしてもよい。
【符号の説明】
【0101】
１ データ取得装置
２ 物体自動計数装置
３ データ修正装置
１０ 資材自動計数システム
２０ 物体群
２２ 認識対象物体
１０２ データ分析部
１０６ 計算結果表示部
１０８ 計算結果修正部
２２２ 特徴領域認識部（特徴領域認識過程）
２２４ ３次元形状認識部（３次元形状認識過程）
２２６ 物体位置推定部（物体位置推定過程）
２２８ 推定カウント値算出部
２３２ 確信度算出部
２３４ 修正部
ＢＢ 境界ボックス（特徴領域）
ＤＧ ２次元動画データ（２次元画像データ）
ＮＷ ネットワーク
ＰＲ 確信度
ＴＰ，ＴＱ ３次元点群データ
ＣＮＴ カウント値
ＣＮＴＰ 暫定カウント値
２ 物体自動計数装置
３ データ修正装置
１０ 資材自動計数システム
２０ 物体群
２２ 認識対象物体
１０２ データ分析部
１０６ 計算結果表示部
１０８ 計算結果修正部
２２２ 特徴領域認識部（特徴領域認識過程）
２２４ ３次元形状認識部（３次元形状認識過程）
２２６ 物体位置推定部（物体位置推定過程）
２２８ 推定カウント値算出部
２３２ 確信度算出部
２３４ 修正部
ＢＢ 境界ボックス（特徴領域）
ＤＧ ２次元動画データ（２次元画像データ）
ＮＷ ネットワーク
ＰＲ 確信度
ＴＰ，ＴＱ ３次元点群データ
ＣＮＴ カウント値
ＣＮＴＰ 暫定カウント値
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】