知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024172473
(43)【公開日】2024-12-12
(54)【発明の名称】物体認識装置および物体認識方法
(51)【国際特許分類】
G06T 7/60 20170101AFI20241205BHJP
G06M 11/00 20060101ALI20241205BHJP
【ＦＩ】
G06T7/60 110
G06M11/00 D
G06M11/00 U
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023090215
(22)【出願日】2023-05-31
(71)【出願人】
【識別番号】000153443
【氏名又は名称】株式会社 日立産業制御ソリューションズ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】阿部田 将史
(72)【発明者】
【氏名】伊藤 良起
(72)【発明者】
【氏名】吉田 大輔
(72)【発明者】
【氏名】秋良 直人
(72)【発明者】
【氏名】三沢 博章
(72)【発明者】
【氏名】小味 弘典
(72)【発明者】
【氏名】菊池 博幸
(72)【発明者】
【氏名】村井 泰裕
(72)【発明者】
【氏名】金 川
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096CA04
5L096DA04
5L096EA03
5L096EA14
5L096FA18
5L096FA32
5L096FA62
5L096FA67
(57)【要約】
【課題】資材の物体位置または個数を適切に推定できる物体認識装置および物体認識方法を提供する。
【解決手段】本発明の物体認識装置１０は、複数の認識対象物２２を含む物体群２０を複数方向から撮影した２次元動画データと２次元動画データに同期した物体群の距離画像とを取得するデータ取得部１１と、物体群の距離画像に基づいて前記物体群の３次元点群データを得るデータ分析部１２と、前記２次元動画データのフレーム毎に認識対象物体の境界ボックスＢＢを推定し、同一の識別番号の境界ボックスを、前記３次元点群データの前記境界ボックスに対応する部分点群を介して、代表画像に投影し、投影した境界ボックスの２次元点群のそれぞれの外接矩形を求め、前記外接矩形を統合して、前記認識対象物を検出する物体検出部１３と、を備えるようにした。
【選択図】図６
【解決手段】本発明の物体認識装置１０は、複数の認識対象物２２を含む物体群２０を複数方向から撮影した２次元動画データと２次元動画データに同期した物体群の距離画像とを取得するデータ取得部１１と、物体群の距離画像に基づいて前記物体群の３次元点群データを得るデータ分析部１２と、前記２次元動画データのフレーム毎に認識対象物体の境界ボックスＢＢを推定し、同一の識別番号の境界ボックスを、前記３次元点群データの前記境界ボックスに対応する部分点群を介して、代表画像に投影し、投影した境界ボックスの２次元点群のそれぞれの外接矩形を求め、前記外接矩形を統合して、前記認識対象物を検出する物体検出部１３と、を備えるようにした。
【選択図】図６
【特許請求の範囲】
【請求項1】
複数の認識対象物を含む物体群を複数方向から撮影した２次元動画データと前記２次元動画データに同期した前記物体群の距離画像とを取得するデータ取得部と、
前記物体群の距離画像に基づいて前記物体群の３次元点群データを得るデータ分析部と、
前記２次元動画データのフレーム毎に認識対象物体の境界ボックスを推定し、同一の識別番号の境界ボックスを、前記３次元点群データの前記境界ボックスに対応する部分点群を介して、代表画像に投影し、投影した境界ボックスの２次元点群のそれぞれの外接矩形を求め、前記外接矩形を統合して、前記認識対象物を検出する物体検出部と、を備える、
物体認識装置。
前記物体群の距離画像に基づいて前記物体群の３次元点群データを得るデータ分析部と、
前記２次元動画データのフレーム毎に認識対象物体の境界ボックスを推定し、同一の識別番号の境界ボックスを、前記３次元点群データの前記境界ボックスに対応する部分点群を介して、代表画像に投影し、投影した境界ボックスの２次元点群のそれぞれの外接矩形を求め、前記外接矩形を統合して、前記認識対象物を検出する物体検出部と、を備える、
物体認識装置。
【請求項2】
請求項１に記載の物体認識装置において、
前記物体検出部は、前記２次元動画データのフレームにおける前記境界ボックスの推定数が多いフレームを代表画像とする、
物体認識装置。
前記物体検出部は、前記２次元動画データのフレームにおける前記境界ボックスの推定数が多いフレームを代表画像とする、
物体認識装置。
【請求項3】
請求項１に記載の物体認識装置において、
前記物体検出部は、前記２次元動画データの最初のフレーム、または、中央のフレームを代表画像とする、
物体認識装置。
前記物体検出部は、前記２次元動画データの最初のフレーム、または、中央のフレームを代表画像とする、
物体認識装置。
【請求項4】
請求項１に記載の物体認識装置において、
前記物体検出部は、
前記２次元動画データのフレームとは異なる物体群の静止画を前記代表画像とし、
前記静止画の撮影時に取得した前記物体群の深度画像により３次元点群データを生成し、
前記３次元点群データを前記データ分析部で作成した前記物体群の３次元点群データに３Ｄレジストレーションして代表画像とする、
物体認識装置。
前記物体検出部は、
前記２次元動画データのフレームとは異なる物体群の静止画を前記代表画像とし、
前記静止画の撮影時に取得した前記物体群の深度画像により３次元点群データを生成し、
前記３次元点群データを前記データ分析部で作成した前記物体群の３次元点群データに３Ｄレジストレーションして代表画像とする、
物体認識装置。
【請求項5】
請求項１に記載の物体認識装置において、
前記物体検出部は、前記投影した境界ボックスの２次元点群のそれぞれの外接矩形の座標の平均値、中央値、最大値のいずれかを算出して、前記外接矩形を統合する、
物体認識装置。
前記物体検出部は、前記投影した境界ボックスの２次元点群のそれぞれの外接矩形の座標の平均値、中央値、最大値のいずれかを算出して、前記外接矩形を統合する、
物体認識装置。
【請求項6】
請求項１に記載の物体認識装置において、
前記物体検出部は、前記投影した境界ボックスの２次元点群のそれぞれの外接矩形を統合した図形の外接矩形を取る、
物体認識装置。
前記物体検出部は、前記投影した境界ボックスの２次元点群のそれぞれの外接矩形を統合した図形の外接矩形を取る、
物体認識装置。
【請求項7】
請求項１に記載の物体認識装置において、
前記物体検出部は、前記投影した境界ボックスの２次元点群のそれぞれの外接矩形の中心位置の平均または中央を取り統合図形の中心位置とし、統合図形のサイズを距離から推定される前記認識対象物体のサイズとする、
物体認識装置。
前記物体検出部は、前記投影した境界ボックスの２次元点群のそれぞれの外接矩形の中心位置の平均または中央を取り統合図形の中心位置とし、統合図形のサイズを距離から推定される前記認識対象物体のサイズとする、
物体認識装置。
【請求項8】
請求項１に記載の物体認識装置において、
前記物体検出部は、境界ボックスを前記３次元点群データの前記境界ボックスに対応する部分点群を介して代表画像に投影する際に、前記代表画像と、前記代表画像に投影する境界ボックスＢＢの部分点群に対応する２次元フレーム画像のフレームと、における物体群への角度差に応じて、拡大または縮小の投影変換をする、
物体認識装置。
前記物体検出部は、境界ボックスを前記３次元点群データの前記境界ボックスに対応する部分点群を介して代表画像に投影する際に、前記代表画像と、前記代表画像に投影する境界ボックスＢＢの部分点群に対応する２次元フレーム画像のフレームと、における物体群への角度差に応じて、拡大または縮小の投影変換をする、
物体認識装置。
【請求項9】
請求項１に記載の物体認識装置において、さらに、
隠れている認識対象物体の境界ボックスを示す矩形図形を弁別可能に表示するとともに、隠れている認識対象物体の境界ボックスを示す矩形図形の表示の可否を設定できるようにする代表画像表示部を備える、
物体認識装置。
隠れている認識対象物体の境界ボックスを示す矩形図形を弁別可能に表示するとともに、隠れている認識対象物体の境界ボックスを示す矩形図形の表示の可否を設定できるようにする代表画像表示部を備える、
物体認識装置。
【請求項10】
データ取得部が、複数の認識対象物を含む物体群を複数方向から撮影した２次元動画データと前記２次元動画データに同期した前記物体群の距離画像とを取得するステップと、
データ分析部が、前記物体群の距離画像に基づいて前記物体群の３次元点群データを得るステップと、
物体検出部が、前記２次元動画データのフレーム毎に認識対象物体の境界ボックスを推定し、同一の識別番号の境界ボックスのそれぞれに対応する前記３次元点群データの部分点群を求め、前記３次元点群データの前記境界ボックスに対応する部分点群を代表画像に投影し、投影した境界ボックスの２次元点群のそれぞれの外接矩形を求め、前記外接矩形を統合して、前記認識対象物を検出するステップと、
を含む物体認識方法。
データ分析部が、前記物体群の距離画像に基づいて前記物体群の３次元点群データを得るステップと、
物体検出部が、前記２次元動画データのフレーム毎に認識対象物体の境界ボックスを推定し、同一の識別番号の境界ボックスのそれぞれに対応する前記３次元点群データの部分点群を求め、前記３次元点群データの前記境界ボックスに対応する部分点群を代表画像に投影し、投影した境界ボックスの２次元点群のそれぞれの外接矩形を求め、前記外接矩形を統合して、前記認識対象物を検出するステップと、
を含む物体認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体認識装置および物体認識方法に関する。
【背景技術】
【0002】
近年の少子高齢化に伴う作業者の減少に伴い、在庫数確認などの目視による確認作業を代替するため、各種物体の個数を計数する技術が提案されている。例えば、下記特許文献１の要約には、「…入力される画像データに基づいて、当該画像データに含まれる各資材に対して境界ボックスを検出して、各境界ボックス毎に所定の種類の資材か否かを出力し、前記各種類毎の資材の個数を計数する計数処理部…」と記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－２６６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上述した技術において、資材等の認識対象物体の位置または対象物体の個数を一層適切に推定したいという要望がある。
本発明は上述した事情に鑑みてなされたものであり、資材の物体位置または個数を適切に推定できる物体認識装置および物体認識方法を提供することを目的とする。
本発明は上述した事情に鑑みてなされたものであり、資材の物体位置または個数を適切に推定できる物体認識装置および物体認識方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するため本発明の物体認識装置は、複数の認識対象物を含む物体群を複数方向から撮影した２次元動画データと前記２次元動画データに同期した前記物体群の距離画像とを取得するデータ取得部と、前記物体群の距離画像に基づいて前記物体群の３次元点群データを得るデータ分析部と、前記２次元動画データのフレーム毎に認識対象物体の境界ボックスを推定し、同一の識別番号の境界ボックスを、前記３次元点群データの前記境界ボックスに対応する部分点群を介して、代表画像に投影し、投影した境界ボックスの２次元点群のそれぞれの外接矩形を求め、前記外接矩形を統合して、前記認識対象物を検出する物体検出部と、を備えるようにした。
【発明の効果】
【0006】
本発明によれば、資材等の認識対象物体の位置または個数を適切に推定できる。
【図面の簡単な説明】
【0007】
【図1】物体認識装置における物体認識方法の概要を説明する図である。
【図2】２次元フレーム画像の境界ボックスと３次元点群データの関係を示す図である。
【図3】３次元点群データの境界ボックスの部分点群と代表画像の関係を示す図である。
【図4A】フレーム１の２次元フレーム画像における境界ボックスが代表画像に外接矩形として示されることを説明する図である。
【図4B】フレーム２の２次元フレーム画像における境界ボックスが代表画像に外接矩形として示されることを説明する図である。
【図5】同じ識別番号の境界ボックスに対応する外接矩形の統合方法について説明する図である。
【図6】物体認識装置の構成を示すブロック図である。
【図7】コンピュータのブロック図である。
【図8】物体検出部の物体検出処理を説明するフロー図である。
【図9】代表画像の表示例を示す図である。
【発明を実施するための形態】
【0008】
［実施形態の概要］
従来の積み上げた資材の撮影画像の認識対象物体の検知によるカウントでは、１枚の撮像画像で資材を検知してカウントしていた。しかし、積み上げた資材同士で資材が隠れてしまい、どの角度から撮っても１枚の画像に収まらない場合、または、資材の量が多く、全ての資材が１枚の画像に収まらない場合では、資材を正確にカウントできなかった。
従来の積み上げた資材の撮影画像の認識対象物体の検知によるカウントでは、１枚の撮像画像で資材を検知してカウントしていた。しかし、積み上げた資材同士で資材が隠れてしまい、どの角度から撮っても１枚の画像に収まらない場合、または、資材の量が多く、全ての資材が１枚の画像に収まらない場合では、資材を正確にカウントできなかった。
【0009】
このため、実施形態の物体認識装置１０では、複数角度から動画撮影した２次元の画像データ（動画の各フレーム）と３次元の点群データとを同期して（より好ましくは同時に）取得し、２次元の画像データに基づく認識結果（境界ボックス）と、３次元の点群情報とを相互参照し、境界ボックスと点群を紐づけて認識対象物体の数や位置を認識するようにする。
【0010】
まず、実施形態の物体認識装置における物体認識方法の概要を、図１により説明する。
図１は、建築現場の足場資材である円筒状の物体（パイプ）を認識対象物体２２とし、複数の認識対象物体２２から成る物体群２０における認識対象物体２２の数量を計数するとともに、認識対象物体２２の位置を推定する物体認識方法を説明する図である。
図１は、建築現場の足場資材である円筒状の物体（パイプ）を認識対象物体２２とし、複数の認識対象物体２２から成る物体群２０における認識対象物体２２の数量を計数するとともに、認識対象物体２２の位置を推定する物体認識方法を説明する図である。
【0011】
図１の３次元点群データＴＰは、物体群２０を動画撮影した際に、２次元の画像データに同期して取得した物体群２０の深度画像である３次元フレーム点群ＴＱ（ｎ）に対して点群累積処理をしたデータである（ｎはフレーム番号）。すなわち、３次元点群データＴＰは、物体群２０の表面が３次元で示され、認識対象物体２２の形状や位置の絶対座標を示している。
【0012】
図１の２次元フレーム画像ＤＧ(n)は、物体群２０を動画撮影した際の２次元のフレーム画像データ（ｎはフレーム番号）である。各フレーム画像で、認識対象物体２２の端面を物体検出し、検出した領域矩形を境界ボックスＢＢ（Bounding Box）として示している。２次元フレーム画像ＤＧ(n)の各フレームは、異なる角度から物体群２０を撮影した画像であり、同じ認識対象物体２２の境界ボックスＢＢであっても、その位置と大きさが異なる。
【0013】
実施形態の物体認識装置は、複数の２次元フレーム画像ＤＧ(n)で抽出した各フレームの境界ボックスＢＢを、３次元点群データＴＰで統合解析して２Ｄ面の代表画像にマップし、物体群２０の全体を把握できる全体画像データＩＧＤを生成する。物体認識装置は、３次元点群データＴＰで統合解析することで、ある方向からでは隠れる認識対象物体２２も、他の認識対象物体２２と同時に、位置を把握で計数することができる。
【0014】
【0015】
図２は、フレーム番号がｎのフレーム画像を示す２次元フレーム画像ＤＧ(n)の境界ボックスＢＢと３次元点群データＴＰの関係を示す図である。
フレームｎの画像の撮影位置データＰＳと撮影角度から、３次元点群データＴＰと２次元フレーム画像ＤＧ(n)の位置関係が判るので、３次元点群データＴＰにおける２次元フレーム画像ＤＧ(n)の境界ボックスＢＢに対応する３次元点群（図のハッチング部（塗りつぶし部））を求めることができる。以後、境界ボックスＢＢに対応する３次元点群を境界ボックスの部分点群と呼ぶ。
フレームｎの画像の撮影位置データＰＳと撮影角度から、３次元点群データＴＰと２次元フレーム画像ＤＧ(n)の位置関係が判るので、３次元点群データＴＰにおける２次元フレーム画像ＤＧ(n)の境界ボックスＢＢに対応する３次元点群（図のハッチング部（塗りつぶし部））を求めることができる。以後、境界ボックスＢＢに対応する３次元点群を境界ボックスの部分点群と呼ぶ。
【0016】
２次元フレーム画像ＤＧ(n)には、複数の認識対象物体２２のそれぞれに対応する境界ボックスＢＢが存在するが、３次元点群データＴＰにも、境界ボックスＢＢに対応して境界ボックスの部分点群が複数存在する。
【0017】
また、認識対象物体２２毎に識別番号ＢＩＤを付与したとすると、２次元フレーム画像ＤＧ(n)、ＤＧ(n+1)の異なるフレームに、同一の識別番号ＢＩＤの境界ボックスＢＢが存在する場合があるが、この場合にも、３次元点群データＴＰには、フレーム毎の境界ボックスＢＢに対応して境界ボックスの部分点群が複数存在する。つまり、３次元点群データＴＰには、同一の識別番号ＢＩＤの境界ボックスＢＢに関する複数の境界ボックスの部分点群が存在する。なお、この複数の境界ボックスの部分点群は、フレームの撮影位置が異なるため、３次元点群データＴＰにおける位置も異なる。
【0018】
つぎに、３次元点群データＴＰの境界ボックスＢＢの部分点群と代表画像の関係を図３により説明する。
【0019】
代表画像を、物体群２０を動画撮影したフレームの内のひとつと同じ位置の画像すると、撮影位置データＰＳと撮影角度から、３次元点群データＴＰと代表画像の位置関係が判るので、３次元点群データＴＰにおける境界ボックスの部分点群を、代表画像に投影した境界ボックスＢＢの２次元点群を得ることができる。
そして、投影した境界ボックスＢＢの２次元点群を含む部分領域を示す外接矩形を求める。
そして、投影した境界ボックスＢＢの２次元点群を含む部分領域を示す外接矩形を求める。
【0020】
３次元点群データＴＰには、同一の識別番号ＢＩＤの境界ボックスの部分点群が複数存在するが、それぞれを代表画像に投影して、それぞれの境界ボックスＢＢの２次元点群を得ることができ、投影した境界ボックスＢＢの２次元点群を含む部分領域を示す外接矩形を得ることができる。
同様に、３次元点群データＴＰには、２次元フレーム画像ＤＧ(n)の複数の認識対象物体２２に対応する境界ボックスの部分点群も複数存在し、それぞれの境界ボックスＢＢの２次元点群とそれらの外接矩形を得ることができる。
同様に、３次元点群データＴＰには、２次元フレーム画像ＤＧ(n)の複数の認識対象物体２２に対応する境界ボックスの部分点群も複数存在し、それぞれの境界ボックスＢＢの２次元点群とそれらの外接矩形を得ることができる。
【0021】
つまり、代表画像には、全ての２次元フレーム画像ＤＧ(n)における認識対象物体２２毎の境界ボックスＢＢを、３次元点群データＴＰを介して、代表画像に投影することができる。そして、投影されたそれぞれの境界ボックスＢＢの２次元点群とそれらの外接矩形を得ることができる。したがって、ある認識対象物体２２について、撮影角度によって陰になって境界ボックスＢＢが存在しない２次元フレームがあったとしても、撮影された他の２次元フレームの境界ボックスＢＢが代表画像に投影されているので、全ての認識対象物体２２を検出できる。
【0022】
【0023】
図４Ａは、フレーム番号１の２次元フレーム画像ＤＧ(1)における境界ボックスＢＢが、代表画像に、外接矩形として示されることを説明する図である。詳しくは、３次元群データＴＰに、境界ボックスの部分点群が、２次元フレーム画像ＤＧ(1)の境界ボックスＢＢに対応して求められる。そして、境界ボックスの部分点群は、代表画像に境界ボックスＢＢの２次元点群として投影され、その外接矩形が求められる。
【0024】
図４Ｂは、フレーム番号２の２次元フレーム画像ＤＧ(2)において、図４Ａの境界ボックスＢＢと同じ識別番号ＢＩＤの境界ボックスＢＢが、代表画像に、外接矩形として示されることを説明する図である。詳しくは、３次元群データＴＰに、境界ボックスの部分点群が、２次元フレーム画像ＤＧ(2)の境界ボックスＢＢに対応して求められる。そして、境界ボックスの部分点群は、代表画像に境界ボックスＢＢの２次元点群として投影され、その外接矩形が求められる。
【0025】
この際、代表画像には、フレーム１の境界ボックスＢＢに対応するフレーム１の２次元点群の外接矩形も取得されているので、代表画像には、フレーム１の境界ボックスＢＢとフレーム２の境界ボックスＢＢのそれぞれに対応する２次元点群の外接矩形が取得されている。つまり、全ての２次元フレーム画像ＤＧ(n)の境界ボックスＢＢを、代表画像に境界ボックスＢＢの２次元点群の外接矩形としてまとめることができる。
【0026】
図４Ａ、図４Ｂに示すように、代表画像に対して、撮影方向の角度が大きくなるほどフレームの境界ボックスＢＢに対応する外接矩形は横長形状となる。つまり、物体群２０の端部を代表画像とする場合が、最も境界ボックスＢＢに対応する外接矩形は横長形状となるので、物体群２０の正面を代表画像にするのが望ましい。
【0027】
ここで、代表画像（全体画像データＩＧＤ）について説明する。
代表画像には、２次元フレーム画像ＤＧ(n)の全フレームの境界ボックスＢＢが投影されるが、認識対象物体２２の計数精度の観点では、認識対象物体２２を検出できたことを示す境界ボックスＢＢの数が多いフレームを、代表画像とすることが望ましい。
代表画像には、２次元フレーム画像ＤＧ(n)の全フレームの境界ボックスＢＢが投影されるが、認識対象物体２２の計数精度の観点では、認識対象物体２２を検出できたことを示す境界ボックスＢＢの数が多いフレームを、代表画像とすることが望ましい。
【0028】
また、物体群２０の認識対象物体２２の計数作業の手順に合わせて、２次元フレーム画像ＤＧ(n)の最初のフレームを代表画像とする。すなわち、作業者が計数する物体群２０を確認し、物体群２０の撮影を行う手順に合わせて、撮影開始時のフレームを代表画像とする。
【0029】
物体群２０が撮影視野よりも大きい場合には、物体群２０の端部から順に撮影することが考えられる。このため、２次元フレーム画像ＤＧ(n)の中央のフレームを代表画像とするとよい。
【0030】
ところで、上記では、物体群２０を動画撮影したフレームの内のひとつと同じ位置の画像、つまり、２次元フレーム画像ＤＧ(n)のひとつを、代表画像（全体画像データＩＧＤ）とする場合について説明したが、これに限らず、物体群２０の全体を正面から撮影した静止画を代表画像として、全ての２次元フレーム画像ＤＧ(n)の境界ボックスＢＢを、外接矩形としてまとめるようにしてもよい。
【0031】
この場合には、代表画像とする静止画の撮影時に、同時に、物体群２０の深度画像を取得して、３次元点群データを生成し、物体群２０を動画撮影した際の３次元点群データＴＰと３Ｄレジストレーションでマッチングさせる。これにより、３次元点群データＴＰにおける境界ボックスの部分点群を、代表画像とする静止画に投影して境界ボックスＢＢの２次元点群とし、外接矩形を求めることができる。
【0032】
つぎに、同一の識別番号ＢＩＤの境界ボックスＢＢに対応する外接矩形の統合方法を、図５により説明する。この外接矩形の統合により、認識対象物体の位置及び個数を適切に推定できる。
図５の左図は、物体群２０の左下の認識対象物体２２に関し代表画像に投影された同一のＢＩＤの境界ボックスＢＢの複数の外接矩形（図では３）を示し、右図は、統合した外接矩形を示している。
図５の左図は、物体群２０の左下の認識対象物体２２に関し代表画像に投影された同一のＢＩＤの境界ボックスＢＢの複数の外接矩形（図では３）を示し、右図は、統合した外接矩形を示している。
【0033】
外接矩形は、認識対象物体２２の物体検出の結果を示しているが、複数角度で撮影された結果である外接矩形を統合することで、撮影方向によらない認識対象物体２２の位置や大きさを求めることができる。
【0034】
外接矩形の統合には、外接矩形の座標の平均値、中央値、最大値のいずれかを算出する方法がある。例えば、外形矩形の座標の最大値を算出する方法では、四隅の座標の最小値と最大値を統合した外形矩形の四隅の座標とする方法である。
複数の外接矩形を統合した際に、再度外接矩形と取ってもよい。
複数の外接矩形を統合した際に、再度外接矩形と取ってもよい。
【0035】
また、複数の外接矩形の中心位置の平均または中央を取り統合した統合した図形の中心位置とし、統合した図形のサイズは撮影時の距離から推定される認識対象物体２２のサイズとしてもよい。
なお、外接矩形を統合する際に、求めた外接矩形の座標値が推定される値を大きく異なる場合には、外れ値として統合する外接矩形から除外するようにしてもよい。
なお、外接矩形を統合する際に、求めた外接矩形の座標値が推定される値を大きく異なる場合には、外れ値として統合する外接矩形から除外するようにしてもよい。
【0036】
さらに、上記外接矩形の統合を行う方法を選択できるようにし、統合した外接矩形を表示した代表画像で統合結果を確認できるようにしてもよい。
また、認識対象物体２２の種別に応じて、予め統合方法を設定するようにしてよい。
また、認識対象物体２２の種別に応じて、予め統合方法を設定するようにしてよい。
【0037】
以後、具体的に実施形態の物体認識装置を説明する。
図６は、実施形態の物体認識装置１０の構成を示すブロック図である。
物体認識装置１０は、データ取得部１１とデータ分析部１２と物体検出部１３と計数処理部１４と代表画像表示部１５とを備える。
図６は、実施形態の物体認識装置１０の構成を示すブロック図である。
物体認識装置１０は、データ取得部１１とデータ分析部１２と物体検出部１３と計数処理部１４と代表画像表示部１５とを備える。
【0038】
データ取得部１１は、物体群２０の２次元動画データを撮影するカメラ（図示略）と、物体群２０の３次元点群データを取得するＬｉＤＡＲ（Light Detection and Ranging）等の距離画像センサや３次元センサ（図示略）と、ＩＭＵ（Inertial Measurement Unit）センサと、を備える。また、データ取得部１１は、物体群２０の３次元点群データを、ステレオカメラや単眼深度推定により取得してもよい。
【0039】
これにより、物体群２０の認識対象物体２２を計数する作業者が、データ取得部１１により物体群２０をスキャンすると、データ取得部１１は、２次元動画データをフレーム単位に分割した２次元フレーム画像ＤＧ(n)と、３次元点群データＴＱ（距離画像情報）と、ＩＭＵセンサの検出結果であるＩＭＵデータＤＩと、を取得する。この際、３次元点群データＴＱ（距離画像情報）とＩＭＵデータＤＩとは、２次元フレーム画像ＤＧ(n)と同期して取得することが望ましい。
【0040】
詳しくは、ＩＭＵセンサは、加速度センサ・回転角加速度センサ・ジャイロセンサ・磁界センサ・気圧センサ・温度センサ等の物理情報センサをひとつのパッケージに統合したセンサユニットである。データ取得部１１は、２次元動画データと３次元点群データを取得する際に、ＩＭＵセンサで検出したデータ取得部１１の移動速度、撮影距離、撮影角度が許容範囲であるかを判定する。これより、異常な２次元動画データと３次元点群データの取得を抑制し、解析精度の低下を防止する。
【0041】
データ分析部１２は、データ取得部１０１から供給されたデータに基づいて、３次元点群データＴＰと、撮影位置データＰＳと、デプスデータＤＰと、を出力する。ここで、撮影位置データＰＳは、ＩＭＵデータＤＩや、Ｖｉｓｕａｌ ＳＬＡＭ、ＬｉＤＡＲ ＳＬＡＭ等の手法に基づいて取得したものであり、データ取得部１１の位置（データ取得した位置）を示すデータである。デプスデータＤＰとは、３次元点群データＴＱ，ＴＰを変換して得たデータであり、データ取得部１１の位置（データ取得した位置）から物体群２０の表面の各３次元点までの距離を示すデータである。
【0042】
３次元点群データＴＰは、レジストレーションと呼ばれる技術を用いて、２次元フレーム画像ＤＧ(n)のフレームに対応付けた３次元点群データＴＱの各フレームの点座標を空間上の絶対位置に位置合わせして得る。
【0043】
物体検出部１３は、２次元フレーム画像ＤＧ(n)のフレーム毎に認識対象物体２２の境界ボックスＢＢを推定し、図４Ａと図４Ｂで説明したように、同一の識別番号ＢＩＤの境界ボックスＢＢを、３次元点群データＴＰの境界ボックスＢＢに対応する部分点群を介して、代表画像に投影し、投影した境界ボックスＢＢの２次元点群のそれぞれの外接矩形を求め、外接矩形を統合して、認識対象物体２２を検出する処理部である。
【0044】
詳しくは、物体検出部１３は、まず、円筒状の認識対象物体２２の端面の像は円形または楕円形となるので、２次元フレーム画像ＤＧ(n)の各フレームにおいて、円形または楕円形を検出し、検出した円形または楕円形を囲む四角形の枠を境界ボックスＢＢとして求める。認識対象物体２２の端面を検出する手法は、ディープラーニングを用いた物体検出手法であってもよいし、ＨｏＧ特徴量などを用いた物体検出手法であってもよい。
【0045】
境界ボックスＢＢは、２次元フレーム画像ＤＧ(n)の各フレームにおいて、同じ認識対象物体２２の境界ボックスＢＢには同一の識別番号ＢＩＤを付与する。境界ボックスＢＢの検出は、２次元フレーム画像ＤＧ(n)の全てのフレームについて行う。
【0046】
物体検出部１３における、同一の識別番号ＢＩＤの境界ボックスＢＢを、３次元点群データＴＰの部分点群を介して、代表画像にマッピングし、マッピングした２次元点群のそれぞれの外接矩形を求め、外接矩形を統合して、認識対象物体２２を物体検出する処理の詳細は、図８により、詳細に説明する。
【0047】
計数処理部１４は、物体検出部１３で、外接矩形を統合して求めて検出した認識対象物体２２を計数する。
【0048】
代表画像表示部１５は、物体群２０の全体像を表示する代表画像に外接矩形を統合した矩形図形を重ねて表示するとともに、計数処理部１４で計数した認識対象物体２２の数を表示する。これにより、物体群２０の認識対象物体２２の数を容易に把握できるとともに、境界ボックスの検出状況を確認できるので、計数結果の精度を把握することができる。
【0049】
上記では、物体認識装置１０が、データ取得部１１を備える構成を説明したが、データ取得部１１と他の構成とを別体構成としてもよい。例えば、データ取得部１１をカメラとＬｉＤＡＲとＩＭＵセンサを搭載したスマートフォン等の携帯端末とする。この際、代表画像表示部１５は、代表画像と計数結果の表示を携帯端末に行うとよい。
【0050】
図７は、コンピュータ９８０のブロック図である。
実施形態の物体認識装置１０は、図７に示すコンピュータ９８０により構成する。図７において、コンピュータ９８０は、ＣＰＵ９８１と、記憶部９８２と、通信Ｉ／Ｆ（インタフェース）９８３と、入出力Ｉ／Ｆ９８４と、メディアＩ／Ｆ９８５と、を備える。ここで、記憶部９８２は、ＲＡＭ９８２ａと、ＲＯＭ９８２ｂと、ＨＤＤ９８２ｃと、を備える。通信Ｉ／Ｆ９８３は、通信回路９８６に接続される。入出力Ｉ／Ｆ９８４は、入出力装置９８７に接続される。メディアＩ／Ｆ９８５は、記録媒体９８８からデータを読み書きする。
実施形態の物体認識装置１０は、図７に示すコンピュータ９８０により構成する。図７において、コンピュータ９８０は、ＣＰＵ９８１と、記憶部９８２と、通信Ｉ／Ｆ（インタフェース）９８３と、入出力Ｉ／Ｆ９８４と、メディアＩ／Ｆ９８５と、を備える。ここで、記憶部９８２は、ＲＡＭ９８２ａと、ＲＯＭ９８２ｂと、ＨＤＤ９８２ｃと、を備える。通信Ｉ／Ｆ９８３は、通信回路９８６に接続される。入出力Ｉ／Ｆ９８４は、入出力装置９８７に接続される。メディアＩ／Ｆ９８５は、記録媒体９８８からデータを読み書きする。
【0051】
ＲＯＭ９８２ｂには、ＣＰＵによって実行されるＩＰＬ（Initial Program Loader）等が格納されている。ＨＤＤ９８２ｃには、アプリケーションプログラムや各種データ等が記憶されている。ＣＰＵ９８１は、ＨＤＤ９８２ｃからＲＡＭ９８２ａに読み込んだアプリケーションプログラム等を実行することにより、各種機能を実現する。図６に示した、物体認識装置１０の構成図は、アプリケーションプログラム等によって実現される機能をブロックとして示したものである。
【0052】
つぎに、物体検出部１３の物体検出処理を図８のフロー図により詳細に説明する。
【0053】
ステップＳ８１で、物体検出部１３は、２次元フレーム画像ＤＧ(n)の全てのフレームにおいて、認識対象物体２２の境界ボックスＢＢを推定し、同一の認識対象物体２２の境界ボックスＢＢには同じ識別番号ＢＩＤを付与する。
ステップＳ８２で、物体検出部１３は、処理を行っていない未選択の識別番号ＢＩＤを１つ選択する。
ステップＳ８２で、物体検出部１３は、処理を行っていない未選択の識別番号ＢＩＤを１つ選択する。
【0054】
ステップＳ８３で、物体検出部１３は、２次元フレーム画像ＤＧ(n)の異なるフレームにおいて、ステップＳ８２で選択した識別番号ＢＩＤに属する境界ボックスＢＢで未処理のものを１つ選択する。
ステップＳ８４で、物体検出部１３は、３次元点群データＴＰにおいて、ステップＳ８３で選択した境界ボックスＢＢに対応する境界ボックスの部分点群を得る。
ステップＳ８４で、物体検出部１３は、３次元点群データＴＰにおいて、ステップＳ８３で選択した境界ボックスＢＢに対応する境界ボックスの部分点群を得る。
【0055】
この際、物体検出部１３は、距離が短い点群のみを、境界ボックスＢＢに対応する境界ボックスの部分点群とする。
また、物体検出部１３は、対応する点群との距離が、統計的に外れ値を除外するようにしてもよい。これにより、物体検出の精度を向上することができる。
また、物体検出部１３は、対応する点群との距離が、統計的に外れ値を除外するようにしてもよい。これにより、物体検出の精度を向上することができる。
【0056】
ステップＳ８５で、物体検出部１３は、ステップＳ８２で選択した識別番号ＢＩＤに属する全ての境界ボックスＢＢが処理済か否かを判定し、処理済であれば（Ｓ８５のＹｅｓ）、ステップＳ８６に進み、処理済でなければ（Ｓ８６Ｎｏ）、ステップＳ８３に戻る。
【0057】
ステップＳ８６で、物体検出部１３は、３次元点群データＴＰにおけるステップＳ８２で選択した識別番号ＢＩＤに属する全ての境界ボックスＢＢの部分点群を、代表画像に投影する。
この際、代表画像と、代表画像に投影する境界ボックスＢＢの部分点群に対応する２次元フレーム画像ＤＧ(n)のフレームと、における物体群２０への角度差に応じて、拡大または縮小等の投影変換をするようにしてもよい。
この際、代表画像と、代表画像に投影する境界ボックスＢＢの部分点群に対応する２次元フレーム画像ＤＧ(n)のフレームと、における物体群２０への角度差に応じて、拡大または縮小等の投影変換をするようにしてもよい。
【0058】
ステップＳ８７で、物体検出部１３は、ステップＳ８６で代表画像に投影されたステップＳ８２で選択した識別番号ＢＩＤに属する全ての境界ボックスＢＢの２次元点群の外接矩形を得る。
ステップＳ８８で、物体検出部１３は、図５で説明したようにして、ステップＳ８８の外接矩形を統合する。
ステップＳ８８で、物体検出部１３は、図５で説明したようにして、ステップＳ８８の外接矩形を統合する。
【0059】
ステップＳ８９で、物体検出部１３は、ステップＳ８１で推定した全ての境界ボックスＢＢの識別番号ＢＩＤで処理済か否かを判定し、処理済でなければ（Ｓ８９のＮｏ）、ステップＳ８２に戻り、処理済であれば（Ｓ８９のＹｅｓ）、物体検出部１３の物体検出処理を終了する。
【0060】
つぎに、図９により、代表画像表示部１５（図６参照）が表示する代表画像の表示例を説明する。
代表画像表示部１５は、計数処理部１４で計数した認識対象物体２２の数を表示するとともに、図９に示すように、物体群２０の全体像を表示する代表画像に認識対象物体２２の境界ボックスＢＢの２次元点群の外接矩形を統合した矩形図形を重ねて表示する。
代表画像表示部１５は、計数処理部１４で計数した認識対象物体２２の数を表示するとともに、図９に示すように、物体群２０の全体像を表示する代表画像に認識対象物体２２の境界ボックスＢＢの２次元点群の外接矩形を統合した矩形図形を重ねて表示する。
【0061】
この際、物体認識装置１０は、隠れている認識対象物体２２も検出しているため、境界ボックスＢＢの２次元点群の外接矩形を統合した矩形図形（破線で示す矩形図形）を代表画像に重ねて表示する。このため、図９に示すように、認識対象物体２２の境界ボックスを示す矩形図形の表示が煩雑になり、個々の認識対象物体２２の物体検出の状況を判断しづらくなる。
【0062】
そこで、物体認識装置１０では、代表画像表示部１５が、隠れている認識対象物体２２の境界ボックスを示す矩形図形を弁別可能に表示するとともに、隠れている認識対象物体２２の境界ボックスを示す矩形図形の表示の可否を設定できるようにする。これにより、認識対象物体２２の物体検出の状況把握が容易になる。
【符号の説明】
【0063】
１０ 物体認識装置
１１ データ取得部
１２ データ分析部
１３ 物体検出部
１４ 計数処理部
１５ 代表画像表示部
２０ 物体群
２２ 認識対象物体
１１ データ取得部
１２ データ分析部
１３ 物体検出部
１４ 計数処理部
１５ 代表画像表示部
２０ 物体群
２２ 認識対象物体
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】