知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024071152
(43)【公開日】2024-05-24
(54)【発明の名称】物体認識装置および物体認識方法
(51)【国際特許分類】
G06T 7/70 20170101AFI20240517BHJP
G06M 11/00 20060101ALI20240517BHJP
【ＦＩ】
G06T7/70 A
G06M11/00 D
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022181951
(22)【出願日】2022-11-14
(11)【特許番号】
(45)【特許公報発行日】2023-08-10
(71)【出願人】
【識別番号】000153443
【氏名又は名称】株式会社 日立産業制御ソリューションズ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】金 川
(72)【発明者】
【氏名】小味 弘典
(72)【発明者】
【氏名】菊池 博幸
(72)【発明者】
【氏名】村井 泰裕
(72)【発明者】
【氏名】三沢 博章
(72)【発明者】
【氏名】秋良 直人
(72)【発明者】
【氏名】阿部田 将史
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096CA23
5L096DA02
5L096FA16
5L096FA53
5L096FA69
(57)【要約】
【課題】認識対象物体の位置を適切に推定できるようにする。
【解決手段】複数の認識対象物体２２を含む物体群２０を撮影した２次元画像データＤＧから前記認識対象物体２２に対応する特徴領域を認識する特徴領域認識部２２２と、前記認識対象物体２２の３次元形状を認識する３次元形状認識部２２４と、前記特徴領域認識部２２２および前記３次元形状認識部２２４における認識結果に基づいて、各々の前記認識対象物体２２の位置を推定する物体位置推定部２２６と、を物体認識装置１０に設けた。
【選択図】図１
【解決手段】複数の認識対象物体２２を含む物体群２０を撮影した２次元画像データＤＧから前記認識対象物体２２に対応する特徴領域を認識する特徴領域認識部２２２と、前記認識対象物体２２の３次元形状を認識する３次元形状認識部２２４と、前記特徴領域認識部２２２および前記３次元形状認識部２２４における認識結果に基づいて、各々の前記認識対象物体２２の位置を推定する物体位置推定部２２６と、を物体認識装置１０に設けた。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の認識対象物体を含む物体群を撮影した２次元画像データから前記認識対象物体に対応する特徴領域を認識する特徴領域認識部と、
前記認識対象物体の３次元形状を認識する３次元形状認識部と、
前記特徴領域認識部および前記３次元形状認識部における認識結果に基づいて、各々の前記認識対象物体の位置を推定する物体位置推定部と、を備える
ことを特徴とする物体認識装置。
前記認識対象物体の３次元形状を認識する３次元形状認識部と、
前記特徴領域認識部および前記３次元形状認識部における認識結果に基づいて、各々の前記認識対象物体の位置を推定する物体位置推定部と、を備える
ことを特徴とする物体認識装置。
【請求項2】
前記物体位置推定部は、前記物体群の表面の点座標を含む３次元点群データから、前記特徴領域に対応する点座標を抽出することにより、各々の前記認識対象物体の位置を認識する
ことを特徴とする請求項１に記載の物体認識装置。
ことを特徴とする請求項１に記載の物体認識装置。
【請求項3】
前記２次元画像データは複数のフレームに分割されているものであり、
前記３次元点群データを、前記２次元画像データに同期して分割するデータ分析部をさらに備える
ことを特徴とする請求項２に記載の物体認識装置。
前記３次元点群データを、前記２次元画像データに同期して分割するデータ分析部をさらに備える
ことを特徴とする請求項２に記載の物体認識装置。
【請求項4】
前記特徴領域認識部によって複数の前記フレームに対応して認識した前記特徴領域が、同一の前記認識対象物体に対応する度合いを示す確信度を、前記特徴領域毎に算出する確信度算出部をさらに備える
ことを特徴とする請求項３に記載の物体認識装置。
ことを特徴とする請求項３に記載の物体認識装置。
【請求項5】
前記特徴領域認識部が推定した前記特徴領域と、前記３次元形状認識部における認識結果と、に基づいて、前記認識対象物体の暫定カウント値を算出する推定カウント値算出部と、
前記確信度に基づいて、前記暫定カウント値を修正した結果であるカウント値を求める修正部と、をさらに備える
ことを特徴とする請求項４に記載の物体認識装置。
前記確信度に基づいて、前記暫定カウント値を修正した結果であるカウント値を求める修正部と、をさらに備える
ことを特徴とする請求項４に記載の物体認識装置。
【請求項6】
前記カウント値に対応する前記認識対象物体の画像を表示する計算結果表示部と、
ユーザの操作に基づいて、前記カウント値の修正を指令する計算結果修正部と、をさらに備える
ことを特徴とする請求項５に記載の物体認識装置。
ユーザの操作に基づいて、前記カウント値の修正を指令する計算結果修正部と、をさらに備える
ことを特徴とする請求項５に記載の物体認識装置。
【請求項7】
複数の認識対象物体を含む物体群を撮影した２次元画像データから前記認識対象物体に対応する特徴領域を認識する特徴領域認識過程と、
前記認識対象物体の３次元形状を認識する３次元形状認識過程と、
前記特徴領域認識過程および前記３次元形状認識過程における認識結果に基づいて、各々の前記認識対象物体の位置を推定する物体位置推定過程と、を備える
ことを特徴とする物体認識方法。
前記認識対象物体の３次元形状を認識する３次元形状認識過程と、
前記特徴領域認識過程および前記３次元形状認識過程における認識結果に基づいて、各々の前記認識対象物体の位置を推定する物体位置推定過程と、を備える
ことを特徴とする物体認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体認識装置および物体認識方法に関する。
【背景技術】
【0002】
近年の少子高齢化に伴う作業者の減少に伴い、在庫数確認などの目視による確認作業を代替するため、各種物体の個数を計数する技術が提案されている。例えば、下記特許文献１の要約には、「…入力される画像データに基づいて、当該画像データに含まれる各資材に対して境界ボックスを検出して、各境界ボックス毎に所定の種類の資材か否かを出力し、前記各種類毎の資材の個数を計数する計数処理部…」と記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－２６６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上述した技術において、認識対象物体の位置を一層適切に推定したいという要望がある。
この発明は上述した事情に鑑みてなされたものであり、物体の位置を適切に推定できる物体認識装置および物体認識方法を提供することを目的とする。
この発明は上述した事情に鑑みてなされたものであり、物体の位置を適切に推定できる物体認識装置および物体認識方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するため本発明の物体認識装置は、複数の認識対象物体を含む物体群を撮影した２次元画像データから前記認識対象物体に対応する特徴領域を認識する特徴領域認識部と、前記認識対象物体の３次元形状を認識する３次元形状認識部と、前記特徴領域認識部および前記３次元形状認識部における認識結果に基づいて、各々の前記認識対象物体の位置を推定する物体位置推定部と、を備えることを特徴とする。
【発明の効果】
【0006】
本発明によれば、認識対象物体の位置を適切に推定できる。
【図面の簡単な説明】
【0007】
【図1】第１実施形態によるデータ取得システムのブロック図である。
【図2】２次元フレーム画像の例を示す図である。
【図3】コンピュータのブロック図である。
【図4】データ取得装置において実行されるデータ取得処理ルーチンのフローチャートである。
【図5】物体自動計数装置において実行される計数処理ルーチンのフローチャートである。
【図6】カウント対象となった境界ボックスの一例を示す図である。
【図7】計算結果表示部における表示画面の例を示す図である。
【発明を実施するための形態】
【0008】
［実施形態の概要］
一般的には、画像解析ＡＩによる物体の自動計数は、目標精度を達成するまで、データの再収集・再学習を行う必要があり、非常に大きな工数がかかる。また、上述した特許文献１では、計数対象物体が一枚の画像に収まらない場合の対策をしていないため、撮影の方法や対象の物体が限定される。そこで、後述する実施形態では、２次元の画像データと３次元の点群データとを同期して（より好ましくは同時に）取得することで、２次元の画像データに基づく計数結果（境界ボックス）と、３次元の点群情報とを相互参照し、計数対象物体が一枚の画像に収まらない場合であっても、計数対象物体の数を適切に計数するものである。
一般的には、画像解析ＡＩによる物体の自動計数は、目標精度を達成するまで、データの再収集・再学習を行う必要があり、非常に大きな工数がかかる。また、上述した特許文献１では、計数対象物体が一枚の画像に収まらない場合の対策をしていないため、撮影の方法や対象の物体が限定される。そこで、後述する実施形態では、２次元の画像データと３次元の点群データとを同期して（より好ましくは同時に）取得することで、２次元の画像データに基づく計数結果（境界ボックス）と、３次元の点群情報とを相互参照し、計数対象物体が一枚の画像に収まらない場合であっても、計数対象物体の数を適切に計数するものである。
【0009】
［第１実施形態］
〈第１実施形態の構成〉
図１は、第１実施形態によるデータ取得システム１０（物体認識装置）のブロック図である。
データ取得システム１０は、物体群２０に含まれる認識対象物体２２の位置を推定し、かつ数量を計数するものであり、データ取得装置１と、物体自動計数装置２と、を備えている。なお、図示の例において、各認識対象物体２２は、円筒状の物体である。
〈第１実施形態の構成〉
図１は、第１実施形態によるデータ取得システム１０（物体認識装置）のブロック図である。
データ取得システム１０は、物体群２０に含まれる認識対象物体２２の位置を推定し、かつ数量を計数するものであり、データ取得装置１と、物体自動計数装置２と、を備えている。なお、図示の例において、各認識対象物体２２は、円筒状の物体である。
【0010】
データ取得装置１は、データ取得部１０１と、データ分析部１０２と、データ送信部１０４と、計算結果表示部１０６と、計算結果修正部１０８と、を備えている。また、物体自動計数装置２は、データ受信部２０１と、物体計数部２０２と、計算結果補正部２０３と、計数結果送信部２０４と、計数結果登録部２０５と、計数結果データベース２０６と、を備えている。
【0011】
データ取得部１０１は、２次元動画データを撮影するカメラ（図示略）と、３次元点群データを取得するＬｉＤＡＲ（Light Detection and Ranging）等の３次元センサ（図示略）と、ＩＭＵ（Inertial Measurement Unit）センサと、を備える。これにより、ユーザがデータ取得部１０１を操作して物体群２０をスキャンすると、データ取得部１０１は、２次元動画データＤＧ（２次元画像データ）と、３次元点群データＴＱと、ＩＭＵセンサの検出結果であるＩＭＵデータＤＩと、を出力する。
【0012】
データ分析部１０２は、データ取得部１０１から供給されたデータに基づいて、２次元動画データＤＧと、３次元点群データＴＰと、撮影位置データＰＳと、デプスデータＤＰと、を出力する。ここで、撮影位置データＰＳは、ＩＭＵデータＤＩや、Ｖｉｓｕａｌ ＳＬＡＭ、ＬｉＤＡＲ ＳＬＡＭ等の手法に基づいて取得したものであり、データ取得部１０１の位置を示すデータである。３次元点群データＴＰは、３次元点群データＴＱに対して点群累積処理（詳細は後述する）を行った結果のデータである。また、デプスデータＤＰとは、３次元点群データＴＱ，ＴＰを変換して得たデータであり、データ取得部１０１の位置から各３次元点までの距離を表すデータである。
【0013】
２次元データ動画データＤＧのフレーム番号をｎとし、物体群２０をスキャンする期間内におけるフレーム番号ｎの最小値を「１」とし、フレーム番号ｎの最大値を「ｎ_max」とする。２次元動画データＤＧの、フレーム番号ｎの画像を２次元フレーム画像ＤＧ（ｎ）と呼ぶ。また、データ分析部１０２は、２次元動画データＤＧのフレーム周期に同期して（より好ましくは同一タイミングで）３次元点群データＴＱ、撮影位置データＰＳおよびデプスデータＤＰを分割する。以下、フレーム毎に分割された３次元点群データＴＱを、フレーム番号ｎを用いて３次元フレーム点群ＴＱ（ｎ）と呼ぶ。
【0014】
ここで、データ分析部１０２が実行する点群累積処理について説明する。あるフレーム番号ｎにおける３次元フレーム点群ＴＱ（ｎ）には、物体群２０の表面上における点の３次元位置座標である複数の点座標が含まれる。同様に、次のフレーム番号ｎ＋１における３次元フレーム点群ＴＱ（ｎ＋１）にも、複数の点座標が含まれる。ここで、データ取得部１０１が両フレーム間で移動すると、基準となるデータ取得部１０１の位置が異なるため、一般的には、３次元フレーム点群ＴＱ（ｎ）に含まれる点座標は、３次元フレーム点群ＴＱ（ｎ＋１）に含まれる何れの点座標とも一致しない。
【0015】
そこで、データ分析部１０２は、レジストレーションと呼ばれる技術を用いて、３次元フレーム点群ＴＱ（ｎ）の点座標となるべく一致するように３次元フレーム点群ＴＱ（ｎ＋１）に含まれる点座標の空間上の絶対位置に合わせ（以下、単に「位置合わせ」と呼ぶ）、その結果を３次元点群データＴＰとして出力する。この結果、３次元フレーム点群ＴＰ（ｎ）および３次元フレーム点群ＴＰ（ｎ＋１）に含まれる点座標は、大部分が一致するようになる。そして、３次元フレーム点群ＴＰ（ｎ），ＴＰ（ｎ＋１）のうち一方のみに含まれる点座標は、一般的には、他方において死角になる部分の点座標になる。この処理を点群累積処理と呼ぶ。なお、図１の例では、データ分析部１０２はデータ取得装置１に含まれているが、データ分析部１０２を物体自動計数装置２に含めてもよい。
【0016】
データ送信部１０４は、２次元動画データＤＧ、３次元点群データＴＰ、撮影位置データＰＳおよびデプスデータＤＰをデータ受信部２０１に送信し、データ受信部２０１はこれらのデータを受信する。
【0017】
物体計数部２０２は、特徴領域認識部２２２（特徴領域認識過程）と、３次元形状認識部２２４（３次元形状認識過程）と、物体位置推定部２２６（物体位置推定過程）と、推定カウント値算出部２２８と、を備えている。特徴領域認識部２２２は、各フレームの２次元フレーム画像ＤＧ（ｎ）を画像解析し、認識対象物体２２の特徴を表す境界ボックスＢＢ（特徴領域、図２参照）を推定する。
【0018】
図１に示した例において、認識対象物体２２は円筒状であるため、その端面の像は、２次元フレーム画像ＤＧ（ｎ）において円形または楕円形になる。そこで、これらの円形または楕円形を囲む四角形の枠を境界ボックスＢＢ（図２参照）と呼ぶ。フレーム番号ｎにおけるｋ番目の境界ボックス（但し、ｋ＝１，…，ｋ_max）を、境界ボックスＢＢ（ｎ，ｋ）と表す。なお、境界ボックス数ｋ_maxは、フレーム番号ｎ毎に異なる。認識対象物体２２の端面を検出する手法は、ディープラーニングを用いた物体検出手法であってもよいし、ＨｏＧ特徴量などを用いた物体検出手法であってもよい。
【0019】
３次元形状認識部２２４は、認識対象物体２２の形状を示すプロファイルデータに基づいて、認識対象物体２２の３次元形状および寸法を認識する。物体位置推定部２２６は、特徴領域認識部２２２および３次元形状認識部２２４の認識結果に基づいて、各々の認識対象物体２２の位置および姿勢を推定する。推定カウント値算出部２２８は、物体位置推定部２２６における推定結果に基づいて、認識対象物体２２の数量の暫定値である暫定カウント値ＣＮＴＰ（詳細は後述する）を算出する。
【0020】
また、計算結果補正部２０３は、確信度算出部２３２と、修正部２３４と、を備えている。確信度算出部２３２は、複数のフレームにおける境界ボックスＢＢが、同一の認識対象物体２２に対応する度合いを示す確信度ＰＲを算出する。また、修正部２３４は、暫定カウント値ＣＮＴＰを修正することにより、より確実性の高いカウント値ＣＮＴを求める。
【0021】
図２は、２次元フレーム画像ＤＧ（ｎ）の例を示す図である。
図２には、あるフレーム番号ｎａ，ｎｂにおける２次元フレーム画像ＤＧ（ｎａ），ＤＧ（ｎｂ）を示す。これら画像においては、認識対象物体２２の像である複数の物体像３２が含まれている。また、図２には、各画像から抽出された境界ボックスＢＢの例も併せて表記している。但し、図示の２次元フレーム画像ＤＧ（ｎａ）には、実際には認識対象物体２２の端面の像が含まれていないにもかかわらず、境界ボックスとして誤って抽出した誤抽出境界ボックス３８も含まれている。例えば、物体群２０（図１参照）の周辺に円環状の形状を有する異物が存在し、認識対象物体２２がその異物を認識対象物体２２の端面であると誤認した場合に、誤抽出境界ボックス３８が現れる。
図２には、あるフレーム番号ｎａ，ｎｂにおける２次元フレーム画像ＤＧ（ｎａ），ＤＧ（ｎｂ）を示す。これら画像においては、認識対象物体２２の像である複数の物体像３２が含まれている。また、図２には、各画像から抽出された境界ボックスＢＢの例も併せて表記している。但し、図示の２次元フレーム画像ＤＧ（ｎａ）には、実際には認識対象物体２２の端面の像が含まれていないにもかかわらず、境界ボックスとして誤って抽出した誤抽出境界ボックス３８も含まれている。例えば、物体群２０（図１参照）の周辺に円環状の形状を有する異物が存在し、認識対象物体２２がその異物を認識対象物体２２の端面であると誤認した場合に、誤抽出境界ボックス３８が現れる。
【0022】
これら２次元フレーム画像ＤＧ（ｎａ），ＤＧ（ｎｂ）における境界ボックスＢＢには、同一の認識対象物体２２に対するものが含まれている。計算結果補正部２０３は、３次元点群データＴＰを参照して、複数のフレームに現れている、同一の認識対象物体２２に対するもの境界ボックスＢＢを統合し、これによって物体群２０（図１参照）に含まれる認識対象物体２２の数をカウントする。なお、その詳細については後述する。
【0023】
図３は、コンピュータ９８０のブロック図である。
図１に示したデータ取得装置１および物体自動計数装置２は、何れも図１に示すコンピュータ９８０を、１台または複数台備えている。図３において、コンピュータ９８０は、ＣＰＵ９８１と、記憶部９８２と、通信Ｉ／Ｆ（インタフェース）９８３と、入出力Ｉ／Ｆ９８４と、メディアＩ／Ｆ９８５と、を備える。ここで、記憶部９８２は、ＲＡＭ９８２ａと、ＲＯＭ９８２ｂと、ＨＤＤ９８２ｃと、を備える。通信Ｉ／Ｆ９８３は、通信回路９８６に接続される。入出力Ｉ／Ｆ９８４は、入出力装置９８７に接続される。メディアＩ／Ｆ９８５は、記録媒体９８８からデータを読み書きする。
図１に示したデータ取得装置１および物体自動計数装置２は、何れも図１に示すコンピュータ９８０を、１台または複数台備えている。図３において、コンピュータ９８０は、ＣＰＵ９８１と、記憶部９８２と、通信Ｉ／Ｆ（インタフェース）９８３と、入出力Ｉ／Ｆ９８４と、メディアＩ／Ｆ９８５と、を備える。ここで、記憶部９８２は、ＲＡＭ９８２ａと、ＲＯＭ９８２ｂと、ＨＤＤ９８２ｃと、を備える。通信Ｉ／Ｆ９８３は、通信回路９８６に接続される。入出力Ｉ／Ｆ９８４は、入出力装置９８７に接続される。メディアＩ／Ｆ９８５は、記録媒体９８８からデータを読み書きする。
【0024】
ＲＯＭ９８２ｂには、ＣＰＵによって実行されるＩＰＬ（Initial Program Loader）等が格納されている。ＨＤＤ９８２ｃには、アプリケーションプログラムや各種データ等が記憶されている。ＣＰＵ９８１は、ＨＤＤ９８２ｃからＲＡＭ９８２ａに読み込んだアプリケーションプログラム等を実行することにより、各種機能を実現する。先に図１に示した、データ取得装置１および物体自動計数装置２の内部は、アプリケーションプログラム等によって実現される機能をブロックとして示したものである。
【0025】
〈第１実施形態の動作〉
（データ取得処理）
次に、本実施形態の動作を説明する。
図４は、データ取得装置１において実行されるデータ取得処理ルーチンのフローチャートである。
図４において処理がステップＳ２０１に進むと、データ取得部１０１は、ＩＭＵデータＤＩを取得する。次に、処理がステップＳ２０２に進むと、データ分析部１０２は、３次元点群データＴＰに基づいて、デプスデータＤＰを取得する。
（データ取得処理）
次に、本実施形態の動作を説明する。
図４は、データ取得装置１において実行されるデータ取得処理ルーチンのフローチャートである。
図４において処理がステップＳ２０１に進むと、データ取得部１０１は、ＩＭＵデータＤＩを取得する。次に、処理がステップＳ２０２に進むと、データ分析部１０２は、３次元点群データＴＰに基づいて、デプスデータＤＰを取得する。
【0026】
次に、処理がステップＳ２０３に進むと、データ取得部１０１は２次元動画データＤＧを取得する。次に、処理がステップＳ２０４に進むと、データ分析部１０２は、ＩＭＵデータＤＩ、３次元点群データＴＰおよび２次元動画データＤＧに基づいて、撮影位置データＰＳを取得する。次に、処理がステップＳ２０５に進むと、データ分析部１０２は、３次元点群データＴＱに対して点群累積処理を行い、その結果である３次元点群データＴＰを取得する。
【0027】
次に、処理がステップＳ２０６に進むと、データ分析部１０２は、２次元動画データＤＧのエンコード処理を行う。次に、処理がステップＳ２０７に進むと、データ分析部１０２は、３次元点群データＴＰ、撮影位置データＰＳ、およびデプスデータＤＰを、２次元動画データＤＧのフレームタイミングに同期して、フレーム単位に分割する。
【0028】
次に、処理がステップＳ２０８に進むと、データ分析部１０２は、ユーザが所定の終了操作を行ったか否かを判定する。ここで「Ｎｏ」と判定されると、ステップＳ２０１～Ｓ２０８の動作が再度繰り返される。一方、ユーザが所定の終了操作を行った場合は「Ｙｅｓ」と判定され、処理はステップＳ２０９に進む。ここでは、データ送信部１０４が、上述した２次元動画データＤＧ、３次元点群データＴＰ、撮影位置データＰＳおよびデプスデータＤＰを、物体自動計数装置２に送信し、本ルーチンの処理が終了する。
【0029】
（計数処理）
図５は、物体自動計数装置２において実行される計数処理ルーチンのフローチャートである。
図５において処理がステップＳ３０１に進むと、物体計数部２０２は、各々の２次元フレーム画像ＤＧ（ｎ）において、境界ボックスＢＢ（図２参照）を推定し、各フレームにおける境界ボックス数ｋ_maxを取得する。次に、処理がステップＳ３０２に進むと、物体計数部２０２は、全てのフレーム番号の中で、（後述するステップＳ３０３の処理において）未だ選択されていないフレーム番号が存在するか否かを判定する。
図５は、物体自動計数装置２において実行される計数処理ルーチンのフローチャートである。
図５において処理がステップＳ３０１に進むと、物体計数部２０２は、各々の２次元フレーム画像ＤＧ（ｎ）において、境界ボックスＢＢ（図２参照）を推定し、各フレームにおける境界ボックス数ｋ_maxを取得する。次に、処理がステップＳ３０２に進むと、物体計数部２０２は、全てのフレーム番号の中で、（後述するステップＳ３０３の処理において）未だ選択されていないフレーム番号が存在するか否かを判定する。
【0030】
ステップＳ３０２において「Ｙｅｓ」と判定されると、処理はステップＳ３０３に進み、物体計数部２０２は、未だ選択されていない一つのフレーム番号を選択する。選択されたフレーム番号を、以下、「フレーム番号ｎｓ」と呼ぶ。次に、処理がステップＳ３０４に進むと、フレーム番号ｎｓに係る２次元フレーム画像ＤＧ（ｎｓ）において、識別番号ＢＩＤが未割当である境界ボックスＢＢが存在するか否かを判定する。
【0031】
なお、識別番号ＢＩＤとは、同一の認識対象物体２２（図１参照）に対応して認識されたと推定される、一または複数の境界ボックスＢＢ（ｎ，ｋ）に対して共通に付与される識別番号である。ある境界ボックスＢＢ（ｎ，ｋ）に付与された識別番号ＢＩＤを、「識別番号ＢＩＤ（ｎ，ｋ）」のように表記することがある。ステップＳ３０４において「Ｙｅｓ」と判定されると、処理はステップＳ３０５に進み、物体計数部２０２は、２次元フレーム画像ＤＧ（ｎｓ）において識別番号ＢＩＤが未割当である一つの境界ボックスＢＢを選択する。選択された境界ボックスＢＢを、以下、選択境界ボックスＢＢ（ｎｓ，ｋｓ）（但し、ｋ＝１，…，ｋ_max）と呼ぶ。
【0032】
次に、処理がステップＳ３０６に進むと、物体計数部２０２は最尤識別番号ＢＩＤ_Mを検索する。そこで、この処理の内容について説明する。まず、フレーム番号ｎにおける３次元フレーム点群ＴＰ（ｎ）のうち、境界ボックスＢＢ（ｎ，ｋ）に対応する点群を境界ボックス対応点群ＢＰ（ｎ，ｋ）と呼ぶ。すなわち、境界ボックス対応点群ＢＰ（ｎ，ｋ）とは、認識対象物体２２（図１参照）の形状（例えば円筒）に基づいて、境界ボックスＢＢ（ｎ，ｋ）に係る認識対象物体２２（図１参照）の表面の点座標であると推定できる点座標の集合である。物体位置推定部２２６（図１参照）は、各境界ボックスＢＢ（ｎ，ｋ）に対応する境界ボックス対応点群ＢＰ（ｎ，ｋ）を抽出することによって、各認識対象物体２２の位置および姿勢を認識する。また、選択境界ボックスＢＢ（ｎｓ，ｋｓ）に対応する点群を選択境界ボックス対応点群ＢＰ（ｎｓ，ｋｓ）と呼ぶ。
【0033】
物体計数部２０２は、既に識別番号ＢＩＤが付与された全ての境界ボックスＢＢ（ｎ，ｋ）について、境界ボックス対応点群ＢＰ（ｎ，ｋ）と、選択境界ボックス対応点群ＢＰ（ｎｓ，ｋｓ）との重複度ＭＵＬ（ＢＩＤ）を計算する。ここで、重複度ＭＵＬ（ＢＩＤ）とは、識別番号ＢＩＤの境界ボックス対応点群ＢＰ（ｎ，ｋ）に属する点座標のうち選択境界ボックス対応点群ＢＰ（ｎｓ，ｋｓ）に属する点座標と一致するものの割合である。そして、計算結果補正部２０３は、全ての識別番号ＢＩＤに対応する重複度ＭＵＬ（ＢＩＤ）のうち、最大になるものを検索する。検索された重複度ＭＵＬ（ＢＩＤ）に係る識別番号ＢＩＤを、最尤識別番号ＢＩＤ_Mと呼ぶ。
【0034】
次に、処理がステップＳ３０７に進むと、物体計数部２０２は、最尤識別番号ＢＩＤ_Mに係る重複度ＭＵＬ（ＢＩＤ_M）が、所定の閾値ＭＵＬth以上であるか否かを判定する。ここで、「Ｎｏ」と判定されると、処理はステップＳ３０８に進む。ステップＳ３０７で「Ｎｏ」と判定されたということは、選択境界ボックス対応点群ＢＰ（ｎｓ，ｋｓ）は、既に識別番号ＢＩＤが付与された他の境界ボックスＢＢ（ｎ，ｋ）の境界ボックス対応点群ＢＰ（ｎ，ｋ）との間で重複する点座標が少ない、ということである。
【0035】
換言すれば、選択境界ボックスＢＢ（ｎｓ，ｋｓ）は、既に識別番号ＢＩＤが付与された他の境界ボックスＢＢ（ｎ，ｋ）とは異なる認識対象物体２２（図１参照）について検出された境界ボックスＢＢであると推定される。そこで、ステップＳ３０８において、物体計数部２０２は、新しい識別番号ＢＩＤ（新識別番号ＢＩＤ_nと呼ぶ）を生成し、選択境界ボックスＢＢ（ｎｓ，ｋｓ）に割り当てる。また、新識別番号ＢＩＤ_nの確信度ＰＲ（ＢＩＤ_n）を「１」に設定する。
【0036】
一方、ステップＳ３０７において「Ｙｅｓ」と判定されると、処理はステップＳ３０９に進む。この場合、選択境界ボックスＢＢ（ｎｓ，ｋｓ）は、既に最尤識別番号ＢＩＤ_Mが付与されている一または複数の他の境界ボックスＢＢ（ｎ，ｋ）と同一の認識対象物体２２について検出された境界ボックスＢＢであると推定される。そこで、ステップＳ３０９において、物体計数部２０２は、選択境界ボックスＢＢ（ｎｓ，ｋｓ）の識別番号ＢＩＤ（ｎｓ，ｋｓ）に、最尤識別番号ＢＩＤ_Mを代入し、確信度ＰＲ（ＢＩＤ_M）を「１」だけ増加させる。
【0037】
以下、同様にステップＳ３０２～Ｓ３０９の処理が繰り返されると、全てのフレーム番号ｎにおいて検出された全ての境界ボックスＢＢ（ｎ，ｋ）に対して、識別番号ＢＩＤが付与され、かつ、これら識別番号ＢＩＤの各々に対して確信度ＰＲ（ＢＩＤ）が計算される。その後、処理がステップＳ３０２に進むと、ここで「Ｎｏ」と判定され、処理はステップＳ３１０に進む。なお、この時点で既に付与された識別番号ＢＩＤの総数は、認識対象物体２２（図１参照）の数量として暫定的に推定された数になる。そこで、識別番号ＢＩＤの総数を、暫定カウント値ＣＮＴＰと呼ぶ。換言すれば、物体計数部２０２の推定カウント値算出部２２８は、識別番号ＢＩＤの総数をカウントすることによって暫定カウント値ＣＮＴＰを求める機能を備える。
【0038】
次に、ステップＳ３１０において、計算結果補正部２０３は、全ての点座標のヒット値Ｑを算出する。その内容を、以下説明する。フレーム番号ｎにおける３次元フレーム点群ＴＰ（ｎ）に属する全ての点座標の数をｐ_maxとしたとき、３次元フレーム点群ＴＰ（ｎ）に属する点座標を点座標ＴＴＰ（ｎ，ｐ）（但し、ｐ＝１，…，ｐ_max）と呼ぶ。上述したように、ステップＳ２０５（図４参照）において点群累積処理を行った結果、点座標ＴＴＰ（ｎ，ｐ）は複数のフレームにおいて、同一値になる場合もある。一または複数のフレームにおいて、同一値である点座標ＴＴＰ（ｎ，ｐ）が存在するとき、これらフレームの数を「ヒット値Ｑ」と呼ぶ。また、点座標ＴＴＰ（ｎ，ｐ）のヒット値をヒット値Ｑ（ｎ，ｐ）と呼ぶ。ステップＳ３１０において、計算結果補正部２０３は、全てのフレームにおける全ての点座標ＴＴＰ（ｎ，ｐ）のヒット値Ｑ（ｎ，ｐ）を算出する。
【0039】
次に、処理がステップＳ３１１に進むと、計算結果補正部２０３は、全ての識別番号ＢＩＤに対応する平均ヒット値Ｑave（ＢＩＤ）を算出する。その処理内容を説明する。まず、計算結果補正部２０３は、全ての識別番号ＢＩＤについて、各々の識別番号ＢＩＤが付与された境界ボックスＢＢ（ｎ，ｋ）に対応する境界ボックス対応点群ＢＰ（ｎ，ｋ）を列挙する。次に、計算結果補正部２０３は、列挙した境界ボックス対応点群ＢＰ（ｎ，ｋ）に属する点座標のヒット値Ｑを抽出する。この抽出した全てのヒット値Ｑの平均値が平均ヒット値Ｑaveになる。ある識別番号ＢＩＤにおける平均ヒット値Ｑaveを、平均ヒット値Ｑave（ＢＩＤ）と呼ぶ。
【0040】
次に、処理がステップＳ３１２に進むと、計算結果補正部２０３における修正部２３４は、カウント値ＣＮＴを「０」に初期化する。次に、処理がステップＳ３１２に進むと、修正部２３４は、全ての識別番号ＢＩＤについて、ステップＳ３１４の処理を実行したか否かを判定する。
【0041】
ここで「Ｎｏ」と判定されると、処理はステップＳ３１４に進み、修正部２３４は、未処理の識別番号ＢＩＤを一つ選択し、その評価値ＥＶ（ＢＩＤ）を計算する。ここで、評価値ＥＶ（ＢＩＤ）は、「ＥＶ（ＢＩＤ）＝ＰＲ（ＢＩＤ）×Ｑave（ＢＩＤ）」で計算される値である。次に、処理がステップＳ３１５に進むと、修正部２３４は、評価値ＥＶ（ＢＩＤ）が所定の閾値ＥＶth以上であるか否かを判定する。
【0042】
ここで、「Ｙｅｓ」と判定されると、処理はステップＳ３１６に進む。この場合、識別番号ＢＩＤが付与された境界ボックスＢＢ（ｎ，ｋ）は、実際に認識対象物体２２（図１参照）に対応した有効な境界ボックスであり、識別番号ＢＩＤは有効な識別番号になる。そこで、修正部２３４は、カウント値ＣＮＴを「１」だけ増加させる。その後、処理はステップＳ３１３に戻る。
【0043】
一方、ステップＳ３１５において「Ｎｏ」と判定されると、ステップＳ３１６はスキップされ、処理はステップＳ３１３に戻る。この場合、識別番号ＢＩＤが付与された境界ボックスＢＢ（ｎ，ｋ）は、実際に認識対象物体２２（図１参照）に対応したものではなく、誤抽出境界ボックス３８（図２参照）であると推定される。すなわち、識別番号ＢＩＤは無効な識別番号になる。このように、全ての識別番号ＢＩＤについてステップＳ３１４～Ｓ３１６が実行され、その後に処理がステップＳ３１３に戻ると、ここで「Ｙｅｓ」と判定され、処理はステップＳ３１７に進む。
【0044】
ステップＳ３１７において、計数結果送信部２０４は、カウント値ＣＮＴと、全体画像データＩＧＤと、をデータ取得装置１に出力する。ここで、全体画像データＩＧＤとは、物体群２０（図１参照）の全体を俯瞰した画像であり、計算結果補正部２０３が、２次元動画データＤＧの各フレームを重ね合わせることによって生成したものである。以上により、本ルーチンの処理が終了する。
【0045】
図６は、カウント対象となった境界ボックスＢＢの一例を示す図である。
図６においては、図２に示した誤抽出境界ボックス３８は、評価値ＥＶ（ＢＩＤ）が閾値ＥＶth未満になるため、カウント対象から除外されている。
図６においては、図２に示した誤抽出境界ボックス３８は、評価値ＥＶ（ＢＩＤ）が閾値ＥＶth未満になるため、カウント対象から除外されている。
【0046】
（計数結果の修正処理）
図７は、計算結果表示部１０６における表示画面の例を示す図である。
同図に示す表示画面３１０は、全体画像表示部３１２と、カウント値表示部３１４と、カーソル３１６と、を含んでいる。
図７は、計算結果表示部１０６における表示画面の例を示す図である。
同図に示す表示画面３１０は、全体画像表示部３１２と、カウント値表示部３１４と、カーソル３１６と、を含んでいる。
【0047】
全体画像表示部３１２は、表示画面３１０の全体と重なっており、物体自動計数装置２から供給された全体画像データＩＧＤの内容を表示する。ここで、表示画面３１０においては、有効な識別番号ＢＩＤに対応する境界ボックス対応点群ＢＰ（ｎ，ｋ）に対応する領域がハイライト表示される。図６においては、ハイライト表示されている部分を、ドットを付して表示している。
【0048】
カウント値表示部３１４は、カウント値ＣＮＴを表示する。カーソル３１６は、ユーザの操作に応じて表示画面に示される矩形枠画像であり、ユーザは、その位置および大きさを自由に調節できる。図示の例においては、カーソル３１６が表示されている領域において、カウント抜けが生じたと考えられる部分が生じている。このような場合、ユーザは、図示のように、カウント抜けが生じたと考えられる部分にカーソル３１６の位置を合わせ、所定の操作を行い、物体自動計数装置２に対して計数処理の再実行を指令することができる。
【0049】
計数処理の再実行が指令されると、その旨が物体自動計数装置２に通知され、物体自動計数装置２は、上述した計数処理ルーチン（図５）を再実行する。但し、計数処理ルーチンの再実行時において、計算結果補正部２０３は、カーソル３１６が表示されている部分において有効な識別番号ＢＩＤに対応する境界ボックス対応点群ＢＰ（ｎ，ｋ）が生じるように、上述した閾値ＭＵＬthまたは閾値ＥＶthを、最初に実行した時と比較して、低い値に設定する。
【0050】
図７に示す表示画面３２０は、物体自動計数装置２が計数処理ルーチンを再実行時した後に計算結果表示部１０６に表示される表示画面の例である。表示画面３２０は、表示画面３１０と同様に、全体画像表示部３１２と、カウント値表示部３１４と、を含んでいる。
【0051】
但し、全体画像表示部３１２は、計数処理ルーチンの再実行結果に基づく全体画像データＩＧＤを表示する。そして、図示の例において、表示画面３２０には、上述した表示画面３１０におけるカウント抜けが解消されている。また、その結果、表示画面３２０におけるカウント値表示部３１４の内容も、表示画面３１０のものから更新されている。
【0052】
図７に示す表示画面３２０のように、認識対象物体２２を正常に認識した全体画像データＩＧＤが取得できた場合は、ユーザが所定の登録操作を行う。登録操作が行われると、計数結果登録部２０５は、カウント値ＣＮＴを、計数結果データベース２０６に格納する。
【0053】
［実施形態の効果］
以上のように上述の実施形態によれば、物体認識装置（１０）は、複数の認識対象物体２２を含む物体群２０を撮影した２次元画像データ（ＤＧ）から認識対象物体２２に対応する特徴領域（ＢＢ）を認識する特徴領域認識部２２２と、認識対象物体２２の３次元形状を認識する３次元形状認識部２２４と、特徴領域認識部２２２および３次元形状認識部２２４における認識結果に基づいて、各々の認識対象物体２２の位置を推定する物体位置推定部２２６と、を備える。このように、特徴領域認識部２２２および３次元形状認識部２２４における認識結果に基づいて、各々の認識対象物体２２の位置を推定するため、認識対象物体２２の位置を適切に推定できる。さらに、認識対象物体２２の位置を適切に推定できることにより、認識対象物体２２をカウントする際の精度も向上させるという効果も奏する。
以上のように上述の実施形態によれば、物体認識装置（１０）は、複数の認識対象物体２２を含む物体群２０を撮影した２次元画像データ（ＤＧ）から認識対象物体２２に対応する特徴領域（ＢＢ）を認識する特徴領域認識部２２２と、認識対象物体２２の３次元形状を認識する３次元形状認識部２２４と、特徴領域認識部２２２および３次元形状認識部２２４における認識結果に基づいて、各々の認識対象物体２２の位置を推定する物体位置推定部２２６と、を備える。このように、特徴領域認識部２２２および３次元形状認識部２２４における認識結果に基づいて、各々の認識対象物体２２の位置を推定するため、認識対象物体２２の位置を適切に推定できる。さらに、認識対象物体２２の位置を適切に推定できることにより、認識対象物体２２をカウントする際の精度も向上させるという効果も奏する。
【0054】
また、物体位置推定部２２６は、物体群２０の表面の点座標を含む３次元点群データＴＰから、特徴領域（ＢＢ）に対応する点座標を抽出することにより、各々の認識対象物体２２の位置を認識すると一層好ましい。これにより、３次元点群データＴＰと特徴領域（ＢＢ）とを関連させることができ、認識対象物体２２の位置を一層適切に推定できる。
【0055】
また、２次元画像データ（ＤＧ）は複数のフレームに分割されているものであり、３次元点群データＴＰを、２次元画像データ（ＤＧ）に同期して分割するデータ分析部１０２をさらに備えると一層好ましい。これにより、３次元点群データＴＰと、２次元画像データ（ＤＧ）との対応付けが一層容易になる。
【0056】
また、物体認識装置（１０）は、特徴領域認識部２２２によって複数のフレームに対応して認識した特徴領域（ＢＢ）が、同一の認識対象物体２２に対応する度合いを示す確信度ＰＲを、特徴領域（ＢＢ）毎に算出する確信度算出部２３２をさらに備えると一層好ましい。これにより、各々の特徴領域（ＢＢ）の確信度ＰＲを取得できる。
【0057】
また、物体認識装置（１０）は、特徴領域認識部２２２が推定した特徴領域（ＢＢ）と、３次元形状認識部２２４における認識結果と、に基づいて、認識対象物体２２の暫定カウント値ＣＮＴＰを算出する推定カウント値算出部２２８と、確信度ＰＲに基づいて、暫定カウント値ＣＮＴＰを修正した結果であるカウント値ＣＮＴを求める修正部２３４と、をさらに備えると一層好ましい。これにより、認識対象物体２２の数量を適切にカウントすることができる。
【0058】
また、物体認識装置（１０）は、カウント値ＣＮＴに対応する認識対象物体２２の画像を表示する計算結果表示部１０６と、ユーザの操作に基づいて、カウント値ＣＮＴの修正を指令する計算結果修正部１０８と、をさらに備えると一層好ましい。これにより、カウント値ＣＮＴが認識対象物体２２の数と相違する場合に、ユーザは、カウント値ＣＮＴの修正を指令することができる。
【0059】
［変形例］
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成に他の構成を追加してもよく、構成の一部について他の構成に置換をすることも可能である。また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成に他の構成を追加してもよく、構成の一部について他の構成に置換をすることも可能である。また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。
【0060】
（１）上記実施形態においては、３次元点群データＴＰを取得するために、データ取得部１０１にＬｉＤＡＲ（Light Detection and Ranging）等の３次元センサ（図示略）設けた。しかし、３次元点群データＴＰを取得する方法は、３次元センサを用いることに限定されるわけではなく、例えば、フォトグラメトリなどの、複数の２次元データから３次元点群データを取得する技法によって３次元点群データＴＰを算出するようにしてもよい。
【0061】
（２）上記実施形態においては、レジストレーションによって、３次元フレーム点群ＴＱ（ｎ）間の位置合わせを行ったが、レジストレーション以外の方法によって位置合わせを行ってもよい。例えば、ＩＭＵデータＤＩに基づいて、３次元フレーム点群ＴＱ（ｎ）間の位置合わせを行っても差し支えない。
【0062】
（３）上記実施形態におけるデータ取得システム１０のハードウエアは一般的なコンピュータによって実現できるため、図４、図５に示したフローチャート、その他上述した各種処理を実行するプログラム等を記憶媒体（プログラムを記録したコンピュータ読み取り可能な記録媒体）に格納し、または伝送路を介して頒布してもよい。
【0063】
（４）図４、図５に示した処理、その他上述した各処理は、上記実施形態ではプログラムを用いたソフトウエア的な処理として説明したが、その一部または全部をＡＳＩＣ(Application Specific Integrated Circuit；特定用途向けＩＣ)、あるいはＦＰＧＡ(Field Programmable Gate Array)等を用いたハードウエア的な処理に置き換えてもよい。
【0064】
（５）上記実施形態において実行される各種処理は、図示せぬネットワーク経由でサーバコンピュータが実行してもよく、上記実施形態において記憶される各種データも該サーバコンピュータに記憶させるようにしてもよい。
【符号の説明】
【0065】
１０ データ取得システム（物体認識装置）
２０ 物体群
２２ 認識対象物体
１０２ データ分析部
１０６ 計算結果表示部
１０８ 計算結果修正部
２２２ 特徴領域認識部（特徴領域認識過程）
２２４ ３次元形状認識部（３次元形状認識過程）
２２６ 物体位置推定部（物体位置推定過程）
２２８ 推定カウント値算出部
２３２ 確信度算出部
２３４ 修正部
ＢＢ 境界ボックス（特徴領域）
ＤＧ ２次元動画データ（２次元画像データ）
ＰＲ 確信度
ＴＰ，ＴＱ ３次元点群データ
ＣＮＴ カウント値
ＣＮＴＰ 暫定カウント値
２０ 物体群
２２ 認識対象物体
１０２ データ分析部
１０６ 計算結果表示部
１０８ 計算結果修正部
２２２ 特徴領域認識部（特徴領域認識過程）
２２４ ３次元形状認識部（３次元形状認識過程）
２２６ 物体位置推定部（物体位置推定過程）
２２８ 推定カウント値算出部
２３２ 確信度算出部
２３４ 修正部
ＢＢ 境界ボックス（特徴領域）
ＤＧ ２次元動画データ（２次元画像データ）
ＰＲ 確信度
ＴＰ，ＴＱ ３次元点群データ
ＣＮＴ カウント値
ＣＮＴＰ 暫定カウント値
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2023-06-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数の認識対象物体を含む物体群を撮影した複数フレームの２次元画像データから前記認識対象物体に対応する特徴領域を認識する特徴領域認識部と、
前記認識対象物体の３次元形状を認識する３次元形状認識部と、
前記３次元形状に基づいて、前記２次元画像データにおける複数の前記フレームに現れている、同一の前記認識対象物体に対する前記特徴領域を統合する補正部と、
前記特徴領域認識部および前記３次元形状認識部における認識結果に基づいて、各々の前記認識対象物体の位置を推定する物体位置推定部と、を備える
ことを特徴とする物体認識装置。
前記認識対象物体の３次元形状を認識する３次元形状認識部と、
前記３次元形状に基づいて、前記２次元画像データにおける複数の前記フレームに現れている、同一の前記認識対象物体に対する前記特徴領域を統合する補正部と、
前記特徴領域認識部および前記３次元形状認識部における認識結果に基づいて、各々の前記認識対象物体の位置を推定する物体位置推定部と、を備える
ことを特徴とする物体認識装置。
【請求項2】
前記物体位置推定部は、前記物体群の表面の点座標を含む３次元点群データから、前記特徴領域に対応する点座標を抽出することにより、各々の前記認識対象物体の位置を認識する
ことを特徴とする請求項１に記載の物体認識装置。
ことを特徴とする請求項１に記載の物体認識装置。
【請求項3】
前記２次元画像データは複数のフレームに分割されているものであり、
前記３次元点群データを、前記２次元画像データに同期して分割するデータ分析部をさらに備える
ことを特徴とする請求項２に記載の物体認識装置。
前記３次元点群データを、前記２次元画像データに同期して分割するデータ分析部をさらに備える
ことを特徴とする請求項２に記載の物体認識装置。
【請求項4】
前記特徴領域認識部によって複数の前記フレームに対応して認識した前記特徴領域が、同一の前記認識対象物体に対応する度合いを示す確信度を、前記特徴領域毎に算出する確信度算出部をさらに備える
ことを特徴とする請求項３に記載の物体認識装置。
ことを特徴とする請求項３に記載の物体認識装置。
【請求項5】
前記特徴領域認識部が推定した前記特徴領域と、前記３次元形状認識部における認識結果と、に基づいて、前記認識対象物体の暫定カウント値を算出する推定カウント値算出部と、
前記確信度に基づいて、前記暫定カウント値を修正した結果であるカウント値を求める修正部と、をさらに備える
ことを特徴とする請求項４に記載の物体認識装置。
前記確信度に基づいて、前記暫定カウント値を修正した結果であるカウント値を求める修正部と、をさらに備える
ことを特徴とする請求項４に記載の物体認識装置。
【請求項6】
前記カウント値に対応する前記認識対象物体の画像を表示する計算結果表示部と、
ユーザの操作に基づいて、前記カウント値の修正を指令する計算結果修正部と、をさらに備える
ことを特徴とする請求項５に記載の物体認識装置。
ユーザの操作に基づいて、前記カウント値の修正を指令する計算結果修正部と、をさらに備える
ことを特徴とする請求項５に記載の物体認識装置。
【請求項7】
複数の認識対象物体を含む物体群を撮影した複数フレームの２次元画像データから前記認識対象物体に対応する特徴領域を認識する特徴領域認識過程と、
前記認識対象物体の３次元形状を認識する３次元形状認識過程と、
前記３次元形状に基づいて、前記２次元画像データにおける複数の前記フレームに現れている、同一の前記認識対象物体に対する前記特徴領域を統合する補正過程と、
前記特徴領域認識過程および前記３次元形状認識過程における認識結果に基づいて、各々の前記認識対象物体の位置を推定する物体位置推定過程と、を備える
ことを特徴とする物体認識方法。
前記認識対象物体の３次元形状を認識する３次元形状認識過程と、
前記３次元形状に基づいて、前記２次元画像データにおける複数の前記フレームに現れている、同一の前記認識対象物体に対する前記特徴領域を統合する補正過程と、
前記特徴領域認識過程および前記３次元形状認識過程における認識結果に基づいて、各々の前記認識対象物体の位置を推定する物体位置推定過程と、を備える
ことを特徴とする物体認識方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【0005】
上記課題を解決するため本発明の物体認識装置は、複数の認識対象物体を含む物体群を撮影した複数フレームの２次元画像データから前記認識対象物体に対応する特徴領域を認識する特徴領域認識部と、前記認識対象物体の３次元形状を認識する３次元形状認識部と、前記３次元形状に基づいて、前記２次元画像データにおける複数の前記フレームに現れている、同一の前記認識対象物体に対する前記特徴領域を統合する補正部と、前記特徴領域認識部および前記３次元形状認識部における認識結果に基づいて、各々の前記認識対象物体の位置を推定する物体位置推定部と、を備えることを特徴とする。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【0065】
１０ データ取得システム（物体認識装置）
２０ 物体群
２２ 認識対象物体
１０２ データ分析部
１０６ 計算結果表示部
１０８ 計算結果修正部
２０３ 計算結果補正部（補正部、補正過程）
２２２ 特徴領域認識部（特徴領域認識過程）
２２４ ３次元形状認識部（３次元形状認識過程）
２２６ 物体位置推定部（物体位置推定過程）
２２８ 推定カウント値算出部
２３２ 確信度算出部
２３４ 修正部
ＢＢ 境界ボックス（特徴領域）
ＤＧ ２次元動画データ（２次元画像データ）
ＰＲ 確信度
ＴＰ，ＴＱ ３次元点群データ
ＣＮＴ カウント値
ＣＮＴＰ 暫定カウント値
２０ 物体群
２２ 認識対象物体
１０２ データ分析部
１０６ 計算結果表示部
１０８ 計算結果修正部
２０３ 計算結果補正部（補正部、補正過程）
２２２ 特徴領域認識部（特徴領域認識過程）
２２４ ３次元形状認識部（３次元形状認識過程）
２２６ 物体位置推定部（物体位置推定過程）
２２８ 推定カウント値算出部
２３２ 確信度算出部
２３４ 修正部
ＢＢ 境界ボックス（特徴領域）
ＤＧ ２次元動画データ（２次元画像データ）
ＰＲ 確信度
ＴＰ，ＴＱ ３次元点群データ
ＣＮＴ カウント値
ＣＮＴＰ 暫定カウント値