特開 2024-132544 部品の位置姿勢推定装置、部品の位置姿勢推定方法及び部品の位置姿勢推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024132544

(43)【公開日】2024-10-01

(54)【発明の名称】部品の位置姿勢推定装置、部品の位置姿勢推定方法及び部品の位置姿勢推定プログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240920BHJP

   G06T 7/00 20170101ALI20240920BHJP

   G06V 10/72 20220101ALI20240920BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 350B

G06V10/72

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023043351

(22)【出願日】2023-03-17

(71)【出願人】

【識別番号】504174135

【氏名又は名称】国立大学法人九州工業大学

(74)【代理人】

【識別番号】100170748

【弁理士】

【氏名又は名称】稲垣 悟

(74)【代理人】

【識別番号】100126859

【弁理士】

【氏名又は名称】江上 裕士

(72)【発明者】

【氏名】陸 慧敏

(72)【発明者】

【氏名】張 子江

(72)【発明者】

【氏名】鄭 禹超

(72)【発明者】

【氏名】李 玉潔

(72)【発明者】

【氏名】濱本 圭佑

(72)【発明者】

【氏名】中藤 良久

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA05

5L096CA02

5L096DA02

5L096EA35

5L096FA06

5L096FA24

5L096FA54

5L096FA59

5L096FA64

5L096FA67

5L096FA69

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

【課題】さまざまな方向を向いてボックス内などに載置されている複数の部品のうち、少なくとも一部の部品の位置及び姿勢を推定することができる部品の位置姿勢推定装置、部品の位置姿勢推定方法及び部品の位置姿勢推定プログラムを提供することを目的とする。
【解決手段】位置姿勢推定装置は、カメラから出力されたカメラ画像と教師データを用いて、対象部品の領域情報と属性情報とを出力する部品認識部と、前記領域情報が示す前記対象部品の領域内における前記部品の輪郭部の特徴点情報を抽出する特徴点情報抽出部と、複数の教師用部品の特徴点情報が格納されている特徴点情報格納部と、前記特徴点格納部から前記属性情報に対応する前記教師用部品の特徴点情報を抽出し、前記輪郭部の特徴点情報と抽出された前記教師用部品の特徴点情報とを使って対象部品の姿勢を推定する姿勢推定部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラから出力されたカメラ画像と教師データを用いて、対象部品の領域情報と属性情報とを出力する部品認識部と、
前記領域情報が示す前記対象部品の領域内における前記対象部品の輪郭部の特徴点情報を抽出する特徴点情報抽出部と、
複数の教師用部品の特徴点情報が格納されている特徴点情報格納部と、
前記特徴点情報格納部から前記属性情報に対応する前記教師用部品の特徴点情報を抽出し、前記輪郭部の特徴点情報と抽出された前記教師用部品の特徴点情報とを使って前記対象部品の姿勢を推定する姿勢推定部と、
を備える、
部品の位置姿勢推定装置。

【請求項2】

前記教師データは、教師部品の撮像画像と前記教師部品のシミュレーション画像とを使って生成される、
請求項１に記載の部品の位置姿勢推定装置。

【請求項3】

前記特徴点情報格納部は前記教師用部品の特徴点情報として、複数の視点から前記教師用部品を見た時の特徴点情報を含み、
前記教師用部品の特徴点情報は、同一視点から前記教師用部品を見た時の特徴点情報群を含み、
前記姿勢推定部は、前記特徴点情報格納部から前記属性情報に対応する前記教師用部品の前記特徴点情報群を抽出し、前記輪郭部の特徴点情報と抽出された前記教師用部品の特徴点情報群とを使って前記対象部品の姿勢を推定する、
請求項１または２に記載の部品の位置姿勢推定装置。

【請求項4】

前記教師データは、教師データ生成部により生成され、
前記教師データ生成部は、仮想空間上に配置された複数の部品データの中から前記教師データの候補となる候補部品データを抽出し、前記候補部品データが、他の部品データとオクルージョンの関係にあることを検知したとき、前記オクルージョンのオクルージョン率が所定の閾値よりも低い場合にのみ、前記候補部品データを前記教師データとして生成する、
請求項１または２に記載の部品の位置姿勢推定装置。

【請求項5】

前記部品データは、カメラ画像から生成された点群データを含む、
請求項４記載の部品の位置姿勢推定装置。

【請求項6】

カメラから出力されたカメラ画像と教師データを用いて、対象部品の領域情報と属性情報とを出力し、
前記領域情報が示す前記対象部品の領域内における前記対象部品の輪郭部の特徴点情報を抽出し、
複数の教師用部品の特徴点情報から、前記属性情報に対応する前記教師用部品の特徴点情報を抽出し、前記輪郭部の特徴点情報と、抽出された前記教師用部品の特徴点情報とを使って前記対象部品の姿勢を推定する、
部品の位置姿勢推定方法。

【請求項7】

カメラから出力されたカメラ画像と教師データを用いて、対象部品の領域情報と属性情報とを出力し、
前記領域情報が示す前記対象部品の領域内における前記対象部品の輪郭部の特徴点情報を抽出し、
複数の教師用部品の特徴点情報から、前記属性情報に対応する前記教師用部品の特徴点情報を抽出し、前記輪郭部の特徴点情報と、抽出された前記教師用部品の特徴点情報とを使って前記対象部品の姿勢を推定する、
ことをコンピュータに実行させる、
部品の位置姿勢推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、部品の位置姿勢推定装置、部品の位置姿勢推定方法及び部品の位置姿勢推定プログラムに関する。

【背景技術】

【0002】

特許文献１には、部品をロボットで取り出すビンピッキングにおいて、手動の教示を行うことなく高品質の把持候補を生成し、計算効率が高いロボット把持学習技術を提供することが記載されている。特に、グリッパと表面接触する部品毎に数百の把持姿勢を計算し、各部品の把持が、ビン内でシミュレートされた対象物のパイルに適用される物理的環境シミュレーションを行うと記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－４６４２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１における把持学習においては、グリッパの姿勢の把握について詳細に記載されている。一方で、部品の姿勢の把握に関しては、カメラで撮像された画像から、対象物の位置、姿勢を定義する点群データを出力することのみが記載され、詳細には記載されていない。しかしながら、実際には、部品の姿勢を認識することは非常に困難であり、特に、バラ積みにされた部品の姿勢についてはなおさらである。

【0005】

そこで本発明は、ロボットによって部品をピッキングするなどのために、さまざまな方向を向いてボックス内などに載置されている複数の部品のうち、少なくとも一部の部品の位置及び姿勢を推定することができる部品の位置姿勢推定装置、部品の位置姿勢推定方法及び部品の位置姿勢推定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の部品の位置姿勢推定装置は、カメラから出力されたカメラ画像と教師データを用いて、対象部品の領域情報と属性情報とを出力する部品認識部と、領域情報が示す対象部品の領域内における部品の輪郭部の特徴点情報を抽出する特徴点情報抽出部と、複数の教師用部品の特徴点情報が格納されている特徴点情報格納部と、特徴点情報格納部から属性情報に対応する教師用部品の特徴点情報を抽出し、輪郭部の特徴点情報と抽出された教師用部品の特徴点情報とを使って対象部品の姿勢を推定する姿勢推定部と、を備える。

【0007】

本発明の部品の位置姿勢推定方法は、カメラから出力されたカメラ画像と教師データを用いて、対象部品の領域情報と属性情報とを出力し、領域情報が示す対象部品の領域内における部品の輪郭部の特徴点情報を抽出し、複数の教師用部品の特徴点情報から、属性情報に対応する教師用部品の特徴点情報を抽出し、輪郭部の特徴点情報と、抽出された教師用部品の特徴点情報とを使って対象部品の姿勢を推定する。

【0008】

本発明の部品の位置姿勢推定プログラムは、カメラから出力されたカメラ画像と教師データを用いて、対象部品の領域情報と属性情報とを出力し、領域情報が示す対象部品の領域内における部品の輪郭部の特徴点情報を抽出し、複数の教師用部品の特徴点情報から属性情報に対応する教師用部品の特徴点情報を抽出し、輪郭部の特徴点情報と、抽出された教師用部品の特徴点情報とを使って対象部品の姿勢を推定することをコンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、ロボットによって部品をピッキングするなどのために、さまざまな方向を向いてボックス内などに載置されている複数の部品のうち、少なくとも一部の部品の位置及び姿勢を推定することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施の形態の部品位置姿勢推定システムを示す概略図

【図2】本発明の一実施の形態の部品位置姿勢推定装置を示すブロック図

【図3】本発明の一実施の形態の部品位置姿勢推定のフロー図

【図4】本発明の一実施の形態の部品認識に関する教師データ生成装置のブロック図

【図5】本発明の一実施の形態の部品認識に関する教師データ生成のフロー図

【図6】本発明の一実施の形態の部品認識に関する教師データの説明図

【図7】本発明の一実施の形態の特徴点情報抽出に関する教師用部品の特徴点情報生成装置のブロック図

【図8】本発明の一実施の形態の特徴点情報抽出に関する教師用部品の特徴点情報生成のフロー図

【図9】本発明の一実施の形態の特徴点情報抽出に関する教師用部品の特徴点情報生成の説明図

【発明を実施するための形態】

【0011】

以下に図面を用いて、本発明の一実施の形態を詳細に説明する。以下で述べる構成、処理、フロー等は説明のための例示であって、部品位置姿勢推定システム、部品位置姿勢推定装置、教師データ生成装置、特徴点情報生成装置、教師データ、特徴点などの仕様に応じ、適宜変更が可能である。以下では、全ての図面において対応する要素には同一符号を付し、重複する説明を省略する。実施形態の説明に用いたブロック図は、装置の構成を機能毎に分類及び整理したものである。それぞれの機能を示すブロックは、ハードウェア又はソフトウェアの任意の組み合わせで実現される。また、機能を示したものであることから、かかるブロック図は方法の発明、及び当該方法を実現するプログラムの発明の開示としても把握できるものである。

【0012】

１．部品位置姿勢推定システムについて
まず図１を参照して、部品位置姿勢推定システム１について説明する。図１は、本発明の一実施の形態の部品位置姿勢推定システムを示す概略図である。部品位置姿勢推定システム１は、部品位置姿勢推定装置１００、カメラ２００、ロボット３００を備える。カメラ２００が撮像した画像によって、部品位置姿勢推定装置１００は複数の部品５００の位置や姿勢を推定することができ、どの部品５００を把持すべきかを選択することができる。そして、部品位置姿勢推定装置１００と接続することによって、ロボット３００はその先端に有する把持部３０１を使い、ボックス４００内に収納される複数の部品５００を把持する。

【0013】

把持部３０１で部品５００を把持することを、ビンピッキング（バラ積みピッキング）ともいい、ボックス４００のなかにバラバラに置かれた部品５００の山から、適切なものを選択しつかむ作業のことを指す。ビンピッキングは、製造業などの自動化において、非常に重要な作業である。カメラ２００、部品５００を把持するロボット３００、ボックス４００、部品５００は、一般的なものであってよく、特に限定しない。

【0014】

２．部品位置姿勢推定装置について
次に、図２、３を参照して、部品位置姿勢推定装置１００について説明する。図２は、本発明の一実施の形態の部品位置姿勢推定装置を示すブロック図である。図３は、本発明の一実施の形態の部品位置姿勢推定のフロー図である。図２において、部品位置姿勢推定装置１００は、制御部１１０、記憶部１２０、入出力部１３０を備える。制御部１１０は、部品認識部１１１、特徴点情報抽出部１１２、姿勢推定部１１３を備える。記憶部１２０は、特徴点情報格納部１２１を備える。入出力部１３０は、入力部１３１、出力部１３２を備える。

【0015】

制御部１１０は記憶部１２０やメモリに記憶されたコンピュータプログラムを実行し、各機能ブロックを実現する装置であって良い。制御部１１０の例として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、コントローラ、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が挙げられる。また、上述したメモリは、記憶部１２０の一部であっても良い（後述する制御部６１０、７１０も同様である）。

【0016】

部品認識部１１１は、カメラ２００から出力されたカメラ画像と教師データを用いて、対象の部品５００の領域情報と属性情報とを出力する。まず、カメラ２００が撮像した画像（静止画、動画を含む）を畳み込みニューラルネットワークに入力し、これから把持すべき部品５００の位置や領域（撮像された画像内の部品５００の画素座標）とパーツタイプ（属性情報）を推定する。もちろん、これから把持すべき部品５００以外の部品５００の位置や領域とパーツタイプも推定するとよい。部品５００の位置や領域は、領域情報であるバウンディングボックス（図６参照）として表現されてもよい。パーツタイプは、部品の特定や部品がカメラに表を向けているか裏を向けているかなどを表す。畳み込みニューラルネットワークにおいて使用され、推定のために必要な教師データ生成については、後述する。上述した畳み込みニューラルネットワークは、部品認識部１１１内に含まれても、部品認識部１１１外に設けられもよい。

【0017】

特徴点情報抽出部１１２は、対象の部品５００のバウンディングボックス内における部品５００の輪郭部の特徴点情報を抽出する。特徴点情報抽出部１１２は、まず、撮像された画像の深度画像（空間的情報）を生成し、部品５００の輪郭を特定することで輪郭部の深度値を点群データに変換する。これによって、部品５００の輪郭部の特徴点情報を抽出することができる。輪郭部のみの特徴点情報を抽出することで、特徴点情報抽出の処理の効率が向上する。

【0018】

なお、特徴点情報とは、特徴点そのものを直接的に示しても良いし、間接的に示しても良い。特徴点情報抽出部１１２では、その処理を効率化するために、部品５００の位置を示すバウンディングボックス（図５参照）内の画像のみ深度値を算出しても良い。バウンディングボックスについては後述する。これによって、処理時間を大幅に短縮することができる。

【0019】

そして、特徴点情報抽出部１１２は、例えばＯｐｅｎＣＶ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）の２Ｄ画像エッジ検出アルゴリズムを使用して深度画像内の部品５００の境界を抽出する。この時、境界のピクセルを白に、他のピクセルを黒にするなど２色に分けることで、この後、部品５００の輪郭部のみを示す点群を生成することができる。そして、特徴点情報抽出部１１２は、部品５００の輪郭部分の深度値を三次元点群に変換する。

【0020】

姿勢推定部１１３は、パーツタイプに対応する教師用部品の特徴点情報を抽出し、対象の部品５００の輪郭部の特徴点情報と抽出された教師用部品の特徴点情報とを使って対象の部品５００の姿勢を推定する。教師用部品の特徴点情報の生成については、後述する。姿勢推定部１１３は、まずこれから把持すべき部品５００のパーツタイプによって適切な教師用部品の特徴点情報を選択する。教師用部品の特徴点情報は、記憶部１２０の特徴点情報格納部１２１に格納される。この特徴点情報は、ハッシュテーブルに格納されても良い。姿勢推定部１１３は、バウンディングボックス内の特徴点情報と教師用部品の特徴点情報とを照合し、最も近いポーズ（姿勢）に投票されるハフ投票を行う。すべての特徴点が照合し、最良のポーズが決定する。この決定されたポーズに基づいて、制御部１１０はロボット３００を制御するための制御情報を、ロボット３００に送信する。

【0021】

なお、姿勢推定部１１３は、推定した把持対象の部品５００の姿勢候補を、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｔ Ｐｏｉｎｔ）アルゴリズムを用いて絞り込んでもよい。部品５００の各姿勢候補に対して、対応する点群モデルを用いて、ＩＣＰアルゴリズムを実行してもよい。また、ＰＣＬ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｌｉｂｒａｒｙ）という点群を処理するためのライブラリの姿勢検証アルゴリズムを用いて、異常な推定となった姿勢を除外し、最終的に検証済みの姿勢を出力してもよい。

【0022】

記憶部１２０は、部品位置姿勢推定装置１００が取り扱うコンピュータプログラム及びデータを記憶し、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでよい（後述する記憶部６２０、７２０も同様である）。

【0023】

特徴点情報格納部１２１は、教師用部品の特徴点情報を格納する。特徴点情報格納部１２１は、姿勢推定部１１３が姿勢推定を行う際に、教師用部品の特徴点情報を提供する。

【0024】

入力部１３１は、カメラ２００からの撮像画像やロボットから送信される情報などを受信（入力）する。出力部１３２は、カメラ２００及びロボット３００の制御に必要な情報など、さまざまな情報を送信（出力）する。

【0025】

次に、図３を参照して、部品の位置姿勢推定処理のフローを説明する。なお、制約がない限り、フローの順序を入れ替えてもよい。以下のフローは、プログラムを実行するコンピュータによって実行されてもよい。

【0026】

まず、Ｓ１において、カメラ２００から出力されたカメラ画像と教師データを用いて、対象部品の領域情報と属性情報とを出力する。すなわち、カメラ２００が撮像した画像（静止画、動画を含む）を畳み込みニューラルネットワークに入力し、これから把持すべき部品５００の位置（撮像された画像内の部品５００の画素座標）とパーツタイプを推定する。

【0027】

次に、Ｓ２において、撮像された画像の深度画像（空間的情報）を生成する。そして、Ｓ３において、対象の部品５００のバウンディングボックス内における部品５００の輪郭部の特徴点情報を抽出する。まず、部品５００の輪郭を特定することで輪郭部の深度値を点群データに変換する。これによって、部品５００の輪郭部の特徴点情報を抽出することができる。ここでは、Ｓ３を効率化するために、部品５００の位置を示すバウンディングボックス（図６参照）内の画像のみ深度値を算出する。これによって、処理時間を大幅に短縮することができる。そして、深度画像内の部品５００の境界を抽出する。この時、境界のピクセルを白に、他のピクセルを黒にするなど２色に分けることで、この後、部品５００の輪郭部のみを示す点群を生成することができる。そして、特徴点情報抽出部１１２は、部品５００の輪郭部分の深度値を三次元点群に変換する。

【0028】

次に、Ｓ４で、パーツタイプに対応する教師用部品の特徴点情報を抽出し、対象の部品５００の輪郭部の特徴点情報と抽出された教師用部品の特徴点情報とを使って対象部品の姿勢を推定する。まず、これから把持すべき部品５００のパーツタイプによって適切な教師用部品の特徴点情報を選択する。対象の部品５００のバウンディングボックス内の特徴点情報と教師用部品の特徴点情報とを照合し、最も近いポーズ（姿勢）に投票されるハフ投票を行う。すべての特徴点が照合し、最良のポーズが決定する。

【0029】

そして、Ｓ５で、この決定されたポーズに基づいて、制御部１１０はロボット３００を制御する。具体的には制御部１１０からロボット３００を制御する信号が送信される。なお、推定した把持対象の部品５００の姿勢候補を、ＩＣＰアルゴリズムを用いて絞り込んでもよい。部品５００の各姿勢候補に対して、対応する点群モデルを用いて、ＩＣＰアルゴリズムを実行してもよい。また、ＰＣＬライブラリの姿勢検証アルゴリズムを用いて、異常な推定となった姿勢を除外し、最終的に検証済みの姿勢を出力してもよい。

【0030】

３．教師データ生成について
次に、部品認識部１１１が部品認識のために使用する教師データの生成について説明する。図４は、本発明の一実施の形態の部品認識に関する教師データ生成装置のブロック図である。図５は、本発明の一実施の形態の部品認識に関する教師データ生成のフロー図である。図６は、本発明の一実施の形態の部品認識に関する教師データの説明図であり、（ａ）は実際のボックスと部品の画像であり、（ｂ）は（ａ）にバウンディングボックスを重畳したものである。

【0031】

図４において、教師データ生成装置６００は、制御部６１０、記憶部６２０、入出力部６３０を備える。制御部６１０は、部品データ生成部６１１、仮想シーン構築部６１２、オクルージョン検出部６１３、学習データ生成部６１４、学習部６１５を備える。記憶部６２０は、部品画像データ格納部６２１を備える。入出力部６３０は、入力部６３１、出力部６３２を備える。

【0032】

部品データ生成部６１１は、産業用カメラなどで部品５００の表面の点群データを収集する。そして、部品５００の各表面の点群情報に基づいて３次元モデルを構築する。なお、部品５００の表面の点群データは、部品５００を実際に撮像した画像から生成するだけでなく、３ＤＣＡＤデータなどデジタルデータを利用してもよい。

【0033】

仮想シーン構築部６１２は、シミュレータ等を用いて、実際の産業シーンに基づいたシミュレーション環境を構築する。例えばＮＶＩＤＩＡ社のＩｓａａｃ Ｓｉｍ等を使用して実現できる。そして、部品データ生成部６１１が生成した３次元モデルを、シミュレーション環境にインポートして仮想シーンを構築する。この時、実際の部品５００に応じて、シミュレーション内の部品５００の３次元モデルの材料、摩擦係数、重力係数、その他の情報を設定するとよい。また、実際の工場内などの状況に応じて、３次元モデルをシミュレーション環境にインポートする。

【0034】

そしてドメインランダマイゼーション手法を使用し、ランダムな位置に部品を配置し部品の自由落下、衝突、オクルージョンなどの現象をＮＶＩＤＩＡ社のＩｓａａｃ Ｓｉｍを用いてシミュレートし、データとアノテーション情報を特定のフレームレートで記録する。アノテーション情報とは、データに付加された情報で、アノテーション情報が付加されることで教師データとなる。この仮想シーンを処理することで、図６（ｂ）のようなバウンディングボックス５０１の情報とインスタンスセグメンテーション情報を抽出することができる。

【0035】

オクルージョン検出部６１３は、仮想シーン構築部６１２が生成したバウンディングボックス５０１の情報とインスタンスセグメンテーション情報に基づいて、オクルージョン関係を抽出する。オクルージョンとは、手前にある物体が後ろにある物体を隠す状態のことを言う。オクルージョン関係とは、どの部品５００が、別のどの部品５００の後ろに隠れているかを示す。バウンディングボックス５０１の情報とは、各部品５００の位置、領域を含み、パーツタイプを含んでもよい。インスタンスセグメンテーションとは、オブジェクトの検出されたインスタンス（ここでは１つの部品５００）ごとにセグメンテーションマップを生成するオブジェクト検出である。インスタンスセグメンテーション情報とは、インスタンスセグメンテーションに関わる情報をいう。

【0036】

オクルージョン検出部６１３は、隣接する２つの画素のアノテーション情報が同じでない場合、これらの２つの画素に対応する２つの部品５００にオクルージョンが存在していると判定する。そして、この２つの部品５００それぞれに対応するバウンディングボックス情報を抽出し、それらのバウンディングボックス５０１が重なっている面積を計算する。また、隣接するバウンディングボックス５０１内の画素数を比較することで、どちらが表面にあるか、どちらが他の部品によって隠されているかを示すオクルージョン関係が分かる。そして、画像内のすべての隣接する２つの部品５００を比較し、オクルージョン関係有向グラフを得る。

【0037】

オクルージョン検出部６１３は、バウンディングボックス５０１の情報、インスタンスセグメンテーション情報、オクルージョン関係有向グラフを使って、オクルージョンのある部品５００を特定する。オクルージョン関係有向グラフに従って、オクルージョンしている部品５００（上側）に対応するオクルージョンされた部品５００（下側）の数を調べ、それらのバウンディングボックス５０１が重なっている領域を抽出する。そして、オクルージョンされた部品５００の重なった領域内の画素数を計算する。この情報をもとにオクルージョン率を求め、オクルージョンがある場所を個別に判断する。

【0038】

なお、オクルージョン率は、オクルージョンされている部品５００において、重なる領域における遮蔽された領域の画素数を、バウンディングボックス５０１内の総画素数で割ったものとして求めるとよい。そして、オクルージョン率が所定の閾値よりも低いデータのみを教師データとして使用するとよい。

【0039】

上述のように、学習データ生成部６１４では、まず仮想シーン構築部６１２によって構築された仮想空間上に配置された複数の部品データが配置される。そして教師データの候補となる候補部品データが抽出され、他の部品とのオクルージョンが発生していない場合には候補部品データが教師データとして生成される。一方、候補部品データが他の部品データとオクルージョンの関係にある場合、オクルージョン率が所定の閾値よりも低い場合にのみ、その候補部品データが教師データとして生成される。なお、教師データ生成装置６００は、部品位置姿勢推定装置１００と組み合わせて使用する場合には、部品位置姿勢推定装置内で、教師データ生成部として機能する。

【0040】

このように、学習データ生成部６１４では、仮想シーン構築部６１２が生成した部品データがインポートされたシミュレーション環境のデータを使って、それぞれが異なるように生成された学習データを複数生成する。これによって、たくさんの学習データを効率的に生成することができる。

【0041】

なお、ここで現実の世界で実際に存在するボックス４００及びその中に設けられた複数の部品５００の写真を使って、教師データをより現実のシーンに近づけるとよい。写真は１枚または複数枚であり、５枚までの少数であってよい。これによって、より現実のシーンに近い教師データを生成することができる。

【0042】

学習部６１５では、学習データ生成部６１４によって生成された学習データを使って、学習データの学習を行う。

【0043】

次に、図５を参照して、教師データ生成処理のフローについて説明する。Ｓ１１で、例えばＮＶＩＤＩＡ Ｉｓａａｃ Ｓｉｍを使用して実際の産業シーンに基づいたシミュレーション環境を構築する。Ｓ１２で、産業用カメラなどで部品５００の表面の点群データを収集する。そして、部品５００の各表面の点群情報に基づいて３次元モデルを構築する。なお、部品５００の表面の点群データは、３ＤＣＡＤデータなどデジタルデータを利用してもよい。そして、Ｓ１３で、Ｓ１２で生成した３次元モデルを、Ｓ１２で生成したシミュレーション環境にインポートすることで、仮想シーンを構築する。このとき、バウンディングボックス５０１の情報とインスタンスセグメンテーション情報を抽出する。

【0044】

Ｓ１４で、オクルージョン率が閾値以下であるか否かを判定する。まず、バウンディングボックス５０１の情報とインスタンスセグメンテーション情報に基づいて、オクルージョン関係を決定する。隣接する２つの画素のアノテーション情報が同じでない場合（異なる部品５００だと判定される場合）、これらの２つの画素に対応する２つの部品５００にオクルージョンが存在していると判定する。そして、オクルージョン率を求め、オクルージョンがある場所を個別に判断する。

【0045】

なお、オクルージョン率は、オクルージョンされている部品５００において、重なる領域における遮蔽された領域の画素数を、バウンディングボックス５０１内の総画素数で割ったものを求めるとよい。オクルージョン率が閾値以上である場合は、Ｓ１１に戻って新たな教師データを生成する。オクルージョン率が閾値以下である場合は、Ｓ１５で、現実の世界で実際に存在するボックス４００及びその中に設けられた複数の部品５００の写真を使って、教師データをより現実のシーンに近づける。そして、Ｓ１６で、学習データを生成が完了する。

【0046】

４．教師部品の特徴点情報生成について
次に、教師部品の特徴点情報生成について説明する。図７は、本発明の一実施の形態の特徴点情報抽出に関する教師用部品の特徴点情報生成装置のブロック図である。図８は、本発明の一実施の形態の特徴点情報抽出に関する教師用部品の特徴点情報生成のフロー図である。図９は、本発明の一実施の形態の特徴点情報抽出に関する教師用部品の特徴点情報生成の説明図である。教師部品とは、部品５００の３ＤＣＡＤデータなどの３Ｄデジタルデータである。

【0047】

図７において、教師部品の特徴点情報生成装置７００は、制御部７１０、記憶部７２０、入出力部７３０を備える。制御部７１０は、部品モデル生成部７１１、エッジモデル生成部７１２、特徴点情報生成部７１３を備える。記憶部７２０は、特徴点情報格納部７２１を備える。入出力部７３０は、入力部７３１、出力部７３２を備える。

【0048】

部品モデル生成部７１１は、ＰＣＬという点群を処理するためのライブラリを用いて、教師部品のモデルデータを、例えばＳＴＬファイルからＰＣＤ形式に変換する。この処理により、教師部品を三次元点群データで表現することができ、点群データに基づいて部品５００の姿勢を推定する手法を活用できるようになる。

【0049】

エッジモデル生成部７１２は、教師部品のエッジのＰＰＦ（Ｐｏｉｎｔt Ｐａｉｒ Ｆｅａｔｕｒｅ）を抽出する。ＰＰＦとは、図９に示すように２点対（ｍ１、ｍ２）で構成される特徴量である。まず、エッジモデル生成部７１２は、教師部品の各軸（Ｘ、Ｙ、Ｚ軸）における物体の極致範囲すなわち物体の投影長さを計算する。そして、Ｚ軸の上下に２つの視点（上側からの視点と下側からの視点）からの、教師部品の外観の可視点群を抽出する。次に、外観の可視点群（モデル）に対して、ＰＣＬが提供するツールによって境界点の抽出を行う。そして、部品５００の境界上の三次元点群から、ＰＰＦを計算する。

【0050】

なお、図９のＰＰＦの計算方法は、一般的な方法と異なり、線分上の点だけでなく曲線上の２点対（ｍ１、ｍ２）とすることができる。すなわち、曲線状の２点対（ｍ１、ｍ２）を直線に当てはめるのではなく、接線を計算することでＰＰＦを算出することができる。現実の部品５００ピックアップを行う現場では、可視できる範囲内の部品５００表面の特徴のみしか抽出できない。そこで、モデル生成段階では、物体の上面と下面をそれぞれ表現するために、図９に示されるように２方向の視点から特定の視点での点群を生成するとよい。これによって、より現実の部品に近い教師用部品の特徴点情報を生成することができる。

【0051】

特徴点情報生成部７１３は、エッジモデル生成部７１２が生成した多数のＰＰＦを特徴点情報としてハッシュテーブルに保存する。図９に示されるように、ハッシュテーブルは、教師部品を上から見た場合の特徴点情報が保存されたハッシュテーブルと、教師部品を下から見た場合の特徴点情報が保存されたハッシュテーブルとがある。この事前にハッシュテーブルに保存された特徴点情報と、実際の部品５００のピックアップを行う現場で抽出された特徴点情報とを照合することで、部品５００の姿勢を推定することができる。実際の部品はランダムに配置されているので、あらかじめ複数方向から見た教師部品の特徴情報を保存しておくことで、より精度高く部品５００の姿勢を推定することができる。なお、特徴点情報の保存にハッシュテーブルを用いた理由は次の通りである。ハッシュテーブルでキーを元に対応する値を得るには、ハッシュ値の計算と、ハッシュ値が衝突した場合に複数の要素から探索する時間しかかからず、配列内を全探索する必要がない。従って多数の特徴点情報を扱う場合、ハッシュテーブルを用いると、単純なリストや配列などに比べ極めて高速にデータを取得することができる。

【0052】

次に、図８を用いて、教師部品の特徴点情報生成処理のフローについて説明する。まず、Ｓ２１で、ＰＣＬのライブラリを用いて、教師部品のモデルデータをＰＣＤ形式に変換する。この処理により、教師部品を三次元点群データで表現することができ、点群データに基づいて部品５００の姿勢を推定する手法を活用できるようになる。

【0053】

次に、Ｓ２２で、教師部品のエッジのＰＰＦを抽出する。教師部品の外観の可視点群を抽出し、境界点の抽出を行う。そして、部品５００の境界上の三次元点群からＰＰＦを計算する。

【0054】

そして、Ｓ２３で、算出されたＰＰＦを特徴点情報としてハッシュテーブルに保存する。図９に示されるように、ハッシュテーブルは、教師部品を上から見た場合の特徴点情報が保存されたハッシュテーブルと、教師部品を下から見た場合の特徴点情報が保存されたハッシュテーブルとを生成する。

【0055】

５．まとめ
部品位置姿勢推定装置１００は、カメラ２００から出力されたカメラ画像と教師データを用いて、対象の部品５００の領域情報と属性情報とを出力する部品認識部１１１と、領域情報が示す対象の部品５００の領域内における部品５００の輪郭部の特徴点情報を抽出する特徴点情報抽出部１１２と、複数の教師用部品の特徴点情報が格納されている特徴点情報格納部１２１と、特徴点情報格納部１２１から属性情報に対応する教師用部品の特徴点情報を抽出し、輪郭部の特徴点情報と抽出された教師用部品の特徴点情報とを使って対象の部品５００の姿勢を推定する姿勢推定部１１３と、を備える。これによって、ロボットによって部品をピッキングするなどのために、さまざまな方向を向いてボックス内などに載置されている複数の部品のうち、少なくとも一部の部品の位置及び姿勢を推定することができる。

【0056】

上記の部品位置姿勢推定装置１００において、教師データは、教師部品の撮像画像と前記教師部品のシミュレーション画像とを使って生成されてもよい。これによって、より現実のシーンに近い教師データを生成することができる。

【0057】

上記の部品位置姿勢推定装置１００において、特徴点情報格納部１２１は教師用部品の特徴点情報として、複数の視点から教師用部品を見た時の特徴点情報を含み、教師用部品の特徴点情報は、同一視点から教師用部品を見た時の特徴点群を含み、姿勢推定部１１３は、特徴点情報格納部１２１から属性情報に対応する教師用部品の特徴点情報群を抽出し、輪郭部の特徴点情報と抽出された教師用部品の特徴点情報群とを使って対象部品の姿勢を推定するとよい。これによって、より現実の部品に近い教師用部品の特徴点情報を生成することができる。

【0058】

部品の位置姿勢推定方法であって、カメラ２００から出力されたカメラ画像と教師データを用いて、対象の部品５００の領域情報と属性情報とを出力し、領域情報が示す対象の部品５００の領域内における部品５００の輪郭部の特徴点情報を抽出し、複数の教師用部品の特徴点情報が格納し、属性情報に対応する教師用部品の特徴点情報を抽出し、輪郭部の特徴点情報と抽出された教師用部品の特徴点情報とを使って対象の部品５００の姿勢を推定する。

【0059】

部品の位置姿勢推定プログラムであって、カメラ２００から出力されたカメラ画像と教師データを用いて、対象の部品５００の領域情報と属性情報とを出力し、領域情報が示す対象の部品５００の領域内における部品５００の輪郭部の特徴点情報を抽出し、複数の教師用部品の特徴点情報が格納し、属性情報に対応する教師用部品の特徴点情報を抽出し、輪郭部の特徴点情報と抽出された教師用部品の特徴点情報とを使って対象の部品５００の姿勢を推定することをコンピュータに実行させる。

【符号の説明】

【0060】

１ 部品位置姿勢推定システム
１００ 部品位置姿勢推定装置
１１０ 制御部
１１１ 部品認識部
１１２ 特徴点情報抽出部
１１３ 姿勢推定部
１２０ 記憶部
１２１ 特徴点情報格納部
１３０ 入出力部
１３１ 入力部
１３２ 出力部
２００ カメラ
３００ ロボット
４００ ボックス
５００ 部品
６００ 教師データ生成装置
６１０ 制御部
６１１ 部品データ生成部
６１２ 仮想シーン構築部
６１３ オクルージョン検出部
６１４ 学習データ生成部
６１５ 学習部
６２０ 記憶部
６２１ 部品画像データ格納部
６３０ 入出力部
６３１ 入力部
６３２ 出力部
７００ 教師データ生成装置
７１０ 制御部
７１１ 部品モデル生成部
７１２ エッジモデル生成部
７１３ 特徴点情報生成部
７２０ 記憶部
６２１ 特徴点情報格納部
７３０ 入出力部
７３１ 入力部
７３２ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】