特開 2022-47508 複数の透明対象物の三次元検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022047508

(43)【公開日】2022-03-24

(54)【発明の名称】複数の透明対象物の三次元検出

(51)【国際特許分類】

   G06T 7/70 20170101AFI20220316BHJP

   G06T 7/11 20170101ALI20220316BHJP

   G06T 7/00 20170101ALI20220316BHJP

【ＦＩ】

G06T7/70 Z

G06T7/11

G06T7/00 350C

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021138803

(22)【出願日】2021-08-27

(31)【優先権主張番号】17/018,141

(32)【優先日】2020-09-11

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(72)【発明者】

【氏名】トー タン

(72)【発明者】

【氏名】加藤 哲朗

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA05

5L096CA02

5L096DA01

5L096DA02

5L096EA05

5L096EA15

5L096EA16

5L096EA35

5L096FA16

5L096FA67

5L096FA69

5L096GA30

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】一群の対象物の中の透明対象物等の対象物の三次元姿勢を取得して、ロボットが対象物を取出すことを可能にするシステム及び方法を提供する。
【解決手段】システム３０における方法は、カメラを使用して対象物の二次元赤緑青カラー（ＲＧＢ）画像３２を取得することと、ＲＧＢ画像から特徴を抽出し、セグメンテーション画像５８内の対象物が同一のラベルを有するようにセグメンテーション画像内のピクセルにラベルを割当てる、深層学習畳み込みニューラルネットワークを使用して画像セグメンテーション処理を実行することによって、ＲＧＢ画像のセグメンテーション画像を生成することと、を含む。また、方法は、セグメンテーション画像を対象物のうちの１つ含む、複数の切取り画像６０に分離することと、各切取り画像内の各対象物の三次元姿勢７２を推定することと、三次元姿勢を単一の姿勢画像に結合することと、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

一群の対象物の中の対象物の三次元姿勢を取得するための方法であって、前記方法は、
カメラを使用して前記対象物の二次元赤緑青カラー（ＲＧＢ）画像を取得することと、
前記ＲＧＢ画像から特徴を抽出し、セグメンテーション画像内の対象物が同一のラベルを有するように前記セグメンテーション画像内のピクセルにラベルを割当てる、画像セグメンテーション処理を実行することにより、前記ＲＧＢ画像のセグメンテーション画像を生成することと、
前記セグメンテーション画像を複数の切取り画像に分離することであって、各切取り画像が前記対象物のうちの１つを含む、ことと、
各切取り画像内の各対象物の前記三次元姿勢を推定することと、
前記三次元姿勢を単一の姿勢画像に結合することと、
を含む、方法。

【請求項2】

セグメンテーション画像を生成することは、深層学習マスクＲ－ＣＮＮ（畳み込みニューラルネットワーク）を使用することを含む、請求項１に記載の方法。

【請求項3】

セグメンテーション画像を生成することは、複数のバウンディングボックスを提供することと、前記バウンディングボックスを前記抽出された特徴に位置合わせすることと、前記対象物を取囲むバウンディングボックスを含むバウンディングボックス画像を提供することと、を含む、請求項１に記載の方法。

【請求項4】

セグメンテーション画像を生成することは、対象物が各バウンディングボックスに存在する可能性を決定することを含む、請求項３に記載の方法。

【請求項5】

セグメンテーション画像を生成することは、対象物に関連付けられていない前記バウンディングボックス画像内の各バウンディングボックスからピクセルを除去することを含む、請求項３に記載の方法。

【請求項6】

セグメンテーション画像を生成することは、前記セグメンテーション画像内の各対象物が同一のラベルを有するように前記セグメンテーション画像内のピクセルにラベルを割当てることを含む、請求項１に記載の方法。

【請求項7】

各対象物の前記三次元姿勢を推定することは、ニューラルネットワークを使用して前記二次元画像から前記対象物上の複数の特徴を抽出することと、前記対象物上の特徴点の位置の可能性を特定する、前記抽出された特徴のそれぞれについてヒートマップを生成することと、前記ヒートマップからの前記特徴点と前記二次元画像とを組み合わせた特徴点画像を提供することと、前記特徴点画像を使用して前記対象物の前記三次元姿勢を推定することと、を含む、請求項１に記載の方法。

【請求項8】

各対象物の前記三次元姿勢を推定することは、前記特徴点画像を前記対象物の三次元仮想モデルと比較することを含む、請求項７に記載の方法。

【請求項9】

各対象物の前記三次元姿勢を推定することは、Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔアルゴリズムを使用することを含む、請求項８に記載の方法。

【請求項10】

前記対象物は透明である、請求項１に記載の方法。

【請求項11】

前記一群の対象物は異なる形状を有する対象物を含む、請求項１に記載の方法。

【請求項12】

前記方法はロボットシステムにおいて採用され、前記対象物はロボットによって取出されている、請求項１に記載の方法。

【請求項13】

一群の透明対象物の中の透明対象物の三次元姿勢を取得して、ロボットが前記対象物を取出すことを可能にするための方法であって、前記方法は、
カメラを使用して前記対象物の二次元赤緑青カラー（ＲＧＢ）画像を取得することと、
前記ＲＧＢ画像から特徴を抽出し、セグメンテーション画像内の対象物が同一のラベルを有するように前記セグメンテーション画像内のピクセルにラベルを割当てる、深層学習畳み込みニューラルネットワークを使用して画像セグメンテーション処理を実行することにより、前記ＲＧＢ画像のセグメンテーション画像を生成することと、
前記セグメンテーション画像を複数の切取り画像に分離することであって、各切取り画像が記対象物のうちの１つを含む、ことと、
各切取り画像内の各対象物の前記三次元姿勢を推定することと、
前記三次元姿勢を単一の姿勢画像に結合することであって、カラー画像を取得することと、セグメンテーション画像を生成することと、前記セグメンテーション画像を分離することと、各対象物の三次元姿勢を推定することと、前記三次元姿勢を結合することとは、前記ロボットが対象物を前記一群の対象物から取出す度に実行される、ことと、
を含む、方法。

【請求項14】

セグメンテーション画像を生成することは、同じ方向を有する複数の垂直に整列されたバウンディングボックスを提供することと、スライドウィンドウテンプレートを使用して前記バウンディングボックスを前記抽出された特徴に位置合わせすることと、前記対象物を取囲むバウンディングボックスを含むバウンディングボックス画像を提供することと、対象物が各バウンディングボックスに存在する可能性を決定することと、対象物に関連付けられていない各バウンディングボックスからピクセルを除去することと、前記バウンディングボックス内の各対象物の中心ピクセルを特定することと、を含む、請求項１３に記載の方法。

【請求項15】

各対象物の前記三次元姿勢を推定することは、ニューラルネットワークを使用して二次元画像から前記対象物上の複数の特徴を抽出することと、前記対象物上の特徴点の位置の可能性を特定する、前記抽出された特徴のそれぞれについてヒートマップを生成することと、前記ヒートマップからの前記特徴点と前記二次元画像とを結合した特徴点画像を提供することと、前記特徴点画像を前記対象物の三次元仮想モデルと比較することにより、前記特徴点画像を使用して前記対象物の前記三次元姿勢を推定することと、を含む、請求項１３に記載の方法。

【請求項16】

各対象物の前記三次元姿勢を推定することは、Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔアルゴリズムを使用することを含む、請求項１５に記載の方法。

【請求項17】

前記カメラは二次元カメラ又は三次元カメラである、請求項１３に記載の方法。

【請求項18】

一群の対象物の中の対象物の三次元姿勢を取得するためのロボットシステムであって、前記システムは、
前記対象物の二次元赤緑青カラー（ＲＧＢ）画像を提供するカメラと、
前記ＲＧＢ画像から特徴を抽出し、セグメンテーション画像内の各対象物が同一のラベルを有するように前記セグメンテーション画像内のピクセルにラベルを割当てる、画像セグメンテーション処理を実行することにより、前記対象物のセグメンテーション画像を生成する深層学習畳み込みニューラルネットワークと、
前記セグメンテーション画像を複数の切取り画像に分離するための手段であって、各切取り画像は前記対象物のうちの１つを含む、手段と、
各切取り画像内の各対象物の前記三次元姿勢を推定するための手段と、
前記三次元姿勢を単一の姿勢画像に結合するための手段と、
を備える、システム。

【請求項19】

深層学習ニューラルネットワークは、同じ方向を有する複数の垂直に整列されたバウンディングボックスを提供し、スライドウィンドウテンプレートを使用して前記抽出された特徴に前記バウンディングボックスを位置合わせし、前記対象物を取囲むバウンディングボックスを含むバウンディングボックス画像を提供し、対象物が各バウンディングボックスに存在する可能性を決定し、対象物に関連付けられていない各バウンディングボックスからピクセルを除去し、前記バウンディングボックス内の各対象物の中心ピクセルを特定する、請求項１８に記載のシステム。

【請求項20】

各対象物の前記三次元姿勢を推定するための手段は、ニューラルネットワークを使用して二次元画像から前記対象物上の複数の特徴を抽出し、前記対象物上の特徴点の位置の前記可能性を特定する、前記抽出された特徴のそれぞれについてヒートマップを生成し、前記ヒートマップからの前記特徴点と前記二次元画像とを結合する特徴点画像を提供し、前記特徴点画像を前記対象物の三次元仮想モデルと比較することによって前記特徴点画像を使用して前記対象物の前記三次元姿勢を推定する、請求項１８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、対象物の三次元姿勢を取得するためのシステム及び方法に関し、より具体的には、一群の対象物の一部である対象物の三次元姿勢を取得するロボットシステムに関する。ここで、システムは、対象物のＲＧＢ画像を取得し、画像セグメンテーションを使用して画像を区分けし、対象物のセグメンテーション画像を切取り、セグメンテーション画像内の各対象物の三次元姿勢を取得するために学習ベースのニューラルネットワークを使用する。

【背景技術】

【0002】

ロボットは、ピックアンドプレース動作を含む多数のタスクを実行する。ここで、ロボットは、対象物を取出して、収集容器等のある位置からコンベヤベルト等の別の位置へ移動させる。ここで、容器内の、対象物の三次元姿勢として知られた、対象物の位置及び方向は僅かに異なる。このため、ロボットが対象物を効果的に取出すために、ロボットは対象物の三次元姿勢を知る必要があることが多い。容器から取出されている対象物の三次元姿勢を特定するために、幾つかのロボットシステムは、容器の二次元赤緑青カラー（ＲＧＢ）画像と容器の二次元グレースケール深度マップ画像とを生成する三次元カメラを採用する。ここで、深度マップ画像の各ピクセルは、カメラから特定の対象物までの距離を規定する値を有する。即ち、ピクセルが対象物に近いほど、その値は低くなる。深度マップ画像は、カメラの視野内の点群内の点までの距離測定値を特定する。ここで、点群は、特定の座標系によって規定されたデータ点の集合体であり、各点は、ｘ、ｙ及びｚ値を有している。しかし、ロボットが取出している対象物が透明であると、光が対象物の表面から正確に反射されず、カメラが生成した点群は有効ではなく、深度画像が信頼できないため、取出すべき対象物を確実に特定できない。

【0003】

２０２０年４月３日に提出され、本出願の譲受人に譲渡され、参照により本書に援用される、「二次元カメラによる三次元姿勢推定」と題する米国特許出願第１６／８３９，２７４号では、二次元カメラからの二次元画像と、取出されている透明な対象物の三次元姿勢を特定できる学習ベースのニューラルネットワークとを使用して対象物の三次元姿勢を取得するためのロボットシステムを開示する。ニューラルネットワークは、二次元画像から対象物上の複数の特徴を抽出し、色表現によって対象物上の特徴点の位置の可能性（probability）を特定する、抽出された特徴のそれぞれについてヒートマップを生成する。この方法は、二次元画像上のヒートマップから特徴点を含む特徴点画像を提供し、特徴点画像と対象物の三次元仮想ＣＡＤモデルとを比較することによって対象物の三次元姿勢を推定する。言い換えると、投影された特徴点がモデル内で画像内の予測された特徴点と一致するようにＣＡＤモデルを最適に回転して平行移動するために最適化アルゴリズムが採用される。

【0004】

前述のように、米国特許出願第１６／８３９，２７４号のロボットシステムは、ロボットが取出している対象物の画像上の複数の特徴点を予測する。しかし、ロボットが容器内の対象物等の一群の対象物から対象物を選択的に取出している場合、画像には複数の対象物があり、各対象物は複数の予測された特徴を有するであろう。このため、ＣＡＤモデルを回転させると、その予測された特徴点が異なる対象物上の予測された特徴点と一致する可能性があるため、処理が単一の対象物の姿勢を確実に特定するのを妨げている。

【発明の概要】

【0005】

以下の考察では、ロボットが対象物を取出すことを可能にするために対象物の三次元姿勢を取得するためのシステム及び方法を開示し説明する。この方法は、カメラを使用して対象物の二次元赤緑青カラー（ＲＧＢ）画像を取得することと、ＲＧＢ画像から特徴を抽出し、セグメンテーション画像内の対象物が同一のラベルを有するようにセグメンテーション画像内のピクセルにラベルを割当てる、深層学習畳み込みニューラルネットワークを使用して画像セグメンテーション処理を実行することによってＲＧＢ画像のセグメンテーション画像を生成することと、を含む。また、この方法は、セグメンテーション画像を複数の切取られた画像に分離することであって、各切取られた画像が対象物のうちの１つを含む、ことと、各切取られた画像内の各対象物の三次元姿勢を推定することと、三次元姿勢を単一の姿勢画像に結合することとを含む。カラー画像を取得するステップと、セグメンテーション画像を生成するステップと、セグメンテーション画像を分離するステップと、各対象物の三次元姿勢を推定するステップと、三次元姿勢を結合するステップとは、ロボットが一群の対象物から対象物を取出す度に実行される。

【0006】

本開示の追加の特徴が、添付の図面と併せて、以下の説明及び添付の特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0007】

【図1】対象物を容器から取出すロボットを含むロボットシステムの図である。

【図2】図１に示すロボットシステム内の容器から対象物を取出すための容器取出システムの概略ブロック図である。

【図3】図２に示すシステムから分離されたセグメンテーションモジュールの概略ブロック図である。

【図4】対象物の二次元セグメンテーション画像とニューラルネットワークとを使用して対象物の三次元姿勢を推定するために訓練されたニューラルネットワークを使用するための学習ベースのニューラルネットワーク処理を示す流れ図である。

【図5】図４に示す処理において対象物の三次元姿勢推定を決定するためのＰｅｒｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔ（ＰｎＰ）処理を示す図である。

【図6】それぞれが複数の対象物を有する複数のカテゴリを含むセグメンテーション画像の図である。

【発明を実施するための形態】

【0008】

本開示の実施形態についての以下の考察は、一群の透明対象物内にある対象物の三次元姿勢を取得するロボットシステムを対象とし、このシステムは、対象物のＲＧＢ画像を取得し、画像セグメンテーションを使用して画像を区分けし、対象物のセグメンテーション画像を切取り、区分けされた対象物の三次元姿勢を取得するために学習ベースのニューラルネットワークを使用する。本質的に単なる例示であり、本発明又はその用途又は使用を制限することを全く意図してない。例えば、このシステム及び方法は一群の透明対象物内にある透明対象物の位置及び方向を特定する用途を有する。しかし、このシステム及び方法は他の用途を有することもある。

【0009】

図１は、容器１８から例えば透明ボトル等の対象物１６を個別に取出す様子を示したエンドエフェクタ１４を有するロボット１２を含むロボットシステム１０の図である。システム１０は本書の考察から利益を得られる任意のタイプのロボットシステムを表すよう意図され、ロボット１２はその目的に適した任意のロボットでよい。カメラ２０は、容器１８の上面（top down）画像を取得するために位置決めされ、ロボット１２の動作を制御するロボットコントローラ２２に画像を提供する。対象物１６は透明である場合があるため、コントローラ２２は容器１８内の対象物１６の位置を特定するために深度マップ画像に頼れない。従って、カメラ２０からのＲＧＢ画像のみが使用されるため、カメラ２０は二次元又は三次元カメラでよい。

【0010】

ロボット１２が対象物１６を効果的に把持して取出すためには、対象物１６を把持する前に、エンドエフェクタ１４を適切な位置及び方向に位置決めできる必要がある。以下で詳細に考察するように、ロボットコントローラ２２は、ロボット１２が正確な深度マップ画像に頼る必要なく対象物１６を取出すことを可能にするアルゴリズムを採用する。より具体的には、アルゴリズムは、カメラ２０からのＲＧＢ画像内のピクセルの異なる色を使用して画像セグメンテーション処理を実行する。画像セグメンテーションは、同一のラベルを有するピクセルが特定の特性を共有するように、画像内の全ピクセルにラベルを割当てる処理である。このため、セグメンテーション処理はどのピクセルが対象物１６のうちのどれに属するかを予測する。

【0011】

最新の画像セグメンテーション技術は、深層学習技術が採用される場合がある。深層学習は、特定の実世界の環境を、増大する複雑な概念の階層として表すことによってより優れた学習性能を提供する特定のタイプの機械学習である。深層学習は、典型的には、非線形処理を実行するニューラルネットワークの複数の層を含むソフトウェア構成を採用する。ここで、連続する各層は前の層からの出力を受取る。一般に、層は、センサからの生データを受取る入力層と、データから抽象的な特徴を抽出する幾つかの隠れ層と、隠れ層からの特徴抽出に基づいて特定の事柄を特定する出力層と、を含む。ニューラルネットワークは、ある事柄が正しいかどうかの可能性（probability）を得るためにノードへの入力が乗算される「重み」をそれぞれ有するニューロン又はノードを含む。より具体的には、ノードのそれぞれは、入力の幾らかの比率であるそのノードの出力を生成するためにノードへの入力が乗算される浮動小数点数である重みを有する。重みは、ニューラルネットワークに教師あり処理の下で既知のデータのセットを分析させることによって、及び、ネットワークが正しい出力の最高の可能性を得られるようにコスト関数を最小化することを通じて、最初に「訓練される」か、又は設定される。

【0012】

図２は、対象物１６を容器１８から取出すように動作するロボットシステム１０におけるコントローラ２２の一部である容器取出システム３０の概略ブロック図である。システム３０は、カメラ２０からの容器１８の上面図の二次元ＲＧＢ画像３２を受取る。ここで、対象物１６が画像３２に示されている。画像３２は、画像セグメンテーション処理を実行するセグメンテーションモジュール３６に提供される。ここで、各ピクセルは特定のラベルを割当てられ、同じ対象物１６に関連付けられたピクセルは同一のラベルを有する。

【0013】

図３は、システム３０から分離されたモジュール３６の概略ブロック図である。ＲＧＢ画像３２は、画像３２から重要な特徴を抽出するフィルタリング処理を実行する特徴抽出モジュール４０に提供され、これは背景及びノイズを除去する。例えば、モジュール４０は、画像３２から、勾配、エッジ、輪郭、基本形状等を抽出する学習ベースのニューラルネットワークを含み、モジュール４０は、既知の方法でＲＧＢ画像３２の抽出された特徴画像４４を提供する。特徴画像４４は、ニューラルネットワークを使用して、画像４４内の特定された特徴を分析して、画像４４内の対象物１６の位置を決定する領域提案モジュール５０に提供される。特に、モジュール５０は、異なるサイズの５０個から１００個のボックス等の幾つかのバウンディングボックス、即ち、対象物１６が画像４８内の特定の位置に存在する可能性（probability）を特定するために使用される種々の長さと幅を有するボックスを提供する、訓練されたニューラルネットワークを含む。本実施形態では、バウンディングボックスはいずれも垂直ボックスであり、モジュール５０の複雑さを軽減するのに役立つ。領域提案モジュール５０は、当業者によく知られているスライド検索ウィンドウテンプレートを採用する。ここで、全てのバウンディングボックスを含む検索ウィンドウが、対象物１６のうちの１つの存在の可能性を特定する特徴を探索するために、特徴画像４４上を、例えば、画像４４の左上から画像４４の右下へ移動する。

【0014】

スライドウィンドウ検索は、画像４４内の予測された対象物をそれぞれ取囲む幾つかのバウンディングボックス５２を含むバウンディングボックス画像５４を生成する。ここで、画像５４内のバウンディングボックス５２の数は、ロボット１２が容器１８から対象物１６のうちの１つを取除くたびに減少する。モジュール５０は、各ボックス５２の中心位置（ｘ、ｙ）、幅（ｗ）、及び高さ（ｈ）をパラメータ化し、対象物１６がボックス５２の中に存在することの０％から１００％の間の予測信頼値を提供する。画像５４は、ピクセルがバウンディングボックス５２のそれぞれの中の対象物１６に属するかどうかを、ニューラルネットワークを使用して推定して、対象物１６の一部ではないボックス５２の中の背景ピクセルを除去する、バイナリセグメンテーションモジュール５６に提供される。ボックス５２のそれぞれの中の画像５４内の残りのピクセルには、特定の対象物１６の値を割当てられ、その結果、色等の異なる特徴によって対象物１６を特定する二次元セグメンテーション画像５８が生成される。このため、説明した画像セグメンテーション処理は、深層学習マスクＲ－ＣＮＮ（畳み込みニューラルネットワーク）の修正された形態である。次に、画像５８の中の区分けされた対象物は、対象物１６のうちの１つのみを有する切取り画像６０として、画像５８内で特定された対象物１６のそれぞれを分離するために切取られる。

【0015】

次に、切取り画像６０のそれぞれは、その画像６０内の対象物１６の三次元姿勢推定を実行して、例えば、米国特許出願第１６／８３９，２７４号の方法と同じ方法で推定された三次元姿勢７２を取得する別個の三次元姿勢推定モジュール７０に送出される。図４はモジュール７０において動作するアルゴリズムを示す流れ図８０であり、このモジュールは特定の切取り画像６０内の対象物１６の三次元姿勢を推定するために訓練されたニューラルネットワークを使用する学習ベースのニューラルネットワーク７８を採用する。画像６０は、入力層８４と、複数の連続する残余ブロック層８６及び８８と、に提供され、残余ブロック層は、フィルタリング処理を使用して、画像６０内の対象物１６上の可能性のある特徴点の勾配、エッジ、輪郭等の特徴抽出を提供するコントローラ２２内のＡＩソフトウェアにて動作するニューラルネットワーク７８内のフィードフォワードループを含む。抽出された特徴を含む画像は、抽出された特徴から取得された可能性のある特徴点を、特徴点毎に１つずつ、一連のヒートマップ９２として規定するニューラルネットワーク７８内の複数の連続する畳み込み層９０に提供される。一連のヒートマップは、ヒートマップ９２の色に基づいて特徴点が対象物１６上のどこに存在するかの尤度を示す。画像９４は、全てのヒートマップ９２から全ての特徴点について特徴点９６を含む対象物１６の画像６０を使用して生成される。ここで、各特徴点９６は、その特徴点についてヒートマップ９２の色に基づいて信頼値を割当てられ、特定の閾値を超える信頼値を有していないそれらの特徴点９６は使用されない。

【0016】

次に、画像９４は、姿勢推定プロセッサ９８において同じ特徴点を有する対象物１６の仮の又は仮想の三次元ＣＡＤモデルと比較されて、対象物１４の推定された三次元姿勢７２を提供する。画像９４をＣＡＤモデルと比較するための１つの適切なアルゴリズムは、当技術分野においてＰｅｒｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔ（ＰｎＰ）として知られている。一般に、ＰｎＰ処理は、ワールド座標系における対象物の一組のｎ個の三次元点と、カメラ２０からの画像内の三次元点に対応する二次元投影とが与えられると、較正されたカメラに対する対象物の姿勢を推定する。姿勢は、カメラ座標系に対する対象物の回転（ロール、ピッチ及びヨー）と、三次元平行移動とから構成される６自由度（ＤＯＦ）を含む。

【0017】

図５は、対象物１６の三次元姿勢を取得するために、本例においてＰｎＰ処理をどのように実装できるかを示す図１００である。図１００は、地上較正又は実位置での対象物１６を表す三次元対象物１０６を示す。対象物１０６は、カメラ２０を表すカメラ１１２によって観察され、二次元画像平面１１０上に二次元対象物画像１０８として投影される。ここで、対象物画像１０８は画像９４を表し、画像１０８上の点１０２は点９６を表すニューラルネットワーク７８によって予測された特徴点である。また、図１００は、カメラ１１２の前にランダムに配置され、平面１１０上に二次元モデル画像１１６として投影され、投影された特徴点１１８も含む、特徴点９６と同じ位置に特徴点１０４を有する対象物１６の仮想三次元ＣＡＤモデル１１４を示す。ＣＡＤモデル１１４は、カメラ１１２の前で回転及び平行移動され、これが、モデル画像１１６上の特徴点１１８のそれぞれと、対象物画像１０８上の対応する特徴点１０２との間の距離を最小化する、即ち、画像１１６及び１０８を位置合わせする試みにおいて、モデル画像１１６を回転及び平行移動する。モデル画像１１６は、可能な限り最良に対象物画像１０８と位置合わせされた時点で、カメラ１１２に対するＣＡＤモデル１１４の姿勢が対象物１６の推定された三次元姿勢７２である。

【0018】

この分析は、画像１０８と画像１１６との間の対応する特徴点のうちの１つについて式（１）によって表される。ここで、式（１）は、画像１０８と画像１１６の全ての特徴点について使用される。

【数1】

ここで、ＶｉはＣＡＤモデル１１４の特徴点１０４のうちの１つであり、ｖｉはモデル画像１１６の対応する投影された特徴点１０２であり、ａｉは対象物画像１０８上の特徴点１０２のうちの１つであり、Ｒは回転量であり、Ｔはカメラ１１２に対するＣＡＤモデル１１４の平行移動量であり、記号’は転置ベクトルであり、∀は指数ｉを有する任意の特徴点を指す。式（１）を最適化解法で解くことにより、最適な回転量及び平行移動量を計算できるため、対象物１６の三次元姿勢７２の推定を提供する。

【0019】

全ての三次元姿勢７２が単一の画像７４に結合され、ロボット１２は対象物１６のうちの１つを選択して取出す。ロボット１２が対象物１６を取出して移動した時点で、カメラ２０は、容器１８の新たな画像を取得して、次の対象物１６を取出す。この処理は、全ての対象物１６が取出されるまで継続する。

【0020】

上記の考察は、同じタイプ又はカテゴリの対象物を有する一群の対象物の中の対象物、即ち、透明ボトルの三次元姿勢を特定することについて説明する。しかし、上記の処理は、異なるタイプ又はカテゴリの対象物を有する一群の対象物の中の対象物の三次元姿勢を特定する用途を有する。これは、あるカテゴリの区分けされた対象物１２６、即ち、ボトルと、別のカテゴリの区分けされた対象物１２８、即ち、マグカップとを含む、図６に示すセグメンテーション画像１２４によって図示される。

【0021】

当業者によって充分に理解されるように、本開示を説明するために本書で考察された幾つかの種々のステップ及び処理は、電気的現象を使用してデータを操作したり、及び／又は変換したりする、コンピュータ、プロセッサ又は他の電子計算装置によって実行される動作を指す場合がある。それらのコンピュータ及び電子装置は、コンピュータ又はプロセッサによって実行できる種々のコード又は実行可能命令を含む実行可能プログラムが記憶された非一時的なコンピュータ可読媒体を含む種々の揮発性メモリ及び／又は不揮発性メモリを採用する場合がある。ここで、メモリ及び／又はコンピュータ可読媒体は、あらゆる形態及びタイプのメモリ及び他のコンピュータ可読媒体を含んでもよい。

【0022】

前述の考察は、本開示の単なる例示的な実施形態を開示し説明される。当業者は、そのような考察及び添付の図面及び特許請求の範囲から、以下の特許請求の範囲で規定される開示の精神及び範囲から逸脱することなく、種々の変更、修正及び変形を施すことができることを容易に認識するであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【外国語明細書】