特開 2024-114637 目標物体の姿勢を識別する方法およびそれを実行する計算装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024114637

(43)【公開日】2024-08-23

(54)【発明の名称】目標物体の姿勢を識別する方法およびそれを実行する計算装置

(51)【国際特許分類】

   G06T 7/73 20170101AFI20240816BHJP

   G06T 7/00 20170101ALI20240816BHJP

【ＦＩ】

G06T7/73

G06T7/00 300D

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2024014382

(22)【出願日】2024-02-01

(31)【優先権主張番号】112104766

(32)【優先日】2023-02-10

(33)【優先権主張国・地域又は機関】TW

(71)【出願人】

【識別番号】520461440

【氏名又は名称】所羅門股▲分▼有限公司

(74)【代理人】

【識別番号】100118256

【弁理士】

【氏名又は名称】小野寺 隆

(74)【代理人】

【識別番号】100166338

【弁理士】

【氏名又は名称】関口 正夫

(72)【発明者】

【氏名】陳 政隆

(72)【発明者】

【氏名】スアン ロック グエン

(72)【発明者】

【氏名】タフジラ ヌグラハ ブリリアン

(72)【発明者】

【氏名】マン クアン グエン

(72)【発明者】

【氏名】ツァイ チエ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA05

5L096CA02

5L096DA02

5L096FA09

5L096FA67

5L096HA11

5L096JA09

5L096KA04

(57)【要約】

【課題】目標物体の姿勢を識別する方法を提供する。
【解決手段】該方法は、データベースを記憶する計算装置により実行される。データベースは、目標物体が属する特定の種類に属する参照物体をそれぞれ含み、異なる偏向角度にそれぞれ対応する複数のテンプレート画像を含む。該方法は、入力画像に含まれる目標物体の外観に基づいて、テンプレート画像から入力画像と最もマッチするマッチング画像を選択し、入力画像とマッチング画像とに基づいて、キーポイントマッチング工程を実行し、入力画像に示されかつ目標物体の外観に関連する複数の第１の特徴点と、マッチング画像に示されかつ第１の特徴点とそれぞれマッチする複数の第２の特徴点と、を認識し、第１の特徴点と第２の特徴点との間の相対姿勢関係に基づいて、目標物体の姿勢を示す姿勢認識結果を生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

目標物体の姿勢を識別する方法であって、該方法は、データベースを記憶する計算装置により実行され、前記データベースは、前記目標物体が属する特定の種類に関連し、複数のテンプレート画像を含み、前記テンプレート画像は、前記特定の種類に属する参照物体をそれぞれ含み、前記参照物体が捕捉される参照角度に対する異なる偏向角度にそれぞれ対応し、前記方法は、
前記特定の種類に属する前記目標物体を含む入力画像を得るステップと、
前記入力画像における前記目標物体の外観に基づいて、前記データベースの前記テンプレート画像から前記入力画像と最もマッチするマッチング画像を選択するステップであって、前記マッチング画像は、前記テンプレート画像に示される前記参照物体の角度が前記入力画像に示される前記目標物体の角度と最も近い１つであるステップと、
前記入力画像と前記マッチング画像とに基づいて、キーポイントマッチング工程を実行することによって、前記入力画像に示されかつ前記目標物体の外観に関連する複数の第１の特徴点と、前記マッチング画像に示されかつ前記第１の特徴点とそれぞれマッチする複数の第２の特徴点と、を認識するステップと、
前記第１の特徴点と前記第２の特徴点との間の相対姿勢関係に基づいて、前記目標物体の前記姿勢を示す姿勢認識結果を生成するステップと、を含む、
方法。

【請求項2】

前記データベースは、前記テンプレート画像にそれぞれ対応する複数の参照特徴データセットをさらに含み、前記参照特徴データセットのそれぞれは、前記テンプレート画像の対応する１つに示される前記角度での前記参照物体の外観特徴を示し、
マッチング画像を選択するステップは、
前記入力画像に示される前記目標物体の複数の特徴部分に基づいて、前記入力画像に対応する目標特徴データセットを生成するステップであって、前記目標特徴データセットは、前記入力画像に示される前記角度での前記目標物体の外観特徴を示すステップと、
前記参照特徴データセットのそれぞれについて、前記目標特徴データセットと該参照特徴データセットとの間のマッチング程度を計算するステップと、
前記テンプレート画像の前記目標特徴データセットとの前記マッチング程度が最も高い前記参照特徴データセットに対応する１つを、前記マッチング画像として選択するステップと、を含む、
請求項１に記載の方法。

【請求項3】

前記目標特徴データセットと前記参照特徴データセットとは、それぞれベクトルで表現され、
マッチング程度を計算するステップは、前記参照特徴データセットのそれぞれについて、前記目標特徴データセットと該参照特徴データセットとの間のミンコフスキー距離を計算するステップを含む、
請求項２に記載の方法。

【請求項4】

前記テンプレート画像は、最初のテンプレート画像と、複数の加工されたテンプレート画像と、を含み、
前記方法は、入力画像を得るステップとマッチング画像を選択するステップとの前に、
前記最初のテンプレート画像を得るステップと、
前記最初のテンプレート画像に基づいて、前記最初のテンプレート画像に対応する前記参照特徴データセットを生成するステップと、
前記最初のテンプレート画像を複数回回転することにより、前記複数の加工されたテンプレート画像を生成するステップであって、毎回の回転で１つの前記加工されたテンプレート画像を生成するステップと、
前記加工されたテンプレート画像に基づいて、前記加工されたテンプレート画像にそれぞれ対応する前記参照特徴データセットを生成するステップと、をさらに含む、
請求項２に記載の方法。

【請求項5】

前記データベースは、前記テンプレート画像にそれぞれ対応する複数の参照姿勢データセットをさらに含み、前記参照姿勢データセットのそれぞれは、前記テンプレート画像の対応する１つに示される前記参照物体の姿勢を示し、
前記方法は、前記第１の特徴点と前記第２の特徴点とに基づいて、前記第１の特徴点と前記第２の特徴点との間の前記相対姿勢関係を示す校正データセットを生成することをさらに含み、
前記姿勢認識結果は、前記マッチング画像に対応する前記参照姿勢データセットと前記校正データセットとに基づいて生成される、
請求項２に記載の方法。

【請求項6】

目標物体の姿勢を認識する計算装置であって、
処理ユニットと、
前記処理ユニットに電気的に接続し、データベースを記憶する記憶ユニットと、を含み、
前記データベースは、前記目標物体が属する特定の種類に関連し、複数のテンプレート画像を含み、前記テンプレート画像は、前記特定の種類に属する参照物体をそれぞれ含み、前記参照物体が捕捉される参照角度に対する異なる偏向角度にそれぞれ対応し、
前記処理ユニットは、
前記特定の種類に属する前記目標物体を含む入力画像を得て、
前記入力画像における前記目標物体の外観に基づいて、前記データベースの前記テンプレート画像から前記入力画像と最もマッチするマッチング画像を選択し、前記マッチング画像は、前記テンプレート画像に示される前記参照物体の角度が前記入力画像に示される前記目標物体の角度と最も近い１つであり、
前記入力画像と前記マッチング画像とに基づいて、キーポイントマッチング工程を実行することによって、前記入力画像に示されかつ前記目標物体の外観に関連する複数の第１の特徴点と、前記マッチング画像に示されかつ前記第１の特徴点とそれぞれマッチする複数の第２の特徴点と、を認識し、
前記第１の特徴点と前記第２の特徴点との間の相対姿勢関係に基づいて、前記目標物体の前記姿勢を示す姿勢認識結果を生成する、ように構成される、
計算装置。

【請求項7】

前記データベースは、前記テンプレート画像にそれぞれ対応する複数の参照特徴データセットをさらに含み、前記参照特徴データセットのそれぞれは、前記テンプレート画像の対応する１つに示される前記角度での前記参照物体の外観特徴を示し、
前記処理ユニットは、
前記入力画像に示される前記目標物体の複数の特徴部分に基づいて、前記入力画像に対応する目標特徴データセットを生成し、前記目標特徴データセットは、前記入力画像に示される前記角度での前記目標物体の外観特徴を示し、
前記参照特徴データセットのそれぞれについて、前記目標特徴データセットと該参照特徴データセットとの間のマッチング程度を計算し、
前記テンプレート画像の前記目標特徴データセットとの前記マッチング程度が最も高い前記参照特徴データセットに対応する１つを、前記マッチング画像として選択することによって、前記マッチング画像を選択するように構成される、
請求項６に記載の計算装置。

【請求項8】

前記目標特徴データセットと前記参照特徴データセットとは、それぞれベクトルで表現され、
前記処理ユニットは、前記参照特徴データセットのそれぞれについて、前記目標特徴データセットと該参照特徴データセットとの間のミンコフスキー距離を計算することによって、前記マッチング程度を計算するように構成される、
請求項７に記載の計算装置。

【請求項9】

前記テンプレート画像は、最初のテンプレート画像と、複数の加工されたテンプレート画像と、を含み、
前記処理ユニットは、前記入力画像を得ることと前記マッチング画像を選択することとの前に、
前記最初のテンプレート画像を得て、
前記最初のテンプレート画像に基づいて、前記最初のテンプレート画像に対応する前記参照特徴データセットを生成し、
前記最初のテンプレート画像を複数回回転することにより、前記複数の加工されたテンプレート画像を生成し、毎回の回転で１つの前記加工されたテンプレート画像を生成し、
前記加工されたテンプレート画像に基づいて、前記加工されたテンプレート画像にそれぞれ対応する前記参照特徴データセットを生成するように、さらに構成される、
請求項７に記載の計算装置。

【請求項10】

前記データベースは、前記テンプレート画像にそれぞれ対応する複数の参照姿勢データセットをさらに含み、前記参照姿勢データセットのそれぞれは、前記テンプレート画像の対応する１つに示される前記参照物体の姿勢を示し、
前記処理ユニットは、前記第１の特徴点と前記第２の特徴点とに基づいて、前記第１の特徴点と前記第２の特徴点との間の前記相対姿勢関係を示す校正データセットを生成するようにさらに構成され、
前記処理ユニットは、前記マッチング画像に対応する前記参照姿勢データセットと前記校正データセットとに基づいて、前記姿勢認識結果を生成するように構成される、
請求項７に記載の計算装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、目標物体の姿勢を認識する方法に関し、より具体的には、画像認識に関与する目標物体の姿勢を認識する方法に関する。本発明は、該方法を実行する計算装置にさらに関する。

【背景技術】

【0002】

さまざまな自動化操作において、物体の姿勢（位置と方向付け）を識別することは、重要な工程である。例えば、ロボットアームを用いて物体を掴む操作において、物体の姿勢に基づいてロボットアームの動作を決めることによって、ロボットアームは正しい角度から物体を安定的に掴むことができる。また、物体を自動化加工する操作において、物体の姿勢に基づいて加工する位置または経路を調整することによって、加工の精確性を向上することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】中国特許出願公開第１１３９３９８５２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

したがって、本発明の目的は、目標物体の姿勢を識別する方法およびそれを実行する計算装置を提供することにある。

【課題を解決するための手段】

【0005】

該方法は、データベースを記憶する計算装置により実行される。データベースは、目標物体が属する特定の種類に関連し、複数のテンプレート画像を含む。テンプレート画像は、特定の種類に属する参照物体をそれぞれ含み、参照物体が捕捉される参照角度に対する異なる偏向角度にそれぞれ対応する。

【0006】

該方法は、特定の種類に属する目標物体を含む入力画像を得るステップと、入力画像における目標物体の外観に基づいて、データベースのテンプレート画像から入力画像と最もマッチするマッチング画像を選択するステップであって、マッチング画像は、テンプレート画像に示される参照物体の角度が入力画像に示される目標物体の角度と最も近い１つであるステップと、入力画像とマッチング画像とに基づいて、キーポイントマッチング工程を実行することによって、入力画像に示されかつ目標物体の外観に関連する複数の第１の特徴点と、マッチング画像に示されかつ第１の特徴点とそれぞれマッチする複数の第２の特徴点と、を認識するステップと、第１の特徴点と第２の特徴点との間の相対姿勢関係に基づいて、目標物体の姿勢を示す姿勢認識結果を生成するステップと、を含む。

【0007】

計算装置は、処理ユニットと、処理ユニットに電気的に接続し、データベースを記憶する記憶ユニットと、を含む。

【0008】

データベースは、目標物体が属する特定の種類に関連し、複数のテンプレート画像を含む。テンプレート画像は、特定の種類に属する参照物体をそれぞれ含み、参照物体が捕捉される参照角度に対する異なる偏向角度にそれぞれ対応する。

【0009】

処理ユニットは、特定の種類に属する目標物体を含む入力画像を得て、入力画像における目標物体の外観に基づいて、データベースのテンプレート画像から入力画像と最もマッチするマッチング画像を選択し、マッチング画像は、テンプレート画像に示される参照物体の角度が入力画像に示される目標物体の角度と最も近い１つであり、入力画像とマッチング画像とに基づいて、キーポイントマッチング工程を実行することによって、入力画像に示されかつ目標物体の外観に関連する複数の第１の特徴点と、マッチング画像に示されかつ第１の特徴点とそれぞれマッチする複数の第２の特徴点と、を認識し、第１の特徴点と第２の特徴点との間の相対姿勢関係に基づいて、目標物体の姿勢を示す姿勢認識結果を生成する、ように構成される。

【発明の効果】

【0010】

目標物体を認識する方法を実行することによって、計算装置は、目標物体を含む入力画像を得ると、データベースから入力画像と最もマッチするマッチング画像を選択し、入力画像とマッチング画像とに基づいてキーポイントマッチング工程を実行して、第１の特徴点と第２の特徴点とを認識し、第１の特徴点と第２の特徴点とに基づいて、目標物体の姿勢を認識する。

【0011】

本発明の他の特徴及び利点は、添付の図面を参照する以下の実施形態の詳細な説明において明白になる。

【図面の簡単な説明】

【0012】

【図1】本発明に係る一実施形態の目標物体の姿勢を認識する計算装置、データベース、および撮影装置を示す模式図である。

【図2】本発明に係る一実施形態の目標物体の姿勢を認識する方法を示すフローチャートである。

【発明を実施するための形態】

【0013】

本発明をより詳細に説明する前に、適切と考えられる場合において、参照符号または参照符号の末端部は、同様の特性を有し得る対応のまたは類似の要素を示すために各図面間で繰り返し用いられることに留意されたい。

【0014】

本明細書において、「結合」又は「接続」という用語は、複数の電気機器／装置／設備の間が導電材料（例えば、電線）により直接的に接続されること、あるいは、２つの電気機器／装置／設備の間が他の一つ以上の機器／装置／設備または無線通信により間接的に接続されることを意味する。

【0015】

図１を参照すると、本発明に係る目標物体の姿勢を認識する計算装置１は、パーソナルコンピューター、ラップトップコンピューター、サーバーなどとして実施され得る。計算装置１は、処理ユニット１１と、処理ユニット１１に電気的に接続する記憶ユニット１２と、を含む。なお、「姿勢」という用語は、物体の位置と方向付け（即ち物体の向き）とを表している。

【0016】

本実施形態において、処理ユニット１１は、データ演算および処理機能を有するチップ（すなわち、集積回路）であり、中央処理装置（ＣＰＵ）を含んでもよいが、これに限定されない。記憶ユニット１２は、デジタルデータを記憶するデータ記憶装置（例えば、ハードディスク）である。いくつかの実施形態において、処理ユニット１１は、チップの集合体であってもよく、記憶ユニット１２は、同じタイプまたは異なるタイプのコンピュータ読み取り可能な記憶媒体の集合体であってもよいが、これに限定されない。いくつかの実施形態において、計算装置１は、スマートフォン、タブレットコンピューターなどの電子装置であってもよい。したがって、計算装置１のハードウェアの実施は、本実施形態に限定されない。

【0017】

本実施形態において、処理ユニット１１は、図１に示されるデータベースＤＢ１を生成し、データベースＤＢ１を記憶ユニット１２に記憶するように構成される。具体的には、データベースＤＢ１は、特定の種類の物体（例えば、特定の形式の物体、特定の仕様に準拠する物体など）に関連し、本発明のいくつかの実施形態に係る該特定の種類に属する目標物体の姿勢を認識する方法の第１の段階を実行する処理ユニット１１によって生成される。すなわち、処理ユニット１１が該方法の第１の段階を実行する前に、データベースＤＢ１はまだ生成されておらず、記憶ユニット１２に記憶されていない。なお、図１では、計算装置１の動作を容易に説明するために、データベースＤＢ１の一例を予め示している。さらに、処理ユニット１１は、動画を撮るように構成される撮影装置２（例えば、カメラ）に電気的に接続できるように構成され、処理ユニット１１は、撮影装置２から動画を受信し、目標物体の姿勢を認識する方法の第２の段階を実行することによって、データベースＤＢ１に基づいて、動画における物体の姿勢を認識するように構成される。

【0018】

図２をさらに参照すると、計算装置１によって実行される目標物体の姿勢を認識する方法が示される。該方法は、ステップＳ１からステップＳ９を含み、ステップＳ１からステップＳ５は方法の第１の段階に関連し、ステップＳ６からステップＳ９は方法の第２の段階に関連する。

【0019】

ステップＳ１において、処理ユニット１１は、テンプレート画像Ｄ１を得る。ここで、該テンプレート画像Ｄ１は、本実施形態の最初のテンプレート画像Ｄ１’とみなされ、最初のテンプレート画像Ｄ１’は、参照物体を含む。

【0020】

具体的には、最初のテンプレート画像Ｄ１’に含まれる参照物体は、後で計算装置１によって該方法を用いて認識される目標物体が属する特定の種類に属する。参照物体は、例えば、特定の種類のワークピースまたはコンポーネントである。例えば、特定の種類は、ＵＴＳ（ＵＮＩＦＩＥＤ ＴＨＲＥＡＤ ＳＴＡＮＤＡＲＤ）規格番号「＃６－３２ＵＮＣ ２Ｂ」であり、参照物体および目標物体は、「＃６－３２ＵＮＣ ２Ｂ」に準拠するねじである。最初のテンプレート画像Ｄ１’に示される参照物体の角度は、最初のテンプレート画像Ｄ１’が撮影される際の撮影視点からの特定の種類の物体の参照角度とみなされる。より詳細に説明すると、撮影視点は、最初のテンプレート画像Ｄ１’が撮影される際の参照物体に対するカメラ装置（例えば、図１の撮影装置２であるがこれに限定されない）の視点である。なお、特定の種類に属する他の物体（すなわち、参照物体と実質的に同じ外観を有する他の物体）の姿勢を認識するために、最初のテンプレート画像Ｄ１’は、特定の種類に関連するデータベースＤＢ１を生成するために処理ユニット１１によって利用される。したがって、参照物体自体が、方法を用いて計算装置１によって認識される実際のターゲットであるとは限らない。

【0021】

さらに、最初のテンプレート画像Ｄ１’は、複数の特徴マーカを有し、特徴マーカは、最初のテンプレート画像Ｄ１’に示される参照物体の複数の特徴部分（以下、「参照特徴部分」と称する）をそれぞれ定義する。参照特徴部分のそれぞれは、最初のテンプレート画像Ｄ１’に示される参照物体の外観の部分であり、参照物体の外観の部分は、コンピュータビジョンにおける認識されるターゲットとして適合するものであり、例えば、最初のテンプレート画像Ｄ１’に示される参照物体のパターン、輪郭、またはそれらの組み合わせであるが、これらに限定されない。さらに、特徴マーカは、手動操作によって、最初のテンプレート画像Ｄ１’に追加されるバーチャルマーカであってもよいが、これに限定されない。

【0022】

本実施形態において、処理ユニット１１は、ユーザにより制御されて記憶ユニット１２から、記憶ユニット１２に予め記憶されている最初のテンプレート画像Ｄ１’を読み取ることによって、最初のテンプレート画像Ｄ１’を得る。いくつかの実施形態において、処理ユニット１１は、電子装置（図示せず。例えば、カメラ装置やコンピュータ）に電気的に接続し、電子装置から最初のテンプレート画像Ｄ１’を得てもよい。いくつかの実施形態において、処理ユニット１１は、最初のテンプレート画像Ｄ１’を記憶する外部記憶装置（図示せず。例えば、メモリカードやフラッシュドライブ）に電気的に接続し、外部電子装置から最初のテンプレート画像Ｄ１’を得てもよい。

【0023】

最初のテンプレート画像Ｄ１’を得た後、フローはステップＳ２に進む。

【0024】

ステップＳ２において、処理ユニット１１は、最初のテンプレート画像Ｄ１’に基づいて、最初のテンプレート画像Ｄ１’に対応する参照姿勢データセットＤ２と、最初のテンプレート画像Ｄ１’に対応する参照特徴データセットＤ３とを生成する。

【0025】

本実施形態において、最初のテンプレート画像Ｄ１’に対応する参照姿勢データセットＤ２は、マトリックスで表現され、最初のテンプレート画像Ｄ１’に示される参照物体の姿勢（すなわち、撮影視点から見た特定の種類の物体の参照角度での姿勢）を示す。具体的には、参照姿勢データセットＤ２は、３次元空間における６自由度を用いて、最初のテンプレート画像Ｄ１’に示される参照物体の姿勢を示す。参照姿勢データセットＤ２によって示される姿勢は、撮影視点に基づいて定義されるバーチャル３次元座標系の座標セットであってもよく、撮影視点から見た特定の種類に属する物体の参照姿勢と見なされてもよい。例えば、参照姿勢での特定の種類に属する物体は、３次元座標系の原点に位置し、３次元のそれぞれにある方向付けはゼロである（すなわち、ヨー、ピッチ、ロールはそれぞれゼロである）。

【0026】

本実施形態において、最初のテンプレート画像Ｄ１’に対応する参照特徴データセットＤ３は、複数の成分（例えば、２３０４個の成分）を含むベクトルで表現され、成分を用いて最初のテンプレート画像Ｄ１’に示される参照角度での参照物体（特定の種類の物体）の外観特徴を示す。外観特徴は、撮影視点から見て、特徴の種類に属する物体が該参照角度にある場合のみに存在する。例えば、外観特徴は、最初のテンプレート画像Ｄ１’に示される参照特徴部分それぞれの座標セットおよび／または方向付けであり、外観特徴は、撮影視点から見た参照物体が参照角度にある際の参照特徴部分の間の相対位置関係を示すことができるが、これに限定されない。

【0027】

本実施形態において、処理ユニット１１は、最初のテンプレート画像Ｄ１’を、予めトレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）に入力して、出力となる参照特徴データセットＤ３を得る。すなわち、参照特徴データセットＤ３は、処理ユニット１１が畳み込みニューラルネットワーク（ＣＮＮ）を用いて取得した最初のテンプレート画像Ｄ１’の分析結果である。なお、畳み込みニューラルネットワーク（ＣＮＮ）は、本発明のポイントではなく、当業者にとって周知であるため、簡潔性を考慮して、その詳細は省略される。

【0028】

処理ユニット１１は、最初のテンプレート画像Ｄ１’に対応する参照姿勢データセットＤ２と参照特徴データセットＤ３とを生成した後、フローはステップＳ３に進む。

【0029】

ステップＳ３において、処理ユニット１１は、最初のテンプレート画像Ｄ１’をＮ回回転することによって、最初のテンプレート画像Ｄ１’と異なるＮ個のテンプレート画像Ｄ１を生成する。毎回の回転で１つのテンプレート画像Ｄ１を生成する。テンプレート画像Ｄ１のそれぞれは、参照物体を含む。本実施形態において、最初のテンプレート画像Ｄ１’をＮ回回転することにより生成されたＮ個のテンプレート画像Ｄ１は、Ｎ個の加工されたテンプレート画像Ｄ１’’とみなされる。具体的には、Ｎは１以上の整数であり、回転は時計回りまたは反時計回りであってもよい。

【0030】

より詳細に説明すると、処理ユニット１１は、所定の角度に基づいて、最初のテンプレート画像Ｄ１’を複数回（すなわち、Ｎ回）回転し、最初のテンプレート画像Ｄ１’が回転される度に、１つの加工されたテンプレート画像Ｄ１’’が生成される。本実施形態において、Ｎは３５であり、所定の角度は１０度である。したがって、処理ユニット１１によって生成された加工されたテンプレート画像Ｄ１’’の１つ目（以下、「第１の加工されたテンプレート画像」と称する）は、最初のテンプレート画像Ｄ１’を（例えば、時計回りに）１０度回転した結果を示し、処理ユニット１１によって生成された加工されたテンプレート画像Ｄ１’’の２つ目（以下、「第２の加工されたテンプレート画像」と称する）は、最初のテンプレート画像Ｄ１’をさらに１０度回転（すなわち、時計回りに合計２０度回転）した結果を示し、その他の加工されたテンプレート画像Ｄ１’’も同様である。このように、第１の加工されたテンプレート画像Ｄ１’’に示される参照物体の角度（以下、「参照物体の表示角度」と称する）は、最初のテンプレート画像Ｄ１’に示される参照物体の表示角度に対して時計回りに１０度ずれている。同様に、第２の加工されたテンプレート画像Ｄ１’’に示される参照物体の表示角度は、第１の加工されたテンプレート画像Ｄ１’’に示される参照物体の表示角度に対して時計回りに１０度ずれており、最初のテンプレート画像Ｄ１’に示される参照物体の表示角度に対して時計回りに２０度ずれている。最終的に、本実施形態において、処理ユニット１１は、最初のテンプレート画像Ｄ１’を３５回回転して３５個の加工されたテンプレート画像Ｄ１’’を生成することによって、合計３６個のテンプレート画像Ｄ１を得る。すなわち、３６個のテンプレート画像Ｄ１は、最初のテンプレート画像Ｄ１’と３５個の加工されたテンプレート画像Ｄ１’’とを含み、テンプレート画像Ｄ１のそれぞれにおいて、各テンプレート画像Ｄ１の参照物体の表示角度は、テンプレート画像Ｄ１の前の１つまたは後の１つの参照物体の表示角度に対して１０度ずれている。

【0031】

なお、処理ユニット１１によって最初のテンプレート画像Ｄ１’を回転するための所定の角度と回転の回数（すなわち、Ｎ回）は、上述の例に限定されない。他の実施形態において、所定の角度は、テンプレート画像Ｄ１の数と所定の角度との関係が、テンプレート画像Ｄ１の数に所定の角度を乗じた値が３６０度に等しいという条件を満たす限り、２５度より小さい任意の角度であってもよい。

【0032】

より詳細に説明すると、本実施形態において、テンプレート画像Ｄ１は、参照物体が捕捉される参照角度に対する異なる偏向角度にそれぞれ対応する。すなわち、偏向角度のそれぞれは、対応のテンプレート画像Ｄ１の参照物体の表示角度と最初のテンプレート画像Ｄ１’の参照物体の表示角度との間の差である。本実施形態の一例において、最初のテンプレート画像Ｄ１’に対応する偏向角度は０度であり、加工されたテンプレート画像Ｄ１’’にそれぞれ対応する残りの偏向角度は、次から次へと１０度ずつずれている（すなわち、１０度、２０度、３０度、……、３５０度）が、本発明はこれに限定されない。

【0033】

処理ユニット１１が加工されたテンプレート画像Ｄ１’’を生成した後、フローはステップＳ４に進む。

【0034】

ステップＳ４において、処理ユニット１１は、加工されたテンプレート画像Ｄ１’’に基づいて、加工されたテンプレート画像Ｄ１’’にそれぞれ対応する複数の参照姿勢データセットＤ２と、加工されたテンプレート画像Ｄ１’’にそれぞれ対応する複数の参照特徴データセットＤ３と、をさらに生成する。

【0035】

ステップＳ２と同様に、本実施形態において、参照姿勢データセットＤ２は、マトリックスで表現され、対応の加工されたテンプレート画像Ｄ１’’に示される参照物体の姿勢（すなわち、撮影視点から見た対応の加工されたテンプレート画像Ｄ１’’に対応する偏向角度での特定の種類の物体の姿勢）を示す。具体的には、参照姿勢データセットＤ２のそれぞれは、３次元空間における６自由度を用いて、対応の加工されたテンプレート画像Ｄ１’’に示される参照物体の姿勢を示す。加工されたテンプレート画像Ｄ１’’が最初のテンプレート画像Ｄ１’を所定の角度で複数回回転することによって得られるため、加工されたテンプレート画像Ｄ１’’にそれぞれ対応する参照姿勢データセットＤ２は、最初のテンプレート画像Ｄ１’に対応する参照姿勢データセットＤ２に基づいて計算して得ることができる。

【0036】

ステップＳ２と同様に、本実施形態において、参照特徴データセットＤ３は、複数の成分（例えば、２３０４の個成分）を含むベクトルで表現され、成分を用いて対応の加工されたテンプレート画像Ｄ１’’に示される参照角度での参照物体（特定の種類の物体）の外観特徴を示す。

【0037】

外観特徴は、撮影視点から見て、特徴の種類に属する物体が該参照角度から対応の加工されたテンプレート画像Ｄ１’’（例えば、第１の加工されたテンプレート画像Ｄ１’’）に対応する偏向角度（例えば、１０度）ずれている場合のみに存在する。

【0038】

例えば、外観特徴は、対応の加工されたテンプレート画像Ｄ１’’に示される参照特徴部分それぞれの座標セットおよび／または方向付けであり、外観特徴は、撮影視点から見た参照物体が参照角度から偏向角度（例えば、１０度）ずれている際の参照特徴部分の間の相対位置関係を示すことができるが、これに限定されない。

【0039】

さらに、本実施形態において、処理ユニット１１は、加工されたテンプレート画像Ｄ１’’のそれぞれを予めトレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）に入力して、出力となる対応の参照特徴データセットＤ３を得る。すなわち、参照特徴データセットＤ３のそれぞれは、処理ユニット１１が畳み込みニューラルネットワーク（ＣＮＮ）を用いて取得した対応の加工されたテンプレート画像Ｄ１’’の分析結果である。

【0040】

処理ユニット１１が加工されたテンプレート画像Ｄ１’’にそれぞれ対応する複数の参照姿勢データセットＤ２と加工されたテンプレート画像Ｄ１’’にそれぞれ対応する複数の参照特徴データセットＤ３とを得た後、フローはステップＳ５に進む。

【0041】

ステップＳ５において、処理ユニット１１は、特定の種類に関連するデータベースＤＢ１を確立して、データベースＤＢ１を記憶ユニット１２に記憶する。具体的には、データベースＤＢ１は、異なる偏向角度にそれぞれ対応するテンプレート画像Ｄ１（すなわち、最初のテンプレート画像Ｄ１’および加工されたテンプレート画像Ｄ１’’）と、テンプレート画像Ｄ１にそれぞれ対応する参照姿勢データセットＤ２と、テンプレート画像Ｄ１にそれぞれ対応する参照特徴データセットＤ３と、を含む。

【0042】

処理ユニット１１がデータベースＤＢ１を記憶ユニット１２に記憶した後、フローはステップＳ６に進む。

【0043】

ステップＳ６において、処理ユニット１１は、特定の種類に属する目標物体を含む入力画像を得ると、入力画像における目標物体の外観に基づいて、データベースＤＢ１のテンプレート画像Ｄ１から入力画像と最もマッチするマッチング画像Ｄ１＊を選択する。具体的には、マッチング画像Ｄ１＊は、テンプレート画像Ｄ１のうちの示される参照物体の表示角度が入力画像に示される目標物体の角度（以下、「目標角度」と称する）と最も近い１つである。

【0044】

より具体的に説明すると、入力画像は、例えば、リアルタイム動画のフレームであり、処理ユニット１１は、例えば、処理ユニット１１に電気的に接続する撮影装置２からリアルタイムで動画を受信することによって、入力画像を得てもよい。目標物体は、本発明に係る方法を用いて計算装置１によって認識される実際のターゲットであり、特定の種類に属して参照物体と実質的に同様の外観を有する物体である。目標物体は、参照物体自体であってもよい。

【0045】

本実施形態において、処理ユニット１１は、以下の手段により、マッチング画像Ｄ１＊を選択する。まず、処理ユニット１１は、例えば、入力画像に対して画像認識を実行することによって、入力画像に示される目標物体の複数の特徴部分（以下、「目標特徴部分」と称する）を認識する。具体的には、処理ユニット１１は、最初のテンプレート画像Ｄ１’における特徴マーカによって参照特徴部分に基づいて、入力画像に示される目標特徴部分を認識してもよい。したがって、テンプレート画像Ｄ１のそれぞれに対して、入力画像に示される目標特徴部分は、該テンプレート画像Ｄ１に示され、該テンプレート画像Ｄ１の特徴マーカによって定義される参照特徴部分にそれぞれ対応するべきである。

【0046】

入力画像に示される目標特徴部分を認識した後、処理ユニット１１は、入力画像に示される目標特徴部分に基づいて、入力画像に対応する目標特徴データセットを生成する。参照特徴データセットＤ３と同様に、本実施形態の目標特徴データセットは、複数の成分（例えば、２３０４個の成分）を含むベクトルで表現され、成分を用いて入力画像に示される目標角度での目標物体の外観特徴を示す。外観特徴は、撮影視点から見て、目標物体が目標角度にある場合のみに存在する。

【0047】

目標特徴データセットが生成された後、処理ユニット１１は、参照特徴データセットＤ３のそれぞれについて、目標特徴データセットと該参照特徴データセットＤ３との間のマッチング程度を計算する。具体的には、本実施形態の目標特徴データセットおよび参照特徴データセットＤ３がそれぞれベクトルで表現されるため、処理ユニット１１は、参照特徴データセットＤ３のそれぞれについて、目標特徴データセットと該参照特徴データセットＤ３との間のミンコフスキー距離を計算し、計算されたミンコフスキー距離をマッチング程度とするが、本発明はこれに限定されない。なお、目標特徴データセットを表すベクトルと参照特徴データセットＤ３のいずれか１つを表すベクトルとの間のミンコフスキー距離が小さいほど、該２つのベクトルが互いに近く、入力画像に示される目標角度と対応のテンプレート画像Ｄ１に示される参照物体の表示角度とが近いことを意味する。すなわち、ミンコフスキー距離が小さいほど、マッチング程度が高いことを意味する。

【0048】

目標特徴データセットと各参照特徴データセットＤ３との間のマッチング程度を計算した後、処理ユニット１１は、テンプレート画像Ｄ１のうちの目標特徴データセットとのマッチング程度が最も高い参照特徴データセットＤ３に対応する１つを、マッチング画像Ｄ１＊として選択する。このように、入力画像に示される目標角度が参照角度から２１．５度ずれていると仮定すると、処理ユニット１１は、２０度の偏向角度に対応する１つのテンプレート画像Ｄ１をマッチング画像Ｄ１＊として選択する（すなわち、選択された該１つのテンプレート画像Ｄ１は、入力画像の目標角度と最も近い参照物体の表示角度を有する）。

【0049】

処理ユニット１１がテンプレート画像Ｄ１からマッチング画像Ｄ１＊を選択した後、フローはステップＳ７に進む。

【0050】

ステップＳ７において、処理ユニット１１は、入力画像とマッチング画像Ｄ１＊とに基づいて、キーポイントマッチング工程を実行することによって、入力画像に示されかつ目標物体の外観に関連する複数の第１の特徴点と、マッチング画像Ｄ１＊に示されかつ第１の特徴点とそれぞれマッチする複数の第２の特徴点と、を認識する。具体的には、第１の特徴点のそれぞれは、第２の特徴点の１つとは一対一の関係で同質（ｈｏｍｏｇｅｎｅｏｕｓ）である。すなわち、第１の特徴点のそれぞれは第２の特徴点の１つと同質であり、その逆も同様である。本実施形態において、処理ユニット１１は、従来技術のＳｅ２－ＬｏＦＴＲを用いてキーポイントマッチング工程を実行する。いくつかの実施形態において、処理ユニット１１は、Ｃｏａｒｓｅ－ＬｏＦＴＲ、ＬｏＦＴＲ、ＳｕｐｅｒＧｌｕｅなどの従来技術を用いて、キーポイントマッチング工程を実行してもよく、本実施形態に限定されない。

【0051】

処理ユニット１１が第１の特徴点と第２の特徴点とを認識した後、フローはステップＳ８へ進む。

【0052】

ステップＳ８において、処理ユニット１１は、第１の特徴点と第２の特徴点とに基づいて、校正データセットを生成する。校正データセットは、マトリックスで表現され、第１の特徴点と第２の特徴点との間の相対姿勢関係を示す。具体的には、校正データセットは、第１の特徴点のそれぞれについて、３次元空間における６自由度を用いて、該第１の特徴点と対応の第２の特徴点との間の相対姿勢関係を示すことによって、マッチング画像Ｄ１＊に示される参照物体の姿勢に対する入力画像に示される目標物体の姿勢を６自由度（すなわち、位置および方向付けの違い）で示す。

【0053】

処理ユニット１１が校正データセットを生成した後、フローはステップＳ９に進む。

【0054】

ステップＳ９において、マッチング画像Ｄ１＊に対応する参照姿勢データセットＤ２と校正データセット（該第１の特徴点と対応の第２の特徴点との間の相対姿勢関係を示す）とに基づいて、目標物体の姿勢を示す姿勢認識結果を生成する。具体的には、姿勢認識結果は、６自由度を用いて、入力画像の目標物体の姿勢と参照姿勢との間の違いを示すことによって、最初のテンプレート画像Ｄ１’に示される参照物体の姿勢に対する入力画像に示される目標物体の姿勢を６自由度で示す。より具体的には、本実施形態のマッチング画像Ｄ１＊に対応する参照姿勢データセットＤ２と校正データセットとは、それぞれマトリックスで表現される。マッチング画像Ｄ１＊に対応する参照姿勢データセットＤ２が第１のマトリックス（Ｍ_１で表記）であり、校正データセットが第２のマトリックス（Ｍ_２で表記）であると仮定すると、本実施形態の姿勢認識結果は、第２のマトリックスに第１のマトリックスを乗算することによって生成される（すなわち、Ｍ_２Ｍ_１）。以上、フローは完了する。

【0055】

本実施形態において、姿勢認識結果は、従来技術の座標系変換方法により、６自由度で他の座標系（例えば、ロボットアームの座標系）における位置および方向付けに変換されてもよい。さらに、姿勢認識結果が生成された後、処理ユニット１１は、姿勢認識結果に基づいて目標物体に対して自動化操作をさらに実行してもよい。例えば、自動化操作は、ロボットアーム（図示せず）で目標物体を掴んで移動すること、または目標物体に対して加工する（例えば、溶接、接着、切削など）ことなどを含んでもよい。いくつかの実施形態において、姿勢認識結果が生成された後、処理ユニット１１は、目標物体に対して自動化操作を実行する自動化システムに、姿勢認識結果を送信してもよく、これによって、自動化システムは、姿勢認識結果に基づいて、目標物体に対して動作する。なお、姿勢認識結果は様々な用途があるため、本実施形態は姿勢認識結果が生成された後の動作について制限しない。

【0056】

なお、ステップＳ１からステップＳ９および図２に示されるフローチャートは、本発明の一例を示すものに過ぎなく、本発明の方法と実質的に同じ方法で実質的に同じ機能を実現することができれば、ステップＳ１からステップＳ９を組み合わせたり、分割したり、順序を入れ替えたりしてもよい。例えば、処理ユニット１１は、最初のテンプレート画像Ｄ１’を得た（すなわち、ステップＳ１）後、まず最初のテンプレート画像Ｄ１’に基づいて加工されたテンプレート画像Ｄ１’’を生成（すなわち、ステップＳ３）してから、テンプレート画像Ｄ１にそれぞれ対応する参照姿勢データセットＤ２およびテンプレート画像Ｄ１にそれぞれ対応する参照特徴データセットＤ３を生成し（すなわち、ステップＳ２およびステップＳ４）てもよい。したがって、本発明は、図２のフローチャートに限定されない。

【0057】

要約すると、目標物体の姿勢を認識する方法を実行することによって、計算装置１は、目標物体が属する特定の種類に属する参照物体を含む１つのテンプレート画像Ｄ１（すなわち、最初のテンプレート画像Ｄ１’）のみを用いて、最初のテンプレート画像Ｄ１’を回転することによって加工されたテンプレート画像Ｄ１’’を生成し、テンプレート画像Ｄ１に対応する参照姿勢データセットＤ２および参照特徴データセットＤ３を生成することによって、特定の種類に関連するデータベースＤＢ１を確立する。さらに、データベースＤＢ１が確立された後、計算装置１が目標物体を含む入力画像を得ると、計算装置１は、データベースＤＢ１の参照特徴データセットＤ３に基づいて入力画像と最もマッチするマッチング画像Ｄ１＊を選択し、そして入力画像とマッチング画像Ｄ１＊とに基づいてキーポイントマッチング工程を実行して、校正データセットを生成し、最後に、校正データセットとマッチング画像Ｄ１＊に対応する参照姿勢データセットＤ２とに基づいて、目標物体の姿勢を認識する。

【0058】

なお、人工ニューラルネットワークを用いても目標物体の姿勢を認識することができるが、人工ニューラルネットワークは、目標物体の外観について予め学習する必要があるため、人工ニューラルネットワークの学習に異なる角度から撮られた複数の目標物体の画像を必要とする。人工ニューラルネットワークを用いる場合と比較して、本発明の計算装置１は、異なる角度から撮られた目標物体の画像を必要することなく、目標物体が属する特定の種類に属する参照物体を示す１つのテンプレート画像Ｄ１（すなわち、最初のテンプレート画像Ｄ１’）のみで、特定の種類に関連するデータベースＤＢ１を確立することができる。さらに、処理ユニット１１が最初のテンプレート画像Ｄ１’に基づいてデータベースＤＢ１の生成に要する時間は、人工ニューラルネットワークの学習に要する時間よりはるかに短い。したがって、人工ニューラルネットワークを使用する場合と比較して、本発明は、人力と時間とを節約することができ、特に、認識する対象が変更される（例えば、目標物体が他の特定の種類に属する物体に変更される）場合において、人力と時間の節約はより顕著になる。

【0059】

上記の説明では、説明の目的のために、実施形態の完全な理解を提供するために多数の特定の詳細が述べられた。しかしながら、当業者であれば、一又はそれ以上の他の実施形態が具体的な詳細を示さなくとも実施され得ることが明らかである。また、本明細書における「一実施形態」「一つの実施形態」を示す説明において、序数などの表示を伴う説明は全て、特定の態様、構造、特徴を有する本発明の具体的な実施に含まれ得るものであることと理解されたい。更に、本明細書において、時には複数の変化例が一つの実施形態、図面、又はこれらの説明に組み込まれているが、これは本明細書を合理化させるためのもので、本発明の多面性が理解されることを目的としたものであり、また、一実施形態における一又はそれ以上の特徴あるいは特定の具体例は、適切な場合には、本発明の実施において、他の実施形態における一またはそれ以上の特徴あるいは特定の具体例と共に実施され得る。

【0060】

以上、本発明の実施形態および変化例を説明したが、本発明はこれらに限定されるものではなく、最も広い解釈の精神および範囲内に含まれる様々な構成として、全ての修飾および均等な構成を包含するものとする。

【符号の説明】

【0061】

１ 計算装置
１１ 処理ユニット
１２ 記憶ユニット
２ 撮影装置
ＤＢ１ データベース
Ｄ１ テンプレート画像
Ｄ１’ 最初のテンプレート画像
Ｄ１’’ 加工されたテンプレート画像
Ｄ１＊ マッチング画像
Ｄ２ 参照姿勢データセット
Ｄ３ 参照特徴データセット
Ｓ１－Ｓ９ ステップ

【図1】

【図2】