特許 6265784 姿勢推定システム、プログラムおよび姿勢推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6265784

(24)【登録日】2018年1月5日

(45)【発行日】2018年1月24日

(54)【発明の名称】姿勢推定システム、プログラムおよび姿勢推定方法

(51)【国際特許分類】

   G01B 11/26 20060101AFI20180115BHJP

   G06T 7/70 20170101ALI20180115BHJP

   G06T 1/00 20060101ALI20180115BHJP

   B25J 19/04 20060101ALI20180115BHJP

【ＦＩ】

   G01B11/26 H

   G06T7/70 B

   G06T1/00 315

   B25J19/04

【請求項の数】7

【全頁数】20

(21)【出願番号】特願2014-43863(P2014-43863)

(22)【出願日】2014年3月6日

(65)【公開番号】特開2015-169515(P2015-169515A)

(43)【公開日】2015年9月28日

【審査請求日】2017年2月14日

(73)【特許権者】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100135002

【弁理士】

【氏名又は名称】松岡 直之

(72)【発明者】

【氏名】田中 基康

【審査官】 小野寺 麻美子

(56)【参考文献】

【文献】 特開２０１３−２１７８９３（ＪＰ，Ａ）

【文献】 特開２０００−２９３６９５（ＪＰ，Ａ）

【文献】 特開２００６−２６７９０（ＪＰ，Ａ）

【文献】 特開２００７−２４５２８３（ＪＰ，Ａ）

【文献】 特開昭６１−２６２９８６（ＪＰ，Ａ）

【文献】 特開２０１０−１１２７２９（ＪＰ，Ａ）

【文献】 特開２０１０−２０４８７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０３３８８２６（ＵＳ，Ａ１）

【文献】 K.Kawamoto et al.，Visual vehicle tracking based on an appearance generative model，SCIS-ISIS 2012，IEEE，２０１２年１１月２０日，p.711-714

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００ − Ｇ０１Ｂ １１／３０

Ｇ０６Ｔ １／００ − Ｇ０６Ｔ ９／４０

Ｂ２５Ｊ １／００ − Ｂ２５Ｊ ２１／０２

(57)【特許請求の範囲】

【請求項1】

一の計測方向から基準物体を測定することにより前記基準物体の前記一の計測方向に対応する三次元形状情報を取得する計測手段と、
前記計測手段により取得された三次元形状情報に基づいて、前記基準物体を観測方向から擬似的に捉えた二次元画像情報を、互いに異なる複数の前記観測方向のそれぞれについて作成する疑似画像作成手段と、
前記疑似画像作成手段により作成された二次元画像情報を学習素材として見え方生成情報を作成するモデル作成手段と、
前記モデル作成手段により作成された見え方生成情報を予め記憶する記憶手段と、
前記基準物体によって代表される物体を撮像して撮像画像を取得する撮像手段と、
前記記憶手段により記憶された見え方生成情報と前記撮像手段により取得された撮像画像とに基づいて、前記物体の姿勢を推定する推定手段と、
を備える姿勢推定システム。

【請求項2】

請求項１に記載の姿勢推定システムであって、
前記推定手段による推定結果の適否を判定する判定手段をさらに備え、
前記モデル作成手段は、前記判定手段による判定結果に応じて、新たな見え方生成情報を作成する姿勢推定システム。

【請求項3】

請求項２に記載の姿勢推定システムであって、
前記物体を把持する把持手段をさらに備え、
前記判定手段は、前記把持手段により前記物体を把持することができたか否かに応じて、前記推定結果の適否を判定する姿勢推定システム。

【請求項4】

請求項２または３に記載の姿勢推定システムであって、
前記モデル作成手段により作成された複数の見え方生成情報のそれぞれに重み付けを行う評価手段をさらに備え、
前記推定手段は、前記評価手段による重み付けに応じて、前記複数の見え方生成情報の中から推定に用いる見え方生成情報を選択する姿勢推定システム。

【請求項5】

請求項４に記載の姿勢推定システムであって、
前記評価手段は、前記判定手段による判定結果に応じて前記重み付けを行う姿勢推定システム。

【請求項6】

コンピュータ読み取り可能なプログラムであって、前記コンピュータによって実行されることにより、前記コンピュータを、
一の計測方向から基準物体を測定することにより前記基準物体の前記一の計測方向に対応する三次元形状情報を取得する計測手段と、
前記計測手段により取得された三次元形状情報に基づいて、前記基準物体を観測方向から擬似的に捉えた二次元画像情報を、互いに異なる複数の前記観測方向のそれぞれについて作成する疑似画像作成手段と、
前記疑似画像作成手段により作成された二次元画像情報を学習素材として見え方生成情報を作成するモデル作成手段と、
前記モデル作成手段により作成された見え方生成情報を予め記憶する記憶手段と、
前記基準物体によって代表される物体を撮像して撮像画像を取得する撮像手段と、
前記記憶手段により記憶された見え方生成情報と前記撮像手段により取得された撮像画像とに基づいて、前記物体の姿勢を推定する推定手段と、
を備える姿勢推定システムとして機能させるプログラム。

【請求項7】

一の計測方向から基準物体を測定することにより前記基準物体の前記一の計測方向に対応する三次元形状情報を取得する工程と、
取得された前記三次元形状情報に基づいて、前記基準物体を観測方向から擬似的に捉えた二次元画像情報を、互いに異なる複数の前記観測方向のそれぞれについて作成する工程と、
作成された前記二次元画像情報を学習素材として見え方生成情報を作成する工程と、
作成された前記見え方生成情報を予め記憶手段に記憶する工程と、
前記基準物体によって代表される物体を撮像して撮像画像を取得する工程と、
前記記憶手段により記憶された見え方生成情報と取得された撮像画像とに基づいて、前記物体の姿勢を推定する工程と、
を有する姿勢推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、産業用ロボットなどにおいてワークの姿勢を推定する技術に関する。

【背景技術】

【0002】

従来より、自動車製造工場の生産ラインなどで使用される産業用ロボットにおいては、特定の工程を精密かつ高速に実行することが求められていた。一方で、従来の産業用ロボットでは、ティーチングという作業によって多くの時間をかけて特定の工程を教え込む必要があった。例えば、特許文献１には、対象物（ワーク）の姿勢を推定する工程のために、精密なＣＡＤデータを用いる技術が記載されている。従来の産業用ロボットは、このようにして教え込んだ特定の工程を、可能な限り「高速に」、「失敗なく」実行することが求められていた。

【0003】

これに対して、昨今、人間の作業を代替する「セル型」ロボットが注目されつつある。セル型ロボットは、従来の産業用ロボットと異なり、従事する作業が頻繁に変更されることを前提としており、短時間で各作業を習得する必要がある。また、ある程度の失敗を許容する代わりに、失敗を学習し、復帰することが求められる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平０９−１６７２３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところが、特許文献１に記載されている技術をセル型ロボットに適用してワークの姿勢を推定させようとすると、短時間で作業を習得することが困難であり、多品種のワークに対する様々な作業工程に柔軟に対応することができなくなるという問題があった。

【0006】

本発明は、上記課題に鑑みてなされたものであり、簡易に習得することのできる姿勢推定技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するため、請求項１の発明は、姿勢推定システムであって、一の計測方向から基準物体を測定することにより前記基準物体の前記一の計測方向に対応する三次元形状情報を取得する計測手段と、前記計測手段により取得された三次元形状情報に基づいて、前記基準物体を観測方向から擬似的に捉えた二次元画像情報を、互いに異なる複数の前記観測方向のそれぞれについて作成する疑似画像作成手段と、前記疑似画像作成手段により作成された二次元画像情報を学習素材として見え方生成情報を作成するモデル作成手段と、前記モデル作成手段により作成された見え方生成情報を予め記憶する記憶手段と、前記基準物体によって代表される物体を撮像して撮像画像を取得する撮像手段と、前記記憶手段により記憶された見え方生成情報と前記撮像手段により取得された撮像画像とに基づいて、前記物体の姿勢を推定する推定手段とを備える。

【0008】

また、請求項２の発明は、請求項１の発明に係る姿勢推定システムであって、前記推定手段による推定結果の適否を判定する判定手段をさらに備え、前記モデル作成手段は、前記判定手段による判定結果に応じて、新たな見え方生成情報を作成する姿勢推定システム。

【0009】

また、請求項３の発明は、請求項２の発明に係る姿勢推定システムであって、前記物体を把持する把持手段をさらに備え、前記判定手段は、前記把持手段により前記物体を把持することができたか否かに応じて、前記推定結果の適否を判定する。

【0010】

また、請求項４の発明は、請求項２または３の発明に係る姿勢推定システムであって、前記モデル作成手段により作成された複数の見え方生成情報のそれぞれに重み付けを行う評価手段をさらに備え、前記推定手段は、前記評価手段による重み付けに応じて、前記複数の見え方生成情報の中から推定に用いる見え方生成情報を選択する。

【0011】

また、請求項５の発明は、請求項４の発明に係る姿勢推定システムであって、前記評価手段は、前記判定手段による判定結果に応じて前記重み付けを行う。

【0012】

また、請求項６の発明は、コンピュータ読み取り可能なプログラムであって、前記コンピュータによって実行されることにより、前記コンピュータを、一の計測方向から基準物体を測定することにより前記基準物体の前記一の計測方向に対応する三次元形状情報を取得する計測手段と、前記計測手段により取得された三次元形状情報に基づいて、前記基準物体を観測方向から擬似的に捉えた二次元画像情報を、互いに異なる複数の前記観測方向のそれぞれについて作成する疑似画像作成手段と、前記疑似画像作成手段により作成された二次元画像情報を学習素材として見え方生成情報を作成するモデル作成手段と、前記モデル作成手段により作成された見え方生成情報を予め記憶する記憶手段と、前記基準物体によって代表される物体を撮像して撮像画像を取得する撮像手段と、前記記憶手段により記憶された見え方生成情報と前記撮像手段により取得された撮像画像とに基づいて、前記物体の姿勢を推定する推定手段とを備える姿勢推定システムとして機能させる。

【0013】

また、請求項７の発明は、姿勢推定方法であって、一の計測方向から基準物体を測定することにより前記基準物体の前記一の計測方向に対応する三次元形状情報を取得する工程と、取得された前記三次元形状情報に基づいて、前記基準物体を観測方向から擬似的に捉えた二次元画像情報を、互いに異なる複数の前記観測方向のそれぞれについて作成する工程と、作成された前記二次元画像情報を学習素材として見え方生成情報を作成する工程と、作成された前記見え方生成情報を予め記憶手段に記憶する工程と、前記基準物体によって代表される物体を撮像して撮像画像を取得する工程と、前記記憶手段により記憶された見え方生成情報と取得された撮像画像とに基づいて、前記物体の姿勢を推定する工程とを有する。

【発明の効果】

【0014】

請求項１ないし７に記載の発明は、一の計測方向から基準物体を測定することにより当該基準物体の前記一の計測方向に対応する三次元形状情報を取得し、取得された三次元形状情報に基づいて、当該基準物体を観測方向から擬似的に捉えた二次元画像情報を、互いに異なる複数の観測方向のそれぞれについて作成し、作成された二次元画像情報を学習素材として見え方生成情報を作成し、当該基準物体によって代表される物体を撮像して撮像画像を取得し、当該見え方生成情報と取得された撮像画像とに基づいて、当該物体の姿勢を推定ことにより、正確な三次元形状情報がなくても、簡単な計測で物体の姿勢を推定できる。したがって、姿勢を推定する技術を簡易に習得することができる。

【図面の簡単な説明】

【0015】

【図1】実施の形態における姿勢推定システムを示す図である。

【図2】制御装置のブロック図である。

【図3】制御装置が備える機能ブロックをデータの流れとともに示す図である。

【図4】運搬ロボットのブロック図である。

【図5】運搬ロボットが備える機能ブロックをデータの流れとともに示す図である。

【図6】姿勢推定方法における、主に制御装置において実行される工程を示す流れ図である。

【図7】姿勢推定方法における、主に制御装置において実行される工程を示す流れ図である。

【図8】姿勢推定方法における、主に制御装置において実行される工程を示す流れ図である。

【図9】姿勢推定方法における、主に運搬ロボットにおいて実行される工程を示す流れ図である。

【図10】姿勢推定方法における、主に運搬ロボットにおいて実行される工程を示す流れ図である。

【発明を実施するための形態】

【0016】

以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。

【0017】

＜１． 実施の形態＞
図１は、姿勢推定システム１を示す図である。姿勢推定システム１は、制御装置２および運搬ロボット３とを備えている。

【0018】

基準物体７は、計測に用いる基準となる物体であり、図１に示すように、ここではミニカーを例に挙げる。また、物体８は、基準物体７によって代表される物体（ワーク）であり、運搬ロボット３による作業の対象となる物体である。基準物体７と物体８とは必ずしも同一の物体である必要はない。例えば、素材や物性は異なってもよい。また、基準物体７と物体８とは同一形状かつ同一配色の物体であることが好ましい。しかし、両者の間に外観上の多少の違いがあっても許容される場合がある。すなわち、基準物体７と物体８は、外観において物理的な完全同一までは要求されない。なお、図１において、物体８が載置される台（ベルトコンベアや作業台など）は省略している。

【0019】

また、ネットワーク９は、製造工場内に敷設された構内ＬＡＮであるが、特に構内ＬＡＮに限定されるものではない。ネットワーク９は、インターネットや公衆網、ＷＡＮなどであってもよい。

【0020】

図２は、制御装置２のブロック図である。制御装置２は、ＣＰＵ２０、記憶装置２１、操作部２２、表示部２３、計測台２４、ステッピングモータ２５、計測部２６および通信部２７を備える。詳細は後述するが、制御装置２は、ネットワーク９を介して運搬ロボット３を制御する機能を有している。

【0021】

ＣＰＵ２０は、記憶装置２１に格納されているプログラム２１０を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、ＣＰＵ２０は、制御装置２が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、制御装置２は、一般的なコンピュータとして構成されている。なお、ＣＰＵ２０によって実現される機能については後述する。

【0022】

記憶装置２１は、制御装置２において各種データを記憶する機能を提供する。言い換えれば、記憶装置２１が制御装置２において電子的に固定された情報を保存する。

【0023】

記憶装置２１としては、ＣＰＵ２０の一時的なワーキングエリアとして使用されるＲＡＭやバッファ、読み取り専用のＲＯＭ、不揮発性のメモリ（例えばＮＡＮＤメモリなど）、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体（ＣＤ−ＲＯＭ、ＰＣカード、ＳＤカード、ＵＳＢメモリなど）等が該当する。図２においては、記憶装置２１を、あたかも１つの構造物であるかのように図示している。しかし、通常、記憶装置２１は、上記例示した各種装置（あるいは媒体）のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置２１は、データを記憶する機能を有する装置群の総称である。

【0024】

また、現実のＣＰＵ２０は高速にアクセス可能なＲＡＭを内部に備えた電子回路である。しかし、このようなＣＰＵ２０が備える記憶装置も、説明の都合上、記憶装置２１に含めて説明する。すなわち、以下の説明では、一時的にＣＰＵ２０自体が記憶するデータも、記憶装置２１が記憶するとして説明する。図２に示すように、記憶装置２１は、プログラム２１０、三次元形状情報２１１、二次元画像情報２１２および見え方生成情報２１３等を記憶するために使用される。

【0025】

三次元形状情報２１１は、計測部２６によって作成される情報である。三次元形状情報２１１は、一の計測方向から基準物体７を捉えた情報であって、一の計測方向に限定されているとはいえ、当該基準物体７を三次元で表現した情報である。姿勢推定システム１では、制御装置２は、基準物体７の全周にわたる三次元の情報は取得しない。

【0026】

二次元画像情報２１２は、計測部２６により取得された三次元形状情報２１１に基づいて作成される複数の画像情報である。二次元画像情報２１２のそれぞれは識別番号と、画像情報と、観測方向とを含んでいる。すなわち、二次元画像情報２１２において、識別情報と、画像情報と、観測方向とが互いに関連づけられている。なお、「観測方向」とは、対応する画像情報に関する、視点からの方向（視線方向）である。

【0027】

二次元画像情報２１２に格納される画像情報は、基準物体７を観測方向から擬似的に捉えた二次元の画像情報である。複数の二次元画像情報２１２は、互いに異なる複数の観測方向のそれぞれについて作成されている。すなわち、１つ（１回の計測）の三次元形状情報２１１から、複数の画像情報が作成される。そして、これらの複数の画像情報は、観測方向をずらしながら基準物体７を捉えた画像情報である。以下、１つ（１回の計測）の三次元形状情報２１１から作成される一連の画像情報を、「１セットの画像情報」と呼ぶ場合がある。

【0028】

なお、見え方生成情報２１３については、後述する。

【0029】

操作部２２は、制御装置２に対してオペレータ等が指示を入力するために操作するハードウエアである。操作部２２としては、例えば、各種キーやボタン類、スイッチ、タッチパネル、ポインティングデバイス、あるいは、ジョグダイヤルなどが該当する。

【0030】

表示部２３は、各種データを表示することによりオペレータ等に対して出力する機能を有するハードウェアである。表示部２３としては、例えば、ランプやＬＥＤ、ＣＲＴ、液晶ディスプレイや液晶パネルなどが該当する。

【0031】

計測台２４は、計測部２６によって基準物体７を計測する際に、当該基準物体７を載置するために設けられている台である。計測台２４は、基準物体７が載置される載置板２４０を備えている。載置板２４０はステッピングモータ２５からの駆動力により回転させることが可能である。

【0032】

ステッピングモータ２５は、計測台２４の載置板２４０を水平面内で回転させる機能を有している。なお、ステッピングモータ２５は、ＣＰＵ２０からの制御信号により、回転方向および回転角（回転量）を制御することが可能である。これにより、制御装置２は、計測部２６に対する基準物体７の向きを調整し、計測部２６がどの方向から基準物体７を計測するのかを決定する。

【0033】

計測部２６は、いわゆる三次元ビジョンセンサであり、計測方向から被写体を計測することにより、被写体の輝度や色だけでなく、距離（計測部２６からの距離）も計測できる装置である。計測部２６は、計測台２４の載置板２４１上に載置された基準物体７を計測して、三次元形状情報２１１を作成する。すなわち、計測部２６は、一の計測方向から基準物体７を測定することにより基準物体７の当該一の計測方向に対応する三次元形状情報２１１を取得する。計測部２６による対象物（基準物体７）の計測の方式等については、従来より様々な方式のものが提案されているが、ここでは詳細な説明を省略する。

【0034】

通信部２７は、制御装置２をネットワーク９にデータ通信が可能な状態で接続する機能を提供する。これにより、制御装置２は、ネットワーク９を介して、運搬ロボット３との間でデータ通信を行うことができる。

【0035】

図３は、制御装置２が備える機能ブロックをデータの流れとともに示す図である。図３に示す計測制御部２００、疑似画像作成部２０１、モデル作成部２０２、推定部２０３および評価部２０４は、ＣＰＵ２０がプログラム２１０に従って動作することにより実現される機能ブロックである。

【0036】

計測制御部２００は、操作部２２からの指示または評価情報２１５に応じて、計測部２６を制御して、計測部２６に基準物体７の計測を実行させる。また、計測制御部２００は、計測部２６による計測に先立って、ステッピングモータ２５を制御し、載置板２４０を回転させる。これにより、基準物体７の計測部２６に対する向き（すなわち、基準物体７の計測方向）が決定される。

【0037】

疑似画像作成部２０１は、計測部２６が基準物体７を計測することにより取得された三次元形状情報２１１に基づいて、基準物体７を観測方向から擬似的に捉えた二次元画像情報２１２を、互いに異なる複数の観測方向のそれぞれについて作成する。より詳細には、１つの三次元形状情報２１１から、１セットの画像情報が作成され、それぞれが二次元画像情報２１２となる。

【0038】

なお、複数の観測方向の定義の仕方として、例えば、基準となる観測方向を１つ定義した後、当該基準となる観測方向からθ（数度程度）ずつずらしながら１つ１つの観測方向を定義し、全周にわたって複数の観測方向を定義することが想定される。ただし、複数の観測方向は、このようにして定義されたものに限定されるものではない。物体の三次元の情報から、このような二次元の画像情報を作成する手法としては、従来から様々な技術が提案されており、それらを適宜採用することができる。

【0039】

また、本実施の形態における疑似画像作成部２０１は、二次元画像情報２１２を作成すると、その元となった三次元形状情報２１１を削除する。すなわち、本実施の形態における姿勢推定システム１では、同一の三次元形状情報２１１から二次元画像情報２１２が複数回作成されることはない。ただし、三次元形状情報２１１を削除せずに、記録しておいてもよい。

【0040】

モデル作成部２０２は、疑似画像作成部２０１により作成された二次元画像情報２１２を学習素材として見え方生成情報２１３を作成する。姿勢推定システム１は、モデル作成部２０２を実現する技術として、例えば、「"Visual vehicl tracking based on an appearance generative model", Kazuhiko Kawamoto, Tatsuya Yonekawa, Kazushi Okamoto, SCIS-ISIS 2012, Kobe, Japan, November 20-24, 2012」（以下、「非特許文献」と称する。）に記載されている技術を用いる。

【0041】

なお、本実施の形態におけるモデル作成部２０２は、学習画像として二次元画像情報２１２を用いて見え方生成情報２１３を作成すると、その元となったすべての二次元画像情報２１２を削除する。すなわち、本実施の形態における姿勢推定システム１では、同一の１セットの画像情報（複数の二次元画像情報２１２）から見え方生成情報２１３を複数回作成することはない。ただし、二次元画像情報２１２を削除せずに、記録しておいてもよい。

【0042】

詳細は後述するが、すでに作成した見え方生成情報２１３を採用したとしても、推定部２０３が物体８の姿勢を推定することに失敗した場合（そのような場合が判定情報３１２に示される。）、計測部２６は、再度、基準物体７の計測をおこない、新たな三次元形状情報２１１を取得する。そして、その場合には、疑似画像作成部２０１が新たに作成された三次元形状情報２１１に基づいて新たな二次元画像情報２１２（新たな１セットの画像情報）を作成する。このように、判定部３０１による判定結果に応じて、計測部２６および疑似画像作成部２０１が三次元形状情報２１１および二次元画像情報２１２を順次作成する。

【0043】

このようにして新たな１セットの画像情報が作成されると、モデル作成部２０２は新たに作成された１セット分の二次元の画像情報に基づいて新たな見え方生成情報２１３を作成する。すなわち、モデル作成部２０２は、判定部３０１による判定結果（判定情報３１２）に応じて、新たな見え方生成情報２１３を作成する。そして、作成された見え方生成情報２１３は、それぞれ保存される。

【0044】

推定部２０３は、記憶装置２１により記憶された見え方生成情報２１３と撮像部３６により取得された撮像情報３１１とに基づいて、物体８の姿勢を推定して、推定情報２１４を作成する機能を有している。すなわち、確率モデルである見え方生成情報２１３と、観測値である撮像情報３１１とによって、尤度評価することにより、前提条件としての物体８の姿勢（観測方向）を推定する。なお、推定部２０３による推定の詳細については、上記非特許文献に記載されている技術を用いるため、ここでは詳細な説明を省略する。

【0045】

また、推定部２０３は、複数の見え方生成情報２１３が作成されており、各見え方生成情報２１３に重み付けがされている場合には、当該重み付けに応じた順序で物体８の姿勢を推定する（詳細は後述する。）。すなわち、推定部２０３は、重み付けに応じて、複数の見え方生成情報２１３の中から推定に用いる見え方生成情報２１３を選択する。

【0046】

評価部２０４は、モデル作成部２０２により作成された複数の見え方生成情報２１３のそれぞれに重み付けを行う。より具体的には、評価部２０４は、判定部３０１による作成された判定情報３１２に応じて重み付けを行う。

【0047】

図４は、運搬ロボット３のブロック図である。運搬ロボット３は、ＣＰＵ３０、記憶装置３１、操作部３２、表示部３３、アーム部３４、対物センサ３５、撮像部３６および通信部３７を備える。詳細は後述するが、運搬ロボット３は、物体８を把持して所定の位置まで運ぶ機能を有している。

【0048】

ＣＰＵ３０は、記憶装置３１に格納されているプログラム３１０を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、ＣＰＵ３０は、運搬ロボット３が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、運搬ロボット３は、一般的なコンピュータとして構成されている。なお、ＣＰＵ３０によって実現される機能については後述する。

【0049】

記憶装置３１は、運搬ロボット３において各種データを記憶する機能を提供する。言い換えれば、記憶装置３１が運搬ロボット３において電子的に固定された情報を保存する。

【0050】

記憶装置３１としては、ＣＰＵ３０の一時的なワーキングエリアとして使用されるＲＡＭやバッファ、読み取り専用のＲＯＭ、不揮発性のメモリ（例えばＮＡＮＤメモリなど）、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体（ＣＤ−ＲＯＭ、ＰＣカード、ＳＤカード、ＵＳＢメモリなど）等が該当する。図４においては、記憶装置３１を、あたかも１つの構造物であるかのように図示している。しかし、通常、記憶装置３１は、上記例示した各種装置（あるいは媒体）のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置３１は、データを記憶する機能を有する装置群の総称である。

【0051】

また、現実のＣＰＵ３０は高速にアクセス可能なＲＡＭを内部に備えた電子回路である。しかし、このようなＣＰＵ３０が備える記憶装置も、説明の都合上、記憶装置３１に含めて説明する。すなわち、以下の説明では、一時的にＣＰＵ３０自体が記憶するデータも、記憶装置３１が記憶するとして説明する。図４に示すように、記憶装置３１は、プログラム３１０、撮像情報３１１、判定情報３１２および推定情報２１４等を記憶するために使用される。

【0052】

操作部３２は、オペレータなどによって操作されるハードウェアである。操作部３２は、オペレータ等が運搬ロボット３に対して指示を入力するために使用される。

【0053】

表示部３３は、オペレータ等に運搬ロボット３の状態などに関する情報を提供する出力装置である。表示部３３としては、例えば、ランプやＬＥＤ、液晶パネルなどが該当する。

【0054】

アーム部３４は、ＣＰＵ３０からの制御信号に応じて駆動され、当該物体８を把持して、指示された位置に向けて搬送する。

【0055】

対物センサ３５は、所定の方向に検出光（レザー光や赤外線など）を照射し、反射光を読み取ることにより、当該所定の方向に物体が存在するか否かを検出する装置である。対物センサ３５は、アーム部３４により把持された物体８を検出することができるように設置されている。逆に言えば、対物センサ３５によって物体８が検出されていなければ、アーム部３４は物体８を把持していないものとみなせる。

【0056】

撮像部３６は、一般的なデジタルカメラであって、詳細は省略するが、光学レンズやレンズ駆動部、光電変換素子、画像処理部などを備えている。撮像部３６は、ＣＰＵ３０からの制御信号に応じて、被写体を撮像して静止画像を取得する機能を有しており、物体８を撮像して撮像情報３１１を作成する。

【0057】

通信部３７は、運搬ロボット３をネットワーク９にデータ通信が可能な状態で接続する機能を提供する。これにより、運搬ロボット３は、ネットワーク９を介して、制御装置２との間でデータ通信を行うことができる。通信部３７は、撮像情報３１１や判定情報３１２などを制御装置２に向けて送信する一方で、制御情報（図示せず）や推定情報２１４などを制御装置２から受信する。

【0058】

図５は、運搬ロボット３が備える機能ブロックをデータの流れとともに示す図である。図５に示すアーム制御部３００および判定部３０１は、ＣＰＵ３０がプログラム３１０に従って動作することにより実現される機能ブロックである。

【0059】

アーム制御部３００は、物体８について推定された姿勢を示す推定情報２１４に基づいて、物体８を把持するようにアーム部３４を制御する。また、アーム制御部３００は、アーム部３４に物体８を把持させたタイミングに応じて、対物センサ３５に物体８を検出するように対物センサ３５を制御する。さらに、アーム制御部３００は、アーム部３４が物体８を正常に把持することができた場合（対物センサ３５が物体８を検出した場合）、把持した物体８を所定の位置に搬送するようにアーム部３４を制御する。

【0060】

判定部３０１は、対物センサ３５が物体８を検出したか否かに応じて、推定結果の適否を示す判定情報３１２を作成する。すなわち、判定部３０１は、アーム部３４により物体８を把持することができたか否かに応じて、推定情報２１４に示されている推定結果（物体８の姿勢）の適否を判定する。

【0061】

以上が、姿勢推定システム１の構成および機能の説明である。次に、姿勢推定システム１を用いて物体８の姿勢を推定する方法について説明する。

【0062】

図６ないし図８は、姿勢推定方法における、主に制御装置２において実行される工程を示す流れ図である。制御装置２は、オペレータによって電源が投入されると、図示しない所定の初期設定を実行する。初期設定では、例えば、これから運搬ロボット３によって運搬する物体８を選択する処理（ワーク決定処理）なども実行されるものとする。所定の初期設定が終了すると、制御装置２は、ステップＳ１を実行する。

【0063】

ステップＳ１において、ＣＰＵ２０は、物体８に対する見え方生成情報２１３がすでに作成され、記憶装置２１上に存在しているか否かを判定する。

【0064】

見え方生成情報２１３が１つも存在していない状態では、制御装置２（推定部２０３）は、物体８の姿勢を推定することはできない。したがって、ステップＳ１においてＮｏと判定された場合には、制御装置２は、まず、見え方生成情報２１３を作成する必要がある。そこで、制御装置２は、ステップＳ２ないしＳ７の処理を実行する。

【0065】

まず、ＣＰＵ２０は、表示部２３にメッセージを表示させ、オペレータに基準物体７を準備するように促す。例えば、「三次元計測を実行します。計測台の載置板上に、計測する基準となる物体を載置してください。」などのメッセージを表示する。

【0066】

表示部２３に表示されたメッセージを確認することにより、オペレータは、基準物体７を準備し、計測台２４の載置板２４０に基準物体７を載置する（ステップＳ２）。なお、基準物体７が載置板２４０に載置されたか否かは、オペレータが操作部２２を操作して、載置完了を制御装置２に知らせるものとする。ただし、様々なセンサにより、自動的に検出するようにしてもよい。

【0067】

次に、ＣＰＵ２０は、再び表示部２３にメッセージを表示させ、オペレータに計測方向を決定するように促す。例えば、「計測する向きを選択してください。」などのメッセージと、選択可能な計測方向の一覧などを表示する。

【0068】

このメッセージに従って、オペレータが操作部２２を操作して計測方向を選択し入力すると、計測制御部２００は、オペレータによって選択された計測方向となるように、ステッピングモータ２５を制御する。これにより、ステッピングモータ２５が載置板２４０を回転させて、基準物体７の計測部２６に対する向きがオペレータが所望した向きとなるように調整し、計測方向が決定される（ステップＳ３）。

【0069】

なお、ステップＳ３が繰り返され、同一の基準物体７に対する２つ目以降の見え方生成情報２１３が作成される場合には、計測方向は、それまでに採用したものと異なるものとして決定する必要がある。同一の計測方向（同一条件）での計測を繰り返して見え方生成情報２１３を作成しても、原則として推定精度は向上しないからである。したがって、見え方生成情報２１３が存在している状態で、ステップＳ３が実行される場合には、表示部２３は、選択可能な計測方向の一覧から、すでに採用された計測方向を除外（あるいは選択不能の状態で表示）する。

【0070】

また、ステップＳ３における計測方向の決定は、必ずしもオペレータによって決定されなければならないわけではなく、制御装置２により自動的に行われてもよい。例えば、載置板２４０に載置されるときの基準物体７の向きを指定しておき、ステップＳ２においてはこの向きとなるようにオペレータに基準物体７を載置させる。そして、計測回数に応じて、計測方向を予め設定しておき、見え方生成情報２１３の個数から計測回数を判定して、計測方向を決定してもよい。

【0071】

基準物体７が準備され、計測方向が決定されると、計測制御部２００は、計測部２６に計測を実行するように制御する。これにより、計測部２６が計測を行い（ステップＳ４）、新しい三次元形状情報２１１が作成される（ステップＳ５）。すでに、説明したように、ステップＳ４では、ステップＳ３において決定された一の計測方向についてのみ、基準物体７に対する三次元の計測が行われる。

【0072】

このようにして作成される三次元形状情報２１１は、全周にわたる詳細な三次元の情報に比べて、簡易に取得することができる。したがって、姿勢推定システム１は、物体８が頻繁に変更されたとしても、従来の技術に比べて、準備に要する負担が軽く、すばやく適応することができる。

【0073】

ステップＳ５が実行されると、疑似画像作成部２０１は、新たに作成された三次元形状情報２１１に基づいて、観測方向の異なる複数の二次元画像情報２１２（１セットの画像情報）を新たに作成する（ステップＳ６）。

【0074】

次に、モデル作成部２０２は、ステップＳ６において新たに作成された複数の二次元画像情報２１２に基づいて、新たな見え方生成情報２１３を作成する（ステップＳ７）。

【0075】

なお、見え方生成情報２１３のそれぞれには、物体８を識別する情報と、ステップＳ３において決定された計測方向を識別する情報と、推定部２０３による推定に使用された回数（以下、「使用回数」と称する。）と、当該推定において正しく推定された回数（以下、「成功回数」と称する。）とが関連づけられる。当然のことながら、使用回数および成功回数は、見え方生成情報２１３が作成されたときには、いずれも初期値としての「０」である。

【0076】

ステップＳ７が実行されるか、または、ステップＳ１においてＹｅｓと判定されると、制御装置２は、ステップＳ１１を実行しつつ、撮像情報３１１の受信を監視しつづける状態（以下、「監視状態」と称する。）に移行する。なお、後述するステップＳ１８が実行されたときにも、制御装置２は、監視状態に移行する。

【0077】

監視状態において、通信部２７により撮像情報３１１が受信されると、ＣＰＵ２０は、ステップＳ１１においてＹｅｓと判定する。そして、ステップＳ１１においてＹｅｓと判定されると、推定部２０３は、記憶装置２１に記憶されている見え方生成情報２１３から、推定に使用する見え方生成情報２１３を選択する（ステップＳ１２）。

【0078】

ステップＳ１２において、推定部２０３は、物体８を識別する情報に基づいて、記憶装置２１に記憶されている見え方生成情報２１３から、物体８について作成された見え方生成情報２１３を抽出する。

【0079】

なお、物体８を識別するための情報は、予めオペレータにより特定されていてもよい。すなわち、運搬ロボット３のワーク（物体８）が特定されていてもよい。しかし、例えば、受信した撮像情報３１１に対して画像認識処理を施し、撮像されている物体８を認識することにより特定してもよい。このように構成することにより、運搬ロボット３のワーク（物体８）について様々な物体が混在する状況（運搬ロボット３のところにどの物体がどのタイミングで来るか不定の場合）にも対応することができる。

【0080】

ここで、抽出された見え方生成情報２１３が１つの場合は、当該見え方生成情報２１３を選択する。

【0081】

一方、抽出した見え方生成情報２１３が複数である場合には、当該抽出した見え方生成情報２１３に関連づけられている使用回数および成功回数を取得して、各見え方生成情報２１３の「重み」を演算する。重みは、例えば、成功回数／使用回数で求めることができる。抽出されたすべての見え方生成情報２１３について「重み」が求まると、推定部２０３は「重み」が最大の見え方生成情報２１３を選択する。すなわち、推定部２０３は、重み付けに応じて、複数の見え方生成情報２１３の中から推定に用いる見え方生成情報２１３を選択する。

【0082】

推定に使用する見え方生成情報２１３が選択されると、推定部２０３は、受信した撮像情報３１１を観測値として、見え方生成情報２１３に基づいて、当該撮像情報３１１が撮像されたときの物体８の姿勢を推定し（ステップＳ１３）、推定情報２１４を作成する（ステップＳ１４）。

【0083】

推定情報２１４が作成されると、通信部２７は、当該推定情報２１４を運搬ロボット３に向けて送信する（ステップＳ１５）。すなわち、制御装置２は、運搬ロボット３からの撮像情報３１１に対するレスポンスとして、推定情報２１４を作成して運搬ロボット３に向けて送信する。言い換えれば、運搬ロボット３が撮像情報３１１を送信することにより、当該撮像情報３１１に撮像されている物体８の姿勢を制御装置２に問い合わせ、当該問い合わせに対して、制御装置２が当該物体８の姿勢を推定して、回答としての推定情報２１４を運搬ロボット３に送信するのである。

【0084】

推定情報２１４を送信すると、ＣＰＵ２０は、判定情報３１２を受信したか否かを判定し（ステップＳ１６）、判定情報３１２を受信するまでステップＳ１６を繰り返しつつ待機する。判定情報３１２は、推定情報２１４に対するレスポンスとして、運搬ロボット３から制御装置２に向けて送信される情報である。

【0085】

判定情報３１２が受信されると（ステップＳ１６においてＹｅｓ。）、評価部２０４は、受信された判定情報３１２において判定結果が「０」となっているか否かを判定する（ステップＳ１７）。

【0086】

判定結果が「０」の場合とは、制御装置２から送信された推定情報２１４によって推定された姿勢に基づいてアーム部３４を制御した結果、物体８を正常に把持することができたことを表している。姿勢推定システム１は、物体８を正常に把持できたか否かによって、推定部２０３による推定結果（推定情報２１４）の適否を判定する。

【0087】

判定結果が「０」の場合（ステップＳ１７においてＹｅｓ。）、評価部２０４は、ステップＳ１２において選択された見え方生成情報２１３（推定に使用された見え方生成情報２１３）の使用回数と、成功回数とをそれぞれインクリメントすることにより、当該見え方生成情報２１３の重み付けを行う（ステップＳ１８）。

【0088】

このように、評価部２０４は、モデル作成部２０２により作成された複数の見え方生成情報２１３のそれぞれに重み付けを行う。これにより、推定した姿勢により物体８の把持に成功し、判定結果が「０」となった場合には、当該推定に使用された見え方生成情報２１３の「重み」の値が大きくなり、以後、優先的にステップＳ１２において選択されるようになる。

【0089】

なお、ステップＳ１８が実行されると、すでに説明したように、制御装置２は、監視状態に戻る。

【0090】

一方、判定結果が「１」の場合（ステップＳ１７においてＮｏ。）、評価部２０４は、ステップＳ１２において選択された見え方生成情報２１３の使用回数のみをインクリメントすることにより、当該見え方生成情報２１３の重み付けを行う（ステップＳ２１）。

【0091】

これにより、推定した姿勢により物体８の把持に失敗し、判定結果が「１」となった場合には、当該推定に使用された見え方生成情報２１３の「重み」の値が小さくなり、以後、ステップＳ１２において選択される確率は低下する。

【0092】

次に、推定部２０３は、同じ物体８について準備されている見え方生成情報２１３が他に存在しているか否か（ステップＳ１２において、物体８を識別する情報によって抽出されたすべての見え方生成情報２１３による推定が終了したか否か）を判定する（ステップＳ２２）。

【0093】

そして、未だ終了していない見え方生成情報２１３が存在する場合（ステップＳ２２においてＮｏ。）、これらの見え方生成情報２１３について「重み」を演算し、「重み」の値が最も大きい見え方生成情報２１３に変更して（ステップＳ２３）、ステップＳ１３からの処理を繰り返す。

【0094】

一方、すべての見え方生成情報２１３による推定が終了している場合（ステップＳ２２においてＹｅｓ。）、当該物体８について準備されている見え方生成情報２１３では、正常に姿勢を推定することができないとみなして、ステップＳ２からの処理を繰り返す。

【0095】

ステップＳ２２においてＹｅｓと判定した場合、評価部２０４は、見え方生成情報２１３を再度生成するように指示する評価情報２１５を作成する。これにより、計測制御部２００は、ステップＳ２ないしＳ７の処理を実行する。

【0096】

すでに説明したように、ステップＳ２ないしＳ７の処理が実行されると、物体８について新たな見え方生成情報２１３が作成され、記憶装置２１に格納される。そして、物体８について新たな見え方生成情報２１３が作成されると、制御装置２は、当該見え方生成情報２１３によってステップＳ１３からの処理を繰り返す。

【0097】

以上が、主に、制御装置２において実行される工程である。次に、運搬ロボット３において実行される工程について説明する。

【0098】

図９および図１０は、姿勢推定方法における、主に運搬ロボット３において実行される工程を示す流れ図である。なお、運搬ロボット３は、電源が投入されると、所定の初期設定を実行した後、運搬すべき物体８の到着を待つ状態となる。運搬ロボット３のこの状態を待機状態と称する。

【0099】

待機状態において、物体８を検出すると、ＣＰＵ３０は、ステップＳ３１においてＹｅｓと判定し、検出した物体８を撮像するように撮像部３６を制御する。これにより、撮像部３６は、到着した物体８を撮像し（ステップＳ３２）、撮像情報３１１を作成する（ステップＳ３３）。

【0100】

撮像情報３１１が作成されると、通信部３７は、当該撮像情報３１１を制御装置２に向けて送信する（ステップＳ３４）。これにより、制御装置２に対して、物体８についての姿勢推定依頼がされたことになる。

【0101】

撮像情報３１１が送信されると、ＣＰＵ３０は、ステップＳ３５を実行することにより、推定情報２１４を受信するまで待機する。言い換えれば、ステップＳ３５は、運搬ロボット３が姿勢推定依頼に対するレスポンスを待っている状態である。

【0102】

推定情報２１４を受信すると（ステップＳ３５においてＹｅｓ。）、アーム制御部３００は、当該推定情報２１４に基づいて、物体８を把持するようにアーム部３４を制御する。これにより、アーム部３４は、物体８を把持する動作を実行する（ステップＳ４１）。

【0103】

アーム部３４が把持動作を完了すると、アーム制御部３００は、物体８を検出するように対物センサ３５を制御する。これにより、対物センサ３５が物体８の検出を行う（ステップＳ４２）。

【0104】

対物センサ３５は、物体８がアーム部３４によって正常に把持されているときに、当該物体８を検出するように設置されている。したがって、対物センサ３５によって物体８が検出されたか否かを判定することによって、アーム部３４が物体８を正常に把持できたか否かを判定することができる。そこで、ＣＰＵ３０は、対物センサ３５によって物体８を検出できたか否かを判定する（ステップＳ４３）。

【0105】

対物センサ３５が物体８を検出した場合（ステップＳ４３においてＹｅｓ。）、アーム制御部３００は、物体８を所定の位置に搬送するようにアーム部３４を制御する。これにより、アーム部３４は、把持した物体８を所定の位置に搬送する（ステップＳ４４）。

【0106】

ステップＳ４４と並行して、判定部３０１は、判定結果として「０（把持完了）」を含む判定情報３１２を作成する（ステップＳ４５）。そして、通信部３７は、作成された判定情報３１２を制御装置２に向けて送信する（ステップＳ４６）。なお、ステップＳ４６の処理を終了すると、運搬ロボット３はステップＳ３１に戻って処理を繰り返す。

【0107】

一方、対物センサ３５が物体８を検出しなかった場合（ステップＳ４３においてＮｏ。）、判定部３０１は、判定結果として「１（把持失敗）」を含む判定情報３１２を作成する（ステップＳ４７）。そして、通信部３７は、作成された判定情報３１２を制御装置２に向けて送信する（ステップＳ４８）。

【0108】

ステップＳ４８の処理を終了すると、運搬ロボット３はステップＳ３５に戻って処理を繰り返す。すなわち、ステップＳ３５によって新たな推定情報２１４が受信されるのを待ってから、再び、ステップＳ４１ないし４３の処理を実行する。

【0109】

なお、アーム部３４が物体８の把持に失敗した場合、把持を試みたアーム部３４により物体８の姿勢は撮像時から変化していることも想定される。したがって、把持に失敗した場合において、運搬ロボット３は、ステップＳ３２，Ｓ３３に相当する工程を実行し、新たに撮像しなおした撮像情報３１１を判定情報３１２とともに送信してもよい。

【0110】

以上のように、姿勢推定システム１は、一の計測方向から基準物体７を測定することにより基準物体７の当該一の計測方向に対応する三次元形状情報２１１を取得する計測部２６と、計測部２６により取得された三次元形状情報２１１に基づいて、基準物体７を観測方向から擬似的に捉えた二次元画像情報２１２を、互いに異なる複数の観測方向のそれぞれについて作成する疑似画像作成部２０１と、疑似画像作成部２０１により作成された二次元画像情報２１２を学習素材として見え方生成情報２１３を作成するモデル作成部２０２と、モデル作成部２０２により作成された見え方生成情報２１３を予め記憶する記憶装置２１と、物体８を撮像して撮像情報３１１を取得する撮像部３６と、記憶装置２１により記憶された見え方生成情報２１３と撮像部３６により取得された撮像情報３１１とに基づいて、物体８の姿勢を推定する推定部２０３とを備える。

【0111】

これにより、正確な三次元の形状情報（例えばＣＡＤ情報）がなくても、簡単な計測で物体８の姿勢を推定できる。セル生産に従事するセル型ロボット（運搬ロボット３）において、ワークが様々に変化したとしても、学習に時間を要することなく、柔軟に対応することができる。

【0112】

また、推定部２０３による推定情報２１４の適否を判定する判定部３０１をさらに備え、モデル作成部２０２は、判定部３０１による判定情報３１２に応じて、新たな見え方生成情報２１３を作成する。これにより、失敗した場合においても、短い時間で復帰が可能となる。

【0113】

また、物体８を把持するアーム部３４をさらに備え、判定部３０１は、アーム部３４により物体８を把持することができたか否かに応じて、推定情報２１４の適否を判定する。このように、要求された作業が達成できたか否かで推定された姿勢の適否を判定することにより、実際の要求精度に応じて判定することができる。

【0114】

また、モデル作成部２０２により作成された複数の見え方生成情報２１３のそれぞれに重み付けを行う評価部２０４をさらに備え、推定部２０３は、評価部２０４による重み付けに応じて、複数の見え方生成情報２１３の中から推定に用いる見え方生成情報２１３を選択する。そして、評価部２０４は、判定部３０１による判定情報３１２に応じて当該重み付けを行う。これにより、推定情報２１４の成績に応じて優先的に用いる見え方生成情報２１３を選択することができる。

【0115】

＜２． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

【0116】

例えば、上記実施の形態に示した各工程は、あくまでも例示であって、上記に示した順序や内容に限定されるものではない。すなわち、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。

【0117】

また、上記実施の形態に示した機能ブロック（例えば、推定部２０３や評価部２０４、判定部３０１など）は、ＣＰＵ２０，３０がプログラム２１０，３１０に従って動作することにより、ソフトウェア的に実現されると説明した。しかし、これらの機能ブロックの一部または全部を専用の論理回路で構成し、ハードウェア的に実現してもよい。

【0118】

また、アーム部３４によって物体８が把持されているか否かを検出する手法は、対物センサ３５による手法に限定されるものではない。例えば、撮像部３６がアーム部３４を撮像し、撮像情報３１１を画像解析して物体８が正常に把持されているか否かを判定してもよい。あるいは、アーム部３４に接触センサを設けて、アーム部３４が物体８に接触し続けているか否かを検出することにより物体８が把持されているか否かを判定することも可能である。また、物体８が正常に把持されていれば、物体８はアーム部３４によって移動され、当該場所に物体８は存在しなくなる。したがって、物体８が載置されていた場所に物体８が存在し続けているか否かによってアーム部３４が物体８を把持することができたか否かを判定してもよい。

【0119】

また、運搬ロボット３が物体８を支持する方法は、把持に限定されるものではない。例えば、吸着であってもよい。吸着は、アーム部３４の先端付近に吸着口を形成し、コンプレッサー等で空気を吸着口から内部に吸い込むことにより物体８を支持する方法である。吸着の場合は、吸着に適した部分を探索するために姿勢推定が必要であるものの、把持に比べて姿勢の自由度は高く、姿勢推定の精度が低くても適用可能である。

【0120】

また、上記実施の形態では、詳細な三次元の情報であるＣＡＤデータは必要ないと説明したが、すでに基準物体７に関するＣＡＤデータが存在するのであれば、これを三次元形状情報２１１の代わりに用いてもよい。

【0121】

また、上記実施の形態では、制御装置２と運搬ロボット３とが別々の装置を構成しており、互いにネットワーク９によって接続されていた。しかし、制御装置２と運搬ロボット３とが一体的な装置を構成していてもよい。あるいは、制御装置２が２以上のコンピュータによって構成されていてもよい。

【0122】

また、上記実施の形態では、一度、二次元画像情報２１２の作成に用いられた三次元形状情報２１１を削除せずに記録しておくこともできると説明した。このように過去の三次元形状情報２１１を記録している場合には、これを再利用してもよい。例えば、運搬ロボット３が物体８を正常に把持できなかった場合において、計測により新たな三次元形状情報２１１を取得するのではなく、記録されている過去の三次元形状情報２１１に基づいて、従来に比べて観測方向を増やして（観測方向のずれ角θを小さくして）二次元画像情報２１２を作成してもよい。これにより、１セットの画像情報に含まれる二次元画像情報２１２の数が増え、観測方向に関するピッチが細かくなる。このようにして作成された１セットの画像情報（二次元画像情報２１２）から新たな見え方生成情報２１３を作成して、再度、姿勢推定を行ってもよい。

【符号の説明】

【0123】

１ 姿勢推定システム
２ 制御装置
２０ ＣＰＵ
２０，３０ ＣＰＵ
２００ 計測制御部
２０１ 疑似画像作成部
２０２ モデル作成部
２０３ 推定部
２０４ 評価部
２１，３１ 記憶装置
２１０，３１０ プログラム
２１１ 三次元形状情報
２１２ 二次元画像情報
２１３ 見え方生成情報
２１４ 推定情報
２１５ 評価情報
２２，３２ 操作部
２３，３３ 表示部
２４ 計測台
２４０ 載置板
２４１ 載置板
２５ ステッピングモータ
２６ 計測部
２７ 通信部
３ 運搬ロボット
３００ アーム制御部
３０１ 判定部
３１１ 撮像情報
３１２ 判定情報
３４ アーム部
３５ 対物センサ
３６ 撮像部
３７ 通信部
７ 基準物体
８ 物体
９ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】