特開 2023-181733 ロボット装置、ロボットシステム、並びにロボットの制御方法及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023181733

(43)【公開日】2023-12-25

(54)【発明の名称】ロボット装置、ロボットシステム、並びにロボットの制御方法及び制御プログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20231218BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022095034

(22)【出願日】2022-06-13

(71)【出願人】

【識別番号】315014671

【氏名又は名称】東京ロボティクス株式会社

(74)【代理人】

【識別番号】100098899

【弁理士】

【氏名又は名称】飯塚 信市

(74)【代理人】

【識別番号】100163865

【弁理士】

【氏名又は名称】飯塚 健

(72)【発明者】

【氏名】大島 彩佳里

(72)【発明者】

【氏名】加藤 健太

(72)【発明者】

【氏名】松尾 雄希

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707BS27

3C707CS08

3C707HS27

3C707KS03

3C707KS04

3C707KT02

3C707KT03

3C707KT04

3C707KT05

3C707KT11

3C707LW12

3C707LW15

3C707WA03

3C707WA16

(57)【要約】      （修正有）

【課題】位置及び姿勢を変更できない対象物体であっても、対象物体に対する作業をロボットに行わせることができるロボットシステムを提供する。
【解決手段】ロボット１と、ロボット１のリンクに設けられる第１撮像部６１と、第１撮像部６１により生成された第１画像に基づき、対象物体の位置及び姿勢を認識する第１認識部７１と、ロボット１に設けられる第２撮像部６２と、第２撮像部６２により生成された第２画像に基づき、対象物体の位置及び姿勢を認識すると共に対象物体の周囲の物体の位置及び姿勢を認識する第２認識部７３と、第２認識部７３から得られた認識結果に基づき、第１撮像部６１の目標位置及び目標姿勢を決定する目標位置姿勢決定部７４と、目標位置姿勢決定部７４にて決定された目標位置及び目標姿勢に基づき、第１撮像部６１の位置及び姿勢を変更するためのロボット１への指令値を算出する指令値算出部７２と、を備えるロボット装置１００。
【選択図】図２

【特許請求の範囲】

【請求項1】

位置及び／又は姿勢を変更可能なリンクを有し対象物体に対する作業を行うロボットと、
前記リンクに設けられ、前記対象物体を撮影する第１撮像部と、
前記第１撮像部により生成された第１画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識する第１認識部と、
前記ロボットに設けられ、前記第１撮像部とは異なる視野範囲で前記対象物体を撮影する第２撮像部と、
前記第２撮像部により生成された第２画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識すると共に前記対象物体の周囲の物体の位置及び姿勢の少なくとも一方を認識する第２認識部と、
前記第２認識部から得られた認識結果に基づき、前記第１撮像部の目標位置及び目標姿勢の少なくとも一方を決定する目標位置姿勢決定部と、
前記目標位置姿勢決定部にて決定された前記目標位置及び目標姿勢の少なくとも一方に基づき、前記第１撮像部の位置及び姿勢を変更するための前記ロボットへの指令値を算出する指令値算出部と、
を備えるロボット装置。

【請求項2】

前記指令値算出部は、前記第１認識部から得られた認識結果に基づき、前記対象物体に対する前記作業を行うための前記ロボットへの指令値を算出する、
請求項１に記載のロボット装置。

【請求項3】

前記第２撮像部の視野範囲は、前記第１撮像部の視野範囲よりも広い、
請求項１に記載のロボット装置。

【請求項4】

前記ロボットは、前記リンクを複数備え、
前記第１撮像部は、前記複数のリンクのうちの一のリンクに設けられ、
前記第２撮像部は、前記複数のリンクのうちの別のリンクに設けられる、
請求項１に記載のロボット装置。

【請求項5】

前記第１撮像部を複数備え、
前記ロボットは、前記リンクを複数備え、
前記複数の第１撮像部のうちの一の第１撮像部は、前記複数のリンクのうちの一のリンクに設けられ、
前記複数の第１撮像部のうちの別の第１撮像部は、前記複数のリンクのうちの別のリンクに設けられる、
請求項１に記載のロボット装置。

【請求項6】

前記目標位置姿勢決定部は、前記第２認識部から得られた認識結果に基づき、前記第２撮像部の目標位置及び目標姿勢の少なくとも一方を決定し、
前記指令値算出部は、前記目標位置姿勢決定部にて決定された前記第２撮像部の前記目標位置及び目標姿勢の少なくとも一方に基づき、前記第２撮像部の位置及び姿勢を変更するための前記ロボットへの指令値を算出する、
請求項１に記載のロボット装置。

【請求項7】

前記ロボットは、前記第１撮像部の位置及び／又は姿勢を変更する第１駆動手段と、前記第１駆動手段の制御精度よりも低い制御精度で前記第１撮像部の位置及び／又は姿勢を変更する第２駆動手段と、を更に有し、
前記ロボット装置は、前記第１撮像部の位置及び姿勢の少なくとも一方を前記目標位置姿勢決定部にて決定された前記第１撮像部の目標位置及び目標姿勢の少なくとも一方に変更するのに前記第２駆動手段を用いる必要があるか否かを判定する制御精度判定部を更に備え、
前記制御精度判定部が前記第２駆動手段を用いる必要があると判定したときには、
前記目標位置姿勢決定部は、前記第２認識部から得られた認識結果に基づき、前記第１撮像部の位置及び姿勢の少なくとも一方を前記第１撮像部の目標位置及び目標姿勢の少なくとも一方に前記第２駆動手段を用いずに変更可能な前記ロボットの目標位置及び目標姿勢の少なくとも一方を決定し、
前記指令値算出部は、前記目標位置姿勢決定部にて決定された前記ロボットの目標位置及び目標姿勢の少なくとも一方に基づき、前記ロボットの位置及び姿勢の少なくとも一方を制御するための前記ロボットへの指令値を算出する、
請求項１に記載のロボット装置。

【請求項8】

前記ロボットは、移動可能に形成された移動台車を更に備え、
前記第１駆動手段は、前記リンクの位置及び／又は姿勢を変更するリンク駆動手段であり、
前記第２駆動手段は、前記移動台車を移動させる台車駆動手段である、
請求項７に記載のロボット装置。

【請求項9】

前記第２撮像部の視野範囲内に前記リンクが入り込んでいるか否かを判定するリンク入り込み判定部を更に備え、
前記指令値算出部は、前記第２撮像部の視野範囲内に前記リンクが入り込んでいると前記リンク入り込み判定部が判定した場合には、前記リンクの姿勢を変更するための前記ロボットへの指令値を算出する、
請求項１に記載のロボット装置。

【請求項10】

前記ロボットのオペレータによる入力装置の操作に基づいて、前記第２画像上において前記対象物体が存在する範囲を設定する認識範囲設定部を更に備え、
前記第２認識部は、前記第２画像のうち前記認識範囲設定部により設定された範囲から、前記対象物体の位置及び姿勢の少なくとも一方を認識すると共に前記対象物体の周囲の物体の位置及び姿勢の少なくとも一方を認識する、
請求項１に記載のロボット装置。

【請求項11】

位置及び／又は姿勢を変更可能なリンクを有し対象物体に対する作業を行うロボットと、前記リンクに設けられた第１撮像部と、前記ロボットに設けられ前記第１撮像部の視野範囲とは視野範囲が異なる第２撮像部と、を備えたロボット装置を制御する方法であって、
前記第２撮像部を用いて前記対象物体を撮影し第２画像を生成するステップと、
前記第２画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識すると共に前記対象物体の周囲の物体の位置及び姿勢の少なくとも一方を認識する認識ステップと、
前記認識ステップにて得られた認識結果に基づき、前記第１撮像部の目標位置及び目標姿勢の少なくとも一方を決定する目標位置姿勢決定ステップと、
前記目標位置姿勢決定ステップにて決定された前記目標位置及び目標姿勢の少なくとも一に基づき、前記第１撮像部の位置及び姿勢を変更するための前記ロボットへの指令値を算出する指令値算出ステップと、
前記指令値算出ステップにて算出された指令値に基づいて、前記ロボットを駆動して前記第１撮像部の位置及び姿勢の少なくとも一方を変更する位置姿勢変更ステップと、
前記第１撮像部を用いて前記対象物体を撮影し第１画像を生成するステップと、
前記第１画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識するステップと、
を備えた、制御方法。

【請求項12】

位置及び／又は姿勢を変更可能なリンクを有し対象物体に対する作業を行うロボットと、前記リンクに設けられた第１撮像部と、前記ロボットに設けられ前記第１撮像部の視野範囲とは視野範囲が異なる第２撮像部と、を備えたロボット装置を制御するプログラムであって、
前記第２撮像部を用いて前記対象物体を撮影し第２画像を生成するステップと、
前記第２画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識すると共に前記対象物体の周囲の物体の位置及び姿勢の少なくとも一方を認識する認識ステップと、
前記認識ステップにて得られた認識結果に基づき、前記第１撮像部の目標位置及び目標姿勢の少なくとも一方を決定する目標位置姿勢決定ステップと、
前記目標位置姿勢決定ステップにて決定された前記目標位置及び目標姿勢の少なくとも一に基づき、前記第１撮像部の位置及び姿勢を変更するための前記ロボットへの指令値を算出する指令値算出ステップと、
前記指令値算出ステップにて算出された指令値に基づいて、前記ロボットを駆動して前記第１撮像部の位置及び姿勢の少なくとも一方を変更する位置姿勢変更ステップと、
前記第１撮像部を用いて前記対象物体を撮影し第１画像を生成するステップと、
前記第１画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識するステップと、
を備えた、制御プログラム。

【請求項13】

位置及び／又は姿勢を変更可能なリンクを有し対象物体に対する作業を行うロボットと、
前記リンクに設けられ、前記対象物体を撮影する第１撮像部と、
前記第１撮像部により生成された第１画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識する第１認識部と、
前記ロボットに設けられ、前記第１撮像部とは異なる視野範囲で前記対象物体を撮影する第２撮像部と、
前記第２撮像部により生成された第２画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識すると共に前記対象物体の周囲の物体の位置及び姿勢の少なくとも一方を認識する第２認識部と、
前記第２認識部から得られた認識結果に基づき、前記第１撮像部の目標位置及び目標姿勢の少なくとも一方を決定する目標位置姿勢決定部と、
前記目標位置姿勢決定部にて決定された前記目標位置及び目標姿勢の少なくとも一方に基づき、前記第１撮像部の位置及び姿勢を変更するための前記ロボットへの指令値を算出する指令値算出部と、
を備えるロボットシステム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、ロボット装置、ロボットシステム、並びにロボットの制御方法及び制御プログラムに関する。

【背景技術】

【0002】

ロボット技術の進展に伴い、対象物体に対する様々な作業をロボットに行わせることが検討されている。作業をロボットに行わせるに際して、カメラ等の撮像部を用いて対象物体を撮像し、撮像画像に基づいて対象物体の位置及び姿勢を特定することがある。撮像部が１つだけの場合、当該撮像部の視野から対象物体が外れると、対象物体の位置及び姿勢を特定することができず対象物体に対する作業をロボットに行わせることが困難になる。このような理由から、複数の撮像部を用いて対象物体の位置及び姿勢を特定し対象物体に対する作業をロボットに行わせることが提案されている（特許文献１）。

【0003】

特許文献１に開示されたロボットシステムは、作業台に設置された撮像部と、ロボットに設置された撮像部と、を備えている。ロボットに設置された撮像部は、作業台の全領域が映るように撮像方向が調整されている。このロボットシステムでは、作業台に設置された撮像部による撮像画像に対象物体が映っていない場合に、ロボットに設置された撮像部による撮像画像に基づいて対象物体の位置及び姿勢を特定する。次に、特定した位置及び姿勢に基づいてロボットに対象物体を把持させ、作業台に設置された撮像部により対象物体を撮像できるように対象物体の位置及び姿勢を変更させる。その後、作業台に設置された撮像部により撮像された撮像画像に基づいて、対象物体に対する作業をロボットに行わせる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５－１８２１８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載されたロボットシステムは、対象物体の位置及び姿勢が変更可能であることを前提としており、位置及び姿勢を変更できない対象物体に対してこのロボットシステムを適用することができない。

【0006】

本発明は、上述の技術的課題に解決するためになされたものであり、その目的とするところは、位置及び姿勢を変更できない対象物体であっても、対象物体に対する作業をロボットに行わせることにある。

【課題を解決するための手段】

【0007】

上述の技術的課題は、以下の構成を有するロボット装置等により解決することができる。

【0008】

すなわち、本発明に係るロボット装置は、位置及び／又は姿勢を変更可能なリンクを有し対象物体に対する作業を行うロボットと、前記リンクに設けられ、前記対象物体を撮影する第１撮像部と、前記第１撮像部により生成された第１画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識する第１認識部と、前記ロボットに設けられ、前記第１撮像部とは異なる視野範囲で前記対象物体を撮影する第２撮像部と、前記第２撮像部により生成された第２画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識すると共に前記対象物体の周囲の物体の位置及び姿勢の少なくとも一方を認識する第２認識部と、前記第２認識部から得られた認識結果に基づき、前記第１撮像部の目標位置及び目標姿勢の少なくとも一方を決定する目標位置姿勢決定部と、前記目標位置姿勢決定部にて決定された前記目標位置及び目標姿勢の少なくとも一方に基づき、前記第１撮像部の位置及び姿勢を変更するための前記ロボットへの指令値を算出する指令値算出部と、を備える。

【0009】

このような構成によれば、第１撮像部の位置及び姿勢の少なくとも一方は、第２撮像部から得られた画像の認識結果に基づいて変更される。したがって、位置及び姿勢を変更できない対象物体であっても、第１撮像部の位置及び姿勢の少なくとも一方を変更することで対象物体の位置及び姿勢の少なくとも一方を認識することができるので、この種の対象物体に対する作業をロボットに適切に行わせることができる。

【0010】

前記指令値算出部は、前記第１認識部から得られた認識結果に基づき、前記対象物体に対する前記作業を行うための前記ロボットへの指令値を算出してもよい。

【0011】

このような構成によれば、ロボットは、対象物体を目標に駆動される。したがって、対象物体に対する作業を自律的にロボットに行わせることができる。

【0012】

前記第２撮像部の視野範囲は、前記第１撮像部の視野範囲よりも広くてもよい。

【0013】

このような構成によれば、第１撮像部と比較して第２撮像部の視野範囲内に対象物体が入りやすくなる。したがって、第２画像に対象物体をより確実に写すことができ、対象物体の位置及び姿勢を認識することができる。

【0014】

前記ロボットは、前記リンクを複数備え、前記第１撮像部は、前記複数のリンクのうちの一のリンクに設けられ、前記第２撮像部は、前記複数のリンクのうちの別のリンクに設けられてもよい。

【0015】

このような構成によれば、第２撮像部の位置及び姿勢は、第１撮像部の位置及び姿勢から独立して変更される。したがって、第１撮像部の視野範囲を変更しても第２撮像部の視野範囲を保持することができ、作業の遂行に要する時間を短縮することができる。

【0016】

前記第１撮像部を複数備え、前記ロボットは、前記リンクを複数備え、前記複数の第１撮像部のうちの一の第１撮像部は、前記複数のリンクのうちの一のリンクに設けられ、前記複数の第１撮像部のうちの別の第１撮像部は、前記複数のリンクのうちの別のリンクに設けられてもよい。

【0017】

このような構成によれば、一の第１撮像部で一の対象物体を撮影しつつ一の対象物体に対する作業をロボットに行わせつつ、別の第１撮像部で別の対象物体を撮影しつつ別の対象物体に対する作業をロボットに行わせることができる。したがって、一対の対象物体を互いに嵌合するなどの複数の対象物体を移動させる作業を効率的かつより確実にロボットに行わせることができる。

【0018】

前記目標位置姿勢決定部は、前記第２認識部から得られた認識結果に基づき、前記第２撮像部の目標位置及び目標姿勢の少なくとも一方を決定し、前記指令値算出部は、前記目標位置姿勢決定部にて決定された前記第２撮像部の前記目標位置及び目標姿勢の少なくとも一方に基づき、前記第２撮像部の位置及び姿勢を変更するための前記ロボットへの指令値を算出してもよい。

【0019】

このような構成によれば、第２撮像部の位置及び姿勢は、第２認識部により認識される対象物体の位置及び姿勢により変化する。したがって、対象物体の撮影に適した位置及び姿勢に第２撮像部の位置及び姿勢を変更することができ、より正確に対象物体の位置及び姿勢を認識することができる。これにより、対象物体の撮影により適した第１撮像部の目標位置及び目標姿勢を決定することができる。

【0020】

前記ロボットは、前記第１撮像部の位置及び姿勢を変更する第１駆動手段と、前記第１駆動手段の制御精度よりも低い制御精度で前記第１撮像部の位置及び姿勢を変更する第２駆動手段と、を更に有し、前記ロボット装置は、前記第１撮像部の位置及び目標の少なくとも一方を前記目標位置姿勢決定部にて決定された前記第１撮像部の目標位置及び目標姿勢の少なくとも一方に変更するのに前記第２駆動手段を用いる必要があるか否かを判定する制御精度判定部を更に備え、前記制御精度判定部が前記第２駆動手段を用いる必要があると判定したときには、前記目標位置姿勢決定部は、前記第２認識部から得られた認識結果に基づき、前記第２駆動手段を用いずに前記第１撮像部の位置及び姿勢の少なくとも一方を前記第１撮像部の目標位置及び目標姿勢の少なくとも一方に変更可能な前記ロボットの目標位置及び目標姿勢の少なくとも一方を決定し、前記指令値算出部は、前記目標位置姿勢決定部にて決定された前記ロボットの目標位置及び目標姿勢の少なくとも一方に基づき、前記ロボットの位置及び姿勢の少なくとも一方を制御するための前記ロボットへの指令値を算出してもよい。

【0021】

このような構成によれば、ロボットの位置及び姿勢は、第２認識部から得られた認識結果に基づき決定された目標位置及び目標姿勢に変更される。したがって、第１撮像部の目標位置及び目標姿勢に制御精度が相対的に低い駆動手段を用いることなく第１撮像部の位置及び姿勢を変更することができるようにロボットの位置及び姿勢を変更することができる。これにより、制御精度が相対的に高い駆動手段のみを用いて第１撮像部の位置及び姿勢をその目標位置及び目標姿勢に変更することができ、第１撮像部により対象物体を撮影して対象物体に対する作業をロボットに行わせることができる。

【0022】

前記ロボットは、移動可能に形成された移動台車を更に備え、前記第１駆動手段は、前記リンクの位置及び／又は姿勢を変更するリンク駆動手段であり、前記第２駆動手段は、前記移動台車を移動させる台車駆動手段であってもよい。

【0023】

このような構成によれば、移動台車の移動によらずに第１撮像部の位置及び姿勢の少なくとも一方を第１撮像部の目標位置及び目標姿勢の少なくとも一方に変更可能なロボットの目標位置及び目標姿勢にロボットの位置及び姿勢を変更することができる。したがって、リンクの位置及び／又は姿勢の変更のみで第１撮像部の位置及び姿勢をその目標位置及び目標姿勢に変更することができ、第１撮像部により対象物体を撮影して対象物体に対する作業をロボットに行わせることができる。

【0024】

前記第２撮像部の視野範囲内に前記リンクが入り込んでいるか否かを判定するリンク入り込み判定部を更に備え、前記指令値算出部は、前記第２撮像部の視野範囲内に前記リンクが入り込んでいると前記リンク入り込み判定部が判定した場合には、前記リンクの姿勢を変更するための前記ロボットへの指令値を算出してもよい。

【0025】

このような構成によれば、リンクを第２撮像部の視野範囲外に移動させるようにリンクの姿勢を変更することができる。したがって、対象物体がリンクに隠れることを防止することができ、第２撮像部を用いて対象物体をより確実に撮影することができる。

【0026】

前記ロボットのオペレータによる入力装置の操作に基づいて、前記第２画像上において前記対象物体が存在する範囲を設定する認識範囲設定部を更に備え、前記第２認識部は、前記第２画像のうち前記認識範囲設定部により設定された範囲から、前記対象物体の位置及び姿勢の少なくとも一方を認識すると共に前記対象物体の周囲の物体の位置及び姿勢の少なくとも一方を認識してもよい。

【0027】

このような構成によれば、第２画像のうちオペレータにより指定された範囲から、対象物体及びその周囲の物体の位置及び姿勢を認識する。そのため、第２画像の全領域から対象物体等の位置及び姿勢を認識する場合と比較して、認識にかかる時間を短縮することができる。したがって、ロボットが対象物体に対して行う作業に要する時間を短縮することができる。また、認識範囲を絞ることで認識したい対象物体等以外の物体を誤認識することを避けることができる。したがって、ロボットがより確実に対象物体に対して作業を行うことができる。

【0028】

別の側面から見た本発明は、姿勢を変更可能なリンクを有し対象物体に対する作業を行うロボットと、前記リンクに設けられた第１撮像部と、前記ロボットに設けられ前記第１撮像部の視野範囲とは視野範囲が異なる第２撮像部と、を備えたロボット装置を制御する方法であって、前記第２撮像部を用いて前記対象物体を撮影し第２画像を生成するステップと、前記第２画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識すると共に前記対象物体の周囲の物体の位置及び姿勢の少なくとも一方を認識する認識ステップと、前記認識ステップにて得られた認識結果に基づき、前記第１撮像部の目標位置及び目標姿勢の少なくとも一方を決定する目標位置姿勢決定ステップと、前記目標位置姿勢決定ステップにて決定された前記目標位置及び目標姿勢の少なくとも一に基づき、前記第１撮像部の位置及び姿勢を変更するための前記ロボットへの指令値を算出する指令値算出ステップと、前記指令値算出ステップにて算出された指令値に基づいて、前記ロボットを駆動して前記第１撮像部の位置及び姿勢の少なくとも一方を変更する位置姿勢変更ステップと、前記第１撮像部を用いて前記対象物体を撮影し第１画像を生成するステップと、前記第１画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識するステップと、を備える。

【0029】

別の側面から見た本発明は、姿勢を変更可能なリンクを有し対象物体に対する作業を行うロボットと、前記リンクに設けられた第１撮像部と、前記ロボットに設けられ前記第１撮像部の視野範囲とは視野範囲が異なる第２撮像部と、を備えたロボット装置を制御するプログラムであって、前記第２撮像部を用いて前記対象物体を撮影し第２画像を生成するステップと、前記第２画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識すると共に前記対象物体の周囲の物体の位置及び姿勢の少なくとも一方を認識する認識ステップと、前記認識ステップにて得られた認識結果に基づき、前記第１撮像部の目標位置及び目標姿勢の少なくとも一方を決定する目標位置姿勢決定ステップと、前記目標位置姿勢決定ステップにて決定された前記目標位置及び目標姿勢の少なくとも一に基づき、前記第１撮像部の位置及び姿勢を変更するための前記ロボットへの指令値を算出する指令値算出ステップと、前記指令値算出ステップにて算出された指令値に基づいて、前記ロボットを駆動して前記第１撮像部の位置及び姿勢の少なくとも一方を変更する位置姿勢変更ステップと、前記第１撮像部を用いて前記対象物体を撮影し第１画像を生成するステップと、前記第１画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識するステップと、を備える。

【0030】

更に別の側面から見た本発明に係るロボットシステムは、位置及び／又は姿勢を変更可能なリンクを有し対象物体に対する作業を行うロボットと、前記リンクに設けられ、前記対象物体を撮影する第１撮像部と、前記第１撮像部により生成された第１画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識する第１認識部と、前記ロボットに設けられ、前記第１撮像部とは異なる視野範囲で前記対象物体を撮影する第２撮像部と、前記第２撮像部により生成された第２画像に基づき、前記対象物体の位置及び姿勢の少なくとも一方を認識すると共に前記対象物体の周囲の物体の位置及び姿勢の少なくとも一方を認識する第２認識部と、前記第２認識部から得られた認識結果に基づき、前記第１撮像部の目標位置及び目標姿勢の少なくとも一方を決定する目標位置姿勢決定部と、前記目標位置姿勢決定部にて決定された前記目標位置及び目標姿勢の少なくとも一方に基づき、前記第１撮像部の位置及び姿勢を変更するための前記ロボットへの指令値を算出する指令値算出部と、を備える。

【0031】

このような構成によれば、第１撮像部の位置及び姿勢の少なくとも一方は、第２撮像部から得られた画像の認識結果に基づいて変更される。したがって、位置及び姿勢を変更できない対象物体であっても、第１撮像部の位置及び姿勢の少なくとも一方を変更することで対象物体の位置及び姿勢の少なくとも一方を認識することができるので、この種の対象物体に対する作業をロボットに適切に行わせることができる。

【発明の効果】

【0032】

本発明によれば、第１撮像部の位置及び姿勢の少なくとも一方は、第２撮像部から得られた画像の認識結果に基づいて変更される。したがって、位置及び姿勢を変更できない対象物体であっても、第１撮像部の位置及び姿勢の少なくとも一方を変更することで対象物体の位置及び姿勢の少なくとも一方を認識することができるので、この種の対象物体に対する作業をロボットに適切に行わせることができる。

【図面の簡単な説明】

【0033】

【図1】（Ａ）は、本発明の第１実施形態に係るロボット装置の側面図であり、（Ｂ）は、当該ロボット装置の上面図である。

【図2】図１に示すロボット装置のブロック図である。

【図3】（Ａ）は、対象物体とロボットとの位置関係の一例を示す上面図であり、（Ｂ）は、対象物体とロボットとの位置関係の別の例を示す上面図である。

【図4】本発明の第１実施形態に係るフローチャートであり、対象物体に対する作業をロボットに行わせる処理を示す。

【図5】本発明の第１実施形態の第１変形例に係るロボット装置の構成を説明する図であって、（Ａ）は、対象物体２である本を把持し本棚から取り出した状態を示す上面図であり、（Ｂ）は、取り出した本を本棚から離した状態を示す上面図であり、（Ｃ）は、取り出した本を本棚にしまう状態を示す上面図である。

【図6】本発明の第１実施形態の第２変形例に係るロボット装置の構成を説明する上面図であり、図１（Ｂ）に対応して示す。

【図7】本発明の第１実施形態の第３変形例に係るロボット装置の構成を説明する上面図であり、図１（Ｂ）に対応して示す。

【図8】対象物体とロボットとの位置関係のさらに別の例を示す上面図である。

【図9】本発明の第２実施形態に係るフローチャートであり、対象物体に対する作業をロボットに行わせる処理を示す。

【図10】本発明の第２実施形態に係る第２撮像部の位置及び姿勢を変更する処理の詳細フローチャートである。

【図11】（Ａ）は、対象物体とロボットとの位置関係の別の例を示す上面図であり、（Ｂ）は、図１１（Ａ）に示す状態から第１撮像部の位置及び姿勢を変更した例を示す上面図である。

【図12】本発明の第３実施形態に係るロボット装置のブロック図である。

【図13】本発明の第３実施形態に係るフローチャートであり、対象物体に対する作業をロボットに行わせる処理を示す。

【図14】本発明の第３実施形態に係る詳細フローチャートであり、制御精度が相対的に低い駆動手段を用いてロボットを駆動する処理を示す。

【図15】（Ａ）は、対象物体とロボットとの位置関係のさらに別の例を示す上面図であり、（Ｂ）は、図１５（Ａ）に示される状態で第２撮像部により生成される第２画像の一例である。

【図16】本発明の第４実施形態に係るロボット装置のブロック図である。

【図17】左腕リンクが第２撮像部の視野範囲内に入り込むか否かの判定方法の一例を説明するための模式図であり、（Ａ）は、第２撮像部の光軸（Ｚ軸）と直交する水平軸（Ｘ軸）に沿って第２撮像部を見た図であり、（Ｂ）は、第２撮像部の光軸及び水平軸と直交する鉛直軸（Ｙ軸）に沿って第２撮像部を見た図である。

【図18】本発明の第５実施形態に係るロボット装置のブロック図である。

【図19】（Ａ）は、図１８に示される表示部に表示される画像の一例であり、（Ｂ）は、オペレータが第２画像のうちの一部の範囲を指定したときの表示部に表示される画像の例を示す。

【図20】本発明をアーム型ロボットに適用した例を示す。

【図21】本発明を、移動台車の上にグリッパが搭載されたロボットに適用した例を示す。

【発明を実施するための形態】

【0034】

以下、本発明の好適な実施の形態について添付の図面を参照しつつ詳細に説明する。

【0035】

（１．第１実施形態）
まず、第１実施形態として、本発明をロボット装置に適用した例について説明する。図１及び図２は、第１実施形態に係るロボット装置１００の構成例を説明する図である。

【0036】

図１は、ロボット装置１００が備えるロボット１の構成を説明する図であって、図１（Ａ）は、主にロボット１の外観例を示す側面図であり、図１（Ｂ）は、主にロボット１の外観例を示す平面図である。ロボット装置１００は、対象物体２に対する所定の作業を行うロボット１を備えている。対象物体２は、例えば、押ボタン（設備の電源ボタン等）、スイッチ、コネクタ又はドア等である。作業は、人間が日常的に行う作業を含み、例えば、押ボタンを押す作業、スイッチを切換える作業、コネクタを挿抜する作業、ドアを開閉する作業又は電源が付いているか否かを検査する作業等である。

【0037】

図示するように、ロボット１は、略人型の形状を有しており、移動台車１１と、移動台車１１に支持された脚部１２と、脚部１２に支持された胴体部１３と、胴体部１３に支持された右腕リンク２０、左腕リンク３０及び頭部リンク４０と、を備えている。

【0038】

移動台車１１は、ロボット１が置かれた面（床面）を移動可能に形成されている。具体的には、移動台車１１は、不図示の複数の駆動輪を備えている。複数の駆動輪が回転すると、移動台車１１が移動する。移動台車１１は、例えば、全方向に移動することができるように構成された全方位移動台車であり、駆動輪は、例えばオムニホイールである。

【0039】

以下において、「上方」及び「下方」は、それぞれ、移動台車１１が水平な面に配置されている状態を基準とした鉛直方向上側及び鉛直方向下側を意味する。

【0040】

脚部１２は、略人型のロボット１において、人の脚に相当する構成として、移動台車１１から上方に延びている。胴体部１３は、略人型のロボット１において、人の胴体に相当する構成として、脚部１２の上方に配置されており、略鉛直に延びる軸Ａ１を中心に回転可能に脚部１２に設けられている。

【0041】

以下において、移動台車１１、脚部１２及び胴体部１３を合わせて「移動基体１０」と称することがある。

【0042】

右腕リンク２０は、略人型のロボット１において、人の右腕に相当する構成として、胴体部１３から延びており、姿勢を変更可能である。具体的には、右腕リンク２０は、胴体部１３に設けられた第１関節部２１と、第１関節部２１から延びる第１リンク２２と、第１リンク２２の先端に設けられた第２関節部２３と、第２関節部２３から延びる第２リンク２４と、第２リンク２４の先端に設けられた第３関節部２５と、第３関節部２５から延びる左腕リンク２６と、を備えている。左腕リンク２６には、対象物体２に対する作業を行うためのツール２７が設けられている。右腕リンク２０を構成する各リンク２２、２４、２６は、位置及び姿勢を変更可能である。

【0043】

第１関節部２１は、略水平な軸Ａ２を中心に胴体部１３に対して回転可能である。第１関節部２１が回転すると、第１リンク２２、第２関節部２３、第２リンク２４、第３関節部２５及び左腕リンク２６が軸Ａ２を中心に回転する。図１（Ａ）及び（Ｂ）では、第１リンク２２を略水平に保持した状態が示されている。

【0044】

第１リンク２２は、略水平に保持された状態（図１に示す状態）において第１関節部２１を通る略鉛直な軸Ａ３を中心に胴体部１３に対して揺動可能である。第２リンク２４は、第１リンク２２が略水平に保持された状態（図１に示す状態）において第２関節部２３を通る略鉛直な軸Ａ４を中心に第１リンク２２に対して揺動可能である。左腕リンク２６は、第１リンク２２が略水平に保持された状態（図１に示す状態）において第３関節部２５を通る略鉛直な軸Ａ５を中心に第２リンク２４に対して揺動可能である。換言すれば、右腕リンク２０は、姿勢を変化可能である。

【0045】

ロボット１は、右腕リンク２０の姿勢を変更して対象物体２に対する作業を行う。例えば、対象物体２が押ボタンである場合には、ロボット１は、右腕リンク２０の姿勢を変更してツール２７で押ボタンを押す。

【0046】

左腕リンク３０は、略人型のロボット１において、人の左腕に相当する構成として、胴体部１３から延びており、右腕リンク２０及び頭部リンク４０から独立して姿勢を変更可能である。左腕リンク３０の構造は、右腕リンク２０の構造と略同じであるため、ここではその詳細を省略する。

【0047】

頭部リンク４０は、略人型のロボット１において、人の頭に相当する構成として、胴体部１３の上方に配置されている。頭部リンク４０は、右腕リンク２０及び左腕リンク３０から独立して姿勢を変更可能である。具体的には、頭部リンク４０は、水平な軸Ａ６を中心に揺動可能且つ鉛直な軸Ａ７を中心に回転可能に胴体部１３に設けられている。頭部リンク４０は、人が見た際に顔として認識できる正面を有している。

【0048】

図２は、ロボット装置１００のブロック図である。図２に示すように、ロボット１は、台車駆動手段５１と、胴体部駆動手段５２と、右腕リンク駆動手段５３と、左腕リンク駆動手段５４と、頭部リンク駆動手段５５と、を備える。台車駆動手段５１、胴体部駆動手段５２、右腕リンク駆動手段５３、左腕リンク駆動手段５４及び頭部リンク駆動手段５５によりロボット１は駆動される。

【0049】

台車駆動手段５１は、移動台車１１における不図示の駆動輪を回転させる。台車駆動手段５１は、例えば、移動台車１１に搭載された一又は複数のモータである。胴体部駆動手段５２は、脚部１２に対して胴体部１３を回転させる。胴体部駆動手段５２は、例えば、脚部１２に搭載された一又は複数のモータである。

【0050】

右腕リンク駆動手段５３は、右腕リンク２０の姿勢を変化させる。右腕リンク駆動手段５３は、例えば、胴体部１３に搭載され胴体部１３に対して第１関節部２１を回転させる一又は複数のモータと、第１関節部２１に搭載され胴体部１３に対して第１リンク２２を揺動させる一又は複数のモータと、第２関節部２３に搭載され第１リンク２２に対して第２リンク２４を揺動させる一又は複数のモータと、第３関節部２５に搭載され第２リンク２４に対して左腕リンク２６を揺動させる一又は複数のモータと、を含む。

【0051】

左腕リンク駆動手段５４は、左腕リンク３０の姿勢を変化させる。左腕リンク駆動手段５４の構造は、右腕リンク駆動手段５３の構造と略同じであるため、ここではその詳細を省略する。

【0052】

頭部リンク駆動手段５５は、胴体部１３に対して頭部リンク４０を水平な軸Ａ６を中心に揺動させると共に鉛直な軸Ａ７を中心に回転させる。頭部リンク駆動手段５５は、例えば、胴体部１３に搭載された一又は複数のモータである。

【0053】

図示を省略するが、ツール２７が例えば電動ハンドのように駆動可能である場合には、ロボット１は、ツール２７を駆動するツール駆動手段を備えていてもよい。

【0054】

図３（Ａ）は、対象物体２とロボット１との位置関係の一例を示す上面図である。図３（Ａ）に示すように、ロボット１が対象物体２に対する作業を自律的に行うためには、対象物体２の位置及び姿勢を認識し、認識した対象物体２の位置及び姿勢に基づきロボット１を駆動する必要がある。そこで、本実施形態では、対象物体２の位置及び姿勢を認識し認識結果に基づきロボット１を駆動する機構をロボット装置１００に設けている。

【0055】

図１及び図２に示すように、ロボット装置１００は、右腕リンク２０に設けられ第１画像を生成する第１撮像部６１と、第１撮像部６１により生成された第１画像に基づきロボット１の駆動を制御するコントローラ７０と、を備えている。コントローラ７０は、第１認識部７１及び指令値算出部７２等の機能部を有する。

【0056】

第１撮像部６１は、例えば、ＲＧＢカメラ、モノクロカメラ、ＩＲカメラ及び３Ｄカメラである。第１撮像部６１は、所定の視野範囲を持ち、視野範囲内に存在する物体を撮影し、物体が写った第１画像を生成する。第１撮像部６１の視野範囲内に対象物体２が存在する場合には、第１画像には対象物体２が写ることになる。第１撮像部６１は、撮影により物体の形状情報を取得するセンサであってもよい。

【0057】

コントローラ７０は、例えば、プロセッサとしての中央演算装置（ＣＰＵ）、記憶媒体としての読み出し専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）、入出力インタフェース（Ｉ／Ｏインタフェース）等がバスを介して接続されて構成される情報処理装置である。ＲＯＭには、第１認識部７１及び指令値算出部７２等の機能を実行するためのプログラム（制御プログラム）が格納されている。すなわち、コントローラ７０は、ＲＯＭに格納されたプログラムを実行することによって、第１認識部７１及び指令値算出部７２等の各機能部の機能を実現するように構成される。

【0058】

なお、コントローラ７０を構成するプロセッサおよび記憶媒体として上述した構成は例示であって、これらに加えて、或いは代えて、ＧＰＵ、フラッシュメモリ、ハードディスク、ストレージ等を含んでもよい。また、上述の各機能部の機能は、必ずしもコントローラ７０のみによって実現される必要はなく、機能部毎に適宜選択された複数のコントローラがそれぞれ、或いは協調することによって実現されるように構成されてもよい。

【0059】

コントローラ７０の各機能部の機能について以下説明する。

【0060】

第１認識部７１は、例えば画像特徴量に基づいて、対象物体２の位置及び姿勢を認識する。具体的には、対象物体２の画像特徴量を予め算出しておき、第１撮像部６１にて生成された第１画像から算出した画像特徴量と、予め算出した画像特徴量と、のマッチングを行うことで、対象物体２の位置及び姿勢を認識する。画像特徴量は、画像中の物体の像の特徴を表す量であり、例えば、画像中の領域の面積や中心位置、線分の長さや傾きなどである。

【0061】

また、第１認識部７１は、対象物体２の形状情報に基づいて対象物体２の位置及び姿勢を認識してもよい。具体的には、予め対象物体２の形状を計測し、計測データと第１撮像部６１にて生成された第１画像から得られる対象物体２の形状情報との比較により対象物体２の位置及び姿勢を認識してもよい。

【0062】

なお、ニューラルネットワーク等の機械学習技術を用いて対象物体２の位置及び姿勢を認識する構成としてもよい。具体的には、対象物体２が含まれた画像又はその画像特徴量と、正解データとなる対象物体２の位置及び姿勢と、に基づいて生成された学習済モデルを用いて、対象物体２の位置及び姿勢を認識する構成としてもよい。

【0063】

指令値算出部７２は、第１認識部７１から得られた認識結果に基づき、対象物体２に対する作業を行う（遂行する）ためのロボット１への指令値を算出する。指令値は、例えばロボット１のＴＣＰ（Ｔｏｏｌ Ｃｅｎｔｅｒ Ｐｏｉｎｔ）を目標位置姿勢へ移動させるためのロボット１への制御値、ＴＣＰの目標軌道を描かせるための時系列的な制御値列である。ＴＣＰは、例えばツール２７の先端である。ロボット１への制御値又は制御値列は、具体的には、台車駆動手段５１、胴体部駆動手段５２、頭部リンク駆動手段５５及び右腕リンク駆動手段５３を駆動するための制御値又は制御値列である。指令値は、制御値及び制御値列を複合的に組み合わせられていてもよい。

【0064】

ツール２７が例えば電動ハンドのように駆動可能でありロボット１がツール駆動手段を備えている場合には、指令値算出部７２は、ツール駆動手段を駆動するための制御値又は制御値列を算出してもよい。

【0065】

指令値算出部７２にて算出された指令値は、台車駆動手段５１、胴体部駆動手段５２、右腕リンク駆動手段５３及び頭部リンク駆動手段５５に出力される。台車駆動手段５１、胴体部駆動手段５２、右腕リンク駆動手段５３及び頭部リンク駆動手段５５が指令値に応じて駆動されると、移動台車１１、胴体部１３、右腕リンク２０及び頭部リンク４０は、対象物体２に対する作業を行う（遂行する）。

【0066】

このように、ロボット装置１００では、第１撮像部６１により生成された第１画像に基づき第１認識部７１が対象物体２の位置及び姿勢を認識し、指令値算出部７２が、第１認識部７１から得られた認識結果に基づきロボット１への指令値を算出する。したがって、図３（Ａ）に示すように、対象物体２が第１撮像部６１の視野範囲内に存在する場合には、ロボット１は、対象物体２を目標にツール２７の位置及び姿勢を変更することができ、対象物体２に対する作業を自律的に行うことができる。

【0067】

図３（Ｂ）は、対象物体２とロボット１との位置関係の別の例を示す上面図である。図３（Ｂ）に示すように、対象物体２が第１撮像部６１の視野範囲に存在しない場合がある。このような場合には、第１撮像部６１により対象物体２を撮影することができない。図３（Ｂ）に示す状態は、例えば、移動台車１１によるロボット１の移動時に移動台車１１の不図示の駆動輪が滑り、ロボット１が所望の位置に止まっていないときや、人間の介在によって対象物体２の位置が変わっているときに生じ得る。

【0068】

図示を省略するが、対象物体２と第１撮像部６１との間に意図しない物体が存在し対象物体２が意図しない物体によって第１撮像部６１に対して隠れる場合もある。このような場合にも、第１撮像部６１により対象物体２を撮影することができない。

【0069】

第１撮像部６１により対象物体２を撮影することができないときには、対象物体２の位置及び姿勢を認識することができないため、ロボット１は、対象物体２に対する作業を行う（遂行する）ことができなくなる。

【0070】

第１撮像部６１により対象物体２を確実に撮影するために、第１撮像部６１の視野範囲を広げることも考えられるが、この場合には、第１撮像部６１により生成される第１画像上で対象物体２が小さく写ることになる。その結果、第１認識部７１による対象物体２の位置及び姿勢の認識精度が低下し、ロボット１による対象物体２に対する作業が困難になるおそれがある。

【0071】

そこで、本実施形態では、第１撮像部６１とは異なる視野範囲で対象物体２の位置及び姿勢を撮影し第１撮像部６１の位置及び姿勢を変更する機構をロボット装置１００に設けている。

【0072】

具体的には、図１及び図２に示すように、ロボット装置１００は、第１撮像部６１とは異なる視野範囲で第２画像を生成する第２撮像部６２を備えている。また、コントローラ７０は、機能部として第２認識部７３及び目標位置姿勢決定部７４を有している。

【0073】

第２撮像部６２は、第１撮像部６１と同様に、例えば、ＲＧＢカメラ、モノクロカメラ、ＩＲカメラ及び３Ｄカメラである。第２撮像部６２は、第２撮像部６２の視野範囲内に存在する物体を撮影し、物体が写った第２画像を生成する。第２撮像部６２の視野範囲内に対象物体２が存在する場合には、第２画像には対象物体２が写ることになる。第２撮像部６２は、第１撮像部６１と同様に、撮影により物体の形状情報を取得するセンサであってもよい。

【0074】

第２認識部７３は、対象物体２の位置及び姿勢を認識すると共に、対象物体２の周囲の物体の位置及び姿勢を認識する。対象物体２の周囲の物体は、例えば、ロボット１が対象物体２に対する作業を行うにあたって衝突の原因となるような障害物や、作業を行うのに必要な物体である。本を本棚から取り出す作業の場合、対象の本の周囲にある本は、作業を行うにあたって衝突の原因となるような障害物に相当し、本棚の棚板は、作業を行うにあたって認識が必要な物体に相当する。

【0075】

第２認識部７３における物体の位置及び姿勢の認識方法は、第１認識部７１による認識方法とほぼ同じであるため、ここではその詳細な説明は省略する。

【0076】

目標位置姿勢決定部７４は、第２認識部７３の認識結果に基づき、第１撮像部６１の目標位置及び目標姿勢を決定する。第１撮像部６１の目標位置及び目標姿勢は、第２認識部７３にて対象物体２の位置及び姿勢を認識した場合、例えば、次の式（１）、式（２）を用いることで決定可能である。このとき、対象物体２からの相対位置パラメータは、第１撮像部６１の視野範囲内に対象物体２が存在するように設定する。

【0077】

【数1】

【0078】

なお、第１撮像部６１の目標位置及び目標姿勢を決定する方法は、式（１）、式（２）を用いる方法に限られず、対象物体２が第１撮像部６１の視野範囲内に存在する第１撮像部６１の目標位置及び目標姿勢を算出できる方法であればよい。

【0079】

指令値算出部７２は、目標位置姿勢決定部７４にて決定された第１撮像部６１の目標位置及び目標姿勢に基づき、第１撮像部６１の位置及び姿勢を制御するためのロボット１への指令値を算出する。指令値は、対象物体２に対する作業を行う（遂行する）ための指令値と同様に、制御値、制御値列又はこれらを複合的に組み合わせたものとすることができる。

【0080】

図４は、対象物体２に対する作業をロボット１に行わせる処理のフローチャートである。同図から明らかな通り、処理が開始すると、コントローラ７０は、第２撮像部６２を用いてその視野範囲内に存在する物体を撮影する撮影処理を行う（Ｓ１１）。これにより、第２撮像部６２の視野範囲内に存在する物体が写った第２画像が生成される。ここでは、第２画像に対象物体２が写っているものとして説明する。

【0081】

第２撮像部６２を用いた撮影処理（Ｓ１１）の後、コントローラ７０は、第２画像に基づき、対象物体２の位置及び姿勢を認識すると共に対象物体２の周囲の物体の位置及び姿勢を認識する認識処理を行う（Ｓ１２）。対象物体２及びその周囲の物体の位置及び姿勢の認識方法は、前述した第１認識部７１による認識方法とほぼ同じであるため、ここではその詳細な説明は省略する。

【0082】

次に、コントローラ７０は、認識処理（Ｓ１２）の認識結果に基づき、第１撮像部６１の目標位置及び目標姿勢を決定する目標位置姿勢決定処理を行う（Ｓ１３）。第１撮像部６１の目標位置及び目標姿勢は、前述の式（１）、式（２）を用いることで決定可能である。第１撮像部６１の目標位置及び目標姿勢は、第１撮像部６１の視野範囲内に対象物体２が存在するように決定される。

【0083】

次に、コントローラ７０は、目標位置姿勢決定処理（Ｓ１３）にて決定された第１撮像部６１の目標位置及び目標姿勢に基づき、第１撮像部６１の位置及び姿勢を制御するためのロボット１への指令値を算出する指令値算出処理を行う（Ｓ１４）。その後、コントローラ７０は、算出された指令値をロボット１に送り、ロボット１を駆動して第１撮像部６１の位置及び姿勢を変更する位置姿勢変更処理を行う（Ｓ１５）。これにより、第１撮像部６１の位置及び姿勢は、目標位置姿勢決定処理（Ｓ１３）にて決定された目標位置及び目標姿勢となり、第１撮像部６１の視野範囲内に対象物体２が入る。

【0084】

次に、コントローラ７０は、第１撮像部６１を用いてその視野範囲内に存在する物体を撮影する撮影処理を行う（Ｓ１６）。これにより、対象物体２が写った第１画像が生成される。その後、コントローラ７０は、第１画像に基づき、対象物体２の位置及び姿勢を認識する認識処理を行う（Ｓ１７）。

【0085】

次に、コントローラ７０は、認識処理（Ｓ１７）の認識結果に基づき、対象物体２に対する作業を行うためのロボット１への指令値を算出する指令値算出処理を行う（Ｓ１８）。その後、コントローラ７０は、算出された指令値をロボット１に送り、ロボット１を駆動し、対象物体２に対する作業をロボット１に行わせる作業実施処理を行う（Ｓ１９）。

【0086】

作業実施処理（Ｓ１９）の後、コントローラ７０は、対象物体２に対する作業を遂行したか否かを判定する作業遂行判定処理を行う（Ｓ２０）。作業を遂行したと判定した場合には（Ｓ２０ＹＥＳ）、対象物体２に対する作業をロボット１に行わせる処理は終了する。作業を遂行していないと判定した場合には（Ｓ２０ＮＯ）、第２撮像部６２を用いた撮影処理（Ｓ１１）が再び行われる。

【0087】

作業遂行判定処理（Ｓ２０）に関して、例えば、作業が押ボタンを押す作業である場合には、１つの指令で作業を遂行することができる。この場合、作業遂行判定処理（Ｓ２０）において作業を遂行したと必ず判定される（Ｓ２０ＹＥＳ）ため、作業遂行判定処理（Ｓ２０）はなくてもよい。

【0088】

一方、例えば作業が扉の鍵を閉める作業である場合には、扉の鍵を把持する第１の指令と、扉の鍵を回す第２の指令と、の２つの指令が必要になる。この場合において、ロボット１が扉の鍵を把持した段階では、作業遂行判定処理（Ｓ２０）において作業を遂行していないと判定され（Ｓ２０ＮＯ）、ロボット１が扉の鍵を回した段階で、作業遂行判定処理（Ｓ２０）において作業を遂行したと判定される（Ｓ２０ＮＯ）。つまり、複数の指令で作業を遂行する場合、作業遂行判定処理（Ｓ２０）は必須である。

【0089】

以上のように、本実施形態では、第２撮像部６２が、第１撮像部６１とは異なる視野範囲で対象物体２を撮影する。そのため、第２撮像部６２により生成される第２画像は、第１撮像部６１により生成される第１画像とは異なるものとなる。したがって、対象物体２が第１撮像部６１の視野範囲内に存在しない場合にも、第２画像に対象物体２を写すことができ、対象物体２の位置及び姿勢を認識することができる。

【0090】

また、第２認識部７３は、第２撮像部６２により生成される第２画像に基づき対象物体２の位置及び姿勢を認識し、目標位置姿勢決定部７４は、第２認識部７３から得られた認識結果に基づき、第１撮像部６１の目標位置及び目標姿勢を決定する。そのため、第１撮像部６１の目標位置及び目標姿勢は、第２認識部７３により認識される対象物体２の位置及び姿勢により変化する。したがって、対象物体２の撮影に適した位置及び姿勢に第１撮像部６１の位置及び姿勢を変更することができ、第１撮像部６１の視野範囲を広げることなく第１撮像部６１により対象物体２を撮影することができる。これにより、第１認識部７１による対象物体２の位置及び姿勢の認識精度を維持することができる。

【0091】

そして、指令値算出部７２は、目標位置姿勢決定部７４にて決定された目標位置及び目標姿勢に基づき、第１撮像部６１の位置及び姿勢を変更するためのロボット１への指令値を算出する。そのため、第１撮像部６１の位置及び姿勢は、目標位置姿勢決定部７４にて決定された目標位置及び目標姿勢に変更される。したがって、位置姿勢を変更できない対象物体２に対する作業もロボット１に行わせることができる。

【0092】

さらに、第２認識部７３は、対象物体２の周囲の物体の位置及び姿勢を認識する。そのため、第１撮像部６１の目標位置及び目標姿勢は、対象物体２の周囲の物体の位置及び姿勢に応じて決定される。したがって、対象物体２の周囲の物体が第１撮像部６１の撮影の作業の障害とならないように第１撮像部６１の位置及び姿勢を変更することができる。これにより、第１撮像部６１により対象物体２をより確実に撮影することができ、対象物体２に対する作業をロボット１により容易に行わせることができる。

【0093】

指令値算出部７２は、第１認識部７１から得られた認識結果に基づき、対象物体２に対する作業を行うためのロボット１への指令値を算出する。そのため、ロボット１は、対象物体２を目標に駆動される。したがって、対象物体２に対する作業を自律的にロボット１に行わせることができる。

【0094】

第２認識部７３により認識された対象物体２の周囲の物体の位置及び姿勢を、対象物体２に対する作業を行う（遂行する）ためのロボット１への指令値の算出に利用してもよい。この場合には、ロボット１が周囲の物体に衝突することを防いだり周囲の物体を利用して作業を行ったりするように指令値を算出することができ、対象物体２に対する作業をロボット１にさらに容易に行わせることができる。

【0095】

第２撮像部６２の視野範囲は、第１撮像部６１の視野範囲よりも広いことが好ましい。この場合、第１撮像部６１と比較して第２撮像部６２の視野範囲内に対象物体２が入りやすくなる。したがって、第２画像に対象物体２をより確実に写すことができ、対象物体２の位置及び姿勢を認識することができる。

【0096】

上記の実施形態において、第１認識部７１は、対象物体２の位置及び姿勢を認識しているが、第１認識部７１は対象物体２の位置及び姿勢の一方を認識し、対象物体２の位置及び姿勢の他方を認識しないように構成されていてもよい。この場合においても、対象物体２に対する作業を自律的にロボット１に行わせることができる。つまり、第１認識部７１は、第１撮像部６１により生成された第１画像に基づき、対象物体２の位置及び姿勢の少なくとも一方を認識するように構成されていればよい。

【0097】

また、上記の実施形態において、第２認識部７３は、対象物体２の位置及び姿勢を認識し、目標位置姿勢決定部７４は、第１撮像部６１の目標位置及び目標姿勢を決定している。本発明は、この形態に限られず、第２認識部７３は、対象物体２の位置及び姿勢の一方を認識し、対象物体２の位置及び姿勢の他方を認識しないように構成されており、目標位置姿勢決定部７４は、第１撮像部６１の目標位置及び目標姿勢の一方を決定し、第１撮像部６１の目標位置及び目標姿勢の他方は決定しないように構成されていてもよい。この場合においても、第１撮像部６１の視野範囲を広げることなく第１撮像部６１により対象物体２を撮影することができる。つまり、第２認識部７３は、第２撮像部６２により生成された第２画像に基づき、対象物体２の位置及び姿勢の少なくとも一方を認識するように構成されており、目標位置姿勢決定部７４は、第２認識部７３から得られた認識結果に基づき、第１撮像部６１の目標位置及び目標姿勢の少なくとも一方を決定するように構成されていればよい。

【0098】

さらに、上記実施形態において、第２認識部７３は、対象物体２の周囲の物体の位置及び姿勢を認識しているが、第２認識部７３は、対象物体２の周囲の物体の位置及び姿勢の一方を認識し、対象物体２の周囲の物体の位置及び姿勢の他方を認識しないように構成されていてもよい。この場合においても、対象物体２の周囲の物体が第１撮像部６１の撮影の作業の障害とならないように第１撮像部６１の位置及び姿勢の少なくとも一方を変更することができる。つまり、第２認識部７３は、第２撮像部６２により生成された第２画像に基づき、対象物体２の周囲の物体の位置及び姿勢の少なくとも一方を認識するように構成されていればよい。

【0099】

（１－１．第１実施形態の第１変形例）
図５は、第１実施形態の第１変形例に係るロボット装置１０１の構成を説明する図であって、（Ａ）は、対象物体２である本を把持し本棚３から取り出す状態を示す上面図であり、（Ｂ）は、取り出した本を本棚３から離した状態を示す上面図であり、（Ｃ）は、取り出した本を本棚３にしまう状態を示す上面図である。

【0100】

図１及び図３に示すロボット装置１００では、第２撮像部６２は、人の頭に相当する構成としての頭部リンク４０に設けられている。第１変形例に係るロボット装置１０１では、第２撮像部６２は、図５に示すように、第１撮像部６１が設けられた右腕リンク２０に設けられている。換言すれば、ロボット装置１０１では、第１撮像部６１及び第２撮像部６２は、同一のリンクに設けられている。

【0101】

図５に示すロボット装置１０１においても、図１及び図３に示すロボット装置１００と同様に、対象物体２が第１撮像部６１の視野範囲内に存在しない場合にも、第２画像に対象物体２を写すことができ、対象物体２の位置及び姿勢を認識することができる。

【0102】

ただし、図５に示すロボット装置１０１では、対象物体２に対する作業を行うために右腕リンク２０の姿勢を変更すると、第２撮像部６２の視野範囲が変化する。そのため、対象物体２が第２撮像部６２の視野範囲から外れることがある。この場合、第２撮像部６２の視野範囲に対象物体２を入れる動作が必要になる。

【0103】

例えば、対象物体２である本を本棚３から取出し同一の本棚３における別の場所（図５において、一点鎖線で囲まれた収納空間Ｓ）にしまう作業をロボット装置１０１のロボット１に行わせる場合について説明する。図５（Ａ）に示すように、対象物体２である本を把持し本棚３から取り出すときには、第１撮像部６１及び第２撮像部６２が本棚３に近接している。そのため、収納空間Ｓが第１撮像部６１の視野範囲及び第２撮像部６２の視野範囲の両方から外れており、収納空間Ｓの位置を認識できていない。収納空間Ｓの位置を認識するためには、図５（Ｂ）に示すように、一度、第２撮像部６２を本棚３から離し、第２撮像部６２の視野範囲に収納空間Ｓを入れる必要がある。収納空間Ｓの位置を認識した後、図５（Ｃ）に示すように、収納空間Ｓに向けて対象物体２を移動させる。

【0104】

このように、第１撮像部６１が設けられた右腕リンク２０に第２撮像部６２が設けられているロボット装置１０１では、第２撮像部６２の視野範囲内に対象物体２（図５に示す例では収納空間Ｓ）を再び入れる動作が必要になる。その結果、作業の遂行に時間がかかる。

【0105】

図１及び図３に示すロボット装置１００のように、第１撮像部６１が設けられた右腕リンク２０とは異なる頭部リンク４０に第２撮像部６２が設けられている場合には、第２撮像部６２の位置及び姿勢は、第１撮像部６１の位置及び姿勢から独立して変更される。したがって、第１撮像部６１の視野範囲を変更しても第２撮像部６２の視野範囲を保持することができる（図５に示す例において頭部リンク４０に第２撮像部６２が設けられていれば、図５（Ａ）～（Ｃ）の全てにおいて第２撮像部６２の視野範囲内に収納空間Ｓが入ることが理解されるであろう）。これにより、第２撮像部６２の視野範囲内に対象物体２（図５に示す例では収納空間Ｓ）を再び入れる動作が不要になり、作業の遂行に要する時間を短縮することができる。

【0106】

（１－２．第１実施形態の第２変形例）
図６は、第１実施形態の第２変形例に係るロボット装置１０２の構成を説明する上面図であり、図１（Ｂ）に対応して示す。

【0107】

ロボット装置１０２では、第２撮像部６２は、人の頭に相当する構成としての頭部リンク４０ではなく、人の左腕に相当する構成としての左腕リンク３０に設けられている。ロボット装置１０２においても、図１及び図３に示すロボット装置１００と同様に、対象物体２が第１撮像部６１の視野範囲内に存在しない場合にも、第２画像に対象物体２を写すことができ、対象物体２の位置及び姿勢を認識することができる。また、第１撮像部６１の視野範囲を変更しても第２撮像部６２の視野範囲を保持することができる。これにより、第２撮像部６２の視野範囲内に対象物体２を再び入れる動作が不要になり、作業の遂行に要する時間を短縮することができる。

【0108】

図示を省略するが、第１撮像部６１を左腕リンク３０に設け、第２撮像部６２を右腕リンク２０に設けてもよい。

【0109】

（１－３．第１実施形態の第３変形例）
図７は、第１実施形態の第３変形例に係るロボット装置１０３の構成を説明する上面図であり、図１（Ｂ）に対応して示す。図７では、複数の対象物体２ａ、２ｂに対する作業をロボット１に行わせる例が示されている。具体的には、互いに嵌合可能な対象物体２ａ、２ｂが収容箱４ａ、４ｂにそれぞれ収納されており、ロボット１は、収容箱４ａから対象物体２ａを取り出すと共に収容箱４ｂから対象物体２ｂを取り出し、対象物体２ａ、２ｂを互いに嵌合する作業を行う。

【0110】

図７に示すように、ロボット装置１０３は、複数の第１撮像部６１ａ、６１ｂを備えている。第１撮像部６１ａは、人の右腕に相当する構成としての右腕リンク２０に設けられており、第１撮像部６１ｂは、人の左腕に相当する構成としての左腕リンク３０に設けられている。第２撮像部６２は、人の頭に相当する構成としての頭部リンク４０に設けられている。

【0111】

ロボット装置１０３では、第１撮像部６１ａで対象物体２ａを撮影しつつ対象物体２ａに対する作業をロボット１に行わせつつ、第１撮像部６１ｂで対象物体２ｂを撮影しつつ対象物体２ｂに対する作業をロボット１に行わせることができる。したがって、対象物体２ａ、２ｂを互いに嵌合するなどの複数の対象物体２ａ、２ｂを移動させる作業を効率的にかつより確実にロボット１に行わせることができる。

【0112】

図７に示す例において、第２撮像部６２の位置及び姿勢は、対象物体２ａ、２ｂを同時に撮影可能に調整されていることが好ましい。

【0113】

（２．第２実施形態）
次に、本発明の第２実施形態について説明する。なお、以下では、第１実施形態と同一の構成については同一の符号が付与される。図８は、対象物体２とロボット１との位置関係のさらに別の例を示す上面図である。

【0114】

上記の第１実施形態において、第２撮像部６２を用いた撮影処理（Ｓ１１）の実行時に第２撮像部６２の視野範囲から対象物体２が外れていることがある。この場合、第２撮像部６２を用いて対象物体２を撮影することができず、第２認識部７３にて対象物体２の位置及び姿勢を認識することができない。そのため、目標位置姿勢決定部７４にて第１撮像部６１の目標位置及び目標姿勢を決定することができない。

【0115】

また、図８に示すように、対象物体２が第２撮像部６２の視野範囲の端付近に位置している場合、第２撮像部６２の視野範囲から対象物体２の周囲の障害物体５が外れていることがある。この場合、第２撮像部６２を用いて障害物体５を撮影することができず、第２認識部７３にて障害物体５の位置及び姿勢を認識することができない。そのため、目標位置姿勢決定部７４にて第１撮像部６１の目標位置及び目標姿勢を適切に決定することができず、第１撮像部６１と対象物体２との間に障害物体５が位置するように第１撮像部６１の目標位置及び目標姿勢を決定するおそれがある。

【0116】

さらに、第２撮像部６２によっては、視野範囲の端付近に写る物体に歪みが生じることがある。この場合において、第２撮像部６２の視野範囲の端付近に対象物体２が位置していると、第２画像に写る対象物体２に歪みが生じる。そのため、第２認識部７３にて対象物体２の位置及び姿勢を正確に認識することができず、目標位置姿勢決定部７４にて第１撮像部６１の目標位置及び目標姿勢を適切に決定することができない。

【0117】

そこで、本実施形態に係るロボット装置２００では、第２認識部７３から得られた認識結果に基づき、第２撮像部６２の位置及び姿勢を変更し、再び、第２撮像部６２を用いて対象物体２を撮影する処理を行う。以下、図９及び図１０を参照して、本実施形態の処理について詳述する。

【0118】

図９は、対象物体２に対する作業をロボット１に行わせる処理のゼネラルフローチャートである。同図から明らかな通り、コントローラ７０は、第２撮像部６２により生成された第２画像に基づいた認識処理（Ｓ１２）の後、対象物体２が第２画像上で所定の範囲内に位置しているか否かを判定する対象物体位置判定処理を行う（Ｓ２１）。所定の範囲は、ロボット１のオペレータにより予め設定される。所定の範囲は、例えば、第２画像上における中心付近の範囲として設定される。

【0119】

対象物体位置判定処理（Ｓ２１）にて、対象物体２が第２画像上で所定の範囲内に位置していると判定した場合には（Ｓ２１ＹＥＳ）、第１撮像部６１に関する目標位置姿勢決定処理（Ｓ１３）を行う。対象物体２が第２画像上で所定の範囲内に位置していないと判定した場合には（Ｓ２１ＮＯ）、第２撮像部６２の位置及び姿勢を変更する処理を行う（Ｓ２２）。

【0120】

図１０は、第２撮像部６２の位置及び姿勢を変更する処理（Ｓ２２）の詳細フローチャートである。同図から明らかな通り、処理が開始すると、コントローラ７０は、第２画像に基づいた認識処理（Ｓ１２）の認識結果に基づき、第２撮像部６２の目標位置及び目標姿勢を決定する目標位置姿勢決定処理を行う（Ｓ２２１）。第２撮像部６２の目標位置及び目標姿勢は、目標位置姿勢決定部７４（図２参照）にて決定される。

【0121】

第２撮像部６２の目標位置及び目標姿勢は、第２認識部７３にて対象物体２の位置及び姿勢を認識した場合、例えば、次の式（３）、式（４）を用いることで決定可能である。このとき、対象物体２からの相対位置パラメータ及び相対姿勢パラメータは、例えば第２撮像部６２の光軸上に対象物体２が位置するような値をとってもよい。

【0122】

【数2】

【0123】

なお、第２撮像部６２の目標位置及び目標姿勢を決定する方法は、式（３）、式（４）を用いる方法に限られず、対象物体２が第２撮像部６２の視野範囲における所定の範囲内に存在する第２撮像部６２の目標位置及び目標姿勢を算出できる方法であればよい。

【0124】

第２撮像部６２を用いた撮影処理（Ｓ１１）により生成された第２画像に対象物体２が写っておらず、第２画像に基づいた認識処理（Ｓ１２）において対象物体２の位置及び姿勢を認識することができていない場合には、式（３）における対象物体２の位置、及び式（４）における対象物体２の姿勢クォータニオンは不明となる。この場合には、任意の値を対象物体２の位置及び対象物体２の姿勢クォータニオンとして暫定的に決定すればよい。

【0125】

次に、コントローラ７０は、第２撮像部６２に関する目標位置姿勢決定処理（Ｓ２２１）にて決定された第２撮像部６２の目標位置及び目標姿勢に基づき、第２撮像部６２の位置及び姿勢を制御するためのロボット１への指令値を算出する指令値算出処理を行う（Ｓ２２２）。第２撮像部６２に関する指令値算出は、指令値算出部７２（図２参照）にて行われる。

【0126】

その後、コントローラ７０は、算出された指令値をロボット１に送り、ロボット１を駆動して第２撮像部６２の位置及び姿勢を変更する位置姿勢変更処理を行う（Ｓ２２３）。これにより、第２撮像部６２の位置及び姿勢は、第２撮像部６２に関する目標位置姿勢決定処理（Ｓ２２１）にて決定された目標位置及び目標姿勢となり、第２撮像部６２の視野範囲における所定の範囲内に対象物体２が入る。

【0127】

第２撮像部６２に関する位置姿勢変更処理（Ｓ２２３）の後、第２撮像部６２の位置及び姿勢を変更する処理（Ｓ２２）が終了する。

【0128】

図９に戻り、第２撮像部６２の位置及び姿勢を変更する処理（Ｓ２２）の後、第２撮像部６２を用いた撮影処理（Ｓ１１）が再び行われる。

【0129】

本実施形態では、目標位置姿勢決定部７４は、第２認識部７３から得られた認識結果に基づき、第２撮像部６２の目標位置及び目標姿勢を決定し、指令値算出部７２は、第２認識部７３から得られた認識結果に基づき、第２撮像部６２の位置及び姿勢を変更するためのロボット１への指令値を算出する。そのため、第２撮像部６２の位置及び姿勢は、第２認識部７３により認識される対象物体２の位置及び姿勢により変化する。したがって、対象物体２の撮影に適した位置及び姿勢に第２撮像部６２の位置及び姿勢を変更することができ、より正確に対象物体２の位置及び姿勢を認識することができる。これにより、対象物体２の撮影により適した第１撮像部６１の目標位置及び目標姿勢を決定することができる。

【0130】

上記の実施形態において、目標位置姿勢決定部７４は、第２撮像部６２の目標位置及び目標姿勢を決定しているが、目標位置姿勢決定部７４は、第２撮像部６２の目標位置及び目標姿勢の一方を決定し、第２撮像部６２の目標位置及び目標姿勢の他方は決定しないように構成されていてもよい。この場合においても、対象物体２の撮影に適した位置又は姿勢に第２撮像部６２の位置又は姿勢を変更することができ、より正確に対象物体２の位置及び姿勢を認識することができる。つまり、目標位置姿勢決定部７４は、第２認識部７３から得られた認識結果に基づき、第２撮像部６２の目標位置及び目標姿勢の少なくとも一方を決定するように構成されていればよい。

【0131】

（３．第３実施形態）
次に、本発明の第２実施形態について説明する。なお、以下では、上記の実施形態と同一の構成については同一の符号が付与される。図１１（Ａ）は、対象物体２とロボット１との位置関係の別の例を示す上面図である。

【0132】

図１１（Ａ）に示す例では、第２撮像部６２の視野範囲内に対象物体２が存在しており、第１撮像部６１の目標位置及び目標姿勢が決定されている。第１撮像部６１の目標位置に向けて第１撮像部６１を移動させるようにロボット１の位置及び姿勢を変更することになるが、右腕リンク２０は既に伸び切っているため、右腕リンク２０の姿勢を変更するだけでは第１撮像部６１の目標位置に第１撮像部６１を移動させることができない。そのため、移動台車１１を移動させて第１撮像部６１の目標位置に第１撮像部６１を移動させることになる。

【0133】

しかしながら、移動台車１１の不図示の駆動輪は滑り等が生じるため、移動台車１１の制御精度は、右腕リンク２０の制御精度と比較して低い。そのため、移動台車１１を移動させたとしても、移動台車１１を所望の位置で停止させることができないことがある。図１１（Ｂ）は、図１１（Ａ）に示す状態から移動台車１１を移動して第１撮像部６１の位置及び姿勢を変更した例を示す上面図である。

【0134】

図１１（Ｂ）に示す例では、第１撮像部６１が目標位置に移動しておらず、第１撮像部６１の視野範囲内に対象物体２が入っていない。この場合には、第１撮像部６１により対象物体２を撮影することができないため、対象物体２に対する作業をロボット１に行わせることができない。

【0135】

そこで、本実施形態に係るロボット装置３００では、第１撮像部６１の位置及び姿勢の変更に制御精度が相対的に低い駆動手段を用いるか否かを判定する。以下、図１２から図１４を参照して、本実施形態について詳述する。

【0136】

図１２は、ロボット装置３００のブロック図である。図１２に示すように、コントローラ３７０は、機能部として制御精度判定部３７５を有している。制御精度判定部３７５は、第１撮像部６１の位置及び目標をその目標位置及び目標姿勢に変更するのに制御精度が相対的に低い駆動手段を用いる必要があるか否かを判定する。制御精度が相対的に低い駆動手段は、ロボット１のオペレータにより予め設定される。例えば、ロボット１のオペレータは、台車駆動手段５１を制御精度が相対的に低い駆動手段として設定しておき、右腕リンク駆動手段５３を制御精度が相対的に高い駆動手段として設定しておく。

【0137】

以下において、制御精度が相対的に高い駆動手段を「第１駆動手段」とも称し、制御精度が相対的に低い駆動手段を「第２駆動手段」とも称することがある。

【0138】

図１３は、対象物体２に対する作業をロボット１に行わせる処理のゼネラルフローチャートである。同図から明らかな通り、コントローラ３７０は、第１撮像部６１に関する目標位置姿勢決定処理（Ｓ１３）の後、第１撮像部６１の位置及び目標をその目標位置及び目標姿勢に変更するのに制御精度が相対的に低い駆動手段（例えば、台車駆動手段５１）を用いる必要があるか否かを判定する制御精度判定処理を行う（Ｓ３１）。制御精度判定処理（Ｓ３１）にて、制御精度が相対的に低い駆動手段を用いる必要がないと判定した場合には（Ｓ３１ＮＯ）、第１撮像部６１の位置及び姿勢を制御するためのロボット１への指令値を算出する指令値算出処理を行う（Ｓ１４）。制御精度が相対的に低い駆動手段を用いる必要があると判定した場合には（Ｓ３１ＹＥＳ）、制御精度が相対的に低い駆動手段を用いてロボット１を駆動する処理を行う（Ｓ３２）。

【0139】

図１４は、制御精度が相対的に低い駆動手段を用いてロボット１を駆動する処理（Ｓ３２）の詳細フローチャートである。同図から明らかな通り、処理が開始すると、コントローラ３７０は、第２画像に基づいた認識処理（Ｓ１２）の認識結果に基づき、ロボット１の目標位置及び目標姿勢を決定する目標位置姿勢決定処理を行う（Ｓ３２１）。ロボット１の目標位置及び目標姿勢は、目標位置姿勢決定部７４（図２参照）にて決定される。

【0140】

ロボット１の目標位置及び目標姿勢は、第２認識部７３にて対象物体２の位置及び姿勢を認識した場合、例えば、前述の式（３）、式（４）を用いることで決定可能である。このとき、対象物体２からの相対位置パラメータ及び相対姿勢パラメータは、ロボット１の所定の位置及び姿勢の値をとってもよい。所定の位置及び姿勢では、ロボット１は、第１撮像部６１の位置及び姿勢を、制御精度が相対的に低い駆動手段（例えば台車駆動手段５１）を用いることなくその目標位置及び目標姿勢に変更することができる。所定の位置及び姿勢として、対象物体２に十分に近づいた位置及び姿勢を用いてもよい。

【0141】

なお、ロボット１の目標位置及び目標姿勢を決定する方法は、式（３）、式（４）を用いる方法に限られず、第１撮像部６１に関する目標位置姿勢決定処理（Ｓ１３）にて決定された目標位置及び目標姿勢に制御精度が相対的に低い駆動手段（例えば台車駆動手段５１）を用いることなく第１撮像部６１の位置及び姿勢を変更することができるロボット１の目標位置及び目標姿勢を算出できる方法であればよい。

【0142】

次に、コントローラ３７０は、ロボット１に関する目標位置姿勢決定処理（Ｓ３２１）にて決定されたロボット１の目標位置及び目標姿勢に基づき、ロボット１の位置及び姿勢を制御するためのロボット１への指令値を算出する指令値算出処理を行う（Ｓ３２２）。ロボット１に関する指令値算出は、指令値算出部７２（図２参照）にて行われる。

【0143】

その後、コントローラ３７０は、算出された指令値をロボット１に送り、ロボット１を駆動してロボット１の位置及び姿勢を変更する位置姿勢変更処理を行う（Ｓ３２３）。これにより、ロボット１の位置及び姿勢は、ロボット１に関する目標位置姿勢決定処理（Ｓ３２１）にて決定された目標位置及び目標姿勢となる（図１１（Ｂ）参照）。

【0144】

なお、ロボット１に関する位置姿勢変更処理（Ｓ３２３）では、制御精度が相対的に低い駆動手段（例えば台車駆動手段５１）を必ず用いることになるが、制御精度が相対的に高い駆動手段（例えば右腕リンク駆動手段５３）を用いてもよいし用いなくてもよい。図１１（Ｂ）では、右腕リンク駆動手段５３を用いて右腕リンク２０の姿勢を変更した例が示されている。

【0145】

ロボット１に関する位置姿勢変更処理（Ｓ３２３）の後、制御精度が相対的に低い駆動手段を用いてロボット１を駆動する処理（Ｓ３２）が終了する。

【0146】

図１３に戻り、制御精度が相対的に低い駆動手段を用いてロボット１を駆動する処理（Ｓ３２）の後、第２撮像部６２を用いた撮影処理（Ｓ１１）が再び行われる。

【0147】

本実施形態では、第１撮像部６１の位置及び姿勢を第１撮像部６１の目標位置及び目標姿勢に変更するのに制御精度が相対的に低い駆動手段を用いる必要があるときには、目標位置姿勢決定部７４は、第２認識部７３から得られた認識結果に基づき、ロボット１の目標位置及び目標姿勢を決定し、指令値算出部７２は、目標位置姿勢決定部７４にて決定されたロボット１の目標位置及び目標姿勢に基づき、ロボット１の位置及び姿勢を制御するためのロボット１への指令値を算出する。そのため、ロボット１の位置及び姿勢は、第２認識部７３から得られた認識結果に基づき決定された目標位置及び目標姿勢に変更される。したがって、第１撮像部６１の目標位置及び目標姿勢に制御精度が相対的に低い駆動手段を用いることなく第１撮像部６１の位置及び姿勢を変更することができるようにロボット１の位置及び姿勢を変更することができる。これにより、制御精度が相対的に高い駆動手段のみを用いて第１撮像部６１の位置及び姿勢をその目標位置及び目標姿勢に変更することができ、第１撮像部６１により対象物体２を撮影して対象物体２に対する作業をロボット１に行わせることができる。

【0148】

上記の実施形態において、制御精度判定部３７５は、第１撮像部６１の位置及び目標を第１撮像部６１の目標位置及び目標姿勢に変更するのに制御精度が相対的に低い駆動手段を用いる必要があるかを判定している。本発明は、この形態に限られず、制御精度判定部３７５は、第１撮像部６１の位置を第１撮像部６１の目標位置に変更するのに制御精度が相対的に低い駆動手段を用いる必要があるかを判定するように構成されていてもよいし、第１撮像部６１の姿勢を第１撮像部６１の目標姿勢に変更するのに制御精度が相対的に低い駆動手段を用いる必要があるかを判定するように構成されていてもよい。つまり、制御精度判定部３７５は、第１撮像部６１の位置及び目標の少なくとも一方を第１撮像部６１の目標位置及び目標姿勢の少なくとも一方に変更するのに制御精度が相対的に低い駆動手段を用いる必要があるかを判定するように構成されていればよい。

【0149】

（４．第４実施形態）
次に、本発明の第４実施形態について説明する。なお、以下では、上記の実施形態と同一の構成については同一の符号が付与される。図１５（Ａ）は、対象物体２とロボット１との位置関係のさらに別の例を示す上面図である。図１５（Ｂ）は、図１５（Ａ）に示される状態で第２撮像部６２により生成される第２画像の一例である。

【0150】

図１５（Ａ）に示す例では、左腕リンク３０が第２撮像部６２の視野範囲内に位置している。そのため、第２撮像部６２により生成される第２画像には、図１５（Ｂ）に示すように、左腕リンク３０が写ることになる。この場合において、第２撮像部６２と対象物体２との間に左腕リンク３０が位置しているときには、対象物体２が左腕リンク３０により隠れることになる。なお、図１５（Ｂ）では、理解を容易にするために対象物体２を破線で図示しているが、実際には、対象物体２は第２画像に写らない。

【0151】

図１５（Ａ）に示す場合には、第２撮像部６２を用いて対象物体２を撮影することができないため、第２認識部７３にて対象物体２の位置及び姿勢を認識することができない。その結果、目標位置姿勢決定部７４にて第１撮像部６１の目標位置及び目標姿勢を適切に決定することができない。

【0152】

そこで、本実施形態では、第２撮像部６２を用いて対象物体２を撮影するときに左腕リンク３０が第２撮像部６２の視野範囲に入らないようにする機構をロボット装置４００に設けている。以下、図１６及び図１７を参照して、本実施形態について詳述する。

【0153】

図１６は、ロボット装置４００のブロック図である。図１６に示すように、コントローラ４７０は、機能部としてリンク入り込み判定部４７６を有している。リンク入り込み判定部４７６は、左腕リンク３０が第２撮像部６２の視野範囲内に入り込むか否かを判定する。左腕リンク３０が第２撮像部６２の視野範囲内に入り込むか否かは、例えば、左腕リンク３０上の任意の代表点座標と、第２撮像部６２の垂直画角及び水平画角と、を用いて判定することができる。

【0154】

図１７は、左腕リンク３０が第２撮像部６２の視野範囲内に入り込むか否かの判定方法の一例を説明するための模式図である。図１７（Ａ）は、第２撮像部６２の光軸（Ｚ軸）と直交する水平軸（Ｘ軸）に沿って第２撮像部６２を見た図であり、図１７（Ｂ）は、第２撮像部６２の光軸及び水平軸と直交する鉛直軸（Ｙ軸）に沿って第２撮像部６２を見た図である。

【0155】

次の式（５）、式（６）のいずれかを満たすときに、左腕リンク３０が第２撮像部６２の視野範囲内に入り込むと判定することができる。

【0156】

【数3】

【0157】

左腕リンク３０が第２撮像部６２の視野範囲内に入り込むとリンク入り込み判定部４７６が判定したときには、指令値算出部７２は、左腕リンク３０が第２撮像部６２の視野範囲外に移動するように左腕リンク３０の姿勢を変更するためのロボット１への指令値を算出する。具体的には、指令値算出部７２は、上記の式（５）、式（６）のいずれも満たさない代表点座標を算出し、左腕リンク３０上の代表点が算出された代表点座標に移動するように左腕リンク３０の姿勢を変更するための指令値を算出する。

【0158】

本実施形態では、第２撮像部６２の視野範囲内に左腕リンク３０が入り込んでいるとリンク入り込み判定部４７６が判定したときには、指令値算出部７２は、左腕リンク３０の姿勢を変更するためのロボット１への指令値を算出する。そのため、左腕リンク３０を、第２撮像部６２の視野範囲外に移動させるように左腕リンク３０の姿勢を変更することができる。したがって、対象物体２が左腕リンク３０に隠れることを防止することができ、第２撮像部６２を用いて対象物体２をより確実に撮影することができる。

【0159】

なお、上記実施形態では、左腕リンク３０が第２撮像部６２の視野範囲内に入り込んでいるかを判定し、左腕リンク３０を第２撮像部６２の視野範囲外に移動させる場合について説明した。本発明では、右腕リンク２０が第２撮像部６２の視野範囲内に入り込んでいるかを判定し、右腕リンク２０を第２撮像部６２の視野範囲外に移動させてもよい。

【0160】

（５．第５実施形態）
次に、本発明の第５実施形態について説明する。なお、以下では、上記の実施形態と同一の構成については同一の符号が付与される。本実施形態に係るロボット装置５００の側面図及び上面図は、図１に示されるロボット装置１００の側面図及び上面図とほぼ同じであるため、ここでは、それらの図示を省略する。

【0161】

第２撮像部６２により生成された第２画像に基づき第２認識部７３が対象物体２およびその周囲の物体の位置及び姿勢を認識するときに、第２画像の全領域から対象物体２等の位置及び姿勢を認識しようとすると、認識に時間がかかるおそれがある。

【0162】

そこで、本実施形態では、第２画像に基づき第２認識部７３が対象物体２およびその周囲の物体の位置及び姿勢を認識するときに、第２画像の一部の範囲から対象物体２等の位置及び姿勢を認識する。以下、図１８を参照して、本実施形態について詳述する。

【0163】

図１８は、本実施形態に係るロボット装置５００のブロック図である。図１８に示すように、ロボット装置５００は、ロボット１のオペレータに画像を表示する表示部５８１を更に備えている。表示部５８１は、例えばディスプレイであり、遠隔地に設置される。

【0164】

図１９（Ａ）は、表示部５８１に表示される画像の一例である。同図から明らかなように、表示部５８１は、第２撮像部６２により生成された第２画像を表示する。また、表示部５８１は、予め用意された対象物体２の参考画像を表示する。参考画像は、第１認識部７１が対象物体２の位置及び姿勢を認識しやすい画像であることが好ましい。

【0165】

オペレータは、表示部５８１に表示された第２画像を見ながら、第２画像のうちの一部の範囲を指定する。図１９（Ｂ）は、オペレータが第２画像のうちの一部の範囲を指定したときの表示部５８１に表示される画像の例を示している。図１９（Ｂ）において、ドットが付されている領域は、オペレータにより指定されていない範囲を示す。オペレータによる範囲の指定は、例えばマウスなどの入力装置５８２（図１８参照）を用いて行われる。

【0166】

図１８に示すように、コントローラ５７０は、機能部として認識範囲設定部５７７を更に備えている。認識範囲設定部５７７は、オペレータによる入力装置５８２の操作に基づいて、第２画像上において対象物体２が存在する範囲を設定する。第２認識部７３は、第２撮像部６２により生成された第２画像のうち認識範囲設定部５７７により設定された範囲から、対象物体２及びその周囲の物体の位置及び姿勢を認識する。

【0167】

本実施形態では、第２画像のうちオペレータにより指定された範囲から、対象物体２及びその周囲の物体の位置及び姿勢を認識する。そのため、第２画像の全領域から対象物体２等の位置及び姿勢を認識する場合と比較して、認識にかかる時間を短縮することができる。したがって、ロボット１が対象物体２に対して行う作業に要する時間を短縮することができる。また、認識範囲を絞ることで認識したい対象物体２等以外の物体を誤認識することを避けることができる。したがって、ロボット１がより確実に対象物体２に対する作業を行うことができる。

【0168】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。また、上記の実施形態は、矛盾が生じない範囲で適宜組み合わせ可能である。

【0169】

上記の各実施形態では、ロボット１は、略人型の形状を有しているが、本発明は、人型ロボットに限られない。

【0170】

例えば、本発明は、図２０に示すように、台座６１１に右腕リンク２０が支持されたアーム型ロボット６０１にも適用可能である。図２０に示す例において、第１撮像部６１は例えばリンク部に設けられ、第２撮像部６２は例えばリンク部に設けられる。

【0171】

また、本発明は、図２１に示すように、移動台車７１１の上にリンクとしてのグリッパ７２０が搭載されたロボット７０１にも適用可能である。図２１に示す例において、第１撮像部６１は例えばグリッパ７２０に設けられ、第２撮像部６２は例えば移動台車７１１に設けられる。

【産業上の利用可能性】

【0172】

本発明は、少なくともロボット等を製造する産業において利用可能である。

【符号の説明】

【0173】

１００、１０１、１０３ ロボット装置
１ ロボット
２、２ａ、２ｂ 対象物体
２０ 右腕リンク
３０ 左腕リンク
４０ 頭部リンク
５１ 台車駆動手段
５３ 右腕リンク駆動手段
６１、６１ａ、６１ｂ 第１撮像部
６２ 第２撮像部
７１ 第１認識部
７２ 指令値算出部
７３ 第２認識部
７４ 目標位置姿勢決定部
２００ ロボット装置
３００ ロボット装置
３７５ 制御精度判定部
４００ ロボット装置
４７６ リンク入り込み判定部
５００ ロボット装置
５７７ 認識範囲設定部
５８２ 入力装置
６０１ アーム型ロボット
７０１ ロボット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】