特許 7475663 モバイルマニピュレータ及びその制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-19

(45)【発行日】2024-04-30

(54)【発明の名称】モバイルマニピュレータ及びその制御方法及びプログラム

(51)【国際特許分類】

   B25J 5/00 20060101AFI20240422BHJP

【ＦＩ】

B25J5/00 A

【請求項の数】 28

(21)【出願番号】P 2020122033

(22)【出願日】2020-07-16

(65)【公開番号】P2022018716

(43)【公開日】2022-01-27

【審査請求日】2023-04-27

(73)【特許権者】

【識別番号】315014671

【氏名又は名称】東京ロボティクス株式会社

(74)【代理人】

【識別番号】100098899

【弁理士】

【氏名又は名称】飯塚 信市

(74)【代理人】

【識別番号】100163865

【弁理士】

【氏名又は名称】飯塚 健

(72)【発明者】

【氏名】岡 弘之

(72)【発明者】

【氏名】坂本 義弘

(72)【発明者】

【氏名】加藤 健太

(72)【発明者】

【氏名】佐藤 高志

(72)【発明者】

【氏名】佐久間 史朗

(72)【発明者】

【氏名】松尾 雄希

【審査官】仁木 学

(56)【参考文献】

【文献】特開２０１８－１５８３９１（ＪＰ，Ａ）

【文献】特開２０１０－１６２６３５（ＪＰ，Ａ）

【文献】特開平０５－３３８７１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ ー ２１／０２

(57)【特許請求の範囲】

【請求項1】

載置体近傍へと移動して、前記載置体上の目標物体へとリーチングする、モバイルマニピュレータであって、
前記載置体近傍の台車目標停止位置及び台車目標停止姿勢を目指して移動する移動手段を備えた、台車部と、
先端又は先端近傍に手先カメラを備えた、マニピュレータと、
停止後に前記手先カメラの前記載置体に対する相対距離及び相対姿勢を認識する、相対関係認識部と、
停止後に前記手先カメラの視野内に配置される物体を認識する、物体認識部と、
認識された前記物体が前記目標物体を含む場合、前記相対距離及び前記相対姿勢に基づいて前記目標物体に対する前記マニピュレータのリーチング動作制御を行い、認識された前記物体が前記目標物体を含まない場合、認識された前記物体の位置情報を取得し、前記位置情報に基づいて前記マニピュレータの手先位置を移動させた後、前記目標物体に対する前記マニピュレータのリーチング動作制御を行う、リーチング制御部と、
を備えた、モバイルマニピュレータ。

【請求項2】

前記手先カメラと前記載置体との間の前記相対距離及び前記相対姿勢に基づいて、前記マニピュレータをリーチング準備距離及びリーチング準備姿勢となるよう制御する、リーチング準備動作制御部をさらに備える、請求項１に記載のモバイルマニピュレータ。

【請求項3】

前記台車目標停止位置及び前記台車目標停止姿勢は、前記リーチング準備距離及び前記リーチング準備姿勢に基づいて生成される、請求項２に記載のモバイルマニピュレータ。

【請求項4】

前記リーチング準備距離及び前記リーチング準備姿勢は、前記目標物体の位置と、事前に設定された前記載置体と前記手先カメラの相対的関係性に基づいて生成される、請求項３に記載のモバイルマニピュレータ。

【請求項5】

前記手先カメラによる前記目標物体の認識は、前記リーチング準備距離及び前記リーチング準備姿勢において行われる、請求項２に記載のモバイルマニピュレータ。

【請求項6】

環境認識手段により自己位置推定処理を行う、自己位置推定部を備え、
前記自己位置推定処理の結果に基づいて前記移動手段は制御される、請求項１に記載のモバイルマニピュレータ。

【請求項7】

前記環境認識手段は、ライダーである、請求項６に記載のモバイルマニピュレータ。

【請求項8】

前記手先カメラは、単眼カメラである、請求項１に記載のモバイルマニピュレータ。

【請求項9】

前記リーチング動作制御の後に前記目標物体の把持制御を行う、把持制御部をさらに備える、請求項１に記載のモバイルマニピュレータ。

【請求項10】

前記把持制御部は、さらに、
前記手先カメラにより取得された画像に基づいて前記目標物体の把持位置を決定する、把持位置決定部を備える、請求項９に記載のモバイルマニピュレータ。

【請求項11】

前記把持位置決定部は、さらに、
前記手先カメラにより取得された画像に基づいて前記目標物体の把持位置を推測するよう機械学習された学習済モデルを含む、把持位置推測部を備える、請求項１０に記載のモバイルマニピュレータ。

【請求項12】

前記マニピュレータの手先位置の移動は、前記載置体に対して平行に行われる、請求項１に記載のモバイルマニピュレータ。

【請求項13】

前記マニピュレータの手先位置の移動のため前記台車部を移動させる、台車移動制御部を備える、請求項１に記載のモバイルマニピュレータ。

【請求項14】

前記相対関係認識部は、さらに、
前記目標物体又は前記載置体に備えられた第１のマーカーを含む画像情報に基づいて、前記手先カメラと前記載置体の間の相対距離及び相対姿勢を認識する、マーカー認識部を備える、請求項１に記載のモバイルマニピュレータ。

【請求項15】

前記第１のマーカーは、前記目標物体又は前記載置体上に複数個配置される、請求項１４に記載のモバイルマニピュレータ。

【請求項16】

複数の前記第１のマーカーに関する情報と、前記載置体の形状に基づく拘束条件に基づいて、前記相対距離及び前記相対姿勢を認識する、請求項１５に記載のモバイルマニピュレータ。

【請求項17】

前記第１のマーカーを含む画像情報は、前記手先カメラにより撮像される、請求項１４に記載のモバイルマニピュレータ。

【請求項18】

複数の前記第１のマーカーを含む画像情報は、複数の前記第１のマーカーをその視野内におさめるように、複数の前記第１のマーカーに対して前記手先カメラを斜めに向けて撮像することにより得られたものである、請求項１５に記載のマニピュレータ。

【請求項19】

前記モバイルマニピュレータは、さらに、前記マニピュレータ上に前記手先カメラより広い視野を有するよう配置された、カメラを備え、
前記第１のマーカーを含む画像情報は、前記カメラにより撮像される、請求項１４に記載のモバイルマニピュレータ。

【請求項20】

前記モバイルマニピュレータは、さらに、頭部を備え、
前記カメラは前記頭部に備えられる、請求項１９に記載のモバイルマニピュレータ。

【請求項21】

前記台車部は、全方位移動台車である、請求項１に記載のモバイルマニピュレータ。

【請求項22】

前記マニピュレータは、多関節アームであり、
前記多関節アームは、その先端、その関節又はその根元に１又は複数の力センサを備え、
前記リーチング制御部は、さらに、
前記力センサで一定以上の値を検出した場合に、前記リーチング動作を停止するよう制御する、リーチング停止制御部を備える、請求項１に記載のモバイルマニピュレータ。

【請求項23】

前記マニピュレータは、多関節アームと、前記多関節アームの先端に備えられたエンドエフェクタを備え、
前記エンドエフェクタは、前記物体との接触面に力センサ及び／又は接触センサを備え、
前記リーチング制御部は、
前記力センサ及び／又は前記接触センサで一定以上の値を検出した場合に、前記リーチング動作を停止するよう制御する、エフェクタ用リーチング停止制御部を備える、請求項１に記載のモバイルマニピュレータ。

【請求項24】

前記マニピュレータは、腕部と、前記腕部の付け根に備えられた上下動機構とを備えている、請求項１に記載のモバイルマニピュレータ。

【請求項25】

前記物体認識部における物体の認識は、前記物体に備えられた２次元コード情報を撮像することにより行われる、請求項１に記載のモバイルマニピュレータ。

【請求項26】

前記リーチング制御部は、さらに、
認識された前記物体の識別情報をネットワークを介して所定のデータサーバへと送信する、送信部と、
前記データサーバから前記識別情報と対応する位置情報を受信する、受信部と、を備える、請求項１に記載のモバイルマニピュレータ。

【請求項27】

載置体近傍へと移動して、前記載置体上の目標物体へとリーチングする、モバイルマニピュレータの制御方法であって、
前記マニピュレータは、
前記載置体近傍の台車目標停止位置及び台車目標停止姿勢を目指して移動する移動手段を備えた、台車部と、
先端又は先端近傍に手先カメラを備えた、マニピュレータと、を備え、
前記制御方法は、
停止後に前記手先カメラの前記載置体に対する相対距離及び相対姿勢を認識する、相対関係認識ステップと、
停止後に前記手先カメラの視野内に配置される物体を認識する、物体認識ステップと、
認識された前記物体が前記目標物体を含む場合、前記相対距離及び前記相対姿勢に基づいて前記目標物体に対する前記マニピュレータのリーチング動作制御を行い、認識された前記物体が前記目標物体を含まない場合、認識された前記物体の位置情報を取得し、前記位置情報に基づいて前記マニピュレータの手先位置を移動させた後、前記目標物体に対する前記マニピュレータのリーチング動作制御を行う、リーチング制御ステップと、
を備えた、モバイルマニピュレータの制御方法。

【請求項28】

載置体近傍へと移動して、前記載置体上の目標物体へとリーチングする、モバイルマニピュレータの制御プログラムであって、
前記マニピュレータは、
前記載置体近傍の台車目標停止位置及び台車目標停止姿勢を目指して移動する移動手段を備えた、台車部と、
先端又は先端近傍に手先カメラを備えた、マニピュレータと、を備え、
前記制御プログラムは、
停止後に前記手先カメラの前記載置体に対する相対距離及び相対姿勢を認識する、相対関係認識ステップと、
停止後に前記手先カメラの視野内に配置される物体を認識する、物体認識ステップと、
認識された前記物体が前記目標物体を含む場合、前記相対距離及び前記相対姿勢に基づいて前記目標物体に対する前記マニピュレータのリーチング動作制御を行い、認識された前記物体が前記目標物体を含まない場合、認識された前記物体の位置情報を取得し、前記位置情報に基づいて前記マニピュレータの手先位置を移動させた後、前記目標物体に対する前記マニピュレータのリーチング動作制御を行う、リーチング制御ステップと、
を備えた、モバイルマニピュレータの制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、マニピュレータを備えて自律移動する移動体、例えば、モバイルマニピュレータ等に関する。

【背景技術】

【0002】

近年、工場や倉庫等において物品の運搬等を目的として、自律的に移動するモバイルマニピュレータが注目されつつある。マニピュレータを備えた移動ロボットの例として、特許文献１には、物品収納機器から取得した物品を運搬する移動ロボットが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４００７２０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、物体を所定の目的地へと運搬するためには、モバイルマニピュレータは、例えば、自己位置推定等を行いつつ、目標物体を載置している棚等の近傍まで移動して目標物体を把持する等して取得し、それを保持したまま再度次の目的地へと移動し、目標物体を載置する必要がある。

【0005】

しかしながら、工場や倉庫等の比較的に大きな空間において自己位置推定等を行いつつ自律移動を行うモバイルマニピュレータにおいては、自己位置推定の誤差や、移動に利用される台車の制御誤差等が発生することがある。これらの誤差により、棚等の近傍においてモバイルマニピュレータの目標停止位置・姿勢と実際の停止位置・姿勢との間には誤差が生じ、その結果、その後に行われるリーチングや把持等の動作に失敗してしまうおそれがあった。

【0006】

本発明は、上述の技術的課題を解決するためになされたものであり、その目的とするところは、移動後の停止位置・姿勢に誤差が生じても、リーチング等のその後の動作を確実に達成することができるモバイルマニピュレータ等を提供することにある。

【課題を解決するための手段】

【0007】

上述の技術的課題は、以下の構成を有するモバイルマニピュレータ等により解決することができる。

【0008】

すなわち、本発明に係るモバイルマニピュレータは、載置体近傍へと移動して、前記載置体上の目標物体へとリーチングする、モバイルマニピュレータであって、前記載置体近傍の台車目標停止位置及び台車目標停止姿勢を目指して移動する移動手段を備えた、台車部と、先端又は先端近傍に手先カメラを備えた、マニピュレータと、停止後に前記手先カメラの前記載置体に対する相対距離及び相対姿勢を認識する、相対関係認識部と、停止後に前記手先カメラの視野内に配置される物体を認識する、物体認識部と、認識された前記物体が前記目標物体を含む場合、前記相対距離及び前記相対姿勢に基づいて前記目標物体に対する前記マニピュレータのリーチング動作制御を行い、認識された前記物体が前記目標物体を含まない場合、認識された前記物体の位置情報を取得し、前記位置情報に基づいて前記マニピュレータの手先位置を移動させた後、前記相対距離及び前記相対姿勢に基づいて前記目標物体に対する前記マニピュレータのリーチング動作制御を行う、リーチング制御部と、を備えている。

【0009】

このような構成によれば、移動後の停止位置・姿勢に誤差が生じても、リーチング等のその後の動作を確実に達成することができるモバイルマニピュレータ等を提供することができる。

【0010】

前記手先カメラと前記載置体との間の前記相対距離及び前記相対姿勢に基づいて、前記マニピュレータをリーチング準備距離及びリーチング準備姿勢となるよう制御する、リーチング準備動作制御部をさらに備える、ものであってもよい。

【0011】

このような構成によれば、常にリーチング準備距離及びリーチング準備姿勢を起点としてその後の種々の動作を行うことができる。

【0012】

前記台車目標停止位置及び前記台車目標停止姿勢は、前記リーチング準備距離及び前記リーチング準備姿勢に基づいて生成される、ものであってもよい。

【0013】

このような構成によれば、リーチングに好適な位置及び姿勢から逆算的に台車の停止位置及び姿勢が生成されるので、移動後に安定したリーチングや把持等を実現することができる。

【0014】

前記リーチング準備距離及び前記リーチング準備姿勢は、前記目標物体の位置と、事前に設定された前記載置体と前記手先の相対的関係性に基づいて生成される、ものであってもよい。

【0015】

このような構成によれば、目標物体の位置からリーチングに最適な準備距離及び準備姿勢が生成されるので、安定したリーチングや把持等を実現することができる。

【0016】

前記手先カメラによる前記目標物体の認識は、前記リーチング準備距離及び前記リーチング準備姿勢において行われる、ものであってもよい。

【0017】

このような構成によれば、常に一定の位置関係の下に、対象物体の認識を行うことが出来るので、物体の認識精度を向上させることができる。

【0018】

環境認識手段により自己位置推定処理を行う、自己位置推定部を備え、前記自己位置推定処理の結果に基づいて前記移動手段は制御される、ものであってもよい。

【0019】

このような構成によれば、自己位置推定の誤差等により停止位置や姿勢に多少の誤差が生じても、リーチング等のその後の動作を確実に達成することができるモバイルマニピュレータ等を提供することができる。

【0020】

前記環境認識手段は、ライダーであってもよい。

【0021】

このような構成によれば、カメラシステム等を組み込むより簡易に高精度で自己位置推定を行うことができる。

【0022】

前記手先カメラは、単眼カメラであってもよい。

【0023】

このような構成によれば、低コストに手先カメラを実現することができる。

【0024】

前記リーチング動作制御の後に前記目標物体の把持制御を行う、把持制御部をさらに備える、ものであってもよい。

【0025】

このような構成によれば、目標物体の把持を行うことができるので運搬等を行うことができる。

【0026】

前記把持制御部は、さらに、前記手先カメラにより取得された画像に基づいて前記目標物体の把持位置を決定する、把持位置決定部を備える、ものであってもよ。

【0027】

このような構成によれば、目標物体の把持位置を適切に決定することができるので把持の失敗の可能性を低減させることができる。

【0028】

前記把持位置決定部は、さらに、前記手先カメラにより取得された画像に基づいて前記目標物体の把持位置を推測するよう機械学習された学習済モデルを含む、把持位置推測部を備える、ものであってもよい。

【0029】

このような構成によれば、機械学習による作用により目標物体の把持位置を適応的に決定することができるので把持の失敗の可能性を低減することができる。

【0030】

前記マニピュレータの手先位置の移動は、前記載置体に対して平行に行われるものであってもよい。

【0031】

このような構成によれば、手先と載置体との間の相対的関係性を変化させることがないので、その後のリーチング動作に好適な態様で手先を移動させることができる。

【0032】

前記マニピュレータの手先位置の移動のため前記台車部を移動させる、台車移動制御部を備える、ものであってもよい。

【0033】

このような構成によれば、目標物体がマニピュレータのリーチ外にある場合でもリーチング等を実現することができる。

【0034】

前記相対関係認識部は、さらに、前記目標物体又は前記載置体に備えられた第１のマーカーを含む画像情報に基づいて、前記手先カメラと前記載置体の間の相対距離及び相対姿勢を認識する、マーカー認識部を備える、ものであってもよい。

【0035】

このような構成によれば、マーカーを利用して高精度に手先カメラと載置体の間の相対距離及び相対姿勢を認識することができる。

【0036】

前記第１のマーカーは、前記目標物体又は前記載置体上に複数個配置される、ものであってもよい。

【0037】

このような構成によれば、複数のマーカーを利用してより高精度に相対的関係を認識することができる。

【0038】

複数の前記第１のマーカーに関する情報と、前記載置体の形状に基づく拘束条件に基づいて、前記相対距離及び前記相対姿勢を認識する、ものであってもよい。

【0039】

このような構成によれば、例えば棚の前面にマーカーが備えられている場合にマーカーが床面と垂直な平面上に存在するといった拘束条件を加えることで、前記手先カメラと前記載置体の間の相対距離及び相対姿勢の認識がより高精度となる。

【0040】

前記第１のマーカーを含む画像情報は、前記手先カメラにより撮像される、ものであってもよい。

【0041】

このような構成によれば、第１のマーカーを撮像するための他のカメラ等を設ける必要がなくなるためコストの削減等を行うことができる。

【0042】

複数の前記第１のマーカーを含む画像情報は、複数の前記第１のマーカーをその視野内におさめるように、複数の前記第１のマーカーに対して前記手先カメラを斜めに向けて撮像することにより得られたものであってもよい。

【0043】

このような構成によれば、手先カメラを複数の第１のマーカーに対して斜めに向けて撮像することにより、視野の狭い手先カメラを利用する場合であっても効率的に撮像することができる。

【0044】

前記モバイルマニピュレータは、さらに、前記マニピュレータ上に前記手先カメラより広い視野を有するよう配置された、カメラを備え、前記第１のマーカーを含む画像情報は、前記カメラにより撮像される、ものであってもよい。

【0045】

このような構成によれば、広い視野で容易に複数の第１のマーカーを撮像することができるので迅速な撮像を行うことができる。

【0046】

前記モバイルマニピュレータは、さらに、頭部を備え、前記カメラは前記頭部に備えられる、ものであってもよい。

【0047】

このような構成によれば、頭部から広い視野で撮像できるカメラを利用して容易に複数の第１のマーカーを撮像することができる。

【0048】

前記台車部は、全方位移動台車であってもよい。

【0049】

このような構成によれば、狭い場所での移動や棚に対する平行移動等が容易となる。

【0050】

前記マニピュレータは、多関節アームであり、前記多関節アームは、その先端、その関節又はその根元に１又は複数の力センサを備え、前記リーチング動作制御部は、さらに、前記力センサで一定以上の値を検出した場合に、前記リーチング動作を停止するよう制御する、リーチング停止制御部を備える、ものであってもよい。

【0051】

このような構成によれば、目標物体へと当接するまでリーチング動作を行うことから、確実にその後の目標物体の把持等を実現することができる。

【0052】

前記マニピュレータは、多関節アームと、前記多関節アームの先端に備えられたエンドエフェクタを備え、前記エンドエフェクタは、前記物体との接触面に力センサ及び／又は接触センサを備え、前記リーチング動作制御部は、前記力センサ及び／又は前記接触センサで一定以上の値を検出した場合に、前記リーチング動作を停止するよう制御する、エフェクタ用リーチング停止制御部を備える、ものであってもよい。

【0053】

このような構成によれば、目標物体へと当接するまで把持動作を行うことから、確実に目標物体の把持等を実現することができる。

【0054】

前記マニピュレータは、腕部と、前記腕部の付け根に備えられた上下動機構とを備えている、ものであってもよい。

【0055】

このような構成によれば、上下動も含めたマニピュレータの移動が出来ることから平行移動等が容易となり、その結果、より目標物体へのリーチング動作等が容易となる。

【0056】

前記物体認識部における物体の認識は、前記物体に備えられた２次元コード情報を撮像することにより行われる、ものであってもよい。

【0057】

このような構成によれば、２次元コードに基づいて物体の認識を確実に行うことができる。

【0058】

前記リーチング動作制御部は、さらに、認識された前記物体の識別情報をネットワークを介して所定のデータサーバへと送信する、送信部と、前記データサーバから前記識別情報と対応する位置情報を受信する、受信部と、を備える、ものであってもよい。

【0059】

このような構成によれば、物体の位置情報を一元的に管理しているデータサーバを利用して正確に目標物体までの制御情報を生成することができる。

【0060】

また、本発明は、方法としても観念することができる。すなわち、本発明に係る方法は、載置体近傍へと移動して、前記載置体上の目標物体へとリーチングする、モバイルマニピュレータの制御方法であって、前記マニピュレータは、前記載置体近傍の台車目標停止位置及び台車目標停止姿勢を目指して移動する移動手段を備えた、台車部と、先端又は先端近傍に手先カメラを備えた、マニピュレータと、を備え、前記制御方法は、停止後に前記手先カメラの前記載置体に対する相対距離及び相対姿勢を認識する、相対関係認識ステップと、停止後に前記手先カメラの視野内に配置される物体を認識する、物体認識ステップと、認識された前記物体が前記目標物体を含む場合、前記相対距離及び前記相対姿勢に基づいて前記目標物体に対する前記マニピュレータのリーチング動作制御を行い、認識された前記物体が前記目標物体を含まない場合、認識された前記物体の位置情報を取得し、前記位置情報に基づいて前記マニピュレータの手先位置を移動させた後、前記相対距離及び前記相対姿勢に基づいて前記目標物体に対する前記マニピュレータのリーチング動作制御を行う、リーチング制御ステップと、を備えている。

【0061】

さらに、本発明は、プログラムとしても観念することができる。すなわち、本発明に係るプログラムは、載置体近傍へと移動して、前記載置体上の目標物体へとリーチングする、モバイルマニピュレータの制御プログラムであって、前記マニピュレータは、前記載置体近傍の台車目標停止位置及び台車目標停止姿勢を目指して移動する移動手段を備えた、台車部と、先端又は先端近傍に手先カメラを備えた、マニピュレータと、を備え、前記制御プログラムは、停止後に前記手先カメラの前記載置体に対する相対距離及び相対姿勢を認識する、相対関係認識ステップと、停止後に前記手先カメラの視野内に配置される物体を認識する、物体認識ステップと、認識された前記物体が前記目標物体を含む場合、前記相対距離及び前記相対姿勢に基づいて前記目標物体に対する前記マニピュレータのリーチング動作制御を行い、認識された前記物体が前記目標物体を含まない場合、認識された前記物体の位置情報を取得し、前記位置情報に基づいて前記マニピュレータの手先位置を移動させた後、前記相対距離及び前記相対姿勢に基づいて前記目標物体に対する前記マニピュレータのリーチング動作制御を行う、リーチング制御ステップと、を備えている。

【発明の効果】

【0062】

本発明によれば、移動後の停止位置・姿勢に誤差が生じても、リーチング等のその後の動作を確実に達成することができるモバイルマニピュレータ等を提供することができる。

【図面の簡単な説明】

【0063】

【図1】図１は、システムの全体構成図である。

【図2】図２は、モバイルマニピュレータの外観斜視図である。

【図3】図３は、自律移動するモバイルマニピュレータの機能ブロック図である。

【図4】図４は、腕部制御するモバイルマニピュレータの機能ブロック図である。

【図5】図５は、工場内のレイアウトに関する説明図である。

【図6】図６は、モバイルマニピュレータの動作に関するゼネラルフローチャートである。

【図7】図７は、目標設定処理の詳細フローチャートである。

【図8】図８は、手先カメラの目標位置と目標姿勢に関する説明図である。

【図9】図９は、移動処理の詳細フローチャートである。

【図10】図１０は、台車目標位置及び姿勢に至ったと判定されたときのモバイルマニピュレータの状態について示す説明図である。

【図11】図１１は、ピッキング処理の詳細フローチャートである。

【図12】図１２は、移動処理後のモバイルマニピュレータと棚の斜視図である。

【図13】図１３は、棚に対する手先カメラの相対距離及び姿勢を算出する過程に関する概念図である。

【図14】図１４は、手先カメラの制御処理後のモバイルマニピュレータの状態について示す説明図である。

【図15】図１５は、手先カメラを目標位置及び姿勢へと移動させた後の状態について示す説明図である。

【図16】図１６は、手先カメラの平行移動動作を行うモバイルマニピュレータの斜視図である。

【発明を実施するための形態】

【0064】

以下、本発明の好適な実施の形態について添付の図面を参照しつつ詳細に説明する。

【0065】

（１．第１の実施形態）
第１の実施形態として、本発明を工場内を自律移動して作業を行うモバイルマニピュレータへと適用した例について説明する。なお、本発明はこのような装置に限定されるものではなく、工場以外の様々な環境にも適用可能である。

【0066】

（１．１ 構成）
図１～図４を参照しつつ、本実施形態に係るシステム５００の構成について説明する。

【0067】

図１は、システム５００の全体構成図である。同図から明らかな通り、システム５００は、モバイルマニピュレータ１００、データサーバ２００及びクライアント装置３００が、互いに工場内のＬＡＮを経由して接続されることにより構成されている。なお、同図においては各１つずつ記載されているもののこのような例に限定されず、各装置を複数設けてもよい。

【0068】

データサーバ２００は、情報処理装置から成り、後述の各種の情報を蓄積し、モバイルマニピュレータ１００やクライアント装置３００からの要求に応じて提供を行う。例えば、後述の物体運搬指令や設定情報、書籍ＩＤと書籍位置情報等を管理しており、モバイルマニピュレータ１００等からのリクエストに応じて対応する情報を提供する。

【0069】

なお、データサーバ２００は、各種プログラムを実行するＣＰＵ等から成る制御部、実行されるプログラムや各種のデータを記憶するＲＯＭ、ＲＡＭ又はフラッシュメモリ等から成る記憶部、外部装置との間の通信を行う通信ユニット、キーボードやマウス等からの入力を処理するための入力部、各種の画像表示を行う表示部等を備え、それらがバスを介して互いに接続されて構成されている。

【0070】

クライアント装置３００は、情報処理装置から成り、データサーバ２００と連携してシステム管理者等に対してシステム５００に関する管理情報を提供すると共に、後述するように、ユーザに対してモバイルマニピュレータ１００に関する各種の設定入力を行うことを可能とする。

【0071】

なお、クライアント装置３００は、各種プログラムを実行するＣＰＵ等から成る制御部、実行されるプログラムや各種のデータを記憶するＲＯＭ、ＲＡＭ又はフラッシュメモリ等から成る記憶部、外部装置との間の通信を行う通信ユニット、キーボードやマウス等からの入力を処理するための入力部、各種の画像表示を行う表示部等を備え、それらがバスを介して互いに接続されて構成されている。

【0072】

図２は、モバイルマニピュレータ１００の外観斜視図である。同図から明らかな通り、本実施形態のモバイルマニピュレータ１００は、略人型の形状を有しており、ロボット本体部１０と、ロボット本体部１０を支持する移動台車２０と、ロボット本体部１０の上端に設けられた頭部３０と、ロボット本体部１０の前面から延びる腕部４０とから構成されている。

【0073】

ロボット本体部１０を支持する移動台車２０は、モバイルマニピュレータ１００が置かれた面（床面）の上を移動する機能を有する全方位移動台車である。全方位移動台車とは、駆動輪として例えば複数のオムニホイールを備え、全方向に移動することができるように構成された台車である。全方位移動台車は、全方位台車、全方向移動台車、または全方向台車と称されてもよい。また、全方位移動台車は、３６０度の全方向への移動が可能であり狭い通路等でも自在に移動できる。本実施形態の移動台車２０は、図示するように、外観に表されるスカート２１の内側に、三つの駆動輪２２と、駆動輪２２をベルト等を介して駆動するための移動機構駆動手段２とから構成されてよい。本実施形態の移動機構駆動手段２は一または複数のモータから構成されるものとし、以下では、移動機構駆動手段２をモータ２とも称する。

【0074】

頭部３０は、略人型のモバイルマニピュレータ１００において、人の頭（首より上の部分）に相当する構成としてロボット本体部１０の上端に設けられてよい。頭部３０は、人が見た際にその正面を顔として認識できるように構成されている。頭部３０は、正面が向く方向を制御可能に構成される。具体的には、本実施形態のモバイルマニピュレータ１００は、一又は複数の頭部駆動手段３（アクチュエータ３）を備え、頭部駆動手段３を介して頭部を動かすことによりその正面の向きを制御できるように構成される。なお、以下では、頭部３０の正面を顔部３１と称する。

【0075】

顔部３１の上部には頭部カメラ３５が備えられている。この頭部カメラ３５によれば、その配置により、後述する手先カメラ４２に比べてより広い視野で撮像を行うことができる。

【0076】

本実施形態のモバイルマニピュレータ１００は、頭部３０を床面に対して水平方向（左右方向）に回転させる鉛直方向の回転軸を有し頭部３０の左右方向への回転駆動を可能とする頭部駆動手段３（サーボモータ３ａ）を有する。これにより、モバイルマニピュレータ１００は、頭部３０のみを鉛直方向に対して左右へ回転駆動させることができる。ただし、サーボモータ３ａの配置は、図示する配置に制限されず、顔部３１の向きを左右方向に動かすことができる限り適宜変更されてよい。例えば、サーボモータ３ａは、ロボット本体部１０を移動台車２０に対して左右へ回転駆動させるように設けられてもよい。この場合、サーボモータ３ａは、頭部３０をロボット本体部１０とともに垂直方向に対して左右へ回転駆動させることにより顔部３１の向きを変えることができる。

【0077】

また、モバイルマニピュレータ１００は、頭部３０を床面に対して上下方向に駆動させる水平方向の回転軸を有し頭部３０の上下を仰ぎ見る動作を可能とする頭部駆動手段３（サーボモータ３ｂ）を有してもよい。これにより、モバイルマニピュレータ１００は、顔部３１の向きを上下方向にも動かすことができる。

【0078】

移動台車２０の前面上縁部の突部内には、環境認識手段３２が設けられている。本実施形態において、環境認識手段３２は、レーザー光を用いて対象物までの距離や方向を計測するライダー（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）ユニットである。ただし、環境認識手段３２は、ライダーユニットに限定されず他の種々のセンサ等を採用することができる。例えば、撮像素子を設けて画像処理により環境認識を行ってもよいし、レーダーやマイクロフォンアレイ等を用いてもよい。

【0079】

モバイルマニピュレータ１００はロボット本体部１０の前面に腕部４０を備える。腕部４０は、マニピュレータ機構を備え、運搬する物品等を把持するための把持機構４１、本実施形態においてはグリッパが自由端に相当する先端に設けられている。また、把持機構４１の付け根付近には単眼の手先カメラ４２が設けられている。この手先カメラ４２により把持機構４１と対向する把持対象物等を正面から撮像することができる。

【0080】

ただし、腕部４０の形状、数、および配置は図示する態様に制限されず目的に応じて適宜変更されてよい。例えば、モバイルマニピュレータ１００は、ロボット本体部１０の両側面に腕部４０を備える双腕ロボットとして構成されてもよい。

【0081】

以上が、本実施形態のモバイルマニピュレータ１００の構成例である。なお、図２では省略されているが、モバイルマニピュレータ１００は、モバイルマニピュレータ１００の動作を制御するのに必要となる他の構成、例えば、腕部４０等を駆動する他のアクチュエータや、電力源となるバッテリ等を備えてもよい。

【0082】

図３は、自律移動するモバイルマニピュレータ１００の機能ブロック図である。同図から明らかな通り、ライダーで構成される環境認識部３２から得られた環境情報は、環境情報取得部１０１により取得されて移動台車制御部１０２へと提供される。また、移動台車２０には、図示しない各駆動輪２２の回転を検出するエンコーダが備えられており、このエンコーダからの値はエンコーダ情報取得部１０６により読み出されて、移動台車制御部１０２へと提供される。

【0083】

移動台車制御部１０２は、環境情報とエンコーダ情報に基づいて後述の様々な処理を行って移動台車２０に対する制御情報を生成し、移動機構駆動手段２を制御する。

【0084】

図４は、腕部４０の制御を行う際のモバイルマニピュレータ１００の機能ブロック図である。同図から明らかな通り、マニピュレータ制御部１１３は、腕部４０の動作を制御するサーボモータ等で成る１又は複数のアクチュエータ１１８を制御する。また、腕部４０には、各アームの動作をセンシングする図示しないエンコーダやトルクセンサ等で成るセンサ１１６が備えられており、センサ１１６からの情報は、センサ情報取得部１１７により取得され、マニピュレータ制御部１１３へと提供される。

【0085】

手先カメラ情報取得部１１０は、手先カメラ４２からの画像情報を取得して、マニピュレータ制御部１１３へと提供する。また、頭部カメラ情報取得部１１１は、頭部カメラ３５からの画像情報を取得して、マニピュレータ制御部１１３へと提供する。すなわち、マニピュレータ制御部１１３は、各カメラ（３５、４２）から取得される画像情報に基づいて腕部４０の制御を行うことができる。

【0086】

（１．２ 動作）

【0087】

次に、本実施形態に係るシステム５００の動作について説明する。

【0088】

図５は、モバイルマニピュレータ１００が動作する工場８００内のレイアウトに関する説明図である。同図を利用しつつ、まず、本実施形態に係る動作の概要について説明する。

【0089】

初期状態において、モバイルマニピュレータ１００は、同図左下の位置に存在する。この状態において、モバイルマニピュレータ１００は、本実施形態において目標物体となる本６０１ａの運搬指令を受領すると、移動を開始し、同図右上に配置されている棚６００の前にて停止する。なお、本６０１ａの運搬指令は、クライアント装置３００により設定されてデータサーバ２００に記憶されていたものである。

【0090】

モバイルマニピュレータ１００は、停止後に、後述のピッキング動作を行って本６０１ａを取得する。本６０１ａを把持したモバイルマニピュレータ１００は、その後、同図右下に配置される作業台７００の前へと移動して停止し、本６０１ａを作業台上へとリリースする動作を行う。これにより、一連の動作は終了する。なお、本実施形態において目標物体として本を例示するが、本発明はこのような構成に限定されない。従って、例えば工場の例にあっては、目標物体は製造に用いられる材料や作業工具等であってもよい。

【0091】

図６は、モバイルマニピュレータ１００の動作に関するゼネラルフローチャートである。同図から明らかな通り、処理が開始すると、モバイルマニピュレータ１００は、工場８００内のＬＡＮを経由してデータサーバ２００へと設定情報のリクエスト処理を行い設定情報を取得する処理を行う（Ｓ１）。ここで、本実施形態において、設定情報は、手先カメラ４２と棚６００との相対的関係情報と目標物体情報を含む。

【0092】

相対的関係情報は、棚６００の前への移動後、リーチング動作前の手先カメラ４２と棚６００との関係性に関する情報、すなわち、手先カメラ４２と棚６００との間の相対距離と相対姿勢に関する情報を含む。例えば、相対距離２００ｍｍ、相対姿勢１８０°といった情報である。なお、相対姿勢１８０°とは、棚６００に対して手先が正対する又は対向する状態を意味している。

【0093】

目標物体情報は、モバイルマニピュレータ１００の把持する又は運搬する物体に関する情報、すなわち、本実施形態においては書籍の識別情報である書籍ＩＤと、書籍の工場８００内における位置を示す書籍位置情報を含んでいる。

【0094】

なお、本実施形態においては、設定情報をデータサーバ２００から取得する構成としたが、本発明はこのような構成に限定されず、例えば、モバイルマニピュレータ１００に予め設定情報を記憶させていてもよい。

【0095】

設定情報を受信するまで待機状態（Ｓ２ＮＯ）にあったモバイルマニピュレータ１００は、データサーバ２００から設定情報を受信すると（Ｓ２ＹＥＳ）、目標設定処理を行う（Ｓ３）。

【0096】

図７は、目標設定処理の詳細フローチャートである。同図から明らかな通り、処理が開始すると、設定情報から目標物体である本の書籍ＩＤと、書籍位置情報を読み出す処理を行う（Ｓ３１）。

【0097】

その後、書籍位置情報に基づいて、リーチング動作前の手先カメラ４２の目標位置と目標姿勢を算出する処理が行われる（Ｓ３２）。すなわち、目標物体である本からの相対距離が２００ｍｍ、相対姿勢が１８０°となる場合の手先カメラ４２の位置及び姿勢が算出される。

【0098】

この手先カメラ４２の目標位置と目標姿勢が算出されると、当該目標位置と目標姿勢から逆算するように移動台車２０の目標位置と目標姿勢が算出される（Ｓ３４）。このとき、モバイルマニピュレータ１００には所定の基準姿勢が予め設定されている。この基準姿勢は、本実施形態においては、移動の安全も考慮して腕部４０を一定程度折りたたんだ所定の姿勢に設定されている。

【0099】

その後、算出結果を記憶部へと記憶する処理が行われ、目標設定処理は終了する（Ｓ３６）。

【0100】

図８は、手先カメラ４２の目標位置と目標姿勢に関する説明図である。同図左下には初期状態にあるモバイルマニピュレータ１００が描かれており、同図右上には棚６００と棚６００上に配置されている目標物体の本６０１ａが描かれている。また、同図において、手先カメラ４２の初期位置及び初期姿勢は、２つの直行する矢印Ｃ１にて示されており、移動台車２０の初期位置及び初期姿勢も同様に２つの直行する矢印Ｃ２により示されている。

【0101】

また、算出された手先カメラ４２の目標位置と目標姿勢は、棚６００の前において２つの直行する矢印Ｃ３にて示されており、さらに、移動台車２０の目標位置と目標姿勢は２つの直行する矢印Ｃ４にて示されている。後述するように、モバイルマニピュレータ１００は、移動台車２０の目標位置と目標姿勢を目指して自律移動することとなる。

【0102】

図６に戻り、目標設定処理（Ｓ３）が完了すると、次にモバイルマニピュレータ１００の移動処理が行われる（Ｓ４）。

【0103】

図９は、移動処理（Ｓ４）の詳細フローチャートである。同図から明らかな通り、処理が開始すると、環境情報取得部１０１は、環境認識手段３２を用いて環境情報を取得して移動台車制御部１０２へと提供する処理を行う（Ｓ４１）。

【0104】

環境情報を取得すると、移動台車制御部１０２は、次に、当該環境情報に基づいて自身の周囲のローカル環境の認識処理を行い、予め工場８００に対して生成されたグローバル環境地図における自己位置推定処理を行う（Ｓ４３）。なお、この自己位置推定処理として、当業者に知られる種々の手法を適用可能である。

【0105】

この自己位置推定処理が行われた後、移動台車制御部１０２は、移動経路を計画する処理（パスプランニング）を行う（Ｓ４４）。本実施形態においては、環境情報からグローバル地図及びモバイルマニピュレータ１００の周辺のローカル地図を生成し、推定自己位置から終点までの経路を生成する。より詳細には、壁からの距離等で定義されるコストが所定の閾値以下であって、かつ、終点までの到達時間が最小となる経路を計画する。ただし、経路計画手法はこのような手法に限定されず、当業者に知られるいずれの手法を利用してもよい。

【0106】

経路計画処理の完了後、移動台車制御部１０２は、移動制御処理（ＳＳ４６）、すなわち、経路計画処理（Ｓ４４）にて計画された経路に沿って移動するよう移動機構駆動手段２を制御する処理を行う。

【0107】

その後、移動制御処理が完了すると、移動台車２０が目標位置及び姿勢に至ったか否かの判定処理が行われる（Ｓ４７）。すなわち、自己位置推定処理を行い、移動台車２０の目標位置及び姿勢に一致するか又は十分に近づいたか否かの判定処理が行われ、未だ十分に近づいていない場合には（Ｓ４７ＮＯ）、再び一連の処理（Ｓ４１～Ｓ４７）が繰り返される。一方、移動台車２０の目標位置及び姿勢に一致するか又は十分に近づいたと判定された場合（Ｓ４７ＹＥＳ）、経路移動処理は終了して停止する。

【0108】

図１０は、移動台車２０が目標位置及び姿勢に至ったと判定されたときのモバイルマニピュレータ１００の状態について示す説明図である。同図から明らかな通り、モバイルマニピュレータ１００は、自己位置推定に基づき移動台車２０の目標位置及び姿勢に至ったと判定しているものの、実際には移動台車２０の位置及び姿勢、並びに、手先カメラ４２の位置及び姿勢は、それぞれ目標位置及び姿勢とずれている。

【0109】

すなわち、同図中でＣ１で示される手先カメラ４２の実際の位置及び姿勢は、Ｃ３で示される手先カメラ４２の目標位置及び姿勢とずれている。また、同図中でＣ２で示される移動台車２０の実際の位置及び姿勢は、Ｃ４で示される移動台車２０の目標位置及び姿勢とずれている。例えば、この状態において本６０１ａへとピッキング処理等を行えば失敗するおそれがある。

【0110】

図６に戻り、移動処理が完了すると、次にピッキング処理（Ｓ６）が行われる。

【0111】

図１１は、ピッキング処理の詳細フローチャートである。同図から明らかな通り、処理が開始すると、まず、モバイルマニピュレータ１００と棚６００との相対的関係を認識する処理が行われる（Ｓ６１）。

【0112】

図１２は、移動処理後のモバイルマニピュレータ１００と棚６００の斜視図である。同図から明らかな通り、本実施形態においては、棚６００の棚板のモバイルマニピュレータ１００との対向面には所定間隔でＡＲマーカー６０３が配置されている。同図中の拡大図から明らかな通り、ＡＲマーカー６０３は２次元のコード情報である。また、棚に配置された本の背表紙６０１ｘの下部にはそれぞれ２次元ドットパターンから成るＱＲコード６０４が配置されている。

【0113】

相対的関係を認識するため、モバイルマニピュレータ１００は、頭部カメラ３５を用いて複数のＡＲマーカー６０３を視野内に収めて撮像する。これにより、視野内の複数のＡＲマーカー６０３の大きさや角度に基づいて頭部カメラ３５と棚６００との相対的な距離及び姿勢を取得することができる。

【0114】

図１３は、複数のＡＲマーカー６０３に基づいて棚６００に対する手先カメラ４２の相対距離及び姿勢を算出する過程に関する概念図である。複数のＡＲマーカー６０３を利用することにより、１つのＡＲマーカーを利用するより算出精度を向上させることができる。

【0115】

まず、同図左側の図にある通り、マニピュレータ制御部１１３は、頭部カメラ３５により取得された６つのＡＲマーカー６０３の位置及び姿勢に基づき、床面に垂直な平面方程式を設定する。このように平面方程式を設定したのは、棚６００の前面が床面に垂直な平面であるとの仮定に基づくものである。その後、右側の図にあるように、設定した平面に対する手先カメラ４２の相対距離及び相対姿勢を幾何学的に算出する。このようにして、棚６００に対する手先カメラ４２の実際の位置関係を把握することができる。なお、相対的関係の算出は本実施形態の手法に限定されず、種々の公知の手法を採用することができる。

【0116】

図１１に戻り、棚６００との相対的関係の認識処理が完了すると、マニピュレータ制御部１１３は、移動台車２０を移動させることなく、腕部４０を制御して手先カメラ４２を、設定情報で指定される相対距離及び相対姿勢、すなわち、手先カメラ４２を棚６００から２００ｍｍの位置で正対させる処理が行われる（Ｓ６２）。

【0117】

この手先カメラ４２の制御後、手先カメラ４２の視野内であって正面又はその近傍に存在する本を認識する処理、すなわち、棚６００の棚板上に配置された本の背表紙に配置されたＱＲコード６０４を認識して書籍ＩＤを検出する処理が行われる（Ｓ６３）。

【0118】

マニピュレータ制御部１１３は、この認識処理の結果をデータサーバ２００へと照会することによりデータサーバ２００から現在視野内にある本の位置情報を受信する（Ｓ６５）。

【0119】

その後、マニピュレータ制御部１１３は、手先カメラ４２の正面又はその近傍に存在する本が目標とする本であるか否かを判定する処理を行う（Ｓ６６）。この判定処理の結果、手先カメラ４２の正面又はその近傍に存在する本が目標とする本６０１ａである場合（Ｓ６６ＹＥＳ）、後述の把持位置の特定処理（Ｓ７４）が行われる。

【0120】

判定処理の結果、手先カメラ４２の正面又はその近傍に存在する本が目標とする本６０１ａでない場合（Ｓ６６ＮＯ）、データサーバ２００から取得した位置情報に基づき、手先を棚６００の前面に沿って目標とする本６０１ａに向けて平行移動させる処理が行われる（Ｓ６８）。この所定の平行移動の後、再度手先カメラ４２の視野内の本をＱＲコード６０４により認識する処理を行い（Ｓ６９）、認識結果をデータサーバ２００へと照会する処理を行う（Ｓ７０）。

【0121】

その後、再び、手先カメラ４２の正面又はその近傍に存在する本が目標とする本６０１ａであるか否かを判定する処理が行われる（Ｓ７２）。この判定処理の結果、手先カメラ４２の正面又はその近傍に存在する本が目標とする本６０１ａである場合（Ｓ７２ＹＥＳ）、後述する把持位置の特定処理（Ｓ７４）が行われる。一方、判定処理の結果、手先カメラ４２の正面又はその近傍に存在する本が目標とする本６０１ａでない場合（Ｓ７２ＮＯ）、再び一連の処理（Ｓ６８～Ｓ７０）が行われる。

【0122】

図１４は、手先カメラの制御処理（Ｓ６２）後のモバイルマニピュレータ１００の状態の一例について示す説明図である。同図の例にあっては、手先カメラ４２の正面又はその近傍には、目標とする本６０１ａではない本６０１ｂが配置されている。

【0123】

この場合、モバイルマニピュレータ１００は、視野内の物体の認識処理（Ｓ６３）により手先カメラ４２の正面又はその近傍に存在する本が目標とする本６０１ａでないと判定するので（Ｓ６６ＮＯ）、データサーバ２００への照会処理（Ｓ６５）により得られた視野内の物体から目標とする本６０１ａまでの相対的位置関係に基づいて、目標とする本６０１ａに向けて手先の平行移動を行う（Ｓ６８）。この平行移動処理は、目標物体である本６０１ａが正面又はその近傍に配置するまで行われる（Ｓ６９～Ｓ７２ＹＥＳ）。すなわち、Ｃ１で示される手先カメラ４２の位置と姿勢を、Ｃ３で示される手先カメラ４２の目標位置及び姿勢へと向けて移動させる処理が行われる。

【0124】

図１５は、手先カメラ４２を目標位置及び姿勢へと平行移動させた後の状態について示す説明図である。同図から明らかな通り、距離ｄだけ手先カメラ４２を平行移動させたことにより、Ｃ１で示される手先カメラ４２の位置と姿勢は、Ｃ３で示される手先カメラ４２の目標位置及び姿勢と一致している。

【0125】

このような構成によれば、自己位置推定誤差等により移動台車２０の位置及び姿勢が目標位置及び姿勢とずれている場合であっても、手先カメラ４２位置を確実に目標位置及び姿勢へと一致させることができるので、後述のリーチング動作等（Ｓ７４、Ｓ７５）の失敗の可能性を大幅に低減させることができる。

【0126】

図１６は、手先カメラ４２の平行移動動作を行うモバイルマニピュレータ１００の一例に関する斜視図である。同図において左側の図は、手先カメラ４２の平行移動動作（Ｓ６８）前の状態を示しており、右側の図は、手先カメラ４２の平行移動動作（Ｓ６８）後の状態を示している。

【0127】

左側の図から明らかな通り、平行移動動作（Ｓ６８）前の状態においては手先カメラ４２の正面又はその近傍には、目標とする本６０１ａではない本６０１ｂが配置されている。モバイルマニピュレータ１００は、手先カメラ４２の正面又はその近傍に存在する本が目標とする本６０１ａでないと判定した場合には、データサーバ２００から視野内の物体の位置情報を取得して目標とする本６０１ａに向けて平行移動を開始する（Ｓ６８～Ｓ７２）。

【0128】

平行移動動作（Ｓ７２ＹＥＳ）後の右側の図から明らかな通り、平行移動動作後の状態においては手先カメラ４２の正面又はその近傍に、目標とする本６０１ａが配置されている。この状態において、後述のリーチング動作等（Ｓ７４、Ｓ７５）を行うことにより、確実に目標とする本６０１ａの把持等を行うことができる。

【0129】

なお、上述の手先又は手先カメラ４２の平行移動処理は、棚６００の前面に沿って平面的に行われたが、本発明はこのような構成に限定されない。従って、例えば、棚等の載置体又は格納体の形状に対応する曲面又は段差を含む面に沿って一定の距離及び姿勢を保って移動させてもよい。

【0130】

図１１に戻り、目標となる物体である本６０１ａの正面（１８０°）に相対距離２００ｍｍで手先カメラ４２を配置させた後、当該目標物体、すなわち、本６０１ａの把持位置を特定する処理が行われる（Ｓ７３）。

【0131】

把持位置の特定処理は、手先カメラ４２から得られた画像から把持対象物の輪郭線を検出し、検出した輪郭線に関する情報を入力として学習済モデルを利用して行われる。この学習済モデルは、把持対象物の輪郭線上において人間によりアノテーションされた正解把持位置を含むトレーニングデータに基づいて機械学習を行って生成されたものである。

【0132】

このような学習済モデルを用いた把持位置特定処理によれば、把持成功の可能性が高い把持位置を的確に特定することができる。

【0133】

なお、機械学習手法は本実施形態においてはニューラルネットワーク、特に深層学習を利用して得られたものであるが、このような機械学習手法に限定されず、他の公知の手法を利用してもよい。

【0134】

この把持位置特定処理の後、マニピュレータ制御部１１３は、把持位置へと向けて腕部４０の各関節を伸展又は屈曲させるリーチング動作の制御を行う（Ｓ７４）。このリーチング動作は腕部４０の関節トルクセンサを含むセンサ１１６において一定の反力が検出されるまで、すなわち、腕部４０が本６０１ａへと当接するまで行われる。

【0135】

このリーチング動作の後、マニピュレータ制御部１１３は、グリッパである把持機構４１を用いて目標物体である本６０１ａを把持する動作の制御を行う（Ｓ７５）。この把持動作は、グリッパの電流値等を計測することで、一定の反力が検出されるまで行われる。

【0136】

把持処理の後、モバイルマニピュレータ１００は、本６０１ａを把持した状態で腕部４０の各関節を屈曲させることにより腕部４０を折りたたむ処理を行う（Ｓ７７）。これによりピッキング処理は終了する（Ｓ６）。

【0137】

図６に戻り、ピッキング処理が終了すると、モバイルマニピュレータ１００は、再び移動処理を行う（Ｓ８）。すなわち、モバイルマニピュレータ１００は、データサーバ２００から作業台７００上の目標載置位置７０１を読み出して、手先カメラ４２の目標位置及び姿勢を算出する。この後、手先カメラ４２の目標位置及び姿勢から移動台車２０の目標停止位置及び姿勢を算出し、当該目標位置及び姿勢へと向けて自己位置推定を行いつつ本６０１ａを把持したまま移動する処理を行う。自己位置推定に基づく移動処理の詳細は、図９に示したものと略同一であるので説明は省略する。

【0138】

モバイルマニピュレータ１００は、作業台７００近傍の移動台車２０の目標停止位置及び姿勢に到達すると、作業台７００上の所定の載置位置７０１へと本６０１ａを載置によりリリースする処理を行う（Ｓ９）。これにより一連の運搬処理は終了する。

【0139】

このような構成によれば、自己位置推定誤差等により移動後の停止位置・姿勢に誤差が生じても、リーチング等のその後の動作を確実に達成することができるモバイルマニピュレータ１００等を提供することができる。

【0140】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。また、上記の実施形態は、矛盾が生じない範囲で適宜組み合わせ可能である。

【産業上の利用可能性】

【0141】

本発明は、少なくともモバイルマニピュレータ等の自律移動体を製造する産業において利用可能である。

【符号の説明】

【0142】

１０ ロボット本体部
２ 移動機構駆動手段
２０ 移動台車
２１ スカート
２２ 駆動輪
３ 頭部駆動手段
３０ 頭部
３１ 顔部
３２ 環境認識手段
３５ 頭部カメラ
４０ 腕部
４１ 把持機構
４２ 手先カメラ
１００ モバイルマニピュレータ
２００ データサーバ
３００ クライアント装置
５００ システム
８００ 工場

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】