ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-142563ロボット制御装置、ロボット制御方法、およびロボットシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024142563
(43)【公開日】2024-10-11
(54)【発明の名称】ロボット制御装置、ロボット制御方法、およびロボットシステム
(51)【国際特許分類】
B25J 13/08 20060101AFI20241003BHJP
【ＦＩ】
B25J13/08 Z
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023054742
(22)【出願日】2023-03-30
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110001357
【氏名又は名称】弁理士法人つばさ国際特許事務所
(72)【発明者】
【氏名】成田 哲也
(72)【発明者】
【氏名】古山 佳和
(72)【発明者】
【氏名】水谷 智子
(72)【発明者】
【氏名】宮澤 清和
(72)【発明者】
【氏名】小久保 亘
【テーマコード（参考）】
3C707
【Ｆターム（参考）】
3C707CS08
3C707ES07
3C707KS03
3C707KS04
3C707KS07
3C707KS09
3C707KS31
3C707KS36
3C707KT03
3C707KT04
3C707KX08
3C707LV06
3C707LV07
3C707LW12
3C707WA16
(57)【要約】
【課題】物体や環境の認識精度を向上させ、状況に応じてロボットによる柔軟で安定的な動作を行うことを可能にする。
【解決手段】本開示のロボット制御装置は、ロボットに設けられた測距センサによって測定された測定対象の距離情報と、ロボットに設けられた触覚センサによって測定された測定対象の触覚情報とに基づいて測定対象の認識を行う認識部と、認識部によって認識された測定対象の情報に基づいて、ロボットの動作制御を行う制御部とを備える。
【選択図】図３
【解決手段】本開示のロボット制御装置は、ロボットに設けられた測距センサによって測定された測定対象の距離情報と、ロボットに設けられた触覚センサによって測定された測定対象の触覚情報とに基づいて測定対象の認識を行う認識部と、認識部によって認識された測定対象の情報に基づいて、ロボットの動作制御を行う制御部とを備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
ロボットに設けられた測距センサによって測定された測定対象の距離情報と、前記ロボットに設けられた触覚センサによって測定された前記測定対象の触覚情報とに基づいて前記測定対象の認識を行う認識部と、
前記認識部によって認識された前記測定対象の情報に基づいて、前記ロボットの動作制御を行う制御部と
を備える
ロボット制御装置。
前記認識部によって認識された前記測定対象の情報に基づいて、前記ロボットの動作制御を行う制御部と
を備える
ロボット制御装置。
【請求項2】
前記認識部は、前記測定対象の形状および位置姿勢の認識を行う
請求項１に記載のロボット制御装置。
請求項１に記載のロボット制御装置。
【請求項3】
前記制御部は、前記ロボットの動作制御として、前記ロボットの動作形態、および前記ロボットの位置姿勢のうち少なくとも１つの制御を行う
請求項１に記載のロボット制御装置。
請求項１に記載のロボット制御装置。
【請求項4】
前記ロボットは、前記測定対象としての物体を把持することが可能に構成され、
前記制御部は、前記ロボットの動作制御として、前記ロボットによる前記測定対象の把持形態、把持位置および把持姿勢のうち少なくとも１つの制御を行う
請求項１に記載のロボット制御装置。
前記制御部は、前記ロボットの動作制御として、前記ロボットによる前記測定対象の把持形態、把持位置および把持姿勢のうち少なくとも１つの制御を行う
請求項１に記載のロボット制御装置。
【請求項5】
前記ロボットは、少なくとも一部の部位が移動可能に構成され、
前記制御部は、前記ロボットの動作制御として、前記ロボットの少なくとも一部の部位の移動速度および軌道のうち少なくとも１つの制御を行う
請求項１に記載のロボット制御装置。
前記制御部は、前記ロボットの動作制御として、前記ロボットの少なくとも一部の部位の移動速度および軌道のうち少なくとも１つの制御を行う
請求項１に記載のロボット制御装置。
【請求項6】
前記制御部は、前記測定対象に接触する前に測定された前記距離情報に基づいて前記ロボットの動作制御を行った後、前記測定対象に接触した後に測定された前記触覚情報に基づいて前記ロボットの動作制御の修正を行う
請求項１に記載のロボット制御装置。
請求項１に記載のロボット制御装置。
【請求項7】
前記ロボットは、前記測距センサまたは前記触覚センサが設けられている少なくとも一部の部位が移動可能に構成され、
前記制御部は、前記測距センサまたは前記触覚センサによる前記測定対象の測定が不十分な箇所に前記測距センサの測定点または前記触覚センサの測定点が位置することとなるように、前記測距センサまたは前記触覚センサが設けられている少なくとも一部の部位の動作制御を行う
請求項１に記載のロボット制御装置。
前記制御部は、前記測距センサまたは前記触覚センサによる前記測定対象の測定が不十分な箇所に前記測距センサの測定点または前記触覚センサの測定点が位置することとなるように、前記測距センサまたは前記触覚センサが設けられている少なくとも一部の部位の動作制御を行う
請求項１に記載のロボット制御装置。
【請求項8】
前記ロボットは、前記測定対象としての物体を把持することが可能に構成され、
前記制御部は、前記認識部によって認識された前記測定対象の情報に基づいて、複数の把持点候補点の中から、把持安定性を考慮した把持点を決定し、決定された前記把持点において前記測定対象としての物体を把持することとなるように、前記ロボットの動作制御を行う
請求項１に記載のロボット制御装置。
前記制御部は、前記認識部によって認識された前記測定対象の情報に基づいて、複数の把持点候補点の中から、把持安定性を考慮した把持点を決定し、決定された前記把持点において前記測定対象としての物体を把持することとなるように、前記ロボットの動作制御を行う
請求項１に記載のロボット制御装置。
【請求項9】
前記ロボットにおいて、前記測定対象との接触頻度の高い部分に前記触覚センサが設けられ、前記測定対象との接触頻度の低い部分に前記測距センサが設けられている
請求項１に記載のロボット制御装置。
請求項１に記載のロボット制御装置。
【請求項10】
前記ロボットにおいて、前記触覚センサと前記測距センサとが交互に設けられている
請求項１に記載のロボット制御装置。
請求項１に記載のロボット制御装置。
【請求項11】
前記ロボットは凸部と凹部とを有し、前記凸部に前記触覚センサが設けられ、前記凹部に前記測距センサが設けられている
請求項１に記載のロボット制御装置。
請求項１に記載のロボット制御装置。
【請求項12】
前記凸部は前記測定対象との接触により変形する柔軟材料で構成されている
請求項１１に記載のロボット制御装置。
請求項１１に記載のロボット制御装置。
【請求項13】
前記認識部は、前記測定対象における前記測距センサによる測定点と前記触覚センサによる測定点との測定点間の形状を補間により推定する
請求項１に記載のロボット制御装置。
請求項１に記載のロボット制御装置。
【請求項14】
前記認識部は、前記測距センサによる測定点に対して前記触覚センサによる測定点の重み付けが大きくなるように測定点の重み付けを行った状態で、前記測定対象の形状推定を行う
請求項１に記載のロボット制御装置。
請求項１に記載のロボット制御装置。
【請求項15】
前記認識部は、前記測距センサによる測定点と前記触覚センサによる測定点とに基づいて算出された測定点の確率分布に基づいて、前記測定対象の形状推定を行う
請求項１に記載のロボット制御装置。
請求項１に記載のロボット制御装置。
【請求項16】
前記認識部は、前記測距センサおよび前記触覚センサによる前記測定対象の部分的な観測情報に基づいて、前記測定対象の全体的な形状推定を行う
請求項１に記載のロボット制御装置。
請求項１に記載のロボット制御装置。
【請求項17】
前記認識部は、あらかじめ用意された複数のテンプレート物体の情報と、前記測距センサおよび前記触覚センサによる前記測定対象の部分的な観測情報とのパターンマッチングを行うことにより、前記測定対象の全体的な形状推定を行う
請求項１に記載のロボット制御装置。
請求項１に記載のロボット制御装置。
【請求項18】
前記認識部は、前記測定対象の事前情報と、前記測距センサおよび前記触覚センサによる前記測定対象の部分的な観測情報とのパターンマッチングを行うことにより、前記測定対象の全体的な形状および位置姿勢の推定を行う
請求項１に記載のロボット制御装置。
請求項１に記載のロボット制御装置。
【請求項19】
ロボットに設けられた測距センサによって測定された測定対象の距離情報と、前記ロボットに設けられた触覚センサによって測定された前記測定対象の触覚情報とに基づいて前記測定対象の認識を行うことと、
認識された前記測定対象の情報に基づいて、前記ロボットの動作制御を行うことと
を含む
ロボット制御方法。
認識された前記測定対象の情報に基づいて、前記ロボットの動作制御を行うことと
を含む
ロボット制御方法。
【請求項20】
測距センサと触覚センサとが設けられたロボットと、
前記ロボットの制御を行うロボット制御装置と
を含み、
前記ロボット制御装置は、
前記ロボットに設けられた前記測距センサによって測定された測定対象の距離情報と、前記ロボットに設けられた前記触覚センサによって測定された前記測定対象の触覚情報とに基づいて前記測定対象の認識を行う認識部と、
前記認識部によって認識された前記測定対象の情報に基づいて、前記ロボットの動作制御を行う制御部と
を備える
ロボットシステム。
前記ロボットの制御を行うロボット制御装置と
を含み、
前記ロボット制御装置は、
前記ロボットに設けられた前記測距センサによって測定された測定対象の距離情報と、前記ロボットに設けられた前記触覚センサによって測定された前記測定対象の触覚情報とに基づいて前記測定対象の認識を行う認識部と、
前記認識部によって認識された前記測定対象の情報に基づいて、前記ロボットの動作制御を行う制御部と
を備える
ロボットシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ロボット制御装置、ロボット制御方法、およびロボットシステムに関する。。
【背景技術】
【0002】
各種センサにより、ロボットの位置姿勢、またはロボットの測定対象（把持物体等）の測定を行うことで、ロボットの動作制御を行う方法がある（特許文献１～３参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０２１／０３３５０９号
【特許文献2】特開平１１－２８６９２号公報
【特許文献3】国際公開第２０２２／０３０２４２号
【発明の概要】
【発明が解決しようとする課題】
【0004】
ロボットによる柔軟で安定的な動作を行うためには、物体や環境等の測定対象の認識精度を向上させることが望ましい。
【0005】
物体や環境の認識精度を向上させ、状況に応じてロボットによる柔軟で安定的な動作を行うことが可能なロボット制御装置、ロボット制御方法、およびロボットシステムを提供することが望ましい。
【課題を解決するための手段】
【0006】
本開示の一実施の形態に係るロボット制御装置は、ロボットに設けられた測距センサによって測定された測定対象の距離情報と、ロボットに設けられた触覚センサによって測定された測定対象の触覚情報とに基づいて測定対象の認識を行う認識部と、認識部によって認識された測定対象の情報に基づいて、ロボットの動作制御を行う制御部とを備える。
【0007】
本開示の一実施の形態に係るロボット制御方法は、ロボットに設けられた測距センサによって測定された測定対象の距離情報と、ロボットに設けられた触覚センサによって測定された測定対象の触覚情報とに基づいて測定対象の認識を行うことと、認識された測定対象の情報に基づいて、ロボットの動作制御を行うこととを含む。
【0008】
本開示の一実施の形態に係るロボットシステムは、測距センサと触覚センサとが設けられたロボットと、ロボットの制御を行うロボット制御装置とを含み、ロボット制御装置は、ロボットに設けられた測距センサによって測定された測定対象の距離情報と、ロボットに設けられた触覚センサによって測定された測定対象の触覚情報とに基づいて測定対象の認識を行う認識部と、認識部によって認識された測定対象の情報に基づいて、ロボットの動作制御を行う制御部とを備える。
【0009】
本開示の一実施の形態に係るロボット制御装置、ロボット制御方法、またはロボットシステムでは、ロボットに設けられた測距センサによって測定された測定対象の距離情報と、ロボットに設けられた触覚センサによって測定された測定対象の触覚情報とに基づいて測定対象の認識を行い、認識された測定対象の情報に基づいて、ロボットの動作制御を行う。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
０．比較例（図１～図２）
１．一実施の形態
１．１ 概要（図３～図８）
１．２ センサ配置の具体例（図９～図１４）
１．３ 物体・環境認識の具体例（図１５～図２３）
１．４ 能動的なセンシング（図２４～図３２）
１．５ 物体・環境認識を利用した動作生成（図３３～図３８）
１．６ 測距センサ、触覚センサ以外のセンサの利用（図３９）
１．７ 制御ブロック（ロボット制御装置）の構成例（図４０～図４１）
１．８ 制御動作例（図４２～図４４）
１．９ 効果
２．その他の実施の形態
０．比較例（図１～図２）
１．一実施の形態
１．１ 概要（図３～図８）
１．２ センサ配置の具体例（図９～図１４）
１．３ 物体・環境認識の具体例（図１５～図２３）
１．４ 能動的なセンシング（図２４～図３２）
１．５ 物体・環境認識を利用した動作生成（図３３～図３８）
１．６ 測距センサ、触覚センサ以外のセンサの利用（図３９）
１．７ 制御ブロック（ロボット制御装置）の構成例（図４０～図４１）
１．８ 制御動作例（図４２～図４４）
１．９ 効果
２．その他の実施の形態
【0012】
【0013】
図１および図２には、ロボットの一例として、頭部と、胴体２と、アーム３と、台車（車輪）４とを有する人型ロボット１の例を示す。アーム３には物体５０を把持することが可能な指１１を有するハンド（ロボットハンド）１０が取り付けられている。人型ロボット１の頭部には、カメラ（頭部センサ）５が設けられている。
【0014】
このような人型ロボット１において、安定的に物体５０を把持するためには、物体５０に合わせて把持姿勢や持ち方を選択することが重要であり、そのためには物体５０の形状および位置姿勢の把握が求められる。一般的に使用されているＲＧＢ－Ｄ（Depth）カメラだと、オクルージョンの問題や光源環境による影響、誤差等があり、十分な物体認識が困難になることがある。ＴｏＦ（Time of Flight）センサなどに代表される距離センサは有効手段だが、誤差があり、接触前の近距離はダイナミックレンジの範囲外となり測定が困難になる場合が多い。
【0015】
ＲＧＢ－Ｄカメラは画角や測距距離の都合で、物体５０から離れた位置（ロボットの頭部等）に取り付けることが多い。その場合、ロボット自身や障害物によるオクルージョンが発生する。センサと物体間距離が離れる程、認識の誤差が増大し、正確な認識が困難となる。認識された物体５０の形状および位置姿勢に誤差が生じるため、把持形態や把持姿勢が決まらない。任意に選択した方法で把持すると不安定になる。
【0016】
多様な物体５０を把持する場合、物体５０の詳細な情報（形状、大きさ、位置、姿勢）は分からないことが多い。ＲＧＢ－Ｄカメラで物体５０を検出する手法として、例えば図１に示したように人型ロボット１の頭部に設けられたＲＧＢ－Ｄカメラ等のカメラ５によって物体５０を検出する方法がある。この場合、画角や測距範囲の制約で、対象物から離れた位置から観察することが求められる。また、ロボット自身や障害物によるオクルージョンや、光源環境による外乱によって、必ずしも詳細な情報が取得できるとは限らない。
【0017】
そこで、測距センサ（近接覚センサ）の使用が有効的な手段の１つとなる。例えば図２に示したように人型ロボット１のハンド１０または指１１に測距センサ２１を設けて物体５０を検出する方法がある。この場合、測距センサ２１には誤差がある、高密度な配置が困難であり、検出可能な物体５０が限られる。
【0018】
ここで、環境の情報が事前に得られない非構造化環境、例えば食品工場、食料品店、レストラン、病院等の環境でのマニピュレーションでは、様々な形状、位置姿勢の物体５０や多様な障害物を扱うことが求められる。また、物体情報（物体５０の形状、および位置姿勢等）を観察し、適切な把持形態（握る、つまむｅｔｃ）やロボットの位置姿勢を決めることが求められる。
【0019】
そこで、一実施の形態として、物体５０や周囲の環境、障害物の情報などが事前に得られない場合であっても、測距センサと触覚センサとを利用して可能な限り正確に、物体５０や環境等の測定対象の情報を推定する手法を提案する。また、推定した物体５０や周囲環境、および障害物情報を元に、把持形態、把持位置および把持姿勢、ロボットの障害物回避姿勢、および経路等を決定する手法を提案する。
【0020】
【0021】
一実施の形態に係るロボットシステムは、測距センサ２１および触覚センサ２２が設けられたロボットと、ロボットの制御を行うロボット制御装置とを含んでいる。
【0022】
ロボット制御装置は、ロボットに設けられた測距センサ２１によって測定された測定対象の距離情報と、ロボットに設けられた触覚センサ２２によって測定された測定対象の触覚情報とに基づいて測定対象の認識を行う認識部を備える。また、ロボット制御装置は、認識部によって認識された測定対象の情報に基づいて、ロボットの動作制御を行う制御部を備える。
【0023】
一実施の形態に係るロボットシステムにおいて、ロボット制御装置は、例えば、後述する図４０および図４１に示すように、複数の制御ブロックを備えていてもよい。一実施の形態に係るロボットシステムにおいて、認識部による処理は、後述する図４０および図４１に示す物体・環境認識部１１０によって実現され得る。また、制御部による処理は、後述する図４０および図４１に示す動作制御部１２０によって実現され得る。
【0024】
一実施の形態に係るロボットシステムにおいて適用されるロボットは、上述の人型ロボット１の他、各種移動体、脚式ロボット、およびドローン等であってもよい。また、一実施の形態に係るロボットシステムにおいて適用されるロボットは、マニピュレータ、ハンド１０、指１１等であってもよい。
【0025】
一実施の形態に係るロボットシステムは測距センサ２１として、非接触で測定対象を測距可能なセンサを少なくとも１つ備えている。測距センサ２１としては、例えば、Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ方式センサ、ミリ波センサ、超音波センサ、レーザ式センサ、ＬｉＤＡＲ（Light Detection And Ranging）、ステレオカメラ、パターン照射式センサ、およびイベントカメラ等のうち少なくとも１つであってもよい。
【0026】
一実施の形態に係るロボットシステムは触覚センサ２２として、接触することにより測定対象を測定可能なセンサを少なくとも１つ備えている。触覚センサ２２としては、例えば、圧力分布センサ、力覚センサ、ビジョン方式センサ、および磁気式センサ等のうち少なくとも１つであってもよい。
【0027】
一実施の形態に係るロボットシステムでは、測距センサ２１による近接覚情報（距離情報）と触覚センサ２２による触覚情報（接触情報）とを用いた物体・環境認識を行う。測距センサ２１では、非接触で測距ができる。測距センサ２１では、誤差がある、検出可能物体が限定される、物体５０や環境等の測定対象との接触は正確には分からない。一方、触覚センサ２２では、測定対象との接触が正確に検出できる。触覚センサ２２では、測定対象と接触するまで情報は取れない。一実施の形態に係るロボットシステムでは、測距センサ２１と触覚センサ２２とを適切に使い分けながら、物体５０や環境等の測定対象の形状、および位置姿勢等の情報の精度を上げていく。
【0028】
図３には、ロボットとしてのハンド１０において、複数の指１１のそれぞれに対して、測距センサ２１と触覚センサ２２とを設けた例を示す。図４には、ロボットとしてのハンド１０の１つの指１１の指先に測距センサ２１と触覚センサ２２とを設けた例を示す。図５には、人型ロボット１における台車（車輪）４に測距センサ２１と触覚センサ２２とを設けた例を示す。図６には、人型ロボット１におけるアーム３に測距センサ２１と触覚センサ２２とを設けた例を示す。
【0029】
他の形態のロボットでも同様に測距センサ２１と触覚センサ２２とを設けてもよい。脚式ロボット（図７）なら、脚４１の先等に測距センサ２１および触覚センサ２２を取り付けて物体５０や障害物をセンシングするようにしてもよい。また、人型ロボット１の胴体２に測距センサ２１および触覚センサ２２を設けてもよい。また、ドローン６０（図８）の一部に測距センサ２１および触覚センサ２２を設けてもよい。
【0030】
一実施の形態に係るロボットシステムにおいて、認識部は、測定対象の形状および位置姿勢の認識を行うようにしてもよい。
【0031】
一実施の形態に係るロボットシステムにおいて、制御部は、ロボットの動作制御として、ロボットの動作形態、およびロボットの位置姿勢のうち少なくとも１つの制御を行うようにしてもよい。
【0032】
一実施の形態に係るロボットシステムにおいて、ロボットは、測定対象としての物体を把持することが可能に構成されていてもよい。この場合、一実施の形態に係るロボットシステムにおいて、制御部は、ロボットの動作制御として、ロボットによる測定対象の把持形態、把持位置および把持姿勢のうち少なくとも１つの制御を行うようにしてもよい。
【0033】
一実施の形態に係るロボットシステムにおいて、ロボットは、少なくとも一部の部位が移動可能に構成されていてもよい。この場合、一実施の形態に係るロボットシステムにおいて、制御部は、ロボットの動作制御として、ロボットの少なくとも一部の部位の移動速度および軌道のうち少なくとも１つの制御を行うようにしてもよい。
【0034】
［１．２ センサ配置の具体例］
以下では、ロボットとしてハンド１０を例に構成を説明するが、上述したように一実施の形態に係るロボットシステムの技術は、ハンド１０以外のロボットにも適用可能である。
以下では、ロボットとしてハンド１０を例に構成を説明するが、上述したように一実施の形態に係るロボットシステムの技術は、ハンド１０以外のロボットにも適用可能である。
【0035】
【0036】
理想的には、測距センサ２１と触覚センサ２２とをロボットの全身に付けることが望ましい。また、理想的には、測距センサ２１と触覚センサ２２とをほぼ同じ場所に設け、測定対象のほぼ同じ場所を測距センサ２１と触覚センサ２２とによって測定可能であることが望ましい。しかしながら、現実的には測距センサ２１と触覚センサ２２とで設ける場所の取り合いになり、また、全身に設けることは難しい。そこで、測距センサ２１と触覚センサ２２とを、それぞれのセンサ機能を考慮した配置にするようにしてもよい。例えば、測定対象との接触頻度の高い部分に触覚センサ２２を設け、測定対象との接触頻度の低い部分に測距センサ２１を設けるようにするとよい。ハンド１０の場合、物体５０は指表面と掌とで把持することが多いため、図１０に示したように、指表面と掌とに触覚センサ２２を多く配置するようにするとよい。また、物体５０に接触する頻度は低いが物体５０との接触を避けたい場合や、物体５０との位置合わせが求められる場合等に備えて、指１１の裏表に測距センサ２１を取り付けるようにするとよい。
【0037】
図１１は、一実施の形態に係るロボットシステムにおけるセンサ配置の一例を概略的に示す構成図である。
【0038】
一実施の形態に係るロボットシステムにおけるロボットにおいて、図１１（Ａ）に示すように、触覚センサ２２と測距センサ２１とが交互に設けられていてもよい。触覚センサ２２と測距センサ２１とを交互に配置することで、測定対象である物体５０の実質的な検出解像度を上げることができる。物体５０が接触する可能性が高い場所には触覚センサ２２を、接触しない可能性が高い部分には測距センサ２１を設けるようにしてもよい。触覚センサ２２のみの場合は、物体５０と接触していない部分の測定は困難になるので、測距センサ２１を使うことで、図１１（Ｂ）に示すように、物体検出点の空間分解能を上げることができる。
【0039】
【0040】
一実施の形態に係るロボットシステムにおいて、ロボットが凸部３２と凹部３１とを有し、凸部３２に触覚センサ２２が設けられ、凹部３１に測距センサ２１が設けられていてもよい。これにより、物体５０との接触を容易にし、物体接触時でも測距が可能になる。図１２の例では、物体５０が接触する可能性が高い指先の表面を凹凸形状としている。これにより、物体把持の際に、物体５０は最初に凸部３２に接触するため、触覚センサ２２によって物体５０との接触を確実に検出できる。かつ、測距センサ２１による測定も可能となる。測距センサ２１は凹部３１に設けられているため、物体５０が接触することが無い。
【0041】
また、凸部３２が複数ある場合、図１３に示したように、部分的に凸部３２の高さを変化させてもよい。また、図１４に示したように、凸部３２を測定対象との接触により変形する柔軟材料で構成してもよい。凸部３２に柔軟材料を用いることで、複雑な形状の物体５０との接触がより精度良く検出可能になる。
【0042】
【0043】
ここでは、図１５（Ａ）に示したように、測定対象として事前情報が無い未知の物体５０をロボットのハンド１０に取り付けられた測距センサ２１と触覚センサ２２とを用いて認識する場合を例に説明するが、上述したように一実施の形態に係るロボットシステムの技術は、ハンド１０以外のロボットにも適用可能である。
【0044】
一実施の形態に係るロボットシステムにおいて、認識部は、まず、物体５０との接触前は非接触で測距センサ２１による測定点（測距センサ測定点Ｐｒ）から得られた距離情報に基づいて、物体５０のおおよその形状と位置姿勢とを推測する（図１５（Ｂ））。次に、認識部は、触覚センサ２２によって物体５０との接触を検出した箇所を、接触点（触覚センサ測定点Ｐｔ）として記憶しておく（図１５（Ｃ））。最終的に、測定点は測距センサ２１で検出した測距センサ測定点Ｐｒと触覚センサ２２で検出した触覚センサ測定点Ｐｔとが混在する状況となる（図１５（Ｄ））
【0045】
測距センサ２１および触覚センサ２２による測定点の情報は、指表面からの距離、ロボットの基準点から見た座標（ロボット座標系）、および世界座標系での座標のいずれであってもよい。触覚センサ２２の場合は、例えば、センサ内の接触位置を推測し、ロボットのエンコーダ等の情報から位置を算出できる。
【0046】
（物体形状推定手法１：補間）
図１６は、一実施の形態に係るロボットシステムによる物体形状の推定手法の一例を概略的に示す説明図である。
図１６は、一実施の形態に係るロボットシステムによる物体形状の推定手法の一例を概略的に示す説明図である。
【0047】
一実施の形態に係るロボットシステムにおいて、認識部は、測定対象における測距センサ２１による測定点（測距センサ測定点Ｐｒ）と触覚センサ２２による測定点（触覚センサ測定点Ｐｔ）との測定点間の形状を補間により推定するようにしてもよい。
【0048】
認識部は、図１６に示したように、測距センサ測定点Ｐｒと触覚センサ測定点Ｐｔとを区別せずに測定点間を補間することで、物体表面ｙiの形状を推定するようにしてもよい。補間方法としては例えば、線形補間、スプライン補間、および放射基底関数（ＲＢＦ）を用いた補間等の方法がある。推定された物体表面ｙiは、以下の式で表される。ｘiは測定点を示す。θは形状を示す曲線のパラメータ（係数）を示す。例えば、ｙi＝ａｘi
3＋ｂｘi
2＋ｃｘi＋ｄの形式で表される場合、θはａ，ｂ，ｃ，ｄとなる。ｙi，ｘi，θは２次元または３次元のベクトルとなる。
物体表面ｙi＝ｆ（ｘi，θ）
物体表面ｙi＝ｆ（ｘi，θ）
【0049】
（物体形状推定手法２：重み付き（非線形）最小二乗法）
図１７は、一実施の形態に係るロボットシステムにおける測距センサ２１の測距誤差の一例を概略的に示す説明図である。図１７において、横軸は基準距離、縦軸は測定距離を示す。
図１７は、一実施の形態に係るロボットシステムにおける測距センサ２１の測距誤差の一例を概略的に示す説明図である。図１７において、横軸は基準距離、縦軸は測定距離を示す。
【0050】
一実施の形態に係るロボットシステムにおいて、認識部は、測距センサ測定点Ｐｒに対して触覚センサ測定点Ｐｔの重み付けが大きくなるように測定点の重み付けを行った状態で、測定対象の形状推定を行うようにしてもよい。
【0051】
図１７に示したように、一般に、測距センサ測定点Ｐｒは触覚センサ測定点Ｐｔに比べて誤差が含まれる。触覚センサ測定点Ｐｔは測距センサ測定点Ｐｒに比べて精度が高い正確な測定点となる。そこで、測定点によって優先度（重み付け）を設定した形状推定を行うようにしてもよい。精度の高い測定点は優先度を高く（重み付けを大きく）し、精度の低い測定点は優先度を低く（重み付けを小さく）するようにしてもよい。重み付き残差平方和（ＳＳＲ）は以下の式（１）のように表される。ＳＳＲを最小にするパラメータθを求めればよい。パラメータθが求まれば、物体表面ｙiの推定値が導出される。
【0052】
【数1】
【0053】
ここで、重みＷiについては、例えば、測距センサ測定点Ｐｒの重みをＷi＿proc、触覚センサ測定点Ｐｔの重みをＷi＿tacとすると、以下を満たすような値をあらかじめ定義しておく。
Ｗi＿proc＜Ｗi＿tac
Ｗi＿proc＜Ｗi＿tac
【0054】
測距センサ測定点Ｐｒの重みＷi＿procは、測距センサ２１のセンサ特性から決めるようにしてもよい。例えば、図１７に示したように、誤差が大きい測定距離付近では重みＷi＿procを小さくする。例えば以下の式（２）のように、測定距離ｄに応じた誤差関数Ｅ（ｄ）を定義して測距センサ測定点Ｐｒの重みＷi＿procを決めるようにしてもよい。ａは係数、εは微小な係数を示す。
【0055】
【数2】
【0056】
【0057】
一実施の形態に係るロボットシステムにおいて、認識部は、測距センサ測定点Ｐｒと触覚センサ測定点Ｐｔとに基づいて算出された測定点の確率分布に基づいて、測定対象の形状推定を行うようにしてもよい。
【0058】
図１８および図１９に示したように、測距センサ測定点Ｐｒおよび触覚センサ測定点Ｐｔのセンサノイズ分布を確率分布として考える。測距センサ測定点Ｐｒのセンサノイズ分布としては、図１９に示したようにガウス分布（ｆ（ｘ）＝Ｎ（μ，σ））等の誤差が存在すると仮定する。触覚センサ測定点Ｐｔではその誤差が小さいため、想定している確率分布の幅が小さくなる。確率分布を持つことによって、測定誤差などの不確かさを考慮することができる。例えば、誤差があって物体表面位置が正確に分からない箇所については、後述の図３３に示すように、接触スピード（例えばハンド１０の動作速度（移動速度））を下げる等の制御上の調整ができる。
【0059】
（物体形状推定手法４：部分観測情報から全体形状を推定（物体事前情報無し））
図２０は、一実施の形態に係るロボットシステムによる物体形状の推定手法の一例を概略的に示す説明図である。
図２０は、一実施の形態に係るロボットシステムによる物体形状の推定手法の一例を概略的に示す説明図である。
【0060】
一実施の形態に係るロボットシステムにおいて、認識部は、測距センサ２１および触覚センサ２２による測定対象の部分的な観測情報に基づいて、測定対象の全体的な形状推定を行うようにしてもよい。例えば、認識部は、あらかじめ用意された複数のテンプレート物体５１の情報と、測距センサ２１および触覚センサ２２による測定対象の部分的な観測情報とのパターンマッチングを行うことにより、測定対象の全体的な形状推定を行うようにしてもよい。
【0061】
測定対象である物体５０の事前情報が無い場合に、物体５０の部分観測情報から全体形状を推定するようにしてもよい。図２０に示したように、例えば、部分的に観測できた測定点（測距センサ測定点Ｐｒおよび触覚センサ測定点Ｐｔ）と、あらかじめ定義していた物体形状ライブラリのテンプレート物体５１とのパターンマッチングを取ることにより、全体形状を推定するようにしてもよい。最もマッチングスコアの高い形状を物体５０の推測された形状として採用する。パターンマッチングの方法としては、一般的なテンプレートマッチングの手法などを利用できる。
【0062】
【0063】
一実施の形態に係るロボットシステムにおいて、認識部は、測定対象の事前情報と、測距センサ２１および触覚センサ２２による測定対象の部分的な観測情報とのパターンマッチングを行うことにより、測定対象の全体的な形状および位置姿勢の推定を行うようにしてもよい。
【0064】
例えば図２１に示したように、把持しようとしている物体５０の形状や物体名などが事前に分かっている場合には、部分観測情報と事前に分かっている物体情報とのパターンマッチングを取り、観測できていない部分の情報を補間し、測定対象である物体５０の形状および位置姿勢を推定できる。パターンマッチングの手法の例として、例えば、深層学習を用いる手法やＩＣＴ（Iterative Closest Point）などを使用することができる。
【0065】
【0066】
一実施の形態に係るロボットシステムにおいて、認識部は、上述の物体形状推定手法４と物体形状推定手法５とを組み合わせた推定を行うようにしてもよい。図２２に示したように、例えば測距センサ２１と触覚センサ２２とが設けられた指１１によって物体把持を行う場合において、測定対象である物体５０に凹凸がある場合、測距センサ２１または触覚センサ２２と物体５０とが接触する部分と接触しない部分とが存在する。この場合、測距センサ測定点Ｐｒと触覚センサ測定点Ｐｔとの測定点の分布パターンも物体形状を認識する情報となる。
【0067】
そこで、図２３に示したように、測距センサ測定点Ｐｒの分布パターンと触覚センサ測定点Ｐｔの分布パターンとをパターンマッチングの際に用いて、測定対象である物体５０の形状および位置姿勢を推定するようにしてもよい。この場合、パターンマッチングのライブラリに測定点の分布パターンの情報を追加してもよい。
【0068】
［１．４ 能動的なセンシング］
（能動的なセンシング（アクティブセンシング）の例１）
図２４および図２５は、一実施の形態に係るロボットシステムによる能動的なセンシングの例１を概略的に示す説明図である。
（能動的なセンシング（アクティブセンシング）の例１）
図２４および図２５は、一実施の形態に係るロボットシステムによる能動的なセンシングの例１を概略的に示す説明図である。
【0069】
一実施の形態に係るロボットシステムにおいて、ロボットは、測距センサ２１または触覚センサ２２が設けられている少なくとも一部の部位が移動可能に構成されていてもよい。一実施の形態に係るロボットシステムにおいて、制御部は、測距センサ２１または触覚センサ２２による測定対象の測定が不十分な箇所に測距センサ測定点Ｐｒまたは触覚センサ測定点Ｐｔが位置することとなるように、測距センサ２１または触覚センサ２２が設けられている少なくとも一部の部位の動作制御を行うようにしてもよい。
【0070】
測距センサ２１または触覚センサ２２が取り付けられている部位を動かすことができる場合は、測定が不十分な箇所、測定の不確実性が高い場所に測距センサ２１または触覚センサ２２による測定点が位置することとなるように、その部位を動かして物体５０や環境等の測定対象を測定するようにしてもよい。
【0071】
図２４（Ａ）の例では、測距センサ測定点Ｐｒまたは触覚センサ測定点Ｐｔによって指１１の根元付近において物体５０の一部分の形状が観測できているが、指１１の先端付近では物体５０の測定点が少なく、正確に形状が観測できていない可能性がある。この場合、図２４（Ｂ）に示したように指１１の先端付近を物体５０に近付くように移動させることで、指１１の先端付近における物体５０の形状も観測できるようになる。「測定点が少ない可能性」の判断は、例えば、測定点の間隔や密度、事前情報との比較、ＲＧＢデータから予想した形状との比較等によって行うことができる。
【0072】
また、図２５（Ａ）に示したように物体形状の推定に確率分布を利用した場合は、図２５（Ｂ）に示したように不確かさが大きい部分を探索するようにハンド１０の指１１を操作するとよい。そのとき、触覚センサ２２による測定の方が不確かさが少ないため、触覚センサ２２が物体５０に接触するように、指１１を制御するとよい。
【0073】
（能動的なセンシング（アクティブセンシング）の例２）
図２６は、一実施の形態に係るロボットシステムによる能動的なセンシングの例２を概略的に示す説明図である。図２６（Ｂ）および図２６（Ｃ）は、図２６（Ａ）におけるＸ軸方向から見た状態を示す。
図２６は、一実施の形態に係るロボットシステムによる能動的なセンシングの例２を概略的に示す説明図である。図２６（Ｂ）および図２６（Ｃ）は、図２６（Ａ）におけるＸ軸方向から見た状態を示す。
【0074】
測距センサ２１または触覚センサ２２が取り付けられている部位を動かすことができる場合は、その部位を回転させたり、並進移動させることによって、物体５０や環境等の測定対象のより広い範囲の情報を取得することができる。例えば図２６（Ａ）に示したように、ハンド１０の指１１に取り付けられた測距センサ２１よって物体５０を測定する場合を考える。図２６（Ｂ）に示したように、例えば指１１がＸ軸に平行な軸を回転軸として回転可能である場合、測距センサ２１が設けられた指１１を回転させながら測定を行うことで、図２６（Ｃ）に示したように、１つの測距センサ２１で連続的に物体５０の異なる位置（測距センサ測定点Ｐｒ）のデータを取得することが可能となる。これにより、搭載センサが少ない場合であっても、広い範囲において物体表面の検出が可能となる。また、異なる位置に取り付けられた測距センサ２１または触覚センサ２２から得られた複数のセンサからの複数の測定情報を統合して、物体５０や環境等の測定対象の情報を再構成することもできる。
【0075】
【0076】
一実施の形態に係るロボットシステムにおいて、制御部は、測定対象に接触する前に測定された距離情報に基づいてロボットの動作制御を行った後、測定対象に接触した後に測定された触覚情報に基づいてロボットの動作制御の修正を行うようにしてもよい。一実施の形態に係るロボットシステムにおいて、ロボットは、測定対象としての物体を把持することが可能に構成されていてもよい。この場合、制御部は、認識部によって認識された測定対象の情報に基づいて、複数の把持点候補点Ｐａの中から、把持安定性を考慮した把持点を決定し、決定された把持点において測定対象としての物体を把持することとなるように、ロボットの動作制御を行うようにしてもよい。
【0077】
例えば物体把持の場合、把持点の位置とその位置の表面方向、剛性、および摩擦係数が把持安定性に大きく影響するので、把持点を把持安定性を考慮して決定することが求められる。把持点候補点Ｐａが多数ある場合、測距センサ２１、および触覚センサ２２を使って最終的な把持点を絞り込むことができる。例えば、以下のような手順で絞り込みを行うことができる。
【0078】
（絞り込み手順１）まず、測距センサ２１でおおよその形状を推定する（図２７（Ａ））。これまでに説明したどの推定手法を用いてもよい。
【0079】
（絞り込み手順２）次に、把持安定性を考慮して把持点候補点Ｐａの絞り込みを行う（図２７（Ｂ））。
【0080】
図２９は、一実施の形態に係るロボットシステムによる把持安定性を考慮した把持点候補点Ｐａの絞り込みの第１の方法を概略的に示す説明図である。図３０は、一実施の形態に係るロボットシステムによる把持安定性を考慮した把持点候補点Ｐａの絞り込みの第２の方法を概略的に示す説明図である。
【0081】
把持安定性の推測手法として、フォースクロージャ（ｆｏｒｃｅ ｃｌｏｓｕｒｅ）となる状態であれば把持安定性があるとみなす方法がある。把持点候補点Ｐａの絞り込みの第１の方法として、図２９（Ａ）および図２９（Ｂ）に示したように、接触点Ｐｂを結ぶ直線、もしくは接触点Ｐｂから法線方向に伸ばした直線の交点が摩擦円錐に囲まれた領域５２に存在するように絞り込みを行う方法がある。また、把持点候補点Ｐａの絞り込みの第２の方法として、図３０に示したように、過去の把持した際の把持点のデータと照合し、マッチング度が高いデータの把持位置を把持点候補点Ｐａとして採用する方法がある。
【0082】
（絞り込み手順３）次に、絞り込んだ把持点候補点Ｐａに触覚センサ２２で接触し、正確な位置と、その点の剛性、および滑りやすさ（摩擦係数）を測定する（図２８（Ａ））。剛性は接触時の反力と変型の大きさから推測できる。摩擦係数は接触後せん断方向に力を加えたときに、滑り始めたときのせん断力と法線方向の力との比で求められる。
【0083】
（絞り込み手順４）次に、把持点候補点Ｐａから、最終的な把持点を決定する（図２８（Ｂ））。
【0084】
【0085】
【0086】
能動的なセンシングは、把持以外の動作にも適用することが可能である。例えば、脚式ロボット４０の脚４１で物体５０としてのボールを蹴る動作（図３１（Ａ））や、人型ロボット１のハンド１０によって物体５０を押す動作（図３２）等にも適用可能である。例えば、測距センサ２１で接触点と力の方向を絞り込み（図３１（Ｂ））、触覚センサ２２で接触点と力の方向とを決定することができる（図３１（Ｃ），（Ｄ））。もし測距センサ２１の誤差で接触面の向きが想定と異なっており、接触時に判明したら、接触時の情報を採用して力の方向を調整することもできる。
【0087】
その他、以上で説明した能動的なセンシングの例１～４と同様のセンシングを、測距センサ２１および触覚センサ２２が設けられた人型ロボット１のアーム３や台車４（図５、図６）の動作にも適用することが可能である。また、測距センサ２１および触覚センサ２２が設けられたドローン６０（図８）の動作にも適用することが可能である。
【0088】
［１．５ 物体・環境認識を利用した動作生成］
（不確かさ情報を用いた軌道計画）
図３３は、一実施の形態に係るロボットシステムにおいてハンド１０を移動させて測定対象である物体５０に接近する動作の例を示す説明図である。
（不確かさ情報を用いた軌道計画）
図３３は、一実施の形態に係るロボットシステムにおいてハンド１０を移動させて測定対象である物体５０に接近する動作の例を示す説明図である。
【0089】
物体５０や環境等の測定対象に接近する際に、最初は測距センサ測定点Ｐｒに基づいて測定対象までの距離や形状を推定する（図３３（Ａ）、図３３（Ｂ））。しかし、測距センサ２１による測定には誤差が含まれているため、場合によっては測定対象に衝突してしまう（図３３（Ｃ））。従って、不確かさに応じてハンド１０の動作速度（移動速度）や軌道を調整するようにしてもよい。例えば、不確かさがある場合は、移動速度を下げ、測定距離よりもマージンを持った軌道で接近するようにしてもよい。
【0090】
図３４は、一実施の形態に係るロボットシステムにおける、不確かさ情報を含む物体環境認識結果を用いた、把持形態の決定手法の一例を示す説明図である。
【0091】
物体把持の場合、指１１の自由度構成、指１１の本数に依存して様々なアプローチ（接近動作）や把持形態が考えられる。それらは、物体５０の形状や質量摩擦係数に応じて適切に決定するとよい。ここでは、測距センサ２１を利用した適切な把持形態を推定した後、触覚センサ２２を利用した把持形態の微修正、および把持形態の変更の手法を提案する。
【0092】
まず、物体５０や環境等の測定対象の情報を測距センサ２１により測定する（手順１）。測定の手法は前述のどの手法を用いてもよい。得られた測定対象の情報には不確実性が含まれている。
【0093】
次に、あらかじめ定義していた把持形態から候補となるものを絞り込む（手順２）。絞り込み方法としては、例えば、ルールベースと学習ベース（データドリブン）とがある。ルールベースでは、物体５０の形状に関するパラメータを定義しそれぞれに閾値を設け、把持形態を絞り込む。学習ベースでは、不確実性を含む物体５０の形状情報を入力とし（推定形状だけではなく、分散等の情報も可）、出力を把持形態とするモデル（ＮＮ（Neural Network）でもよい）を学習させる。学習ベースでは、評価値が出力される。
【0094】
次に、触覚センサ２２によって検出した精度のよい物体表面情報を利用して、把持形態の微修正、変更を行う（手順３）。触覚センサ２２の情報による物体形状更新で他の把持形態の方が適切であれば、把持形態を変更するアクションを起こす。同じ把持形態でも安定把持のために位置や姿勢を修正した方がよければ修正する。把持安定性の指標は上述したフォースクロージャの考え方（図２９）を使うようにしてもよい。
【0095】
【0096】
図３５の例では、指先端が衝突するかしないか、接触面積が広いか狭いかに応じて、把持形態として、Ｅｎｖｅｌｏｐｉｎｇ Ｇｒａｓｐ（包み込み把持）、Ｐａｒａｌｌｅｌ Ｐｉｎｃｈ、Ｍｅｄｉｕｍ Ｗｒａｐのいずれかが決定される。
【0097】
【0098】
学習ベースの把持形態決定法を使用するメリットとして、より最適な把持形態を新たに作り出すことができる。ルールベースではどの把持形態を採用するか一意に決まる、離散的な分類問題となる。学習ベースでは、各把持形態の評価値が計算される。評価値が最大のものを選択すれば離散的な分類問題となる。評価値に合わせて異なる把持形態の中間形態を生成することができる。図３６の例では、把持形態Ａと把持形態Ｃとを組み合わせることで、物体５０に合わせた、新しい中間形態の把持形態を生成している。図３６の例では、把持形態Ａを６０％の割合、把持形態Ｃを３０％の割合とする新しい中間形態の把持形態を生成している。
【0099】
（学習ベースとルールベースの使い分け）
例えば、以下の場合にルールベースを使用するようにしてもよい。
・物体認識結果から、あらかじめ人間が定義しているＰｒｉｍｉｔｉｖｅ形状（直方体、球、円柱、円錐等）などに分類できる場合
・ユーザー側から、把持方法に関する要求があり（特定の形状の物体５０は接触面積が小さくなるようにつまむように掴んで欲しい等）、確実に指定された把持形態を選択したい場合
例えば、以下の場合にルールベースを使用するようにしてもよい。
・物体認識結果から、あらかじめ人間が定義しているＰｒｉｍｉｔｉｖｅ形状（直方体、球、円柱、円錐等）などに分類できる場合
・ユーザー側から、把持方法に関する要求があり（特定の形状の物体５０は接触面積が小さくなるようにつまむように掴んで欲しい等）、確実に指定された把持形態を選択したい場合
【0100】
また、例えば、以下の場合に学習ベースを使用するようにしてもよい。
・複雑な形状で、把持形態を決めるためのルールの作成が困難な場合
・スペースの都合上、センサが密に取り付けられなかった場合や、オクルージョンなどが発生しやすい環境など、欠損情報の補間を行うことが求められる場合
・複雑な形状で、把持形態を決めるためのルールの作成が困難な場合
・スペースの都合上、センサが密に取り付けられなかった場合や、オクルージョンなどが発生しやすい環境など、欠損情報の補間を行うことが求められる場合
【0101】
その他の使い分けルールとして、例えば、ルールベースで把持形態を決定できなかった（あらかじめ設定したルールに適合しなかった）物体５０を、学習ベースで処理するようにしてもよい。また、ルールベースで決めた把持形態と学習ベースで決めた把持形態の一致を取るようにし、異なる場合は人間に判断を任せるようにしてもよい。
【0102】
【0103】
最初に決めた把持形態（図３７（Ａ））に比べて、他の把持形態の方が適切であれば、把持形態を変更するアクションを起こすようにしてもよい（図３７（Ｂ））。一実施の形態に係るロボットシステムでは、物体５０や環境等の測定対象の認識情報を利用して、素早く把持形態を変更することができる。なお、触覚センサ測定点Ｐｔ付近は物体５０に沿った軌道を取ってもよい。測距センサ測定点Ｐｒ付近は誤差の影響が大きいので、余裕を持って指１１の軌道を制御するようにしてもよい（図３７（Ｃ））。
【0104】
（把持形態の決定手法の変形例）
図３８は、一実施の形態に係るロボットシステムにおける、不確かさ情報を含む物体環境認識結果を用いた、把持形態の決定手法の変形例を示す説明図である。
図３８は、一実施の形態に係るロボットシステムにおける、不確かさ情報を含む物体環境認識結果を用いた、把持形態の決定手法の変形例を示す説明図である。
【0105】
複数の指１１を有するハンド１０では、スペースの都合で、測距センサ２１と触覚センサ２２とを同じ指１１に搭載することが難しい場合が多い。例えば、複数の指１１として第１指１１Ａと第２指１１Ｂとがある場合、第１指１１Ａには測距センサ２１のみ、第２指１１Ｂには触覚センサ２２のみ、というように搭載するセンサの種類を各指ごとに分けるようにしてもよい。
【0106】
この場合、まず、測距センサ２１が搭載された第１指１１Ａと物体５０とを先に位置合わせして、測距センサ２１による測定を行う（手順１Ａ）。次に、触覚センサ２２が搭載された第２指１１Ｂと物体５０とを接触させて触覚センサ２２による測定を行う（手順１Ｂ）。その後、図３４の手順２以降の手順を実行するようにしてもよい。
【0107】
［１．６ 測距センサ、触覚センサ以外のセンサの利用］
一実施の形態に係るロボットシステムにおいて、測距センサ２１、および触覚センサ２２の他に、さらに別の種類のセンサを利用するようにしてもよい。
一実施の形態に係るロボットシステムにおいて、測距センサ２１、および触覚センサ２２の他に、さらに別の種類のセンサを利用するようにしてもよい。
【0108】
例えば、人型ロボット１において、頭部や周囲の環境に取り付けられたＲＧＢ（－Ｄ）センサやＬｉＤＡＲ等を利用するようにしてもよい。ＲＧＢ（－Ｄ）センサやＬｉＤＡＲ等により、物体認識や形状認識を行い、物体５０や環境等の測定対象の事前情報を取得できる。また、物体認識結果から、標準的な物体５０の形状や大きさを仮定し、物体５０の予測形状としてもよい。また、生成した予測形状と、指先の測距センサ２１および触覚センサ２２で生成した予測形状とを統合するようにしてもよい。
【0109】
また、物体５０や環境等の測定対象との接触箇所、またはその付近に取り付けられた振動センサ、マイク、および加速度センサ等のうち少なくとも１つのセンサを利用するようにしてもよい。これらのセンサを触覚センサ２２の代わり、もしくは触覚センサ２２の補助として使用するようにしてもよい。これらのセンサにより、測定対象との接触で発生する振動を検出することができるため、接触タイミングを精度良く検出することが可能となる。また、触覚センサ２２が取り付いていない箇所に接触が発生しても検出することができる。
【0110】
（測距センサ２１、および触覚センサ２２以外のセンサの利用例）
図３９に、一実施の形態に係るロボットシステムにおいて測距センサ２１、および触覚センサ２２以外のセンサとして、音センサ（マイク）２３が設けられた例を概略的に示す。
図３９に、一実施の形態に係るロボットシステムにおいて測距センサ２１、および触覚センサ２２以外のセンサとして、音センサ（マイク）２３が設けられた例を概略的に示す。
【0111】
・音、振動
例えば図３９に示したように、測定対象である物体５０とハンド１０の指１１とが接触した際に発生する音や振動をセンシングすることで、測定対象との接触タイミングを正確に把握することが可能となる。音や振動は指のリンクを伝わるため、触覚センサ２２や測距センサ２１が無い場所に接触しても接触を検出することができる。マイク２３や加速度センサ、または力センサなどが使用できる。
例えば図３９に示したように、測定対象である物体５０とハンド１０の指１１とが接触した際に発生する音や振動をセンシングすることで、測定対象との接触タイミングを正確に把握することが可能となる。音や振動は指のリンクを伝わるため、触覚センサ２２や測距センサ２１が無い場所に接触しても接触を検出することができる。マイク２３や加速度センサ、または力センサなどが使用できる。
【0112】
・温度
例えば、温度センサで物体５０や環境等の測定対象との接触を検出することもできる。測定対象が直接接触する部分に温度センサを取り付けた方が感度がよくなる。接触点から離れた点に温度センサを配置してもよいが、例えばハンド１０の指１１に適用した場合、ハンド１０のリンクを伝わる熱の移動を検出することになり、感度と応答性が落ちる。
例えば、温度センサで物体５０や環境等の測定対象との接触を検出することもできる。測定対象が直接接触する部分に温度センサを取り付けた方が感度がよくなる。接触点から離れた点に温度センサを配置してもよいが、例えばハンド１０の指１１に適用した場合、ハンド１０のリンクを伝わる熱の移動を検出することになり、感度と応答性が落ちる。
【0113】
・トルクセンサ、力センサ
例えばハンド１０の指１１に適用する場合、指関節に取り付けたトルクセンサや手首に取り付けた力センサにより、物体５０や環境等の測定対象との接触を検出できる。この場合、接触は、接触時の急激なトルクの変化、力の変化を力の大きさ、速度、または加速度に関する閾値から求めることができる。また、各軸のエンコーダから導出した指先の位置と力との関係から、測定対象との接触を推定することもできる。微小な力を検出することができるため、接触検出の感度を向上させる効果がある。また、センサが無いエリアに測定対象が接触しても、精度良く測定対象との接触を検出することができる。
例えばハンド１０の指１１に適用する場合、指関節に取り付けたトルクセンサや手首に取り付けた力センサにより、物体５０や環境等の測定対象との接触を検出できる。この場合、接触は、接触時の急激なトルクの変化、力の変化を力の大きさ、速度、または加速度に関する閾値から求めることができる。また、各軸のエンコーダから導出した指先の位置と力との関係から、測定対象との接触を推定することもできる。微小な力を検出することができるため、接触検出の感度を向上させる効果がある。また、センサが無いエリアに測定対象が接触しても、精度良く測定対象との接触を検出することができる。
【0114】
・物体認識
ＲＧＢカメラ等の撮像素子によって物体５０や環境等の測定対象を撮影し、物体認識により測定対象の正体を事前に推定することができる。例えばその情報を利用して形状情報を補間（代表的な形状を記憶して、認識結果とパターンマッチングをする等）することができる。また、例えばハンド１０の指１１に適用する場合、把持形態を認識結果に合わせて事前に決定し、測距センサ２１または触覚センサ２２のセンサ値から把持形態を微修正することができる。
ＲＧＢカメラ等の撮像素子によって物体５０や環境等の測定対象を撮影し、物体認識により測定対象の正体を事前に推定することができる。例えばその情報を利用して形状情報を補間（代表的な形状を記憶して、認識結果とパターンマッチングをする等）することができる。また、例えばハンド１０の指１１に適用する場合、把持形態を認識結果に合わせて事前に決定し、測距センサ２１または触覚センサ２２のセンサ値から把持形態を微修正することができる。
【0115】
［１．７ 制御ブロック（ロボット制御装置）の構成例］
（制御ブロックの構成例１）
図４０は、一実施の形態に係るロボットシステムの制御ブロック（ロボット制御装置）の第１の構成例を概略的に示すブロック図である。
（制御ブロックの構成例１）
図４０は、一実施の形態に係るロボットシステムの制御ブロック（ロボット制御装置）の第１の構成例を概略的に示すブロック図である。
【0116】
一実施の形態に係るロボットシステムにおける各制御ブロックの少なくとも一部のブロックは、例えば１または複数のＣＰＵ（Central Processing Unit）と、１または複数のＲＯＭ（Read Only Memory）と、１または複数のＲＡＭ（Random Access Memory）とを備えたコンピュータで構成されてもよい。この場合、各制御ブロックの処理は、１または複数のＲＯＭまたはＲＡＭに記憶されたプログラムに基づく処理を１または複数のＣＰＵが実行することで実現し得る。また、各制御ブロックの処理は、例えば有線または無線によるネットワークにより外部から供給されたプログラムに基づく処理を１または複数のＣＰＵが実行することで実現してもよい。
【0117】
一実施の形態に係るロボットシステムは、制御ブロックとして、物体・環境認識部１１０と、動作制御部１２０とを備える。
【0118】
物体・環境認識部１１０は、物体・環境測定部１００と、距離情報処理部１０１と、接触情報処理部１０２と、環境・物体形状／姿勢推定部１０３とを有する。
【0119】
動作制御部１２０は、動作形態決定部２００と、軌道演算部２０１と、運動制御部２０２と、アクチュエータ部２０３とを有する。
【0120】
物体・環境測定部１００は、測距センサ２１、および触覚センサ２２を含む各種センサと、各種センサからのセンサ信号を処理するセンサ信号取得処理部とを含む。物体・環境測定部１００は、各種センサからのセンサ信号を処理し、ＲＧＢ画像、Ｄｅｐｔｈ画像、距離、Ｐｏｉｎｔ Ｃｌｏｕｄ、Ｅｖｅｎｔデータ、力、圧力、振動、加速度、滑り量、接触位置、および接触面積等のデータを出力する。
【0121】
距離情報処理部１０１は、測距センサ２１からのセンサ信号の信号処理を行う。距離情報処理部１０１は、測距センサ２１の取り付け位置やロボットの位置姿勢情報から、物体５０や環境等の測定対象の３Ｄ位置を推定することもできる。基準座標系はロボット座標系でも世界座標系でもよい。距離情報処理部１０１は、Ｄｅｐｔｈ画像、距離、および測定点位置等のデータを出力する。
【0122】
接触情報処理部１０２は、触覚センサ２２からのセンサ信号の信号処理を行う。接触情報処理部１０２は、物体５０や環境等の測定対象に対する接触位置を、触覚センサ２２の取り付け位置やロボットの位置姿勢情報を利用して求める。基準座標系はロボット座標系でも世界座標系でもよい。接触情報処理部１０２は、接触フラグ、滑り量、接触位置、および接触面積等のデータを出力する。
【0123】
環境・物体形状／姿勢推定部１０３は、距離情報、および接触情報を組み合わせて、物体５０や環境等の測定対象の情報（形状、および位置姿勢等）のデータを出力する。環境・物体形状／姿勢推定部１０３は、あらかじめ記憶した物体５０や環境等の測定対象の形状とマッチングを取る場合は、その形状のデータの記憶も行う。
【0124】
動作形態決定部２００は、動作形態を算出して動作形態のデータを出力する。動作形態決定部２００は、物体把持の場合は、動作形態として把持形態（握りこみ把持、指先把持等）を算出する。動作形態決定部２００は、物体５０や環境等の測定対象を押す動作の場合は、押す位置、力の方向等を算出する。動作形態決定部２００は、もしあらかじめ定義した動作状態がある場合は、その記憶部も備える。
【0125】
軌道演算部２０１は、環境・物体形状／姿勢推定部１０３および動作形態決定部２００からの出力データに基づいて、ロボットのエンドエフェクタや関節の軌道を算出する。
【0126】
運動制御部２０２は、アクチュエータの制御指令値を生成する。アクチュエータの制御指令値としては、例えば関節角の位置、速度、加速度、および力の指令値を含む。
【0127】
アクチュエータ部２０３は、運動制御部２０２からの制御指令値に基づいて、ロボットを動作させる。アクチュエータ部２０３は、ロボットを動作させる可動部やその制御処理ブロックを含む。
【0128】
（制御ブロックの構成例２）
図４１は、一実施の形態に係るロボットシステムの制御ブロック（ロボット制御装置）の第２の構成例を概略的に示すブロック図である。
図４１は、一実施の形態に係るロボットシステムの制御ブロック（ロボット制御装置）の第２の構成例を概略的に示すブロック図である。
【0129】
物体・環境認識部１１０は、追加測定箇所特定部１０４と、環境・物体情報記憶部１０５とをさらに有していてもよい。
【0130】
動作制御部１２０は、動作形態決定部２００に代えて、動作形態決定部３００と、動作形態記憶部３０１と、位置姿勢修正部３０２とを有していてもよい。
【0131】
追加測定箇所特定部１０４は、環境・物体形状／姿勢推定部１０３で推定した結果、不確かさが大きい部分は再度測定したいので、その箇所を特定する。追加測定箇所特定部１０４は、世界座標系、ロボット座標系などで示された物体５０や環境等の測定対象の２Ｄまたは３Ｄの位置姿勢情報のデータを出力する。追加測定箇所特定部１０４は、測定のために関節を動作させたい場合は関節移動量を算出する。
【0132】
動作形態決定部３００は、動作形態を算出して動作形態のデータを出力する。動作形態決定部３００は、物体把持の場合は、動作形態として把持形態（握りこみ把持、指先把持等）を算出する。また、動作形態決定部３００は、把持安定性を考慮した接触点の位置を決定する。
【0133】
動作形態記憶部３０１は、把持形態等の情報を記憶する。
【0134】
位置姿勢修正部３０２は、ロボットの位置姿勢の修正量、および修正後の位置姿勢の情報等のデータを出力する。
【0135】
軌道演算部２０１は、追加測定箇所特定部１０４、位置姿勢修正部３０２、環境・物体形状／姿勢推定部１０３および動作形態決定部２００からの出力データに基づいて、ロボットのエンドエフェクタや関節の軌道を算出する。
【0136】
【0137】
図４２には、一度決めたロボットの軌道を修正しない場合の動作例を示す。ロボットシステムの認識部は、まず、測距センサ２１によって物体５０や環境等の測定対象の測定を行う（ステップＳ１０１）。次に、ロボットシステムの認識部は、測距センサ２１によって測定された測定対象の距離情報の処理を行う（ステップＳ１０２）。次に、ロボットシステムの認識部は、物体５０や環境等の測定対象の形状、および位置姿勢の推定を行う（ステップＳ１０３）。次に、ロボットシステムの制御部は、ロボットの動作形態の決定を行う（ステップＳ１０４）。次に、ロボットシステムの制御部は、ロボットの軌道を算出する（ステップＳ１０５）。次に、ロボットシステムの制御部は、アクチュエータ指令を算出する（ステップＳ１０６）。
【0138】
次に、ロボットシステムの認識部は、触覚センサ２２からのセンサ信号に基づいて、ロボットが測定対象に接触したか否かを判断する（ステップＳ１０７）。ロボットシステムの認識部がロボットが測定対象に接触していないと判断した場合（ステップＳ１０７；Ｎ）、ロボットシステムは、ステップＳ１０６の処理に戻る。
【0139】
ロボットが測定対象に接触したと判断した場合（ステップＳ１０７；Ｙ）、ロボットシステムの認識部は、次に、触覚センサ２２によって測定された測定対象の接触情報の処理を行う（ステップＳ１０８）。次に、ロボットシステムの認識部は、物体５０や環境等の測定対象の形状、および位置姿勢の推定を行う（ステップＳ１０９）。次に、ロボットシステムの制御部は、ロボットの動作形態の決定を行う（ステップＳ１１０）。次に、ロボットシステムの制御部は、ロボットの軌道を算出する（ステップＳ１１１）。次に、ロボットシステムの制御部は、アクチュエータ指令を算出する（ステップＳ１１２）。次に、ロボットシステムの制御部は、動作完了したか否かを判断する（ステップＳ１１３）。動作完了したと判断した場合（ステップＳ１１３；Ｙ）、ロボットシステムの制御部は、処理を終了する。動作完了していないと判断した場合（ステップＳ１１３；Ｎ）、ロボットシステムの制御部は、ステップＳ１１２の処理に戻る。
【0140】
（制御動作の第２の例）
図４３は、一実施の形態に係るロボットシステムの制御動作の第２の例を示すフローチャートである。
図４３は、一実施の形態に係るロボットシステムの制御動作の第２の例を示すフローチャートである。
【0141】
図４３には、距離情報と接触情報とを制御周期毎に更新し続け、動作形態を制御周期毎にその都度算出(修正)する場合の動作例を示す。ロボットシステムの認識部は、まず、測距センサ２１または触覚センサ２２によって物体５０や環境等の測定対象の測定を行う（ステップＳ２０１）。次に、ロボットシステムの認識部は、触覚センサ２２からのセンサ信号に基づいて、ロボットが測定対象に接触したか否かを判断する（ステップＳ２０２）。
【0142】
ロボットが測定対象に接触したと判断した場合（ステップＳ２０２；Ｎ）、ロボットシステムの認識部は、次に、触覚センサ２２によって測定された測定対象の接触情報の処理を行い（ステップＳ２０４）、次に、ステップＳ２０６の処理に進む。ロボットが測定対象に接触していないと判断した場合（ステップＳ２０２；Ｙ）、次に、ロボットシステムの認識部は、測距センサ２１によって測定された測定対象の距離情報の処理を行い（ステップＳ２０３）、次に、ステップＳ２０５の処理に進む。
【0143】
ステップＳ２０５の処理では、ロボットシステムの認識部が、物体５０や環境等の測定対象の形状、および位置姿勢の推定を行い、次に、ステップＳ２０６の処理に進む。ステップＳ２０６の処理では、ロボットシステムの制御部が、ロボットの動作形態の決定を行い、次に、ステップＳ２０７の処理に進む。
【0144】
次に、ロボットシステムの制御部は、ロボットの軌道を算出する（ステップＳ２０７）。次に、ロボットシステムの制御部は、アクチュエータ指令を算出する（ステップＳ２０８）。次に、ロボットシステムの制御部は、動作完了したか否かを判断する（ステップＳ２０９）。動作完了したと判断した場合（ステップＳ２０９；Ｙ）、ロボットシステムの制御部は、処理を終了する。動作完了していないと判断した場合（ステップＳ２０９；Ｎ）、ロボットシステムの制御部は、ステップＳ２０１の処理に戻る。
【0145】
（制御動作の第３の例）
図４４は、一実施の形態に係るロボットシステムの制御動作の第３の例を示すフローチャートである。
図４４は、一実施の形態に係るロボットシステムの制御動作の第３の例を示すフローチャートである。
【0146】
図４４の制御動作は、図３８に示した把持形態の決定手法に対応する制御動作である。図３８に示した把持形態の決定手法では、ロボットが複数の指１１として第１指１１Ａと第２指１１Ｂとを有するハンド１０であり、第１指１１Ａには測距センサ２１のみ、第２指１１Ｂには触覚センサ２２のみ設けられている。
【0147】
ロボットシステムの認識部は、まず、測距センサ２１または触覚センサ２２によって物体５０や環境等の測定対象の測定を行う（ステップＳ３０１）。ロボットシステムの認識部は、第１指１１Ａに設けられた測距センサ２１によって測定された測定対象の距離情報の処理（ステップＳ３０２）と、第２指１１Ｂに設けられた触覚センサ２２によって測定された測定対象の接触情報の処理（ステップＳ３０３）とを並列的に行う。
【0148】
次に、ロボットシステムの認識部は、物体５０や環境等の測定対象の形状、および位置姿勢の推定を行う（ステップＳ３０４）。次に、ロボットシステムの制御部は、ロボットの動作形態の決定を行う（ステップＳ３０５）。次に、ロボットシステムの制御部は、ロボットの軌道を算出する（ステップＳ３０６）。次に、ロボットシステムの制御部は、アクチュエータ指令を算出する（ステップＳ３０７）。次に、ロボットシステムの制御部は、動作完了したか否かを判断する（ステップＳ３０８）。動作完了したと判断した場合（ステップＳ３０８；Ｙ）、ロボットシステムの制御部は、処理を終了する。動作完了していないと判断した場合（ステップＳ３０８；Ｎ）、ロボットシステムの制御部は、ステップＳ３０１の処理に戻る。
【0149】
［１．９ 効果］
以上説明したように、一実施の形態に係るロボットシステムによれば、ロボットに設けられた測距センサ２１によって測定された測定対象の距離情報と、ロボットに設けられた触覚センサ２２によって測定された測定対象の触覚情報とに基づいて測定対象の認識を行い、認識された測定対象の情報に基づいて、ロボットの動作制御を行う。これにより、物体５０や環境の認識精度を向上させ、状況に応じてロボットによる柔軟で安定的な動作を行うことが可能となる。
以上説明したように、一実施の形態に係るロボットシステムによれば、ロボットに設けられた測距センサ２１によって測定された測定対象の距離情報と、ロボットに設けられた触覚センサ２２によって測定された測定対象の触覚情報とに基づいて測定対象の認識を行い、認識された測定対象の情報に基づいて、ロボットの動作制御を行う。これにより、物体５０や環境の認識精度を向上させ、状況に応じてロボットによる柔軟で安定的な動作を行うことが可能となる。
【0150】
一実施の形態に係るロボットシステムによれば、測距センサ２１および触覚センサ２２を両方使い、不確かさが生じても、物体５０や環境等の測定対象の形状および位置姿勢の情報が推定できる。これにより、環境における認識のロバスト性が向上する。
【0151】
また、一実施の形態に係るロボットシステムによれば、測距センサ２１および触覚センサ２２を段階的に使用することで、不確かさを考慮しつつ、徐々に認識精度を上げることができる。認識精度とセンシングに求められる時間や処理負荷はトレードオフの関係にあるため、要求される精度によって使用するセンサを使い分けることができる。それによって精度が悪くても早く動作させる場合と、時間がかかっても良いから精度を上げる場合とで、切り替えが容易になる。
【0152】
また、一実施の形態に係るロボットシステムによれば、異なる性質のセンサを段階的に使用する手法により、センサ手法に大きく依存しないため、測距センサ２１や触覚センサ２２以外のセンサの導入が容易になる。また、一実施の形態に係るロボットシステムによれば、測定対象の認識時に、センサのノイズレベルや信頼性に応じて重みを設定できるので、精度や性質の異なるセンサを混合して使用することができる。
【0153】
また、一実施の形態に係るロボットシステムによれば、ロボットの自由度を利用するため、少ないセンサで広範囲の情報を取得することができる。また、一実施の形態に係るロボットシステムによれば、基本形状や動作バリエーションを事前に定義することができるので、運動制約の異なるロボットでも、すぐに適応することができる。
【0154】
また、一実施の形態に係るロボットシステムによれば、測距センサ２１および触覚センサ２２の両方の情報を考慮するため、測距センサ２１と触覚センサ２２とが同じ場所に取り付けられていなくてもよい。これによってロボットの小型化やスペースの有効利用が可能になる。
【0155】
また、一実施の形態に係るロボットシステムによれば、測距センサ２１および触覚センサ２２を両方使い、不確かさが生じても安定的に環境や物体５０とのインタラクションが取れる（物体把持、環境の一部を押す等）。また、一実施の形態に係るロボットシステムによれば、測距センサ２１および触覚センサ２２を両方使い、不確かさに応じた環境や物体５０とのインタラクションが取れるため、ロボットの安定動作や、人間が存在する環境化での安全な動作が可能になる。
【0156】
（先行技術文献との比較）
特許文献１（国際公開第２０２１／０３３５０９号）には、非接触センサ（ＲＧＢ（－Ｄ），ＴｏＦ，ＧＰＳ等）から得られた環境情報と、ロボットが環境接触時に接触センサから得られた情報とを元に、ロボットの位置姿勢を推測する技術が記載されている。特許文献１に記載の技術では、世界座標に対する物体５０の位置姿勢は既知の前提であり、また、推測できるのはロボットの位置姿勢だけである。物体５０の位置姿勢は求められず、また形状などの細かな特徴は推定が困難である。これに対し、一実施の形態に係るロボットシステムは、ロボットの位置姿勢ではなく、物体５０の位置姿勢や形状を推定できる技術である。また、一実施の形態に係るロボットシステムでは、物体５０のより細かな形状の特徴も検出でき、より正確な物体５０の情報を得ることができる。また生成された物体情報とセンサ情報を組み合わせることで、適切な把持形態、把持位置を導出することができる。
特許文献１（国際公開第２０２１／０３３５０９号）には、非接触センサ（ＲＧＢ（－Ｄ），ＴｏＦ，ＧＰＳ等）から得られた環境情報と、ロボットが環境接触時に接触センサから得られた情報とを元に、ロボットの位置姿勢を推測する技術が記載されている。特許文献１に記載の技術では、世界座標に対する物体５０の位置姿勢は既知の前提であり、また、推測できるのはロボットの位置姿勢だけである。物体５０の位置姿勢は求められず、また形状などの細かな特徴は推定が困難である。これに対し、一実施の形態に係るロボットシステムは、ロボットの位置姿勢ではなく、物体５０の位置姿勢や形状を推定できる技術である。また、一実施の形態に係るロボットシステムでは、物体５０のより細かな形状の特徴も検出でき、より正確な物体５０の情報を得ることができる。また生成された物体情報とセンサ情報を組み合わせることで、適切な把持形態、把持位置を導出することができる。
【0157】
特許文献２（特開平１１－２８６９２号公報）には、ハンドに取り付けた接触バーによって物体５０と指との間の距離や接触を検出し、物体５０の形状を推定する技術が記載されている。特許文献２に記載の技術では、接触バーが物体５０に直接接触することを前提としているため、物体５０を破損する可能性がある。また、物体表面をなぞるような測定が困難であったり、把持途中にハンドの位置姿勢を調整する等が困難である。これに対し、一実施の形態に係るロボットシステムでは、測距センサ２１と触覚センサ２２とを両方使用することで、非接触でも接触でも物体５０の形状把握が可能となる。従って物体表面を非接触で探索したり、物体５０に接触し表面をなぞるような形状把握も可能となる。また把持形態の切り替えも非接触で可能になる。
【0158】
特許文献３（国際公開第２０２２／０３０２４２号）には、ロボットハンドの表面に取り付けられた測距センサにより測定された距離から、対象物とハンドの相対位置の調整と、対象物の周辺にある障害物とハンドとの相対位置を調整しながら障害物に衝突することなく物体把持を行う技術が記載されている。特許文献３に記載の技術では、測距誤差や測距レンジの制約から、正確な物体５０の位置姿勢や形状が得られない場合が多い。例えば接触時には測距レンジ外となり測距センサでは検出することが困難であり、物体５０と接触しているのにも関わらず、物体５０が無いと誤判断してしまう。これに対し、一実施の形態に係るロボットシステムでは、測距センサ２１と触覚センサ２２とを使用することにより、接触前後の両方のフェーズで情報が得られる。接触の情報も考慮できるためより正確な物体情報が得られる。従ってより安定した把持動作が実現できる。
【0159】
測距センサ２１だけではなく、測距センサ２１と触覚センサ２２とを併用するメリットは下記の通りである。
・物体検出精度が良くなる。
異なる物理量を測定するセンサを使うことで、測定誤差を補正し合うことができる。一般的に触覚センサ２２よりも測距センサ２１の誤差の方が大きい。
・接触後も物体認識が可能となる。
測距センサ２１は接触後の物体認識が難しい。従って接触前の情報を記憶しておくことが求められる。しかし、接触しながら物体５０がずれる場合には対応が困難になる。
・物体検出の時間およびメモリ効率が向上する。
測距による物体検出結果を利用して、さらに詳細に物体認識を行うべき場所を絞ることができる。これにより、２段階で物体検出精度を上げられ、効率が良くなり、メモリ使用を抑制できる。
・物体検出精度が良くなる。
異なる物理量を測定するセンサを使うことで、測定誤差を補正し合うことができる。一般的に触覚センサ２２よりも測距センサ２１の誤差の方が大きい。
・接触後も物体認識が可能となる。
測距センサ２１は接触後の物体認識が難しい。従って接触前の情報を記憶しておくことが求められる。しかし、接触しながら物体５０がずれる場合には対応が困難になる。
・物体検出の時間およびメモリ効率が向上する。
測距による物体検出結果を利用して、さらに詳細に物体認識を行うべき場所を絞ることができる。これにより、２段階で物体検出精度を上げられ、効率が良くなり、メモリ使用を抑制できる。
【0160】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
【0161】
＜２．その他の実施の形態＞
本開示による技術は、上記一実施の形態の説明に限定されず種々の変形実施が可能である。
本開示による技術は、上記一実施の形態の説明に限定されず種々の変形実施が可能である。
【0162】
例えば、本技術は以下のような構成を取ることもできる。
以下の構成の本技術によれば、ロボットに設けられた測距センサによって測定された測定対象の距離情報と、ロボットに設けられた触覚センサによって測定された測定対象の触覚情報とに基づいて測定対象の認識を行い、認識された測定対象の情報に基づいて、ロボットの動作制御を行う。これにより、物体や環境の認識精度を向上させ、状況に応じてロボットによる柔軟で安定的な動作を行うことが可能となる。
以下の構成の本技術によれば、ロボットに設けられた測距センサによって測定された測定対象の距離情報と、ロボットに設けられた触覚センサによって測定された測定対象の触覚情報とに基づいて測定対象の認識を行い、認識された測定対象の情報に基づいて、ロボットの動作制御を行う。これにより、物体や環境の認識精度を向上させ、状況に応じてロボットによる柔軟で安定的な動作を行うことが可能となる。
【0163】
（１）
ロボットに設けられた測距センサによって測定された測定対象の距離情報と、前記ロボットに設けられた触覚センサによって測定された前記測定対象の触覚情報とに基づいて前記測定対象の認識を行う認識部と、
前記認識部によって認識された前記測定対象の情報に基づいて、前記ロボットの動作制御を行う制御部と
を備える
ロボット制御装置。
（２）
前記認識部は、前記測定対象の形状および位置姿勢の認識を行う
上記（１）に記載のロボット制御装置。
（３）
前記制御部は、前記ロボットの動作制御として、前記ロボットの動作形態、および前記ロボットの位置姿勢のうち少なくとも１つの制御を行う
上記（１）または（２）に記載のロボット制御装置。
（４）
前記ロボットは、前記測定対象としての物体を把持することが可能に構成され、
前記制御部は、前記ロボットの動作制御として、前記ロボットによる前記測定対象の把持形態、把持位置および把持姿勢のうち少なくとも１つの制御を行う
上記（１）ないし（３）のいずれか１つに記載のロボット制御装置。
（５）
前記ロボットは、少なくとも一部の部位が移動可能に構成され、
前記制御部は、前記ロボットの動作制御として、前記ロボットの少なくとも一部の部位の移動速度および軌道のうち少なくとも１つの制御を行う
上記（１）ないし（４）のいずれか１つに記載のロボット制御装置。
（６）
前記制御部は、前記測定対象に接触する前に測定された前記距離情報に基づいて前記ロボットの動作制御を行った後、前記測定対象に接触した後に測定された前記触覚情報に基づいて前記ロボットの動作制御の修正を行う
上記（１）ないし（５）のいずれか１つに記載のロボット制御装置。
（７）
前記ロボットは、前記測距センサまたは前記触覚センサが設けられている少なくとも一部の部位が移動可能に構成され、
前記制御部は、前記測距センサまたは前記触覚センサによる前記測定対象の測定が不十分な箇所に前記測距センサの測定点または前記触覚センサの測定点が位置することとなるように、前記測距センサまたは前記触覚センサが設けられている少なくとも一部の部位の動作制御を行う
上記（１）ないし（６）のいずれか１つに記載のロボット制御装置。
（８）
前記ロボットは、前記測定対象としての物体を把持することが可能に構成され、
前記制御部は、前記認識部によって認識された前記測定対象の情報に基づいて、複数の把持点候補点の中から、把持安定性を考慮した把持点を決定し、決定された前記把持点において前記測定対象としての物体を把持することとなるように、前記ロボットの動作制御を行う
上記（１）ないし（７）のいずれか１つに記載のロボット制御装置。
（９）
前記ロボットにおいて、前記測定対象との接触頻度の高い部分に前記触覚センサが設けられ、前記測定対象との接触頻度の低い部分に前記測距センサが設けられている
上記（１）ないし（８）のいずれか１つに記載のロボット制御装置。
（１０）
前記ロボットにおいて、前記触覚センサと前記測距センサとが交互に設けられている
上記（１）ないし（９）のいずれか１つに記載のロボット制御装置。
（１１）
前記ロボットは凸部と凹部とを有し、前記凸部に前記触覚センサが設けられ、前記凹部に前記測距センサが設けられている
上記（１）ないし（１０）のいずれか１つに記載のロボット制御装置。
（１２）
前記凸部は前記測定対象との接触により変形する柔軟材料で構成されている
上記（１１）に記載のロボット制御装置。
（１３）
前記認識部は、前記測定対象における前記測距センサによる測定点と前記触覚センサによる測定点との測定点間の形状を補間により推定する
上記（１）ないし（１２）のいずれか１つに記載のロボット制御装置。
（１４）
前記認識部は、前記測距センサによる測定点に対して前記触覚センサによる測定点の重み付けが大きくなるように測定点の重み付けを行った状態で、前記測定対象の形状推定を行う
上記（１）ないし（１３）のいずれか１つに記載のロボット制御装置。
（１５）
前記認識部は、前記測距センサによる測定点と前記触覚センサによる測定点とに基づいて算出された測定点の確率分布に基づいて、前記測定対象の形状推定を行う
上記（１）ないし（１４）のいずれか１つに記載のロボット制御装置。
（１６）
前記認識部は、前記測距センサおよび前記触覚センサによる前記測定対象の部分的な観測情報に基づいて、前記測定対象の全体的な形状推定を行う
上記（１）ないし（１５）のいずれか１つに記載のロボット制御装置。
（１７）
前記認識部は、あらかじめ用意された複数のテンプレート物体の情報と、前記測距センサおよび前記触覚センサによる前記測定対象の部分的な観測情報とのパターンマッチングを行うことにより、前記測定対象の全体的な形状推定を行う
上記（１）ないし（１６）のいずれか１つに記載のロボット制御装置。
（１８）
前記認識部は、前記測定対象の事前情報と、前記測距センサおよび前記触覚センサによる前記測定対象の部分的な観測情報とのパターンマッチングを行うことにより、前記測定対象の全体的な形状および位置姿勢の推定を行う
上記（１）ないし（１６）のいずれか１つに記載のロボット制御装置。
（１９）
ロボットに設けられた測距センサによって測定された測定対象の距離情報と、前記ロボットに設けられた触覚センサによって測定された前記測定対象の触覚情報とに基づいて前記測定対象の認識を行うことと、
認識された前記測定対象の情報に基づいて、前記ロボットの動作制御を行うことと
を含む
ロボット制御方法。
（２０）
測距センサと触覚センサとが設けられたロボットと、
前記ロボットの制御を行うロボット制御装置と
を含み、
前記ロボット制御装置は、
前記ロボットに設けられた前記測距センサによって測定された測定対象の距離情報と、前記ロボットに設けられた前記触覚センサによって測定された前記測定対象の触覚情報とに基づいて前記測定対象の認識を行う認識部と、
前記認識部によって認識された前記測定対象の情報に基づいて、前記ロボットの動作制御を行う制御部と
を備える
ロボットシステム。
ロボットに設けられた測距センサによって測定された測定対象の距離情報と、前記ロボットに設けられた触覚センサによって測定された前記測定対象の触覚情報とに基づいて前記測定対象の認識を行う認識部と、
前記認識部によって認識された前記測定対象の情報に基づいて、前記ロボットの動作制御を行う制御部と
を備える
ロボット制御装置。
（２）
前記認識部は、前記測定対象の形状および位置姿勢の認識を行う
上記（１）に記載のロボット制御装置。
（３）
前記制御部は、前記ロボットの動作制御として、前記ロボットの動作形態、および前記ロボットの位置姿勢のうち少なくとも１つの制御を行う
上記（１）または（２）に記載のロボット制御装置。
（４）
前記ロボットは、前記測定対象としての物体を把持することが可能に構成され、
前記制御部は、前記ロボットの動作制御として、前記ロボットによる前記測定対象の把持形態、把持位置および把持姿勢のうち少なくとも１つの制御を行う
上記（１）ないし（３）のいずれか１つに記載のロボット制御装置。
（５）
前記ロボットは、少なくとも一部の部位が移動可能に構成され、
前記制御部は、前記ロボットの動作制御として、前記ロボットの少なくとも一部の部位の移動速度および軌道のうち少なくとも１つの制御を行う
上記（１）ないし（４）のいずれか１つに記載のロボット制御装置。
（６）
前記制御部は、前記測定対象に接触する前に測定された前記距離情報に基づいて前記ロボットの動作制御を行った後、前記測定対象に接触した後に測定された前記触覚情報に基づいて前記ロボットの動作制御の修正を行う
上記（１）ないし（５）のいずれか１つに記載のロボット制御装置。
（７）
前記ロボットは、前記測距センサまたは前記触覚センサが設けられている少なくとも一部の部位が移動可能に構成され、
前記制御部は、前記測距センサまたは前記触覚センサによる前記測定対象の測定が不十分な箇所に前記測距センサの測定点または前記触覚センサの測定点が位置することとなるように、前記測距センサまたは前記触覚センサが設けられている少なくとも一部の部位の動作制御を行う
上記（１）ないし（６）のいずれか１つに記載のロボット制御装置。
（８）
前記ロボットは、前記測定対象としての物体を把持することが可能に構成され、
前記制御部は、前記認識部によって認識された前記測定対象の情報に基づいて、複数の把持点候補点の中から、把持安定性を考慮した把持点を決定し、決定された前記把持点において前記測定対象としての物体を把持することとなるように、前記ロボットの動作制御を行う
上記（１）ないし（７）のいずれか１つに記載のロボット制御装置。
（９）
前記ロボットにおいて、前記測定対象との接触頻度の高い部分に前記触覚センサが設けられ、前記測定対象との接触頻度の低い部分に前記測距センサが設けられている
上記（１）ないし（８）のいずれか１つに記載のロボット制御装置。
（１０）
前記ロボットにおいて、前記触覚センサと前記測距センサとが交互に設けられている
上記（１）ないし（９）のいずれか１つに記載のロボット制御装置。
（１１）
前記ロボットは凸部と凹部とを有し、前記凸部に前記触覚センサが設けられ、前記凹部に前記測距センサが設けられている
上記（１）ないし（１０）のいずれか１つに記載のロボット制御装置。
（１２）
前記凸部は前記測定対象との接触により変形する柔軟材料で構成されている
上記（１１）に記載のロボット制御装置。
（１３）
前記認識部は、前記測定対象における前記測距センサによる測定点と前記触覚センサによる測定点との測定点間の形状を補間により推定する
上記（１）ないし（１２）のいずれか１つに記載のロボット制御装置。
（１４）
前記認識部は、前記測距センサによる測定点に対して前記触覚センサによる測定点の重み付けが大きくなるように測定点の重み付けを行った状態で、前記測定対象の形状推定を行う
上記（１）ないし（１３）のいずれか１つに記載のロボット制御装置。
（１５）
前記認識部は、前記測距センサによる測定点と前記触覚センサによる測定点とに基づいて算出された測定点の確率分布に基づいて、前記測定対象の形状推定を行う
上記（１）ないし（１４）のいずれか１つに記載のロボット制御装置。
（１６）
前記認識部は、前記測距センサおよび前記触覚センサによる前記測定対象の部分的な観測情報に基づいて、前記測定対象の全体的な形状推定を行う
上記（１）ないし（１５）のいずれか１つに記載のロボット制御装置。
（１７）
前記認識部は、あらかじめ用意された複数のテンプレート物体の情報と、前記測距センサおよび前記触覚センサによる前記測定対象の部分的な観測情報とのパターンマッチングを行うことにより、前記測定対象の全体的な形状推定を行う
上記（１）ないし（１６）のいずれか１つに記載のロボット制御装置。
（１８）
前記認識部は、前記測定対象の事前情報と、前記測距センサおよび前記触覚センサによる前記測定対象の部分的な観測情報とのパターンマッチングを行うことにより、前記測定対象の全体的な形状および位置姿勢の推定を行う
上記（１）ないし（１６）のいずれか１つに記載のロボット制御装置。
（１９）
ロボットに設けられた測距センサによって測定された測定対象の距離情報と、前記ロボットに設けられた触覚センサによって測定された前記測定対象の触覚情報とに基づいて前記測定対象の認識を行うことと、
認識された前記測定対象の情報に基づいて、前記ロボットの動作制御を行うことと
を含む
ロボット制御方法。
（２０）
測距センサと触覚センサとが設けられたロボットと、
前記ロボットの制御を行うロボット制御装置と
を含み、
前記ロボット制御装置は、
前記ロボットに設けられた前記測距センサによって測定された測定対象の距離情報と、前記ロボットに設けられた前記触覚センサによって測定された前記測定対象の触覚情報とに基づいて前記測定対象の認識を行う認識部と、
前記認識部によって認識された前記測定対象の情報に基づいて、前記ロボットの動作制御を行う制御部と
を備える
ロボットシステム。
【符号の説明】
【0164】
１…人型ロボット、２…胴体、３…アーム、４…台車（車輪）、５…カメラ（頭部センサ）、１０…ハンド（ロボットハンド）、１１…指、１１Ａ…指（第１指）、１１Ｂ…指（第２指）、２１…測距センサ、２２…触覚センサ、２３…音センサ（マイク）、３１…凹部、３２…凸部、４０…脚式ロボット、４１…脚、５０…物体（測定対象）、５１…物体（テンプレート物体）、５２…（摩擦円錐に囲まれた）領域、６０…ドローン、１００…物体・環境測定部（センサ、センサ信号取得処理部）、１０１…距離情報処理部、１０２…接触情報処理部、１０３…環境・物体形状／姿勢推定部、１０４…追加測定箇所特定部、１０５…環境・物体情報記憶部、１１０…物体・環境認識部（認識部）、１２０…動作制御部（制御部）、２００…動作形態決定部、２０１…軌道演算部、２０２…運動制御部、２０３…アクチュエータ部、３００…動作形態決定部、３０１…動作形態記憶部、３０２…位置姿勢修正部、Ｐｔ…触覚センサ測定点、Ｐｒ…測距センサ測定点、Ｐａ…把持点候補点、Ｐｂ…接触点。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
