特許 7420966 ロボットハンドのワーク持ち方探索装置および該方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】ロボットハンドのワーク持ち方探索装置および該方法

(51)【国際特許分類】

   B25J 13/00 20060101AFI20240116BHJP

   B25J 13/08 20060101ALI20240116BHJP

【ＦＩ】

B25J13/00 Z

B25J13/08 A

【請求項の数】 9

(21)【出願番号】P 2022558688

(86)(22)【出願日】2020-10-28

(86)【国際出願番号】 JP2020040531

(87)【国際公開番号】W WO2022091269

(87)【国際公開日】2022-05-05

【審査請求日】2023-02-08

(73)【特許権者】

【識別番号】000010076

【氏名又は名称】ヤマハ発動機株式会社

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100111453

【弁理士】

【氏名又は名称】櫻井 智

(72)【発明者】

【氏名】飛田 直生

【審査官】仁木 学

(56)【参考文献】

【文献】特開２０１８－１１８３４３（ＪＰ，Ａ）

【文献】特開２０１９－１２３０７５（ＪＰ，Ａ）

【文献】特開２０１６－０８３７０５（ＪＰ，Ａ）

【文献】特開２００３－３４０７６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

(57)【特許請求の範囲】

【請求項1】

ロボットハンドでワークを持つ場合に、置かれているワークの載置状態に対し適した持ち方を見出せるロボットハンドのワーク持ち方探索装置であって、
前記ワークの載置状態に基づいて前記ロボットハンドで前記ワークを持つ持ち方を生成する持ち方生成処理を実行する持ち方生成部と、
前記持ち方生成部で生成した持ち方で前記ワークを前記ロボットハンドで持つ把持処理を実行するハンド制御部と、
前記ロボットハンドで前記ワークを持った後に、所定の運動を前記ロボットハンドに実施させる運動実施処理を実行する運動実施部と、
前記運動実施部で前記ロボットハンドに前記所定の運動させた後に、前記持ち方を評価する評価指標を求める評価指標処理を実行する評価指標部と、
前記持ち方生成部、前記ハンド制御部、前記運動実施部および前記評価指標部それぞれに、前記持ち方生成処理、前記把持処理、前記運動実施処理および前記評価指標処理を、所定の複数回、実行させる繰返し処理部とを備え、
前記持ち方生成部は、前記所定の複数回の実行において、異なる持ち方を生成し、
さらに、前記ロボットハンドで持った前記ワークの姿勢を検出する姿勢検出部を備え、
前記評価指標部は、前記所定の運動を実施する前に前記姿勢検出部で検出した前記ワークの姿勢である運動前姿勢、および、前記所定の運動を実施した後に前記姿勢検出部で検出した前記ワークの姿勢である運動後姿勢に基づいて前記評価指標を求める、
ロボットハンドのワーク持ち方探索装置。

【請求項2】

ロボットハンドでワークを持つ場合に、置かれているワークの載置状態に対し適した持ち方を見出せるロボットハンドのワーク持ち方探索装置であって、
前記ワークの載置状態に基づいて前記ロボットハンドで前記ワークを持つ持ち方を生成する持ち方生成処理を実行する持ち方生成部と、
前記持ち方生成部で生成した持ち方で前記ワークを前記ロボットハンドで持つ把持処理を実行するハンド制御部と、
前記ロボットハンドで前記ワークを持った後に、所定の運動を前記ロボットハンドに実施させる運動実施処理を実行する運動実施部と、
前記運動実施部で前記ロボットハンドに前記所定の運動させた後に、前記持ち方を評価する評価指標を求める評価指標処理を実行する評価指標部と、
前記持ち方生成部、前記ハンド制御部、前記運動実施部および前記評価指標部それぞれに、前記持ち方生成処理、前記把持処理、前記運動実施処理および前記評価指標処理を、所定の複数回、実行させる繰返し処理部とを備え、
前記持ち方生成部は、前記所定の複数回の実行において、異なる持ち方を生成し、
前記評価指標を求めるための複数の特徴点が前記ワークに設定され、
前記複数の特徴点それぞれに前記評価指標を求める際の重みが設定され、
前記評価指標部は、前記複数の特徴点それぞれについて前記重みを用いて各評価指標を求める、
ロボットハンドのワーク持ち方探索装置。

【請求項3】

前記評価指標部は、さらに、前記複数の特徴点それぞれについて求めた各評価指標の平均値を最終的な評価指標として求める、
請求項２に記載のロボットハンドのワーク持ち方探索装置。

【請求項4】

さらに、前記所定の運動を入力する入力部を備え、
前記運動実施部は、前記入力部で入力された前記所定の運動を実施する、
請求項１ないし請求項３の何れか１項に記載のロボットハンドのワーク持ち方探索装置。

【請求項5】

さらに、前記持ち方生成部で生成した持ち方、前記所定の運動、および、前記評価指標部で求めた評価指標に基づいて前記持ち方を機械学習する機械学習部を備え、
前記繰返し処理部は、前記所定の複数回の実行において、さらに、前記機械学習部に機械学習させる、
請求項１ないし請求項４の何れか１項に記載のロボットハンドのワーク持ち方探索装置。

【請求項6】

前記機械学習は、Ｑ学習の強化学習であり、
前記機械学習部は、機械学習後の運用中も、機械学習中の学習率よりも低い学習率で機械学習する、
請求項５に記載のロボットハンドのワーク持ち方探索装置。

【請求項7】

機械学習後の運用中では、前記持ち方生成部に代え、前記機械学習部が前記ワークの載置状態に基づいて前記持ち方を生成し、
前記機械学習後の運用中において、前記ロボットハンドで前記ワークを持つごとに、前記機械学習部で生成した持ち方、前記運用での運動、および、前記評価指標部で求めた評価指標を互いに対応付けて記憶する実績情報記憶部をさらに備え、
前記機械学習部は、前記機械学習後の所定のタイミングで、前記実績情報記憶部に互いに対応付けて記憶された前記機械学習部で生成した持ち方、前記運用での運動、および、前記評価指標部で求めた評価指標を用いて再機械学習する、
請求項５に記載のロボットハンドのワーク持ち方探索装置。

【請求項8】

ロボットハンドでワークを持つ場合に、置かれているワークの載置状態に対し適した持ち方を見出せるロボットハンドのワーク持ち方探索方法であって、
前記ワークの載置状態に基づいて前記ロボットハンドで前記ワークを持つ持ち方を生成する持ち方生成工程と、
前記持ち方生成工程で生成した持ち方で前記ワークを前記ロボットハンドで持つハンド制御工程と、
前記ロボットハンドで前記ワークを持った後に、所定の運動を前記ロボットハンドに実施させる運動実施工程と、
前記運動実施工程で前記ロボットハンドに前記所定の運動させた後に、前記持ち方を評価する評価指標を求める評価指標工程とを備え、
前記持ち方生成工程、前記ハンド制御工程、前記運動実施工程および前記評価指標工程を、所定の複数回、実行し、
前記持ち方生成工程は、前記所定の複数回の実行において、異なる持ち方を生成し、
さらに、前記ロボットハンドで持った前記ワークの姿勢を検出する姿勢検出工程を備え、
前記評価指標工程は、前記所定の運動を実施する前に前記姿勢検出工程で検出した前記ワークの姿勢である運動前姿勢、および、前記所定の運動を実施した後に前記姿勢検出工程で検出した前記ワークの姿勢である運動後姿勢に基づいて前記評価指標を求める、
ロボットハンドのワーク持ち方探索方法。

【請求項9】

ロボットハンドでワークを持つ場合に、置かれているワークの載置状態に対し適した持ち方を見出せるロボットハンドのワーク持ち方探索方法であって、
前記ワークの載置状態に基づいて前記ロボットハンドで前記ワークを持つ持ち方を生成する持ち方生成工程と、
前記持ち方生成工程で生成した持ち方で前記ワークを前記ロボットハンドで持つハンド制御工程と、
前記ロボットハンドで前記ワークを持った後に、所定の運動を前記ロボットハンドに実施させる運動実施工程と、
前記運動実施工程で前記ロボットハンドに前記所定の運動させた後に、前記持ち方を評価する評価指標を求める評価指標工程とを備え、
前記持ち方生成工程、前記ハンド制御工程、前記運動実施工程および前記評価指標工程を、所定の複数回、実行し、
前記持ち方生成工程は、前記所定の複数回の実行において、異なる持ち方を生成し、
前記評価指標を求めるための複数の特徴点が前記ワークに設定され、
前記複数の特徴点それぞれに前記評価指標を求める際の重みが設定され、
前記評価指標工程は、前記複数の特徴点それぞれについて前記重みを用いて各評価指標を求める、
ロボットハンドのワーク持ち方探索方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットハンドでワークを持つ場合に、より適した持ち方を見出せるロボットハンドのワーク持ち方探索装置およびワーク持ち方探索方法に関する。

【背景技術】

【0002】

近年、省人化や効率向上等のために、様々な産業分野でロボットの導入が進んでいる。前記導入に当たって、ロボットがそのロボットハンドでワークを確実に持つことができることが重要な要件の１つである。このロボットハンドでワークを持つ技術として、例えば、特許文献１に開示された技術がある。

【0003】

この特許文献１に開示された機械学習装置は、バラ積みされた状態を含む、乱雑に置かれた複数のワークからハンド部によって前記ワークを取り出すロボットの動作を学習する機械学習装置であって、前記ワーク毎の少なくとも三次元マップを計測する三次元計測器の出力データを観測する状態量観測部と、前記ハンド部によって前記ワークを取り出す前記ロボットの取り出し動作の結果を取得する動作結果取得部と、前記状態量観測部からの出力および前記動作結果取得部からの出力を受け取って、前記ワークの前記取り出し動作を学習する学習部と、を備え、前記状態量観測部は、さらに、前記三次元計測器の出力に基づいて、前記ワーク毎の三次元位置を計算する座標計算部の出力データも観測し、前記学習部（２２）は、前記動作結果取得部の出力である前記ワークの取り出しの成否の判定結果に基づいて報酬を計算する報酬計算部と、前記ワークの前記取り出し動作の価値を定める価値関数を有し、前記報酬に応じて前記価値関数を更新する価値関数更新部と、を備える。前記特許文献１によれば、この機械学習装置は、バラ積みされた状態を含む、乱雑に置かれたワークを取り出すときのロボットの最適な動作を人間の介在無しに学習でき、乱雑に置かれた複数のワークからハンド部によって前記ワークを取り出すことができる。

【0004】

ところで、例えば、ワークが、ぬいぐるみ、人形、はさみおよび本等の、可動部分や回転軸を持つものである場合、ロボットハンドが前記ワークを掴んだ後に、前記ワークの姿勢や形状が変化してしまう虞がある。また例えば、ワークが、ボルト、カンおよびビン等の、低い摩擦力の箇所を有する滑り易いものである場合や、ワークが、偏った重心を有する箱等の、回転やずれを生じ易いものである場合、ロボットハンドが前記ワークを掴んだ後に、前記ワークの姿勢が変化してしまう虞がある。

【0005】

ロボットハンドがワークを掴んだ後に、前記ワークの姿勢や形状が変化してしまうと、例えば、前記ワークを組み付ける場合、位置合わせに不都合が生じ、前記組み付けが難しくなってしまう。また例えば、前記ワークがロボットハンドによって所定の場所に置かれた場合、姿勢変化により想定の姿勢で置かれなくなるため、次工程のロボットハンドが前記ワークを掴めなくなってしまう虞や掴み方の自由度が低減してしまう虞がある。

【0006】

前記特許文献１に開示された機械学習装置は、乱雑に置かれた複数のワークからハンド部によって前記ワークを取り出すことができるが、掴んだ後におけるワークの姿勢変化を考慮していない。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１７－０６４９１０号公報

【発明の概要】

【0008】

本発明は、上述の事情に鑑みて為された発明であり、その目的は、ロボットハンドでワークを持つ場合に、掴んだ後におけるワークの姿勢変化を低減できる持ち方を見出せるロボットハンドのワーク持ち方探索装置およびワーク持ち方探索方法を提供することである。

【0009】

本発明にかかる、ロボットハンドのワーク持ち方探索装置およびワーク持ち方探索方法は、ワークの載置状態に基づいてロボットハンドでワークを持つ持ち方を生成し、この生成した持ち方で前記ワークを前記ロボットハンドで持ち、その後に、所定の運動を前記ロボットハンドに実施させた後に、前記持ち方を評価する評価指標を求める処理を、異なる持ち方を生成しながら、所定の複数回、実行する。これにより、上記ロボットハンドのワーク持ち方探索装置および該方法は、ワークの載置状態に対し、様々な複数の持ち方に対する複数の評価指標を求めることができるから、前記ワークの載置状態に対し、ロボットハンドでワークを持つ場合に、掴んだ後におけるワークの姿勢変化を低減できる持ち方を見出せる。

【0010】

上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。

【図面の簡単な説明】

【0011】

【図1】実施形態におけるロボットハンドのワーク持ち方探索装置の構成を示すブロック図である。

【図2】前記ワーク持ち方探索装置で用いられる評価指標の一例を説明するための図である。

【図3】評価指標の演算および機械学習に関する前記ワーク持ち方探索装置の全体的な動作を示すフローチャートである。

【図4】評価指標の演算に関する前記ワーク持ち方探索装置の動作を示すフローチャートである。

【図5】ロボットハンドでワークを持った様子を説明するための図である。

【図6】前記ワークに設定される特徴点を説明するための図である。

【図7】一例として、姿勢変化が無い場合において、評価指標の演算手法を説明するための図である。

【図8】他の一例として、姿勢変化が有る場合において、評価指標の演算手法を説明するための図である。

【図9】ワークに評価指標を求める部分を制限する変形形態を説明するための図である。

【図10】一例として、制限部分で姿勢変化が無い場合において、評価指標の演算手法を説明するための図である。

【図11】他の一例として、制限部分で姿勢変化が有る場合において、評価指標の演算手法を説明するための図である。

【図12】ロボットハンドでワークを持った後に実施される所定の運動を入力して設定する他の変形形態において、運動入力画面を説明するための図である。

【図13】一連のロボット動作における持ち方を見出す他の変形形態を説明するための図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して、本発明の１または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

【0013】

実施形態におけるロボットハンドのワーク持ち方探索装置は、ロボットハンドでワークを持つ場合に、置かれているワークの載置状態に対し適した持ち方を見出せる装置である。このワーク持ち方探索装置は、前記ワークの載置状態に基づいて前記ロボットハンドで前記ワークを持つ持ち方を生成する持ち方生成処理を実行する持ち方生成部と、前記持ち方生成部で生成した持ち方で前記ワークを前記ロボットハンドで持つ把持処理を実行するハンド制御部と、前記ロボットハンドで前記ワークを持った後に、所定の運動を前記ロボットハンドに実施させる運動実施処理を実行する運動実施部と、前記運動実施部で前記ロボットハンドに前記所定の運動させた後に、前記持ち方を評価する評価指標を求める評価指標処理を実行する評価指標部と、前記持ち方生成部、前記ハンド制御部、前記運動実施部および前記評価指標部それぞれに、前記持ち方生成処理、前記把持処理、前記運動実施処理および前記評価指標処理を、所定の複数回、実行させる繰返し処理部とを備え、前記持ち方生成部は、前記所定の複数回の実行において、異なる持ち方を生成する。そして、本実施形態では、前記ワーク持ち方探索装置は、前記持ち方生成部で生成した持ち方、および、前記評価指標部で求めた評価指標に基づいて前記持ち方を機械学習する機械学習部を備え、前記繰り返し処理部は、前記所定の複数回の実行において、さらに、前記機械学習部に機械学習させる。このようなワーク持ち方探索装置について、以下、より具体的に説明する。

【0014】

図１は、実施形態におけるロボットハンドのワーク持ち方探索装置の構成を示すブロック図である。図２は、前記ワーク持ち方探索装置で用いられる評価指標の一例を説明するための図である。

【0015】

実施形態におけるロボットハンドのワーク持ち方探索装置（以下、「ワーク持ち方探索装置」と適宜に略記する）Ｄは、例えば、図１に示すように、ロボット１と、第１ワーク検出部２と、第２ワーク検出部３と、制御処理部４と、入力部５と、出力部６と、インターフェース部（ＩＦ部）７と、記憶部８とを備える。

【0016】

ロボット１は、制御処理部４に接続され、制御処理部４の制御に従って、所定の作業（動作、運動）を行う機械装置であり、例えば、ロボット本体１１と、ロボットハンド１２とを備える。ロボット本体１１は、例えば、制御処理部４に接続され、制御処理部４の制御に従って動く６軸多関節型ロボットであり、その先端部分に、ロボットハンド１２を備える。ロボットハンド１２は、ロボット本体１１を介して制御処理部４に接続され、制御処理部４の制御に従ってワークＷＫを持ったり、放したりできる機構である。ロボットハンド１２は、例えば、後述の図５に示すように、一対の第１および第２指部１２１、１２２と、これら第１および第２指部を支持する支持部１２３と、支持部１２３とロボット本体１１の前記先端部分とを繋ぐ連結部１２４とを備える。この図５に示す例では、第１および第２指部１２１、１２２は、それぞれ、一方向に延びた板状部材である。支持部１２３は、少なくとも第１および第２指部１２１、１２２の各一方端部（例えば各先端部分）を離接可能に、第１および第２指部１２１、１２２の各他方端部（例えば各元部分）で、連結されている。ロボットハンド１２は、第１および第２指部１２１、１２２の各一方端部を接近させることで、所定の把持力でワークＷＫを持つことができ、第１および第２指部１２１、１２２の各一方端を離すことで、ワークＷＫを放すことができる。連結部１２４の一方端は、支持部１２３に連結され、その他方端は、図示を省略するが、回転可能にロボット本体１１の前記先端部分に連結されている。ロボットハンド１２は、連結部１２４を回転軸にロボット本体１１に対し回転できる。

【0017】

第１ワーク検出部２は、制御処理部４に接続され、制御処理部４の制御に従って、ロボットハンド１２で持ったワークＷＫを検出する装置である。第１ワーク検出部２は、例えば、撮像装置（いわゆるデジタルカメラ）や、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等である。

【0018】

第２ワーク検出部３は、制御処理部４に接続され、制御処理部４の制御に従って、載置台に置かれたワークＷＫを検出する装置である。第２ワーク検出部３は、第１ワーク検出部２と同様に、例えば、撮像装置や、ＬｉＤＡＲ等である。このため、検出方向（撮像方向や走査方向）を変更可能に構成することによって、第１ワーク検出部２および第２ワーク検出部３は、兼用され、１個の撮像装置やＬｉＤＡＲ等で構成してもよい。

【0019】

入力部５は、制御処理部４に接続され、例えば当該ワーク持ち方探索装置Ｄの動作開始を指示するコマンド等の各種コマンド、および、ワーク持ち方探索装置Ｄの稼働を行う上で必要な各種データをワーク持ち方探索装置Ｄに入力する装置であり、例えば、所定の機能を割り付けられた複数の入力スイッチ、キーボードおよびマウス等である。

【0020】

出力部６は、制御処理部４に接続され、制御処理部４の制御に従って、入力部５から入力されたコマンドやデータ、および、ワークＷＫを持って所定の運動を行うことによって求められた評価指標ＥＶ等を出力する装置であり、例えばＣＲＴディスプレイ、ＬＣＤ（液晶表示装置）および有機ＥＬディスプレイ等の表示装置やプリンタ等の印刷装置等である。

【0021】

なお、入力部５および出力部６は、タッチパネルより構成されてもよい。このタッチパネルを構成する場合において、入力部５は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部６は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置に触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容としてワーク持ち方探索装置Ｄに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易いワーク持ち方探索装置Ｄが提供される。

【0022】

ＩＦ部７は、制御処理部４に接続され、制御処理部４の制御に従って、例えば、外部の機器との間でデータを入出力する回路であり、例えば、シリアル通信方式であるＲＳ－２３２Ｃのインターフェース回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、および、ＵＳＢ規格を用いたインターフェース回路等である。また、ＩＦ部７は、例えば、データ通信カードや、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路等の、外部の機器と通信信号を送受信する通信インターフェース回路であってもよい。

【0023】

記憶部８は、制御処理部４に接続され、制御処理部４の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、制御処理プログラム等が含まれ、前記制御処理プログラムには、ワーク持ち方探索装置Ｄの各部１～３、５～８を当該各部の機能に応じてそれぞれ制御する制御プログラムや、第２ワーク検出部３の検出結果に基づいて例えば載置台等に置かれているワークＷＫの載置状態を認識するワーク認識プログラムや、第１ワーク検出部２の検出結果に基づいてロボットハンド１２で持っているワークＷＫの姿勢を認識するワーク姿勢認識プログラムや、前記ワークＷＫの載置状態に基づいてロボットハンド１２でワークＷＫを持つ持ち方を生成する持ち方生成処理を実行する持ち方生成プログラムや、前記持ち方生成プログラムで生成した持ち方でワークＷＫをロボットハンド１２で持つ把持処理を実行し、ロボットハンド１２でワークＷＫを持った後に、所定の運動をロボットハンド１２に実施させる運動実施処理を実行するロボット制御プログラムや、前記ロボット制御プログラムでロボットハンド１２に前記所定の運動させた後に、前記持ち方を評価する評価指標ＥＶを求める評価指標処理を実行する評価指標プログラムや、前記持ち方生成処理、前記把持処理、前記運動実施処理および前記評価指標処理を、所定の複数回、実行する繰返し処理プログラム等が含まれる。本実施形態では、前記制御処理プログラムには、さらに、前記持ち方生成プログラムで生成した持ち方、前記所定の運動、および、前記評価指標プログラムで求めた評価指標に基づいて前記持ち方を機械学習する機械学習プログラムが含まれ、前記繰返し処理プログラムは、前記所定の複数回の実行において、さらに、前記機械学習プログラムに機械学習させる。前記各種の所定のデータには、指標変換情報や、運動情報や、実績情報等の各プログラムを実行する上で必要なデータ等が含まれる。記憶部８は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。記憶部８は、比較的大容量のハードディスク装置を備えてよい。記憶部８は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部４のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。そして、前記指標変換情報、運動情報および実績情報それぞれを記憶するために。記憶部８は、指標変換情報記憶部８１，運動情報記憶部８２および実績情報記憶部８３を機能的に備える。

【0024】

指標変換情報記憶部８１は、指標変換情報を記憶するものである。前記指標変換情報は、持ち方を評価する評価指標ＥＶを求める際に用いられる情報である。本実施形態では、前記評価指標ＥＶは、前記所定の運動を実施する前におけるワークＷＫの姿勢である運動前姿勢、および、前記所定の運動を実施した後における前記ワークＷＫの姿勢である運動後姿勢に基づいて求められる。より具体的には、前記評価指標ＥＶは、前記運動前姿勢に対する前記運動後姿勢のずれ量に基づいて求められる。このため、前記指標変換情報は、前記運動前姿勢と前記運動後姿勢とのずれ量と前記評価指標ＥＶの値とを対応付けた情報であってよいが、本実施形態では、前記評価指標ＥＶが重みＷＴで重み付けされて求められるので、前記指標変換情報は、前記運動前姿勢と前記運動後姿勢とのずれ量と前記重み付け前の評価指標ｅｖの値とを対応付けた情報である。前記指標変換情報は、前記評価指標プログラムに組み込まれることで、指標変換情報記憶部８１に記憶されてよく、あるいは、入力部５からユーザ（オペレータ）によって入力されることで、指標変換情報記憶部８１に記憶されてよい。一例では、図２に示すように、ズレ量が略無い場合（（ずれ量）＜１［ｍｍ］）では、評価指標ｅｖは、１００とされ、ズレ量が小さい場合（１［ｍｍ］≦（ずれ量）＜５［ｍｍ］）では、評価指標ｅｖは、７０とされ、ズレ量が中程度である場合（５［ｍｍ］≦（ずれ量）≦１０［ｍｍ］）では、評価指標ｅｖは、４０とされ、ズレ量が大きい場合（１０［ｍｍ］、（ずれ量））では、評価指標ｅｖは、０とされ、ロボットハンド１２がワークＷＫを掴み損ねたり落としたり等のズレ量が検出不能である場合（特徴点検出不能（失敗））では、評価指標ｅｖは、－５０とされる。

【0025】

運動情報記憶部８２は、前記所定の運動を表す運動情報を記憶するものである。前記所定の運動は、例えば、ロボットハンド１２を所定の一方向に所定の速度で所定の時間だけ移動する速度運動、ロボットハンド１２を所定の一方向に所定の加速度で所定の時間だけ移動する加速度運動、ロボットハンド１２を所定の角度範囲で所定の速度（または所定の角速度）または所定の加速度（または所定の角加速度）で所定の時間だけ回転する回転運動、および、前記ロボットハンドを所定の振幅で周波数（または周期）で所定の時間だけ振動する振動運動、のうちの少なくとも１つを含む。前記所定の運動が前記速度運動である場合には、前記運動情報は、所定の一方向、所定の速度および所定の時間である。前記所定の運動が前記加速度運動である場合には、前記運動情報は、所定の一方向、所定の加速度および所定の時間である。前記所定の運動が前記回転運動である場合には、前記運動情報は、所定の振幅、所定の速度（所定の角速度）または所定の加速度（所定の角加速度および所定の時間である。前記所定の運動が前記振動運動である場合には、前記運動情報は、所定の振幅、所定の周波数および所定の時間である。前記運動情報は、予め、適宜に設定され、運動情報記憶部８２に記憶される。

【0026】

実績情報記憶部８３は、実績情報を記憶するものである。前記実績情報は、後述のように、機械学習後に、ロボット１を実際に運用した場合に生じる（得られる）、ワークの載置状態、持ち方および運動（運用での動作）であり、実績情報記憶部８３は、これらを互いに対応付けて実績情報として記憶する。前記持ち方は、ロボットハンド１２でワークＷＫを掴む把持位置および把持力で表される（定義される）。

【0027】

制御処理部４は、ワーク持ち方探索装置Ｄの各部１～３、５～８を当該各部の機能に応じてそれぞれ制御し、様々な持ち方で評価指標ＥＶを求め、本実施形態では、さらに機械学習するための回路である。制御処理部４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成される。制御処理部４は、前記制御処理プログラムが実行されることによって、制御部４１、ワーク認識部４２、持ち方生成部４３、ロボット制御部４４、ワーク姿勢認識部４５、評価指標部４６、機械学習部４７および繰返し処理部４８を機能的に備える。

【0028】

制御部４１は、ワーク持ち方探索装置Ｄの各部１～３、５～８を当該各部の機能に応じてそれぞれ制御し、ワーク持ち方探索装置Ｄの全体制御を司るものである。

【0029】

ワーク認識部４２は、第２ワーク検出部３の検出結果に基づいて例えば載置台等に置かれているワークＷＫの載置状態を認識するものである。例えば、第２ワーク検出部３が撮像装置である場合に、ワーク認識部４２は、前記撮像装置で撮像したワークＷＫの画像（第１ワーク画像）からエッジを抽出することによって、ワークＷＫの輪郭を検出してワークＷＫの載置状態を認識する。

【0030】

持ち方生成部４３は、ワークＷＫの載置状態に基づいてロボットハンド１２でワークＷＫを持つ持ち方を生成する持ち方生成処理を実行するものである。例えば、持ち方生成部４３は、前記ワークＷＫの載置状態に対し、ロボットハンド１２で可能な把持範囲（図５に示す例では第１および第２指部１２１、１２２の最大間隔以下の範囲）内において無作為（ランダム）に、ロボットハンド１２でワークＷＫを掴む把持位置を設定し、ロボットハンド１２で可能な把持力範囲内において無作為（ランダム）に、ロボットハンド１２でワークＷＫを持つ把持力を設定することで、持ち方（把持位置および把持力）を生成する。

【0031】

ロボット制御部４４は、ロボット１が所定の作業を実施するように、ロボット１を制御するものである。前記所定の作業には、持ち方生成部４３で生成した持ち方でワークＷＫをロボットハンド１２で持つ把持処理、および、ロボットハンド１２でワークＷＫを持った後に、運動情報記憶部８２に記憶された運動情報で表される所定の運動をロボットハンド１２に実施させる運動実施処理が含まれる。すなわち、本実施形態では、ロボット制御部４４は、前記把持処理を実行し、前記運動実施処理を実行する。なお、ロボット制御部４４は、前記持ち方生成部で生成した持ち方で前記ワークを前記ロボットハンドで持つ把持処理を実行するハンド制御部の一例に相当し、そして、前記ロボットハンドで前記ワークを持った後に、所定の運動を前記ロボットハンドに実施させる運動実施処理を実行する運動実施部の一例にも相当する。

【0032】

ワーク姿勢認識部４５は、第１ワーク検出部２の検出結果に基づいてロボットハンド１２で持っているワークＷＫの姿勢を認識するものである。例えば、第１ワーク検出部２が撮像装置である場合に、ワーク姿勢認識部４５は、前記撮像装置で撮像したワークＷＫの画像（第２ワーク画像）からエッジを抽出することによって、ワークＷＫの輪郭を検出してワークＷＫの姿勢を認識する。本実施形態では、評価指標ＥＶは、後述するように、ワークＷＫに設定された複数の特徴点ＳＭにおける各ずれ量に基づいて求められるので、ワーク姿勢認識部４５は、前記ワークＷＫの輪郭から複数の特徴点ＳＭを抽出し、これら複数の特徴点ＳＭの各位置を求めることでワークＷＫの姿勢を認識する。前記複数の特徴点ＳＭは、ワークＷＫの姿勢を表せるように。適宜に設定される。例えば、ワークＷＫの可動部分ごとに特徴点が設定される。なお、第１ワーク検出部２およびワーク姿勢認識部４５は、前記ロボットハンドで持った前記ワークの姿勢を検出する姿勢検出部の一例に相当する。本実施形態では、ワーク姿勢認識部４５は、さらに、ロボットハンド１２がワークＷＫを把持しているか否かを判定する。ワーク姿勢認識部４５は、例えば、前記撮像装置で撮像したワークＷＫの画像にワークＷＫ（ワークＷＫの一部または全部）が写り込んでいるか否かを判定することによって、ロボットハンド１２がワークＷＫを把持しているか否かを判定できる。この場合では、ワークＷＫの形状が予め記憶部８に記憶され、ワークＷＫの画像から前記ワークＷＫの形状が探索され、ワークＷＫの画像にワークＷＫが写り込んでいるか否かの判定に前記ワークＷＫの形状が利用される。

【0033】

評価指標部４６は、ロボット制御部でロボットハンド１２に前記所定の運動させた後に、前記持ち方を評価する評価指標ＥＶを求める評価指標処理を実行するものである。より具体的には、本実施形態では、評価指標部４６は、運動前姿勢および運動後姿勢に基づいて前記評価指標ＥＶを求める。前記運動前姿勢は、前記所定の運動を実施する前に、第１ワーク検出部２の検出結果に基づいてワーク姿勢認識部４５で認識したワークＷＫの姿勢である。前記運動後姿勢は、前記所定の運動を実施した後に、第１ワーク検出部２の検出結果に基づいてワーク姿勢認識部４５で認識したワークＷＫの姿勢である。より詳しくは、評価指標部４６は、運動前姿勢に対する運動後姿勢のずれ量を求め、この求めたずれ量を評価指標ＥＶに換算する。本実施形態では、前記評価指標ＥＶを求めるための複数の特徴点ＳＭがワークＷＫに設定され、ロボット１の作業目的に応じて、姿勢変化を許容し難いワークＷＫの部分や、姿勢変化を許容し易いワークＷＫの部分等の、各特徴点ＳＭの重要度が異なる観点から、前記複数の特徴点ＳＭそれぞれに前記評価指標ＥＶを求める際の重みＷＴが設定され、前記複数の特徴点ＳＭそれぞれについて前記重みＷＴを用いて各評価指標ＥＶが求められる。このため、本実施形態では、評価指標部４６は、複数の特徴点ＳＭそれぞれについて、互いに対応する、ワーク姿勢認識部４５で認識したワークＷＫの運動前姿勢における特徴点ＳＭの位置と、ワーク姿勢認識部４５で認識したワークＷＫの運動後姿勢における特徴点ＳＭの位置とのずれ量を求め、この求めた特徴点ＳＭのずれ量を、指標変換情報記憶部８１に記憶されている指標変換情報に用いて前記重み付け前の評価指標ｅｖに変換し、これによって複数の特徴点ＳＭにおける複数の一時的な評価指標ＥＶｔを求める。そして、評価指標部４６は、複数の特徴点ＳＭそれぞれについて、当該特徴点ＳＭに対応する重みＷＴを、当該特徴点ＳＭの一時的な評価指標ＥＶｔに乗算することによって、前記複数の特徴点ＳＭにおける各評価指標ＥＶを求める。さらに、本実施形態では、評価指標部４６は、前記複数の特徴点ＳＭそれぞれについて求めた各評価指標ＥＶの平均値を最終的な評価指標ＥＶｒとして求める。

【0034】

機械学習部４７は、持ち方生成部４３で生成した持ち方、前記所定の運動、および、評価指標部４６で求めた評価指標ＥＶ（本実施形態では最終的な評価指標ＥＶｒ）に基づいて前記持ち方を機械学習するものである。本実施形態では、機械学習には、いわゆるＱ学習の強化学習が利用される。強化学習では、その時点で貰える報酬ではなく、将来にわたる価値が最大化される。Ｑ学習は、一般に、次式１によって表される。

【0035】

【数1】

【0036】

ここで、Ｑ（ｓ、ａ）は、状態ｓにおいて、行動ａをとった場合の価値（Ｑ値）である。ｓは、時刻ｔの状態であり、ｓ’は、時刻ｔ＋１の状態である。ａは、時刻ｔの行動であり、ａ’は、時刻ｔ＋１の行動である。状態ｓは、行動ａにより状態ｓ’に変化する。Ｒ（ｓ、ａ）は、その状態変化により得られる報酬（状態ｓにおいて、行動ａをとった場合に得られる報酬）である。ａ’を下部に付したｍａｘＱ（ｓ’、ａ’）は、現在推定される価値の最大値である。αは、学習率（０＜α≦１）であり、γは、割引率（０＜γ≦１）である。

【0037】

本実施形態では、状態ｓに前記所定の運動を割り当て、行動ａに前記持ち方（把持位置および把持力）を割り当て、報酬Ｒに前記最終的な評価指標ＥＶｒを割り当てることで、Ｑ学習が利用される。学習率αおよび割引率γは、適宜に設定され、例えば、学習率αは、０．１や０．２等に設定され、割引率γは、０．８や０．９等に設定される。

【0038】

機械学習部４７には、機械学習により、ワークＷＫの載置状態および前記所定の運動に対する持ち方を出力する機械学習モデルが生成される。

【0039】

繰返し処理部４８は、前記持ち方生成処理、前記把持処理、前記運動実施処理および前記評価指標処理を、予め設定された所定の複数回（評価回数、機械学習回数）、実行させるものである。本実施形態では、さらに、繰返し処理部４８は、前記所定の複数回の実行において、さらに、機械学習部４７に機械学習させる。持ち方生成部４３は、前記所定の複数回の実行において、異なる持ち方を生成する。本実施形態では、上述のように、無作為（ランダム）に持ち方が生成されることで、前記所定の複数回の実行において、異なる持ち方が生成される。なお、持ち方が無作為に生成されるので、偶然、同じ持ち方が生成されることがあり得るが、繰り返し実行する回数を大きくすることで、無視できる。

【0040】

これらワーク持ち方探索装置Ｄにおける制御処理部４、入力部５、出力部６、ＩＦ部７および記憶部８は、例えば、タワー型やデスクトップ型等のコンピュータによって構成可能である。

【0041】

次に、ワーク持ち方探索装置Ｄの動作について説明する。図３は、評価指標の演算および機械学習に関する前記ワーク持ち方探索装置の全体的な動作を示すフローチャートである。図４は、評価指標の演算に関する前記ワーク持ち方探索装置の動作を示すフローチャートである。図５は、ロボットハンドでワークを持った様子を説明するための図である。図６は、前記ワークに設定される特徴点を説明するための図である。図６Ａは、ワークＷＫを示し、図６Ｂは、図６Ａに示すワークＷＫに設定される６個の第１ないし第６特徴点ＳＭ１～ＳＭ６を示す。図７は、一例として、姿勢変化が無い場合において、評価指標の演算手法を説明するための図である。図７Ａは、紙面左側に運動前姿勢における６個の特徴点ＳＭ１ｂ～ＳＭ６ｂを示し、紙面右側に運動後姿勢における６個の特徴点ＳＭ１ａ～ＳＭ６ａを示す。図７Ｂは、第１ないし第６特徴点ＳＭ１～ＳＭ６における各一時的な評価指標（一時評価指標）および各評価指標、ならびに、第１持ち方におけるワークＷＫの最終的な評価指標を示す。図８は、他の一例として、姿勢変化が有る場合において、評価指標の演算手法を説明するための図である。図８Ａは、紙面左側に運動前姿勢における６個の特徴点ＳＭ１ｂ～ＳＭ６ｂを示し、紙面右側に運動後姿勢における６個の特徴点ＳＭ１ａ～ＳＭ６ａを示す。図８Ｂは、第１ないし第６特徴点ＳＭ１～ＳＭ６における各一時的な評価指標（一時評価指標）および各評価指標、ならびに、第２持ち方におけるワークＷＫの最終的な評価指標を示す。

【0042】

上記構成のワーク持ち方探索装置Ｄは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。ワーク持ち方探索装置Ｄでは、その制御処理プログラムの実行によって、制御処理部４には、制御部４１、ワーク認識部４２、持ち方生成部４３、ロボット制御部４４、ワーク姿勢認識部４５、評価指標部４６、機械学習部４７および繰返し処理部４８が機能的に構成される。

【0043】

なお、説明の簡単化のため、ここでは、前記所定の運動は、ロボットハンド１２を所定の一方向に所定の速度で所定の時間だけ移動する速度運動であり、運動情報として運動情報記憶部８２に記憶されているとする。また、前記所定の運動に対応付けて持ち方生成部４３で生成される持ち方の範囲（把持範囲および把持力範囲）が設定（制限）されてもよい。また、繰返し処理部４８が繰り返す回数も記憶部８に記憶されているとする。

【0044】

まず、載置台等にワークＷＫが所定の載置状態で置かれる。例えば、ユーザ（オペレータ）によってワークＷＫが前記所定の載置状態で置かれる。あるいは、例えば、他のロボットが用意され、前記他のロボットによってワークＷＫが前記所定の載置状態で置かれる。このため、このワークＷＫの持ち方探索処理や機械学習では、第２ワーク検出部３およびワーク認識部４２が省略できる。なお、前記所定の載置状態は、記憶部８に予め記憶される。

【0045】

続いて、図３において、ワーク持ち方探索装置Ｄは、制御処理部４の持ち方生成部４３によって、前記ワークＷＫの載置状態に基づいてロボットハンド１２でワークＷＫを持つ持ち方を生成する持ち方生成処理を実行する（Ｓ１）。より具体的には、持ち方生成部４３は、前記ワークＷＫの載置状態に対し、無作為にワークＷＫの持ち方（把持位置および把持力）を生成する。一例では、ワークＷＫは、図６Ａに示す人型の人形である。

【0046】

次に、ワーク持ち方探索装置Ｄは、制御処理部４のロボット制御部４４によって、処理Ｓ１で持ち方生成部４３によって生成した持ち方でワークＷＫをロボットハンド１２で持つ把持処理を実施する（Ｓ２）。例えば、図５に示すように、人形のワークＷＫがロボットハンド１２によってその体幹で把持される。

【0047】

次に、ワーク持ち方探索装置Ｄは、第１ワーク検出部２によって、処理Ｓ２で把持されたワークＷＫを検出する（Ｓ３）。例えば、図６Ａに示す人形のワークＷＫに対し、第１ワーク検出部２によって、ワークＷＫの画像が生成される。

【0048】

次に、ワーク持ち方探索装置Ｄは、制御処理部４のワーク姿勢認識部４５によって、処理Ｓ２によってロボットハンド１２がワークＷＫを把持しているか否かを判定する（Ｓ４）。より具体的には、ワーク姿勢認識部４５は、処理Ｓ３における運動前のワークＷＫの検出結果に基づいてロボットハンド１２がワークＷＫを把持しているか否かを判定する。より詳しくは、ワーク姿勢認識部４５は、処理Ｓ３で運動前のワークＷＫが検出されている場合、この例ではワークＷＫの画像にワークＷＫ（ワークＷＫの一部または全部）が写り込んでいる場合には、ロボットハンド１２がワークＷＫを把持していると判定し（Ｙｅｓ）、ワーク持ち方探索装置Ｄは、次に、処理Ｓ５を実行する。一方、評価指標部４６は、処理Ｓ３で運動前のワークＷＫが検出されていない場合、この例ではワークＷＫの画像にワークＷＫが写り込んでいない場合には、ロボットハンド１２がワークＷＫを把持していないと判定し（Ｙｅｓ）、ワーク持ち方探索装置Ｄは、次に、処理Ｓ９を実行する。

【0049】

前記処理Ｓ５では、ワーク持ち方探索装置Ｄは、制御処理部４のロボット制御部４４によって、運動情報記憶部８２に記憶された運動情報で表される所定の運動をロボットハンド１２に実施させる運動実施処理を実行する。

【0050】

次に、ワーク持ち方探索装置Ｄは、第１ワーク検出部２によって、処理Ｓ３と同様に、処理Ｓ５で所定の運動を実施した後のワークＷＫを検出する（Ｓ６）。

【0051】

次に、ワーク持ち方探索装置Ｄは、ワーク姿勢認識部４５によって、処理Ｓ４と同様に、ロボットハンド１２がワークＷＫを把持しているか否かを判定する（Ｓ７）。この判定の結果、ロボットハンド１２がワークＷＫを把持している場合（Ｙｅｓ）には、ワーク持ち方探索装置Ｄは、次に、処理Ｓ８を実行する。一方、前記判定の結果、ロボットハンド１２がワークＷＫを把持していない場合（Ｎｏ）には、ワーク持ち方探索装置Ｄは、次に、処理Ｓ９を実行する。

【0052】

前記処理Ｓ８では、ワーク持ち方探索装置Ｄは、制御処理部４の評価指標部４６によって、把持が成功した場合の評価指標ＥＶ（本実施形態では最終的な評価指標ＥＶｒ）を求め、次に、処理Ｓ１０を実行する。

【0053】

より具体的には、図４に示すように、まず、ワーク持ち方探索装置Ｄは、ワーク姿勢認識部４５によって、処理Ｓ３で検出した第１ワーク検出部２の検出結果に基づいてワークＷＫの運動前姿勢を抽出する（Ｓ２１）。より具体的には、ワーク姿勢認識部４５は、処理Ｓ３で生成したワークＷＫの画像からエッジを抽出することによって、ワークＷＫの輪郭を検出し、前記抽出したワークＷＫの輪郭から複数の特徴点ＳＭを抽出し、これら複数の特徴点ＳＭの各位置を求めることでワークＷＫの姿勢を認識する。

【0054】

例えば、図６Ａに示す人形のワークＷＫの場合、図６Ｂに示すように、頭部の左右先端部それぞれが第１および第２特徴点ＳＭ１、ＳＭ２とされ、左右手先部それぞれが第３および第４特徴点ＳＭ３、ＳＭ４とされ、左右足先部それぞれが第５および第６特徴点ＳＭ５、ＳＭ６とされ、ワーク姿勢認識部４５によって、図７Ａおよび図８Ａそれぞれの紙面左側に示すように、前記ワークの画像から、これら６個の第１ないし第６特徴点ＳＭ１ｂ～ＳＭ６ｂの各位置が運動前姿勢として求められる。なお、図７、図８、図１０および図１１において、運動前姿勢の特徴点ＳＭには、添え字ｂがさらに付され、運動後姿勢の特徴点ＳＭには、添え字ａがさらに付されている。

【0055】

次に、ワーク持ち方探索装置Ｄは、ワーク姿勢認識部４５によって、処理Ｓ２１と同様に、処理Ｓ５で検出した第１ワーク検出部２の検出結果に基づいてワークＷＫの運動後姿勢を抽出する（Ｓ２２）。

【0056】

例えば、ワーク姿勢認識部４５によって、図７Ａおよび図８Ａそれぞれの紙面右側に示すように、ワークＷＫの画像から、６個の第１ないし第６特徴点ＳＭ１ａ～ＳＭ６ａの各位置が運動後姿勢として求められる。図７Ａには、第１持ち方でロボットハンド１２によりワークＷＫを持ち、前記速度運動を実施した場合における運動前姿勢および運動後姿勢が示され、図８Ａには、第１持ち方とは異なる第２持ち方でロボットハンド１２によりワークＷＫを持ち、前記速度運動を実施した場合における運動前姿勢および運動後姿勢が示されている。特徴点ＳＭの位置は、例えば、画素位置で表され、運動前姿勢を検出するためにワークＷＫの画像を生成する際（処理Ｓ３の実行の際）と、運動後姿勢を検出するためにワークＷＫの画像を生成する際（処理Ｓ５の実行の際）とで、第１ワーク検出部２は、同一の検出位置（撮像位置）でワークＷＫの画像を生成する。

【0057】

次に、ワーク持ち方探索装置Ｄは、評価指標部４６によって、運動前姿勢に対する運動後姿勢のずれ量を求める（Ｓ２３）。より具体的には、評価指標部４６は、複数の特徴点ＳＭそれぞれについて、互いに対応する、処理Ｓ２１で求めたワークＷＫの運動前姿勢における特徴点ＳＭｂの位置と、処理Ｓ２２で求めたワークＷＫの運動後姿勢における特徴点ＳＭａの位置とのずれ量を求める。

【0058】

次に、ワーク持ち方探索装置Ｄは、評価指標部４６によって、処理Ｓ２３で求めたずれ量から評価指標ＥＶを求める（Ｓ２４）。より具体的には、評価指標部４６は、複数の特徴点ＳＭそれぞれについて、当該特徴点ＳＭのずれ量を、指標変換情報記憶部８１に記憶されている指標変換情報に用いて前記重み付け前の評価指標ｅｖに変換することで、当該特徴点ＳＭの一時的な評価指標ＥＶｔを求め、当該特徴点ＳＭに対応する重みＷＴを、当該特徴点ＳＭの一時的な評価指標ＥＶｔに乗算することで、前記複数の特徴点ＳＭにおける各評価指標ＥＶを求める。

【0059】

そして、ワーク持ち方探索装置Ｄは、評価指標部４６によって、前記複数の特徴点ＳＭそれぞれについて求めた各評価指標ＥＶの平均値を最終的な評価指標ＥＶｒとして求め（Ｓ２５）、処理Ｓ８を終了する。

【0060】

例えば、図７Ａに示す例では、６個の第１ないし第６特徴点ＳＭ１～ＳＭ６は、それぞれ、運動前姿勢に対する運動後姿勢にずれが無く、図２に示す指標変換情報では、図７Ｂに示すように、第１ないし第６特徴点ＳＭ１～ＳＭ６における各一時的な評価指標（一時評価指標）ＥＶｔ１～ＥＶｔ６は、それぞれ、１００とされる。図７Ｂおよび図８Ｂに示す例では、第１および第２特徴点ＳＭ１、ＳＭ２の第１および第２重みＷＴ１、ＷＴ２は、それぞれ、１．０に設定され、第３ないし第６特徴点ＳＭ３～ＳＭ６の第３ないし第６重みＷＴ３～ＷＴ６は、それぞれ、０．７に設定されている。このため、第１および第２特徴点ＳＭ１、ＳＭ２の各評価指標ＥＶ１、ＥＶ２は、それぞれ、１００（＝１００×１．０）と求められ、第３ないし第６特徴点ＳＭ３～ＳＭ６の各評価指標ＥＶ３～ＥＶ６は、それぞれ、７０（＝１００×０．７）と求められる。したがって、前記第１持ち方における最終的な評価指標ＥＶｒは、８０（＝（１００＋１００＋７０＋７０＋７０＋７０）／６）と求められる。

【0061】

一方、図８Ａに示す例では、６個の第１ないし第６特徴点ＳＭ１～ＳＭ６は、それぞれ、運動前姿勢に対する運動後姿勢にずれが有り、図２に示す指標変換情報では、図８Ｂに示すように、第１および第２特徴点ＳＭ１、ＳＭ２における各一時的な評価指標（一時評価指標）ＥＶｔ１、ＥＶｔ２は、それぞれ、７０とされ、第３特徴点ＳＭ３における一時的な評価指標ＥＶｔ３は、４０とされ、第４特徴点ＳＭ４における一時的な評価指標ＥＶｔ４は、７０とされ、第５特徴点ＳＭ５における一時的な評価指標ＥＶｔ５は、４０とされ、第６特徴点ＳＭ６における一時的な評価指標ＥＶｔ６は、０とされる。第１および第２特徴点ＳＭ１、ＳＭ２における各評価指標ＥＶ１、ＥＶ２は、それぞれ、７０（＝７０×１．０）とされ、第３特徴点ＳＭ３における評価指標ＥＶ３は、２８（＝４０×０．７）とされ、第４特徴点ＳＭ４における評価指標ＥＶ４は、４９（＝７０×０．７）とされ、第５特徴点ＳＭ５における評価指標ＥＶ５は、２８（＝４０×０．７）とされ、第６特徴点ＳＭ６における評価指標ＥＶ６は、０（＝０×０．７）とされる。したがって、前記第２持ち方における最終的な評価指標ＥＶｒは、４０（≒（７０＋７０＋２８＋４９＋２８＋０）／６）と求められる。

【0062】

前記第１持ち方と前記第２持ち方とを比較すると、前記第１持ち方における最終的な評価指標ＥＶｒ；８０は、前記第２持ち方における最終的な評価指標ＥＶｒ；４０より高い（大きい）。このため、前記第１持ち方における最終的な評価指標ＥＶｒ；８０および前記第２持ち方における最終的な評価指標ＥＶｒ；４０が出力部６から出力され、ユーザが参照することにより、ユーザは、前記第１持ち方が、前記第２持ち方より、掴んだ後におけるワークの姿勢変化を低減できる持ち方であると判断できる。

【0063】

ワーク持ち方探索装置Ｄは、後述のように、様々な持ち方に対し、最終的な評価指標ＥＶｒを求めるので、これら様々な持ち方に対する各最終的な評価指標ＥＶｒが出力部６から出力され、ユーザが参照することにより、ユーザは、掴んだ後におけるワークの姿勢変化を低減できる持ち方を見出すことができる。

【0064】

図３に戻って、前記処理Ｓ９では、ワーク持ち方探索装置Ｄは、評価指標部４６によって、処理Ｓ８と同様に、把持が失敗した場合の評価指標を求め、次に、処理Ｓ１０を実行する。図２および図６に示す例では、評価指標部４６は、第１ないし第６特徴点ＳＭ１～ＳＭ６それぞれの一時的な各評価指標ＥＶｔ１～ＥＶｔ６を－５０とし、これら一時的な各評価指標ＥＶｔ１～ＥＶｔ６に、第１ないし第６特徴点ＳＭ１～ＳＭ６それぞれの各重みＷＴ１～ＷＴ６を乗算することによって、第１ないし第６特徴点ＳＭ１～ＳＭ６それぞれの各評価指標ＥＶ１～ＥＶ６を求め、これらの平均値を求めることによって失敗した場合の持ち方における最終的な評価指標ＥＶｒ；－４０（＝（－５０－５０－３５－３５－３５－３５）／６）を求める。

【0065】

前記処理Ｓ１０では、ワーク持ち方探索装置Ｄは、制御処理部４の機械学習部４７によって、処理Ｓ１で持ち方生成部４３によって生成した持ち方、前記所定の運動、および、処理Ｓ８または処理Ｓ９で評価指標部４６によって求めた評価指標ＥＶ（本実施形態では最終的な評価指標ＥＶｒ）に基づいて、Ｑ学習の強化学習で機械学習する。より具体的には、機械学習部４７は、Ｑ学習の式１に、状態ｓに前記所定の運動を割り当て、行動ａに前記持ち方を割り当て、報酬Ｒに前記最終的な評価指標ＥＶｒを割り当てることで、機械学習する。

【0066】

次に、ワーク持ち方探索装置Ｄは、制御処理部４の繰返し処理部４８によって、前記所定の複数回の実行が終了しているか否かを判定する（Ｓ１１）。この判定の結果、前記所定の複数回の実行が終了していない場合（Ｎｏ）には、繰返し処理部４８は、前記持ち方生成処理、前記把持処理、前記運動実施処理および前記評価指標処理を繰り返すために、処理を処理Ｓ１に戻す。前記判定の結果、前記所定の複数回の実行が終了している場合（Ｙｅｓ）には、繰返し処理部４８は、本処理を終了する。

【0067】

このような各処理によって、１個の速度運動に対し、様々な持ち方が評価され、機械学習が実施される。上述のように、様々な持ち方における各最終的な評価指標ＥＶｒを出力部６に出力するように、ワーク持ち方探索装置Ｄが構成されることで、ユーザがこれら様々な持ち方における各最終的な評価指標ＥＶｒを参照することにより、ユーザは、掴んだ後におけるワークの姿勢変化を低減できる持ち方を見出すことができる。

【0068】

そして、実際には、必要に応じて、様々な複数の方向に様々な複数の速度で様々な複数の時間だけ移動する様々な複数の速度運動に対し、ワーク持ち方探索装置Ｄは、様々な持ち方を評価し、機械学習を実施する。同様に、必要に応じて、様々な複数の方向に様々な複数の加速度で様々な複数の時間だけ移動する様々な複数の加速度運動に対し、ワーク持ち方探索装置Ｄは、様々な持ち方を評価し、機械学習を実施する。同様に、必要に応じて、様々な複数の角度範囲で様々な複数の速度（または複数の角速度）または様々な複数の加速度（または複数の角加速度）で様々な複数の時間だけ回転する様々な複数の回転運動に対し、ワーク持ち方探索装置Ｄは、様々な持ち方を評価し、機械学習を実施する。同様に、必要に応じて、様々な複数の振幅で様々な複数の周波数で様々な複数の時間だけ振動する様々な複数の振動運動に対し、ワーク持ち方探索装置Ｄは、様々な持ち方を評価し、機械学習を実施する。

【0069】

そして、機械学習後の運用では、ロボット１の運動（動作）が設定され、載置台等にワークＷＫが置かれると、第２ワーク検出部３およびワーク認識部４２により、ワークＷＫの載置状態が認識され、ワークＷＫの載置状態および前記設定されたロボット１の運動に対する持ち方が機械学習モデルで求められ、求めた持ち方で持つように、ロボットハンド１２が制御され、前記設定されたロボット１の運動が実施される。

【0070】

以上説明したように、実施形態におけるワーク持ち方探索装置Ｄおよびこれに実装されたワーク持ち方探索方法は、持ち方生成処理、把持処理、運動実施処理および評価指標処理を、所定の複数回、実行させることで、ワークＷＫの載置状態に対し、様々な複数の持ち方に対する複数の評価指標ＥＶ、本実施形態では最終的な評価指標ＥＶｒを求めることができるから、ユーザが各評価指標ＥＶｒを比較することで、前記ワークＷＫの載置状態に対し、ロボットハンド１２でワークＷＫを持つ場合に、掴んだ後におけるワークＷＫの姿勢変化を低減できる持ち方を見出せる。

【0071】

上記ワーク持ち方探索装置Ｄおよびワーク持ち方探索方法は、機械学習部４７を備え、前記機械学習部４７を機械学習するので、機械学習後の機械学習部４７から、前記ワークＷＫの載置状態に対し、ロボットハンド１２でワークＷＫを持つ場合に、掴んだ後におけるワークＷＫの姿勢変化を低減できる持ち方を出力できる。

【0072】

上記ワーク持ち方探索装置Ｄおよびワーク持ち方探索方法は、運動前姿勢に対する運動後姿勢の姿勢変化量で評価指標を求めることができる。

【0073】

上記ワーク持ち方探索装置Ｄおよびワーク持ち方探索方法は、ワークＷＫに設定された複数の特徴点ＳＭごとに重みＷＴを設定し、前記複数の特徴点ＳＭそれぞれについて前記重みＷＴを用いて各評価指標ＥＶを求めるので、姿勢変化を許容し難い特徴点ＳＭの重みＷＴを姿勢変化を許容し易い特徴点ＳＭの重みＷＴよりも大きくすることで、姿勢変化の許容性を考慮した、前記掴んだ後におけるワークＷＫの姿勢変化を低減できる持ち方を見出せる。

【0074】

上記ワーク持ち方探索装置Ｄおよびワーク持ち方探索方法は、最終的な評価指標ＥＶｒを求めることで、前記複数の特徴点ＳＭに対する全体的な評価指標を求めることができる。

【0075】

なお、上述の実施形態では、ユーザが様々な持ち方における各最終的な評価指標ＥＶｒを参照し、比較することにより、ユーザが、掴んだ後におけるワークの姿勢変化を低減できる持ち方を見出したが、ワーク持ち方探索装置Ｄが掴んだ後におけるワークの姿勢変化を低減できる持ち方を探索するように構成されてもよい。この場合では、ワーク持ち方探索装置Ｄは、前記所定の複数回の実行によって求められた複数の持ち方における複数の評価指標、上述では複数の最終的な評価指標ＥＶｒを比較し、前記複数の持ち方の中から、最も高い評価指標（最も高い最終的な評価指標ＥＶｒ）となる持ち方を探索する持ち方探索部を、さらに、制御処理部４に機能的に備える。

【0076】

また、上述の実施形態では、ワークＷＫの全体に対し、運動前姿勢に対する運動後姿勢のずれ量が求められて評価指標が求められたが、ワークＷＫの一部に対し、運動前姿勢に対する運動後姿勢のずれ量が求められて評価指標が求められてもよい。このようなワーク持ち方探索装置Ｄでは、入力部５には、前記評価指標を求める対象領域が入力され、評価指標部４６は、入力部５から入力された対象領域における評価指標を求める。すなわち、評価指標部４６は、入力部５から入力された対象領域内の特徴点における運動前姿勢と運動後姿勢とのずれ量に基づいて前記評価指標を求める。これによれば、ワークＷＫの一部に着目してワークＷＫの姿勢変化を評価でき、前記ワークＷＫの一部を除く他の部分における姿勢変化が無視できる。

【0077】

図９は、ワークに評価指標を求める部分を制限する変形形態を説明するための図である。図９Ａは、制限部分を説明するための図であり、ワークＷＫの運動前姿勢を示す。図９Ｂは、図９Ａに示す運動前姿勢に対する、制限部分で姿勢変化が無い場合におけるワークＷＫの運動後姿勢を示し、図９Ｃは、図９Ａに示す運動前姿勢に対する、制限部分で姿勢変化が無い場合におけるワークＷＫの運動後姿勢を示す。図１０は、一例として、制限部分で姿勢変化が無い場合において、評価指標の演算手法を説明するための図である。図１０Ａは、紙面左側に図９Ａに示す運動前姿勢における６個の特徴点ＳＭ１ｂ～ＳＭ６ｂを示し、紙面右側に図９Ｂに示す運動後姿勢における６個の特徴点ＳＭ１ａ～ＳＭ６ａを示す。図１０Ｂは、第１ないし第６特徴点ＳＭ１～ＳＭ６における各一時的な評価指標（一時評価指標）および各評価指標、ならびに、第３持ち方におけるワークＷＫの最終的な評価指標を示す。図１１は、他の一例として、制限部分で姿勢変化が有る場合において、評価指標の演算手法を説明するための図である。図１１Ａは、紙面左側に図９Ａに示す運動前姿勢における６個の特徴点ＳＭ１ｂ～ＳＭ６ｂを示し、紙面右側に図９Ｃに示す運動後姿勢における６個の特徴点ＳＭ１ａ～ＳＭ６ａを示す。図１１Ｂは、第１ないし第６特徴点ＳＭ１～ＳＭ６における各一時的な評価指標（一時評価指標）および各評価指標、ならびに、前記第３持ち方と異なる第４持ち方におけるワークＷＫの最終的な評価指標を示す。

【0078】

例えば、第１ワーク検出部２が撮像装置である場合に、上述の処理Ｓ３の実行後であって処理Ｓ４の実行前に、ワーク持ち方探索装置Ｄは、制御処理部４によって、第１ワーク検出部２としての撮像装置で生成したワークＷＫの画像を出力部６に出力し、図９Ａに示すように、ユーザは、ワークＷＫの画像を参照し、ワークＷＫにおける対象領域ＡＲを入力部５から入力し、ワーク持ち方探索装置Ｄは、制御処理部４によって、ワークＷＫにおける対象領域ＡＲの入力を受け付け、取得する。図９Ａに示す例では、ワークＷＫの頭部が対象領域ＡＲとして入力され、ワークＷＫの第１ないし第６特徴点ＳＭ１～ＳＭ６のうちの前記入力された対象領域ＡＲに対応する第１および第２特徴点ＳＭ１、ＳＭ２が指定される。

【0079】

そして、処理Ｓ８では、まず、上述のように、処理Ｓ２１および処理Ｓ２２の各処理が実施される。例えば、図９Ａに示すワークＷＫの場合、処理Ｓ２１では、ワーク姿勢認識部４５によって、図１０Ａおよび図１１Ａそれぞれの紙面左側に示すように、前記ワークＷＫの画像から、６個の第１ないし第６特徴点ＳＭ１ｂ～ＳＭｂの各位置が運動前姿勢として求められる。処理Ｓ２２では、図９Ｂに示すワークＷＫの場合では、ワーク姿勢認識部４５によって、図１０Ａの紙面右側に示すように、前記ワークＷＫの画像から、６個の第１ないし第６特徴点ＳＭ１ａ～ＳＭ６ａの各位置が運動前姿勢として求められ，図９Ｃに示すワークＷＫの場合では、ワーク姿勢認識部４５によって、図１１Ａの紙面右側に示すように、前記ワークＷＫの画像から、６個の第１ないし第６特徴点ＳＭ１ａ～ＳＭ６ａの各位置が運動前姿勢として求められる。

【0080】

なお、上述では、処理Ｓ２１および処理Ｓ２２の各処理において、ワークＷＫにおける全ての特徴点ＳＭの各位置が求められたが、前記対象領域ＡＲに対応する第１および第２特徴点ＳＭ１、ＳＭ２の各位置のみが求められてもよい。

【0081】

処理Ｓ８の処理Ｓ２３では、ワーク持ち方探索装置Ｄは、評価指標部４６によって、前記対象領域ＡＲにおけるワークＷＫの運動前姿勢に対する運動後姿勢のずれ量を求める。より具体的には、評価指標部４６は、前記対象領域ＡＲに対応する複数の特徴点ＳＭそれぞれについて、互いに対応する、処理Ｓ２１で求めたワークＷＫの運動前姿勢における特徴点ＳＭｂの位置と、処理Ｓ２２で求めたワークＷＫの運動後姿勢における特徴点ＳＭａの位置とのずれ量を求める。

【0082】

処理Ｓ８の処理Ｓ２４では、ワーク持ち方探索装置Ｄは、評価指標部４６によって、処理Ｓ２３で求めたずれ量から評価指標ＥＶを求める。より具体的には、評価指標部４６は、前記対象領域ＡＲに対応する複数の特徴点ＳＭそれぞれについて、当該特徴点ＳＭのずれ量を、指標変換情報記憶部８１に記憶されている指標変換情報に用いて前記重み付け前の評価指標ｅｖに変換することによって、当該特徴点ＳＭの一時的な評価指標ＥＶｔを求め、当該特徴点ＳＭに対応する重みＷＴを、当該特徴点ＳＭの一時的な評価指標ＥＶｔに乗算することによって、前記対象領域ＡＲに対応する複数の特徴点ＳＭにおける各評価指標ＥＶを求める。

【0083】

処理Ｓ８の処理Ｓ２５では、ワーク持ち方探索装置Ｄは、評価指標部４６によって、前記対象領域ＡＲに対応する複数の特徴点ＳＭそれぞれについて求めた各評価指標ＥＶの平均値を最終的な評価指標ＥＶｒとして求める。

【0084】

例えば、図１０Ａに示す例では、図９Ａおよび図９Ｂに示す対象領域ＡＲに対応する２個の第１および第２特徴点ＳＭ１、ＳＭ２は、それぞれ、運動前姿勢に対する運動後姿勢にずれが無く、図２に示す指標変換情報では、図１０Ｂに示すように、第１および第２特徴点ＳＭ１、ＳＭ２における各一時的な評価指標（一時評価指標）ＥＶｔ１、ＥＶｔ２は、それぞれ、１００とされ、第１および第２特徴点ＳＭ１、ＳＭ２の第１および第２重みＷＴ１、ＷＴ２を乗じた第１および第２特徴点ＳＭ１、ＳＭ２の各評価指標ＥＶ１、ＥＶ２は、それぞれ、１００（＝１００×１．０）と求められ、前記第３持ち方における最終的な評価指標ＥＶｒは、１００（＝（１００＋１００）／２）と求められる。

【0085】

一方、図１１Ａに示す例では、図９Ａおよび図９Ｂに示す対象領域ＡＲに対応する２個の第１および第２特徴点ＳＭ１、ＳＭ２は、それぞれ、それぞれ、運動前姿勢に対する運動後姿勢にずれが有り、図２に示す指標変換情報では、図１１Ｂに示すように、第１および第２特徴点ＳＭ１、ＳＭ２における各一時的な評価指標（一時評価指標）ＥＶｔ１、ＥＶｔ２は、それぞれ、４０および０とされ、第１および第２特徴点ＳＭ１、ＳＭ２の第１および第２重みＷＴ１、ＷＴ２を乗じた第１および第２特徴点ＳＭ１、ＳＭ２の各評価指標ＥＶ１、ＥＶ２は、それぞれ、４０（＝４０×１．０）および０（＝０×１．０）と求められ、前記第４持ち方における最終的な評価指標ＥＶｒは、２０（＝（４００＋０）／２）と求められる。

【0086】

前記第３持ち方と前記第４持ち方とを比較すると、前記第３持ち方における最終的な評価指標ＥＶｒ；１００は、前記第４持ち方における最終的な評価指標ＥＶｒ；２０より高い（大きい）。このため、前記第３持ち方における最終的な評価指標ＥＶｒ；１００および前記第４持ち方における最終的な評価指標ＥＶｒ；２０が出力部６から出力され、ユーザが参照することにより、ユーザは、前記第３持ち方が、前記第４持ち方より、掴んだ後におけるワークの姿勢変化を低減できる持ち方であると判断できる。

【0087】

また、上述の実施形態では、運動前姿勢と運動後姿勢とのずれ量は、ワークＷＫの特徴点ＳＭの位置のずれ量で求められたが、これに限定されず、例えば、ＬｉＤＡＲ等でワークＷＫを点群データで検出し、運動前姿勢におけるワークＷＫを表す点群と運動後姿勢におけるワークＷＫを表す点群とでマッチングを行って一致度を求めることによって求められてもよい（（ずれ量）＝（一致度））。この場合では、前記一致度と前記重み付け前の評価指標ｅｖとが対応付けられ、前記一致度が前記重み付け前の評価指標ｅｖに変換される。

【0088】

また、上述の実施形態では、前記運動情報は、予め、適宜に設定され、運動情報記憶部８２に記憶されたが、ユーザが入力できるように、ワーク持ち方探索装置Ｄが構成されてもよい。このようなワーク持ち方探索装置Ｄでは、入力部５には、所定の運動が入力され、この入力された前記所定の運動が運動情報として運動情報記憶部８２に記憶される。そして、図３および図４に示す上述の各処理が実施される際に、この入力部５から入力された前記所定の運動が、運動実施部の一例であるロボット制御部４４によって実施される。

【0089】

図１２は、ロボットハンドでワークを持った後に実施される所定の運動を入力して設定する他の変形形態において、運動入力画面を説明するための図である。

【0090】

所定の運動を入力部５から入力する際に、例えば、図１２に示す運動入力画面９が出力部６に表示され、ユーザは、この運動入力画面９を用いて前記所定の運動を入力部５から入力する。

【0091】

この運動入力画面９は、運動の種類ごとに入力領域が設けられており、速度運動を入力するための第１入力領域９１－１と、加速度運動を入力するための第２入力領域９１－２と、回転運動を入力するための第３入力領域９１－３と、振動運動を入力するための第４入力領域９１－４とを備える。第１入力領域９１－１は、速度運動を入力するか否かを設定する第１チェックボックス９２－１と、速度運動の内容を入力するための第１内容設定領域９３－１とを備える。第１内容設定領域９３－１には、速度を高速、中速、低速およびカスタムそれぞれに設定するための４個のラジオボタン９３１－１～９３１－４と、速度をカスタムに設定した場合の数値を入力するための速度入力欄９３２と、速度運動の時間を入力するための時間入力欄９３３とを備える。高速、中速および低速には、それぞれ、適宜なデフォルト値が設定されている。ユーザは、前記所定の運動として速度運動を入力する場合では、第１チェックボックス９２－１に、入力部５を用いてチェックを入れ、速度を中速に設定する場合では、中速のラジオボタン９３１－２を、入力部５を用いて選択し、時間入力欄９３３に、入力部５を用いて数値を入力する。これによって前記所定の運動として速度運動が入力され、その内容が入力され、運動情報として運動情報記憶部８２に記憶される。同様に、第２入力領域９１－２は、加速度運動を入力するか否かを設定する第２チェックボックス９２－２と、加速度運動の内容を入力するための第２内容設定領域９３－２とを備え、第３入力領域９１－３は、回転運動を入力するか否かを設定する第３チェックボックス９２－３と、回転運動の内容を入力するための第３内容設定領域９３－３とを備え、第４入力領域９１－４は、振動運動を入力するか否かを設定する第４チェックボックス９２－４と、振動運動の内容を入力するための第４内容設定領域９３－４とを備える。

【0092】

また、上述の実施形態において、ロボット１の運用で得られた実績を用いて機械学習後の機械学習部４７が機械学習されてもよい。

【0093】

例えば、上述のワーク持ち方探索装置Ｄにおいて、機械学習部４７は、機械学習後の運用中も、機械学習中の学習率よりも低い学習率で機械学習してもよい。この場合では、運用の動作前に運動前姿勢を検出するために、第１ワーク検出部２でワークＷＫが検出され、運用の動作後に運動後姿勢を検出するために、第１ワーク検出部２でワークＷＫが検出される。このようなワーク持ち方探索装置Ｄは、運用中の実績を機械学習部４７に反映でき、学習率を低くすることで、比較的に不都合な持ち方を実施しても機械学習部４７に与える影響を低減できるから、前記掴んだ後におけるワークの姿勢変化の低減劣化を抑制できる。

【0094】

例えば、上述のワーク持ち方探索装置Ｄにおいて、機械学習後の運用中では、持ち方生成部４３に代え、前記機械学習部４７がワークＷＫの載置状態に基づいて持ち方を生成し、実績情報記憶部８３は、前記機械学習後の運用中において、ロボットハンド１２でワークＷＫを持つごとに、機械学習部４７で生成した持ち方、前記運用での運動（動作）、および、評価指標部４６で求めた評価指標ＥＶ（上述では、最終的な評価指標ＥＶｒ）を互いに対応付けて実績情報として記憶し、前記機械学習後の予め設定された所定のタイミング（例えば１週間ごとや１ヶ月ごと等）で、実績情報記憶部８３に互いに対応付けて記憶された前記機械学習部４７で生成した持ち方、前記運用での運動（動作）、および、前記評価指標部４６で求めた評価指標ＥＶ（上述では、最終的な評価指標ＥＶｒ）を用いて再機械学習する。この場合でも、運用の動作前に運動前姿勢を検出するために、第１ワーク検出部２でワークＷＫが検出され、運用の動作後に運動後姿勢を検出するために、第１ワーク検出部２でワークＷＫが検出される。このようなワーク持ち方探索装置Ｄは、運用による実績を纏めて機械学習できる。特に、実績の中から比較的に不都合な持ち方を除くことができ、この比較的に不都合な持ち方を除いた実績で機械学習が実施できる。

【0095】

また、上述の実施形態において、前記所定の運動は、例えば、一種類の運動で内容の異なる複数の運動の組み合わせであってもよく、あるいは例えば、速度運動、加速度運動、回転運動および振動運動のうちの複数の組み合わせであってよく、あるいは、例えば、これら上述の組み合わせであってよい。

【0096】

図１３は、一連のロボット動作における持ち方を見出す他の変形形態を説明するための図である。例えば、前記所定の運動は、図１３に示すように、持ち方生成部４３で生成した持ち方（把持位置、把持力）でワークＷＫを掴んだ後に、第１時間だけ第１速度で上昇する第１運動ＰＴ１と、ワークＷＫの載置場所からコンベアＣＶまで第２時間だけ第１加速度で移動する第２運動ＰＴ２と、第３時間だけ第２速度で降下する第３運動ＰＴ３と、コンベアＣＶからワークＷＫの載置場所まで第４時間だけ第２加速度で移動する第４運動ＰＴ４とからなる。このように前記所定の運動を設定することで、工程間の移動におけるワークＷＫの持ち方を評価できる。

【0097】

本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。

【0098】

一態様にかかるロボットハンドの持ち方探索装置は、ロボットハンドでワークを持つ場合に、置かれているワークの載置状態に対し適した持ち方を見出せる装置であって、前記ワークの載置状態に基づいて前記ロボットハンドで前記ワークを持つ持ち方を生成する持ち方生成処理を実行する持ち方生成部と、前記持ち方生成部で生成した持ち方で前記ワークを前記ロボットハンドで持つ把持処理を実行するハンド制御部と、前記ロボットハンドで前記ワークを持った後に、所定の運動を前記ロボットハンドに実施させる運動実施処理を実行する運動実施部と、前記運動実施部で前記ロボットハンドに前記所定の運動させた後に、前記持ち方を評価する評価指標を求める評価指標処理を実行する評価指標部と、前記持ち方生成部、前記ハンド制御部、前記運動実施部および前記評価指標部それぞれに、前記持ち方生成処理、前記把持処理、前記運動実施処理および前記評価指標処理を、所定の複数回、実行させる繰返し処理部とを備え、前記持ち方生成部は、前記所定の複数回の実行において、異なる持ち方を生成する。好ましくは、上述のロボットハンドの持ち方探索装置において、前記持ち方は、前記ロボットハンドで前記ワークを掴む把持位置および把持力で表される（定義される）。好ましくは、上述のロボットハンドの持ち方探索装置において、前記所定の運動は、前記ロボットハンドを所定の一方向に所定の速度で所定の時間だけ移動する速度運動、前記ロボットハンドを所定の一方向に所定の加速度で所定の時間だけ移動する加速度運動、前記ロボットハンドを所定の角度範囲で所定の速度（または所定の角速度）または所定の加速度（または所定の角加速度）で所定の時間だけ回転する回転運動、および、前記ロボットハンドを所定の振幅範囲で所定の周波数（または周期）で所定の時間だけ振動する振動運動、のうちの少なくとも１つを含む。

【0099】

このようなロボットハンドの持ち方探索装置は、持ち方生成処理、把持処理、運動実施処理および評価指標処理を、所定の複数回、実行させることで、ワークの載置状態に対し、様々な複数の持ち方に対する複数の評価指標を求めることができるから、各評価指標を比較することで、前記ワークの載置状態に対し、ロボットハンドでワークを持つ場合に、掴んだ後におけるワークの姿勢変化を低減できる持ち方を見出せる。

【0100】

他の一態様では、上述のロボットハンドの持ち方探索装置において、さらに、前記持ち方生成部で生成した持ち方、前記所定の運動、および、前記評価指標部で求めた評価指標に基づいて前記持ち方を機械学習する機械学習部を備え、前記繰返し処理部は、前記所定の複数回の実行において、さらに、前記機械学習部に機械学習させる。好ましくは、上述のロボットハンドの持ち方探索装置において、前記機械学習は、強化学習である。好ましくは、前記強化学習は、Ｑ学習である。

【0101】

このようなロボットハンドのワーク持ち方探索装置は、機械学習部をさらに備え、前記機械学習部を機械学習するので、機械学習後の機械学習部から、前記ワークの載置状態に対し、ロボットハンドでワークを持つ場合に、掴んだ後におけるワークの姿勢変化を低減できる持ち方を出力できる。

【0102】

他の一態様では、これら上述のロボットハンドの持ち方探索装置において、さらに、前記ロボットハンドで持った前記ワークの姿勢を検出する姿勢検出部を備え、前記評価指標部は、前記所定の運動を実施する前に前記姿勢検出部で検出した前記ワークの姿勢である運動前姿勢、および、前記所定の運動を実施した後に前記姿勢検出部で検出した前記ワークの姿勢である運動後姿勢に基づいて前記評価指標を求める。

【0103】

このようなロボットハンドのワーク持ち方探索装置は、運動前姿勢に対する運動後姿勢の姿勢変化量で評価指標を求めることができる。

【0104】

他の一態様では、これら上述のロボットハンドの持ち方探索装置において、さらに、前記所定の運動を入力する入力部を備え、前記運動実施部は、前記入力部で入力された前記所定の運動を実施する。

【0105】

このようなロボットハンドのワーク持ち方探索装置は、入力部をさらに備えるので、ユーザが所定の運動を設定できる。特に、ロボットハンドを運用する状況を考慮した前記所定の運動をユーザが設定できる。

【0106】

他の一態様では、これら上述のロボットハンドの持ち方探索装置において、前記評価指標を求めるための複数の特徴点が前記ワークに設定され、前記複数の特徴点それぞれに前記評価指標を求める際の重みが設定され、前記評価指標部は、前記複数の特徴点それぞれについて前記重みを用いて各評価指標を求める。

【0107】

このようなロボットハンドのワーク持ち方探索装置は、ワークに設定された複数の特徴点ごとに重みを設定し、前記複数の特徴点それぞれについて前記重みを用いて各評価指標を求めるので、姿勢変化を許容し難い特徴点の重みを、姿勢変化を許容し易い特徴点の重みよりも大きくすることで、姿勢変化の許容性を考慮した、前記掴んだ後におけるワークの姿勢変化を低減できる持ち方を見出せる。

【0108】

他の一態様では、上述のロボットハンドの持ち方探索装置において、前記評価指標部は、さらに、前記複数の特徴点それぞれについて求めた各評価指標の平均値を最終的な評価指標として求める。

【0109】

このようなロボットハンドのワーク持ち方探索装置は、前記複数の特徴点に対する全体的な評価指標を求めることができる。

【0110】

他の一態様では、これら上述のロボットハンドの持ち方探索装置において、前記機械学習は、Ｑ学習の強化学習であり、前記機械学習部は、機械学習後の運用中も、機械学習中の学習率よりも低い学習率で機械学習する。

【0111】

このようなロボットハンドのワーク持ち方探索装置は、運用中の実績を機械学習部に反映でき、学習率を低くすることで、比較的に不都合な持ち方を実施しても機械学習部に与える影響を低減できるから、前記掴んだ後におけるワークの姿勢変化の低減劣化を抑制できる。

【0112】

他の一態様では、これら上述のロボットハンドの持ち方探索装置において、機械学習後の運用中では、前記持ち方生成部に代え、前記機械学習部が前記ワークの載置状態に基づいて前記持ち方を生成し、前記機械学習後の運用中において、前記ロボットハンドで前記ワークを持つごとに、前記機械学習部で生成した持ち方、前記運用での運動、および、前記評価指標部で求めた評価指標を互いに対応付けて記憶する実績情報記憶部をさらに備え、前記機械学習部は、前記機械学習後の所定のタイミングで、前記実績情報記憶部に互いに対応付けて記憶された前記機械学習部で生成した持ち方、前記運用での運動、および、前記評価指標部で求めた評価指標を用いて再機械学習する。

【0113】

このようなロボットハンドのワーク持ち方探索装置は、運用による実績を纏めて機械学習できる。特に、実績の中から比較的に不都合な持ち方を除くことができ、この比較的に不都合な持ち方を除いた実績で機械学習が実施できる。

【0114】

一態様にかかるロボットハンドの持ち方探索方法は、ロボットハンドでワークを持つ場合に、置かれているワークの載置状態に対し適した持ち方を見出せる方法であって、前記ワークの載置状態に基づいて前記ロボットハンドで前記ワークを持つ持ち方を生成する持ち方生成工程と、前記持ち方生成工程で生成した持ち方で前記ワークを前記ロボットハンドで持つハンド制御工程と、前記ロボットハンドで前記ワークを持った後に、所定の運動を前記ロボットハンドに実施させる運動実施工程と、前記運動実施工程で前記ロボットハンドに前記所定の運動させた後に、前記持ち方を評価する評価指標を求める評価指標工程とを備え、前記持ち方生成工程、前記ハンド制御工程、前記運動実施工程および前記評価指標工程を、所定の複数回、実行し、前記持ち方生成工程は、前記所定の複数回の実行において、異なる持ち方を生成する。

【0115】

このようなロボットハンドの持ち方探索方法は、持ち方生成工程、ハンド制御工程、運動実施工程および評価指標工程を、所定の複数回、実行させることで、ワークの載置状態に対し、様々な複数の持ち方に対する複数の評価指標を求めることができるから、ユーザが各評価指標を比較することで、前記ワークの載置状態に対し、ロボットハンドでワークを持つ場合に、掴んだ後におけるワークの姿勢変化を低減できる持ち方を見出せる。

【0116】

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

【産業上の利用可能性】

【0117】

本発明によれば、ロボットハンドでワークを持つ場合に、より適した持ち方を見出せるロボットハンドのワーク持ち方探索装置およびワーク持ち方探索方法が提供できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】