特開 2024-68490 動作再現装置および動作再現方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024068490

(43)【公開日】2024-05-20

(54)【発明の名称】動作再現装置および動作再現方法

(51)【国際特許分類】

   B25J 9/22 20060101AFI20240513BHJP

   G06F 3/01 20060101ALI20240513BHJP

   B25J 13/06 20060101ALI20240513BHJP

   A47J 44/00 20060101ALI20240513BHJP

   A63B 69/00 20060101ALI20240513BHJP

【ＦＩ】

B25J9/22 A

G06F3/01 560

B25J13/06

A47J44/00

A63B69/00

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022178992

(22)【出願日】2022-11-08

(71)【出願人】

【識別番号】591280485

【氏名又は名称】ソフトバンクグループ株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100139066

【弁理士】

【氏名又は名称】伊藤 健太郎

(72)【発明者】

【氏名】孫 正義

【テーマコード（参考）】

3C707

4B053

5E555

【Ｆターム（参考）】

3C707AS38

3C707BS27

3C707CS08

3C707CY12

3C707HS27

3C707JS03

3C707JT10

3C707JU02

3C707JU03

3C707KS01

3C707KS07

3C707KS09

3C707KS10

3C707KS36

3C707KT01

3C707KT05

3C707LS05

3C707LS15

3C707LW11

3C707WA16

3C707XK06

3C707XK21

3C707XK51

3C707XK52

4B053AA03

4B053BK60

4B053BL20

4B053CA30

5E555AA18

5E555AA44

5E555BA38

5E555BB38

5E555BD07

5E555DA24

5E555EA06

5E555FA00

(57)【要約】

【課題】 匠の技を用途に合わせて再現する技術を提供する。
【解決手段】モデルの動作を再現する作動部と、センサから、モデルの動作に関する情報を取得する情報取得部と、モデルの動作を再現する際の指定事項を取得する指定事項取得部と、センサから取得した情報と、指定事項に基づいて、作動部に動作を再現させる制御部と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

モデルの動作を再現する作動部と、
センサから、前記モデルの動作に関する情報を取得する情報取得部と、
前記モデルの動作を再現する際の指定事項を取得する指定事項取得部と、
前記センサから取得した情報と、前記指定事項に基づいて、前記作動部に前記動作を再現させる制御部と、を備えた動作再現装置。

【請求項2】

前記作動部は人間に装着され、
前記制御部は、
前記作動部に、装着された人間が前記動作を再現するのを補助させる、請求項１に記載の動作再現装置。

【請求項3】

前記情報取得部は、
調理をする料理人による調理の動作、調理の各工程にかかる時間、食材の形状や大きさ、料理の温度、形状、色、肌触り、及び匂いのうちの少なくとも１つを情報として取得し、
前記指定事項取得部は、
味付け、料理を完成させたい時間、調理者の種別、及び調理者のレベルのうちの少なくとも１つを指定事項として取得し、
前記制御部は、
前記センサから取得した情報と、前記指定事項に基づいて、前記作動部に前記調理の動作を再現させる請求項１に記載の動作再現装置。

【請求項4】

前記情報取得部は、
スポーツ選手がプレイをする際の体の動き、目線、及び動くスピードのうちの少なくとも１つを情報として取得し、
前記指定事項取得部は、
プレイをする者の技量を指定事項として取得し、
前記制御部は、
前記センサから取得した情報と、前記指定事項に基づいて、前記作動部に前記スポーツの動作を再現させる請求項１に記載の動作再現装置。

【請求項5】

前記作動部は、
装着された人間の動きに関する情報を前記指定事項取得部にフィードバックし、
前記指定事項取得部は、
フィードバックされた情報を指定事項として取得する、請求項２に記載の動作再現装置。

【請求項6】

コンピュータが、センサから、モデルの動作に関する情報を取得する情報取得部と、
コンピュータが、前記モデルの動作を再現する際の指定事項を取得する指定事項取得部と、
コンピュータが、前記センサから取得した情報と、前記指定事項に基づいて、モデルの動作を再現する作動部に前記動作を再現させる工程と、を備えた動作再現方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動作再現装置および動作再現方法に関する。

【背景技術】

【0002】

人間が行う複雑な動作をロボットに再現させる技術が研究されている（例えば特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－０６１７６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、達人の技を用途に合わせて再現する技術を提供することを目的の一つとする。

【課題を解決するための手段】

【0005】

本発明の一実施形態に係る動作再現装置は、モデルの動作を再現する作動部と、センサから、前記モデルの動作に関する情報を取得する情報取得部と、前記モデルの動作を再現する際の指定事項を取得する指定事項取得部と、前記センサから取得した情報と、前記指定事項に基づいて、前記作動部に前記動作を再現させる制御部と、を備えたものである。

【0006】

本発明の一実施形態に係る動作再現方法は、コンピュータが、センサから、モデルの動作に関する情報を取得する情報取得部と、コンピュータが、前記モデルの動作を再現する際の指定事項を取得する指定事項取得部と、コンピュータが、前記センサから取得した情報と、前記指定事項に基づいて、モデルの動作を再現する作動部に前記動作を再現させる工程と、を備えたものである。

【発明の効果】

【0007】

本発明によれば、達人の技を用途に合わせて再現する技術を提供することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施形態に係る動作再現装置１の構成を例示する図。

【図2】本発明の実施形態に係る動作再現装置１の情報取得部２０を例示する図。

【図3】本発明の実施形態に係る動作再現装置１によって実現されるロボット１００を例示する図。

【図4】本発明の実施形態に係る動作再現装置１の動作例のフローチャート。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について図面を参照しつつ詳細に説明する。
図１は、本発明の実施の形態による動作再現装置１の構成を例示する図である。動作再現装置１は、１台または通信回線で接続された複数のコンピュータによって構成される。図１に示すように、動作再現装置１は、作動部１０、情報取得部２０、指定事項取得部３０、制御部４０を含んでいる。

【0010】

作動部１０は、例えば、ロボットやロボットアームなどの作業を行う部材や、人間の手や足などに装着されて人間の動きを補助する部材である。ロボットは、一流シェフに代わって料理を作ったり、スポーツ選手に代わってプレイしたりすることができる。作動部１０が人間に装着された場合には、装着された人が一流シェフのような料理を作ったり、スポーツ選手のようにプレイしたりできるように動作を補助することができる。

【0011】

作動部１０は、多軸アクチュエータ、高性能モーターなどで、人間の指や腕と同じ多彩な動きを再現可能であることが望ましい。また、作動部１０は、人間より超高性能なスピードコントロールと正確性を実現できることが望ましい。

【0012】

情報取得部２０は、動作モデルの指先や目、頭等、ロボットのあらゆる部位に搭載されているセンサによって情報を取得する。動作モデルは、一流シェフやスポーツ選手などの人間であってもよいし、正確に制御された動作を実現するロボットであってもよい。センサの例としては、カメラ、ソリッドステートＬｉＤＡＲ、マルチカラーレーザ同軸変位計、集音器、匂い探知機、振動計、サーモカメラ、硬度計、レーダー、ＬｉＤＡＲ、高画素・望遠・超広角・３６０度・高性能カメラ、ビジョン認識、微細音、超音波、振動、赤外線、紫外線、電磁波、温度、湿度、スポットＡＩ天気予報、高精度マルチチャネルＧＰＳ、低高度衛星情報、ロングテールインシデントＡＩ ｄａｔａ等が挙げられる。ロングテールインシデントＡＩ ｄａｔａとはレベル５の実装した自動車のＴｒｉｐデータである。

【0013】

センサから取得する情報の例としては、画像、距離、振動、熱、匂い、色、音、超音波、紫外線、赤外線等が挙げられる。他の例として、料理の味、匂い、形状、温かさ、色、硬さ、柔らかさ等が挙げられる。他の例として、体重の重心移動、地面の材質の検知、外気温度の検知、外気湿度の検知、坂道の上下横斜め傾き角度の検知、周囲の状況（鳥、動物、サッカーボール、事故車、地震、家事、風、台風、大雨、小雨、吹雪、霧、など）等が挙げられる。本実施形態では、各種センサは、これらの情報の検知をナノ秒毎に実施し、情報取得部２０は、ナノ秒毎にこれらの情報を取得するようにしてもよい。

【0014】

情報取得部２０は、図２に示すような、指２１の第１関節に取り付けられたセンサ２２と、第２関節に取り付けられたセンサ２３を備えていてもよい。指２１はロボットの指でもよく、この場合、指２１は例えばシリコン樹脂で形成されており、他にも、耐熱、耐水、耐光、耐薬品、絶縁等の性質を有し、グリップもよい柔軟素材で形成されていてもよい。第１関節及び第２関節のセンサ２２，２３は、カメラ、ソリッドステートＬｉＤＡＲ、及び他のセンサ群を含んでいてもよい。また、ロボットの指２１は、人間のように１０本あってもよく、１本以上の指の関節にセンサが取り付けられていてもよい。なお、情報取得部２０によって取得される情報は、ＡＩデータ化してクラウドに蓄積してもよい。

【0015】

指定事項取得部３０は、作動部１０が動作の再現や人間の動きを補助する際の条件の指定を受け付ける。指定する内容は、各種操作ボタンやタッチパネルなどの入力手段を介して直接入力してもよい。例えば、料理を再現する場合には、味の好みや完成予定時刻等を指定できるようにしてもよい。また、作動部１０が、装着された人間の動きに関する情報を指定事項取得部３０にフィードバックし、指定事項取得部３０は、フィードバックされた情報を条件として取得するようにしてもよい。例えば、料理の補助をする場合には、装着される人間の技量に合わせて調理のスピードや難易度を条件として設定できるようにしてもよい。

【0016】

制御部４０は、汎用的なコンピュータであってよく、１台のコンピュータで構成されていてもよいし、通信ネットワークＮ上に分散する複数のコンピュータから構成されてもよい。制御部４０は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、入力インタフェース、出力インタフェース、通信インタフェース及びこれらを結ぶバス等を備えており、ＣＰＵがＲＯＭ等に格納されたプログラムを実行することにより各種機能を実現する。

【0017】

制御部４０は、情報取得部２０が取得した情報に基づいて作動部１０を制御する。例えば、制御部４０は、情報取得部２０が取得した情報とＡＩ（人工知能）を利用して、作動部１０を制御するようにしてもよい。より具体的には、制御部４０は、情報取得部２０が取得した情報とＡＩを用いて、１０憶分の１秒単位で作動部１０を制御してもよい。情報取得部２０及び制御部４０は、ナノ秒毎に、正確な画像認識、距離認識、振動認識、熱認識、匂い認識、色認識、音認識、超音波認識、紫外線認識、赤外線認識等を実行してもよい。

【0018】

図３は、動作再現装置１によって実現されるロボット１００（作動部１０）の例を示す図である。図３に示すように、ロボット１００は、コンピュータ１０１（制御部４０）と、大容量電池１０２を搭載した台１０３上に配置される。台１０３は車輪１０４によって移動可能に構成されている。ロボット１００は、つま先部分１０５で、コンピュータ１０１および大容量電池１０２と接続されていてもよい。これにより、ロボット１００は、かかと部分も含めて自由に動くことができる。ロボット１００は、コンピュータ１０１による制御により、大容量電池１０２の電力を利用して動作する。ロボット１００は、高度な調理やスポーツ等の動作を実現することができる。

【0019】

図４は、動作再現装置１の動作の概要を例示するフローチャートである。
まず、情報取得部２０において、各種センサを介してモデルの動作に関する情報を取得する（ステップＳ１０１）。なお、各種センサから取得する情報はＡＩデータ化してクラウド等に保存してもよい。次に、指定事項取得部３０において、モデルの動作を再現する際の指定事項を取得する（ステップＳ１０２）。なお、指定事項が無い場合にはステップＳ１０１からステップＳ１０３へ移行する。ステップＳ１０３において、制御部４０は、各種センサから取得した情報と、指定事項に基づいて作動部１０を制御する。なお、指定事項が無い場合には、各種センサから取得した情報に基づいて作動部１０を制御する。

【0020】

（料理への応用）
本実施形態による動作再現装置１を、料理の再現に応用する例について具体的に説明する。上述のように、情報取得部２０は、少なくとも料理の熱、形状、色、肌触り、及び匂いのうちの少なくとも１つを情報として取得してよい。また、制御部４０は、情報取得部２０が取得した情報とＡＩを用いて作動部１０を制御し、作動部１０に料理を再現させてよい。また、作動部１０が人間に装着される場合、制御部４０は、情報取得部２０が取得した情報とＡＩを用いて、作動部１０に、料理をする人間の動きを補助させてよい。動作再現装置１において、一度、最高の腕を有するシェフの最高のパフォーマンスを超高精細分析・認識することによって、当該シェフ本人以上に本人の味を正確に何度でも再現することが可能となり得る。

【0021】

料理の再現に応用する場合、情報取得部２０は、各種のセンサを介して、一流シェフが調理をする際の手の動きや目線に関する情報（料理人の動作）、調理の各工程にかかる時間に関する情報、食材の形状や大きさ（切り方）、火加減、料理の温度、色、匂いなど調理の工程に関わる様々な情報を取得する。制御部４０は、取得した情報を元に、シェフが作る料理と同じものを再現できるように、ロボットアームや人間に装着する補助器具（作動部１０）を制御する。

【0022】

また、制御部４０は、情報取得部２０が取得した情報と併せて、指定事項取得部３０が取得した、再現の際の指定条件（指定事項）に応じて作動部１０を制御するようにしてもよい。例えば、料理を完成させたい時間を指定すると、その時間に合わせてＡＩが各工程の開始時間や調理のスピードを逆算し、作動部１０の制御に反映するようにしてもよい。なお、開始時間を直接指定するだけでなく、スケジュール管理アプリなどと連携して、外出時刻や来客時刻などに合わせて料理を完成させる時間を自動設定するようにしてもよい。

【0023】

また、味の好みを指定すると、シェフの料理の味を好みに合わせて微調整できるようにしてもよい。例えば、味の濃さの好みを５段階（薄め、少し薄め、普通、少し濃いめ、濃いめ）で指定できるようにして、普通であればそのまま再現し、薄めまたは濃いめであれば、味付けの加減をＡＩが調節するようにしてもよい。また、焼き加減についても同様に調節できるようにしてもよい。また、食べる人の年齢を指定すると、ＡＩが年齢に合わせた味付けに調節するようにしてもよい。例えば、子供の場合は辛さを弱めにする、高齢の場合は塩分を控えめにする、などの調節を行うことができる。

【0024】

また、調理者の設定を行えるようにしてもよい。調理者を「シェフ」に設定すれば、そのままシェフの味が再現され、例えば「お母さん」に設定すれば、ＡＩが材料や調味料を変更し、シェフの料理よりも家庭的にアレンジされた料理が作られるようにしてもよい。

【0025】

また、作動部１０が補助器具である場合、装着する人の調理の技量に合わせて制御を変えるようにしてもよい。例えば、装着する人の調理のレベル（プロの調理師、料理に慣れている一般の人、普段料理をしない人等）をあらかじめ指定するようにしてもよいし、作動部１０を介して装着した人の動きを指定事項取得部３０にフィードバックし、ＡＩが技量を判断するようにしてもよい。制御部４０は、技量が高い人の場合にはシェフと同様の手順を再現し、慣れていない人の場合には難しい手順を省いたり、簡略化したりするなどの調節を行うようにしてもよい。また、装着した人の動きとシェフの動き（教師データ）を比較して、改善するためのアドバイスを提供するようにしてもよい。例えば、包丁の持ち方がシェフと異なる場合には、正しい持ち方を音声や画像で提示するようにしてもよい。このように、本実施形態に係る動作再現装置１は、調理技術の習得にも活用することができる。

【0026】

（スポーツへの応用）
本実施形態による動作再現装置１を、スポーツのプレイを再現したり、プレイをする人間の動きを作動部１０によって補助したりすることに応用することもできる。

【0027】

スポーツに応用する場合、情報取得部２０は、各種のセンサを介して、一流選手やコーチがプレイをする際の体の動きや目線に関する情報、動くスピードなど、スポーツのプレイに関わる様々な情報を取得する。制御部４０は、取得した情報を元に、選手やコーチの動きを再現するように、ロボットや人間に装着する補助器具（作動部１０）を制御する。ロボットの場合は、対戦相手、パートナー、１チームプレイヤーなどとして活用することができる。また、補助器具として用いる場合には、技術の習得などに活用することができる。

【0028】

制御部４０は、情報取得部２０が取得した情報と併せて、指定事項取得部３０が取得した、再現の際に指定された条件に応じて作動部１０を制御するようにしてもよい。例えば、対戦相手（ロボット）のレベル（上級者、中級者、初心者等）を設定すると、ＡＩが指定したレベルに合わせて動きやスピードを調整するようにしてもよい。

【0029】

また、作動部１０が補助器具である場合、装着する人の技量に合わせて制御を変えるようにしてもよい。例えば、装着する人のレベル（上級者、中級者、初心者等）をあらかじめ指定するようにしてもよいし、作動部１０を介して装着した人の動きを指定事項取得部３０にフィードバックし、ＡＩが技量を判断するようにしてもよい。制御部４０は、装着する人の技量に合わせて動きのスピードや強度を調節するようにしてもよい。また、装着した人の動きと選手やコーチの動き（教師データ）を比較して、改善すべき点を画像や音声でアドバイスするようにしてもよい。

【0030】

以上のように、本実施形態によれば、各種のセンサを利用して一流の料理人が料理をする際の動きや食材の状態などの情報を取得し、取得した情報を元に、ＡＩロボットが料理人の調理の動作を再現するようにしたので、一流シェフの作る料理を精度よく再現することができる。

【0031】

さらに、調理の再現の際に、味の好みや料理の完成時間に関する条件を指定し、それらの指定に合わせてＡＩが調理の動作を調整するようにしたので、一流シェフの作る料理を好みや要望に合わせて再現することができる。

【0032】

また、各種のセンサを利用してスポーツ選手やコーチがプレイする際の動きや目線の情報を取得し、取得した情報を元に、ＡＩロボットがプレイの動作を再現するようにしたので、スポーツ選手やコーチのような熟練者のプレイを精度よく再現することができる。

【0033】

さらに、プレイの再現の際に、プレイのレベルに関する条件を指定し、条件に合わせてＡＩが動きを調整するようにしたので、対戦相手や参加者のレベルに合わせてプレイを再現することができる。

【0034】

また、補助器具としての作動部１０を装着した人の動きをフィードバックし、装着した人の動きに合わせて作動部１０による動作の再現を調節するようにしたので、補助される人に無理のない範囲で熟練者などの動作を再現することができる。

【符号の説明】

【0035】

１ 動作再現装置、１０ 作動部、２０ 情報取得部、２１ 指、２２，２３ センサ、３０ 指定事項取得部、４０ 制御部、１００ ロボット、１０１ コンピュータ、１０２ 大容量電池、１０３ 台、１０４ 車輪、１０５ つま先部分

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2024-02-06

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】０００４

【補正方法】変更

【補正の内容】

【0004】

本発明は、匠の技を用途に合わせて再現する技術を提供することを目的の一つとする。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

本発明によれば、匠の技を用途に合わせて再現する技術を提供することができる。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００２４

【補正方法】変更

【補正の内容】

【0024】

また、調理者の設定を行えるようにしてもよい。調理者を「シェフ」に設定すれば、そのままシェフの味が再現され、例えば「祖母」に設定すれば、ＡＩが材料や調味料を変更し、シェフの料理よりも家庭的にアレンジされた料理が作られるようにしてもよい。