特開 2024-142558 動作習得支援装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024142558

(43)【公開日】2024-10-11

(54)【発明の名称】動作習得支援装置及びプログラム

(51)【国際特許分類】

   G09B 19/00 20060101AFI20241003BHJP

【ＦＩ】

G09B19/00 Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023054737

(22)【出願日】2023-03-30

(71)【出願人】

【識別番号】591280485

【氏名又は名称】ソフトバンクグループ株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100139066

【弁理士】

【氏名又は名称】伊藤 健太郎

(72)【発明者】

【氏名】孫 正義

(57)【要約】

【課題】モデルとなる動作を効率的に習得することが可能な技術を提供する。
【解決手段】動作習得支援装置１は、与えられる情報に従って作動する作動部１０と、第１のセンサから、モデルの動作に関する情報を取得する第１情報取得部２０ａと、ユーザに装着された第２のセンサを介して、ユーザの動作に関する情報を取得する第２情報取得部２０ｂと、モデルの動作に関する情報とユーザの動作に関する情報とを比較して、両者の差分を抽出する抽出部４０と、両者の差分に基づいて、ユーザとモデルとの間で動作の差分を補完するための補完情報を生成し、補完情報を作動部１０に出力する制御部６０とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザによるモデルの動作の習得を支援する動作習得支援装置であって、
与えられる情報に従って作動する作動部と、
第１のセンサから、モデルの動作に関する情報を取得する第１情報取得部と、
前記ユーザに装着された第２のセンサを介して、前記ユーザの動作に関する情報を取得する第２情報取得部と、
前記モデルの動作に関する情報と前記ユーザの動作に関する情報とを比較して、両者の差分を抽出する抽出部と、
前記両者の差分に基づいて、前記ユーザと前記モデルとの間で動作の差分を補完するための補完情報を生成し、前記補完情報を前記作動部に出力する制御部と
を具備する動作習得支援装置。

【請求項2】

前記両者の差分に基づき、前記ユーザの動作習得レベルを判定し、判定結果を出力する判定部をさらに備え、
前記制御部は、前記両者の差分及び前記判定結果に基づいて、前記ユーザと前記モデルとの間で動作の差分を補完するための補完情報を生成し、前記補完情報を前記作動部に出力する、請求項１に記載の動作習得支援装置。

【請求項3】

前記両者の差分が抽出された場合に、前記ユーザに対し、前記動作の差分を報知する報知部をさらに備える、請求項１または２に記載の動作習得支援装置。

【請求項4】

前記制御部は、前記補完情報を前記作動部及び前記報知部に出力し、
前記報知部は、前記補完情報に基づいて、前記動作の差分を報知する、請求項３に記載の動作習得支援装置。

【請求項5】

前記モデルの動作は、料理人による動作、またはスポーツ選手による動作である、請求項４に記載の動作習得支援装置。

【請求項6】

ユーザによるモデルの動作の習得を支援するコンピュータを、
与えられる情報に従って作動する作動部と、
第１のセンサから、モデルの動作に関する情報を取得する第１情報取得部と、
前記ユーザに装着された第２のセンサを介して、前記ユーザの動作に関する情報を取得する第２情報取得部と、
前記モデルの動作に関する情報と前記ユーザの動作に関する情報とを比較して、両者の差分を抽出する抽出部と、
前記両者の差分に基づいて、前記ユーザと前記モデルとの間で動作の差分を補完するための補完情報を生成し、前記補完情報を前記作動部に出力する制御部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動作習得支援装置及びプログラムに関する。

【背景技術】

【0002】

人間が行う複雑な動作をロボットに再現させる技術が研究されている（例えば特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－０６１７６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

人間がある動作（例えば、料理やスポーツの動作など）を習得する際に、自身の動作とモデルとなる動作の違いを明確に把握することができれば、理想的な動作を効率的に習得することができると考えられるが、このような技術は未だ提供されていない。

【0005】

本発明は以上説明した事情を鑑みてなされたものであり、モデルとなる動作を効率的に習得することが可能な動作習得支援装置等を提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

本開示の一態様に係る動作習得支援装置は、ユーザによるモデルの動作の習得を支援する動作習得支援装置であって、与えられる情報に従って作動する作動部と、第１のセンサから、モデルの動作に関する情報を取得する第１情報取得部と、ユーザに装着された第２のセンサを介して、ユーザの動作に関する情報を取得する第２情報取得部と、モデルの動作に関する情報とユーザの動作に関する情報とを比較して、両者の差分を抽出する抽出部と、両者の差分に基づいて、ユーザとモデルとの間で動作の差分を補完するための補完情報を生成し、補完情報を作動部に出力する制御部とを具備することを要旨とする。

【発明の効果】

【0007】

本発明によれば、モデルとなる動作を効率的に習得することが可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施形態に係る動作習得支援装置の構成を例示する図である。

【図2】動作習得支援装置の情報取得部を例示する図である。

【図3】動作習得支援装置によって実現されるロボットを例示する図である。

【図4】動作習得支援装置の動作例を示すフローチャートである。

【図5】ユーザの動きとシェフの動きの比較結果をあらわす画面例である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について図面を参照しつつ詳細に説明する。
図１は、本発明の実施の形態による動作習得支援装置１の構成を例示する図である。動作習得支援装置１は、１台または通信回線で接続された複数のコンピュータによって構成される。図１に示すように、動作習得支援装置１は、作動部１０、情報取得部２０、指定事項取得部３０、抽出部４０、判定部５０、制御部６０、報知部７０を含んでいる。なお、作動部１０、情報取得部２０、情報取得部２０、指定事項取得部３０、抽出部４０、判定部５０、制御部６０、報知部７０は、動作習得支援装置１に搭載されているソフトウェアが、ＣＰＵなどのハードウェア資源と協働することによって実現される。

【0010】

作動部１０は、例えば、人間の手や足などに装着されて人間の動きを補助する装着型のロボットである。作動部１０は、与えられる情報に従って作動することで、装着された人（以下、ユーザ）が一流シェフのような料理を作ったり、一流スポーツ選手のようにプレイしたりできるようにユーザの動作を補助することができる。また、作動部１０は、制御部６０による制御のもと、装着されたユーザ自身の動作に関する情報を取得し、正しい動作との違いを検出してフィードバックすることで、ユーザが一流シェフや一流スポーツ選手などの動作を効率的に学習（すなわち、習得）することを支援する。

【0011】

作動部１０は、多軸アクチュエータ、高性能モーターなどで、人間の指や腕と同じ多彩な動きを再現可能であることが望ましい。また、作動部１０は、人間より超高性能なスピードコントロールと正確性を実現できることが望ましい。

【0012】

情報取得部２０は、第１情報取得部２０ａと第２情報取得部２０ｂとを有する。第１情報取得部２０ａは、動作モデルの指先や目、頭等、ロボットのあらゆる部位に搭載されているセンサ（第１のセンサ）によってセンシングされた情報を取得する。動作モデル（モデル）は、一流シェフやスポーツ選手などの人間であってもよいし、正確に制御された動作を実現するロボットであってもよい。第２情報取得部２０ｂは、ユーザに装着されたセンサ（第２のセンサ）によってセンシングされた情報を取得する。以下の説明において、第１情報取得部２０ａ及び第２情報取得部２０ｂを特に区別する必要がない場合には、単に情報取得部２０と呼ぶ。

【0013】

各センサの例としては、カメラ、ソリッドステートＬｉＤＡＲ、マルチカラーレーザ同軸変位計、集音器、匂い探知機、振動計、サーモカメラ、硬度計、レーダー、ＬｉＤＡＲ、高画素・望遠・超広角・３６０度・高性能カメラ、ビジョン認識、微細音、超音波、振動、赤外線、紫外線、電磁波、温度、湿度、スポットＡＩ天気予報、高精度マルチチャネルＧＰＳ、低高度衛星情報、ロングテールインシデントＡＩ ｄａｔａ等が挙げられる。ロングテールインシデントＡＩ ｄａｔａとはレベル５の実装した自動車のＴｒｉｐデータである。

【0014】

各センサから取得する情報の例としては、画像、距離、振動、熱、匂い、色、音、超音波、紫外線、赤外線等が挙げられる。他の例として、料理の味、匂い、形状、温かさ、色、硬さ、柔らかさ等が挙げられる。他の例として、体重の重心移動、地面の材質の検知、外気温度の検知、外気湿度の検知、坂道の上下横斜め傾き角度の検知、周囲の状況（鳥、動物、サッカーボール、事故車、地震、家事、風、台風、大雨、小雨、吹雪、霧、など）等が挙げられる。本実施形態では、各センサは、これらの情報の検知をナノ秒毎に実施し、情報取得部２０は、ナノ秒毎にこれらの情報を取得するようにしてもよい。

【0015】

情報取得部２０は、図２に示すような、指２１の第１関節に取り付けられたセンサ２２と、第２関節に取り付けられたセンサ２３を備えていてもよい。指２１はロボットの指でもよく、この場合、指２１は例えばシリコン樹脂で形成されており、他にも、耐熱、耐水、耐光、耐薬品、絶縁等の性質を有し、グリップもよい柔軟素材で形成されていてもよい。第１関節及び第２関節のセンサ２２，２３は、カメラ、ソリッドステートＬｉＤＡＲ、及び他のセンサ群を含んでいてもよい。また、ロボットの指２１は、人間のように１０本あってもよく、１本以上の指の関節にセンサが取り付けられていてもよい。もちろん、センサ２２，２３の取り付け位置は、指に限る趣旨ではなく、あらゆる部位（例えば、足や肩、腕、腰など）に適用可能である。なお、情報取得部２０によって取得される情報は、ＡＩデータ化してクラウドに蓄積してもよい。

【0016】

指定事項取得部３０は、作動部１０が動作の再現や人間の動きを補助する際の条件の指定を受け付ける。指定する内容は、各種操作ボタンやタッチパネルなどの入力手段を介して直接入力してもよい。例えば、ユーザが一流シェフの動作を習得する場合には、料理の種類やレシピ、味の好みや完成予定時刻、料理のスピードや難易度等を任意に指定できるようにしてもよい。

【0017】

抽出部４０は、第１情報取得部２０ａによって取得されたモデルの動作に関する情報と、第２情報取得部２０ｂによって取得されたユーザの動作に関する情報とを比較して、両者の差分を抽出する。

【0018】

判定部５０は、抽出部４０によって抽出された両者の差分に基づき、ユーザの動作の習得レベルを判定し、判定結果を出力する。例えば、一流シェフの動作を習得する場合であれば、判定部５０は、両者の差分と閾値とを比較することで、習得レベル（例えば、レベル１～レベル１０など）を判定する。閾値は、例えば動作習得支援装置１を保守・運営する関係者が任意に設定変更してもよい。また、関係者は、様々なパラメータ（例えば、動作のズレ量やズレ回数など）について任意の閾値を設定することができる。

【0019】

制御部６０は、抽出された両者の差分及びユーザの動作の習得レベルの判定結果に基づいて、ユーザとモデルとの間の動作の差分を補完するための補完情報を生成し、出力する。

【0020】

例えば、一流シェフの動作を習得する場合であれば、制御部６０は、一流シェフの包丁さばきに近づくように、作動部１０が装着されたユーザの指や腕の使い方などをサポートする補完情報を生成し、作動部１０及び報知部７０に出力する。この際、制御部６０は、ユーザの習得レベルの判定結果に応じて、包丁さばきのスピードや難易度を変えて、補完情報を生成してもよい。例えば、ユーザの習得レベルが低い場合（レベル１～レベル３）には、制御部６０は、包丁さばきのスピードを緩める、あるいは難易度の高い包丁さばきを省略するような補完情報を生成してもよい。作動部１０は、制御部６０から与えられる補完情報に基づき作動することで、ユーザはモデル（例えば、一流シェフやスポーツ選手）の動作を効率的に習得することが可能となる。

【0021】

なお、制御部６０は、補完情報を生成するほか、情報取得部２０が取得する様々な情報やＡＩ（人工知能）などを利用して、作動部１０を制御するようにしてもよい。より具体的には、制御部６０は、情報取得部２０が取得した情報とＡＩを用いて、１０憶分の１秒単位で作動部１０を制御してもよい。情報取得部２０及び制御部６０は、ナノ秒毎に、正確な画像認識、距離認識、振動認識、熱認識、匂い認識、色認識、音認識、超音波認識、紫外線認識、赤外線認識等を実行してもよい。

【0022】

報知部７０は、例えばＬＥＤなどの発光素子、表示装置、スピーカーなどによって構成され、抽出部４０によって両者の差分が抽出された場合に、ユーザに対し、動作の差分を報知する。具体的には、報知部７０は、制御部６０から供給される補完情報に基づき、動作の差分（差分の発生、差分の大きさなどを含む）を報知する。例えば、ユーザの包丁の持ち方や材料の切り方、混ぜ方などが一流シェフと異なる場合には、作動部１０によってユーザの動作をサポートするだけでなく、報知部７０を利用して一流シェフと異なる部分（すなわち、動作の差分）を音声や画像などでユーザに提示する。これにより、ユーザは、自分の動作とモデルの動作との違い（差分）を、より客観的に把握することができ、モデルの動作の習得効率を高めることが可能となる。

【0023】

図３は、動作習得支援装置１によって実現されるロボット１００の例を示す図である。図３では、人間ではなく、人型料理ロボットに適用した場合を例示している。ロボット１００は、コンピュータ１０１、大容量電池１０２、移動用の車輪１０３などを備えて構成される。ロボット１００は、自由に動くことができる。ロボット１００は、コンピュータ１０１による制御により、大容量電池１０２の電力を利用して動作する。ロボット１００は、コンピュータ１０１による制御のもと、モデルとなる一流シェフの動作を忠実に再現等することができる。なお、ロボット１００には、一流シェフのみならず、様々なモデル（例えば、一流スポーツ選手など）の動作を忠実に再現等するためのソフトウェアをインストールしてもよい。

【0024】

図４は、動作習得支援装置１の動作の概要を例示するフローチャートである。
第１情報取得部２０ａは、第１のセンサを介してモデルの動作に関する情報を取得する一方（ステップＳ１０１）、第２情報取得部２０ｂは、ユーザに装着された第２のセンサを介して、ユーザの動作に関する情報を取得する（ステップＳ１０２）。なお、ユーザなどによってモデルの動作を再現する際の指定事項の入力があった場合には、指定事項取得部３０は、指定事項を取得する。その後、抽出部４０は、第１情報取得部２０ａによって取得されたモデルの動作に関する情報と、第２情報取得部２０ｂによって取得されたユーザの動作に関する情報とを比較して、両者の差分を抽出する（ステップＳ１０３）。

【0025】

判定部５０は、抽出部４０によって抽出された両者の差分に基づき、ユーザの動作の習得レベルを判定し、判定結果を出力する（ステップＳ１０４）。制御部６０は、抽出された両者の差分及びユーザの動作の習得レベルの判定結果に基づいて、ユーザとモデルとの間の動作の差分を補完するための補完情報を生成し（ステップＳ１０５）、作動部１０及び報知部７０に出力する。作動部１０は、補完情報に基づき、作動部１０が装着されたユーザの動作を制御する一方（ステップＳ１０６）、報知部７０は、補完情報に基づき、動作の差分が生じていることを音声や画像などでユーザに提示する（ステップＳ１０７）。動作習得支援装置１は、動作習得の終了指示が検知されない場合には（ステップＳ１０８：ＮＯ）、上記一連の処理を繰り返し実行する。その後、動作習得支援装置１は、動作習得の終了指示を検知すると（ステップＳ１０８：ＹＥＳ）、以上説明した処理を終了する。

【0026】

（料理への応用）
本実施形態による動作習得支援装置１を、一流シェフの動作の習得に応用する例について具体的に説明する。上述のように、情報取得部２０は、少なくとも料理の熱、形状、色、肌触り、及び匂いのうちの少なくとも１つを情報として取得してよい。情報取得部２０は、各種のセンサを介して、一流シェフ及びユーザが調理をする際の手の動きや目線に関する情報（料理人の動作）、調理の各工程にかかる時間に関する情報、食材の形状や大きさ（切り方）、火加減、料理の温度、色、匂いなど調理の工程に関わる様々な情報を取得する。抽出部４０は、情報取得部２０によって取得される一流シェフの動作に関する情報と、ユーザの動作に関する情報とを比較して、両者の差分を抽出する。制御部６０は、抽出部４０によって抽出された両者の差分を元に、シェフが作る料理と同じものを再現できるように、ユーザに装着された補助器具（作動部１０）などを制御する。

【0027】

また、制御部６０は、情報取得部２０が取得した情報と併せて、指定事項取得部３０が取得した、再現の際の指定条件（指定事項）に応じて作動部１０を制御するようにしてもよい。例えば、料理を完成させたい時間を指定すると、その時間に合わせてＡＩが各工程の開始時間や調理のスピードを逆算し、作動部１０の制御に反映するようにしてもよい。なお、開始時間を直接指定するだけでなく、スケジュール管理アプリなどと連携して、外出時刻や来客時刻などに合わせて料理を完成させる時間を自動設定するようにしてもよい。

【0028】

また、味の好みを指定すると、シェフの料理の味を好みに合わせて微調整できるようにしてもよい。例えば、味の濃さの好みを５段階（薄め、少し薄め、普通、少し濃いめ、濃いめ）で指定できるようにして、普通であればそのまま再現し、薄めまたは濃いめであれば、味付けの加減をＡＩが調節するようにしてもよい。また、焼き加減についても同様に調節できるようにしてもよい。また、食べる人の年齢を指定すると、ＡＩが年齢に合わせた味付けに調節するようにしてもよい。例えば、子供の場合は辛さを弱めにする、高齢の場合は塩分を控えめにする、などの調節を行うことができる。

【0029】

また、モデルとなる調理者をユーザが選択（設定）できるようにしてもよい。例えば、ユーザが調理者を「シェフ」に設定すれば、そのままシェフの味が再現され、調理者を「お母さん」に設定すれば、ＡＩが材料や調味料を変更し、シェフの料理よりも家庭的にアレンジされた料理が作られるようにしてもよい。

【0030】

また、作動部１０が補助器具である場合、装着するユーザの調理の技量に合わせて制御を変えるようにしてもよい。例えば、装着するユーザの調理のレベル（プロの調理者、料理に慣れている一般の人、普段料理をしない人等）をあらかじめ指定するようにしてもよいし、作動部１０を介して装着したユーザの動きを判定部５０にフィードバックし、判定部５０が技量を判断するようにしてもよい。制御部６０は、ユーザの技量が高い場合にはシェフと同様の手順を再現する一方、ユーザの技量が低い（すなわち、慣れていない）場合には難しい手順を省いたり、簡略化したりするなどの調節を行うようにしてもよい。どの手順を難しいと認定し、どの手順を簡略化等するかは、例えば以下の基準を利用することができる。一例として、調理に関わる動き（速度や加速度など）が閾値を超えるような激しい動作（例えば、千切りなど）や、モデルの動作とユーザの動作の差分が大きい区間の動作（例えば、鍋振りなど）を難しい手順と認定する。難しいと認定した手順のうち、どの手順を簡略化等するかは、ユーザの技量や動作内容に応じて適宜設定・変更すればよい。なお、制御部６０は、装着したユーザの動きとシェフの動き（教師データ）を比較し、比較結果を画像やグラフなどでユーザに提示するようにしてもよい。例えば、図５に示すように、ユーザの動きを示す画像Ｐ１と一流シェフの動きを示す画像Ｐ２を並べて表示装置に表示したり、ユーザの動きと一流シェフの動き（位置、速度、加速度など）の差異をあらわすグラフＧ１を表示装置に表示してもよい。図５に示すグラフＧ１を例に説明すると、区間αは、食材（タマネギやニンジンなど）をみじん切りにする動作を示し、区間βは、食材（タマネギやひき肉など）を混ぜ合わせて成形する動作を示す。図５に示す例では、モデルとユーザとの動作（例えば、力加減など）に大きな差異があることから（区間β参照）、ユーザは、画像Ｐ１、Ｐ２とともにグラフＧ１を確認することで、成形する動作をどのように改善すべきか、客観的に把握することができる。このように、ユーザは、表示装置に表示される比較結果を確認することで、一流シェフの動作の習得効率をより高めることが可能となる。

【0031】

（スポーツへの応用）
本実施形態による動作習得支援装置１を、一流スポーツ選手の動作（プレイ）の習得に応用する例について説明する。
スポーツに応用する場合、情報取得部２０は、各種のセンサを介して、一流スポーツ選手（コーチ等も含む）がプレイをする際の体の動きや目線に関する情報、動くスピードなど、スポーツのプレイに関わる様々な情報を取得する。抽出部４０は、情報取得部２０によって取得される一流スポーツ選手のプレイに関する情報と、ユーザのプレイに関する情報とを比較して、両者の差分を抽出する。制御部６０は、抽出部４０によって抽出された両者の差分を元に、一流スポーツ選手のプレイが再現できるように、ユーザに装着された補助器具（作動部１０）などを制御する。

【0032】

また、制御部６０は、情報取得部２０が取得した情報と併せて、指定事項取得部３０が取得した、再現の際に指定された条件に応じて作動部１０を制御するようにしてもよい。例えば、対戦相手（ロボット）のレベル（上級者、中級者、初心者等）を設定すると、ＡＩが指定したレベルに合わせて動きやスピードを調整するようにしてもよい。

【0033】

また、作動部１０が補助器具である場合、装着するユーザのスキル（技量）に合わせて制御を変えるようにしてもよい。例えば、装着するユーザのレベル（上級者、中級者、初心者等）をあらかじめ指定するようにしてもよいし、作動部１０を介して装着したユーザの動きを判定部５０にフィードバックし、判定部５０が技量を判断するようにしてもよい。制御部６０は、装着するユーザの技量に合わせて動きのスピードや強度を調節するようにしてもよい。また、装着したユーザの動きとスポーツ選手の動き（教師データ）を比較し、比較結果を画像やグラフなどでユーザに提示するようにしてもよい。

【0034】

以上説明したように、本実施形態によれば、各センサを利用して、ユーザの動作とモデルの動作の差分を抽出し、抽出した両者の差分に基づいて、ユーザに装着された作動部を制御する。ユーザは、作動部を介して自分の動作とモデルの動作の違い（差分）を把握することができ、モデルの動作を効率的に習得することが可能となる。

【符号の説明】

【0035】

１…動作習得支援装置、１０…作動部、２０…情報取得部、２０ａ…第１情報取得部、２０ｂ…第２情報取得部、３０…指定事項取得部、４０…抽出部、５０…判定部、６０…制御部、７０…報知部、１００…人型料理ロボット、１０１…コンピュータ、１０２…大容量電池、１０３…車輪、Ｐ１，Ｐ２…画像、Ｇ１…グラフ

【図1】

【図2】

【図3】

【図4】

【図5】