特許 7548970 ドッペルゲンガー遠隔ロボットシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】ドッペルゲンガー遠隔ロボットシステム

(51)【国際特許分類】

   G06F 16/90 20190101AFI20240903BHJP

   G06F 16/9035 20190101ALI20240903BHJP

   G06F 3/16 20060101ALI20240903BHJP

   G10L 13/00 20060101ALI20240903BHJP

   G10L 15/00 20130101ALI20240903BHJP

【ＦＩ】

G06F16/90 100

G06F16/9035

G06F3/16 650

G06F3/16 690

G10L13/00 100M

G10L15/00 200H

【請求項の数】 12

【外国語出願】

(21)【出願番号】P 2022143107

(22)【出願日】2022-09-08

(65)【公開番号】P2023039445

(43)【公開日】2023-03-20

【審査請求日】2022-12-08

(31)【優先権主張番号】21195517.4

(32)【優先日】2021-09-08

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】503113186

【氏名又は名称】ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー

【氏名又は名称原語表記】Ｈｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ

(74)【代理人】

【識別番号】110001081

【氏名又は名称】弁理士法人クシブチ国際特許事務所

(72)【発明者】

【氏名】ゲーリック，クリスティアン

(72)【発明者】

【氏名】ヴァイスヴァンゲ，トーマス

(72)【発明者】

【氏名】ヴァイゲル，マルティン

(72)【発明者】

【氏名】ルイケン，ディルク

(72)【発明者】

【氏名】ハッセンザール，マルク

(72)【発明者】

【氏名】アルベール，ルーベン

(72)【発明者】

【氏名】デレンベッヒャー，ユーディット

【審査官】松尾 真人

(56)【参考文献】

【文献】特開２００９－１３１９１４（ＪＰ，Ａ）

【文献】特開２００８－０８０４３１（ＪＰ，Ａ）

【文献】特許第６７１２０２７（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ １３／００

Ｇ１０Ｌ １５／００

(57)【特許請求の範囲】

【請求項1】

通信ネットワーク（Ｎ）を介して接続された自律デバイス（２）とオペレータインターフェースデバイス（３）とを含むシステムであって、
前記自律デバイス（２）が、前記自律デバイス（２）の環境内の少なくとも１人の人物（Ｐ）と対話するように構成され、
前記自律デバイス（２）が、自律制御プログラムによって制御される自律動作モードおよび少なくとも部分的にリモートで制御される遠隔動作モードで動作するように構成され、
前記オペレータインターフェースデバイス（３）が、オペレータが前記自律デバイス（２）を前記遠隔動作モードで少なくとも部分的に制御することを可能にするように構成され、
前記システムが、前記オペレータの制御化において前記遠隔動作モードで動作している間に、前記対話に対する前記少なくとも１人の人物（Ｐ）の特定の反応を検出するように構成され、
前記システムがさらに、
前記オペレータ（ＯＰ）の制御下において前記遠隔動作モードで動作している間に、特定の前記反応が検出された場合に、前記対話において前記自律デバイスによって実行されたアクション又は連続するアクション決定し、決定された前記アクション又は前記連続するアクションを、データベースに記憶された既定のデフォルトアクション又は連続するデフォルトアクションと比較することによって、前記自律デバイス（２）と前記少なくとも１人の人物（Ｐ）との対話を分析し、前記比較に基づいて、前記オペレータ（ＯＰ）および前記少なくとも１人の人物（Ｐ）に関連付けられたオペレータスタイル態様データを生成するように構成された、オペレータスタイル評価モジュール（５、２１）と、
前記少なくとも１人の人物（Ｐ）との前記対話を前記自律動作モードで制御しているときに前記オペレータスタイル評価モジュール（５、２１）によって生成された前記オペレータスタイル態様データに基づいて、前記自律制御プログラム（３２）を適応させるように構成された、オペレータスタイル模倣モジュール（１８、３３）と
を含むシステム。

【請求項2】

前記オペレータスタイル模倣モジュール（１８、３３）が、前記自律デバイス（２）の視覚的外観、視覚的形状、発話パラメータ、オーディオ出力パラメータ、運動パラメータ、行動選択、行動順序付け、接触行動、および匂いのうちの少なくとも１つを適応させるために、前記オペレータスタイル態様データに基づいて前記自律動作モードで前記自律制御プログラム（３２）を適応させるように構成される、請求項１に記載のシステム。

【請求項3】

前記自律デバイス（２）が、発話を出力するための発話出力モジュール（１７）を備え、
前記オペレータスタイル評価モジュール（５、２１）が、前記自律デバイス（２）による前記出力された発話内の特定のフレーズの使用を決定することによって、前記遠隔動作モードで動作している間に前記自律デバイス（２）と前記少なくとも１人の人物（Ｐ）との対話を分析し、前記特定のフレーズの前記使用に基づいて、前記オペレータ（ＯＰ）および前記少なくとも１人の人物（Ｐ）に関連付けられた前記オペレータスタイル態様データを生成するように構成され、
前記オペレータスタイル模倣モジュール（１８、３３）が、前記特定のフレーズの前記使用を繰り返すことによって、前記少なくとも１人の人物（Ｐ）との前記対話を前記自律動作モードで制御しているときに前記オペレータスタイル態様データに基づいて前記自律制御プログラム（３２）を適応させるように構成される、請求項１に記載のシステム。

【請求項4】

前記システムが、少なくとも１つのオペレータスタイルプロファイルを記憶するように構成されたメモリを含み、各オペレータスタイルプロファイルが１人の特定のオペレータ（ＯＰ）に関連付けられ、
前記自律デバイス（２）が、学習済みのトリガイベントおよび既定のトリガイベントのうちの少なくとも１つに基づいて、もしくはランダムに、前記オペレータスタイルプロファイルを選択するかまたは前記メモリに記憶された異なるオペレータスタイルプロファイル間で切り替えるように構成される、請求項１に記載のシステム。

【請求項5】

前記自律デバイス（２）が、前記人物（Ｐ）からユーザ入力を取得するように構成されたローカルユーザインターフェースを備え、
前記自律デバイス（２）が、前記ユーザ入力に基づいて前記オペレータスタイルプロファイルを選択するか、または記憶されたオペレータスタイル態様データに関連付けられた選択確率値を増加もしくは減少させるように構成される、請求項４に記載のシステム。

【請求項6】

前記システムが、前記適応された自律制御プログラム（３２）に基づいて、前記自律デバイス（２）によって実行される対話に対する前記少なくとも１人の人物（Ｐ）の反応を検出するように構成され、
前記システムが、前記検出された反応を既定の期待される反応と比較し、前記比較に基づいて前記オペレータスタイル態様データを抽出するか、または前記比較に基づいて前記オペレータスタイル態様データを適用するように構成される、請求項１に記載のシステム。

【請求項7】

前記システムが、
前記オペレータスタイル評価モジュール（５、２１）が前記オペレータスタイル態様データを生成したコンテキストとは異なるコンテキストに前記オペレータスタイル態様データを適応させること、
前記自律デバイス（２）による少なくとも部分的な制御下において前記遠隔動作モードで前記自律デバイス（２）によって実行される例示的なアクションと同様の少なくとも１つの新しいアクションを生成すること、
前記オペレータスタイル評価モジュール（５、２１）によって生成された前記オペレータスタイル態様データに基づいて汎用的なオペレータスタイル態様クラスを決定すること、
前記オペレータスタイル態様データを前記自律デバイス（２）の少なくとも１つの能力に適応させること
のうちの少なくとも１つを実行するように構成される、請求項１に記載のシステム。

【請求項8】

前記システムが、前記オペレータスタイル態様データを別の自律デバイス（２）の能力に適応させ、記録されたオペレータスタイル態様データを他の自律デバイス（２）に伝達するように構成される、請求項１に記載のシステム。

【請求項9】

前記オペレータインターフェースデバイス（３）が、前記遠隔動作モードで前記オペレータ（ＯＰ）によるオペレータ入力を受信するように構成されたオペレータ入力インターフェース（４）を備え、
前記受信されたオペレータ入力が、関連する活動に基づいてオペレータスタイル態様データを生成するための前記関連する活動として、前記オペレータ（ＯＰ）によって実行される特定の活動を示す、請求項１に記載のシステム。

【請求項10】

前記オペレータインターフェースデバイス（３）が、前記オペレータ（ＯＰ）の視覚的外観および前記オペレータ（ＯＰ）の声の特徴を分析するように構成される、請求項１に記載のシステム。

【請求項11】

通信ネットワーク（Ｎ）を介して接続された自律デバイス（２）とオペレータインターフェースデバイス（３）とを含むシステム（１）を動作させる方法であって、
前記自律デバイス（２）が、前記自律デバイス（２）の環境内の少なくとも１人の人物（Ｐ）と対話し、前記自律デバイス（２）が、自律制御プログラム（３２）によって制御される自律動作モードまたは少なくとも部分的にリモートで制御される遠隔動作モードで動作し、前記オペレータインターフェースデバイス（３）が、オペレータ（ＯＰ）が前記自律デバイス（２）を前記遠隔動作モードで少なくとも部分的に制御することを可能にし、
前記方法が、
オペレータスタイル評価モジュール（５、２１）によって、前記オペレータ（ＯＰ）の制御下において前記遠隔動作モードで動作している間に、前記対話に対する前記少なくとも１人の人物（Ｐ）の特定の反応が検出された場合に、前記対話において前記自律デバイスによって実行されたアクション又は連続するアクション決定し、決定された前記アクション又は前記連続するアクションを、データベースに記憶された既定のデフォルトアクション又は既定の連続するデフォルトアクションと比較することによって、前記自律デバイス（２）と前記少なくとも１人の人物（Ｐ）との前記対話を分析するステップ（Ｓ１）と、
前記オペレータスタイル評価モジュール（５、２１）によって、前記比較に基づいて、前記オペレータ（ＯＰ）および前記少なくとも１人の人物（Ｐ）に関連付けられたオペレータスタイル態様データを生成するステップ（Ｓ２）と、
オペレータスタイル模倣モジュール（１８、３３）によって、前記少なくとも１人の人物（Ｐ）との前記対話を前記自律動作モードで制御しているときに前記オペレータスタイル評価モジュール（５、２１）によって生成された前記オペレータスタイル態様データに基づいて、前記自律制御プログラム（３２）を適応させるステップ（Ｓ３）と
を含む、方法。

【請求項12】

コンピュータプログラムであって、前記プログラムが少なくとも１つのプロセッサまたはデジタル信号プロセッサ上で実行されたときに請求項１１に記載の前記ステップを実行するためのプログラムコード手段を有する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット工学の分野に関する。

【0002】

開示される主題は、一般に、自律動作能力（自律モード）を備えたリモートオペレータの制御下（遠隔動作モード）で少なくとも部分的に動作する能力を有する自律デバイス（遠隔ロボット）に関する。本発明は、自律デバイスと自律デバイスを制御するためのオペレータインターフェースデバイスとを含むシステム、自律デバイスを動作させる方法、および対応するコンピュータプログラムを含む。

【背景技術】

【0003】

現在の自律デバイス（ロボットデバイス、ロボット）には、危険物のリモート制御による取り扱いまたは過酷な環境でのリモート制御による取り扱いから医療分野における外科医の手術支援に至るまでの様々な用途が存在する。遠隔動作のためのシステムは、人間のオペレータがリモート制御デバイスを使用して環境内で特定のタスクを実行することを可能にし、人間のオペレータは、リモート制御デバイスを使用することによって、リモートオペレータの場所から通信ネットワークを介して特定のタスクを制御する。通常、人間のオペレータによるリモコンを介した入力は、リモート制御モードまたはさらには半自律モードの動作において、自律デバイスの完全自律モードで可能なタスクよりも複雑なタスクを実行することを可能にする。

【0004】

様々な疾患を患う患者にリモート医療を提供する需要が高まっている。ロボットデバイスは、そのような患者に望ましい在宅ケアを提供することによって、費用を最小限に抑える機会を提供する。在宅ケアは通常、医療提供者である個人による定期的な訪問を必要とする。経済的または人員配置の問題により、患者が支援を必要とするときに医療提供者が患者のいる場所で現地対応できない場合がある。ロボット支援システムは、これらの状況下で有益なサポート機能を提供し得る。しかしながら、これらのロボット支援システムには、依然としてセンサおよびアクチュエータの能力が制限されるという欠点がある。さらに、ロボットデバイスには通常、人間が提供できる社会的および感情的な能力も欠如している。

【0005】

さらに、家庭用の玩具ロボットの数が増加している。

【0006】

これらのロボットデバイスの例は、多くの場合、単純な運動プラットフォームを有し、単語および音を生成して出力するための何らかのタイプの発話合成を含む。ロボットデバイスは通常、ロボットデバイスとユーザとの間の直接的な対話から生じる、人間によって提供され得る社会的および感情的な影響も欠如しているとされている。既存の通信手段、例えば電話またはビデオチャットシステム、およびテレプレゼンスは、物理的な訪問を必要とせずに社会的および感情的なアウトプットを提供するのに役立つ場合がある。しかしながら、現在の通信手段について引用される例では、依然として２者の通信相手間の時刻同期をスケジュールする必要がある。

【0007】

自律ロボットと遠隔動作ロボットとの間の大きな違いの１つは、遠隔オペレータが、遠隔動作ロボットシステムを介して離れた場所で自分の実際の性格を表現できることである。遠隔オペレータの性格の表現された個人的特性は、遠隔動作ロボットデバイスの環境内に存在する他の人物との社会的つながりを形成するのに役立つ可能性がある。しかしながら、遠隔オペレータは、１日２４時間、週７日対応することはできない。

【0008】

運転支援および自律車両の分野では、支援システムによって実行される自律アクションと制限的な遠隔動作能力とを組み合わせる手法が存在する。既存の手法は、自律車両が自律車両自体の能力に基づいて対応できない交通状況に遭遇した場合に対処する可能性を提供する。そのような場合、自律車両のシステムは、人間の遠隔オペレータに、自律車両の制御を引き継ぐよう要求するとともに、自動運転システムに制御を戻す前に、自律車両が自律車両自体の能力では対処できない困難な交通状況の間は常に自律車両を操縦するように要求する。しかしながら、この手法は、自律車両が対処できない困難な交通状況を解決することに重点を置いているため、全面的にタスク指向である。実際の遠隔オペレータが誰であるかは重要ではない。さらに、自車両のユーザは、遠隔動作が最良のシナリオで行われていることに気付かないか、または少なくとも、遠隔オペレータの特定の個人的特性が、遭遇した交通状況に対応していることに留意しないはずである。

【0009】

米国特許第８，９９６，４２９（Ｂ１）号は、性格を選択する自律ロボットデバイスを開示しており、性格はその行動および外見によって示される。ロボットデバイスは、同じ人物と対話するときに、または同じシステムに接続された異なるロボットシステムによって、選択された性格を一貫して使用し得る。選択された性格は、ロボットデバイスを使用する人物を含む既存の人間をモデル化し得る。ロボットデバイスは、ある特定のコンテキストもしくはユーザ属性、またはユーザの検出された気分に一致させるために、事前定義された性格のデータベースから性格を選択する。しかしながら、利用可能な性格およびそれらをどのように表現するかは事前定義されており、特定のユーザとロボットデバイスとの間の直接的な対話に起因する感情的な態様は対象としていない。

【0010】

さらに、Ｏｋａｍｏｔｏ，Ｔ．、Ｓｈｉｒａｔｏｒｉ，Ｔ．、Ｇｌｉｓｓｏｎ，Ｍ．、Ｙａｍａｎｅ，Ｋ．、Ｋｕｄｏｈ，Ｓ．、およびＩｋｅｕｃｈｉ，Ｋ．、「Ｅｘｔｒａｃｔｉｏｎ ｏｆ ｐｅｒｓｏｎ－ｓｐｅｃｉｆｉｃ ｍｏｔｉｏｎ ｓｔｙｌｅ ｂａｓｅｄ ｏｎ ａ ｔａｓｋ ｍｏｄｅｌ ａｎｄ ｉｍｉｔａｔｉｏｎ ｂｙ ｈｕｍａｎｏｉｄ ｒｏｂｏｔ」（ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＲＯＳ２０１４）、１３４７～１３５４）によると、すべて同じ動き（例えば、何かを投げること）を実行している様々な人間の実演者の特定の相違を抽出し、それらをロボットデバイスに伝達して、ロボットによってそのような動きのスタイルを明示的にまねることが知られている。これは、遠隔動作の行動ではなく人間の行動の観察を使用しており、単一の動きを超えて推測することはない。

【先行技術文献】

【特許文献】

【0011】

【文献】米国特許第８，９９６，４２９（Ｂ１）号

【非特許文献】

【0012】

【文献】Ｏｋａｍｏｔｏ，Ｔ．、Ｓｈｉｒａｔｏｒｉ，Ｔ．、Ｇｌｉｓｓｏｎ，Ｍ．、Ｙａｍａｎｅ，Ｋ．、Ｋｕｄｏｈ，Ｓ．、およびＩｋｅｕｃｈｉ，Ｋ．、「Ｅｘｔｒａｃｔｉｏｎ ｏｆ ｐｅｒｓｏｎ－ｓｐｅｃｉｆｉｃ ｍｏｔｉｏｎ ｓｔｙｌｅ ｂａｓｅｄ ｏｎ ａ ｔａｓｋ ｍｏｄｅｌ ａｎｄ ｉｍｉｔａｔｉｏｎ ｂｙ ｈｕｍａｎｏｉｄ ｒｏｂｏｔ」（ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＲＯＳ２０１４）、１３４７～１３５４）

【発明の概要】

【発明が解決しようとする課題】

【0013】

したがって、社会的対話の態様および遠隔動作時間を超えて社会的対話の態様をどのように提供できるかを考慮して現在の遠隔動作ロボットデバイスを改善することが依然として課題である。

【課題を解決するための手段】

【0014】

第１の態様による自律デバイス、第２の態様による自律デバイスを動作させるための方法、および第３の態様によるプログラムは、有利な解決策を提供する。

【0015】

従属請求項は、さらなる有利な実施形態を定義する。

【0016】

第１の態様によるシステムは、通信ネットワークを介して接続された自律デバイスとオペレータインターフェースデバイスとを含む。自律デバイスは、自律デバイスの環境内の少なくとも１人の人物と対話するように構成される。自律デバイスはさらに、自律制御プログラムによって制御される自律動作モードおよび少なくとも部分的にリモートで制御される遠隔動作モードで動作するように構成される。オペレータインターフェースデバイスは、オペレータが自律デバイスを遠隔動作モードで少なくとも部分的に制御することを可能にするように構成される。システムはさらに、オペレータの制御下において遠隔動作モードで動作している間に自律デバイスと少なくとも１人の人物との対話を分析するように構成されたオペレータスタイル評価モジュールを含む。オペレータスタイル評価モジュールはさらに、自律デバイスの分析された対話に基づいて、オペレータおよび少なくとも１人の人物に関連付けられたオペレータスタイル態様データを生成するように構成される。システムはさらに、少なくとも１人の人物との対話を自律動作モードで制御しているときにオペレータスタイル評価モジュールによって生成されたオペレータスタイル態様データに基づいて自律制御プログラムを適応させるように構成されたオペレータスタイル模倣モジュールを含む。

【0017】

システムは、自律デバイスが自律動作モードで単独で作用している間、抽出された性格特性を維持するために、自律デバイスを遠隔動作モードで制御しながら人間のオペレータの性格特性を抽出するための手段を提供する。システムは、自律動作モードでの自律デバイスの動作を、抽出された性格特性に基づかせる。このように、システムは、人間のオペレータによってリモートで動作されるロボット支援を提供するが、遠隔動作モードでタスクを解決する際にオペレータの特徴的な特性のいくつかを学習し、学習済みの特性を適応させて、自律モードにおいても学習済みの特性を発揮および適用する自律能力も有する。

【0018】

システムは、高齢者または障害者が特定のタスクに対処するのを支援するのに特に有用な、基本的なサポート能力およびコミュニケーション能力を提供し得る。

【0019】

遠隔動作をテレプレゼンスまたはビデオ通信手段と組み合わせて使用することにより、高齢者をサポートするための方法、さらには、高齢者にさらに社会的および感情的な価値も提供する。同時に、システムは、サポート者を移動から解放し、サポート者が特定の時間にしか対応できないという現在の制限を超えることさえあり、２者間で、すなわち、一方の人間のオペレータと他方の被支援者との間で時間の同期をとる必要がない。

【0020】

遠隔動作モードでは、人間のオペレータは、自分の性格、自分の人柄の特性、例えば、しぐさ、声、行動スタイル、特定の言語を、離れた場所にある自律デバイスを介して表現し、これにより、人間のオペレータが被支援者の環境内の被支援者の場所に実際に存在している感覚が得られる。自律デバイスは、自律デバイスがオペレータの制御下にある遠隔動作モード中にオペレータの特定のオペレータスタイルを学習する。自律デバイスは、自律モードでのその自律的行動にオペレータスタイルの少なくともいくつかの態様を組み込む。これは、人間のオペレータが対応できない間、高齢のユーザのために自律デバイスによって提供される社会的または感情的なサポート機能の改善につながる。

【0021】

自律デバイスは、例えば、オペレータによってオペレータインターフェースデバイスを介して入力された特定の視覚的特徴を決定し、決定された視覚的特徴に基づいて、自律デバイス自体の外見または視覚的外観をその人物に近づくよう適応させ、したがって、自律モードで動作しているときでも人物に対してなじみのある印象を作り出すことができる。

【0022】

好ましくは、自律デバイスは、自律デバイスが自律モードで動作するか遠隔動作モードで動作するかを自律デバイスの環境にシグナリングする。自律デバイスは、自律デバイスの行動、例えば、自律デバイスがアクションを実行する特定の方式を介して、このモードをシグナリングし得る。追加としてまたは代替として、自律デバイスは、自律デバイスが現在動作しているモードを例えば視覚信号または聴覚信号の出力よってシグナリングするために、ヒューマンマシンインターフェースを使用する。

【0023】

遠隔動作モードでは、リモートオペレータは、自律デバイスを遠隔動作モードで制御することができ、これにより、自律デバイスは、例えば優れた人間の知覚能力および意思決定能力により、複雑なタスクを解決することが可能になる。

【0024】

システムの一実施形態によれば、オペレータスタイル評価モジュールは、自律デバイスによって実行されるアクションを決定することによって、遠隔動作モードで動作している間に自律デバイスと少なくとも１人の人物との対話を分析するように構成される。次いで、オペレータスタイル評価モジュールは、決定されたアクションを、既定のデフォルトアクション、予測されるアクション、および典型的なアクションを記憶しているデータベースのうちの少なくとも１つと比較する。

【0025】

決定されたアクションと既定のデフォルトアクションとを比較することによって、タスクに対処するときのオペレータの個人的な手法が明らかになる。タスクを解決するときにオペレータに関連付けられた特定のオペレータスタイルが決定される。

【0026】

システムオペレータスタイル模倣モジュールは、自律デバイスの視覚的外観、視覚的形状、発話パラメータ、オーディオ出力パラメータ、運動パラメータ、行動選択の好み、行動順序、接触行動、および匂いのうちの少なくとも１つを適応させるために、自律動作モードにおいてオペレータスタイルデータに基づいて自律制御プログラムを適応させるように構成され得る。

【0027】

ある特定の実施形態によるシステムの自律デバイスは、発話を出力するための発話出力モジュールを備え得る。オペレータスタイル評価モジュールは、自律デバイスによる特定のフレーズの使用を決定することによって、遠隔動作モードで動作している間に自律デバイスと少なくとも１人の人物との対話を分析し、特定のフレーズの使用に基づいて、オペレータおよび少なくとも１人の人物に関連付けられたオペレータスタイル態様データを生成するように構成され得る。オペレータスタイル模倣モジュールは、特定のフレーズを繰り返し使用することによって、少なくとも１人の人物との対話を自律動作モードで制御するときに、オペレータスタイル態様データに基づいて自律制御プログラムを適応させるように構成され得る。

【0028】

システムは、少なくとも１つのオペレータスタイルプロファイルを記憶するように構成されたメモリを備えることができ、各オペレータスタイルプロファイルは、１人の特定のオペレータに関連付けられる。自律デバイスは、学習済みのトリガイベントおよび既定のトリガイベントのうちの少なくとも１つに基づいてもしくはランダムに、オペレータスタイルプロファイルを選択するかまたはメモリに記憶された異なるオペレータスタイルプロファイル間で切り替えるように構成され得る。

【0029】

一実施形態によるシステムは、人のユーザ入力を取得するように構成されたローカルユーザインターフェースを備える自律デバイスを含み、自律デバイスは、ユーザ入力に基づいてオペレータスタイルプロファイルを選択するか、または記憶されたオペレータスタイル態様データに関連付けられた選択確率値を増加もしくは減少させるように構成される。

【0030】

一実施形態によれば、システムは、適応された制御プログラムに基づいて、自律デバイスによって実行される対話に対する少なくとも１人の人物の反応を検出するように構成される。システムは、検出された反応を既定の期待される反応と比較し、比較に基づいてオペレータスタイル態様を抽出するか、または比較に基づいてオペレータスタイル態様を適用するように構成される。

【0031】

システム、具体的には、一実施形態のオペレータスタイル評価モジュールは、オペレータスタイル評価モジュールがオペレータスタイル態様を生成したコンテキストとは異なるコンテキストにオペレータスタイル態様を適応させること、自律デバイスによる少なくとも部分的な制御下において遠隔動作モードで自律デバイスによって実行される例示的なアクションと同様の少なくとも１つの新しいアクションを生成すること、オペレータスタイル評価モジュールによって生成されたオペレータスタイル態様データに基づいて汎用的なオペレータスタイル態様クラスを決定すること、オペレータスタイル態様データを自律デバイスの少なくとも１つの能力に適応させることのうちの少なくとも１つを実行するように構成される。

【0032】

システムは、オペレータスタイル態様データを別の自律デバイスの能力に適応させ、記録されたオペレータスタイル態様データを他の自律デバイスに伝達するように構成される。

【0033】

システムの一実施形態では、オペレータインターフェースデバイスは、遠隔動作モードでオペレータによるオペレータ入力を受信するように構成されたオペレータ入力インターフェースを備える。受信したオペレータ入力は、関連する活動に基づいてオペレータスタイル態様データを生成するための関連する活動として、オペレータによって実行される特定の活動を示す。

【0034】

一実施形態のオペレータインターフェースデバイスは、オペレータの視覚的外観およびオペレータの声の特徴を分析するように構成される。

【0035】

ロボットの行動のスタイルを分析することに加えて、オペレータの視覚的外観、例えば、服装、顔の特徴、声の特徴、例えばオペレータの音調性を分析することは、オペレータスタイル態様データを提供し、オペレータスタイル態様データにより、自律動作モードの自律デバイスは、人物について認識しやすい典型的な性格特性を発揮することが可能になる。これにより、オペレータの視覚的特徴および声の特徴を分析し、それらをロボットの同様の視覚的特徴および声の特徴に変換する機会が提供され、特に、リモートオペレータが、ロボットの特定の視覚的特徴および声の特徴を選択して、そのオペレータスタイルを明示的に表す機会が提供される。オペレータスタイル評価モジュールは、検出または選択された特徴を分析し、それらを使用して自律モードにあるロボットの声および発話の特徴にバイアスをかける。

【0036】

第２の態様による、通信ネットワークを介して接続された自律デバイスとオペレータインターフェースデバイスとを含むシステムを動作させる方法は、自律デバイスが自律デバイスの環境内の少なくとも１人の人物と対話することを含む。自律デバイスは、自律制御プログラムによって制御される自律動作モードまたは少なくとも部分的にリモートで制御される遠隔動作モードで動作する。オペレータインターフェースデバイスは、オペレータが自律デバイスを遠隔動作モードで少なくとも部分的に制御することを可能にする。方法は、オペレータスタイル評価モジュールによって、オペレータの制御下において遠隔動作モードで動作している間に自律デバイスと少なくとも１人の人物との対話を分析するステップと、オペレータスタイル評価モジュールによって、自律デバイスの分析された対話に基づいて、オペレータおよび少なくとも１人の人物に関連付けられたオペレータスタイル態様データを生成するステップと、オペレータスタイル模倣モジュールによって、少なくとも１人の人物との対話を自律動作モードで制御しているときにオペレータスタイル評価モジュールによって生成されたオペレータスタイル態様データに基づいて、自律制御プログラムを適応させるステップとを含む。

【0037】

第３の態様によるコンピュータプログラムは、コンピュータまたはデジタル信号プロセッサがプログラムを実行するときに第２の態様による方法のステップを実行するためのプログラムコード手段を含む。

【0038】

システム、方法、およびプログラムに関する以下の説明では、添付の図面を使用し、適用シナリオの実施形態および例のさらなる詳細を提供する。添付の図面を以下に示す。

【図面の簡単な説明】

【0039】

【図1】通信ネットワークを介して接続された自律デバイスおよびオペレータインターフェースデバイスを含む、一実施形態によるシステムの簡略ブロック図である。

【図2】遠隔動作モードにおける信号の流れを描写する、一実施形態によるシステムの簡略ブロック図である。

【図3】自律モードにおける信号の流れを描写する、一実施形態によるシステムの簡略ブロック図である。

【図4】一実施形態による方法の一連の方法ステップを示す簡略フローチャートである。

【図5】一実施形態によるオペレータスタイルの評価および模倣の一例を図示する、軌道スタイル伝達を示す第１の適用例の図である。

【図6】一実施形態によるオペレータスタイルの評価および模倣の一例を図示する、意味論的スタイル伝達を示す第２の適用例の図である。

【図7】一実施形態によるオペレータスタイルの評価および模倣の一例を図示する、通信スタイル伝達を示す第３の適用例の図である。

【図8】一実施形態によるオペレータスタイルの評価および模倣の一例を図示する、ローカルユーザによって影響を受けるオペレータスタイル模倣を示す第４の適用例の図である。

【発明を実施するための形態】

【0040】

図において、異なる図における同じ参照符号は、同じまたは対応する要素を指す。簡潔にするために、実施形態の考察では、分かりやすさに悪影響を与ることなく可能と考えられる限り、異なる図における同じ参照符号については考察しない。

【0041】

図１は、通信ネットワークＮを介して接続された自律デバイス２およびオペレータインターフェースデバイス３を含む、一実施形態によるシステム１の簡略ブロック図を描写している。

【0042】

簡略ブロック図は、自律デバイス２の異なる動作モードのための個々のモジュール間の信号の流れを示す。実線で描写された信号は、自律動作モードで動作する自律デバイス２について表現している。

【0043】

破線で描写された信号は、遠隔動作モードで動作する自律デバイス２について表現している。

【0044】

一点鎖線で描写された信号は、一実施形態による、オペレータスタイル模倣を伴う自律動作モードで動作する自律デバイス２について表現している。

【0045】

自律デバイス２は、自律デバイス２の配備場所でタスク、例えば、アイロンがけなどの家庭関連のタスクまたは看護タスクを自律的に実行するように設計されたロボットデバイス（ロボット）であり得る。自律デバイス２は、タスクを遂行するための少なくとも１つのアクチュエータ１５を備える。

【0046】

自律デバイス２は、単一のロボットデバイス、またはさらには複数のロボットデバイスであり得る。自律デバイス２には、ロボットアーム、電子玩具、ドローン、または乗用車が含まれ得る。

【0047】

アクチュエータ１５は、自律デバイス２を配備場所、例えば、脚、車輪、履帯、またはそれらの組合せにおいて動かすためのアクチュエータを備え得る。

【0048】

アクチュエータ１５は、特に配備場所でタスクを実行する際に物体を把持するための、マニピュレータを備えた少なくとも１つのアームなどのアクチュエータを備え得る。

【0049】

自律デバイス２は、自律デバイス２の環境、具体的には環境内の少なくとも１人の人物Ｐ（ユーザ）と通信するための通信インターフェース１７をさらに含む。通信インターフェース１７は、音、具体的には声を出力するための少なくとも１つのスピーカを含み得る。

【0050】

通信インターフェース１７は、画像データを出力するための少なくとも１つのディスプレイも含み得る。

【0051】

追加としてまたは代替として、自律デバイス２は、少なくとも１人の人物Ｐに対して顔の表情を出力するアニメーション化された顔を含み得る。

【0052】

一般に、通信インターフェース１７は、少なくとも１つの知覚可能なチャネル、具体的には、視覚チャネル、聴覚チャネル、および触覚チャネルのうちの少なくとも１つを介して情報を人物Ｐに対して出力する。

【0053】

自律デバイス２は、少なくとも１つのセンサ、大抵の場合、配備場所で自律デバイス２の環境を感知するための複数のセンサの配列を備え得る、センサスイート１１を含む。センサは、感知された環境に関する取得されたセンサデータをシーン認識モジュール１２に提供する。

【0054】

センサスイート１１のセンサは、カメラ、赤外線（ＩＲ）センサ、超音波センサ、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサ、例えば容量原理で動作するタッチセンシティブセンサ、デバイスモーションセンサ、例えば、トルクセンサ、またはデバイス間通信ユニット、例えば、ラジオもしくはＢｌｕｅｔｏｏｔｈ（登録商標）トランシーバなどのより広い意味でのセンサのうちの少なくとも１つを含み得る。

【0055】

シーン認識モジュール１２は、取得されたセンサデータに基づいて環境表現を生成し、環境表現は、自律デバイス２の感知された環境におけるシナリオを記述する。生成された環境表現は、自律デバイス２の行動および意思決定モジュール１３に提供される。

【0056】

行動および意思決定モジュール１３は、環境表現を使用して、タスクを実行するためにアクチュエータ１５によって実行されるアクションおよび一連のアクションを決定する。追加としてまたは代替として、行動および意思決定モジュール１３は、タスクを実行するために通信インターフェース１７によって出力される対応する情報を決定する。

【0057】

行動および意思決定モジュール１３は、少なくとも１人の人物Ｐとの対話を自律動作モードで制御するとき、１つまたは複数のプロセッサおよび関連するメモリ上で実行する自律制御プログラムを使用し得る。

【0058】

行動および意思決定モジュール１３は、環境表現およびタスクに基づいて、動き計画信号を生成および提供し、動き計画信号を動き計画モジュール１４に提供する。動き計画モジュール１４は、動き計画信号に基づいてアクチュエータ駆動信号を生成し、アクチュエータ駆動信号をアクチュエータ１５に出力し、アクチュエータ１５は、受信したアクチュエータ駆動信号に基づいて、対応するアクションおよび一連のアクションを実行する。

【0059】

行動および意思決定モジュール１３は、環境表現およびタスクに基づいて通信計画信号を生成および提供し、通信計画信号を通信計画モジュール１６に提供する。通信計画モジュール１６は、情報通信計画信号に基づいて通信出力信号を生成し、生成された通信出力信号を通信インターフェース１７に提供する。通信インターフェースモジュール１７は、通信出力信号に基づいて、通信出力信号で指定された１つまたは複数の通信チャネルを介して情報の出力を実行する。

【0060】

通信インターフェースモジュール１７は、自律デバイス２の様々な位置にある異なるサイズの少なくとも１つのディスプレイ、少なくとも１つのスピーカ、少なくとも１つのＬＥＤまたは同様の光出力デバイス、画像プロジェクタ、テキストメッセージおよび／または画像メッセージを、例えば電子メール、ＳＭＳ、またはビデオ信号などのサービスを介して他のデバイスに、例えばテレビ、ＰＣ、または携帯電話に送信するための技術的能力などの間接的な出力手段を含み得る。

【0061】

通信インターフェースモジュール１７は、自律デバイス２の現在の状態（動作モード）、具体的には、自律デバイス２が自律動作モードにあるか遠隔動作モードにあるかを伝えるための手段をさらに備え得る。

【0062】

現在の動作モードの通信は、オペレータＯＰを描写する人工顔画像（自律動作モード）または代替としてビデオストリーム（遠隔動作モード）を表示することによる通信インターフェースモジュール１７の表示によって実施され得る。

【0063】

代替としてまたは追加として、自律デバイス２上のＬＥＤデバイスにおける色／活動の変化、自律デバイスの機械部材は、アクティブであるかまたは位置が変化する。

【0064】

代替としてまたは追加として、自律デバイス２の追加のアームは、自律デバイス２が遠隔動作モードで動作している場合にのみ動いている。

【0065】

代替としてまたは追加として、出力デバイスまたは異なるデザインを示すために、自律デバイス２の頭部が回転する。

【0066】

代替としてまたは追加として、例えばロボットの「髪」をシミュレートする自律デバイス２の小さな部品は、露出または収縮される。

【0067】

自律デバイス２はさらに、オペレータスタイル模倣を伴う自律動作モードで人物Ｐとの対話を制御するときにオペレータスタイル評価モジュール５によって生成されたオペレータスタイル態様データに基づいて自律制御プログラムを適応させるように構成された、オペレータスタイル模倣モジュール１８を備える。

【0068】

オペレータスタイル評価モジュール５およびオペレータスタイル模倣モジュール１８の機能性および処理については、図２および図３に関して以下でより詳細に説明する。

【0069】

シーン認識モジュール１２、行動および意思決定モジュール１３、動き計画モジュール１４、通信計画モジュール１６、およびオペレータスタイル模倣モジュール１８は、メモリおよび通信バスデバイスなどの対応する周辺ハードウェアを備えた１つのプロセッサまたは複数のプロセッサの配列上で実行されるソフトウェア内のロボット制御プログラムのモジュール（プログラムモジュール）として実装され得る。異なるモジュールに関する説明されている分散は、機能的分散として理解されるべきである。

【0070】

ロボット制御プログラムは、取得したセンサデータを使用して、自律デバイス２の環境の表現を生成し、自律デバイス２によって実行されるべきタスクを決定する。

【0071】

代替としてまたは追加として、自律デバイス２の環境内に存在する人物Ｐは、自律デバイス２へのタスクを定義（命令）し得る。

【0072】

代替としてまたは追加として、オペレータＯＰは、自律デバイス２に対するタスクを、通信ネットワークＮを介してロボット制御ソフトウェアに命令し得る。

【0073】

ロボット制御ソフトウェアは、行動および決定モジュール１３、動き計画モジュール１４、および通信計画モジュール１６によって表される行動選択構成要素において生成された表現およびタスクを使用して、認識された現在のシーン（状況）で所与のタスクに対処するための適切なアクションを決定する。行動選択構成要素は、所与のタスクに対処することを進めるための行動を選択し、動き計画モジュール１４および通信計画モジュール１６において選択された行動を自律デバイス２の好適な動きおよび通信出力に変換する。動きおよび通信出力は、その後、自律デバイス２のアクチュエータ１５および通信インターフェース１７に送信される。

【0074】

したがって、ロボット制御プログラムは、自律デバイスが特定のタスク、例えば、食器洗浄機を充填させること、真空掃除を行うこと、または人物Ｐをその人物の環境内で局所的にサポートするために質問に答えることを自律的に実行することを可能にし得る。

【0075】

自律デバイス２は、例えば、ほこりを払うこと、掃除機をかけること、窓掃除をすること、取り出すまたは給仕するタスク、運搬のタスク、例えば食料品の輸送などの掃除タスクを含むタスクに対処し得る。追加としてまたは代替として、自律デバイス２は、食器洗浄機の充填または片付け、例えば、混合、皮むき、および計量を含む調理サポートなどのタスクを実行し得る。タスクにはさらに、ゲームをプレイすること、Ｑ＆Ａの会話、ビデオまたは写真の表示、リマインダの出力、植物への水やり、歩行のための物理的なサポートを提供することによる局所的なユーザの運動をサポートすること、または起床が含まれ得る。タスクには、人物Ｐの日常活動、例えば、歯磨き、くしで髪をとかすこと、着替え、化粧、洗濯、食事のサポートの提供、または同様の家庭または個人のサポート活動において人物Ｐをサポートすることが含まれ得る。

【0076】

オペレータスタイル模倣モジュール１８は、通信ネットワークＮを介してオペレータスタイルデータベース１０からオペレータスタイル態様データを受信する。通信ネットワークＮは、自律デバイス２とオペレータインターフェースデバイス３との間の通信リンクを提供する。通信ネットワークＮは、インターネットプロトコルに基づく通信を提供し得るが、インターネットプロトコルに基づく通信に限定されない。

【0077】

通信ネットワークＮは、前述のように、オペレータスタイル模倣を伴う自律動作モードにおいて、またはオペレータスタイル模倣を伴う自律動作モードのために、また遠隔動作モードにおいても、オペレータスタイル評価モジュール５からオペレータスタイル模倣モジュール１８にデータを伝達するために自律デバイス２とオペレータインターフェースデバイス３との間の通信リンクを提供する。

【0078】

オペレータスタイル評価モジュール５をオペレータインターフェースデバイス３とともにローカルに配置し、オペレータスタイル模倣モジュール１８を自律デバイス２にローカルに配置する図１に描写された配置が、可能な配置の１つであることに留意すべきである。代替の配置も可能である。

【0079】

遠隔動作モードでは、オペレータＯＰは、オペレータインターフェースデバイス３を使用して、離れた場所から自律デバイス２を遠隔動作させ得る。

【0080】

オペレータインターフェースデバイス３は、ハードウェア、例えば、少なくとも１つのプロセッサを含むコンピューティングデバイス上で実行されるオペレータインターフェースソフトウェア、ならびにそれぞれの周辺構成要素、例えば、メモリ、バスデバイス、入力／出力デバイス、およびインターフェースを使用して実装され得る。

【0081】

遠隔動作モードでは、オペレータインターフェースデバイス３、具体的には、オペレータインターフェースデバイス３の環境認識モジュール６は、通信ネットワークＮを介して、自律デバイス２のセンサスイート１１からセンサデータを含む信号を受信する。

【0082】

オペレータインターフェースデバイス３は、環境認識モジュール６によって生成された環境表現を取得する行動決定モジュール７を含む。

【0083】

オペレーティングインターフェースデバイス３は、オペレータインターフェースモジュール４を含み、オペレータインターフェースモジュール４は、処理されたセンサデータを送出することによって環境認識モジュール６によって受信されたセンサデータ、例えば、自律デバイス２のセンサスイート１１のマイクロフォンによって取得されたカメラ画像および音データに基づいて、自律デバイス２の環境の表現を描画し得る。代替としてまたは追加として、オペレータインターフェースデバイス３のオペレータインターフェースモジュール４は、取得されたセンサデータに基づいて生成された、自律デバイス２の環境で感知されたシーンの抽象化された表示をオペレータＯＰに提供し得る。抽象化された表示は、例えば、センサスイート１１によって検出された物体を、オペレータインターフェースモジュール４によってオペレータＯＰに提供される仮想環境に描画することを含み得る。

【0084】

オペレータインターフェースモジュール４によってオペレータＯＰに提示される仮想環境は、例えば、センサスイート１１によって取得されたカメラストリームまたは複数の並列カメラストリーム、関連する物体に関する注釈および潜在的な対話機会を有するカメラストリーム、１人称視点、鳥瞰図、または同様の視点での仮想環境のうちの少なくとも１つを含み得る。

【0085】

仮想環境は、自律デバイス２の環境の重要な態様を再現し得る。追加としてまたは代替として、仮想環境は、自律デバイス２の状態または環境内の物体の状態を伝える記号、環境カメラ、例えば自律デバイス２の一部を構成しないＣＣＴＶカメラからのビデオストリームを含み得る。

【0086】

オペレータインターフェースモジュール４は、画像データを、場合によってはオーディオデータとともに、オペレータＯＰに出力するためのディスプレイまたはモニタデバイスを含み得る。ディスプレイは、コンピュータディスプレイ、携帯電話ディスプレイ、タブレットコンピュータディスプレイ、ＴＶディスプレイ、仮想現実（ＶＲ）眼鏡、および例えばシステム状態を伝える複数のＬＥＤの配列を有する従来のコントロールパネル型ディスプレイのうちの少なくとも１つを含み得る。

【0087】

オペレータインターフェースデバイス３は、自律デバイス２を遠隔動作モードで制御するための制御信号を、自律デバイス２の行動および意思決定モジュール１３、動き計画モジュール１４、および通信計画モジュール１６に通信ネットワークＮを介して送信する。

【0088】

オペレータインターフェースデバイス３、具体的には、オペレータインターフェースモジュール４はさらに、入力手段を使用してオペレータＯＰからの入力を受信し得る。入力手段は、例えば、ジョイスティック、キーボード、マイクロフォン、マウスデバイス、トラックボールデバイス、ジェスチャセンサ、タッチパッド、およびウェアラブルモーショントラッカ、例えば手／目／身体のモーションセンサのうちの少なくとも１つを含み得る。オペレータインターフェースデバイス３は、オペレータＯＰから受信した入力を、自律デバイス２の特定の行動（目標の行動）にマッピングし得る。入力は、場合によっては、オペレータＯＰによって提供される入力と自律デバイスの行動との間のマッピングを人物Ｐに対して説明およびサポートするのに好適な追加の特徴、例えば、キーバインディング、自律デバイス２の選択可能な経路マーカを描画し得る。

【0089】

オペレータインターフェースデバイス３は、追加として、通信アクションを自律デバイス２に送出またはトリガするための手段を提供し得る。例えば、オペレータインターフェースデバイス３は、カメラによって提供される画像ストリームまたはマイクロフォンストリームによって提供されるオーディオストリームを、自律デバイス２の通信計画モジュール１６を介して、自律デバイス２の通信インターフェースのディスプレイまたはオーディオ出力に送出し得る。

【0090】

オペレータＯＰは、オペレータインターフェースデバイス３のオペレータインターフェース４を使用して絵文字を選択することができ、通信計画モジュール１６は、自律デバイス２の通信インターフェース１７を介して出力するために、その絵文字を対応する顔の表情に変換し得る。

【0091】

オペレータインターフェースモジュール４を介したオペレータＯＰの制御入力の例は、環境内のデバイス／対話の場所に対する経路オプション、タスクオプションを選択し、次いで選択されたタスクオプションを自律的に実行するための環境表現上でのタスクオプションの描画、自律デバイス２の腕、マニピュレータまたは脚の特定の関節およびそれらの所望の目標位置の選択、ならびに自律デバイス２にオペレータのＯＰの動き、例えば、腕の動き、腕／身体の動きの方向の通信および速度に従うように指示するオプションのうちの少なくとも１つを含み得る。

【0092】

オペレータインターフェースモジュール４を介したオペレータＯＰのための入力（制御入力）の例は、ジョイスティックの位置に基づいて、いくつかの軌道中間点を選択し、次いで、その軌道中間点が自律デバイス２および／または自律デバイス２の一部、例えば、自律デバイス２の腕の動きによって接続されること、オペレータインターフェースモジュール４の入力デバイスによって制御される特定の動きを実行するために使用される自律デバイス２の身体部分を選択すること、オペレータインターフェースモジュール４の出力デバイス上に表示されたオプションから特定の順序で自律デバイス２によって実行されるべきサブタスクを選択することのうちの少なくとも１つも含み得る。

【0093】

オペレータ入力デバイス４の入力デバイスを使用して、オペレータＯＰは、自律デバイス２の通信インターフェースモジュール１７を介して出力するための複数のオプションの中から１つまたは組合せを選択し得る。

【0094】

例えば、オペレータＯＰは、通信インターフェースモジュール１７によって出力されるビデオ通信、例えば、オペレータインターフェースデバイス３によって提供されるリモートカメラストリーム、もしくはオペレータインターフェースモジュール３のマイクロフォンから通信インターフェースモジュール１７のスピーカへの声通信、または通信インターフェースモジュール１７によって実行されるべき原型的な顔の表情の選択を、選択し得る。オペレータＯＰによる選択のためのオプションは、オペレータＯＰの記録された顔の表情／しぐさ／目の運動を、通信インターフェースモジュール１７の対応する出力手段に直接マッピングすることをさらに含み得る。

【0095】

オペレータインターフェースモジュール４によって取得された入力は、通信ネットワークＮを介して制御信号として自律デバイス２に送信される。自律デバイスは、オペレータインターフェースデバイス３から受信した制御信号を使用して、具体的には、動き計画モジュール１４の動き計画および通信計画モジュール１６による通信計画を制御することによって、自律デバイス２の動作を制御する。

【0096】

図１に示す自律デバイス２は、例えば、オペレータインターフェースデバイス３がアクティブでないかまたは接続されていない間、自律動作モードで自律的に動作する。オペレータインターフェースデバイス３が接続されている場合、オペレータインターフェースデバイス３と自律デバイス２との間の接続が確立され、オペレータＯＰは、自律デバイス２の行動および通信を、例えば全体的または部分的に、制御することができる。

【0097】

図２は、遠隔動作モードにおける信号の流れを描写する、一実施形態によるシステム１の簡略ブロック図を描写している。図４は、遠隔動作モードにおけるオペレータスタイル評価モジュール２１の態様に焦点を当てている。

【0098】

オペレータが遠隔動作モードで自律デバイスを制御している間、オペレータの認知能力により、自律デバイスは、自律動作モードの自律デバイスと比較して、人物をサポートするためのより複雑なタスクを実行することが可能になる。例えば、コミュニケーションおよび行動インターフェースにより、オペレータは、自律動作モードの自律デバイスと比較して、社交的な個人的対話のレベルを高めることができる。オペレータは、特定の行動スタイルおよびコミュニケーションスタイル、例えば、歩き方、話し方、特定のしぐさ、または特定の挨拶のフレーズを通じて、自分の性格の一部を伝えることができる。

【0099】

図２のオペレータスタイル評価モジュール２１は、自律デバイス２の自律デバイス制御プログラムの一部として示されており、したがって、図１の実施形態とは構造的に異なる実施形態を表す。

【0100】

オペレータＯＰは、オペレータインターフェースデバイス３の入力デバイス４を介して、自律デバイス２の運動を指示する運動コマンド２２、実行すべきタスクに関する情報を提供するタスク注釈２３、および発話データ２４を入力する。オペレータインターフェースデバイスは、受信した運動コマンド２２、タスク注釈２３、および発話データ２４を、通信ネットワークＮを介して自律デバイス２に送信する。遠隔動作モードにおける自律デバイス２の遠隔動作制御プログラムの遠隔動作制御インターフェース２０は、受信した運動コマンド２２、タスク注釈２３、および発話データ２４を処理し、自律デバイス２のアクチュエータ１５および通信インターフェースモジュール１７へのアクチュエータ駆動信号および通信出力信号をそれぞれ生成する。したがって、遠隔動作制御インターフェース２０は、遠隔動作モードの自律デバイス２と環境および環境内の少なくとも１人の人物Ｐとの対話２５を制御する。遠隔動作モードの自律デバイス２と環境および環境内の少なくとも１人の人物Ｐとの対話２５は、アクチュエータ１５によって実行されるアクションおよび通信インターフェースモジュール１７によって出力される信号に基づく。

【0101】

自律デバイス２は、少なくとも１人の人物Ｐ（ローカルユーザ）と同じ環境を共有する。

【0102】

対話２５、具体的にはアクチュエータ１５によって実行されたアクション、および通信インターフェースモジュール１７の出力は、オペレータスタイル評価モジュール２１のために、オペレータＯＰによる制御下において遠隔動作モードで実行されるアクションとして入力される。

【0103】

オペレータスタイル評価モジュール２１は、入力をオペレータスタイル態様抽出９のために使用する。抽出されたオペレータスタイル態様は、オペレータスタイルデータベース１０に記憶される。

【0104】

オペレータスタイル評価モジュール２１は、具体的には、自律デバイス２によって実行されるアクションを決定し、決定されたアクションを既定のデフォルトアクション、予測されるアクション、および典型的なアクションを記憶しているデータベースのうちの少なくとも１つと比較することによって、遠隔動作モードで動作している間に自律デバイス２と少なくとも１人の人物Ｐとの対話を分析し得る。オペレータスタイル評価モジュール２１は、オペレータスタイル態様抽出９において使用される既定のデフォルトアクション、予測されるアクション、および典型的なアクションのうちの少なくとも１つを記憶するデータベース２７を備え得る。

【0105】

オペレータスタイル評価モジュール２１は、抽出されたオペレータスタイル態様を、対応するシーンコンテキストおよびタスクデータ３０に関連付けてオペレータスタイル態様データベース１０に記憶する。

【0106】

オペレータスタイル態様（オペレータ対話スタイル態様）を抽出することは、オペレータＯＰによってトリガされた特定の状況で自律デバイス２が実行するアクション（活動）を、自律デバイス２が同じ状況において自律動作モードで実行したであろう活動と比較することを含み得る。例えば、場所Ａから場所Ｂまで歩くこと、または質問に答えることなどの所与のタイプの行動について、オペレータスタイル評価モジュール２１は、特定のアクションを実行するための正確な方式、アクションの正確な順序付け、実行されたアクションのタイミングおよび／またはコンテキストを、実行するための一般的な方式、一般的な順序、一般的なタイミング、自律動作モードで動作しているときに同じアクションが自律デバイス２によって実行される一般的なコンテキストと比較する。

【0107】

追加としてまたは代替として、実行されたアクションを実行するための正確な方式、アクションの正確な順序付け、実行されたアクションのタイミングおよび／またはコンテキストは、データベース２７からの標準的な行動と比較される。標準的な行動は、ある一定レベルの抽象化で記述され得る。比較によって決定された差異、例えば、標準的な動きの軌道からの決定された偏差、正確な回答以外の追加の単語／発語が、オペレータスタイルデータベース１０に記憶される。

【0108】

追加としてまたは代替として、オペレータスタイル評価モジュール２１は、展開前の訓練段階で機械学習アルゴリズムによって様々な行動のバリエーションを用いて学習されたデフォルトの行動の圧縮された表現または潜在的な表現に基づいて比較を実行する。

【0109】

機械学習アルゴリズムは、例えば、自動エンコーダネットワークであり得るか、またはベイジアン推論法を使用することであり得る。

【0110】

オペレータＯＰは、特定の現在実行されているアクション、最近実行されたアクション、または将来のアクション（または一連のアクション）が、特定のオペレータＯＰおよびその個人的なオペレータスタイルまたは行動を表すオペレータスタイル態様と見なされることをシステムに通知するための入力手段を含むオペレータインターフェース４を使用し得る。オペレータスタイル評価モジュール２１は、これらの代表的なアクションとの差異、またはそのような代表的なアクションの明示的なコピーをオペレータスタイルデータベース１０に記憶し得る。

【0111】

追加としてまたは代替として、ローカルユーザとしての人物Ｐは、遠隔動作モードの自律デバイス２の特定の現在実行されているアクション、最近実行されたアクション、または将来のアクション（または一連のアクション）がオペレータＯＰのオペレータスタイル態様を特にうまく伝えたことをシステム１に通知するために自由に使える入力手段も有する。オペレータスタイル評価モジュール２１は、それらのアクションとの差異、またはそのようなアクション実行の明示的なコピーをオペレータスタイルデータベース１０に記憶し得る。

【0112】

追加としてまたは代替として、オペレータスタイル評価モジュール２１は、遠隔動作モードの自律デバイス２の特定の現在実行されているアクション、最近実行されたアクション、または将来のアクション（または一連のアクション）に対する人物Ｐの反応を分析する。オペレータスタイル評価モジュール２１が社会的または感情的な反応、例えば、人物Ｐの笑顔、心拍数の増加を検出した場合、オペレータスタイル評価モジュール２１は、これを、最近実行されたアクションまたは一連のアクションがオペレータスタイルの有益な態様を含んでいたという指標として解釈し得る。オペレータスタイル評価モジュール２１は、それらのアクションとの差異、またはそのようなアクション実行の明示的なコピーをオペレータスタイルデータベース１０に記憶し得る。

【0113】

追加としてまたは代替として、オペレータスタイル評価モジュール２１は、それぞれのスタイルを有する人物Ｐからの反応のタイプを記憶し、これを使用して、自律動作モードにおけるスタイルの表現を評価および／または改善し得る。これは、自律動作モードの自律デバイスによって実行されたときに、人物Ｐから同じまたは同様の応答をもたらし得る。特定の実装は、例えば、特定のローカルユーザ応答を引き起こすオペレータスタイルデータベース１０に記憶されたオペレータスタイル態様の選択確率を高める強化学習から知られている方法を使用し得る。

【0114】

オペレータスタイル評価モジュール２１は、期待される行動として自律デバイス２によって実行された対話２５に対する少なくとも１人の人物Ｐの検出された反応に関する情報を取得し得る。

【0115】

オペレータスタイル評価モジュール２１は、少なくとも１人の人物Ｐの検出された反応を既定の期待される反応と比較し、比較に基づいてオペレータスタイル態様を抽出し得る。

【0116】

オペレータスタイル評価モジュール２１が遠隔動作モードでの自律デバイスのオペレータＯＰの制御から抽出するオペレータスタイルの例には、以下が含まれ得る。
－ 特定の任意選択の行動、例えば、ドアを開けたままにすること、社会的接触を実行すること、目的地に向かう途中で物体を押すこと、何らかの他のことをしながらゴミを収集することが、オペレータＯＰによって実行される
－ タスクを解決するためのアクションの順序
－ 動きの軌道を、特定の方法、例えば、滑らかな動き、ぎくしゃくした動き、速い動き、遅い動き、誇張された動きで実行する、テーブルの周りを常に左側で動き回る、右ではなく常に左を使う、特定のタスクでは右腕ではなく常に左腕を使用する、特定の非タスク指向の行動、例えば、歩きながら腕を動かす、物体を通り過ぎながら物体に触れる、．．．
－ オペレータスタイル評価モジュール２１がオペレータＯＰの動作から抽出するコミュニケーションスタイルの例（自律デバイス２は後で、このコミュニケーションスタイルを自律モードでの独自のコミュニケーション行動に組み込み得る）は、以下の通りである。
－ 特定の挨拶／別れのフレーズ
－ 頻繁に使用されるしぐさ、顔の表情、言葉遣い、人物Ｐとの身体的な対話の具体的な方法、例えば、ハグ、人物Ｐのどこに触れるか、特定のタスクを実行している間のコミュニケーション行動、例えば、口笛、ハミング、「舌を噛む」、何度も語られる特定のストーリー／ジョーク、コミュニケーション時にリモートオペレータがロボットを配置しているローカルユーザまでの距離

【0117】

オペレータスタイル評価モジュール２１がオペレータＯＰによる自律デバイスの動作から抽出する性格関連の特徴、および自律動作モードの自律デバイス２がそれらをどのように使用できるかの例は、以下の通りである。
・頻繁にジョークを言うオペレータ。ロボットも、自律モードでジョークを言う。
・リモートオペレータの声／発話の使用方法の特徴（ピッチ、トーン、テンポ）を使用して、ロボットの声を適応させる。
・リモートオペレータの伝えられた外観の特徴を使用して、自律モードでロボットがディスプレイに表示するものを適応させる。
・リモートオペレータが特定のことについて話すことを好む場合、ロボットは、自律モードで、例えばインターネットから、このトピックについてより多くのニュース／ストーリーを提供する。
・オペレータが必要以上に長時間の運動をする傾向がある。それに応じて、ロボットは自律モードでその運動を調整する。
・オペレータが特定の目標を達成するために必要以上に危険な行動をとる。ロボットは、実行すべき運動または行動を決定するための閾値を下げ、普通なら回避されるはずの操作を実行する。

【0118】

オペレータＯＰが人物Ｐの環境内に物理的に存在するときに自分の性格およびスタイルを伝える方法とは対照的に、遠隔動作セットアップは、オペレータインターフェースデバイス３においてオペレータによって提供される制御入力に起因する、遠隔動作モードの自律デバイス２によって発揮される特定の行動をもたらす。制御入力は、オペレータの個人的なスタイルも伝える。オペレータインターフェースデバイス３は、オペレータＯＰに、自律デバイス２の行動に影響を与える多くのオプションを提供する。

【0119】

オペレータスタイル評価モジュール２１は、オペレータＯＰが遠隔動作モードで自律デバイス２を制御している長期間にわたって、オペレータスタイル分析を実行し得る。したがって、オペレータスタイル態様に関する抽出された情報は、時間の経過とともに、より詳細かつ／またはより広範になる可能性がある。

【0120】

追加としてまたは代替として、オペレータスタイル評価モジュール２１は、遠隔動作モードでの動作中にオペレータスタイルにおいて観察される、デフォルトの行動に対する変化を予測するように訓練された機械学習法を適用し得る。機械学習法は、オペレータＯＰによって制御される特定のアクションについて、予測される変化と実際に観察された変化とを比較する教師あり学習を実行する。

【0121】

追加としてまたは代替として、オペレータスタイル評価モジュール２１は、機械学習法を使用して、一定時間経過後にオペレータスタイルデータベース１０に収集されたオペレータスタイル態様に基づいてオペレータスタイル態様のモデルを学習する。次いで、生成されたモデルは、任意の自律行動に適用され得、自律動作モードでの自律行動を、学習済みのオペレータスタイルに適応させることができる。

【0122】

追加としてまたは代替として、オペレータスタイル評価モジュール２１は、機械学習法を使用して、オペレータスタイル態様を、いくつかの事前定義された性格クラスのうちの１つに属するものとして分類する。事前定義された性格クラスは、例えば、専門家によって予め定義された特定の適応－コンテキスト－確率のトリプレットの集合体である。次いで、オペレータスタイル態様に最も頻繁に割り当てられるクラスを使用して、所与のクラスのトリプレットに基づいて、新しい適応をサンプリングすることができ、新しい適応は、任意の自律行動に適用される。

【0123】

図３は、自律動作モードにおける信号の流れを描写する、一実施形態によるシステム１の簡略ブロック図を示す。

【0124】

自律動作モードでは、自律デバイス２は、オペレータインターフェースデバイス３からの制御入力なしで、したがってオペレータＯＰから独立して、自律的に動作する。

【0125】

オペレータスタイル模倣モジュール３３は、少なくとも１人の人物Ｐとの対話を制御するときにオペレータスタイル評価モジュール２１によって生成され、オペレータスタイルデータベース１０に記憶されたオペレータスタイルデータに基づいて、自律デバイス２の自律制御プログラム３２を適応させる。

【0126】

適応された自律制御プログラム３２は、自律動作モードの自律デバイス２と環境および環境内に存在する人物Ｐとの個人化された対話３４をもたらす。

【0127】

自律制御プログラム３２は、アクティブタスクに関する情報３９、および計画されたアクションに関する情報４０をオペレータスタイル模倣モジュール３３に提供する。

【0128】

オペレータスタイル模倣モジュール３３は、自律制御プログラム３２から受信したアクティブタスクに関する情報と、オペレータスタイルデータベース１０に記憶された動作スタイル態様データとを使用して、アクティブタスクのための個人化されたオペレータスタイルを決定する。次いで、アクティブタスクのための個人化されたスタイルを使用して、自律制御プログラム３２によって提供される計画されたアクションを適応させて、個人化されたアクション４１を生成する。

【0129】

オペレータスタイル模倣モジュール３３は、個人化されたアクション４１を自律制御プログラム３２に提供する。したがって、適応された自律制御プログラム３２は、自律動作モードの自律デバイス２と環境および環境内に存在する人物Ｐとの個人化された対話３４を実行することが可能になる。

【0130】

さらに、オペレータスタイル模倣モジュール３３は、自律動作モードの自律デバイス２と環境および環境内に存在する人物Ｐとの個人化された対話３４に対するユーザ反応４２を、少なくとも１人の人物Ｐから受信し得る。オペレータスタイル模倣モジュール３３は、個人化された対話３４に対する受信したユーザ反応４２の評価３８を実行し得る。

【0131】

評価３８は、人物Ｐによる個人化された対話３４に対する期待される反応をオペレータスタイルデータベース１０から取得すること、期待される反応を個人化された対話３４に対する受信したユーザ反応４２と比較すること、および期待される反応と受信したユーザ反応４２との間の決定された差異に基づいてオペレータスタイルデータベース１０を更新することを含み得る。

【0132】

オペレータスタイルデータベース１０を更新することは、オペレータ態様データを削除すること、または、例えば、期待される反応４２に関わるオペレータ態様データの確率値を修正すること、例えば増加または減少させることを含み得る。

【0133】

オペレータスタイル模倣モジュール３３は、計画されたアクションに関するオペレータスタイルデータベース１０からの差異および適応を、自律制御プログラム３２の任意のまたは複数の構成要素、例えば、自律デバイス２の行動および意思決定モジュール１３、動き計画モジュール１４、および通信計画モジュール１６に適用し得る。

【0134】

自律制御プログラム３２および計画されたアクションへの適応は、オペレータＯＰの特定の行動、個人的特性、動きスタイル、およびコミュニケーションスタイルをまねること、ならびに／または、自律動作モードの自律デバイスの自律制御プログラムにオペレータＯＰの特定の性格スタイルの特徴を伝達することをもたらす。

【0135】

例えば、自律動作モードの自律デバイス２は、オペレータＯＰが以前に遠隔動作モードで実行したときとまったく同じように自律デバイス２が実行する、または同じイベントによってトリガされる、特定の必要なアクションを実行する。これは、オペレータスタイルデータベース１０から特定の必要なアクションを再実行することを含み得る。

【0136】

代替として／追加として、これは、オペレータＯＰがアクションを実行したが別のコンテキストに伝達した方法と同様の適応、例えば、オペレータＯＰはこれまで左手で特定のタスクを実行することしか記録されていなかったが、自律デバイス２の左手ですべての様々なアクションを実行する適応とすることができる。これは、ドアを開くときに特定のしぐさを行う場合に適用され得、オペレータＯＰはこれまで他のドアが開いている場合にのみこのしぐさを実行していた。これは、オペレータスタイルデータベース１０からの記憶された適応または差異を別のアクションに適用することにも適用され得る。

【0137】

代替として／追加として、これは、オペレータの以前のスタイル態様が関連し得るものと同じオペレータスタイルクラスに関連する適応とすることができる。

【0138】

特定の実装では、特定のロボットプラットフォームを制御するオペレータから学習したオペレータスタイルデータベースの内容を、場合によっては異なるハードウェアおよびソフトウェアならびに異なる能力を有する異なるロボットプラットフォーム上で同様のオペレータスタイル（態様）を伝えるための事前定義された伝達関数を介して適応させることができる。

【0139】

特定のオペレータＯＰは頻繁にジョークを言う可能性があり、したがって、自律デバイス２も、自律動作モードでジョークを言うことになる。

【0140】

自律デバイス２の発話出力または声出力を適応させるために、オペレータＯＰが遠隔動作中に使用したピッチ、トーン、および／またはテンポなどの伝えられた声または発話の特徴パラメータが使用される。

【0141】

自律動作モードで動作しているときに自律デバイス２が通信インターフェースモジュール１７のディスプレイ上に示しているものを適応させるために、オペレータＯＰによるロボットによって示される外観の選択の特徴的要素が使用される。

【0142】

オペレータＯＰが特定のトピックについて話す傾向を見せる場合、ロボットは、自律動作モード中に特定のトピックについてインターネットを介して取得された、より多くのニュースおよびストーリーを提供することもある。

【0143】

図４は、一実施形態による方法の一連の方法ステップを示す簡略フローチャートを描写している。

【0144】

通信ネットワークＮを介して接続された自律デバイス２およびオペレータインターフェースデバイス３を用いてシステム１を動作させる方法は、システム１の遠隔動作モードまたは自律動作モードで実行される３つの主要なステップＳ１、Ｓ２、およびＳ３を含む。

【0145】

遠隔動作モードでは、自律デバイス２は、自律デバイス２の環境内の少なくとも１人の人物と対話する。遠隔動作モードは、自律デバイス２が、オペレータによってオペレータインターフェースデバイス３を介して少なくとも部分的にリモートで制御されて動作するモードである。

【0146】

ステップＳ１において、方法は、オペレータの制御下において遠隔動作モードで動作している間に、オペレータスタイル評価モジュールによって自律デバイス２と少なくとも１人の人物との対話を分析するステップを実行する。

【0147】

ステップＳ２において、オペレータスタイル評価モジュールは、自律デバイス２の分析された対話に基づいて、オペレータおよび少なくとも１人の人物に関連するオペレータスタイル態様データを生成する。

【0148】

自律動作モードでは、自律デバイス２は、自律制御プログラムによって制御される自律デバイス２の環境内の少なくとも１人の人物と対話する。例えば、自律動作モードでは自律デバイス２とオペレーティングインターフェースデバイス３との間に現在の通信リンクは存在しないか、または少なくとも通信ネットワークＮを介した現在の通信リンクに対する要件はない。

【0149】

自律動作モードでは、方法は、自律デバイス２と少なくとも１人の人物との対話を自律動作モードで制御しているときに、オペレータスタイル模倣モジュールによって、ステップＳ２でオペレータスタイル評価モジュールによって生成されたオペレータスタイルデータに基づいて自律制御プログラムを適応させるステップＳ３を実行する。

【0150】

図５は、一実施形態によるオペレータスタイルの評価および模倣の一例を図示する、軌道スタイル伝達を示す第１の適用例を示している。

【0151】

図５の左部分は、自律動作モードで動作する自律デバイス２によって実行される基本運動（移動）を示す。自律デバイス２は、通常、時間およびエネルギー消費に関して環境内の２つの位置間で最も効率的な運動を表す直線運動軌道５１に沿って基本運動を実行する。このデフォルトの運動パターンは、デフォルトで自律デバイス２を自律動作モードで制御する自律制御プログラム内に実装される。

【0152】

図５の左部分に描写された自律動作モードの自律デバイス２は、オペレータの知識を有しておらず、図５の左部分に空のオペレータスタイルデータベース１０によって示されるように、運動パターンに関するオペレータスタイル態様は無効である。

【0153】

図５の中央部分は、遠隔動作モードで動作する自律デバイス２を示す。オペレータＯＰは、離れた場所からオペレータインターフェースデバイス３を介して自律デバイス２を制御する。オペレータＯＰは、図５の中央部分の図示された挿入画に示されるように、自律デバイス２の運動をジグザグ軌道５１に沿って制御する。

【0154】

オペレータスタイル評価モジュールは、オペレータＯＰの制御下において遠隔動作モードで動作している間に自律デバイス２の対話を分析し、ジグザグ軌道５１からジグザグパターンに沿って運動を実行するオペレータスタイル態様を決定する。オペレータスタイル評価モジュールは、ジグザグパターンの運動についてのオペレータＯＰの嗜好を含むオペレータスタイルデータを生成する。ジグザグパターンの運動についてのオペレータＯＰの嗜好を含む生成されたオペレータスタイルデータは、オペレータスタイルデータベース１０に記憶される。図５の中央部分の下部に示すように、オペレータスタイルデータベース１０は現時点で、オペレータＯＰが自律デバイス２を自律動作モードで動作させる段階中に決定されたジグザグ特性を含む。

【0155】

図５の右部分では、自律デバイス２は自律動作モードで動作している。オペレータスタイルデータベース１０が空であり、したがって自律デバイス２が自律制御プログラムの制御に従って直線運動軌道５０に沿って動く図５の左部分とは対照的に、図５の右部分下部に示すオペレータスタイルデータベース１０は、オペレータＯＰが自律デバイス２を自律動作モードで動作させる段階中に決定されたオペレータスタイル態様の具体例として、ジグザグ特性を含む。したがって、自律デバイス２は、ジグザグ特性を含むオペレータスタイル態様データを使用して、手元のタスクにおいて運動アクションを実行すると決定した。

【0156】

図５の右部分に描写された自律デバイス２は、衣類にアイロンをかけるタスクを実行する。アイロンがけのタスクは、アイロン台上の水平面内で衣類の上でアイロンを動かす動作を含む。自律デバイス２は、アイロンがけのタスクを自律制御プログラムの制御下で実行する。

【0157】

デフォルトのオペレータスタイルの結果として、自律デバイス２は自律制御プログラムの制御下でアイロンを直線運動軌道５０に沿って動かす。それでもなお、適応オペレータスタイル模倣モジュールが、オペレータスタイルデータベース１０に記憶されたオペレータスタイルデータに基づいて自律制御プログラムを適応させる。図５の右部分では、自律デバイス２は、適応された自律制御プログラムの制御下でアイロンがけのタスクを実行し、それに応じて、適応された自律制御プログラムの制御下でジグザグパターンの運動軌道５１に沿ってアイロンを動かす。

【0158】

図６は、一実施形態によるオペレータスタイルの評価および模倣の一例を図示する、意味論的スタイル伝達を示す第２の適用例を描写している。

【0159】

図６に描写された実施形態は、自律デバイス２の具体例として、人物Ｐの環境で動作するクワッドコプタとして描写されたドローンを使用する。

【0160】

図６の左部分は、自律動作モードで動作する自律デバイス２によって実行される飛行経路（運動軌道５２）の形式での基本運動を示す。自律デバイス２は、時間およびエネルギー消費に関して環境内の２つの位置間で最も効率的な運動として、ほぼ直線の運動軌道５２に沿って基本運動を実行する。このデフォルトの運動パターンは、デフォルトで自律デバイス２を自律動作モードで制御する自律制御プログラム内に実装される。

【0161】

図６の左部分に描写された自律動作モードの自律デバイス２は、オペレータの知識を有しておらず、図６の左部分に示されるように、オペレータスタイルデータベース１０に記憶された運動パターンに関するオペレータスタイル態様は空である。

【0162】

空のオペレータスタイルデータベース１０は、自律デバイス２の現在のオペレータＯＰが不明な場合に対応し得る。

【0163】

図６の中央部分は、遠隔動作モードで動作する自律デバイス２を示す。オペレータＯＰは、離れた場所からオペレータインターフェースデバイス３を介して、環境内で動作する自律デバイス２を制御する。オペレータＯＰは、図６の中央部分の図示された挿入画に示されるように、制御プログラムが決定する運動軌道５２から逸脱している不必要に危険な運動軌道５３に沿った自律デバイス２の運動を制御する。

【0164】

オペレータスタイル評価モジュールは、オペレータＯＰの制御下において遠隔動作モードで動作している間に自律デバイス２と人物Ｐとの対話を分析し、デフォルトの運動軌道５２と比較して、運動軌道５３に沿って運動を実行することに対応するオペレータスタイル態様を決定する。オペレータスタイル評価モジュールは、「危険」、「速い」、および「カーブが多い」というオペレータスタイル態様に対応する、運動軌道５３についてのオペレータＯＰの嗜好を含むオペレータスタイルデータを生成する。「危険」、「速い」、および「カーブが多い」というオペレータスタイル態様についてのオペレータＯＰの嗜好を含む生成されたオペレータスタイル態様データは、オペレータスタイルデータベース１０に記憶される。図６の中央部分の下部に示すように、オペレータスタイルデータベース１０は現時点で、個人的特性としてオペレータＯＰに関連付けられた「危険」、「速い」、および「カーブが多い」というオペレータスタイル態様を含む。これらのオペレータスタイル態様は、オペレータＯＰが自律デバイス２を自律動作モードで動作させる段階中に決定される。人物Ｐの環境は、さらに人物Ｐと関連付けてオペレータスタイルデータベース１０に記憶され得る。「危険」、「速い」、および「カーブが多い」というオペレータスタイル態様は、オペレータＯＰの行動を特徴付ける行動特性を表し、したがって、オペレータＯＰのオペレータスタイルプロファイルに含まれる。

【0165】

図６の右部分では、自律デバイス２は自律動作モードで動作している。図６の右部分の下部に示すオペレータスタイルデータベース１０は、オペレータＯＰが自律デバイス２を自律動作モードで動作させる段階中に決定されたオペレータスタイル態様の具体例として、「危険」、「速い」、および「カーブが多い」というオペレータスタイル態様を含む。したがって、自律デバイス２は、「危険」、「速い」、および「カーブが多い」というオペレータスタイル態様を考慮して、人物Ｐの環境でタスクに対処する。

【0166】

図６の右部分に描写された自律デバイス２は、人物Ｐが保持しているグラスに飲料を注ぐというタスクを実行する。

【0167】

デフォルトのオペレータスタイルは、自律制御プログラムの制御下において、人物Ｐが保持しているグラスと自律デバイス２上に配置されている飲料で満たされたタンクの出口との間の第１の距離を伴う最適な位置から自律デバイス２をもたらす。

【0168】

それでもなお、オペレータスタイル模倣モジュールが、オペレータスタイルデータベース１０に記憶されたオペレータスタイル態様データに基づいて自律制御プログラムを適応させる。図６の右部分では、自律デバイス２のオペレータスタイル模倣モジュールは、オペレータスタイル態様データベース１０から「危険」というオペレータスタイル態様を選択する。選択された「危険」というオペレータスタイル態様に基づいて、オペレータスタイル模倣モジュールは、オペレータスタイル態様データに基づいて自律制御プログラムを適応させ、人物Ｐが保持しているグラスの上縁に対する自律デバイス２上の飲料タンクの出口の位置を変更し、これにより、自律制御プログラムによって決定された最適な第１の距離を超える第２の距離まで距離を増大させる。オペレータスタイル模倣モジュール１８、３３によって実行された適応により、グラスに飲料を注いでいる間に飲料をこぼす危険性が高まる結果となる。

【0169】

自律デバイス２は、オペレータＯＰが自律デバイス２を遠隔動作モードで動作させているときに見せた、危険な動作行動を好むという性格特性を模倣する。

【0170】

図７は、一実施形態によるオペレータスタイル評価およびオペレータスタイル模倣の一例を図示する、通信スタイル伝達を示す第３の適用例を示している。

【0171】

図７に描写された実施形態は、自律デバイス２と人物Ｐとの間の会話に基づく対話を指す。図７の自律デバイス２は、環境から音を拾うためのマイクロフォンと、発話認識システムとを備える通信インターフェースを含む。通信インターフェースはさらに、発話データを生成するための発話合成システムと、音響出力手段、例えばスピーカとを含む。

【0172】

図６の左部分は、自律動作モードで動作する自律デバイス２を示す。より具体的には、自律デバイス２は基本自律動作モードで動作する。基本動作モードは、自律デバイス２が機能的コミュニケーションのみを使用するモードであり得る。機能的コミュニケーションとは、人間の感情および心情を対象としないコミュニケーションを指す。図６の左部分に示す第３の例において想定されるように、自律デバイス２は、例えば、システム１の場合に基本自律動作モードを使用することがあり、具体的には、自律デバイス２は、オペレータＯＰの特定の性格プロファイルに関する利用可能なデータを有していない。これは、オペレータスタイルデータベース１０が、オペレータＯＰに関連付けられたオペレータ性格プロファイル内における特定のオペレータ性格態様データを含まない場合に対応する。

【0173】

図６の左部分は、汎用的なオペレータ性格特性クラスの実例として、「面白い」、「退屈」、および「真面目」という汎用的なオペレータ性格特性クラスのみを含む性格特性データベース１０を図示している。

【0174】

人物Ｐと自律デバイス２との間の対話は、自律デバイス２が人物にお茶を勧める口語文を出力することを含む。人物Ｐは、お茶の勧めを丁寧に断ることによって応答する。

【0175】

図７の中央部分は、遠隔動作モードで動作する自律デバイス２を描写している。オペレータＯＰは、オペレータインターフェースデバイス３を使用して自律デバイスを動作させる。オペレータインターフェースデバイス３の通信インターフェースは、言語テキストデータを入力するための入力手段を含み、図７には、そのような入力手段の具体例としてキーボードが示されている。代替としてまたは追加として、オペレータは、声および言語テキストデータを入力するために、コンピュータ上で実行されているマイクロフォンおよび発話認識ソフトウェアを使用し得る。

【0176】

図７の自律デバイス２は、発話出力データを生成するためのテキスト対発話変換能力を含む。発話データは、人物Ｐが自律デバイスと共有している環境内でスピーカを介して人物Ｐに出力される。

【0177】

図７の例では、オペレータＯＰは、自律デバイスを制御して、または自律デバイス２を使用して、お茶の勧めに加えてジョークを言い合う。人物Ｐは、返事として質問を投げかけることによって反応しており、したがってジョークに興味を示している。オペレータスタイル評価モジュール５、２１は、オペレータＯＰの制御下において遠隔動作モードで動作している間に自律デバイス２と人物Ｐとのコミュニケーション対話を分析する。オペレータスタイル評価モジュール５、２１は、分析されたコミュニケーション対話に基づいて、オペレータＯＰおよび人物Ｐに関連するオペレータスタイル態様データを生成する。

【0178】

図７の中央部分における例のコミュニケーションの分析の結果として、オペレータスタイルデータベース１０に記憶されたオペレータスタイル態様データが更新される。図７の例は、オペレータＯＰに関連付けて記憶されたオペレータスタイル態様データを、「面白い」という汎用的なオペレータ性格クラスの中にオペレータスタイルを「ジョーク」と組み合わせて含めるように更新する。オペレータスタイル評価モジュール５、２１はさらに、オペレータスタイルデータベース１０内のオペレータＯＰに関する「退屈」および「真面目」という汎用的なオペレータ性格クラスを取り消すことができる。したがって、オペレータＯＰと関連付けて記憶された更新済みのオペレータスタイル態様データは、オペレータＯＰの制御下において自律デバイス２との間のコミュニケーション対話に適応している。したがって、更新済みのオペレータスタイル態様データは、それ以降、一方のオペレータＯＰおよび他方の人物Ｐによる遠隔動作中、自律デバイス２のコミュニケーション対話に関する学習済みの特徴を反映する。

【0179】

図７の右部分では、自律デバイス２は自律動作モードで動作する。図７は、オペレータスタイルデータベース１０の右部分の下部に、更新済みの性格特性データベース１０が汎用的なオペレータ性格特性クラス「面白い」を「ジョーク」と組み合わせて含んでいる状態を示している。オペレータスタイル模倣モジュール１８、３３は、人物Ｐとの対話を自律動作モードで制御するときに更新済みのオペレータスタイル態様データに基づいて自律制御プログラム３２を適応させるために、「ジョーク」と組み合わせたオペレータ性格スタイル「面白い」を有するオペレータスタイルデータベース１０を使用する。

【0180】

遠隔動作モードで図７の中央部分に描写された対話において学習された自律デバイス２のオペレータＯＰは通常、面白く、対話でジョークを言うことを好む。自律デバイス２は、自律動作モードで自律制御プログラムの制御下で動作するとき、ジョークを記憶しているデータベースにアクセスし、人物Ｐとのコミュニケーションでジョークを使用することができる。

【0181】

図８は、一実施形態によるオペレータスタイル評価およびオペレータスタイル模倣の一例を図示する、ローカルユーザによって影響を受けるオペレータスタイル模倣を示す第４の適用例を示している。

【0182】

第４の適用例は、図７を参照して説明した第３の適用例に関連する。具体的には、図８の左部分は、遠隔動作モードで動作する自律デバイス２を描写している図７の中央部分に対応する。オペレータＯＰは、オペレータインターフェースデバイス３を使用して自律デバイスを動作させる。オペレータインターフェースデバイス３の通信インターフェースは、言語テキストデータを入力するための入力手段を含み、図７には、そのような入力手段の具体例としてキーボードが示されている。

【0183】

図７の自律デバイス２は、発話出力データを生成するためのテキスト対発話変換能力を含む。発話データは、人物Ｐが自律デバイスと共有している環境内でスピーカを介して人物Ｐに出力される。

【0184】

図７の例では、オペレータＯＰは、自律デバイス２を制御して、または自律デバイス２を使用して、お茶の勧めに加えてお茶に関するジョークを言い合う。人物Ｐは、返事として質問を投げかけることによって反応しており、したがってジョークに興味を示している。オペレータスタイル評価モジュール５、２１は、オペレータＯＰの制御下において遠隔動作モードで動作している間に自律デバイス２と人物Ｐとのコミュニケーション対話を分析する。オペレータスタイル評価モジュール５、２１は、分析されたコミュニケーション対話に基づいて、オペレータＯＰおよび人物Ｐに関連するオペレータスタイル態様データを生成する。

【0185】

図８の左部分における例のコミュニケーションの分析の結果として、オペレータスタイルデータベース１０に記憶されたオペレータスタイル態様データが更新される。図８の例は、オペレータＯＰに関連付けて記憶されたオペレータスタイル態様データを、「面白い」という汎用的なオペレータ性格クラスの中にオペレータスタイルを「ドイツ」、「お茶」および「サッカー」と組み合わせて含めるように更新する。オペレータスタイル評価モジュール５、２１はさらに、オペレータスタイルデータベース１０内のオペレータＯＰに関する「退屈」および「真面目」という汎用的なオペレータ性格クラスを取り消すことができる。したがって、オペレータＯＰと関連付けて記憶された更新済みのオペレータスタイル態様データは、オペレータＯＰの制御下において自律デバイス２との間のコミュニケーション対話に適応している。

【0186】

したがって、更新済みのオペレータスタイル態様データは、それ以降、一方のオペレータＯＰおよび他方の人物Ｐによる遠隔動作中、自律デバイス２のコミュニケーション対話に関する学習済みの特徴を反映する。

【0187】

図８の中央部分では、自律デバイス２は、オペレータスタイル模倣モジュール１８、３３の制御下において自律動作モードで動作する。オペレータスタイル模倣モジュール１８、３３は、少なくとも１人の人物との対話を遠隔動作モードで制御しているときにオペレータスタイル評価モジュール５、２１によって生成され、図８の左部分のオペレータスタイルデータベース１０に記憶されたオペレータスタイル態様データに基づいて、自律制御プラグラムを適応させる。

【0188】

描写された例では、自律デバイス２は、お茶に関係するジョークをデータベース内で検索する。自律デバイス２は、お茶に関連するという基準を満たすジョークをデータベースから取得し、取得したジョークを使用して人物Ｐとのコミュニケーションを開始する。

【0189】

自律デバイス２は、出力されたジョークに対する人物Ｐの反応を評価する。図８では、人物Ｐの評価された反応によると、提示されたジョークによって人物が楽しんでいないことが分かる。

【0190】

反応を評価することは、発話された応答を評価すること、または人物Ｐの顔の表情を評価することを含み得る。

【0191】

自律デバイス２によって開始された対話の過程によって人物Ｐが楽しんでいないことを感知すると、自律デバイス２は、オペレータスタイルデータベース１０から「お茶」という特性を削除し、「面白い」という汎用的な特性クラスを修正することによってオペレータスタイルデータベース１０を更新することによって続行する。図８の中央部分の下部は、「面白い」および「お茶」という特性を更新することによるオペレータスタイルデータベース１０のこの適応を描写している。

【0192】

図８の右部分では、自律デバイス２は、オペレータスタイル模倣モジュール１８、３３の制御下において自律動作モードで動作する。オペレータスタイル模倣モジュール１８、３３は、少なくとも１人の人物Ｐとの対話を遠隔動作モードで制御しているときにオペレータスタイル評価モジュール５、２１によって生成され、少なくとも１人の人物Ｐとの対話を図８の中央部分の自律動作モードで制御しているときに更新され、図８の中央部分の更新済みのオペレータスタイルデータベース１０に記憶されたオペレータスタイルデータに基づいて、自律制御プラグラム３２を適応させる。

【0193】

描写された例では、自律デバイス２は、サッカーに関係するジョークをデータベース内で検索する。自律デバイス２は、サッカーに関連するという基準を満たすジョークをデータベースから取得し、取得したジョークを使用して人物Ｐとのコミュニケーションを開始する。

【0194】

自律デバイス２は、出力されたジョークに対する人物Ｐの反応を評価する。図８では、人物Ｐの評価された反応によると、提示されたジョークによって人物が楽しんでいることが分かる。

【0195】

自律デバイス２によって開始された対話の過程によって人物Ｐが楽しんでいることを感知すると、自律デバイス２は、オペレータスタイルデータベース１０内に「サッカー」という特性を強化するとともに「面白い」という汎用的な特性クラスを強化することによりオペレータスタイルデータベース１０を更新することによって続行する。図８の中央部分の下部は、「面白い」および「サッカー」という特性を更新することによるオペレータスタイルデータベース１０のこの適応を描写している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】