特表 2023-544649 人間型特徴を有する仮想的かつ物理的ソーシャルロボット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-24

(54)【発明の名称】人間型特徴を有する仮想的かつ物理的ソーシャルロボット

(51)【国際特許分類】

   G06F 3/048 20130101AFI20231017BHJP

【ＦＩ】

G06F3/048

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023543245

(86)(22)【出願日】2021-06-30

(85)【翻訳文提出日】2023-05-17

(86)【国際出願番号】 AU2021050698

(87)【国際公開番号】W WO2022067372

(87)【国際公開日】2022-04-07

(31)【優先権主張番号】2020903504

(32)【優先日】2020-09-29

(33)【優先権主張国・地域又は機関】AU

(31)【優先権主張番号】202110133608.1

(32)【優先日】2021-02-01

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】523115726

【氏名又は名称】ヒューマン センタード イノベーションズ ピーティーワイ エルティディー

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】キョースラ， ラジブ

(72)【発明者】

【氏名】グエン， カーン トゥアン

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA27

5E555BA02

5E555BB02

5E555BC04

5E555CA42

5E555CA47

5E555DA13

5E555DA21

5E555DB32

5E555FA00

(57)【要約】

少なくともソーシャルロボット及び１つ以上の仮想ロボットシステムを含むソーシャルシステムと、連携システムとを備える、ユーザによるインタラクション用のヒューマンインタラクションシステムであって、前記ソーシャルロボットは、ロボット処理システムによって制御されるとともに、出力手段及び入力手段を含むインタラクションをユーザに提供するように構成され、前記１つ以上の仮想ロボットシステムは、前記ソーシャルロボットのアバターレプレゼンテーションを制御可能に提示するように構成され、かつさらに入力を受信するように構成され、前記連携システムは、どの時点においても、前記ソーシャルロボット又は前記仮想ロボットシステムのうちの１つのいずれか一方がアクティブであるように、前記ソーシャルロボット及び前記１つ以上の仮想ロボットの運転を連携するように構成され、よって、運転中に、ユーザは、前記アクティブなソーシャルロボット又は仮想ロボットシステムに関連付けられたものとして、前記ソーシャルロボット及び前記アバターに関連付けられたロボットパーソナリティーを認知する、ヒューマンインタラクションシステム。
【選択図】図７

【特許請求の範囲】

【請求項1】

少なくともソーシャルロボット及び１つ以上の仮想ロボットシステムを含むソーシャルシステムと、連携システムとを備える、ユーザによるインタラクションのためのヒューマンインタラクションシステム（ｈｕｍａｎ ｉｎｔｅｒａｃｔｉｏｎ ｓｙｓｔｅｍ）であって、
前記ソーシャルロボットは、ロボット処理システムによって制御されるとともに、出力手段及び入力手段を含むインタラクションをユーザに提供するように構成され、
前記１つ以上の１つ以上の仮想ロボットシステムは、前記ソーシャルロボットのアバターレプレゼンテーションを制御可能に提示するように構成され、かつさらに入力を受信するように構成され、
前記連携システムは、どの時点においても、前記ソーシャルロボット又は前記仮想ロボットシステムのうちの１つのいずれか一方がアクティブであるように、前記ソーシャルロボット及び前記１つ以上の仮想ロボットの運転を連携するように構成され、
よって、運転中に、ユーザは、前記アクティブなソーシャルロボット又は仮想ロボットシステムに関連付けられたものとして、前記ソーシャルロボット及び前記アバターに関連付けられたロボットパーソナリティーを認知する、ヒューマンインタラクションシステム。

【請求項2】

前記ソーシャルロボットは、入力手段として１つ以上のカメラ及び／又はマイクを備え、かつ／又は前記ソーシャルロボットは、出力手段としてスピーカー及び／又は１つ以上のライトを備える、請求項１に記載のシステム。

【請求項3】

前記連携システムは、前記ソーシャルロボット及び前記１つ以上の仮想ロボットシステムとデータ通信する、請求項１又は請求項２に記載のシステム。

【請求項4】

前記ソーシャルロボットは、胴体などの第２部分に対して可動である頭部などの第１部分を備える、請求項１乃至請求項３のいずれか一項に記載のシステム。

【請求項5】

前記連携システムは、
前記ユーザの位置を決定するとともに、前記ユーザの前記位置に対応するソーシャルシステムを決定し、かつ
アクティブとして構成する前記対応するソーシャルシステムにメッセージを伝えるように構成される、請求項１乃至請求項４のいずれか一項に記載のシステム。

【請求項6】

前記連携システムは、それぞれが非アクティブとして構成する前記１つ以上の他のソーシャルシステムにメッセージを伝えるようにさらに構成される、請求項５に記載のシステム。

【請求項7】

前記連携システムは、各ソーシャルシステムからプレゼントコミュニケーションを受信するように構成され、前記現在の通信は、前記ソーシャルシステムに関連付けられた物理的位置での前記ユーザの存在を示す前記ソーシャルシステムの入力手段に応じて生成される、請求項５又は請求項６のいずれかに記載のシステム。

【請求項8】

前記１つ以上の仮想ロボットシステムは、前記アバターをアニメートするように構成され、かつ少なくとも１つのアニメーションは、前記ソーシャルロボットの動きに相当する、請求項１乃至請求項７のいずれか一項に記載のシステム。

【請求項9】

前記１つ以上の仮想ロボットシステムは、前記アバターをアニメートするように構成され、かつ少なくとも１つのアニメーションは、前記ソーシャルロボットの動きに相当しない、請求項１乃至請求項８のいずれか一項に記載のシステム。

【請求項10】

前記ロボット処理システムは、アクティブな仮想ロボットシステムの前記運転を少なくとも部分的に制御するように構成される、請求項１乃至請求項９のいずれか一項に記載のシステム。

【請求項11】

前記アクティブな仮想ロボットシステムは、前記ロボット処理システムから受信したコマンドを解釈し、かつ前記仮想ロボットシステムのディスプレイ上で表示するために前記コマンドを適応させるように構成される、請求項１０に記載のシステム。

【請求項12】

少なくとも１つの仮想ロボットシステムは、少なくとも２つの事前に定義されたアバターの外見で構成され、かつ前記事前に定義されたアバターの外見のうちの１つが、アプリケーションに依存して選択される、請求項１乃至請求項１１のいずれか一項に記載のシステム。

【請求項13】

前記事前に定義されたアバターの外見のうちの１つがニュートラルな外見である、請求項１２に記載のシステム。

【請求項14】

少なくとも１つの仮想ロボットシステムが、前記アバターが提示される少なくとも２つの事前に定義された仮想環境で構成される、請求項１乃至請求項１３のいずれか一項に記載のシステム。

【請求項15】

前記ソーシャルロボット及び／又は仮想ロボットシステムとデータ通信する１つ以上のインタラクション装置をさらに備えるシステムであって、前記インタラクション装置は、前記ユーザが入力及び出力を提供することを可能にする、請求項１乃至請求項１４のいずれか一項に記載のシステム。

【請求項16】

少なくとも１つの仮想ロボットシステムが、インタラクション装置に対応する仮想オブジェクトを提示するように構成される、請求項１５に記載のシステム。

【請求項17】

前記ソーシャルロボット及び／又は少なくとも１つの仮想ロボットシステムは、１つ以上の補助装置とのデータ通信用に構成される、請求項１乃至請求項１６のいずれか一項に記載のシステム。

【請求項18】

前記アバターの外見は、言語コミュニケーション及び／又は視覚動作を行うためのユーザコマンドに応答して制御可能である、請求項１乃至請求項１７のいずれか一項に記載のシステム。

【請求項19】

０

【請求項20】

少なくともソーシャルロボット及び１つ以上の仮想ロボットシステムを含むソーシャルシステムを備える、ユーザによるインタラクション用のヒューマンインタラクションシステムであって、
前記ソーシャルロボットは、ロボット処理システムによって制御されるとともに、出力手段及び入力手段を含むインタラクションを制御ユーザに提供するように構成され、
前記１つ以上の１つ以上の仮想ロボットシステムは、前記ソーシャルロボットのアバターレプレゼンテーションを制御可能に提示するように構成され、かつさらに入力を受信するように構成され、前記又は各仮想ロボットシステムは、ユーザに関連付けられ、
よって、運転中に、前記又は各ユーザは、前記アクティブなソーシャルロボット又は仮想ロボットシステムに関連付けられたものとして、前記ソーシャルロボット及び前記アバターに関連付けられたロボットパーソナリティーを認知する、ヒューマンインタラクションシステム。

【請求項21】

前記ソーシャルロボットは、入力手段として１つ以上のカメラ及び／又はマイクを備え、かつ／又は前記ソーシャルロボットは、出力手段としてスピーカー及び／又は１つ以上のライトを備える、請求項２０に記載のシステム。

【請求項22】

前記ソーシャルロボットは、胴体などの第２部分に対して可動である頭部などの第１部分を備える、請求項２０又は請求項２１に記載のシステム。

【請求項23】

前記１つ以上の仮想ロボットシステムは、前記アバターをアニメートするように構成され、かつ少なくとも１つのアニメーションは、前記ソーシャルロボットの動きに相当する、請求項２０乃至請求項２２のいずれか一項に記載のシステム。

【請求項24】

前記１つ以上の仮想ロボットシステムは、前記アバターをアニメートするように構成され、かつ少なくとも１つのアニメーションは、前記ソーシャルロボットの動きに相当しない、請求項２０乃至請求項２３のいずれか一項に記載のシステム。

【請求項25】

前記ロボット処理システムは、アクティブな仮想ロボットシステムの前記運転を少なくとも部分的に制御するように構成される、請求項２０乃至請求項２４のいずれか一項に記載のシステム。

【請求項26】

少なくとも１つの仮想ロボットシステムは、少なくとも２つの事前に定義されたアバターの外見で構成され、かつ前記事前に定義されたアバターの外見のうちの１つが、アプリケーションに依存して選択される、請求項２０乃至請求項２５のいずれか一項に記載のシステム。

【請求項27】

前記事前に定義されたアバターの外見のうちの１つがニュートラルな外見である、請求項２６に記載のシステム。

【請求項28】

少なくとも１つの仮想ロボットシステムが、前記アバターが提示される少なくとも２つの事前に定義された仮想環境で構成される、請求項２０乃至請求項２７のいずれか一項に記載のシステム。

【請求項29】

前記ソーシャルロボット及び／又は仮想ロボットシステムとデータ通信する１つ以上のインタラクション装置をさらに備えるシステムであって、前記インタラクション装置は、前記ユーザが入力及び出力を提供することを可能にする、請求項２０乃至請求項２８のいずれか一項に記載のシステム。

【請求項30】

少なくとも１つの仮想ロボットシステムが、インタラクション装置に対応する仮想オブジェクトを提示するように構成される、請求項２９に記載のシステム。

【請求項31】

前記ソーシャルロボット及び／又は少なくとも１つの仮想ロボットシステムは、１つ以上の補助装置とのデータ通信用に構成される、請求項２０乃至請求項３０のいずれか一項に記載のシステム。

【請求項32】

前記ソーシャルロボットは、前記制御ユーザからの音声コマンドを受信するように構成され、少なくとも１つの音声コマンドは、特定の仮想ロボットシステムからの情報の要求に対応し、かつ前記ソーシャルロボットは、
前記特定の仮想ロボットシステムに前記コマンドを伝えるようにさらに構成される、請求項３１に記載のシステム。

【請求項33】

前記ソーシャルロボットは、前記特定の仮想ロボットシステムから前記コマンドへの応答を受信するようにさらに構成される、請求項３２に記載のシステム。

【請求項34】

少なくとも１つの仮想ロボットシステムは、
指示コマンドを受信し、
関連動作を引き受け、かつ
前記ソーシャルロボットへの応答を伝えるようにさらに構成される、請求項３２又は請求項３３に記載のシステム。

【請求項35】

少なくとも１つの関連動作は、前記関連付けられた仮想ロボットシステムと通信して関連補助装置から結果を得ることを含む、請求項３４に記載のシステム。

【請求項36】

前記アバターの外見は、言語コミュニケーション及び／又は視覚動作を行うためのユーザコマンドに応答して制御可能である、請求項２０乃至請求項３５のいずれか一項に記載のシステム。

【請求項37】

少なくともソーシャルロボット及び１つ以上の仮想ロボットシステムを含むソーシャルシステムで、ユーザによるインタラクションを可能にするヒューマンインタラクション方法であって、
出力手段及び入力手段を含むインタラクションをユーザに提供するように前記ソーシャルロボットを制御することと、
アバターレプレゼンテーションがディスプレイ上に表示される際に、前記アバターレプレゼンテーションがアクティブとなるように、前記ソーシャルロボットのアバターレプレゼンテーションを１つ以上のディスプレイ上に制御可能に提示することと、
どの時点においても、前記ソーシャルロボット又は前記仮想ロボットシステムのうちの１つのいずれか一方がアクティブであるように、前記ソーシャルロボット及び前記１つ以上の仮想ロボットの運転を連携することとを含む方法であり、
よって、運転中に、ユーザは、前記アクティブなソーシャルロボット又は仮想ロボットシステムに関連付けられたものとして、前記ソーシャルロボット及び前記アバターに関連付けられたロボットパーソナリティーを認知する、ヒューマンインタラクション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、ソーシャルロボットの相互関係のある物理的かつ仮想的表現でのユーザによるインタラクションのためのヒューマンインタラクションシステムに関する。

【背景技術】

【0002】

ヒューマンケアのシナリオで使用する外見及び機能における特定の要件を満たすように設計されたソーシャルロボットが知られている。例えば、このようなロボットは、可動部分と、ユーザにとって共感できるインタラクティブな経験を提供する視覚かつ音声出力を生成する能力とを備えてよく、すなわち、このソーシャルロボットは、ユーザとソーシャルロボットとの間のインタラクション及び愛着感を促すことを目的として設計されている。引例［１］～［５］は、この点に関して物理的ソーシャルロボットにおける望ましい特徴を、例えば、引例［３］の「Ｏｕｒ ｓｏｃｉａｌ ｒｏｂｏｔ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」という見出しの箇所に記載している。これらの引例は、自閉症のケアや、特に認知症の高齢者のケアに関係する高齢者のケアに適した特徴についての論考を含む。このようなソーシャルロボットは、それ自体のパーソナリティーを有すると言えるかもしれず、これは典型的に、名前を含むことまで及び、すなわち、当該ソーシャルロボットはパーソナリティーを具現化する。ソーシャルロボットの設計は、物理的設計特徴及び典型的には可聴かつ／又は視覚的設計特徴の選択を通して上記が意図されている。

【0003】

しかしながら、既存のシステムは物理的ロボットのみに依存している。エンゲージメントを改善し、よってケアにおける効果を改善するために、適切な設計が見出されたが、さらなる開発が必要である。

【0004】

ソーシャルロボットは、介護者の作業負荷の一部を取り除く手助けとなり得る、ケアを必要とする人々のためのある程度のエンゲージメント及びモニタリングを提供し得る。既知のソーシャルロボットは、本出願人のＭａｔｌｄａロボットであり（引例［７］）、これはユーザたちに対して人間のようなエンゲージメントとセンサリエンリッチメントを提供する。例えば、Ｍａｔｌｄａは、ユーザフレンドリーなインタラクション性を提供する一方で、フレンドリーな外見を有するように設計されてきた。

【発明の概要】

【0005】

本発明の一態様に従い、少なくともソーシャルロボット及び１つ以上の仮想ロボットシステムを含むソーシャルシステムと、連携システムとを備える、ユーザによるインタラクション用のヒューマンインタラクションシステムであって、前記ソーシャルロボットは、ロボット処理システムによって制御されるとともに、出力手段及び入力手段を含むインタラクションをユーザに提供するように構成され、前記１つ以上の１つ以上の仮想ロボットシステムは、前記ソーシャルロボットのアバターレプレゼンテーションを制御可能に提示するように構成され、かつさらに入力を受信するように構成され、前記連携システムは、どの時点においても、前記ソーシャルロボット又は前記仮想ロボットシステムのうちの１つのいずれか一方がアクティブであるように、前記ソーシャルロボット及び前記１つ以上の仮想ロボットの運転を連携するように構成され、よって、運転中に、ユーザは、前記アクティブなソーシャルロボット又は仮想ロボットシステムに関連付けられたものとして、前記ソーシャルロボット及び前記アバターに関連付けられたロボットパーソナリティーを認知する、ヒューマンインタラクションシステムが提供される。

【0006】

前記ソーシャルロボットは、入力手段として１つ以上のカメラ及び／又はマイクを備え、かつ／又は前記ソーシャルロボットは、出力手段としてスピーカー及び／又は１つ以上のライトを備えてよい。

【0007】

前記連携システムは、前記ソーシャルロボット及び前記１つ以上の仮想ロボットシステムとデータ通信してよい。

【0008】

前記ソーシャルロボットは、胴体などの第２部分に対して可動である頭部などの第１部分を備えてよい。

【0009】

前記連携システムは、前記ユーザの位置を決定するとともに、前記ユーザの前記位置に対応するソーシャルシステムを決定し、かつアクティブとして構成する前記対応するソーシャルシステムにメッセージを伝えるように構成されてよい。前記連携システムは、それぞれが非アクティブとして構成する前記１つ以上の他のソーシャルシステムにメッセージを伝えるようにさらに構成されてもよい。前記連携システムは、各ソーシャルシステムからプレゼントコミュニケーションを受信するように構成され、前記現在の通信は、前記ソーシャルシステムに関連付けられた物理的位置での前記ユーザの存在を示す前記ソーシャルシステムの入力手段に応じて生成されてもよい。

【0010】

前記１つ以上の仮想ロボットシステムは、前記アバターをアニメートするように構成され、かつ少なくとも１つのアニメーションは、前記ソーシャルロボットの動きに相当してよい。

【0011】

前記１つ以上の仮想ロボットシステムは、前記アバターをアニメートするように構成され、かつ少なくとも１つのアニメーションは、前記ソーシャルロボットの動きに相当しなくてよい。

【0012】

前記ロボット処理システムは、アクティブな仮想ロボットシステムの前記運転を少なくとも部分的に制御するように構成されてよい。前記アクティブな仮想ロボットシステムは、前記ロボット処理システムから受信したコマンドを解釈し、かつ前記仮想ロボットシステムのディスプレイ上で表示するために前記コマンドを適応させるように構成されてよい。

【0013】

少なくとも１つの仮想ロボットシステムは、少なくとも２つの事前に定義されたアバターの外見で構成され、かつ前記事前に定義されたアバターの外見のうちの１つが、アプリケーションに依存して選択されてよい。前記事前に定義されたアバターの外見のうちの１つがニュートラルな外見であってよい。

【0014】

少なくとも１つの仮想ロボットシステムが、前記アバターが提示される少なくとも２つの事前に定義された仮想環境で構成されてよい。

【0015】

前記システムは、前記ソーシャルロボット及び／又は仮想ロボットシステムとデータ通信する１つ以上のインタラクション装置をさらに備えてよく、前記インタラクション装置は、前記ユーザが入力及び出力を提供することを可能にする。少なくとも１つの仮想ロボットシステムが、インタラクション装置に対応する仮想オブジェクトを提示するように構成されてよい。

【0016】

前記ソーシャルロボット及び／又は少なくとも１つの仮想ロボットシステムは、１つ以上の補助装置とのデータ通信用に構成されてよい。

【0017】

前記アバターの外見は、言語コミュニケーション及び／又は視覚動作を行うためのユーザコマンドに応答して制御可能であってよい。

【0018】

本発明の他の態様に従い、少なくともソーシャルロボット及び１つ以上の仮想ロボットシステムを含むソーシャルシステムを備える、ユーザによるインタラクション用のヒューマンインタラクションシステムであって、前記ソーシャルロボットは、ロボット処理システムによって制御されるとともに、出力手段及び入力手段を含むインタラクションを制御ユーザに提供するように構成され、前記１つ以上の１つ以上の仮想ロボットシステムは、前記ソーシャルロボットのアバターレプレゼンテーションを制御可能に提示するように構成され、かつさらに入力を受信するように構成され、前記又は各仮想ロボットシステムは、ユーザに関連付けられ、よって、運転中に、前記又は各ユーザは、前記アクティブなソーシャルロボット又は仮想ロボットシステムに関連付けられたものとして、前記ソーシャルロボット及び前記アバターに関連付けられたロボットパーソナリティーを認知する、ヒューマンインタラクションシステムが提供される。

【0019】

前記ソーシャルロボットは、入力手段として１つ以上のカメラ及び／又はマイクを備え、かつ／又は前記ソーシャルロボットは、出力手段としてスピーカー及び／又は１つ以上のライトを備えてよい。

【0020】

前記ソーシャルロボットは、胴体などの第２部分に対して可動である頭部などの第１部分を備えてよい。

【0021】

前記１つ以上の仮想ロボットシステムは、前記アバターをアニメートするように構成され、かつ少なくとも１つのアニメーションは、前記ソーシャルロボットの動きに相当してよい。

【0022】

前記１つ以上の仮想ロボットシステムは、前記アバターをアニメートするように構成され、かつ少なくとも１つのアニメーションは、前記ソーシャルロボットの動きに相当しなくてよい。

【0023】

前記ロボット処理システムは、アクティブな仮想ロボットシステムの前記運転を少なくとも部分的に制御するように構成されてよい。

【0024】

少なくとも１つの仮想ロボットシステムは、少なくとも２つの事前に定義されたアバターの外見で構成され、かつ前記事前に定義されたアバターの外見のうちの１つが、アプリケーションに依存して選択されてよい。前記事前に定義されたアバターの外見のうちの１つがニュートラルな外見であってよい。

【0025】

少なくとも１つの仮想ロボットシステムが、前記アバターが提示される少なくとも２つの事前に定義された仮想環境で構成されてよい。

【0026】

前記システムは、前記ソーシャルロボット及び／又は仮想ロボットシステムとデータ通信する１つ以上のインタラクション装置をさらに備えてよく、前記インタラクション装置は、前記ユーザが入力及び出力を提供することを可能にする。少なくとも１つの仮想ロボットシステムが、インタラクション装置に対応する仮想オブジェクトを提示するように構成されてよい。

【0027】

前記ソーシャルロボット及び／又は少なくとも１つの仮想ロボットシステムは、１つ以上の補助装置とのデータ通信用に構成されてよい。

【0028】

前記ソーシャルロボットは、前記制御ユーザからの音声コマンドを受信するように構成され、少なくとも１つの音声コマンドは、特定の仮想ロボットシステムからの情報の要求に対応し、かつ前記ソーシャルロボットは、前記特定の仮想ロボットシステムに前記コマンドを伝えるようにさらに構成されてよい。前記ソーシャルロボットは、前記特定の仮想ロボットシステムから前記コマンドへの応答を受信するようにさらに構成されてよい。少なくとも１つの仮想ロボットシステムは、指示コマンドを受信し、関連動作を引き受け、かつ前記ソーシャルロボットへの応答を伝えるようにさらに構成されてよい。少なくとも１つの関連動作は、前記関連付けられた仮想ロボットシステムと通信して関連補助装置から結果を得ることを含んでよい。

【0029】

前記アバターの外見は、言語コミュニケーション及び／又は視覚動作を行うためのユーザコマンドに応答して制御可能であってよい。

【0030】

本発明の他の態様に従い、少なくともソーシャルロボット及び１つ以上の仮想ロボットシステムを含むソーシャルシステムで、ユーザによるインタラクションを可能にするヒューマンインタラクション方法であって、出力手段及び入力手段を含むインタラクションをユーザに提供するように前記ソーシャルロボットを制御することと、アバターレプレゼンテーションがディスプレイ上に表示される際に、前記アバターレプレゼンテーションがアクティブとなるように、前記ソーシャルロボットのアバターレプレゼンテーションを１つ以上のディスプレイ上に制御可能に提示することと、どの時点においても、前記ソーシャルロボット又は前記仮想ロボットシステムのうちの１つのいずれか一方がアクティブであるように、前記ソーシャルロボット及び前記１つ以上の仮想ロボットの運転を連携することとを含む方法であり、よって、運転中に、ユーザは、前記アクティブなソーシャルロボット又は仮想ロボットシステムに関連付けられたものとして、前記ソーシャルロボット及び前記アバターに関連付けられたロボットパーソナリティーを認知する、ヒューマンインタラクション方法が提供される。

【0031】

本開示はまた、仮想ロボットシステムによって作成された仮想アバターと、これらと物理的ロボットとの関係とを含み、よって、共通の関係経験を提供するものとして理解することもできる。例えば、開示された特定の態様により、複数のアバターを一度に提示することを可能にし、その際、これらのアバターは複数の部屋などの異なる場所に配置され、例えば、仮想アバターは病室内に提示されてよく、一方で１つ以上の物理的ロボットは共用エリアに存在し、１つのパーソナリティーが、研修医の部屋と、当該研修医が共用エリアを訪れた時の両方に存在するという経験を提供する。

【0032】

本発明で使用されている「ｃｏｍｐｒｉｓｅ」という語又は「ｃｏｍｐｒｉｓｅｓ」又は「ｃｏｍｐｒｉｓｉｎｇ」などの変異形は、包括的な意味で、すなわち、本発明の多様な実施形態において記載された特徴の存在を特定するためであって、さらなる特徴の存在又は追加を排除するためではなく、用いられる。

【図面の簡単な説明】

【0033】

本発明がより明確に理解されるようにするため、以下の添付図面を参照しながら、例として実施形態について以下に説明する。

【図1】一実施形態に係るヒューマンインタラクションシステムを示す。

【図2】一実施形態に係るソーシャルロボットの特徴を示す。

【図3】一実施形態に係る仮想ロボットシステムの特徴を示す。

【図4】一実施形態に係る連携システムの特徴を示す。

【図5】異なるインタラクションポイントを示す。

【図6】ソーシャルロボットの一例を示す。

【図7】一実施形態に係るソーシャルロボットと、複数の仮想ロボットシステムと、連携システムとの間の関係を示す。

【図8】ソーシャルロボット及び１つ以上の仮想ロボットシステムを制御する方法を示す。

【図9】ソーシャルロボット及び１つ以上の仮想ロボットシステムを制御する方法を示す。

【図10】アバターの異なる外観の例を示す。

【図11】異なる環境の例を示す。

【図12】インタラクション装置をさらに備える一実施形態を示す。

【図13】インタラクション装置と仮想オブジェクトとの関係を示す。

【図14】ソーシャルロボットが複数のアクティブな仮想ロボットシステムとインタラクションする一実施形態を示す。

【図15】ソーシャルロボットと、異なる補助装置とインタラクションする仮想ロボットシステムとを示す。

【発明を実施するための形態】

【0034】

図１を参照すると、一実施形態に従い、ヒューマンインタラクションシステム１０は、ソーシャルロボット１１と、１つ以上の仮想ロボットシステム１２（１２ａ～１３ｄの４個が示されている）と、連携システム１３とを備える。連携システム１３は、前記ソーシャルロボット１１及び前記又は各仮想ロボットシステム１２とデータ通信する。データ通信は、有線及び／又は無線通信を含むことができ、例えば、データ通信はネットルータを介して行われ得る。無線規格の例は、ＷｉＦｉ（８０２．１１）（ＷｉＦｉは登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ等を含む。有線規格の例は、イーサネット（登録商標）及びＵＳＢ（登録商標）を含む。

【0035】

図２を参照すると、一実施形態に従って、ソーシャルロボット１１は、メモリ１２２（典型的に揮発性及び不揮発性メモリの両方を含む）とインタフェースされた１つ以上のプロセッサ１２１（ここでは１つのプロセッサ１２１が想定されている）と、ネットワークインタフェース１２３と、制御インタフェース１２４とを含む、ロボット処理システム２０を備える。プロセッサ１２１は、メモリ１２２からプログラム指示を読み出し、これにより、例えば、制御インタフェース１２４に対して発行されたコマンド及びデータを介して、ソーシャルロボット１１に本明細書に記載される機能性を実施させるように構成されている。プロセッサ１２１はまた典型的に、制御インタフェース１２４からデータを受信するとともに、前記受信したデータに応答し、かつ／又は受信したデータをメモリ１２２に記憶してよい。

【0036】

図３を参照すると、一実施形態に従って、仮想ロボットシステム１２はまた、メモリ２２２（典型的に揮発性及び不揮発性メモリの両方を含む）とインタフェースされた１つ以上のプロセッサ２２１（ここでは１つのプロセッサ２２１が想定されている）と、ネットワークインタフェース２２３とを含む、仮想ロボット処理システム２１を備える。プロセッサ２２１は、取り付けられているディスプレイ３０を制御するように（すなわち、特定の画像等をディスプレイ３０上に表示させるために）構成されたディスプレイモジュール２２５とインタフェースされている。プロセッサ２２１は、メモリ２２２からプログラム指示を読み出し、これにより、例えば、ディスプレイモジュール２２５に対して発行されたコマンド及びデータを介して、仮想ロボットシステム１２に本明細書に記載される機能性を実施させるように構成されている。一実施形態において、仮想ロボット処理システム２１はまた、インタフェースされたカメラ３１及び／又はマイク３２を介して、ユーザの入力に対応する信号を受信するように構成された入力モジュール２２６も備える。

【0037】

図４を参照すると、一実施形態に従って、連携システム１３は、メモリ３２２（典型的に揮発性及び不揮発性メモリの両方を含む）とインタフェースされた１つ以上のプロセッサ３２１（ここでは１つのプロセッサ３２１が想定されている）と、ネットワークインタフェース３２３とを備える。連携システム１３は、ソーシャルロボット１１と仮想ロボットシステム（単数又は複数）１２との間の機能性を連携するように構成される。一実施形態において、連携システム１３は、ロボット処理システム２０と同じハードウェアの一部として実施され、本実施形態において、連携システム１３は、ソーシャルロボット１１によって実施されるソフトウェアモジュールと見なすことができる。他の実施形態では、連携システム１３は明確に異なるハードウェアで実施され、かつそれぞれのネットワークインタフェース１２３、３２３を介してロボット処理システム２０とデータ通信する。

【0038】

例えば、ロボット処理システム２０は、本出願人の以前のＰＣＴ公報ＷＯ２００８／０６４４３１Ａ１に記載されている通り、感情状態の変化を監視する技術を実施するように構成することができる。制御インタフェース１２４は、ソーシャルロボット１１の出力を制御する。これらは特定の実施に応じて変わってよいが、例えば、視覚かつ／又は音声信号の発信を含むことができる。ソーシャルロボット１１はまた、１つ以上のカメラ及び／又は１つ以上のマイクからなど、ソーシャルロボット１１のセンサから入力データを受信する。ロボット処理システム２０の既存の運転の例として、引例［１］、［２］、［３］、［４］、及び［５］も参照する（これらのそれぞれが、参照により本明細書に組み込まれる）。

【0039】

一実施形態に従い、図１５に示されるように、ロボット処理システム２０及び／又は仮想ロボット処理システム２１は、ローカル補助装置１５との通信用に構成することができる。当該通信は有線又は無線でよく、かつ典型的にロボット処理システム２０及び／又は仮想ロボット処理システム２１とローカル補助装置１５との間の標準通信プロトコル（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＵＳＢ等）を利用することになる。ローカル補助装置１５は典型的に、ロボット処理システム２０及び／又は仮想ロボット処理システム２１のための追加出力及び／又は追加入力を提供するように構成される。

【0040】

ローカル補助装置１５の例は、スマートフォン及びタブレット１５ａなどのポータブルコンピューティングデバイス、アクティビティトラッカー１５ｂなどのウェアラブル技術、及び医療監視装置１５ｃを含む。後者の場合、ロボット処理システム２０は、ロボット処理システム２０及び／又は仮想ロボット処理システム２１と同じ部屋の中の患者に関する医療情報を取得するように構成することができる。概して、当該装置１５には、ロボット処理システム２０及び／又は仮想ロボット処理システム２１との通信を可能にするソフトウェアを備えてよく、あるいは、当該装置１５の既存の出力をロボット処理システム２０及び／又は仮想ロボット処理システム２１に結合することができる。

【0041】

例えば、１つ以上の補助装置１５は、心拍数、エモーショナルプロフィール、睡眠の質、血圧、脳活動（ＥＥＧ）を測定するために設けられてよい。

【0042】

図５を参照すると、一実施形態に従って、連携システム１３は、仮想ロボット処理システム２１で実施されるべきロボット処理システム２０の機能性の特定の態様を可能にするように構成される。ソーシャルロボット１１及び前記又は各仮想ロボットシステム１２は、連携システム１３によって接続されるインタラクションポイント２３（図示される通り）と見なされ得る。インタラクションポイント２３ａはソーシャルロボット１１に対応し、インタラクションポイント２３ｂ～２３ｄは、１つ以上の仮想ロボットシステム１２（１２ａ～１３ｄの４個が図示されている）の個々の事例を表す。インタラクションポイント２３は、環境（例えば、家又は老人介護施設）内の物理的位置を表す。各インタラクションポイント２３が、明確な物理的位置に配置される（例えば、それぞれが別個の部屋に配置される）ことが好ましいかもしれない。但し、これは実施の詳細かもしれないが、特定の実施では、同じ物理的位置で２つ（又は２つ以上）のインタラクションポイント２３を利用することが想定される。

【0043】

図６は、一実施形態に係るソーシャルロボット１１の一例を示す。ソーシャルロボット１１は頭部４０と胴体４１とを備え、頭部４０は、胴体４１に対して、例えば回転により、可動であってよい。ソーシャルロボット１１は、少なくとも１つのカメラ４２を備え、例えば、頭部４０は、２つの目４３（片方の目又は両目が埋め込まれたカメラ４２を有する）を備えてよく、かつ／又は少なくとも１つのカメラ４２が他の場所に配置されてよい。頭部４０及び／又は胴体４１は、ロボット処理システム２０を介して制御可能なライト（例えば、図示されていないが、ＬＥＤなど）を備え得る。頭部４０及び／又は胴体４１は、マイク４４及び／又はスピーカー４５を備えてよい。概して、ソーシャルロボット１１は、引例［１］～［５］に記載され、かつ／又は出願人のＭＡＴＬＤＡ製品において具現化されている（引例［７］）特徴を含み得る。ロボット処理システム２０は、物理的ソーシャルロボット１１内に配置されたハードウェアにインプラントすることができるが（本明細書において想定されている通りに）、ハードウェアは別に、例えばソーシャルロボット１１との有線通信を介して、配置されることが期待される。

【0044】

ソーシャルロボット１１は、トロリーもしくは同様の車両によって、又は物理的持ち上げによって移動可能であってよい。しかしながら、両技術は問題を提起している。例えば、トロリーは、垂直方向の移動（例えば、階段の昇り降り）を直ちに容易にはせず、また物理的持ち上げは、ソーシャルロボット１１の損傷又は置き間違えをもたらし得ることが分かった。後者の問題は重要となり得る。例えば、ソーシャルロボット１１が高い位置（例えば、テーブル）の縁に近過ぎる位置に置かれると、ソーシャルロボット１１は落ちてしまうかもしれず、ユーザにとって物理的ダメージ及び精神的苦痛の可能性の両方を与える危険がある。

【0045】

区別が必要とされない限り、便宜上、本明細書におけるソーシャルロボット１１への言及は、そのロボット処理システム２０への言及を含むものと理解されるべきである。同様に、仮想ロボットシステム１２への言及は、その仮想ロボット処理システム２１を含むものと理解されるべきである。

【0046】

図７は、連携システム１３とインタフェースされたソーシャルロボット１１を備える一実施形態を示し、連携システム１３自体は１つの仮想ロボットシステム１２ａとインタフェースされている。この図に示されているように、仮想ロボットシステム１２ａのディスプレイ３０は、ソーシャルロボット１１のグラフィック表現（以下、アバター２２という）を示し、すなわち、ソーシャルロボット１１の物理的外見とアバター２２とはある程度の類似性がある。実施形態に応じて、明確になるだろうことだが、アバター２２の外見にはバリエーションがあり得る。これは、実施される特定の機能によるかもしれない。しかしながら、アバター２２によって具現化されるパーソナリティーがソーシャルロボット１１によって具現化されるパーソナリティーと同一であると、ユーザが信じるように促されることが一般的に好ましいかもしれない。このことは、アバター２２を設計する際に、設計上の考慮事項として明確になるかもしれない。

【0047】

図８は、特定の仮想ロボットシステム１２ａが配置された物理的位置にユーザがいるとの判定に応じて、アバター２２が表示されるように、仮想ロボットシステム１２ａが制御される一実施形態を示す。便宜上、家などの建物の部屋である物理的位置について本明細書において言及がなされ、従って、仮想ロボットシステム１２ａは当該部屋に関連付けられる。

【0048】

ステップＳ１００では、連携システム１３は、ユーザが、特定の仮想ロボットシステム１２ａと関連付けられた部屋にいると判定する。一実施形態において、仮想ロボット処理システム２１は、そのセンサから受信した入力に基づきユーザの存在を判定し、かつ当該存在を示すメッセージを連携システム１３に伝えるように構成される。他の実施形態では、仮想処理システム２１は、前記センサデータを連携システム１３に伝えるように構成され、これによりユーザの存在を判定する。一実施形態に従い、仮想ロボットシステム１２は、当該技術分野で既知の人間認識アルゴリズムを用いて搭載カメラ３１によりユーザの存在を識別する。あるいは又はさらに、ユーザには、仮想ロボットシステム１２ａとインタフェースされている適切に構成されたスキャナによって読取可能なように構成されたｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｅｒが提供されてよい。

【0049】

ステップＳ１０１では、連携システム１３は、各装置が非アクティブ状態になるところであると各装置に通知するように構成されたソーシャルロボット１１及びその他いずれかの仮想ロボットシステム１２ｂ～１２ｄに対して、メッセージを伝える。「非アクティブ状態」の意味は、特定の実施形態に応じて、かつ当該装置がソーシャルロボット１１又は仮想ロボットシステム１２であるかに応じて変わり得る。しかしながら、概して非アクティブ状態において、特定の装置は、ロボットパーソナリティーに対応する機能を引き受けないように構成される。例えば、非アクティブな仮想ロボットシステム１２のディスプレイ３０ は、アバター２２のレプレゼンテーションを表示しないように構成することができる。別の例では、非アクティブな物理的ソーシャルロボット１１は、ライトの照明、音響の放出、又は胴体４１に対する頭部４０などの部品の動きなどの出力機能性を制限する又は完全に停止させるように構成することができる。

【0050】

ステップＳ１０２では、連携システム１３は、アクティブ状態になるところであるということを示すメッセージを、ユーザの物理的位置と関連付けられた仮想ロボットシステム１２ａに伝える。「アクティブ状態」の意味は、特定の実施形態に応じて変わり得る。一般的な意味では、アクティブ状態の場合、仮想ロボットシステム１２は、アバター２２のビジュアルレプレゼンテーションを提示するように構成される。同様に、ソーシャルロボット１１はアクティブ状態になることができ、この場合、そのロボットパーソナリティーに関連付けられる機能を引き受けていることになる。

【0051】

図９を参照すると、一実施形態において、ロボット処理システム２０は、アクティブな仮想ロボット処理システム２１とインタフェースされるように構成されるため、アバター２２のビジュアルレプレゼンテーションを提示するために必要な処理の少なくとも一部が、ロボット処理システム２０によって提供される。従って、図９の方法は、ロボット処理システム２０がアクティブな仮想ロボット処理システム２１とインタフェースすることを可能にするように構成されたロボット処理システム２０にメッセージを伝える、連携システム１３の追加ステップＳ１０３を有する、図８のステップを含む。例えば、このメッセージは、アクティブな仮想ロボット処理システム２１に関連付けられたＩＤコードを含んでよい。

【0052】

図８及び図９を参照して説明された実施形態は、ユーザが、異なる物理的位置と物理的位置の間で動くにも拘わらず、ソーシャルロボット１１の動きを必要とすることなく、システム１０とインタラクションできるようにする必要性に有利に対処し得る。ユーザの観点からすると、ユーザが位置と位置の間を移動する際に、ロボットパーソナリティーが当該物理的位置と物理的位置の間を移動するように見える。ロボットパーソナリティーは、ソーシャルロボット１１内でアクティブであるのと（すなわち、ソーシャルロボット１１がアクティブ状態であり、かつ１つ以上の仮想ロボットシステム１２が非アクティブ状態である）、アバター２２として仮想ロボットシステム１２内でアクティブであるのと（１つの仮想ロボットシステム１２が一度アクティブ状態であり、残り（該当する場合）並びにソーシャルロボット１１が非アクティブ状態である）の間で移動するように見えてよく、従って、ユーザの観点からすると、ロボットパーソナリティーは、実際のソーシャルロボット１１の動きを必要とすることなく、動くことができる。

【0053】

一実施形態に従い、ロボット処理システム２０は、アクティブな仮想ロボット処理システム２１の少なくとも部分制御のために構成される。例えば、当該一実施形態では、ロボット処理システム２０はサーバとして動作してよく、かつ仮想ロボット処理システム２１はクライアントとして動作する。従って、アクティブな仮想ロボット処理システム２１は、例えば、そのマイク、カメラ、及び／又はその他の入力手段からロボット処理システム２０に、受信された入力を通信するように構成される。当該通信は、連携システム１３によって容易にされ得る。

【0054】

ロボット処理システム２０は、仮想ロボット処理システム２１が引き受けなければソーシャルロボット１１が行うであろう該当する機能を仮想ロボット処理システム２１に引き受けさせるように構成される。例えば、ロボット処理システム２０は、仮想ロボット処理システム２１に対して特定のプレゼンテーション機能を実施させるコマンドを、仮想ロボット処理システム２１に伝えるように構成することができる。

【0055】

一実施形態に従い、仮想ロボット処理システム２１は、関連プレゼンテーション機能を判定し、かつこれに応じて該当するプレゼンテーションを作成するために、受信コマンドを処理する。例えば、このコマンドは、特定の方向（例えば、左又は右）を見ているアバター２２に対応してよい。この例では、仮想ロボット処理システム２１は、対応する方向を見ているアバター２２のバーチャルレプレゼンテーションの外見を作成するために、事前に定義されたプログラミングで構成される。従って、本実施形態に従い、ロボット処理システム２０は、仮想ロボット処理システム２１の出力を直接制御するようには構成されない。その代わり、どの機能が仮想ロボット処理システム２１によって実施されるかに関して制御される。当該機能を実施する実際のタスクは、仮想ロボット処理システム２１に任される。本実施例は、仮想ロボット処理システム２１とロボット処理システム２０との間では比較的低帯域幅の通信が必要とされるという利点を提供し得る。

【0056】

一実施形態に従い、仮想ロボット処理システム２１は、受信した機能の実施を完了したと、ロボット処理システム２０に伝えるように構成される。従って、ロボット処理システム２０は、アバター２２の動作に関係する仮想ロボット処理システム２１の現在の状態を自身のメモリ１２２に維持するように構成することができる。例えば、現在の状態は、仮想ロボット処理システム２１から受信した通信に基づいて判定することができる。

【0057】

一実施形態に従い、図１０を参照すると、アバター２２の複数のバーチャルレプレゼンテーション３３をシステム１０内で事前定義することができる。ここで説明する実施形態では、事前に定義されたバーチャルレプレゼンテーション３３を仮想ロボット処理システム２１のメモリ２２２に記憶することができる。しかしながら、一実施形態では、事前に定義されたバーチャルレプレゼンテーション３３を、（例えば）ロボット処理システム２０のメモリ１２２に記憶し、かつ必要に応じて仮想ロボット処理システム（単数又は複数）２１に伝えることができる。

【0058】

図１０に示される例では、ニュートラルレプレゼンテーション３３ａがある。特別な状況が該当する場合を除いて、この表現を用いてよく、従って、ニュートラルレプレゼンテーションはデフォルト表現と見なしてよい。追加表現３３ｂ～３３ｃが提供され、追加表現３３ｂ～３３ｃがニュートラルレプレゼンテーション３３ａと同じアバターに対応するとユーザが信じるように、これら追加表現３３ｂ～３３ｃが、ニュートラルレプレゼンテーション３３ａとの十分な類似性を有することが好ましいかもしれない。追加表現３３ｂ～３３ｃは、システム１０によって実施され得る特定の活動に対応する。例えば、基礎となるニュートラルレプレゼンテーション３３ａは、異なる衣服、異なるサイズ、色などの外見を通して修正することができる。

【0059】

従って、仮想ロボット処理システム２１は、最新の機能に基づいて選択されたバーチャルレプレゼンテーション３３を表示するように構成可能であり、例えば、どのバーチャルレプレゼンテーション３３が表示されるべきかを示すために、ロボット処理システム２０から仮想ロボット処理システム２１へと指示が伝えられてよい。一実施形態では、仮想ロボット処理システム２１が、バーチャルレプレゼンテーション３３からバーチャルレプレゼンテーション３３へと変更するように指示された場合、変更アニメーションを使用してよい。

【0060】

一実施形態に従い、アバター２２は、ソーシャルロボット１１に比べてより多い数の動きを表現するように設計されてよい。例えば、ソーシャルロボット１１は、その胴体４１に対するその頭部４０の回転運動に制限されてよい。しかしながら、アバターは、例えば胴体４１に対する頭部４０の並進運動などの追加の動きのために事前構成されてよい。アバターは、ディスプレイ３０に対して、例えば、左から右へ及び／又は上下に動くように構成されてよい。一般的に、多くの異なるアニメーションが可能であると理解されるべきである。アバター２２が、前記動作を通してそのビジュアルアイデンティティを維持すること、すなわち、アバター２２が常に同じ仮想オブジェクトであるとユーザが認識することが、好ましいかもしれない。アバター２２は、ソーシャルロボット１１を表しているが、動くための利用可能なより高い自由度を有していると、都合がよい。

【0061】

図１１を参照すると、一実施形態に従い、複数の仮想環境３４をシステム１０内に事前定義することができる。ここで説明する実施形態では、事前に定義された仮想環境３４を仮想ロボット処理システム（単数又は複数）２１のメモリ２２２に記憶することができる。しかしながら、一実施形態では、事前に定義された仮想環境３４を、（例えば）ロボット処理システム２０のメモリ１２２に記憶し、かつ必要に応じて仮想ロボット処理システム（単数又は複数）２１に伝えることができる。

【0062】

図１１に示される例では、デフォルト仮想環境３４ａがある。特別な状況に該当する場合を除いて、このデフォルト仮想環境３４ａを用いてよい。一実施形態では、デフォルト仮想環境３４ａは特定の仮想ロボット処理システム２１に依存する。例えば、各仮想ロボット処理システム２１は、物理的位置に関連付けることができ、そしてデフォルト仮想環境３４ａは、物理的位置の特徴と一致するように設計される。例えば、ラウンジである物理的位置は、仮想ソファや仮想テレビなどのラウンジの一般的特徴を含むデフォルト仮想環境３４ａを有してよい。アバター２２がユーザと同じ一般環境の中にいるとユーザには見えるかもしれないため、特定の物理的位置に依存するデフォルト仮想環境３４ａは、アバター２２とのより高いエンゲージメントを有利に提供し得るのが、好都合である。もう一つの可能な利点は、ユーザが物理的位置と物理的位置との間で動く場合、特定のインタラクションポイント２３が変化するにつれて、アバター２２の一般環境も変化するように見えるということである。

【0063】

オフィス環境３４ｂなどの追加仮想環境３４を提供してよい。この追加仮想環境３４は、システム１０によって実施され得る特定の活動に対応する。例えば、これらは、学校、幼稚園、オフィス、家、レセプションなどの概念を表し得る。これらは、ロボット処理システム２０がユーザとの特定の活動を引き受けることに決めた場合（従来技術におけるソーシャルロボット１１との関係で説明した通りに）に、これがきっかけとなって、アバター２２がこれらの場所のうちの１つに移動したと、ユーザが信じることを可能にする。例えば、システム１０がユーザに幼稚園の活動を提示する、幼稚園アプリケーションが開始されるものであってよい。この場合、幼稚園仮想環境３４を反映するために、アクティブなディスプレイ３０上に表示される仮想環境３４を変更することができる。

【0064】

従って、仮想ロボット処理システム２１は、最新の機能に基づき選択された仮想環境３４を表示するように構成可能であり、例えば、どの仮想環境３４が表示されるべきかを示すために、ロボット処理システム２０から仮想ロボット処理システム２１へと指示が伝えられてよい。一実施形態では、仮想ロボット処理システム２１が仮想環境３４と仮想環境３４の間で変化するように指示された場合、変更アニメーションを用いてよい。例えば、幼稚園の仮想環境３４は、遊び場、玩具（単数又は複数）、テーブル（単数又は複数）、椅子（単数又は複数）などを含んでよい。そして、アバター２２は、この仮想環境３４内で、もしかしたらアプリケーションにも従って選択されたバーチャルレプレゼンテーション３３で提示されることになる（例えば、アバター２２は、例えば園指定のリュックなど幼稚園用の恰好をしてよい）。

【0065】

図１０及び図１１によって表される実施形態の例は、以下を含む。
・アバター２２に対して、歌を歌い、物語を語り、又はその他の態様でユーザと言語でのコミュニケーションを行う（可聴動作を行う）ように要求する。仮想ロボットシステム１２は、歌／物語／言語コミュニケーションに対応する特別に選択された背景を表示することができ、かつアバターの外見を変更してよい。例えば、クリスマスの物語又は歌は、アバター２２の祝祭的な外見とクリスマスツリーを含む背景を伴ってよい。
・アバター２２に対して、ダンス又はその他の動きを行うように、より一般的には、視覚動作を行うように要求する。仮想ロボットシステム１２は、視覚動作（例えばダンス）に対応する特別に選択された背景を表示することができ、かつアバターの外見を変更してよい。例えば、アバター２２は、ユーザの好みのチームカラーの服を着て、特定のスポーツに合致した背景にして、スポーツゲームを引き受けてよい。

【0066】

図１２を参照すると、一実施形態に従い、システム１０は、ロボット処理システム２０及び／又は仮想ロボット処理システム２１とデータ通信を行う１つ以上のインタラクション装置１４を備える。図１３を参照すると、一実施形態に従い、少なくとも１つのインタラクション装置１４が仮想オブジェクト３４と関連付けられる。仮想ロボット処理システム２１又はロボット処理システム２０は、インタラクション装置１４と特定の仮想オブジェクト３４との間のリンクを作成してよい。仮想オブジェクト３４は仮想的に当該インタラクション装置１４を表すかもしれない。例えば、インタラクション装置１４がタブレットである場合、仮想オブジェクト３４は、アクティブなディスプレイ３０上で表示されたとき、タブレットとして表示されるように構成される。よって、ユーザが物理的インタラクション装置１４と画面上の表現との間の関係を容易に理解することが好都合である。このリンクは動的に作成されよく、例えば、インタラクション装置１４のシステム１０への接続に応えて、又は前記インタラクション装置１４を利用し得る特定のアプリケーションの実行に応えて作成されてよい。

【0067】

図１３の実施形態に従い、システム１０への多数のアクセスポイントの使用が提供され、これは特定の活動を引き受ける場合に有用となり得る。例えば、アバター２２は、システム１０とインタラクションするためにユーザがインタラクション装置１４を利用するように案内してよい。

【0068】

仮想環境３３、仮想オブジェクト３４、及び／又はアバター２２の外見は、アプリケーションのコンテキストに応じて動的に決められてよい。例えば、ユーザが、「マクドナルドは牧場を持っている」という物語を読むようにと依頼した場合、物語の内容を分析してよい。そして、仮想環境３４としての仮想の農場場面が、３次元の動物（すなわち、仮想オブジェクト３４）、そのアニメーションと共にレンダリングされ、音響効果がストーリーテリングプロセスと共に作成されかつ同期される。

【0069】

一実施形態に従い、図１４を参照すると、ソーシャルロボット１１は１つ以上の仮想ロボットシステム１２と通信する。本実施形態に従い、複数のソーシャルロボット１１及び１つ以上の仮想ロボットシステム１２は同時にアクティブ状態となり得る。図１４に示される通り、各仮想ロボットシステム１２は、例えば患者又は介護施設の居住者などのユーザと関連付けることができる。典型的に、少なくとも２人のユーザは異なるものであり、各ユーザは異なることが好ましいかもしれない。

【0070】

ソーシャルロボット１１は、制御ユーザと関連付けられ、かつ上述のアクティブモードとは異なる制御モードで構成することができるが、制御モードは、アクティブモードのソーシャルロボット１１のいくつか又はすべての機能性を含んでよい。ロボット処理システム２０は、制御モードにおいて、制御ユーザによって発せられた指示に応えて特定の仮想ロボット処理システム２１へのコマンドを指示するように構成される。当該コマンドは、受け取った仮想ロボット処理システム２１に行動を起こさせるように構成されており、その結果、応答がロボット処理システム２０に伝えられてよい。このようにして、制御ユーザは、制御ユーザから遠隔にあり得る特定の仮想ロボットシステム１２にて行動を起こすことが可能となる。

【0071】

ソーシャルロボット１１は、１つ以上の音声コマンドで事前構成することができる。ソーシャルロボット１１はさらに、関連付けられた音声コマンドを特定するために、感知された有声コマンドを解釈するように構成される。さらに、音声コマンドは、制御ユーザが話した仮想ロボットシステム１２の識別子と関連付けることができる。

【0072】

図１４は、病院での例をより具体的に示しており、ここでナースステーション９０にソーシャルロボット１１が設けられ、かつ複数の（図では３つの）病室９１のそれぞれには仮想ロボットシステム１２ａ～１２ｃが設けられる。看護師は、ソーシャルロボット９１にコマンドを発することによって、言語でソーシャルロボット１１とインタラクションする。例えば、「Ｊｏｈｎ」が、特定の仮想ロボットシステム１２に関連付けられたユーザである場合に、「ｓｅｎｄ ｍｅ ｖｉｔａｌ ｓｉｇｎｓ ｏｆ Ｊｏｈｎ」という有声コマンドを発してよい。そして、ソーシャルロボット１１は、バイタルサインに対応する値（単数又は複数）を返すように要求するコマンドを特定の仮想ロボットシステム１２に対して発する。この場合、仮想ロボットシステム１２は、バイタルサイン情報を測定しかつ提供するように構成された１つ以上の医療装置とインタフェースされる。前記バイタルサイン情報を取得した後、対応する値はソーシャルロボット１１に伝えられる。その後、ソーシャルロボット１１はこれらの値を、例えばスピーカー出力を用いて報告する。

【0073】

ソーシャルロボット１１並びに複数の仮想ロボットシステム１２のために提供することの利点は、ソーシャルロボット１１が、仮想ロボットシステム１２のアバター２２の物理的表現を提供するということかもしれない。（この例における）患者は、この場合ではナースステーション９０に物理的ソーシャルロボット１１があるということを知っているかもしれない。従って、患者は、アバター２２をナースステーション９０及びナースステーション９０を占有している看護師たちに関連付けるかもしれない。従って、認識された関連付けを通して、患者は、アバター２２を単なる仮想アニメーションというよりもむしろ「実際の」存在として扱う傾向がより強くなり得ることが有利である。

【0074】

別の実施例では、高齢者ケア居住施設内に１つ以上のソーシャルロボット１１及び複数の仮想ロボットシステム１２が提供される。ソーシャルロボット（単数又は複数）１１を、ラウンジ又は食事エリアなどの共用エリア内に、又は介護者の机に置くことができる。各仮想ロボットシステム１２は、異なる居住者の部屋に置くことができる。上記例と同様に、居住者たちは、仮想アバター２２を物理的ソーシャルロボット１１に関連付けることを学習することができる。仮想ロボットシステム１２が、特定の関連付けられた居住者たちのために、例えばモニタリング、治療及び社会的繋がりのサービスなどの、より個人向けの機能を提供している一方で、ソーシャルロボット１１は、共用エリアでグループベースの活動（例えばビンゴゲーム）を引き受けるように構成することができる。

【0075】

より一般的には、本明細書で記載されている１つ以上の実施形態の効果は、ユーザが、物理的ソーシャルロボット１１と情緒的結び付きを形成するように促され、かつ当該情緒的結び付きを形成する可能性が高いことである。しかしながら、その後この結び付きは仮想アバターに移転され、仮想アバターは、ソーシャルロボット１１と同じ「パーソナリティー」を具現化するように構成され、よって、同じ実体に対応するように見える。利点は、本実施形態が、例えば、引例［６］で検討されているように、ユーザたちにとってソーシャルロボット１１などの物理的オブジェクトに比べて仮想アバターと結び付きを形成することがより難しい技術において知られている問題に対処するということかもしれない。

【0076】

本明細書の精神及び範囲から逸脱することなく、さらなる修正を行うことができる。
引例リスト
［１］Ｋｈｏｓｌａ， Ｒａｊｉｖ， Ｋｈａｎｈ Ｎｇｕｙｅｎ， Ｍｅｉ－Ｔａｉ Ｃｈｕ， ａｎｄ Ｙｕ－Ａｎｇ Ｔａｎ． “Ｒｏｂｏｔ Ｅｎａｂｌｅｄ Ｓｅｒｖｉｃｅ Ｐｅｒｓｏｎａｌｉｓａｔｉｏｎ Ｂａｓｅｄ Ｏｎ Ｅｍｏｔｉｏｎ Ｆｅｅｄｂａｃｋ．” Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｄｖａｎｃｅｓ ｉｎ Ｍｏｂｉｌｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｍｕｌｔｉ Ｍｅｄｉａ， ｐｐ． １１５－１１９． ２０１６．
［２］Ｋｈｏｓｌａ， Ｒａｊｉｖ， Ｋｈａｎｈ Ｎｇｕｙｅｎ， ａｎｄ Ｍｅｉ－Ｔａｉ Ｃｈｕ． “Ｓｏｃｉａｌｌｙ ａｓｓｉｓｔｉｖｅ ｒｏｂｏｔ ｅｎａｂｌｅｄ ｐｅｒｓｏｎａｌｉｓｅｄ ｃａｒｅ ｆｏｒ ｐｅｏｐｌｅ ｗｉｔｈ ｄｅｍｅｎｔｉａ ｉｎ Ａｕｓｔｒａｌｉａｎ ｐｒｉｖａｔｅ ｈｏｍｅｓ．” （２０１６）．
［３］Ｋｈｏｓｌａ， Ｒａｊｉｖ， Ｍｅｉ－Ｔａｉ Ｃｈｕ， Ｓｅｙｅｄ Ｍｏｈａｍｍａｄ Ｓａｄｅｇｈ Ｋｈａｋｓａｒ， Ｋｈａｎｈ Ｎｇｕｙｅｎ， ａｎｄ Ｔｏｙｏａｋｉ Ｎｉｓｈｉｄａ． “Ｅｎｇａｇｅｍｅｎｔ ａｎｄ ｅｘｐｅｒｉｅｎｃｅ ｏｆ ｏｌｄｅｒ ｐｅｏｐｌｅ ｗｉｔｈ ｓｏｃｉａｌｌｙ ａｓｓｉｓｔｉｖｅ ｒｏｂｏｔｓ ｉｎ ｈｏｍｅ ｃａｒｅ．” Ａｓｓｉｓｔｉｖｅ Ｔｅｃｈｎｏｌｏｇｙ （２０１９）： １－ １５．
［４］Ｋｈｏｓｌａ， Ｒａｊｉｖ， Ｋｈａｎｈ Ｎｇｕｙｅｎ， ａｎｄ Ｍｅｉ－Ｔａｉ Ｃｈｕ． “Ｓｅｒｖｉｃｅ ｐｅｒｓｏｎａｌｉｓａｔｉｏｎ ｏｆ ａｓｓｉｓｔｉｖｅ ｒｏｂｏｔ ｆｏｒ ａｕｔｉｓｍ ｃａｒｅ．“ Ｉｎ ＩＥＣＯＮ ２０１５－４１ｓｔ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｄｕｓｔｒｉａｌ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｏｃｉｅｔｙ， ｐｐ． ００２０８８－００２０９３． ＩＥＥＥ， ２０１５．
［５］Ｋｈｏｓｌａ， Ｒａｊｉｖ， Ｋｈａｎｈ Ｎｇｕｙｅｎ， ａｎｄ Ｍｅｉ－Ｔａｉ Ｃｈｕ． “Ａｓｓｉｓｔｉｖｅ ｒｏｂｏｔ ｅｎａｂｌｅｄ ｓｅｒｖｉｃｅ ａｒｃｈｉｔｅｃｔｕｒｅ ｔｏ ｓｕｐｐｏｒｔ ｈｏｍｅ－ｂａｓｅｄ ｄｅｍｅｎｔｉａ ｃａｒｅ．” Ｉｎ ２０１４ ＩＥＥＥ ７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｅｒｖｉｃｅ－Ｏｒｉｅｎｔｅｄ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， ｐｐ． ７３－８０． ＩＥＥＥ， ２０１４．
［６］Ｐａｎ， Ｙｅ， ａｎｄ Ａｎｔｈｏｎｙ Ｓｔｅｅｄ． “Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ａｖａｔａｒ－， ｖｉｄｅｏ－， ａｎｄ ｒｏｂｏｔ－ ｍｅｄｉａｔｅｄ ｉｎｔｅｒａｃｔｉｏｎ ｏｎ ｕｓｅｒｓ’ ｔｒｕｓｔ ｉｎ ｅｘｐｅｒｔｉｓｅ．” Ｆｒｏｎｔｉｅｒｓ ｉｎ Ｒｏｂｏｔｉｃｓ ａｎｄ ＡＩ ３ （２０１６）： １２．
［７］ｈｔｔｐｓ：／／ｗｗｗ．ｈｃ－ｉｎｖ．ｃｏｍ／ａｂｏｕｔ－ｍａｔｌｄａにおけるＭＡＴＬＤＡ（出願人）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【国際調査報告】