特開 2022-74094 生物の挙動状態を継続的に共有するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022074094

(43)【公開日】2022-05-17

(54)【発明の名称】生物の挙動状態を継続的に共有するためのシステムおよび方法

(51)【国際特許分類】

   B25J 13/08 20060101AFI20220510BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021176426

(22)【出願日】2021-10-28

(31)【優先権主張番号】17/084,646

(32)【優先日】2020-10-30

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】503113186

【氏名又は名称】ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー

【氏名又は名称原語表記】Ｈｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ

(71)【出願人】

【識別番号】521464868

【氏名又は名称】スプラウテル インコーポレイテッド

【氏名又は名称原語表記】Ｓｐｒｏｕｔｅｌ Ｉｎｃ．

【住所又は居所原語表記】６０ Ｖａｌｌｅｙ Ｓｔ ＳＴＥ １０５， Ｐｒｏｖｉｄｅｎｃｅ， ＲＩ ０２９０９， ＵＳＡ

(74)【代理人】

【識別番号】110001081

【氏名又は名称】特許業務法人クシブチ国際特許事務所

(72)【発明者】

【氏名】ヴァイスヴァンゲ，トーマス

(72)【発明者】

【氏名】シュムドリッヒ，イェンス

(72)【発明者】

【氏名】ホロヴィッツ，アーロン

(72)【発明者】

【氏名】シュワルツ，ジョエル

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS34

3C707CS08

3C707JS03

3C707KS10

3C707KT01

3C707KT06

3C707LW12

3C707WA16

3C707WL05

3C707WL14

(57)【要約】

【課題】生物の挙動状態を継続的に共有するためのシステムを提供すること。
【解決手段】システムは、種々の挙動を実行するように構成されたロボット（１２）と、生物を自動的に感知する少なくとも１つの感知手段（５）、（６）、（８）、（９）と、少なくとも１つの感知手段（５）、（６）、（８）、（９）から導出された情報に基づいて生物の状態を継続的に判定する判定手段と、種々の挙動から、判定された状態に割り当てられる挙動を選択する選択手段と、を備え、ロボット（１２）は、選択された挙動を実行するように構成される。
【選択図】図１

【特許請求の範囲】

【請求項1】

生物の挙動状態を継続的に共有するためのシステムであって、
種々の挙動を実行するように構成されたロボット（１２）と、
前記生物を感知する少なくとも１つの感知手段（５）、（６）、（８）、（９）と、
前記少なくとも１つの感知手段（５）、（６）、（８）、（９）から導出された情報に基づいて前記生物の状態を判定する判定手段（１７）と、
前記種々の挙動から、前記判定された状態に割り当てられる挙動を選択する選択手段（１９）と、を備え、
前記ロボット（１２）は、前記選択された挙動を実行するように構成される、システム。

【請求項2】

前記生物が人またはペットである、請求項１に記載のシステム。

【請求項3】

前記選択された挙動を実行するために、前記ロボット（１２）が、前記ロボット（１２）の環境内の所定の位置に移動する、所定の経路上を移動する、所定の速度プロファイルで移動する、所定の姿勢を取る、所定の音声を出力する、ならびに／または、所定の色のおよび／もしくは所定の強度の光を出力するように構成される、請求項１に記載のシステム。

【請求項4】

前記種々の挙動を実行するために、前記ロボット（１２）が、前記ロボット（１２）の前記環境内の種々の位置に移動する、種々の経路上を移動する、種々の速度プロファイルで移動する、種々の姿勢を取る、種々の音声を出力する、ならびに／または、種々の色のおよび／もしくは種々の強度の光を出力するように構成される、請求項３に記載のシステム。

【請求項5】

前記生物の環境のミニチュアモデル、をさらに備え、
前記ロボット（１２）が、前記ミニチュアモデル内を移動するように構成される、請求項１に記載のシステム。

【請求項6】

前記生物と前記ロボット（１２）とが、それぞれ異なる場所に位置し、前記システムが、送信手段（１６）であって、データネットワーク（１５）を介して、前記少なくとも１つの感知手段（５）、（６）、（８）、（９）から導出された前記情報を前記判定手段（１７）に、前記判定された状態を前記選択手段（１９）に、または前記選択された挙動を前記ロボットに、送信する送信手段（１６）をさらに備える、請求項１に記載のシステム。

【請求項7】

前記判定手段（１７）が、前記生物の所定の感情状態、前記生物の所定の生理学的状態、前記生物によって行われた所定の行動、および／または前記生物の所定の緊急状態を判定するように構成される、請求項１に記載のシステム。

【請求項8】

前記判定手段（１７）が、前記生物（１）の状態を、種々の感情状態、種々の生理学的状態、種々の行動および／または種々の緊急状態に分類するように構成される、請求項７に記載のシステム。

【請求項9】

共有が許容されない前記生物の状態、および／または前記生物の状態の共有が許容されない時間をユーザにより設定するための設定手段（１８）をさらに備える、請求項７に記載のシステム。

【請求項10】

前記感知手段（５）、（６）、（８）、（９）の少なくとも１つが、前記生物によって制御可能なデバイスの動作状態を検出するように構成される、請求項１に記載のシステム。

【請求項11】

前記感知手段（５）、（６）、（８）、（９）の少なくとも１つが、カメラ（５）、マイクロフォン（８）、生理学的センサ、近接センサ、動きセンサ、圧力センサ（６）、または自身の場所を判定するように構成された携帯型デバイス（９）である、請求項１に記載のシステム。

【請求項12】

前記感知手段（５）、（６）、（８）、（９）の少なくとも１つを備えたセンサロボット（１２）をさらに備える、請求項１に記載のシステム。

【請求項13】

前記判定手段（１７）が、前記生物が前記センサロボット（１２）と対話する対話状態を判定するように構成され、
前記選択手段（１９）は、前記対話状態が前記判定手段（１７）によって判定されたときに、前記ロボット（１２）が前記ロボット（１２）の環境内の所定の物体のところまで移動する、および／または前記物体の周りを回る、対話挙動を選択するように構成される、請求項１２に記載のシステム。

【請求項14】

前記ロボット（１２）が、前記所定の物体を示す信号を生成する少なくとも１つの環境センサを備え、
前記ロボット（１２）が、前記少なくとも１つの環境センサから導出された前記信号に基づいて、前記所定の物体のところまで移動する、および／または前記物体の周りを回るように構成される、請求項１３に記載のシステム。

【請求項15】

種々の挙動を実行するように構成されたロボットを使用して生物の挙動状態を継続的に共有するための方法であって、
少なくとも１つの感知手段（５）、（６）、（８）、（９）によって前記生物を自動的に感知するステップと、
前記少なくとも１つの感知手段（５）、（６）、（８）、（９）から導出された情報に基づいて前記生物の状態を継続的に判定するステップと、
前記種々の挙動から、前記判定された状態に割り当てられる挙動を選択するステップと、
前記ロボット（１２）が前記選択された挙動を実行するステップと、を含む方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人の行動およびその他の状態を検出し、それを遠隔の人に報告するための技術に関する。しかし、本開示は、人に限定されず、動物のような他の生物にも適用することができる。

【背景技術】

【0002】

高齢者介護では、一人で暮らす人の好ましくない状態を検出し、それを介護者に報告する、またはその人が緊急サービスに知らせることを可能にするシステムが存在する。例えば、人の転倒を検出し、それを介護者に報告するデバイスが米国特許出願第２００９０４８５４０（Ａ１）号に記載される。

【0003】

米国特許出願公開第２００９０３２２５１３（Ａ１）号は、生理学的な健康状態パラメータを測定し、緊急事例を、場所と共に介護者に報告する方法を記載する。

【0004】

しかし、そのような監視システムでは、少数の定義された状態が検出され、単独の事象としてリアルタイムで報告される。

【0005】

さらに、能動的な通信のために、および／または明示的な対話を通じて遠隔の場所に存在する感覚を提供するために設計されたテレプレゼンス（ｔｅｌｅｐｒｅｓｅｎｃｅ）システムが知られている。米国特許第９５５２０５６（Ｂ１）号は、遠隔の操作者のジェスチャを反映してそれを受信者に伝達するテレプレゼンスロボットデバイスを開示する。

【0006】

しかし、テレプレゼンスシステムは、規則的な行動を、特に継続的な形で遠隔の人に伝達するためには設計されていない。

【0007】

Ｋｗａｎｇｍｉｎ Ｊｅｏｎｇ他の「Ｆｒｉｂｏ： Ａ Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｒｏｂｏｔ ｆｏｒ Ｉｎｃｒｅａｓｉｎｇ Ｓｏｃｉａｌ Ｃｏｎｎｅｃｔｅｄｎｅｓｓ ｔｈｒｏｕｇｈ Ｓｈａｒｉｎｇ Ｄａｉｌｙ Ｈｏｍｅ Ａｃｔｉｖｉｔｉｅｓ ｆｒｏｍ Ｌｉｖｉｎｇ Ｎｏｉｓｅ Ｄａｔａ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１８ ＡＣＭ／ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ－Ｒｏｂｏｔ Ｉｎｔｅｒａｃｔｉｏｎ（２０１８）は、居住者の生活音を分析することによりユーザの行動を認識し、その行動情報を各自のロボットを通じて親しい友人と共有するソーシャルロボットを開示する。特に、この文献は、住宅またはアパート内に位置し生活音のセンサデータ（行動データ）を生成するセンサと、センサデータをリアルタイムで受信し、センサデータを高水準の情報に変換し、その情報を、高水準の情報をスピーカおよびディスプレイを使用して第２のユーザに出力する同じ種類の別のロボットに送信するソーシャルロボットと、を備えるシステムを開示する。

【0008】

しかし、高水準の情報は、音声情報または表示情報としてのみ出力されるため、ソーシャルロボットは、少しの感覚しか刺激せず、デバイスへの明示的な注意を必要とし、特定の時間にしか事象を伝達することができず、したがって、人が継続的に存在しているという印象をほとんど与えない。

【発明の概要】

【発明が解決しようとする課題】

【0009】

よって、本開示の目的は、生物の状態を継続的に共有するためのシステムおよび方法の性能を改良することである。

【課題を解決するための手段】

【0010】

本開示は、生物の挙動状態を継続的に共有するためのシステムおよび方法を提供する。

【0011】

生物の挙動状態を継続的に共有するための本開示に係るシステムは、種々の挙動を継続的に実行するように構成されたロボットと、生物を自動的に感知する少なくとも１つの感知手段と、少なくとも１つの感知手段から導出された情報に基づいて生物の状態を判定する判定手段と、種々の挙動から、判定された状態に割り当てられる挙動を選択する選択手段と、を備え、ロボットは、選択された挙動を実行するように構成される。継続的に状態を伝達するために、生物の新しい（次の）状態が判定手段によって判定されるまで、同じ挙動を繰り返すことができる。生物の状態の判定は、継続的に行われる。

【0012】

生物の挙動状態を継続的に共有するための本開示に係る方法は、種々の挙動を実行するように構成されたロボットを使用し、以下のステップを含む。

【0013】

－ 少なくとも１つの感知手段によって生物を自動的に感知するステップ；

【0014】

－ 少なくとも１つの感知手段から導出された情報に基づいて生物の状態を継続的に判定するステップ；

【0015】

－ 種々の挙動から、判定された状態に割り当てられる挙動を選択するステップ；および

【0016】

－ ロボットが選択された挙動を実行するステップ。

【0017】

本開示について、以下で特に添付図面を参照しながら詳細に説明する。

【図面の簡単な説明】

【0018】

【図1】本開示の例示的実施形態に係るシステムを示す図である。

【図2】図１に示されるシステムの第１の部分のブロック図である。

【図3】図１に示されるシステムの第２の部分のブロック図である。

【図4】本開示に係る、自律的にまたは部分的に自律的に駆動を実行するための方法を説明する簡略フローチャートである。

【発明を実施するための形態】

【0019】

生物の挙動状態を継続的に共有するための本開示に係るシステムは、種々の挙動を継続的に実行するように構成されたロボットと、生物を自動的に感知する少なくとも１つの感知手段と、少なくとも１つの感知手段から導出された情報に基づいて生物の状態を判定する判定手段と、種々の挙動から、判定された状態に割り当てられる挙動を選択する選択手段と、を備え、ロボットは、選択された挙動を実行するように構成される。継続的に状態を伝達するために、生物の新しい（次の）状態が判定手段によって判定されるまで、同じ挙動を繰り返すことができる。生物の状態の判定は、継続的に行われる。

【0020】

本開示によれば、ロボットが、自身の挙動を通じて遠隔の生物の抽象化された状態をリアルタイムで伝達し、それを通じて、その生物の受動的で継続的なテレプレゼンスを可能にし、行動および体験の共有の機会を明らかにする。「リアルタイム」という表現は、信号の処理および送信によって生じる遅延も包含することが留意されるべきである。ロボットが自身の挙動を通じて伝達するため、ロボットは、多くの感覚を刺激し、明示的な注意を必要とせず、生物の継続的な物理的存在の良好な印象を与える。現行技術に対する改良点は、本開示に係るシステムが継続的な状態の伝達を可能にすることであり、これは、メッセージの事象性を超えるものである（すなわち、特定の時点にのみ伝達するシステムに対して、本開示に係るロボットはどの時にも何かを伝達する）。この結果、その特定の瞬間にロボットに注意を向ける（「アクティブ」である）必要がなく、伝達は、ロボットへの注意がいずれか他の時に生じている場合でも効果を有することになる。いずれの場合も、遠隔の生物の挙動を観察して伝達することが、本物のコンパニオンという印象を向上させる。

【0021】

生物は人またはペットであり得、ロボットは、別の人またはペットとコミュニケーションし、例えば、ペットの状態が、ペットを飼うことを許されない人と共有される。

【0022】

選択された挙動を実行するために、ロボットは、ロボットの環境内の所定の位置に移動する、所定の経路に沿って移動する、所定の速度プロファイルで移動する、所定の姿勢を取る、所定の音声を出力する、ならびに／または、所定の色のおよび／もしくは所定の強度の光を出力するように構成され得る。

【0023】

また、種々の挙動を実行するために、ロボットは、ロボットの環境内の種々の位置に移動する、種々の経路上を移動する、種々の速度プロファイルで移動する、種々の姿勢を取る、種々の音声を出力する、ならびに／または、種々の色のおよび／もしくは種々の強度の光を出力するように構成され得る。

【0024】

ロボットは、ユーザの環境内、例えばユーザのアパートの床で、またはアパートもしくは動物の檻のミニチュアモデルの中で動作することができる。例えば、システムは、生物の環境のミニチュアモデルを備えることができ、ロボットは、そのミニチュアモデル内を移動するように構成される（例えば、モデル内に設置された外部センサを少なくとも部分的に使用する小型ロボット）。

【0025】

システムは、テレプレゼンスの形態で動作することができ、ロボットは、一人のユーザまたはユーザ群の家にあり（「ホスト」ユーザ／場所）、対して、対応するセンサシステムは、別のユーザの空間に位置する（「遠隔」ユーザ／場所）。生物とロボットとは、それぞれ異なる場所に位置し、システムは、送信手段であって、データネットワークを介して、「遠隔」ユーザ／場所に位置する少なくとも１つの感知手段から導出された情報を「ホスト」ユーザ／場所に位置する判定手段に、「遠隔」ユーザ／場所に位置する判定手段からの判定された状態を「ホスト」ユーザ／場所に位置する選択手段に、または、「遠隔」ユーザ／場所に位置する選択手段からの選択された挙動を「ホスト」ユーザ／場所に位置するロボットに、送信する送信手段を備えることができる。

【0026】

検出手段は、事前に定められた数の状態クラス同士を分類するために画像処理方法（例えば、特定の状態を実際に行っている人のラベル付けされた映像を用いて訓練された機械学習法）を使用することができ、または、センサもしくは特定のデバイスからの信号を直接使用することができ、例えば、テレビがその電源状態を通信する、冷蔵庫がドアが開いているかどうかを通信することを、それらの信号を、事前に定義された状態、すなわち「テレビを見ている」や「食べている」にどのように対応付けるかについての事前に定義された規則のセットと併せて、直接使用することができる。

【0027】

判定手段によって判定される状態は以下である。

【0028】

－ 嬉しい、興奮している、退屈している、くつろいでいる、心を奪われている、ストレスを感じている、のような感情状態；

【0029】

－ 寝ている、起きている、疲労している、活動的である、冷たい／熱い、のような生理学的状態；

【0030】

－ 料理をしている、テレビを見ている、電話をしている、読書をしている、編み物をしている、のような行われた行動；

【0031】

－ 家にいない、電話をすることが可能な状態である、何もしていない、のような他の特定事例；および／または

【0032】

－ 転倒、不整脈／発作、病気のような緊急状態。

【0033】

このために、判定手段は、生物の所定の感情状態、生物の所定の生理学的状態、生物によって行われた所定の行動、および／または生物の所定の緊急状態を判定するように構成され得る。

【0034】

また、判定手段は、生物の状態を、種々の感情状態、種々の生理学的状態、種々の行動および／または種々の緊急状態に分類するように構成され得る。

【0035】

プライバシーの保護を確実にするために、システムは、共有が許容されない生物の状態、および／または生物の状態の共有が許容されない時間を、「遠隔」または「ホスト」ユーザにより設定するための設定手段を備えることができる。このようにして、遠隔ユーザまたはシステムを設定する任意の操作者が、プライバシー設定で、どの状態を共有しても構わないかを指定することができ、および／または、ユーザはいくらかの時間にわたって共有を能動的に有効／無効にすることができる。

【0036】

生物を感知するために、固定センサ、モバイルセンサ（例えばスマートウォッチやスマートフォン内のセンサ）、または作動されているデバイス（例えばスマート住宅システムの機器）を示す信号が使用され得る。別の例示的実施形態では、感知手段の少なくとも１つが、生物によって制御可能なデバイスの動作状態を検出するように構成される。

【0037】

以下のセンサタイプが使用され得る。

【0038】

－ ３Ｄカメラ、能動（「パン・チルト・ズーム」）カメラ、ＩＲカメラのようなカメラ；

【0039】

－ マイクロフォン

【0040】

－ 皮膚導電センサ、ＥＭＧ、ＥＥＧ、電極、光学心拍センサ、温度センサのような生理学的センサ；

【0041】

－ 磁気スイッチセンサ、近接センサ（例えば超音波）、動きセンサ（例えば光学式）、圧力センサ（例えば圧電）；および／または

【0042】

－ 画面上選択などのための仮想センサ。

【0043】

別の例示的実施形態では、感知手段の少なくとも１つが、カメラ、マイクロフォン、生理学的センサ、近接センサ、動きセンサ、圧力センサ、または自身の場所を判定するように構成された携帯型デバイスである。

【0044】

代替的にまたは追加として、システムは、上記感知手段の少なくとも１つを備えた少なくとも１つのセンサロボットを備える。センサロボットは、生物の環境内を移動する、および／または感知手段の少なくとも１つを生物へと誘導するように構成され得る。

【0045】

また、判定手段は、生物が遠隔の場所でセンサロボットと対話する対話状態を判定するように構成され得、選択手段は、対話状態が判定手段によって判定されたときに、例えば、ロボットがロボットの環境内の所定の物体のところまで移動する、および／または物体の周りを回る、および／または物体と対話する、対話挙動を選択するように構成される。この対話挙動は、次いでホスト場所にあるロボット内でもトリガされて、反映された印象を生じさせ、遠隔の場所での対話状態を伝達することができる。

【0046】

ロボットの動きは、ロボットの１つまたは複数の外部センサおよび／または内部センサに基づいて制御され得る。別の例示的実施形態では、ロボットは、所定の物体を示す信号を生成する少なくとも１つの環境センサ（例えば近接センサ、カメラ）を備え、ロボットは、この少なくとも１つの環境センサから導出された信号に基づいて、所定の物体のところまで移動する、および／または物体の周りを回る、および／または物体と対話するように構成される。

【0047】

生物の挙動状態を継続的に共有するための本開示に係る方法は、種々の挙動を実行するように構成されたロボットを使用し、以下のステップを含む。

【0048】

－ 少なくとも１つの感知手段によって生物を自動的に感知するステップ；

【0049】

－ 少なくとも１つの感知手段から導出された情報に基づいて生物の状態を継続的に判定するステップ；

【0050】

－ 種々の挙動から、判定された状態に割り当てられる挙動を選択するステップ；および

【0051】

－ ロボットが選択された挙動を実行するステップ。

【0052】

図１は、本開示の例示的実施形態に係るシステムを示し、このシステムは、第１のアパート２にいる第１の人１（「遠隔」ユーザ）の挙動状態を、第２のアパート２にいる第２の人３（「ホスト」ユーザ）と共有する。図１に示されるシステムは、第１のアパート２内に、居間の中のエリアを撮影するカメラ５、寝室のベッド７に設置された圧力センサ６、台所に設置されたマイクロフォン８、第１の人１の手首に着用されるスマートウォッチ９、およびコンピュータのような第１の処理装置１０を備える。第２のアパート２内に、システムは、データネットワーク（図示せず）を介して第１の処理装置１０に接続された第２の処理装置１１、例えば別のコンピュータと、第１の人１の抽象化された状態を、自身の挙動を通じて伝達するロボット１２と、を備える。

【0053】

マイクロフォン８は、料理する、食べる、歩行する、大きな笑い声、および話をするといった第１の人１の行動から発生する音を検出し、検出された音を、無線周波数通信またはケーブルを介して第１の処理装置１０に送信するように構成される。カメラ５は、居間にいる第１の人１から画像信号を生成し、その画像信号を、無線周波数通信またはケーブルを介して第１の処理装置１０に送信する。圧力センサ６は、第１の人１がベッド７にいるか否かを示す圧力信号を生成し、その圧力信号を、無線周波数通信またはケーブルを介して第１の処理装置１０に送信する。スマートウォッチ９は、周辺光センサ、３軸加速度計、心拍数モニタ、および測位システム（屋内および／またはＧＰＳ）のような複数のセンサを備え、それらのセンサによって生成されたデータを、無線周波数通信を介して第１の処理装置１０に送信するように構成される。

【0054】

図２は、第１の処理装置１０のブロック図を示し、第１の処理装置１０は、第１の送受信手段１４（例えばＢｌｕｅｔｏｏｔｈ（登録商標）またはＷＬＡＮ送信デバイス）によって、カメラ５、圧力センサ６、マイクロフォン８、スマートウォッチ９および操作デバイス１３に接続されると共に、第２の送受信手段１６（例えばインターネットルータ、住居ゲートウェイ）によってデータネットワーク１５に接続されている。第１の処理装置１０は、第１の送受信手段１４によって受信されたセンサデータに基づいて第１の人１の状態を判定する判定手段１７と、共有が許容されない第１の人１の状態、および／または判定手段によって判定された状態の共有が許容されない時間を設定するための設定手段１８と、を備える。

【0055】

判定手段１７は、カメラ５、圧力センサ６、マイクロフォン８およびスマートウォッチ９によって自動的に生成されるセンサデータに基づいて第１の人１の１つまたは複数の状態を継続的に判定し、判定手段１７は、このセンサデータ中で、所定の状態に割り当てられた特定の特性を検出する。

【0056】

詳細には、感情状態「嬉しい」は、画像処理および音声処理方法によって推定することができ、そこでは、カメラ５によって撮影された画像中で微笑んでいる顔が検出され、マイクロフォン８によって捕捉された音の中で笑い声が検出され、生理学的状態「寝ている」および「起きている」は、圧力センサ６の圧力信号およびスマートウォッチ９によって測定された心拍数に基づいて検出することができ、状態「テレビを見ている」、「電話をしている」、「読書をしている」および「編み物をしている」は、カメラ５によって撮影された画像に基づいて検出することができ、状態「料理をしている」および「食べている」は、マイクロフォン８によって捕捉された音に基づいて検出することができ、緊急状態「転倒」は、スマートウォッチ９の３軸加速度計の信号に基づいて検出することができ、状態「興奮している」、「心を奪われている」および「ストレスを感じている」は、音声認識によって推定することができる。音声認識自体は、従来技術から知られており、また特定の事象を検出するための画像処理および音声処理方法の使用も知られている。

【0057】

状態判定の精度は、特性のセットを検出することによって向上し得、例えば、スマートウォッチ９への接続ができず、圧力信号が「起きている」ことを示し、第１の人１がカメラ５によって捉えられず、第１の人１の音または音声がいくらかの時間にわたって検出されない場合に、状態「家にいない」が設定され得る。

【0058】

各状態（状態クラス）について、それぞれの状態（状態クラス）を実際に行っている人のラベル付けされた音および／または画像（映像）を用いて訓練された機械学習法によって、１つまたは複数の特性が決定され得る。判定手段１７または外部のデバイスが、その機械学習法を行うことができ、そこでは、状態とそれに対応する特性または学習データが、操作デバイス１３によって入力され、判定手段１７に記憶される。

【0059】

さらに、操作デバイス１３を用いて、ユーザ（例えば第１の人１）が、プライバシー設定で、どの状態を共有しても構わないかを指定することができ、および／または、ユーザはいくらかの時間にわたって共有を能動的に有効／無効にすることができる。この設定は設定手段１８に記憶され、設定手段１８は、プライバシー設定のためのグラフィカルユーザインターフェースを生成し、判定手段１７によって判定された状態から、共有が許容されない状態をフィルタリングする。共有が許容される状態は、第２の送受信手段１６から受信され、第２の送受信手段１６は、検出された状態を第２の処理装置１１に送信する。

【0060】

図３は、第２の処理装置１１およびロボット１２のブロック図を示す。第２の処理装置１１は、共有が許容される状態に基づいてロボット１２の挙動を選択する選択手段１９と、データネットワーク１５に接続されて、第１の処理装置１０から状態を受信し、選択された挙動をロボット１２に送信する送受信手段２０（例えばＷＬＡＮルータ）と、を備える。ロボット１２は、選択された挙動を受信する送受信手段２１（例えばＷＬＡＮアダプタ）、顔の象徴的表現を表示するように構成されたディスプレイ２２、音声を出力するスピーカ２３、ロボット１２の環境を感知するカメラ２４、電動の脚２５、電動の腕２６、電動のしっぽ２７、ならびに、選択された挙動を行うために、ディスプレイ２２、スピーカ２３、電動の脚２５、電動の腕２６および電動のしっぽ２７を制御する制御手段２８（例えばマイクロコントローラ）を備える。

【0061】

図２および図３に記載されるすべての手段は、それぞれの第１の処理装置１０、第２の処理装置１１のプロセッサでまたはロボット１２内で実行されるソフトウェアモジュールとして実現されてよい。

【0062】

ロボット１２の例示的挙動は以下であり得る。

【0063】

－ 例えば第２の人３、犬のかごなどの物体によって画定される、または例えば台所、入口のドアなどの部屋に関連する場所によって画定される、特定の位置に座る；

【0064】

－ 例えば、微笑む、あくびをする、目を閉じるなどの顔の表情；

【0065】

－ 例えば手を振るなどのジェスチャ、または横になる、伸びをするなどの身体姿勢；

【0066】

－ 歩き回る、飛び上がる、飛び降りる、向きを変える、踊るなどの一般的行動；

【0067】

－ 碗から食べる、壁を引っかく、ボールで遊ぶといった特定の行動；

【0068】

－ 色を変える、ディスプレイ２２をオン／オフする；および／または

【0069】

－ 笑う、荒い呼吸をする、いびきをかく、ごろごろ言うなどの音響表現。

【0070】

選択手段１９は、判定手段１７によって判定され得る各状態に対して、それぞれの状態の抽象化されたバージョンを表す挙動を記憶する。詳細には、第１の人１が起きており、家にいる場合は、ディスプレイ２２に表示される顔の目が開いている挙動が選択され、第１の人１がアパート２を離れた場合は、ロボットが特定の場所、例えば入口のドアの隣に移動してそこに留まる挙動が選択され、第１の人１が嬉しい状態にある場合は、ロボット１２が微笑み、および／またはしっぽを振る挙動が選択され、第１の人１が、何もしていないと解釈される行動と共に検出された場合は、ロボット１２が表示された顔の色を変化させる挙動が選択される。

【0071】

第１の人１の状態を判定するステップ、判定された状態に割り当てられる挙動を選択するステップ、およびその状態を選択された挙動によって第２の人３に伝達するステップは、自動的かつ継続的に行われ、操作ステップを行う必要はない。

【0072】

特定の実装形態では、ロボット１２の象徴的表現およびその挙動は、第２の人３が第２のアパート４を離れる場合でも状態を共有できるように、携帯型デバイス（例えばコンパニオン・アプリを有する携帯電話やタブレット）に表示され得る。代替的に、ロボット１２またはロボット１２の一部が、第２のアパート４の内部または外部で携行される間に挙動を示すために携帯型であり、および／または、ロボット１２が、第２のアパート４のミニチュアモデル内で、または人形の家、ジオラマもしくはテラリウムのような、複数の対話ポイントを有する別の環境内で動作するように設計される。

【0073】

代替的にまたは追加として、第１の人１を感知するセンサが、第２のアパート４に位置するロボット１２と同様のまたは同一の別の（センサ）ロボット内に設置され得る。この場合、センサロボットとの第１の人１の対話（見る、話す、および／またはセンサロボットのところまで移動する）が検出され得、それがセンサロボット内で挙動をトリガし、それが次いでロボット１２に「反映」される。

【0074】

代替的にまたは追加として、状態を判定するために、センサもしくは特定のデバイスからの信号、例えば、テレビがその電源状態を通信する、冷蔵庫がドアが開いているかどうかを通信することを、それらの信号を、想定される状態、すなわち「テレビを見ている」や「食べている」にどのように対応付けるかについての事前に定義された規則のセットと併せて、使用することができる。

【0075】

本明細書に記載される判定手段１７、設定手段１８および／または選択手段１９の機能は、個々のハードウェア回路を使用して、プログラムされたマイクロプロセッサもしくは汎用コンピュータと併せて機能するソフトウェアを使用して、特定用途集積回路（ＡＳＩＣ）を使用して、および／または１つもしくは複数のデジタル信号プロセッサ（ＤＳＰ）を使用して、実装されてよい。さらに、判定手段１７または加えて設定手段１８も、第２の処理装置１１の一部であり得、または選択手段１９が第１の処理装置１０の一部であり得、送受信手段２０が、選択された挙動を受信し、選択された挙動をロボット１２に転送する。

【0076】

代替的にまたは追加として、ロボット１２は、基本位置が固定されているが複数の制御可能な関節を持つロボットアームを備えることができ、ロボット１２は、自由に動き回ることができ顔で挙動を表現することもできる、脚のある「動物」として、または画面を備える車輪付きのロボットとして設計され得る。

【0077】

図４は、上記に詳細に説明された方法の実現によって行われる個々のステップを示す簡略フローチャートを示す。

【0078】

当業者には、本開示の範囲および主旨から逸脱することなく、本開示の構造に様々な変更および変形がなされ得ることが明らかであろう。前述に照らして、本開示は、以下の特許請求の範囲およびそれに相当するものの範囲内に該当する場合には本開示の変更および変形を包含することが意図される。

【図1】

【図2】

【図3】

【図4】

【外国語明細書】