特許 7351745 環境制御機能を有する社会ロボット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-19

(45)【発行日】2023-09-27

(54)【発明の名称】環境制御機能を有する社会ロボット

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230920BHJP

   B25J 13/00 20060101ALI20230920BHJP

   G06F 3/0481 20220101ALI20230920BHJP

   A63H 5/00 20060101ALN20230920BHJP

   A63H 11/00 20060101ALN20230920BHJP

【ＦＩ】

G06F3/01 510

B25J13/00 Z

G06F3/0481

A63H5/00 C

A63H11/00 Z

【請求項の数】 26

(21)【出願番号】P 2019524192

(86)(22)【出願日】2017-11-09

(65)【公表番号】

(43)【公表日】2019-12-12

(86)【国際出願番号】 US2017060951

(87)【国際公開番号】W WO2018089700

(87)【国際公開日】2018-05-17

【審査請求日】2020-11-04

【審判番号】

【審判請求日】2022-12-09

(31)【優先権主張番号】62/420,492

(32)【優先日】2016-11-10

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】504312748

【氏名又は名称】ワーナー・ブラザース・エンターテイメント・インコーポレイテッド

【氏名又は名称原語表記】ＷＡＲＮＥＲ ＢＲＯＳ． ＥＮＴＥＲＴＡＩＮＭＥＮＴ ＩＮＣ．

【住所又は居所原語表記】４０００ Ｗａｒｎｅｒ Ｂｏｕｌｅｖａｒｄ， Ｂｕｒｂａｎｋ， Ｃａｌｉｆｏｒｎｉａ ９１５２２， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】ゲウィッキー、グレゴリー、アイ．

(72)【発明者】

【氏名】オストロバー、ルイス、エス．

【合議体】

【審判長】篠塚 隆

【審判官】中野 裕二

【審判官】富澤 哲生

(56)【参考文献】

【文献】特表２０１６－５２２４６５（ＪＰ，Ａ）

【文献】特開２００６－１４６６３０（ＪＰ，Ａ）

【文献】特開２００９－０８７０７４（ＪＰ，Ａ）

【文献】特開２０１６－０７６７９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06F 3/01

G06F 3/048-3/0489

G06F 13/00

H04Q 9/00-9/16

A63H 1/00-37/00

B25J 1/00-21/02

(57)【特許請求の範囲】

【請求項1】

社会ロボットの構成要素を駆動させるための少なくとも１つの回路に連結された１つ又は複数のプロセッサと、
前記少なくとも１つの回路に接続された社会表現構成要素であって、社会行動アルゴリズムに従って前記１つ又は複数のプロセッサによって制御された、人間が認識可能な表現機能を含む、社会表現構成要素と、
ユーザが前記社会ロボットと対話しているのを観察するために置かれた、前記少なくとも１つの回路に接続されたビデオ・カメラ、又は前記ユーザからの音を受け取るために置かれた、前記少なくとも１つの回路に接続されたマイクロフォンのうちの少なくとも１つと、
前記少なくとも１つの回路に、及び前記１つ又は複数のプロセッサに連結されたプログラム・メモリであって、
前記社会表現構成要素によって前記ユーザと社会的に対話すること、
前記ビデオ・カメラ又は前記マイクロフォンのうちの前記少なくとも１つからのデータに少なくとも部分的に基づいてユーザ行動を判断すること、
前記社会ロボットの社会行動に前記ユーザ行動を相関させること、
前記相関させることに基づいてデータ信号を生成することであって、前記相関させることに基づいて少なくとも１つの現在の心理状態指標を判断することを含む、前記生成することと、
応答するコンテンツの識別子のリストを取得するために、複数のオーディオ・ビデオ・クリップの意味メタデータを前記少なくとも１つの現在の心理状態指標と比較することに基づいて、予め記録されたオーディオ・ビデオ・コンテンツ・クリップの識別子の選択を行わせることにより、１つ又は複数の追加の因子に基づいて前記リストから前記識別子を選択すること及び
電子出力デバイスに、前記データ信号によってエンコードされた情報に対して応答させ、前記応答を実行させるために構成された前記データ信号を送信すること
を含む動作を前記社会ロボットに行わせる、前記１つ又は複数のプロセッサによる実行のために構成されたプログラム命令を保持する、プログラム・メモリと
を備え、
前記命令が、数値によりスコア化するシステムを用いて前記少なくとも１つの現在の心理状態指標に対して、少なくとも部分的に応答をスコア化することにより、予め記録されたオーディオ・ビデオ・コンテンツ・クリップの前記識別子と関連付けられた意味メタデータを前記少なくとも１つの現在の心理状態指標と比較することに基づいて、前記識別子の選択を行わせるためにさらに構成され、前記意味メタデータは、数値のセットとして表現され、各数値は、複数の心理状態指標のうちの１つに対する正反対の反意語の間の範囲に含まれる値を示す、社会ロボット。

【請求項2】

前記命令が、前記少なくとも１つの現在の心理状態指標をリモート・サーバに送信すること、及び前記識別子を前記リモート・サーバから受け取ることを前記社会ロボットに行わせるためにさらに構成される、請求項１に記載の社会ロボット。

【請求項3】

前記メモリが、予め記録されたオーディオ・ビデオ・コンテンツ・クリップの対応する識別子に関係する意味メタデータとそれぞれ関連付けられた、前記コンテンツ・クリップの前記識別子を保持し、前記命令が、コンテンツ選択アルゴリズムを実行することを前記社会ロボットに行わせ、それによって前記識別子の前記選択を行わせるためにさらに構成される、請求項１に記載の社会ロボット。

【請求項4】

前記相関させることが、ユーザの気分の指標、又はユーザ要望の指標のうちの少なくとも１つを含む、前記少なくとも１つの現在の心理状態指標を判断することをさらに含む、請求項１に記載の社会ロボット。

【請求項5】

前記電子出力デバイスが、オーディオ・ビデオ出力デバイスを含み、前記命令が、前記予め記録されたオーディオ・ビデオ・コンテンツ・クリップが前記オーディオ・ビデオ出力デバイスによって出力されるように、前記データ信号を構成することを前記社会ロボットに行わせるためにさらに構成される、請求項１に記載の社会ロボット。

【請求項6】

前記社会表現構成要素に連結された前記オーディオ・ビデオ出力デバイスをさらに備える、請求項４に記載の社会ロボット。

【請求項7】

前記社会表現構成要素が、前記オーディオ・ビデオ出力デバイスを含む、請求項５に記載の社会ロボット。

【請求項8】

前記命令が、ユーザの気分、又はユーザ要望のうちの少なくとも１つを含む前記少なくとも１つの現在の心理状態指標に基づいて、前記識別子の選択を含むコンテンツ選択アルゴリズムを実行するためにさらに構成された、請求項６に記載の社会ロボット。

【請求項9】

前記命令が、前記電子出力デバイスに応答させるための前記データ信号を構成するためにさらに構成され、前記電子出力デバイスが、家庭電化製品又は自動車のうちの少なくとも１つを含み、前記データ信号によってエンコードされた前記情報が、前記家庭電化製品又は自動車に対する操作命令を含む、請求項１に記載の社会ロボット。

【請求項10】

前記社会表現構成要素が、前記少なくとも１つの回路に接続された顔構成要素を含み、前記顔構成要素が、前記１つ又は複数のプロセッサによって制御された、並びに構成可能なまゆ毛、少なくとも１つの構成可能な目、及び構成可能な口から選択された、少なくとも２つの人間が認識可能な表現機能を含む、請求項１に記載の社会ロボット。

【請求項11】

生体認証センサが、前記ユーザの身体状態に応答してデータ信号を送るための少なくとも１つの回路に連結され、前記命令が、前記生体認証センサからの前記データ信号にさらに基づいて、前記少なくとも１つの現在の心理状態指標を判断するためにさらに構成される、請求項１に記載の社会ロボット。

【請求項12】

前記生体認証センサが、介在するワイヤレス受信機とワイヤレス送信機のペアを介して前記少なくとも１つの回路に連結される、請求項１１に記載の社会ロボット。

【請求項13】

社会ロボットと、前記社会ロボットのユーザとの間の先の社会対話に基づいて前記社会ロボットの環境を制御するための方法であって、
前記社会ロボットの構成要素を駆動させるための少なくとも１つの回路に連結され、社会行動アルゴリズムに従って前記少なくとも１つの回路によって制御された、人間が認識可能な表現機能を含む、社会表現構成要素を動作させることによって前記ユーザと社会的に対話するステップであって、前記少なくとも１つの回路が、１つ又は複数のプロセッサを備える、対話するステップと、
前記１つ又は複数のプロセッサによって、前記少なくとも１つの回路に連結されたビデオ・カメラ及びマイクロフォンからのデータに少なくとも部分的に基づいてユーザ行動を判断するステップと、
前記１つ又は複数のプロセッサによって、前記社会ロボットの社会行動に前記ユーザ行動を相関させるステップと、
前記相関させるステップに基づいてデータ信号を生成するステップであって、前記相関させるステップに基づいて少なくとも１つの現在の心理状態指標を判断するステップを含む、前記生成するステップと、
応答するコンテンツの識別子のリストを取得するために、複数のオーディオ・ビデオ・クリップの意味メタデータを前記少なくとも１つの現在の心理状態指標と比較することに基づいて、予め記録されたオーディオ・ビデオ・コンテンツ・クリップの識別子の選択を行わせることにより、１つ又は複数の追加の因子に基づいて前記リストから前記識別子を選択するステップと、
電子出力デバイスに、前記データ信号によってエンコードされた情報に対して応答させ、前記応答を実行させるために構成された前記データ信号を出力するステップと
を含み、
数値によりスコア化するシステムを用いて前記前記少なくとも１つの現在の心理状態指標に対して、少なくとも部分的に応答をスコア化することにより、予め記録されたオーディオ・ビデオ・コンテンツ・クリップの前記識別子と関連付けられた意味メタデータを前記少なくとも１つの現在の心理状態指標と比較することに基づいて、前記識別子の選択を行わせるステップをさらに含み、前記意味メタデータは、数値のセットとして表現され、各数値は、複数の心理状態指標のうちの１つに対する正反対の反意語の間の範囲に含まれる値を示す、方法。

【請求項14】

前記少なくとも１つの現在の心理状態指標をリモート・サーバに送信するステップ、及び前記識別子を前記リモート・サーバから受け取るステップをさらに含む、請求項１３に記載の方法。

【請求項15】

前記１つ又は複数のプロセッサに連結されたメモリが、予め記録されたオーディオ・ビデオ・コンテンツ・クリップの対応する識別子に関係する意味メタデータとそれぞれ関連付けられた、前記コンテンツ・クリップの前記識別子を保持し、コンテンツ選択アルゴリズムを実行するステップ、それによって前記識別子の前記選択を行わせるステップをさらに含む、請求項１３に記載の方法。

【請求項16】

前記相関させるステップが、ユーザの気分の指標、又はユーザ要望の指標のうちの少なくとも１つを含む、前記少なくとも１つの現在の心理状態指標を判断するステップをさらに含む、請求項１３に記載の方法。

【請求項17】

前記電子出力デバイスが、オーディオ・ビデオ出力デバイスを含み、前記予め記録されたオーディオ・ビデオ・コンテンツ・クリップが前記オーディオ・ビデオ出力デバイスによって出力されるように、前記データ信号を構成するステップをさらに含む、請求項１３に記載の方法。

【請求項18】

前記電子出力デバイスが、家庭電化製品又は自動車のうちの少なくとも１つを含み、前記データ信号によってエンコードされた前記情報が、前記家庭電化製品又は自動車に対する操作命令を含む、請求項１３に記載の方法。

【請求項19】

前記ユーザの身体状態に応答してデータ信号を送るように構成された生体認証センサからの前記データ信号にさらに基づいて前記少なくとも１つの現在の心理状態指標を判断するステップをさらに含む、請求項１３に記載の方法。

【請求項20】

プロセッサによって実行されると、社会ロボットと、前記社会ロボットのユーザとの間の先の社会対話に基づいて前記社会ロボットの環境を制御するための装置に、
前記社会ロボットの構成要素を駆動させるために少なくとも１つの回路に連結され、社会行動アルゴリズムに従って前記少なくとも１つの回路によって制御された、人間が認識可能な表現機能を含む、社会表現構成要素を動作させることによって前記ユーザと社会的に対話することであって、前記少なくとも１つの回路が、１つ又は複数のプロセッサを備える、対話することと、
前記少なくとも１つの回路に連結されたビデオ・カメラ及びマイクロフォンからのデータに少なくとも部分的に基づいてユーザ行動を判断することと、
前記社会ロボットの社会行動に前記ユーザ行動を相関させることと、
前記相関させることに基づいてデータ信号を生成することであって、前記相関させることに基づいて少なくとも１つの現在の心理状態指標を判断することを含む、前記生成することと、
応答するコンテンツの識別子のリストを取得するために、複数のオーディオ・ビデオ・クリップの意味メタデータを前記少なくとも１つの現在の心理状態指標と比較することに基づいて、予め記録されたオーディオ・ビデオ・コンテンツ・クリップの識別子の選択を行わせることにより、１つ又は複数の追加の因子に基づいて前記リストから前記識別子を選択することと、
電子出力デバイスに、前記データ信号によってエンコードされた情報に対して応答させ、前記応答を実行させるために構成された前記データ信号を出力することと
を行わせる命令でエンコードされ、
前記命令が、数値によりスコア化するシステムを用いて前記少なくとも１つの現在の心理状態指標に対して、少なくとも部分的に応答をスコア化することにより、予め記録されたオーディオ・ビデオ・コンテンツ・クリップの前記識別子と関連付けられた意味メタデータを前記少なくとも１つの現在の心理状態指標と比較することに基づいて、前記識別子の選択を行わせるためにさらに構成され、前記意味メタデータは、数値のセットとして表現され、各数値は、複数の心理状態指標のうちの１つに対する正反対の反意語の間の範囲に含まれる値を示す、コンピュータ可読媒体。

【請求項21】

社会ロボットと、前記社会ロボットのユーザとの間の先の社会対話に基づいて前記社会ロボットの環境を制御するための装置であって、
前記社会ロボットの構成要素を駆動させるために少なくとも１つの回路に連結され、社会行動アルゴリズムに従って前記少なくとも１つの回路によって制御された、人間が認識可能な表現機能を含む、社会表現構成要素を動作させることによって前記ユーザと社会的に対話するための手段であって、前記少なくとも１つの回路が、１つ又は複数のプロセッサを備える、手段と、
前記少なくとも１つの回路に連結されたビデオ・カメラ及びマイクロフォンからのデータに少なくとも部分的に基づいてユーザ行動を判断するための手段と、
前記社会ロボットの社会行動に前記ユーザ行動を相関させるための手段と、
前記相関させることに基づいてデータ信号を生成するための手段であって、前記相関させることに基づいて少なくとも１つの現在の心理状態指標を判断することを含む、前記生成する手段と、
応答するコンテンツの識別子のリストを取得するために、複数のオーディオ・ビデオ・クリップの意味メタデータを前記少なくとも１つの現在の心理状態指標と比較することに基づいて、予め記録されたオーディオ・ビデオ・コンテンツ・クリップの識別子の選択を行わせることにより、１つ又は複数の追加の因子に基づいて前記リストから前記識別子を選択する手段と、
電子出力デバイスに、前記データ信号によってエンコードされた情報に対して応答させ、前記応答を実行させるために構成された前記データ信号を出力するための手段と
を有し、
数値によりスコア化するシステムを用いて前記少なくとも１つの現在の心理状態指標に対して、少なくとも部分的に応答をスコア化することにより、予め記録されたオーディオ・ビデオ・コンテンツ・クリップの前記識別子と関連付けられた意味メタデータを前記少なくとも１つの現在の心理状態指標と比較することに基づいて、前記識別子の選択を行わせるための手段をさらに有し、前記意味メタデータは、数値のセットとして表現され、各数値は、複数の心理状態指標のうちの１つに対する正反対の反意語の間の範囲に含まれる値を示す、装置。

【請求項22】

前記少なくとも１つの現在の心理状態指標をリモート・サーバに送信するため、及び前記識別子を前記リモート・サーバから受け取るための手段をさらに有する、請求項２１に記載の装置。

【請求項23】

前記１つ又は複数のプロセッサに連結されたメモリが、予め記録されたオーディオ・ビデオ・コンテンツ・クリップの対応する識別子に関係する意味メタデータとそれぞれ関連付けられた、前記コンテンツ・クリップの前記識別子を保持し、コンテンツ選択アルゴリズムを実行すること、それによって前記識別子の前記選択を行わせるための手段をさらに有する、請求項２１に記載の装置。

【請求項24】

ユーザの気分の指標、又はユーザ要望の指標のうちの少なくとも１つを含む、前記少なくとも１つの現在の心理状態指標を判断するための手段をさらに有する、請求項２１に記載の装置。

【請求項25】

前記電子出力デバイスが、オーディオ・ビデオ出力デバイスを含み、前記予め記録されたオーディオ・ビデオ・コンテンツ・クリップが前記オーディオ・ビデオ出力デバイスによって出力されるように、前記データ信号を構成するための手段をさらに有する、請求項２１に記載の装置。

【請求項26】

前記ユーザの身体状態に応答してデータ信号を送るように構成された生体認証センサからの前記データ信号にさらに基づいて前記少なくとも１つの現在の心理状態指標を判断するための手段をさらに有する、請求項２１に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、米国特許法第１１９条に従って、２０１６年１１月１０日に出願の米国仮出願第６２／４２０，４９２号の優先権を主張し、本明細書によって全体として参照により組み込まれる。

【0002】

本開示は、社会ロボットに関し、社会ロボットを制御するための方法に関する。

【背景技術】

【0003】

ロボット技術において、様々な人型ロボット、非人型ロボット、及び複合型の人型／非人型ロボットが知られている。「ロボット」は、検知された環境入力に反応し、これによってこの環境のいくつかの独立した態様と対話するようにプログラムされた、プログラム可能な、自律的な、又は半自律的な機械である。非人型ロボットは、無生物と対話することにしか関与しない、例えば、組立ラインによる製造、又は貨物の自動取扱、及び同様のものといった、人間と対話することに関与しない固有のタスクを行うように設計されることが多い。人型ロボットは人間に似ているように構築され、胴、腕、脚、頭、顔などのような人々によって認識可能な特徴を含む。現実的な人型ロボットは造るには複雑且つ高価であり、したがって一般的ではない。複合型の人型／非人型ロボットは、人型ではない特徴と組み合わされた、少なくとも１つの人間が認識可能な特徴を含む。例えば、人間の発話に応答する発話応答機能を含むスマートフォンは、一種の複合型の人型／非人型ロボットである。別の実例は、もう１人のユーザのように見える、オンライン・ソーシャル・ネットワークキング・サイト又はビデオ・ゲームなどの仮想環境における、人間のユーザとの対話に使用される仮想ロボットである。

【0004】

人型ロボットと、複合型の人型／非人型ロボットの両方が、社会ロボットとして使用されることが多い。本明細書で用いられるように、「社会ロボット」は、社会ロボットが対話している人間又は他の社会動物に対して、本質的に認識できるほどに社会的な行動を示すことによって、対話型機械と対話する人間又は他の社会動物から感情的行動応答又は社会的行動応答を引き起こすように設計された対話式機械である。本質的に認識できるほどに社会的な行動は、例えば、発声、発話、ボディ・ランゲージ（例えば、そぶり）、表情、及び本明細書で下記に説明されるような他の行動を含むことができる。

【先行技術文献】

【特許文献】

【0005】

【文献】米国仮特許第６２／３６７３３５号

【発明の概要】

【発明が解決しようとする課題】

【0006】

人間のユーザと対話する他の任意の計算機のように、ロボットは、コンピュータ・ネットワークのコンピュータにおける処理能力、及び莫大な量のデータを活用して、ユーザが関心のあるコンテンツを提供することができる可能性がある。「モノのインターネット」の登場によって、多くの器具及びデバイスが広域ネットワークに接続され、ネットワーク端末を使用して制御されることが可能である。ネットワーク端末は、ユーザ・コマンドに応答するように設計され、ユーザにとって関心のあるものである可能性がある広告又は他のコンテンツを識別するために、ユーザの好みを検出し、記録するようにプログラムされることが可能である。しかし、ネットワーク端末は人間の社会行動を模倣するように設計されるのではなく、むしろ、例えば、ウェブ・ページ、ビデオ、データベースなどといった様々なタイプのコンテンツにアクセスするために全体的に設計された専用アプリケーションと直接的にユーザが対話するために最適化される。対照的に、社会ロボットは明らかに、例えば気分又は感情を表示することといった、社会行動のために設計された機能を含む。ロボットのこの社会機能は、コンピュータ端末が行う機能の種類に役立つものとはみなされず、実際は、社会機能及び端末機能の両方に対して社会ロボットを使用するのがばかげているように見える可能性がある。しかし想像される可能性のある社会ロボットの「端末可能性」は、ほとんどはむだである。

【課題を解決するための手段】

【0007】

したがって、あまり限定しない方式で社会ロボットを利用するための方法を提供すること、及び社会ロボットの社会可能性及び端末可能性の両方を活用して、新しく、相乗的で、予期しない恩恵をユーザにもたらす社会ロボットを提供することが望ましいであろう。

【0008】

本概要及び以下の詳細な説明は、統合された開示の補完部分であると解釈されるべきであり、この補完部分は、冗長な主題及び／又は補足的主題を含むことができる。どちらかのセクションにおける省略は、統合された応用例において説明される任意の要素の優先度又は相対的重要性を示すものではない。セクション間の相違は、個々の開示から明らかになるであろう、代替実施例の補足的開示、さらなる詳細、又は異なる専門用語を使用する同一の実施例の代替説明を含むことができる。

【0009】

本明細書で用いられるように、「社会アクション」は、社会応答を引き出すために行われるアクションであり、したがって、応答が望まれる人物の認識によって行われる。社会応答を引き出すことを除くアクションをロボットが行う理由がないので、（例えば表情といった）アクションの中には、少なくともロボットによって行われるときには、純粋に社会的なものもある。他のアクション（例えば、のどの渇いたユーザのためにコップ１杯の水を満たすこと、又は器具をオンにすること）は、（例えば、こぼさずにコップにきれいな水を入れることといった）社会目的と他の目的の両方を有している可能性がある。本出願において、ロボットによる社会アクションは、ロボットがユーザの社会応答を追跡し、ロボットの社会アクションと、ユーザの社会応答との間の相関関係の広がりが、さらなるロボット・アクションを決定する任意のアクションである。ロボットによる社会アクションは、例えば、表情、人型要素（例えば、頭、腕、等）のそぶりを含むボディ・ランゲージ、発話、発声、動き、ジェスチャ、タッチ、オブジェクト若しくは実体をユーザに示すこと、オブジェクト若しくは実体をユーザから取り除くこと、別の機械をオン若しくはオフすること、社会応答を引き出すために機械若しくは器具の動作を制御すること、記録されたオーディオ・コンテンツ若しくはオーディオ・ビデオ・コンテンツを再生すること、又は社会メッセージ若しくは社会信号をロボットのユーザに通信するための他の任意のアクションを含むことができる。

【0010】

社会ロボットは、現実環境の中で社会ロボットのロボット的ボディの少なくとも一部を動かすパワーをもつ現実の機械として実装されてよい。さらに、社会ロボットは、例えば、ビデオ・ゲーム環境の中の、没入型仮想現実環境の中の、又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）環境の中のロボット的キャラクタなどとして、仮想環境の中でのみ表現されることが可能な仮想マシンとして実装されてよい。本明細書で使用されるように、用語「社会ロボット」は、現実社会ロボットと仮想社会ロボットの両方を全体的に包含する。社会ロボットのこれらの種類のうちの１つを具体的に示すとき、用語「現実社会ロボット」又は「仮想社会ロボット」が、本明細書で使用されることになる。

【0011】

社会ロボットは、社会ロボットの構成要素を駆動させるための少なくとも１つの回路に連結された１つ又は複数のプロセッサ、及び少なくとも１つの回路に接続された社会表現構成要素を含むことができる。社会表現構成要素は、少なくとも１つの社会行動アルゴリズムに従って１つ又は複数のプロセッサによって制御された、人間が認識可能な表現機能を含むことができる。１つの実施例において、社会表現構成要素は、社会ロボットの生き生きとした顔、又は目、まゆ毛、口、若しくは唇などの顔の表現部分を表示するビデオ画面を含むことができる。

【0012】

社会ロボットは、ユーザ及び／又はユーザの環境を観察するための、少なくとも１つの回路に接続され、社会ロボット上に置かれたビデオ・カメラをさらに含むことができる。ロボットは、ユーザ及び／又はユーザの環境からの音を受け取るために置かれた、少なくとも１つの回路に接続されたマイクロフォンを含むこともできる。ロボットは、例えば、脈拍センサ、皮膚温センサ、注視方向センサなど、ユーザの１つ又は複数の身体状態を測定するためのより多くのセンサのうちの１つを含んでよく、またこのセンサに連結されてもよい。

【0013】

社会ロボットは、少なくとも１つの回路に、及び１つ又は複数のプロセッサに連結されたプログラム・メモリをさらに含む。プログラム・メモリは、社会表現構成要素を動作させることによってユーザと社会的に対話すること、ビデオ・カメラ及びマイクロフォンからのデータに少なくとも部分的に基づいてユーザ行動を判断すること、社会ロボットの社会行動にユーザ行動を相関させること、相関させることに基づいてデータ信号を生成すること、及びデータ信号によってエンコードされた情報に対して電子出力デバイス又は他の電気機械デバイス（例えば、コーヒー・ポットを満たすのに使用される電子活性化バルブ）に応答させるために構成されたデータ信号を送信すること、を含む動作を社会ロボットに行わせる、１つ又は複数のプロセッサによる実行のために構成されたプログラム命令を保持する。

【0014】

さらに詳細な態様において、命令は、相関させることに基づいて現在の心理状態指標を導き出すことを社会ロボットに行わせるため、及び予め記録された又はオンラインのオーディオ・ビデオ・コンテンツ・クリップの識別子と関連付けられた意味メタデータを現在の心理状態指標と比較することに基づいて、この識別子の選択を行わせるためにさらに構成される。例えば、社会ロボットは、「眠い」心理状態に対する指標を導き出すこと、並びに時刻、眠い指標、及びユーザの行動パターン又は過去のコンテンツ選択に基づいて、活発で活動的にするオーディオ・クリップ及び／又はビデオ・クリップの識別子を選ぶことができる。１つの態様において、例えば、社会ロボットのメモリは、予め記録された又はオンラインのオーディオ・ビデオ・コンテンツ・クリップの対応する識別子に関係する意味メタデータとそれぞれ関連付けられた、コンテンツ・クリップの識別子を保持し、命令は、コンテンツ選択アルゴリズムを実行することを社会ロボットに行わせ、それによって識別子の選択を行わせるためにさらに構成される。１つの代替において、命令は、内部ユーザ状態の指標をリモート・サーバに送信すること、及びリモート・サーバから識別子を受け取ることを社会ロボットに行わせるためにさらに構成される。代替実施例において、コンテンツ・クリップの選択は、リモート・サーバによって行われる。１つ代替実施例において、リモート・サーバは、選択されたコンテンツを供給することもできる。

【0015】

別の態様において、現在の心理状態指標を判断することは、行動分析アルゴリズムを使用して、ユーザの気分の指標（幸せ、眠い、退屈、等）、又はユーザ要望の指標（静けさを望む、楽しみたい、等）を判断することを含む。アルゴリズムは、現在の社会対話を過去の社会対話と比較して、心理状態を判断することができる。例えば、ユーザがアクティブであることを検出している間に、社会ロボットが注目を集めるために発話するか、又は上品な音を発し、これに応じて、ユーザによって無視される場合、ロボットは、ユーザが「注意散漫である」か「忙しい」と断定することもできる。

【0016】

いくつかの実施例において、電子出力デバイスは、オーディオ・ビデオ出力デバイスであるか、オーディオ・ビデオ出力デバイスを含み、命令は、予め記録された又はオンラインのオーディオ・ビデオ・コンテンツ・クリップがオーディオ・ビデオ出力デバイスによって出力されるように、データ信号を社会ロボットに構成することを行わせるためにさらに構成される。例えば、社会ロボットは、ロボット自体に配置されたビデオ画面にビデオ・コンテンツ・クリップを表示させることができる。ビデオ画面は、社会ロボットの生き生きとした顔を表示するために使用されてもよい。１つの代替において、ビデオ画面は、ロボット上に配置された、或いは（例えば、ユーザのテレビ若しくは携帯電話、又はユーザによって装着された拡張現実ヘッドセット若しくは眼鏡の一部といった）独立した器具として配置された別々の構成要素であってよい。

【0017】

１つの代替において、又はさらに、電子出力デバイス又は電気機械デバイスは、例えば、コーヒー・メーカ、蛇口、モータ付ブラインド、電子ロック、ホーム・オーディオ・システム、又はホーム・シアター・システムといった家庭電化製品である。命令は、命令が家庭電化製品に応答させるようにデータ信号を構成することをさらに含むことができる。例えば、データ信号によってエンコードされた情報は、家庭電化製品に対する動作命令を含むことができる。したがって、社会ロボットはユーザの社会行動を分析して、社会ロボット自体によって、又は補助器具と協働して、社会ロボットが満たすことができるようなニーズを予測又は応答することができる。

【0018】

別の態様において、電子出力デバイス又は電気機械デバイスは、例えば自動運転車といった、自動車又は船であってよい。このようなケースにおいて、命令は、車両操作命令をエンコードすることなどによって、命令が自動車又は船に応答させるようにデータ信号を構成することを含むことができる。例えば、ユーザがまもなくドライブに出かけたいと思うか、又は指定の行先にユーザを運ぶことを自動運転車両に指示したいと思うということが予想される場合、社会ロボットは、ユーザからの社会信号を検出することに応答して、車両のオーディオ・システムを制御すること、車両をスタートさせること、又は車両に電源投入することができ、ロボットは、ユーザと社会ロボットとの間の社会対話に基づいて判断された現在の心理状態に対して少なくとも部分的に行先を選択する。

【0019】

社会ロボットは、互いに、定義された関係によって共通の制御下にあるモジュールのセットを含むことができ、全体としてセットは、人間の（又は他の、例えば飼い犬の）仲間と社会的に対話するように設計される。例えば、Ｊｉｂｏ（商標）は、旋回する頭、ビデオ画面の顔、耳（オーディオ入力）、及び変化のない（生き生きとしていない）発話出力を有する受動的なトルソーである。スマートフォンは、受動的なフレーム、ビデオ画面の顔、耳（オーディオ入力）、及び変化のない（生き生きとしていない）発話出力からなる、別のタイプのロボットの実例を提供する。Ａｓｉｍｏ（商標）などのロボットはさらに複雑であり、ビデオでない顔の機能、並びに移動の手段、及び四肢を関節でつなぐための手段を有する。判定エンジンは、発話、注視方向、表情、ボディ・ランゲージ、及び他の社会合図などのユーザ・アクションに応答して、社会ロボットの出力を制御する。判定エンジンは、環境因子又はユーザ・コマンドに基づいて変化することが可能な、特定のロボットの性格又は気分を示すように構成されてよい。ロボットを制御して一定の性格を表現することに関するさらなる詳細は、２０１６年７月７日に出願の米国仮特許第６２／３６７３３５号（「‘３３５出願」）において説明されるようなものであり、本明細書に全体として組み込まれる。

【0020】

‘３３５出願は、刺激応答ペア検出と共に性格プロフィールに基づいて社会ロボットの応答を選択するための方法を開示した。ロボットは、性格フィルタ又はプロフィールを通じて刺激（刺激の状況を含む）を応答にマッチさせるようにプログラムされる。１つの態様において、ロボット応答は、例えば、ビデオ・クリップを選択してユーザに対して再生することといった、データ信号によってエンコードされた情報に対して電子出力デバイスに応答させるためのデータ信号を生成することを含むことができる。言い換えると、社会ロボットの性格プロフィールは、‘３３５出願において説明されるような方法を使用して、ロボットの性格プロフィールに基づいて、再生されるコンテンツの選択、又は他のアクションに影響を及ぼすことができる。例えば、同じ社会対話及び状況であると仮定すると、「子供」の性格をもつロボットは、「大人」の性格をもつロボットとは異なるオーディオ・ビデオ・コンテンツを再生するために選択することができる。

【0021】

いくつかの実施例において、ロボットは、「テスト」プログラムを使用して、対話している人間、又は対話が行われている環境を識別することができる。例えば、社会ロボットは、テスト・プログラムを使用して、人間と対話することができる。テスト・プログラムは、明らかなテストの形をしている必要はない。むしろ、テスト・プログラムは、１回限りのセットアップ処理若しくは構成処理、ゲーム、又はテスト・プログラムも楽しみながら、対話している人物の性格をサンプリングする他のいくつかの面白い処理であると理解されるように設計されてよい。例えば、テストは、対話している人間の声、特質、気分、表情、又は癖をサンプリングして、将来の参照のために人物のプロフィールに識別特性を格納することができる。最初の対話のセットアップ処理又は構成処理は、最初に人間と対話するときだけ、又はおそらくロボットとのセッションが始まるたびに、ロボットによって実行されてよく、この結果、ロボットは、対話している人間の年齢、性別、身長及び体格、機動性（すなわち人間が自由に動けるか、寝たきりか、ひ弱か、…）、話す言語（ロボットはいくつかに精通していることが可能なので）、又は他の要因を判断することができる。ロボットは、人物のプロフィールを格納することができ、これによって、この人物がロボットと再び対話しているときに、例えば顔認識ソフトウェアを用いることによってこの人物を後で認識する。音声認識ソフトウェアを使用して人物が識別されていると、人物の外見が変化しても、視覚的に認識できない人物を描画するために、ロボットは依然として、声に基づいて識別することができる。

【0022】

同様に、オブジェクト認識ソフトウェア又は画像分析ソフトウェアによって、ロボットは、適正な会話及び関連行動が最もよく管理されることが可能なように、（例えば、屋内、屋外、小さいエリア内又は大きいエリア内、何時か、日中であるか夜間であるか、等といった）ロボットと人間が占める空間の特性を判断することができる。例えば、明るい日中の場合、星々がどれほど美しく見えるかについて話すことが適正でないように思える可能性があり、人間が動けないか、就寝時間のために用意している場合、「散歩しよう」と言う必要はない。このように、ロボットは、何が状況的に適正であるかによって、声、特質、気分、表情、又は癖を模倣又は強調することができる。例えば、人間が憂鬱になっていることを（例えば、機械学習若しくはＡＩ、又はテンプレートの参照、又は実例のデータベースの参照を通じて識別することによって）その後出会ったときにロボットが後で検出する場合、冗談を言うこと、ゲームで遊ぶことを提案すること、お気に入りの歌若しくはビデオ・クリップを再生すること、又は他の気分を高揚させる対話によって、人間の心を高揚させようとし始めることができる。上記の対話の全てが仮想的に、すなわちいくつかの視聴覚システムによって、例えばＳｋｙｐｅを介して対話している、異なる場所にいるロボットと人間によって行われてよい。

【0023】

別の態様において、社会ロボットの動作は、現在の刺激、又は予想される将来の条件に応答して、社会ロボットのユーザと選択的に共有されるコンテンツのローカル・データベース、又はリモート・データベースと統合される。例えば、コンテンツのデータベースは、これらの意味コンテンツに基づいて索引が付けられる、ビデオ・クリップ、オーディオ・ビデオ・クリップ、又はオーディオ・クリップを含むことができる。社会ロボットは、任意の社会目的のために、クリップのうちの選択された１つを出力するように構成されてよい。例えば、社会ロボットのユーザが不幸せであることを社会ロボットが検知すると、社会ロボットは、ユーザの既知のお気に入りのコンテンツ又はキャラクタのクリップからユーモラスなクリップを選択することができる。さらなる実例として、例えば、多少の運動をすることをユーザに奨励するために、社会ロボットが、検知された社会局面に対してコメントしている場合、社会ロボットは、現在のユーザにマッチし、いくつかの方式で、起き上がり、多少の運動をすることをユーザに気づかせる個人的な特性、又は人口統計学上の特性によってユーザに適正なものとしてマークされているクリップを再生することできる。したがって、ユーザは、社会ロボットのコンテンツ選択アルゴリズムによって選択されたクリップのコンテキスト及び選択によって楽しむことができる。さらに詳細な態様において、またさらなる実例として、ロボットは、
・ 例えば、興味レベルを対象ユーザに質問するか、そうでなければ「テストすること」によって、対象ユーザに興味を持たせる分野、ジャンル、作品（散文、詩、絵画、ビデオ、芸術、等）を識別することによって、どのタイプの関連コンテンツ・クリップを、現在の１人又は複数のユーザが興味を払う可能性があるかを知ること、及び次に、選択されたコンテンツ・クリップを視聴覚的に出力すること
・ 社会ロボットに関わる、又は権限付与されたユーザ・リクエストに応答する、社会対話に同期されたコンテンツ・クリップを対象ユーザが見ること及び／又は聴くことができるように、ロボットから独立している視聴覚表示装置（例えば、スピーカ、電話、タブレット、ＰＣ、スマートＴＶ、ＡＲヘッドセット又は眼鏡、等）に、選択されたコンテンツ・クリップをワイヤレスで送ること（又は選択されたコンテンツ・クリップをリモート・サーバから送ってもらうこと）
・ 例えばＡｍａｚｏｎ（商標）Ｅｃｈｏ（商標）及びＦｉｒｅ Ｓｔｉｃｋ（商標）などのワイヤレス・デバイスに命令して、ユーザ／局面パラメータに基づいて社会ロボットによって選択されるか、ユーザによって選択される、対象ユーザのための関連コンテンツに合わせるか、そうでなければ関連コンテンツを入手すること
を行うことができる。

【0024】

本開示の方法及び装置は、様々なタイプの社会ロボットの中で、また社会ロボットの動作をサポートするために使用されるコンピュータ・ネットワークの中で、具体化されてよい。例えば、関連コンテンツ・クリップの選択は、ローカルに使用するためにローカル・ロボットによって共有される結果と共に、クラウド・コンピューティング・リソースを部分的に又は全面的に使用して行われてよい。以下の技術的な説明は、上記で要約されている社会ロボットの機能的能力の全てを可能にする。

【0025】

本開示の特徴、性質、及び利点は、本明細書及び図面の全体を通して、同様の参照文字が、それに対応して同様の要素を識別する図面と併せて読むことにより、下記に示されている詳細な説明から、さらに明らかになるであろう。

【図面の簡単な説明】

【0026】

【図1】ユーザとの社会対話に基づいて、エンターテイメント・コンテンツ又は他の応答を選択する社会ロボットのためのシステム及び方法の態様を示すブロック図である。

【図2】ユーザとの社会対話に基づいて、記録されたデジタル・コンテンツ又は他の応答を選択するための社会ロボットによる方法の要素を示す流れ図である。

【図3】ユーザの社会アクションに基づいて、符号出力（例えば心理状態指標）を判断するための社会ロボットによる方法の態様を示す流れ図である。

【図4】請求項３に記載の方法に対して使用するための社会アクション・データの態様を示すテーブルである。

【図5】図３に示されたものなどの処理から、心理状態を示す符号出力に基づいて、環境制御出力を選択及び生成するための、社会ロボットによる方法の態様を示す流れ図である。

【図6】心理状態指標に基づいてデジタル・コンテンツを選択するための意味メタデータの使用を示すテーブルである。

【図7A】一緒にペアにされた刺激パラメータ及び応答パラメータが、社会行動を数的に定義するために使用されることが可能な、定量化可能な刺激パラメータ及び応答パラメータの態様をそれぞれ示す概念図である。

【図7B】一緒にペアにされた刺激パラメータ及び応答パラメータが、社会行動を数的に定義するために使用されることが可能な、定量化可能な刺激パラメータ及び応答パラメータの態様をそれぞれ示す概念図である。

【図8】刺激又は応答を数的に表すためのデータ構造の態様を示すテーブルである。

【図9】示された刺激応答ペア（行動）が、行動に関する単一の１×８の数値の心理状態指標に相関する、４×４の数値の応答値とペアになる４×６の数値の刺激値の図解の例証を示す概念図である。

【図10】社会ロボットを制御するために使用中の１つ又は複数の性格プロフィールに基づく１つ又は複数の応答に刺激が相関する、社会ロボットの動作に対して刺激をリアル・タイムに特徴付けるための方法及びシステムの態様を示す流れ図である。

【図11】現実社会ロボットの態様及び構成要素を示すブロック図である。

【図12】現実社会ロボットの実例を示す等角図である。

【図13】仮想社会ロボットの態様及び構成要素を示すブロック図である。

【図14】仮想社会ロボットの実例を示す組み合わされたブロック図及び描画である。

【図15】協調された現実社会ロボット及び仮想社会ロボットへの応答の配分を示す概念図である。

【図16】ユーザ（又は複数のユーザ）との社会対話に基づいて、環境制御出力を生じさせるために仮想社会ロボットを動作させるための方法の実例を示す流れ図である。

【図17】図１６の方法のさらなる態様を示す流れ図である。

【図18】図１６の方法のさらなる態様を示す流れ図である。

【図19】図１６の方法を行うために構成された社会ロボットの実例を示すブロック図である。

【発明を実施するための形態】

【0027】

図１を参照すると、デジタル・コンテンツ（例えば、記録された若しくはオンラインのオーディオ・ビデオ・コンテンツ）又は他の環境制御アクションを選択するための社会ロボット１０２を含む社会ロボット・システム１００が示されている。社会ロボット１０２は、ユーザの社会行動に応答して他の環境制御機能を選択するために適応されてよいということを理解されたい。システムは、ハードウェア、ソフトウェア、ファームウェア、又は前述のいくつかの組合せの中に組み込まれることが可能な様々なモジュール及びデータ構造を含む。ハードウェア、ソフトウェア、ファームウェア、又は組合せは、社会ロボット自体の中にローカルに実装されてよく、またコンピュータ又はデータ通信ネットワークを使用して、社会ロボットと通信しているコンピュータ処理能力を使用して部分的に実装されてもよい。

【0028】

社会ロボット１０２は、他のＩｏＴノード、ローカル・エリア・ネットワーク（ＬＡＮ）ノード、又は他のコンピュータ・ネットワークを含む、システム１００内の「モノのインターネット」（ＩｏＴ：Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）ノードを含むことができる。社会ロボットは、システム１００内の別のノードに制御信号を送ることによって、環境制御アクションを行うことができる。本明細書で使用されるように、「環境制御アクション」は、社会ロボット１０２と社会的に対話しているユーザ１５０の環境を変化させることによってシグナリングに応答する機械又はデバイスに信号を送ることを含む。例えば、スマート表示デバイス１３０は、ロボット１０２から信号を受け取り、これに応じて、社会ロボットによって検出されたユーザ１５０の社会シグナリングに意味的に関係する、選択されたビデオ・クリップを再生することができる。スマート器具１２８（例えば、コーヒー・メーカ又は他の飲料若しくは食品調理デバイス）は、ロボット１０２から信号を受け取り、これに応じて、ユーザ１５０に対して飲料又は食品を作るか、提供することができる。スマート・ホーム・コントローラ１２２は、ロボット１０２から信号を受け取り、これに応じて、スマート照明システム１２４に信号を送ることによってユーザ１５０の環境における照明を調節すること、又はスマート・オーディオ・システム１２６に信号を送ることによって音楽の再生若しくは周囲の音を制御することができる。

【0029】

スマート表示デバイス１３０は、スマートフォン、ノートパッド・コンピュータ、パーソナル・コンピュータ、スマートＴＶ、仮想現実ヘッドセット、拡張現実ヘッドセット、又は他の表示デバイスであってよく、またこれらを含んでもよい。ロボット１００は、ピアツーピアの送信で直接的に、又はコンピュータ及び／若しくは通信ネットワークを介して間接的に、スマート表示デバイス１３０に送信機から信号を送ることができる。ロボット１０２から表示ノード１３０への信号は、このスマート表示デバイス１３０が再生するか表示することをロボット１０２がリクエストしている、コンテンツ・ビデオ・クリップ（例えば「クリップ＃１２３４５」）、又はデジタル・グラフィック画像を識別することができる。スマート表示デバイス１３０は、例えば同じ部屋の中で、社会ロボット１０２と社会的に対話しているユーザ１５０の視界の中にあってよい。リクエストされたビデオ・クリップ又は画像は、表示ノード１３０のメモリ内にあってよく、また例えば、ルータ１３２及び広域ネットワーク（ＷＡＮ）１３６を介してサーバ１３４から、又はオンライン・ソースからといった、データ・ストアからデバイス１３０又はロボット１０２によってリクエストされてもよい。さらに又は別の方式において、社会ロボットは、内部表示デバイス１１０を使用して、リクエストされたビデオ・クリップ又はデジタル画像を再生又は表示することができる。

【0030】

したがって、ユーザ１５０とロボット１０２との間の社会対話の目的、及び本明細書でさらに詳細に説明されるようなロボット１０２によって行われる処理は、コンテンツ（例えばビデオ又は静止画像）を表示すること、オーディオ・コンテンツを再生すること、又はそうでなければユーザを驚かせるか、大喜びさせるか、そうでなければ引きつけるアクションを選択することによってユーザの気分若しくは要望を部分的に補完する方式でユーザの環境を調節することによって、ユーザ１５０を喜ばせることを含む。言い換えると、ユーザは、例えば、固有のコンテンツが再生されること、又は環境を調節するために固有のアクションが行われることをリクエストする必要がない。むしろ、ロボット１０２、又はシステム１００（例えばサーバ１３４）の他の要素は、ロボット１０２とのユーザ１５０の社会対話に基づいて、適正なコンテンツを選択する。社会アクションは、完全に言葉によらなくてよく、リクエストされたアクションが行われるという、ユーザによる任意の明示的な、言葉によるリクエスト又はコマンドに対する応答である必要はない。むしろ、ロボット１０２及びシステム１００の動作は、ユーザを喜ばせるか、ロボット１０２とユーザ１５０との間の社会対話におけるいくつかの機能を満たすことになるアクションを予想する。

【0031】

（仮想とは対照的に）現実社会ロボット１０２は、外骨格又は筐体に収納されたコンピュータとして構成された電気回路を含む電気機械構成要素を含むことができる。回路は、社会的に重要な方式で頭部又はボディ部が動くようにする、社会ロボット１０２の頭部又はボディ部に接続されたメカニズムを備える荷重を動かす、モータ１０８を駆動させるモータ・ドライバ・コントローラに動作可能なように連結された中央処理装置即ちユニット１０４を含むことができる。例えば、モータ１０８又はモータのセットは、１つ若しくは複数の独立軸の周りで頭を回転させること、又はホイール、トレッド、脚、若しくは他のメカニズムを使用して、地表に対してロボットの胴を動かすことなどによって、胴に対する頭の動きを制御することができる。プロセッサ１０４は応答を判断し、モータ・ドライバ１０８に運動制御信号を送る。運動制御信号は、プロセッサ１０４によって選択された応答に適合する、接続されたボディ部をモータ１０８が動かすようにする。

【0032】

ロボット１０２は、プロセッサ１０４の他に、計算するための他の構成要素を収めることができる。例えば、プロセッサ回路は、ユーザ制御を入力するための、例えばキーパッド又はタッチスクリーンなどのユーザ・インターフェース構成要素（図示せず）に連結されてよい。プロセッサ回路は、例えばタッチスクリーン又は他のディスプレイといった表示構成要素１１０に連結されてよい。ディスプレイ１１０は、ユーザ・インターフェースのため、社会ロボットの表現機能（例えば顔）を表示するため、又は両方のために使用されてよい。プロセッサ回路は、ロボットの周りの環境の、又はロボットが対話するオブジェクトの、１つ又は複数の環境条件を検知するために構成された１つ又は複数のセンサ１１４、１１６、１２０に連結されてよい。１つ又は複数のセンサ１２０は、例えば、カメラ１１４、光センサ、マイクロフォン１１６、温度センサ、圧力センサ、加速度計、タッチ・センサ、近接センサ、又は他の検知デバイス、若しくはモノのインターネット（ＩｏＴ）の微小電気機械センサ（ＭＥＭＳ：ｍｉｃｒｏｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ ｓｅｎｓｏｒ）デバイスを含むことができる。プロセッサ回路は、データ及びプログラム命令を受け取るために、コンピュータ・ネットワークに、又はデータ通信ネットワークに連結するための通信ポート１０５に連結されてよい。プロセッサ回路は、ロボットの発声を出力するためのオーディオ出力トランスデューサ（図示せず）にさらに連結されてよい。プロセッサ回路は、プログラム命令及びデータを格納するための揮発性ランダム・アクセス・メモリ・デバイス１０６にさらに連結されてよい。

【0033】

上記で参照された‘３３５出願は、可能であれば人の行動を社会ロボットの行動にマッピングするため、及びロボットの性格プロフィールを定義するために使用される性格スケールにロボットの全ての社会行動を相関させるために、ロボット動作に関する、予め使用されるロボット行動マッピング・サブシステムを説明している。リアル・タイムの社会ロボット行動モジュールは、社会ロボットの１人又は複数のライブ・ユーザと社会ロボットが対話しているときにリアル・タイムに動作し、性格の１つ又は複数を社会ロボットに表現させる。性格プロフィール作成サブシステムは、キャラクタ又は人物の行動データを受け取り、所定の又は適応可能な性格スケールに基づいてデータを分析する。本明細書で使用されるように、「行動データ」は、任意の特定のペアの発生の相対頻度に関する統計データを含むがこれに限定されない刺激応答ペアのセットを説明又は定義するデータに限定される。刺激及び応答は、詳細の様々なレベルを含む、詳細の任意の所望のレベルで説明されることが可能である。例えば、刺激及び応答は、「無視されている」刺激、及び「気づかれようとする」応答など、包括的であってよい。さらなる実例として、刺激のどちらか一方、又は両方は、「あなたに何の関係があるのですか」という応答とペアになる「お元気ですか」ということを聞く刺激などの、さらにずっと具体的であってよい。行動は、任意の有効な手法で特徴付けられることが可能であるが、社会ロボットが検出できる刺激、及び社会ロボットが実行できる応答に容易にマッピングされることが可能な、キャラクタの性格のプロフィールを書くために刺激及び応答を選ぶことが望ましい可能性がある。さらに、行動は、ロボットの社会機能に相関するはずであるか、相関することができるはずである。‘３３５出願において説明されるような行動検出及び分析は、コンテンツを選択するためのユーザの社会対話を評価するために使用されてよい。

【0034】

例えば、キャラクタ分析は、気分検出のために使用されてよい。キャラクタ分析モジュールは、ユーザの異なる気分にそれぞれ相関する、特徴的な社会行動のリスト、及び１つ又は複数の性格プロフィールのセットという、２つの成果を分析処理から生み出すことができる。「気分」は「性格モード」であると考えられてよく、技術用語では、各気分は、連続した期間、観察されることが可能で、１つ又は複数の気分のきっかけに応答して、少なくともいくらかの予測可能性で出現及び／又は散逸することになる、性格特質値の異なるセットである。キャラクタ分析処理は、様々な連続期間にわたって刺激応答データをグループ化すること、様々な期間にわたって類似の行動をマッチングすること、及び異なる気分が観察される間、きっかけを識別することによってユーザの気分を発見することができる。ロボット１０２は、上述のような処理を使用してロボットが観察するユーザの気分に、コンテンツ選択又は他のアクションの判断の基礎を部分的に置くことができる。

【0035】

図２は、社会ロボット１０２によって行われることが可能な社会対話分析及び応答方法２００の態様を要約している。新しいセッションの初め近くで発生することが可能な１０２において、社会ロボットは、社会ロボットと対話しているユーザを識別する。例えば、ロボットは、カメラ及び画像分析を介した顔認識、マイクロフォン及びオーディオ分析を介した音声認識、又は他の生体識別情報因子（ｂｉｏｍｅｔｒｉｃ ｉｄｅｎｔｉｔｙ ｆａｃｔｏｒ）を使用して、社会ロボットと対話しているユーザを識別することができる。特定の個人としてユーザが認識されない場合、社会ロボットは、観察された人口統計学上の手がかり（例えば、大きさ、年齢、性別）に基づいてユーザを分類し、２０８において、観察された人口統計学上のタイプに対するデフォルトの好みのプロフィールを取得することができる。ロボットがユーザを認識すると、ロボットは、２１０においてユーザの好みのプロフィールを取得することができる。好みのプロフィールは、符号（例えば２進数）のセットを保持するデジタル・データ構造であってよく、またこれを含んでもよい。これらの符号は、記録されたコンテンツの一定のタイプに対するユーザの好み、お気に入りのキャラクタ又はジャンル、及びロボットによるコンテンツ選択又はアクション選択に関連する他の好みを任意の適切な方式で示す。

【0036】

２１２において、社会ロボットは、アクション（すなわちユーザの視点からの「刺激」）を行う。さらに、アクションの最中及び直後に、ロボットは、ロボットのアクションに対するユーザ応答を示すセンサ・データを集める。例えば、ロボットは、ユーザに対して移動すること（例えば、近づくこと、離れること、又は振り返ること）、及び発声して挨拶することができる。ロボットは、顔構成要素を使用して表情を作り出すこともできる。２１４において、ロボットは、センサ・データを受け取って分析し、ユーザ応答を決定する。例えば、ロボットは、オーディオ入力又はビデオ入力を受け取って分析し、仮にユーザが口頭で応答したとしても、どのようにユーザが口頭で応答したか、及びロボットの１つ又は複数のカメラによって画像化された表情又はボディ・ランゲージによってもたらされた任意の利用可能な感情の言外の意味を判断することができる。

【0037】

ロボット刺激はユーザ応答にマッチングされることが可能であり、（社会アクションを表す）結果として生じる刺激応答ペアは、認識されたマッチング済みペアのデータ構造に対してチェックされる。２１６において、保存済みのペアにマッチングすることによって刺激応答ペアが認識されると、２１８において、ロボットは、社会アクションを心理状態指標に相関させることができる。同じ心理状態指標は、様々な刺激応答ペアに相関することができる。逆に、同じ刺激応答ペアは、時には２つ以上の心理状態指標に対して相関することができるが、多くの場合、ただ１つの指標に相関させることになる。心理状態指標は、ユーザの心理状態に反応してロボットが行うことができる１つ又は複数の応答のセットに、任意の有効な方式で相関させる符号（例えば２進数）であってよい。

【0038】

２２０において、ロボットは、ロボットが心理状態指標を識別したか否かを判断する。識別しなかった場合、２１２において、ロボットは、社会アクション行うこと、及びユーザ応答を評価することを続けることができる。識別した場合、２２２において、ロボットは、心理状態指標と関連付けられた適切な応答のうちの１つを選択することができる。２２４において、ロボットは、応答を行うために利用可能な出力ノードを（例えばスキャンすることによって）検出することができる。２２６において、ロボットは、出力ノードによる応答の実行を始めるように構成された利用可能な出力ノードに対するデータ信号を生成する。２３０において、ロボットは、データ信号を選択された出力ノードに送信することができ、本明細書で説明されるような応答を出力ノードに行わせる。応答する際に、出力ノードは、ロボットから、又は別のネットワーク・ノードから出力されることになるビデオ・コンテンツ又はオーディオ・コンテンツのデジタル・コピーを取得することができる。２３２において、ロボットは、終了した場合、セッションを終了させること、又は終了していない場合、２１２において、社会監視を続けることができる。

【0039】

図３は、ロボット刺激又はユーザ応答の特徴付けが、独立したセンサ・システムとは異なる入力データに基づくことが可能な態様を含む、社会アクションを認識するための社会ロボットによる処理３００の態様を示す。ロボットは、特定のユーザ応答と関連付けられた一般的な様々な明確に区別できる符号（例えば２進数）に対してセンサ・データを使用する。例えば、ユーザ応答の認識は、カメラ入力データに基づく、ロボットによる顔認識処理３０２を含むことができる。ユーザ応答の認識は、例えば、ユーザの視線の方向、ユーザの脈拍、又はユーザの皮膚温度を判断することなどの、バイオメトリック検出処理３０４をさらに含むことができる。ユーザ応答の認識は、例えば、マイクロフォンによって集められたオーディオ・データをロボットが分析することによる、言語認識３０６をさらに含むことができる。ユーザ応答の認識は、例えば、写真データを分析すること、位置ビーコン若しくは全地球測位システム（ＧＰＳ）若しくはＩｏＴ ＭＥＭＳからデータを受け取ること、時刻クロックを参照すること、又は他の任意の適切なやり方などによって、環境状況又は背景を認識すること３０８をさらに含むことができる。ユーザ応答の認識は、例えば、写真データ及び近接センサ・データを使用することなどによって、ロボット及びユーザの相対位置及び方向を判断すること３１０をさらに含むことができる。有効であれば、社会アクション認識の一部として、他のタイプのユーザ応答パラメータがロボットによって判断されてもよい。

【0040】

３１２において、ロボットは、キャッシュ・メモリ３１４に現在の認識を記録することができ、時間切れ又は期限切れになったデータを消去することができる。同様に、ロボットは、検出されたユーザ応答に時系列で相関するロボット出力刺激を示す符号をキャッシュ３１４内に維持することができる。３１６において、社会ロボットは、社会アクション・フィルタを使用して、短期メモリ３１４にキャッシュされたデータをフィルタリングすることができる。社会アクション・フィルタは、例えば、データ構造に記録された刺激応答ペアを個々の心理状態指標にリンクさせるデータ構造を含むことができる。３１８において、ロボットがマッチを検出すると、３２０において、ロボットは心理状態指標を出力することができる。心理状態指標は、社会アクション・フィルタによって判断されるような、社会アクション・データのセットに対する固有の相関関係（例えば、１対１又は１対多）を有する符号（例えばバイナリ）の値であってよい。「心理状態指標」の中の「心理状態」という句は利便性の用語にすぎず、指標が導き出される手法、又は指標が使用される手法を限定しないということが明らかであろう。説明されたように、指標は、ロボットに既知の、又はロボットによって検出された社会対話及び状況に基づく機械判断された符号の値であり、ユーザの実際の心理状態に相関させる必要はない。しかし、よく設計された実装形態において、心理状態指標は、ユーザが受け入れる可能性がある社会アクションにこの心理状態が関係する限りにおいて、ユーザの心理状態に対応することが可能であり、全体的に対応するはずである。心理状態指標を生成するため、及び社会応答を選択するための説明された処理は、社会アクションによって表現されるような人間のエンパシーをエミュレートするための処理を例示する。３２２において、ロボットは、終了した場合、セッションを終了させること、又は終了していない場合、３２４において符号生成を継続することができる。

【0041】

図４は、表データ構造に編成された、方法３００に対して使用するための、社会アクション・フィルタ・パラメータ・セット４００の態様を示す。図示されたパラメータ・セット４００は、様々なデータ・カテゴリにおける様々な符号の値（例えば２進数又はキャラクタ文字列）を含む。値のそれぞれは、意味的な意味をもつ社会アクションに対応する。例えば、「表情」カテゴリ４０２は、無表情、微笑む、にやにやする、及び笑うなどの社会アクションに相関する１つ又は複数の値によって埋められることが可能である。「他のバイオメトリック」カテゴリ４０４は、立っていること、歩行していること、及び中間範囲の動きなどの社会アクションに相関する１つ又は複数の値によって埋められることが可能である。「発話」カテゴリ４０６は、笑うこと、又は面白い、奔放、こっけいという単語のいずれかなどの口頭でのやりとりに相関する１つ又は複数の値によって埋められることが可能である。環境状況のカテゴリ４０８は、朝、平日、明るい、又は在宅などの社会状況に相関する１つ又は複数の値によって埋められることが可能である。「ロボット人間関係ステータス」カテゴリ４１０は、いくらかの距離「ｘ」より接近している、又は互いに向かい合っているなどの相対位置に相関する１つ又は複数の値によって埋められることが可能である。図示されたカテゴリ及び値は、基礎となる概念を示すための実例にすぎず、方法３００をこれらの実例に限定するものではない。社会アクション・フィルタのパラメータ・セット４００は、例えば、存在することになるカテゴリ４０２、４０４、４０６、４０８、若しくは４１０のいずれかからの少なくとも１つの値を必要とする論理的な「及び（ＡＮＤ）」、及び同じカテゴリ内の任意の値の間の論理的な「又は（ＯＲ）」といった、様々な符号の値の間のブール論理を含むことができ、したがって、各カテゴリからの任意の１つ又は複数の値が存在する場合にマッチを見つける。他の論理的な配置が適切であることもある。

【0042】

ロボットは、多くの異なる社会アクション・フィルタ・パラメータ・セットを利用して、１つ又は複数の心理状態指標を見つけることができる。１つの態様において、フィルタ・パラメータ・セットは、社会アクションのいくつかの組合せが、様々な心理状態指標に相関させることになるように構成されてよい。２つ以上のマッチする心理状態指標をロボットが発見すると、ロボットは、例えば、ランダム選択、準ランダム選択、過去の選択に基づいて重みを与えられた順序（例えば「順番に行うこと」）、又はさらなる情報に選択の基礎を置くこと（例えば、ユーザに訪ねること、又はユーザの好み、流行している人気、若しくはロボットの「気分」などの追加情報を参照すること）といった、任意の適切な処理を使用して応答を決定するための指標のうちの１つを選択することができる。１つの代替において、複数の心理状態が示される場合、ロボットはその応答を延期することを選ぶことができる。

【0043】

図５は、例えば方法３００などの処理からの心理状態を示す符号出力に基づいて、環境制御出力を選択及び生成するための社会ロボットによる方法５００の態様を示す。５０２において、ロボットは、利用可能な応答オプションから選択するためのロボットの応答選択アルゴリズムによって確保される値の範囲に含まれる、例えば２進数といった、ロボットの処理システムと互換性のある符号の形で心理状態指標を受け取るか、導き出す。５０４において、ロボットは、応答リスト内の各エントリと独立して関連付けられた意味メタデータと心理状態指標を比較することに基づいて、ユーザの現在の応答リスト５１８をフィルタリングする。現在の応答リスト５１８は、ロボット、及び／又はロボットと通信しているネットワークの他のノード上で動作するバックグラウンド処理５１６によって作られ、維持されてよい。リスト５１８は、セキュリティ、安全性、又はユーザの好みの設定によって禁止される応答を除いて、ロボットが行うことができる、あらゆる可能な応答を含むことができる。１つの代替において、リスト５１８は、例えば、帯域幅若しくはデータ・ストレージ要求を減少させるため、新鮮な応答が使用されるのを保証するため、又は一定の応答との時系列の関連付けを作り出すための、完全なセットのうちのより少ないサブセットを含むことができる。

【0044】

図５の説明を続ける前に、社会ロボットが意味メタデータをどのように使用するかを考える。図６は、心理状態指標に基づいてデジタル・コンテンツを選択するための意味メタデータ６００を使用できるようにするための応答リストを示す。意味メタデータ６００は、例えば、意味概念を表現するために確保される範囲内の２進値のような、機械が読める符号の値として機械レベルで表現されるということを理解されたい。機械が読める符号は、例えば、管理インターフェースにおいて、又は応答アクションに対する意味メタデータの割当てをクラウド・ソーシングするためのアプリケーションにおいて使用するための、データベース又は他のデータ構造を介して、人間が読める符号（例えば図６に示すような語又は句）と１対１で関連付けられる。例証の簡潔さのために、図６に示されるテーブルには、２つのレコード、つまり応答６０２（Ｌｏｏｎｅｙ Ｔｕｎｅｓ Ｓｙｌｖｅｓｔｅｒ ｔｈｅ Ｃａｔ ｓａｙｉｎｇ 「Ｓｕｆｆｅｒｉｎｇ ｓｕｃｃｏｔａｓｈ！」を再生する）が、（人間が読める符号「ドタバタ喜劇（ｓｌａｐｓｔｉｃｋ）」及び「驚き－風変わり（ｓｕｒｐｒｉｓｅ－ｏｆｆｂｅａｔ）」に対応する）意味メタデータ６０４と関連付けられる第１のレコード、並びに応答６０６（Ｔｈｅ Ｂｌｉｎｄ Ｓｉｄｅ ｗｈｅｒｅ Ｓａｎｄｒａ Ｂｕｌｌｏｃｋ ｓａｙｓ “Ｙｏｕ ｔｈｒｅａｔｅｎ ｍｙ ｓｏｎ，ｙｏｕ ｔｈｒｅａｔｅｎ ｍｅ”を再生する）が、（人間が読める符号「保護的（ｐｒｏｔｅｃｔｉｖｅ）」及び「意思の強い（ｄｅｔｅｒｍｉｎｅｄ）」に対応する）意味メタデータ６０８と関連付けられる第２のレコードしかない。応答リストはしばしば、３つ以上の多くのエントリを含むことになるということ、及びテーブル内の応答エントリは、例えば、「ブラインドを開ける」、「明かりを落とす」、「コップ一杯のチャイを入れる」などといった、「コンテンツ「Ｘ」を再生する」の他の、他の環境制御アクションを含むことができるということを理解されたい。

【0045】

（対応する人間が読める符号が「不安（ａｘｘｉｏｕｓ）」である）心理状態指標６１０は、破線で示されるように意味メタデータ６０８に相関し、意味メタデータ６０４には相関しない。したがって、フィルタリング処理５０４において、ロボットは第１の応答６０２を除外し、フィルタリングされたエンパシー的応答サブセット５２０に第２の応答６０６を含めることができる。意味メタデータ６００と心理状態指標（例えば指標６１０）との間の相関関係は、様々な方式で記録されることが可能である。例えば、意味メタデータ６００は数値のセットとして表現されてよく、この中で各数値は、特定の心理状態指標に対する正反対の反意語（ｏｐｐｏｓｉｔｅ）の間の範囲に含まれる値を示す。例えば、１００個の異なる心理状態指標をロボットが使用すると仮定すると、各応答アクションは、それぞれ、この数値、及びスコアが関係する心理状態指標の索引番号（又は心理状態指標自体）からなる、１００以下の異なる値と関連付けられるであろう。実例を続けると、－３１から＋３１までの範囲が６桁の２進数によって示されることが可能であり、－３１は、最も強い可能性のある否定的な相関関係を示し、＋３１は、最も強い可能性のある肯定的な相関関係を示し、ゼロは相関関係を示さない（例えば無関係又は適用不可能）。この実例における各応答アクションは、心理状態指標の１つ又は複数に対して採点され、採点されない指標は、人間の管理者及び／又はクラウド・ソーシングされたデータ若しくは他の基準値を使用して、デフォルト値ゼロを割り当てられる。数値のスコアの使用は、ロボットが、スコアによって応答をランク付けすること、及びそれによって任意の所与の心理状態指標に最も関連する応答を選択する確率を増加させることを可能にする。

【0046】

さらに、意味的な関連のための正反対のスコアは、様々な応答方策に対する様々な次元（又は軸）で採点されることが可能である。例えば、１つの方策は、「シンパシー及びサポートを表現すること」であってよい。もう１つは、「代替視点を提示すること」（例えば議論すること）、さらにもう１つは、「ユーモアを入れること」などであってよい。各応答は、適用可能な方策の軸に基づいて別々のスコアを割り当てられてよい。例えば、心配に関連する心理状態６１０を考えると、応答６０６は、「シンパシー及びサポート」に対して明確に肯定的であること、及び「議論する」又は「ジョークを言う」に対して中立又はゼロを採点することができる。このようなスコアの作成は必然的に主観的であり、文化的要因の影響を受けるので、ユーザ調査を介してデータ分散させること、及び集めること、又はフォーカス・グループを使用することなどによる、クラウド・ソーシングの良い候補である可能性がある。

【0047】

再び図５を参照して、エンパシー的応答のサブセット５２０を考えると、ロボットは、利用可能な出力デバイスに基づく第２のフィルタ５０６を利用することができる。例えば、応答を完了させるのに必要な再生デバイス又は器具の中には、応答が必要な時に利用できない又は（例えばユーザ設定に基づいて）適正でない可能性のあるものもある。したがって、ロボットは、非アクティブな出力デバイスの使用を必要とする応答を取り除くことができ、利用可能なエンパシー的応答のみを含む実際の又は構築可能な第２のサブセット５２２を導き出す。

【0048】

５０８において、任意の特定の心理状態指標を考慮して、サブセット５２２内の応答と関連付けられた意味データが、様々な応答方策に対する特定の応答の関連性の間で区別することを可能にする場合、ロボットは応答方策を選択することができる。様々な応答方策及び関連付けられた採点システムの実例が、上記の段落で提供された。機械レベルにおいて、各応答方策は、ロボットによって選択された応答方策に関連する意味メタデータのサブセットに応答の選択が排他的に又は主に基づくようにする分岐又は変数として実装されてよい。応答方策の選択５０８は、ロボットの気分などの、ランダム要因又は準ランダム要因に基づくことができ、また心理状態指標、現在のユーザ・セッションにおける最近の過去の心理状態指標、ユーザの好みの設定、又は他の要因と関連付けられた強度又は明瞭さのスコアなどの、さらに決定的な要因に基づくこともできる。ロボットが方策を選択すると、利用可能なエンパシー的応答５２２は、選択された方策に対する意味メタデータに基づいてフィルタリングされるか、ランク付けされてよい。これは、方策の利用可能なエンパシー的応答のみを含む、実際の又は構築可能な第３のサブセット５２４を導き出す。

【0049】

５１０において、ロボットは、サブセット５２４内の残りの応答の１つ又は複数を選択する。サブセット５２４からの選択は、ランダム要因又は準ランダム要因を使用して行われてよく、その結果、ロボットの行動は、依然として方策的且つエンパシー的ではあるが、決定的ではなくなる。１つの代替において、又はさらに、選択は、意味的な値のスコアによってランク付けされたリスト内の最高のエントリを選ぶことなどによって、決定的なアプローチを使用して行われてよい。ロボットは、例えば、住宅制御ユニットによって部屋の明かりを薄暗くすること、及びホーム・エンターテイメント・センタ、又は車両音響システム若しくは車両エンターテイメント・システム上でロマンチックなクリップを再生することなどの、様々な出力デバイスに対する様々な応答を選択することができる。５１２において、ロボットは、選択された応答を作り出すことに関わる各出力デバイスに対して、データ信号内に、選択された応答を行わせるための命令をエンコードする。ロボットは次に、直接的に、又は介在しているサービス・ノード（例えばサーバ１３４）を通じて、各関連デバイスに配信するために、コンピュータ・ネットワークにデータ信号を送信する。５１４において、ロボットは、終了した場合、セッションを終了させること、又は終了していな場合、５０２における次の心理状態指標へ続くことができる。

【0050】

‘３３５出願においてさらに詳細に説明されているように、社会行動は、刺激応答符号ペアによって特徴付けられることが可能である。図７Ａは、刺激を定義する複数のパラメータ、及び複数のグループに整理された論理的なカテゴリに刺激パラメータを編成するためのシステム７００の実例を示す。刺激パラメータの編成は、意味的な意味を刺激応答ペアに関連付けるために、及びしたがって、このようなペアに基づいて心理状態指標を選択するために有効である可能性がある。‘３３５出願は、性格スコアを導き出すための数値法を教示したが、本開示は、上述の処理において使用するための心理状態指標を入手するために、同じ又は類似の方法がどのように使用され得るかを示す。

【0051】

最上位レベルのカテゴリ７０２は、最も高い有効レベルの普遍性で刺激を定義する。図示の実例において、刺激は、ロボット又はキャラクタと、他の何かとの間の相対位置である。残りのパラメータは、任意の数のサブレベルに編成されてよい。ここで、例えば、パラメータは、時間（いつ）グループ７１０、アイデンティティ（誰が／何を）グループ７２０、場所（どこで）グループ７３０、及び実行の手法（どのように）グループ７４０という、４つのグループに編成される。グループのそれぞれは、１つの種類の正反対の反意語の間のスコアを収める。例えば、時間グループ７１０は、刺激が発生するときを示す、時刻スコア７１２及び曜日スコア７１４を収めることができる。これらのスコアのそれぞれは、選ばれたスケールの終点間で継続的に動く数値のスコアに正規化されてよい。例えば、時刻パラメータ７１２に対して８ビット・スケールが使用される場合、ちょうど夜半過ぎから次の日の夜半までのそれぞれの２４時間の期間は、等しく区切られた１２８個に分割されてよく、１２８／２４（１時間あたり５と１／３単位、即ち１１．２５分）の粒度に従った時間管理を可能にする。これは、社会応答を相関させるための十二分の粒度であるはずである。同じ８ビット・スケールを使用して複数の曜日にわたる時間を表すことは、複数の曜日に対する気分又は他の応答の相関を可能にすると同時に、７倍低い粒度、即ち７８．７５分をもたらす。さらなる実例として、アイデンティティ・グループ７２０は、例えば、人／物スケール７２０、性別スケール７２４、及び外向性スケール７２６といった、刺激を起こすために置かれる、人又は物の特性を測定する値を含むことができる。同様に、場所グループ７３０は、例えば、エンクロージャ・パラメータ７３２及び地域キャラクタ・パラメータ７３４といった、刺激が発生する場所に関係する。さらなる実例として、実行パラメータ・グループ７４０の手法は、近接測定値７４２、１つ又は複数の方向測定値７４４、及び相対運動測定値７４６を含むことができる。

【0052】

システム７００は例証のために簡素化されており、パラメータの実例に含まれる固有の測定値は、説明された編成及び定量化の原理より重要ではない。示された原理の下で、任意の所与の刺激は、測定値の行列として表されることが可能である。例えば、各グループは、刺激行列の行を示すことができ、各列は、隣接したパラメータ間を詳しく説明することができ、又は逆もまた同様であり、行列は、任意の有効な数の次元を有することができる。１次元又は２次元の行列が有効であると思われており、さらに高い次元は複雑性を増加させるが、有効であることもある。行列の各セルは、８ビットの（又は他の）数値を保持することができ、このことの意義はシステム７００に依存する。様々な刺激に対して標準システムを使用することは、様々な刺激とこれらの関連付けられた応答との間の迅速な機械による比較及び相関を可能にするであろうということを理解されたい。各セルと関連付けられた詳しい意味は重要ではないが、セルの値は、少なくともいくつかのケースにおいて応答に対して重要な影響を及ぼすはずであり、そうでなければパラメータは追跡する価値がない。したがって、全体的な刺激編成システム７００は、関連付けられた社会応答に対する各セル値の影響を最大化させると同時に、関心のある全ての刺激に対して標準行列を使用できるように編成されてよい。

【0053】

図７Ｂは、社会応答の特徴付けのためにシステム７５０に利用される同じ編成及び定量化原理を示す。この実例において、最上位レベルのカテゴリ７５２は発話に関係している。時間グループ７６０は、この態様が、いつ刺激が発生するかによって制御されるので、時刻等に関係しない。主要な時間パラメータ７６２は、刺激が受け取られた後に、話す応答がどれだけ迅速に行われるかに関係している。アイデンティティ・グループ７７０は、発話の長さ７７２、発話のユーモラスなキャラクタ７７４、発話の真実味７７６、等などの、発話コンテンツの数値の測定値を収めることができる。話される実際の語は、図７Ａ～図７Ｂによって示される編成方式で数的に容易に表されることは不可能である。むしろ、明確に区別できる決まり文句を使用するキャラクタに対して、各決まり文句は、グループ７２０に含まれるコンテンツ・アイデンティティ・パラメータの組合せに基づいて採点されること、及びこれによって、性格が示されるのに社会的に適正なときに、スコア比較によって識別されることが可能である。位置グループ７８０は、話しかけられる人又は物に対して発話が行われる方向を関連させること、又は離れる方向に向かう間接的な応答（例えば、背を向けること、及び首を振ること）が、より適正であるとみなされる場合、話しかけられる人又は物から背を向けることに関連すること、に関するパラメータ７８２、７８４を収めることができる。実行パラメータ・グループ７９０の手法は、ペーシング・パラメータ７９０、音量パラメータ７９４、及び繊細さパラメータ７９６を含むことができる。刺激システム（例えば７００）及び応答システム（７５０）に対して類似の編成原理が使用されてよいが、両方のケースにおいて、刺激の測定パラメータが応答にさらに本当に関係しないということに注意されるべきであり、逆もまた同様である。

【0054】

図８は、刺激又は応答に対する定量化されたマルチ・パラメータ・データを保持するためのフラットなデータ構造８００の態様を示す。ヘッダ８０１は、最上位の刺激又は応答カテゴリの識別子８０２を含むことができる。ヘッダ８０１は、データ構造８００の中で使用されるサブクラスの総数（「Ｎ」）８０８の指示８０６をさらに含むことができる。各サブクラス識別子８１０、８１４、８１８は、上述のようなパラメータ・グループに相関させることができる。ヘッダ８０１は、ビット位置によって区別されることが可能ないくつかの異なるパラメータをそれぞれ定義することが可能な値８１２、８１６、８２０のリストの前にあってよい。グループ内のパラメータは、所定の順序で数値８１２、８１６、８２０に含まれる所定の数のビットによって指定されることが可能である。データ構造８００は、文字列を使用するための十分な索引情報を有するデジタル値の文字列を含む。

【0055】

図９は、４×６の数値の刺激値９０２が４×４の数値の応答値９０４に対してペアになるシステム９００を図解で示す。さらに、示された刺激応答ペア９０２、９０４は、任意の有効なスケールに基づいて、このペアに対する１つの１×８の数値の心理状態指標９０６に相関させている。示された実例において、黒は最大値を示し、白は最低値を表し、グレーはいくつかの中間値を表し、「×」は空の（利用できない）値を表す。各セル又はボックスは、刺激又は応答に対するパラメータ値を表す。したがって、システム９００は、純粋に数値法を使用して、特定の心理状態指標９０６が、１つ又は複数の数的に表される刺激応答ペアにどのように相関することできるかを示す。

【0056】

例えば、一貫した方式の下で、全て数的に表される多くの刺激応答ペアの大きいセットを考えると、プロセッサは、刺激行列の各セルと応答行列の各セルとの間の相関性係数を決定することができる。刺激行列の各セルに対して、プロセッサは、例えば、Ｐｅａｒｓｏｎの相関性係数などの測定値を使用して、行動セット全体にわたって、最も肯定的に相関する応答パラメータ、及び最も否定的に相関する応答パラメータを決定することができる。例えば、行－列（１，１）における刺激パラメータの値は、（１，４）における応答パラメータと最も肯定的に、また（２，２）における応答パラメータと最も否定的に相関させることができる。その場合、刺激応答ペア９０２、９０４に対する心理状態指標９０６の最初の２つの値は全体として、相関関係の値を示すことができる。例えば、肯定的な相関関係の大きさ（例えば０と１の間の数）は、サイン（正又は負）を示すための１つのディジットに加えて、７つのバイナリ・ディジットで示されることが可能であり、一方、否定的な相関関係の大きさは、同じ方式を使用して示されることが可能である。これが、刺激値ごとに繰り返される場合、刺激応答ペアに対する数値の心理状態指標は、人間が刺激応答ペアを定性的に評価することを全く必要とせずに決定されることが可能である。これは、ユーザに対する心理状態指標のカスタム・セットを提供するために、特定のユーザによって識別された刺激応答ペアの異なるセットごとに行われることが可能である。１つの代替において、又はさらに、様々なユーザからの刺激応答データは、総合心理状態指標を提供するために集約されてよい。純粋に数的に定義された心理状態指標の意味は、所定の標準化されたスケールとは異なり、これが導き出される刺激応答、及びこれを導き出すために使用される数値法に依存することになる。行動セットに対する刺激と応答の間の相関関係についての合理的な測定値を数値法が表す限り、数的に導き出された心理状態指標は、さらに定性的な方法によって導き出されたもの以上とは言わないまでも同程度にうまく機能するはずである。

【0057】

純粋に自動化された数値処理を使用して定義される定量的心理状態指標は、本明細書で上述された実例とは異なり、言葉で簡単に表現されることが可能な、どのような意味も有することはない。刺激と応答の間の最も重要な相関関係を、自動的に判断された指標がとらえることになるので、この指標はそれでもなお、社会ロボットが適正な応答を選択することを可能にする。例えば、図６に対して説明されたような意味メタデータと関連付ける際に、特定の刺激応答ペア（９０２、９０４）から導き出された数的に判断された心理状態指標がどのように機能するのかを考える。心理状態指標は、前述と同様に、意味メタデータに対して採点される必要があることになる。しかし、スコアは、選択された主要な心理状態指標の間に挿入されることが可能である。例えば、特定の心理状態指標が、「不安な」心理状態を特によく示すと思われる場合、この指標は、不安な心理状態に対する「主要な」値として指定されることが可能である。次に、任意の類似の心理状態指標に対する意味的な関連付けスコアが、指標の最も接近した主要な値と、その最も近い主要な隣接値との間に挿入されてよい。

【0058】

複数要因の心理状態指標に対して、各要因が特定の刺激／応答要因に関係するので、様々な要因が様々な応答方策に多かれ少なかれ関連する可能性がある。刺激／応答要因の中には、一定の応答方策に他の要因より関連するものもある。例えば、社会ロボットのアクションをユーザがどれほどよく反映しているかを測定する「反映（ｍｉｒｒｏｒｉｎｇ）」要因は、シンパシーを表現する方策に肯定的に相関すること、及び対照的な意見を述べる方策に否定的に相関することが可能である。意味的な関連付けスコアはしたがって、前述のように、様々な方策に対する様々な主要な心理状態指標の値の間に挿入されることも可能である。都合のよいことに、心理状態指標に対する数的に判断された測定値の使用は、意味メタデータへの関連付けについての数値判断を容易にすることができ、人間の関与の必要性を減少させる。

【0059】

一般に、心理状態指標が純粋に数的に導き出されるか否か、又は適用可能なスケールに基づいて任意の特定の刺激応答ペアを採点する、いくつかの人間が理解できる符号に基づくか否かは、現在のキャラクタ及び気分に対する固有の性格プロフィールの類似性の所望の度合い（例えば、プラス・マイナス１０％）の範囲内にロボットの社会行動だけを収めること、又は現在の性格プロフィールが作り出された行動セットの一部であるとしてフラグ付けされることが行われるロボットの社会行動の全ての正規のサブセットを、社会ロボットが後で識別することを可能にするはずである。性格プロフィールがどのように作り出されるかに関わらず、リアル・タイムの社会ロボットの動作は常に、ロボットの制御プロセッサにプログラムされたアルゴリズムに基づいて完全に自動化される。

【0060】

社会ロボットのプロセッサによる実行のための、応答の特徴付けに対する処理１０００の実例が図１０に示されている。応答の特徴付けは、心理状態指示に対する刺激応答ペアの作成を容易にする。ブロック１００２において、プロセッサは、データ・ストリーム又はファイルを介して、（現実社会ロボットの場合）センサ・データ、又は（仮想社会ロボットの場合）モデル化された環境データを受け取り、受け取ったデータをキャッシュ・メモリ１００４に記録する。１００６において、プロセッサは、キャッシュからデータを分析し、ロボット技術において知られているような任意の適切なイベント検出方法を使用して１つ又は複数のユーザ・イベントを検出する。検出されたイベントは、例えば、微笑むこと、ロボットに向かって振り返ること、ロボットに背を向けること、及びぶつぶつ言うこと、などの、ユーザによって生成された社会イベントである。プロセッサは、検出されたイベントの識別子をイベント・キャッシュ１００８に入れる。イベント検出１００６に並行して、プロセッサは、ロボットによって出力された任意の定義された社会刺激と関連付けられた全てのユーザ応答を収めるコンピュータ・メモリ内のロボットのユーザ応答ライブラリ１０１２と現在のイベント・キャッシュ１００８の中身を比較する１０１０。応答が検出されない場合１０１６、処理は、社会ロボットの動作が１０２０において終了されるまでブロック１００２に戻る。１０１６において応答が検出されると、プロセッサは、現在の刺激応答ペアを作る際に使用するための、検出された応答の識別子を示す注意喚起の信号を送る１０１４。ロボットを無視することは、社会応答であってよく、また意図しないものであってもよい。したがって応答の欠如は、刺激及び環境条件が、意図的である可能性があるというようなものである場合、「意図的な無視」の応答として識別されることが可能である。ロボット自体が関連刺激を生み出すことに責任があるので、特定の刺激応答イベントの発生を記録することによって注意喚起に応答することができる。１０１４において注意喚起が出されると、プロセッサはキャッシュ１００４及び１００８を消去し１０１８、処理１０００は、社会ロボットの動作が終了されるまでブロック１００２に戻る。

【0061】

前述の方法のそれぞれは、例えば図１１に概略的に示されるように、現実社会ロボット１１００におけるモジュールとして、又は現実社会ロボット１１００による処理として実行されてよい。社会ロボット１１００は、外骨格又は筐体１１３０に収納されたコンピュータとして構成された電気回路を含む、電気機械構成要素を含むことができる。回路は、社会的に重要な方式で頭部又はボディ部が動くようにする、社会ロボット１１００の頭部又はボディ部に接続されたメカニズムを備える、荷重を動かすモータ１１２２を駆動させるモータ・ドライバ・コントローラ１１２０に動作可能なように連結された中央処理装置又はユニット１１０２を含むことができる。プロセッサは応答を決定し、本明細書で上述されたような選択された行動応答に基づいて、運動制御信号をモータ・ドライバ１１２０に送る。運動制御信号は、プロセッサ１１０２によって選択された応答に適合する、接続されたボディ部をモータ１１２２が動かすようにする。

【0062】

ロボット１１００は、プロセッサ１１０２の他に、計算するための他の構成要素を収めることができる。例えば、プロセッサ回路は、ユーザ制御の入力のための、例えばキーパッド又はタッチスクリーンなどの、ユーザ・インターフェース構成要素１１０４に連結されてよい。プロセッサ回路は、例えばタッチスクリーン又は他のディスプレイといった、表示構成要素１１１０に連結されてよい。ディスプレイ１１１０は、ユーザ・インターフェースのため、社会ロボットの表現機能（例えば顔）を表示するため、又は両方のために使用されてよい。プロセッサ回路は、ロボットの周囲の環境の、又はロボットが対話するオブジェクトの環境の、１つ又は複数の環境条件を検知するために構成された１つ又は複数のセンサ１１０６に連結されてよい。１つ又は複数のセンサ１１０６は、例えば、カメラ、光センサ、マイクロフォン、温度センサ、圧力センサ、加速度計、タッチ・センサ、近接センサ、脈拍センサ、注視方向センサ、又は他の検知デバイス若しくはＩｏＴ ＭＥＭＳデバイスを含むことができる。プロセッサ回路は、データ及びプログラム命令を受け取るためのコンピュータ・ネットワークに、又はデータ通信ネットワークに連結するために通信ポート１１０８に連結されてよい。プロセッサ回路は、ロボットの発声を出力するためのオーディオ出力トランスデューサ１１１８にさらに連結されてよい。プロセッサ回路は、揮発性ランダム・アクセス・メモリ・デバイス１１１４に、並びにプログラム命令及びデータの長期保存のための不揮発性メモリ１１１６に、さらに連結されてよい。

【0063】

現実社会ロボット１２００の実例が図１２の等角図に示されている。社会ロボット１２００は、機械的な基礎を伴うスマートフォン１２０２（又は類似のコンピューティング・デバイス及びワイヤレス通信デバイス）のアセンブリを備える。スマートフォン１２０２は、有線インターフェース又はワイヤレス・インターフェースを介して、ベース１２０４内の電力回路及び制御回路に連結する。別々に又は一緒に、スマートフォン１２０２及びベース・ユニット１２０４は、メモリに、及びロボットの構成要素を駆動させるための少なくとも１つの回路に連結された１つ又は複数のプロセッサを保持する電子基板を含む。ベース・ユニット内の回路は、スマートフォンに付いているタッチスクリーン・ディスプレイのない、図１１に対して説明された回路に類似していてよい。スマートフォン内部の回路は、モータ及び運動構成要素のない、図１１の回路に類似していてもよい。一緒にベース・ユニットとスマートフォンは、図１１に描写された構成要素の全てを有する回路を備える。例えば、ロボットのセンサは、スマートフォン１２０２のボディにマウントされたカメラ１２２６を含むことができる。

【0064】

いくつかの実施例において、社会ロボットの動作を制御するためのメイン・プロセッサ及びアプリケーションはスマートフォン１２０２の内部に配置され、ベース・ユニット１２０４内のプロセッサは、スレーブ又はクライアント・システムとして動作する。代替実施例において、社会ロボットの動作を制御するためのメイン・プロセッサ及びアプリケーションはベース・ユニット１２０４の内部に配置され、スマートフォン１２０２は、クライアント又はスレーブの役割を果たす。２つのデバイス、モジュール構造は、普段は、一般に利用可能な多目的デバイス（スマートフォン）がスマートフォンとして使用されることを可能にすると同時に、このデバイスが、ロボット１２００の多くの必要な構成要素を提供できるようにするという利点をもたらす。それでもなお、現実社会ロボットを制御するための本明細書における方法は、ロボットのモジュール・デザイン及びユニタリ・デザインに同様にうまく適用される。

【0065】

ロボット１２００において、顔構成要素は、構成可能なまゆ毛１２２０、構成可能な２つの目１２２２、及び構成可能な口１２２４を含む、スマートフォンのプロセッサによって制御された人間が認識可能な表現機能１２１８を表示する表示画面１２１６を備える。これらの構成要素は、キャラクタがエミュレートされることになる性格プロフィールに基づいて生命を吹き込まれることが可能である。画面１２１６及びスマートフォンのオーディオ・トランスデューサは、例えば、選択されたオーディオ・ビデオ・クリップを再生することといった、環境応答を出力するために使用されてもよい。ロボット１２００は、本明細書でさらに詳細に上述されたようなユーザの社会行動に応答して環境ノードを制御するためのデータ信号をロボット１２００が送ることができるワイヤレス通信機能も含む。

【0066】

ロボット１２００は、顔構成要素に連結された移動可能な頭構成要素をさらに含む。移動可能な頭構成要素は、スマートフォン１２０２を含む。ロボット１２００には人型の胴又は付属器官が欠けているが、これらは、必要に応じて追加されることが可能である。移動可能な頭（電話１２０２）自体は、スマートフォン１２０２の内部のプロセッサによって少なくとも部分的に制御されることが可能であるが、ベース・ユニット１２０４及びベース・ユニットに含まれる回転する「首」構成要素１２０６の移動は、スマートフォン１２０２内のプロセッサと通信しているベース・ユニット１２０４の内部のプロセッサによって少なくとも部分的に制御されることが可能である。

【0067】

ロボット１２００は、スマートフォン１２０２の制御回路に連結されたオーディオ出力トランスデューサ（図示せず）をさらに含むことができる。別の方式で、又はさらに、オーディオ出力トランスデューサは、ベース・ユニット１２０４の中に配置されてよい。オーディオ出力トランスデューサのどちらか一方又は両方がロボットの社会発声のために使用されてよい。オーディオ・トランスデューサは、近接検知ソナー・システムの構成要素として使用されてもよい。

【0068】

ベース筐体１２０８は、ベース・ユニット１２０４内の１つ又は複数のプロセッサによって制御された首メカニズム１２０６を介して頭構成要素（スマートフォン１２０２）に連結された胴構成要素として構成されてよい。首メカニズム１２０６は、胴構成要素１２０８に対する頭構成要素１２０２を回転できるようにする。胴構成要素（筐体）１２０８は、ベース筐体１２０８の内側に配置されたモータ及びモータ・ドライバを介して制御回路に接続されてよい。ベース筐体１２０８は、ホイール又はキャスタ（１２１０において示されるもの）によって支持されることが可能であり、これらのうちの少なくとも１つが、ロボットの中央処理装置の制御下にあるモータによって駆動され、これらのうちの少なくとも１つが操縦されることが可能である。したがって、筐体１２０８は、任意のナビゲート可能な固い表面の上を移動及び回転することができる。「頭」１２０２は、エリア内の任意のユーザ、人物、又はオブジェクトに向かって振り返ることもでき、首構成要素及び胴構成要素１２０６、１２０８によって２つの回転の自由度を与えられている。

【0069】

衝突又は転倒を防ぐために、１対の近接センサ１２１２、１２１４及び／又はカメラ１２２６が、ロボットのプロセッサにおいて実行するナビゲーション・エンジンにナビゲーション・データを送ることができる。ナビゲーション・エンジンは、衝突及び転倒を防ぐために、移動可能な胴１２０８及び首１２０６の移動を制限すること、又は変化させることができ、一方、そうでなければ、リクエストされた社会行動に適合する出力運動を行う。

【0070】

そのためにも、ロボット１２００のコンピュータ・メモリは、ロボット１２００の１つ又は複数のプロセッサによって実行されると、ロボットとのユーザの社会対話に対するエンパシー環境応答（例えばビデオ・クリップを再生すること）を行うこと、及び本明細書で説明されるようなさらに具体的な動作を行うことを、社会ロボットに行わせる、プログラム命令を保持することができる。

【0071】

本明細書で説明されるエンパシー環境制御技法は、仮想環境内でユーザと社会的に対話すること、及びユーザの現実環境又は仮想環境の中でネットワーク・ノードと通信することができる仮想社会ロボットに、同様にうまく利用されることが可能である。したがって、仮想社会ロボットは、実際のロボットによるアクションを必要としない、本明細書で説明される詳細な動作のいずれかを実行することができる。

【0072】

例えば、図１３は、ブロック図の形式で、仮想社会ロボット１３００のハードウェア構成要素を示す。仮想社会ロボット１３００は、仮想環境、及び仮想環境内の仮想社会ロボットを生成するために使用されることが可能であり、また社会ロボットに対して、又は社会ロボット及び社会ロボットの仮想環境のいくつかの限定された部分に対して、排他的に専用であることが可能な、制御プロセッサ１３０２を含む。プロセッサ１３０２は、プログラム命令の実行を可能にする短期メモリ１３０４（例えばＲＡＭ）、並びに仮想データ及びプログラム命令の長期ストレージのための不揮発性データ・ストア１３０６に連結されてよい。プロセッサ１３０２は、データ通信又はコンピュータ・ネットワークを介してデータを送受信するための通信ポートに連結されてよい。

【0073】

仮想社会ロボット１３００は、オーディオ及びビデオという少なくとも２つの出力を介して表現されることが可能である。社会ロボット１３００は、オーディオ出力トランスデューサ１３２０に送るためのオーディオ信号１３１３を生み出す、プロセッサ１３０２に連結されたオーディオ・ドライバ構成要素１３１２を含むことができる。社会ロボット１３００は、ビデオ表示デバイス１３１８に送るためのビデオ信号１３１６を生み出す、プロセッサ１３０２に連結されたグラフィック・ドライバ構成要素１３１０を含むこともできる。仮想社会ロボット１３００は、プロセッサ１３０２によって実行されると、エンパシー的環境応答（例えばビデオ・クリップを再生すること）をロボットとのユーザの社会対話に対して行うこと、及び本明細書で説明されるようなさらに詳細な動作を行うことを、社会ロボットに行わせるプログラム命令をメモリ１３０４に保持することができる。

【0074】

図１４は、仮想社会ロボットのハードウェア構成要素又はファームウェア構成要素１４００の実例を示す。ロボットのハードウェア構成要素は、図１３に対して示され、説明されたものと一致していてよい。ファームウェア構成要素１４００のソフトウェアは、幾何学メッシュ１４０２、骨の骨組み又はシステム１４０４、骨組み１４０４の動きにメッシュがどのように応答するかに影響するメッシュ変形ルール１４０６のセット、及び表面描画データ１４０８（例えば、放散、スペキュラ、及びバンプ又は高度マップ）を含むことができる。ソフトウェア構成要素又はファームウェア構成要素は、モデル操作及び描画の技術分野で知られるような任意の適切な要素を含むことができる。構成要素は、描画されると、任意の所望の外観の仮想社会ロボット１４１０を生じる任意の所望の方式で構成されてよい。一定の性格を有する単一の仮想ロボットは、社会表現として様々な外観を呈することさえできる。仮想キャラクタを操作及び描画する技術的な態様は当技術分野においてよく理解されており、全体的に社会ロボットに対する本明細書で説明されるような社会対話技法に基づいて環境制御を使用することに、容易に適応されることが可能である。

【0075】

図１５を参照すると、現実社会ロボット及び仮想社会ロボットは、単一の現実仮想社会ロボットを表現するために協調されること１５００が可能である。例えば、位置決めデバイスを保持する現実モバイル社会ロボットは、仮想現実ゲームのための実際のプレイ・スペースを動き回ること（例えば、フロアを移動すること、空中を飛ぶこと、壁を登ること、又はこれらの運動若しくは他の運動の組合せ）ができる。仮想現実（又は拡張現実）装置をそれぞれ身につけている１人又は複数のユーザは、現実社会ロボットの現在地に対応する場所で、仮想環境において描画された（又は現実環境を拡張する）仮想社会ロボットを見たり聴いたりすることができる。現実社会ロボットは、現実環境におけるユーザ・アクション、及び仮想環境におけるユーザ・アクションに応答して動くことができる。例えば、Ｑｕｉｄｄｉｔｃｈのゲームは、このようにしてプレイされることが可能であり、またさらなる実例として、「Ｃａｐｔｕｒｅ Ｂｕｇｓ Ｂｕｎｎｙ」のゲームなどの性格をもつキャラクタで、Ｑｕｉｄｄｉｔｃｈ ｓｎｉｔｃｈが置き替えられる類似のゲームがこのようにして再生されることが可能である。混合型社会ロボットに対する他の多くのユース・ケースも可能である。これらのユース・ケースのそれぞれにおいて、複合現実セッションのための制御プロセッサは、現実応答セット１５０４に、及び仮想社会ロボット応答セット１５０６に、単一の（総合的な）行動応答セット１５０２を割り振ることができる。例えば、全体的な運動応答は現実ロボットに割り振られてよく、他の応答（例えば表情及び発話）は、仮想ロボットに割り振られてよい。刺激は誘発するためのものであり、応答は逆に、現実背景及び仮想背景において検出された刺激を集約することによって検出されることが可能である。制御プロセッサは、現実社会ロボット及び仮想社会ロボットの応答が協調されるように、応答セット１５０４、１５０６をさらに同期することができる。他の点において、ロボットとのユーザの社会対話に応答してエンパシー的環境出力を行うこと（例えばビデオ・クリップを再生すること）は、本明細書の他の場所で説明されるように行われてよい。

【0076】

前述の観点から、また追加の実例として、図１６は、方法８００の態様、即ちロボットとのユーザの社会対話に応答して、エンパシー的環境出力（例えばビデオ・クリップを再生すること、又は他の非ロボット的アクション）を行う社会ロボットを制御するための方法を示す。方法１８００は、現実社会ロボット、複合現実出力デバイス、コンピュータ・ネットワーク、又は前述の組合せ、及び本明細書で上述されるようなプロセッサに接続された構成要素を制御するコンピュータ・プロセッサによって行われてよい。方法１６００を行う現実社会ロボット又は仮想社会ロボットは、例えば図１１に示されるプロセッサ１１０２及び関連付けられた回路などの、社会ロボットの構成要素を駆動させるための少なくとも１つの回路に連結された１つ又は複数のプロセッサを含むことができる。社会ロボットは、少なくとも１つの回路に接続された社会表現構成要素をさらに含むことができ、社会表現構成要素は、社会行動アルゴリズムに従って１つ又は複数のプロセッサによって制御された、人間が認識可能な表現機能を含む。例えば、現実社会ロボットは、図１２に示されるような顔を描く表示画面１２１６を含むことができ、一方、仮想社会ロボットは、顔のあるキャラクタ１４１０の構成要素を描画及びモデル化することを含むことができる。方法１６００を行う社会ロボットは、ユーザが社会ロボットと対話しているのを観察するために置かれた、少なくとも１つの回路に接続されたカメラ、又はユーザからの音を受け取るために置かれた、少なくとも１つの回路に接続されたマイクロフォンのうちの少なくとも１つをさらに含むことができる。例えば、図１に示された現実社会ロボット１０２は、カメラ１１４とマイクロフォン１１６の両方を含む。仮想社会ロボットは、ヘッドセット・インターフェースを使用して、ユーザ・アクションを検知するために置かれた、ヘッドセットにマウントされたカメラ又はマイクロフォンからデータを受け取ることができる。方法１６００を行う社会ロボットは、少なくとも１つの回路に連結されること、及び１つ又は複数のプロセッサに連結されることが行われたプログラム・メモリをさらに含むことができ、プログラム・メモリは、方法の動作を社会ロボットに行わせる、１つ又は複数のプロセッサによる実行のために構成されたプログラム命令を保持する。例えば、社会ロボットは、図１に示されたようなメモリ１０６、図１１に示されたようなＲＡＭ１１４、又は図１３に示されたようなメモリ１３０４を含むことができる。

【0077】

方法１６００は、１６１０において、社会表現構成要素を動作させることによって、ユーザと社会的に対話することを含むことができる。社会表現構成要素は、社会ロボットの構成要素を駆動させるための少なくとも１つの回路に連結されてよい。社会表現構成要素は、社会行動アルゴリズムに従って少なくとも１つの回路によって制御された、人間が認識可能な表現機能（例えば、ビデオ画面上に表示される目、まゆ毛、口）を含むことができる。社会行動アルゴリズムは、検出された社会設定、及びユーザ社会応答に基づいて、ロボットの社会アクション（例えば、微笑むこと、眉をひそめること、話すこと、振り返ること、移動すること）を選択することができる。

【0078】

方法１６００は、１６２０において、１つ又は複数のプロセッサによって、少なくとも１つの回路に連結されたビデオ・カメラ及びマイクロフォンからのデータに少なくとも部分的に基づいてユーザ行動を判断することをさらに含むことができる。「判断すること」は、ビデオ・カメラ又はマイクロフォンからの入力に基づいて、ユーザ行動を認識することという意味である。１つの態様において、判断すること１６２０のための情報の発信源は、プロセッサに連結された１つ又は複数の物理センサを含むことができ、判断すること１６２０に関する動作は、１つ又は複数のセンサからのデータに基づいてイベントのセットを認識することを含む。ユーザによる社会アクションは、ロボットがユーザ・コマンドを自動的に実行するという意図の、ロボットへのユーザによるコマンドの発行を除く。しかし、社会アクションは、ユーザによるリクエストの内容に単に基づくのではなく、リクエストが行われる社会コンテンツに少なくとも部分的に基づいて、ロボットがロボットの応答を判断するという背景における、ユーザによるリクエストを含むことができる。判断すること１６２０は、例えば、図３のブロック３０２～３１０に対して説明されたような社会アクション認識の様々なモードを含むことができる。社会アクション認識のための他の技法が使用されてもよい。

【0079】

方法１６００は、１６３０において、１つ又は複数のプロセッサによって、社会ロボットの社会行動にユーザ行動を相関させることをさらに含むことができ、相関させること１６３０は、例えば図３のブロック３１６、及び図４に対して説明されたようなアクション・データのキャッシュ、又は図９～図１０に対して説明されたような純粋に数値の相関関係をフィルタリングすることを含むことができる。本明細書で上述されるように、相関させることは心理状態指標を作り出し、これは、ユーザの社会行為に応答したエンパシー的環境アクションの選択を可能にする心理状態指標である。例えば、選択されたビデオ・クリップを再生すること、部屋の照明を変化させること、ムード音楽を再生することなど、エンパシー的アクションの様々な実例が、前述の開示の中で提供された。

【0080】

方法１６００は、１６４０において、相関させることに基づいてデータ信号を生成することをさらに含むことができる。例えば、プロセッサは、ユーザの環境における出力デバイスのための応答を選択した後、出力デバイスが接続されているネットワークの通信レイヤ上での応答を出力デバイスに行わせるための命令をエンコードすることができる。方法１６００は、１６５０において、データ信号によってエンコードされた情報に対して電子出力デバイスに応答させるために構成されたデータ信号を出力することをさらに含むことができる。例えば、プロセッサは、データ信号を出力デバイスに送信する、社会ロボットの送信構成要素にデータ信号を送ることができる。

【0081】

方法の１つの実施例において、ロボットは、メモリに連結されること、及びロボットの構成要素を動かすための少なくとも１つの回路に連結されることが行われた１つ又は複数のプロセッサを保持する電子基板を含む。このような実施例において、ロボットに応答を行わせることは、電気信号を回路に送ることを含むことができ、信号は、回路に接続されたモータに、ロボットの一部（例えば、頭、首、又は付属器官）を動かすことを行わせるように構成される。さらに、又は代替において、ロボットは、メモリ及び社会表現構成要素に動作可能なように連結されたプロセッサを保持する電子基板を含み、社会表現構成要素は、社会行動アルゴリズムに従って１つ又は複数のプロセッサによって制御された、人間が認識可能な表現機能を含む。このような実施例において、ロボットに応答を行わせることは、社会表現構成要素に電気信号を送ることを含むことができ、信号は、表現機能の動きが生じるように構成される。例えば、社会表現構成要素はビデオ表示画面を含むことができ、ロボットは、１つ又は複数の人間が認識可能な表現機能（例えば少なくとも２つのこのような機能）をエンコードするビデオ信号を表示画面に送ることができ、表情におけるこれらの機能に生命を吹き込ませる。

【0082】

１つ代替実施例において、ロボットは、メモリに連結されること、ユーザ入力ポートに連結されること、及び例えば、ビデオ画面、プロジェクタ、仮想現実ヘッドセット、又は拡張現実ヘッドセットといったビデオ出力デバイスに連結されることが行われたプロセッサを含む。ロボットの社会行動のユーザの体感は全面的に仮想であってよい。このような実施例において、ロボットに応答を行わせることは、仮想コンピュータ環境においてモデルのアニメーションをモデル化すること、環境及びロボットを描画すること、並びに応答を行うロボットのビデオ又は同等の動画をビデオ出力デバイスに出力させる電気信号をビデオ出力デバイスに送ることを含むことができる。このような実施例において、ロボットによって体感されるイベントについての情報の発信源は、ロボットがふるまう仮想環境のコンピュータ・モデルを含むことができ、刺激を認識することは、コンピュータ・モデルの活動を追跡することを含むことができる。

【0083】

図１７及び図１８は、方法１６００に組み込まれることが可能な追加動作１７００及び１８００を示す。追加動作１７００又は１８００の任意の１つ又は複数は、任意の動作順序で方法１６００の他の動作と組み合わされてよい。動作１７００及び１８００を別々の図に編成することは例証の便宜のためにすぎず、開示の方法にとって重要なものであると解釈されるべきではない。

【0084】

図１７を参照すると、方法１６００は、追加動作１７００の任意の１つ又は複数を含むことができる。方法１６００は、１７１０において、相関させることに基づいて現在の心理状態指標を判断することを含むことができる。心理状態指標は、例えば図３のブロック３１６、及び図４に対して説明されたように、又は図９～図１０に対して説明されたように判断されてよい。１つの代替において、相関させることは、例えば、複数の指標を判断すること、又は関係データ構造を使用してロボットの社会行動にユーザ行動を相関させることなどによって、単一の符号の指標を導き出すことなく行われてよい。

【0085】

方法１６００は、１７２０において、予め記録されたオーディオ・ビデオ・コンテンツ・クリップの識別子と関連付けられた意味メタデータを現在の心理状態指標と比較することに基づいて、この識別子の選択を行わせることを含むことができる。予め記録されたオーディオ・ビデオ・クリップを選択するさらに詳細な態様は、図５及び図６に対して本明細書で上述されている。１つの態様において、コンテンツのローカル・データベース又はリモート・データベースは、現在の心理状態指標に応答して、又は予想される将来条件に応答して、社会ロボットのユーザと選択的に共有されてよい。例えば、コンテンツのデータベースは、クリップの意味コンテンツに基づいて索引付けされた、ビデオ・クリップ、オーディオ・ビデオ・クリップ、又はオーディオ・クリップを含むことができる。社会ロボットは、任意の社会目的のためのクリップのうちの選択された１つを出力するように構成されてよい。例えば、社会ロボットのユーザが不幸せであると社会ロボットが検知すると、社会ロボットは、ユーザの既知のお気に入りのコンテンツ又はキャラクタのクリップからユーモラスなクリップを選択することができる。さらなる実例として、例えば、多少の運動を行うようにユーザを奨励するために、検知された社会局面に対して社会ロボットがコメントしている場合、社会ロボットは、何とかして、起きて多少の運動をすることをユーザに気づかせる、ユーザの特性にマッチする個人的な特性又は人口統計学上の特性によってユーザに対して必要に応じてマークされているクリップを再生することができる。したがって、ユーザは、社会ロボットのコンテンツ選択アルゴリズムによって選択されたクリップのコンテキスト及び選択によって楽しむことができる。さらに詳細な態様において、またさらなる実例として、ロボットは、
・ 例えば、興味レベルを対象ユーザに質問すること、又はそうでなければ「テストすること」によって、対象ユーザに興味を持たせる分野、ジャンル、作品（散文、詩、絵画、ビデオ、芸術、等）を識別することによって、どのタイプの関連コンテンツ・クリップに現在の１人又は複数のユーザが興味を示す可能性があるかを知ること、及びその後、選択されたコンテンツ・クリップを視聴覚的に出力すること
・ 社会ロボットが関与している社会対話に同期されたコンテンツ・クリップを対象ユーザが見たり聴いたりできるように、又は権限付与されたユーザ・リクエストに応答して、ロボットから独立している視聴覚表示装置（例えば、スピーカ、電話、タブレット、ＰＣ、スマートＴＶ、ＡＲヘッドセット／眼鏡、等）に、選択されたコンテンツ・クリップをワイヤレスで送ること（又はこれらのクリップをリモート・サーバから送ってもらうこと）
・ 対象ユーザに対する関連コンテンツに合わせること、又はそうでなければ入手することを行うように、例えば、Ａｍａｚｏｎ（商標）Ｅｃｈｏ（商標）、及びＦｉｒｅ Ｓｔｉｃｋ（商標）などのワイヤレス・デバイスに命令することであって、コンテンツが、ユーザ／局面パラメータに基づいて社会ロボットによって選択されるか、ユーザによって選択される、命令すること
を行うことができる。

【0086】

方法１６００は、１７３０において、現在の心理状態指標をリモート・サーバに送信すること、及び予め記録されたオーディオ・ビデオ・コンテンツ・クリップの識別子をリモート・サーバから受け取ることを含むことができる。したがって、ロボットは、コンテンツ選択行うために別のネットワーク・ノードに依存することができる。選択されたコンテンツは、任意の適切なネットワーク・ノードから、選択された出力デバイスにストリーミングされるか、そうでなければ送られてよい。１つの態様において、社会ロボットのメモリは、予め記録されたオーディオ・ビデオ・コンテンツ・クリップの対応する識別子に関係する意味メタデータとそれぞれ関連付けられた、コンテンツ・クリップの識別子を保持することができる。このようなケースにおいて、方法１６００は、１７３０において、コンテンツ選択アルゴリズムを実行することを社会ロボットに行わせ、それによって識別子の選択を行わせることを含むことができる。

【0087】

方法１６００は、１７４０において、ユーザの気分の指標、又はユーザ要望の指標のうちの少なくとも１つを現在の心理状態指標が示すように、現在の心理状態指標を判断することによって少なくとも部分的に相関させることを行うことを含むことができる。例えば、眉をひそめることは、不幸せな気分を示すものとして解釈されることが可能である。そわそわした行動は、何か違うもの又は刺激を望む気持ちを示すものとして解釈されることが可能である。

【0088】

１つの態様において、電子出力デバイスは、オーディオ・ビデオ出力デバイスであってよく、またオーディオ・ビデオ出力デバイスを含んでもよい。方法１６００は、１７５０において、予め記録されたオーディオ・ビデオ・コンテンツ・クリップがオーディオ・ビデオ出力デバイスによって出力されるように、データ信号を構成することを社会ロボットに行わせることを含むことができる。例えば、社会ロボットは、出力デバイスに対してオーディオ・ビデオ・クリップをストリーミングすること、社会ロボットの回路機器に統合されたビデオ出力デバイスにオーディオ・ビデオ・クリップを内部バス上で送ること、又はオーディオ・ビデオ・クリップを収めるファイルを出力デバイスに送ることができる。例えば、オーディオ・ビデオ出力デバイスは、社会表現構成要素に連結されてよく、ビデオ出力デバイスは、コンピュータ・ネットワーク上で社会ロボットに連結されてよい。１つの代替において、例えば、社会表現構成要素は、オーディオ・ビデオ出力デバイスであってよく、またオーディオ・ビデオ出力デバイスを含んでもよく、ロボットの表情を提供するためのビデオ画面は、ビデオを出力するのに役立てることもできる。

【0089】

図１８を参照すると、方法１６００は、追加動作１８００の任意の１つ又は複数を含むことができる。方法１６００は、１８１０において、電子出力デバイスに応答させるためのデータ信号を構成することを含むことができ、電子出力デバイスは家庭電化製品又は自動車のうちの少なくとも１つを含み、データ信号によってエンコードされた情報は家庭電化製品又は自動車に対する操作命令を含む。（例えば心理状態指標を使用して）相関させることに応答して家庭電化製品を動作させる実例は、例えば図１に対して上述されている。

【0090】

上述のように、社会ロボットは、例えば、脈拍センサ、皮膚温センサ、又は注視方向センサといった、特化された生体認証センサを含むことができる。生体認証センサは、ユーザの身体状態に応答してデータ信号を送るための少なくとも１つの回路に連結されることが可能である。このようなケースにおいて、方法１６００は、１８２０において、生体認証センサからのデータ信号にさらに基づいて現在の心理状態指標を判断することを含むことができる。生体認証センサは、介在するワイヤレス受信機とワイヤレス送信機のペアを介して少なくとも１つの回路に連結されることが可能である。

【0091】

方法１６００は、１８３０において、ユーザとの社会対話が発生している、検出された背景にさらに基づいて、データ信号を出力デバイスに送ることによって行われることになる応答を選択することを含むことができる。例えば、社会ロボットは、ユーザが家にいるか否か、オフィス環境にいるか否か、又は他の人々の近くにいるか否かによって、再生するための異なるコンテンツを選択することができる。１つの態様において、方法は、１８４０において、位置ビーコン信号又は他のＩＯＴ ＭＥＭＳ信号にさらに基づいて応答を選択することを含むことができる。例えば、社会ロボットは、位置情報又は現在のイベント情報を伴うワイヤレス・ビーコンを、エリア内にある送信機から受け取ることができる。社会ロボットは、他の関連するエンパシー的アクションを除外する追加フィルタとして、位置情報又は現在のイベント情報を含むことができる。１つの代替において、ロボットは、応答リストに含まれる追加のエンパシー的アクションを含むビーコン情報をアトラクタとして使用することができる。方法１６００は、前述の説明において説明されたような、上記で要約されたステップに対する、さらに詳細な動作をさらに含むことができる。

【0092】

図１９は、ロボットとのユーザの社会対話に応答して、エンパシー的環境出力（例えばビデオ・クリップを再生すること、又は他の非ロボット的アクション）を行う社会ロボットの制御のための装置又はシステム１９００の構成要素を示す概念ブロック図である。装置又はシステム１９００は、本明細書で説明されるような機能又は処理動作を行うための追加の構成要素又はさらに詳細な構成要素を含むことができる。例えば、プロセッサ１９１０及びメモリ１９１６は、ロボットとのユーザの社会対話に応答して、エンパシー的環境出力を行うための処理の具体例を収めることができる。描写されるように、装置又はシステム１９００は、プロセッサ、ソフトウェア、又はこれらの組合せ（例えばファームウェア）によって実行される機能を表すことができる機能ブロックを含むことができる。

【0093】

図１９に示されるように、装置又はシステム１９００は、ユーザと社会的に対話するための電気的構成要素１９０２を備えることができる。構成要素１９０２は、前記対話するための手段であってよく、また前記対話するための手段を含んでもよい。前記手段は、メモリ１９１６に連結されたプロセッサ１９１０を含むことができ、プロセッサは、メモリに格納されたプログラム命令に基づいてアルゴリズムを実行する。このようなアルゴリズムは、例えば図１～図２に対して説明されたような、ユーザと社会的に対話するための一連のさらに詳細な動作を含むことができる。例えば、前記手段は、社会ロボットの構成要素を駆動させるための少なくとも１つの回路に連結された社会表現構成要素を含むことができる。社会表現構成要素は、社会行動アルゴリズムに従ってロボットの少なくとも１つの回路によって制御された、人間が認識可能な表現機能を含むことができ、少なくとも１つの回路は、１つ又は複数のプロセッサを備える。

【0094】

装置１９００は、少なくとも１つの回路に連結されたビデオ・カメラ及びマイクロフォンからのデータに少なくとも部分的に基づいてユーザ行動を判断するための電気的構成要素１９０３をさらに含むことができる。構成要素１９０３は、前記判断するための手段であってよく、また前記判断するための手段を含んでもよい。前記手段は、メモリ１９１６に連結された、及び少なくとも１つのセンサ（図示せず）に連結されたプロセッサ１９１０を含むことができ、プロセッサは、メモリに格納されたプログラム命令に基づいてアルゴリズムを実行する。このようなアルゴリズムは、例えば、ブロック３０２～３１０において図３に対して説明されたような、一連のさらに詳細な動作を含むことができる。

【0095】

装置１９００は、社会ロボットの社会行動にユーザ行動を相関させるための電気的構成要素１９０４をさらに含むことができる。構成要素１９０４は、前記相関させるための手段であってよく、また前記相関させるための手段を含んでもよい。前記手段は、メモリ１９１６に連結されたプロセッサ１９１０を含むことができ、プロセッサは、メモリに格納されたプログラム命令に基づいてアルゴリズムを実行する。このようなアルゴリズムは、例えば、図４、又は図９～図１０などに対して本明細書で上述されたような心理状態指標を導き出すための処理のいずれかといった、一連のさらに詳細な動作を含むことができる。

【0096】

装置１９００は、相関させることに基づいてデータ信号を生成するための電気的構成要素１９０５をさらに含むことができる。構成要素１９０５は、前記生成するための手段であってよく、また前記生成するための手段を含んでもよい。前記手段は、メモリ１９１６に連結されたプロセッサ１９１０を含むことができ、プロセッサは、メモリに格納されたプログラム命令に基づいてアルゴリズムを実行する。このようなアルゴリズムは、例えば、出力デバイスによって所望のアクションの識別子を受け取ること、及び出力デバイスのアプリケーション・インターフェースに従ってアクションを行うための命令をエンコードすることといった、一連のさらに詳細な動作を含むことができる。

【0097】

装置１９００は、エンパシー的応答を生成する、データ信号によってエンコードされた情報に対して電子出力デバイスに応答させるために構成されたデータ信号を出力するための電気的構成要素１９０６をさらに含むことができる。構成要素１９０６は、前記出力するための手段であってよく、また前記出力するための手段を含んでもよい。前記手段は、メモリ１９１６に、及びモータ・ドライバ１９１２、オーディオアダプタ１９１３、ディスプレイアダプタ１９１４の１つ若しくは複数に、又はネットワーク・インターフェース・モジュールに、動作可能なように連結されたプロセッサ１９１０を含むことができ、プロセッサは、メモリに格納されたプログラム命令に基づいてアルゴリズムを実行する。このようなアルゴリズムは、例えば、選択された出力デバイスにデータ信号を送ること、ネットワーク・インターフェース・モジュールに、送られたデータ信号を送ること、及びネットワーク・インターフェース・モジュールを介して出力デバイスにデータ信号を送ることといった、一連のさらに詳細な動作含むことができる。

【0098】

装置１９００は、少なくとも１つのプロセッサを有するプロセッサ・モジュール１９１０を任意選択で含むことができる。プロセッサ１９１０は、バス１９１９又は類似の通信連結を介してモジュール１９０２～１９０６と動作的な通信を行う状態にあることができる。別の方式において、モジュールの１つ又は複数は、プロセッサのメモリ内の機能モジュールとしてインスタンス生成されることが可能である。プロセッサ１９１０は、電気的構成要素１９０２～１９０６によって行われる処理又は機能の開始及びスケジューリングを実行することができる。

【0099】

関連した態様において、装置１９００は、送受信機１９１２の代わりに、又は送受信機１９１２の他に、コンピュータ・ネットワーク上でシステム構成要素と通信するために動作可能なネットワーク・インターフェース・モジュール（図示せず）を含むことができる。ネットワーク・インターフェース・モジュールは、例えば、イーサネット（登録商標）・ポート又はシリアル・ポート（例えばユニバーサル・シリアル・バス（ＵＳＢ）ポート）であってよく、またこれらのポートを含んでもよい。さらに関連した態様において、装置１９００は、例えばメモリ・デバイス１９１６などの、情報を格納するためのモジュールを任意選択で含むことができる。コンピュータ可読媒体即ちメモリ・モジュール１９１６は、バス１９１９又は同様のものを介して装置１９００の他の構成要素に動作可能なように連結されることが可能である。メモリ・モジュール１９１６は、モジュール１９０２～１９０６、及びこれらのサブコンポーネント、若しくはプロセッサ１９１０、又は方法１６００、及び本明細書で開示された追加動作１７００若しくは１８００の１つ若しくは複数の処理及び動作を実行するためのコンピュータ可読命令及びデータを格納するために適応されてよい。メモリ・モジュール１９１６は、モジュール１９０２～１９０６と関連付けられた機能を実行するための命令を保持することができる。メモリ１９１６の外部にあるものとして示されるが、モジュール１９０２～１９０６は、メモリ１９１６、又はプロセッサ１９１０のオンチップ・メモリの中にあってもよいということを理解されたい。

【0100】

装置１９００は、別のシステム構成要素との間で通信信号を送受信するためのワイヤレス送信機／受信機又は有線の送信機／受信機として構成された送受信機（図示せず）を含むことができる。代替実施例において、プロセッサ１９１０は、コンピュータ・ネットワーク上で動作するデバイスからのネットワーク化されたマイクロプロセッサを含むことができる。さらに、装置１９００は、ユーザへの社会ロボット応答を出力デバイスに発声させる、オーディオ出力デバイスにオーディオ信号を送るためのオーディオアダプタ１９１３を含むことができる。装置１９００は、ビデオ信号を仮想環境に送るため、社会ロボット出力をユーザに送るため、又はその両方のためのディスプレイアダプタ１９１４を含むことができる。装置１９００は、ユーザが体感するように社会アクションを行う手法で社会ロボットの一部をモータが動かすようにする、電力をモータに供給するためのモータ・ドライバを含むことができる。

【0101】

本明細書で開示された態様に対して説明された様々な例証的な論理ブロック、モジュール、回路、及びアルゴリズム・ステップが、電子ハードウェア、コンピュータ・ソフトウェア、又は両方の組合せとして実装されることが可能であるということを当業者はさらに正しく認識するであろう。ハードウェア及びソフトウェアのこの交換可能性を明確に示すために、様々な例証的な構成要素、ブロック、モジュール、回路、及びステップが、これらの機能の観点から全体的に上述された。ハードウェア又はソフトウェアとしてこのような機能が実装されるかどうかは、特定のアプリケーション、及び全体的なシステムに課される設計制約に依存する。当業者は、それぞれの特定のアプリケーションに対して様々な方式で、説明された機能性を実装することができるが、このような実装形態の判定は、本開示の範囲からの逸脱を生じるものとして解釈されるべきではない。

【0102】

本出願において使用されるような用語「構成要素」、「モジュール」、「システム」、及び同様のものは、コンピュータ関連のエンティティを指すためのものであり、ハードウェア、ハードウェアとソフトウェアの組合せ、ソフトウェア、又は実行中のソフトウェアのいずれかである。例えば、構成要素又はモジュールは、プロセッサ上で動く処理、プロセッサ、オブジェクト、実行ファイル、実行のスレッド、プログラム、及び／又はコンピュータであってよいがこれらに限定されない。例証として、サーバ上で動くアプリケーションと、サーバの両方が、構成要素又はモジュールであってよい。１つ又は複数の構成要素又はモジュールは、実行の処理及び／又はスレッド内にあってよく、構成要素又はモジュールは、１つのコンピュータ上に局所化されてよく、及び／又は２つ以上のコンピュータ間に分散されてもよい。

【0103】

様々な態様は、いくつかの構成要素、モジュール、及び同様のものを含むことができるシステムの観点から提示されることになる。様々なシステムが、追加の構成要素、モジュール、等を含むことができるということ、及び／又は図に対して論じられた構成要素、モジュール、等の全てを含まなくてもよいということを理解し、正しく認識されたい。これらのアプローチの組合せが使用されてもよい。本明細書で開示された様々な態様は、タッチスクリーン・ディスプレイ技術、ヘッド・アップ・ユーザ・インターフェース、ウェアラブル・インターフェース、並びに／又はマウス及びキーボード・タイプ・インターフェースを利用するデバイスを含む電気的デバイスに対して行われることが可能である。このようなデバイスの実例は、ＶＲ出力デバイス（例えばＶＲヘッドセット）、ＡＲ出力デバイス（例えばＡＲヘッドセット又は眼鏡）、コンピュータ（デスクトップ及びモバイル）、スマートフォン、パーソナル・デジタル・アシスタント（ＰＤＡ）、タブレット、自動運転車を含む自動車又は船、並びに有線とワイヤレス両方の他の電子デバイスを含む。

【0104】

さらに、本明細書で開示された態様に対して説明された様々な例証的な論理ブロック、モジュール、及び回路は、汎用プロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）若しくは他のプログラム可能論理デバイス、個別のゲート・ロジック又はトランジスタ・ロジック、個別のハードウェア構成要素、又は本明細書で説明される機能を行うように設計されたこれらの任意の組合せによって実装又は実行されてよい。汎用プロセッサはマイクロプロセッサであってよいが、別の方式では、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械であってよい。プロセッサは、例えば、ＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアを伴う１つ若しくは複数のマイクロプロセッサ、又は他の任意のこのような構成といった、コンピューティング・デバイスの組合せとして実装されることも可能である。

【0105】

本明細書で開示された動作の態様は、ハードウェアの中、プロセッサによって実行されるソフトウェア・モジュールの中、又はこれらの２つの組合せの中に直接的に具現化されてよい。ソフトウェア・モジュールは、ＲＡＭメモリ、フラッシュ・メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取外し可能ディスク、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（商標）、又は当技術分野で知られたストレージ媒体の任意の他の形式の中にあってよい。例示的なストレージ媒体は、プロセッサがストレージ媒体に情報を読み書きできるようにプロセッサに連結される。別の方式では、ストレージ媒体はプロセッサに統合されてよい。プロセッサ及びストレージ媒体は、ＡＳＩＣの中にあってよい。ＡＳＩＣは、クライアント・デバイス又はサーバの中にあってよい。別の方式では、プロセッサ及びストレージ媒体は、クライアント・デバイス又はサーバ内の個別の構成要素として存在することができる。別の代替において、本明細書で開示される動作の態様は、プロセッサ若しくはソフトウェア・モジュール、又はこれら２つの組合せによってその後実行されるロボットのハードウェアにリアル・タイム又は準リアル・タイムに供給されるソフトウェアのストリームに具現化されてよい。このように、計算能力は、ロボットのオン・ボード処理が削減されるようにクラウドに移されることが可能であり、一方でクラウド・ベースの計算能力は、ほぼ無制限である可能性があり、さらに洗練された入力、その後の分析、認識及び／又は応答、並びにクラウドで行われることになる関連計算タスクを可能にする。

【0106】

さらに、開示された態様を実行するようにコンピュータを制御するために、標準プログラミング技法及び／又はエンジニアリング技法を使用してソフトウェア、ファームウェア、ハードウェア、又はこれらの任意の組合せを生み出す、方法、装置、又は製品として１つ又は複数のバージョンが実装されてよい。非一時的コンピュータ可読媒体は、磁気ストレージ・デバイス（例えば、ハードディスク、フロッピー（登録商標）・ディスク、磁気帯、又は他の形式）、光ディスク（例えば、コンパクト・ディスク（ＣＤ）、ＤＶＤ、ブルーレイ（商標）、又は他の形式）、スマート・カード、及びフラッシュ・メモリ・デバイス（例えば、カード、スティック、又は他の形式）を含むことができるが、これらに限定されない。当業者は、開示された態様の範囲から逸脱することなく、多くの修正がこの構成に対して行われてよいということを認識するであろう。

【0107】

開示された態様の先の説明は、当業者が本開示を作ること又は使用することを可能にするために提供される。これらの態様に対する様々な修正は、当業者には容易に明らかになり、本明細書で定義される包括的な原理は、本開示の精神又は範囲から逸脱することなく、他の実施例に利用されることが可能である。したがって、本開示は、本明細書で示される実施例に限定されることを意図するものではなく、本明細書で開示された原理及び斬新な特徴と一致する最も広い範囲に一致することを意図するものである。

【0108】

上記に説明された例示的なシステムから判断して、開示の主題に従って実装され得る方法が、いくつかの流れ図を参照しながら説明されてきた。説明の簡潔さのために、一連のブロックとして方法が示され、説明されているが、いくつかのブロックは、本明細書で描写され、説明されるものとは異なる順序で、及び／又は他のブロックと並行して発生することができるので、特許請求される主題は、ブロックの順序によって限定されないということを理解し、正しく認識されたい。さらに、本明細書で説明される方法を実行するために全ての図示されたブロックが必要とされる可能性があるわけではない。さらに、本明細書で開示された方法は、社会ロボットの処理回路に、このような方法を運搬及び移送することを容易にする製品上に格納されることが可能であるということをさらに正しく認識されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】