特許 7601139 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20241210BHJP

   B25J 13/00 20060101ALI20241210BHJP

   H04Q 9/00 20060101ALI20241210BHJP

   G06F 3/01 20060101ALI20241210BHJP

【ＦＩ】

G06F3/16 630

B25J13/00 Z

H04Q9/00 301Z

H04Q9/00 311Q

G06F3/16 650

G06F3/01 510

【請求項の数】 10

(21)【出願番号】P 2023077214

(22)【出願日】2023-05-09

(62)【分割の表示】P 2020509729の分割

【原出願日】2019-01-28

(65)【公開番号】P2023104938

(43)【公開日】2023-07-28

【審査請求日】2023-05-16

(31)【優先権主張番号】P 2018061209

(32)【優先日】2018-03-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110003236

【氏名又は名称】弁理士法人杉浦特許事務所

(74)【代理人】

【識別番号】100123973

【弁理士】

【氏名又は名称】杉浦 拓真

(74)【代理人】

【識別番号】100082762

【弁理士】

【氏名又は名称】杉浦 正知

(74)【代理人】

【識別番号】100160440

【弁理士】

【氏名又は名称】中村 祐樹

(72)【発明者】

【氏名】中村 匡伸

【審査官】田中 洋行

(56)【参考文献】

【文献】特開２０１７－００９８６７（ＪＰ，Ａ）

【文献】特開２０１５－０７６８７７（ＪＰ，Ａ）

【文献】特開２０１５－２０１７３９（ＪＰ，Ａ）

【文献】特開２０１７－１３９９６２（ＪＰ，Ａ）

【文献】特開２００５－１６７６３７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／０１５３３１７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／１６

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｂ２５Ｊ １３／００

Ｈ０４Ｑ ９／００

(57)【特許請求の範囲】

【請求項1】

少なくとも、ユーザからの命令対象となる命令対象情報処理装置と、第１の情報処理装置と、第２の情報処理装置と、を含み、
前記第１の情報処理装置及び前記第２の情報処理装置は、それぞれ、
ユーザからの命令を受信した場合に、当該命令を前記命令対象情報処理装置が実行可能か否かを判断する判断部を備え、
前記判断部による判断を、前記第１の情報処理装置及び前記第２の情報処理装置の何れが行うかが、あらかじめ設定された優先度に基づいて決定される
情報処理システム。

【請求項2】

前記優先度は、前記第１の情報処理装置及び前記第２の情報処理装置に対する前記ユーザの設定の有無である
請求項１に記載の情報処理システム。

【請求項3】

前記優先度は、ウェアラブルデバイスほど優先度が高くなる
請求項１に記載の情報処理システム。

【請求項4】

前記ユーザの口元に近いウェアラブルデバイスほど前記優先度が高くなる
請求項３に記載の情報処理システム。

【請求項5】

前記優先度は、前記ユーザまでの距離に基づく優先度である
請求項１に記載の情報処理システム。

【請求項6】

前記ユーザに近いほど前記優先度が高くなる
請求項５に記載の情報処理システム。

【請求項7】

前記優先度は、前記第１の情報処理装置と前記第２の情報処理装置との間で行われる通信の通信結果に基づいて決定される優先度である
請求項１に記載の情報処理システム。

【請求項8】

前記第１の情報処理装置及び前記第２の情報処理装置と通信を行う情報処理サーバを備え、
前記優先度は、前記情報処理サーバによって決定される
請求項１に記載の情報処理システム。

【請求項9】

少なくとも、ユーザからの命令対象となる命令対象情報処理装置と、第１の情報処理装置と、第２の情報処理装置と、を含む情報処理システムで行われる情報処理方法であって、
前記第１の情報処理装置及び前記第２の情報処理装置のそれぞれが備える判断部が、ユーザからの命令を受信した場合に、当該命令を前記命令対象情報処理装置が可能か否かを判断し、
前記判断部による判断を、前記第１の情報処理装置及び前記第２の情報処理装置の何れが行うかを、あらかじめ設定された優先度に基づいて決定する
情報処理方法。

【請求項10】

少なくとも、ユーザからの命令対象となる命令対象情報処理装置と、第１の情報処理装置と、第２の情報処理装置と、を含む情報処理システムで行われる情報処理方法をコンピュータに実行させるプログラムであって、
前記第１の情報処理装置及び前記第２の情報処理装置のそれぞれが備える判断部が、ユーザからの命令を受信した場合に、当該命令を前記命令対象情報処理装置が可能か否かを判断し、
前記判断部による判断を、前記第１の情報処理装置及び前記第２の情報処理装置の何れが行うかを、あらかじめ設定された優先度に基づいて決定する
情報処理方法をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

現在、生活やビジネスにおいて各種情報処理装置が利用される機会は増加している。例えば、宅内においても複数台の各種情報処理装置が設置されるケースがある。また、情報処理装置としては、ユーザとコミュニケーションするスマートスピーカ、あるいは、コミュニケーションするとともに、自律走行（移動）も可能とするロボットも開発、製品化されている。このように複数台の情報処理装置が、宅内あるいはオフィス内で使用される中、特許文献１～３には、情報処理装置間で連携を取って処理を実行することも検討されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００３－３４５４３５号公報

【文献】特開２０１７－５２０７５号公報

【文献】特開２００２－１７８２３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような分野では、ロボットを含む各種情報処理装置とユーザとの間で円滑にコミュニケーションを図ることが望まれている。

【0005】

本開示は、情報処理装置とユーザとの間で円滑なコミュニケーションを実現する情報処理システム、情報処理方法及びプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

本開示は、例えば、
少なくとも、ユーザからの命令対象となる命令対象情報処理装置と、第１の情報処理装置と、第２の情報処理装置と、を含み、
第１の情報処理装置及び第２の情報処理装置は、それぞれ、
ユーザからの命令を受信した場合に、当該命令を命令対象情報処理装置が実行可能か否かを判断する判断部を備え、
判断部による判断を、第１の情報処理装置及び第２の情報処理装置の何れが行うかが、あらかじめ設定された優先度に基づいて決定される
情報処理システムである。

【0007】

本開示は、例えば、
少なくとも、ユーザからの命令対象となる命令対象情報処理装置と、第１の情報処理装置と、第２の情報処理装置と、を含む情報処理システムで行われる情報処理方法であって、
第１の情報処理装置及び第２の情報処理装置のそれぞれが備える判断部が、ユーザからの命令を受信した場合に、当該命令を命令対象情報処理装置が可能か否かを判断し、
判断部による判断を、第１の情報処理装置及び第２の情報処理装置の何れが行うかを、あらかじめ設定された優先度に基づいて決定する
情報処理方法である。

【0008】

本開示は、例えば、
少なくとも、ユーザからの命令対象となる命令対象情報処理装置と、第１の情報処理装置と、第２の情報処理装置と、を含む情報処理システムで行われる情報処理方法をコンピュータに実行させるプログラムであって、
第１の情報処理装置及び第２の情報処理装置のそれぞれが備える判断部が、ユーザからの命令を受信した場合に、当該命令を命令対象情報処理装置が可能か否かを判断し、
判断部による判断を、第１の情報処理装置及び第２の情報処理装置の何れが行うかを、あらかじめ設定された優先度に基づいて決定する
情報処理方法をコンピュータに実行させるプログラムである。

【発明の効果】

【0009】

本開示の少なくとも一つの実施形態によれば、命令対象である情報処理装置とユーザとの間で円滑なコミュニケーションを行うことが可能となる。ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態に係る情報処理システムの利用状況を説明するための図である。

【図2】図２は、実施形態に係る携帯端末の構成を示すブロック図である。

【図3】図３は、実施形態に係るロボットの構成を示すブロック図である。

【図4】図４は、実施形態に係る情報処理システムの利用状況を説明するための図である。

【図5】図５は、実施形態に係る携帯端末で実行される命令代行処理を示すフロー図である。

【図6】図６は、実施形態に係る携帯端末で実行される第１状態確認処理を示すフロー図である。

【図7】図７は、実施形態に係る携帯端末で実行される第２状態確認処理を示すフロー図である。

【図8】図８は、実施形態に係る情報処理システムの利用状況を説明するための図である。

【図9】図９は、実施形態に係る携帯端末で実行される命令先変更処理を示すフロー図である。

【図10】図１０は、実施形態に係る情報処理システムの利用状況を説明するための図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施形態＞
＜２．第２の実施形態＞
＜３．変形例＞
以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態に限定されるものではない。

【0012】

＜１．第１の実施形態＞
図１は、実施形態に係る情報処理システムの利用状況を説明するための図である。本実施形態では、宅内でユーザＸは携帯端末１を所持しており、歩行（移動）可能なロボット２を使用している状況を想定している。宅内には、インターネット等の通信網Ｃに接続可能な通信設備が設けられている。通信設備としては、通信網Ｃに接続されるルータ３、ルータに接続されるアクセスポイント４が設けられている。携帯端末１、ロボット２は、アクセスポイント４と無線通信を行うことで、通信網Ｃに接続されている情報処理サーバ５等と通信を行うことが可能となっている。

【0013】

図２は、実施形態に係る携帯端末１の構成を示すブロック図である。本実施形態の携帯端末１は、いわゆる、スマートフォン、タブレット等の情報処理装置である。携帯端末１では、後で説明する命令代行処理を実行することになるが、命令代行処理をする装置としては、携帯端末１に限られるものではなく、ロボット、スマートスピーカ（ＡＩスピーカ）、テレビ等の各種情報処理装置を使用することが可能である。本実施形態の携帯端末１は、制御部１１、操作部１９、カメラ１２、通信部１４、ＧＰＳ（Global Positioning System）受信部１５、タッチパネル表示部１６、スピーカ１７、マイクロホン１８を有して構成されている。

【0014】

制御部１１は、各種プログラムを実行可能なＣＰＵ（Central Processing Unit）、各種プログラム、データを記憶するＲＯＭ、ＲＡＭ等を有して構成され、携帯端末１を統括して制御する部位である。操作部１９は、電源ボタン、音量ボタン等、ユーザからの操作を受け付ける部位である。カメラ１２は、携帯端末１の前面、もしくは、後面、あるいはその両方に設けられ、ユーザの操作等に応じて静止画あるいは動画を取り込む部位である。

【0015】

通信部１４は、外部の各種装置と通信を行う部位であって、本実施形態では、アクセスポイント４と通信を行うため、Wifi規格を使用した形態としている。通信部１４には、この他、Bluetooth（登録商標）、赤外線通信等による近距離通信手段の他、アクセスポイント４ではなく、携帯通信網を介して通信網Ｃに接続可能な携帯通信手段を使用してもよい。

【0016】

ＧＰＳ受信部１５は、衛星からの信号を受信することで、携帯端末１の位置（緯度、経度）を判定可能な位置検出部である。携帯端末１における位置検出部としては、ＧＰＳ受信部１５の他、屋内での位置を検出する屋内測位、あるいは、周囲環境をマッピングデータとして記憶しておき、カメラ１２による撮像によって、携帯端末１の位置を割り出すこととしてもよい。

【0017】

タッチパネル表示部１６は、液晶、有機ＥＬ等を使用した表示部と、感圧方式、静電容量方式等によるタッチパネルを重畳させたユーザインタフェイスであって、表示部に各種表示を行うことが可能である。また、表示部に表示される各種オブジェクトに対して、タッチ入力することで、ユーザからの各種入力を受け付けることが可能となっている。スピーカ１７は、ユーザに対して音による通知を行うことが可能である。マイクロホン１８は、携帯端末１の周囲音を取り込むことが可能である。

【0018】

図３は、実施形態に係るロボット２の構成を示すブロック図である。本実施形態のロボット２は、ペット型（犬型）のロボット２であって、ユーザと各種コミュニケーションを図ることが可能なロボット２である。本実施形態では、ユーザＸの命令対象として歩行（移動）可能なロボット２を例としているが、ロボット２に限られるものではなく、命令を受信可能な各種情報処理装置、例えば、移動しないロボット、スマートスピーカ（ＡＩスピーカ）、テレビ等を使用することが可能である。

【0019】

本実施形態において、ロボット２は、制御部２１、操作部２２、カメラ２３、接触センサ２４、通信部２５、ＧＰＳ受信部２６、表示部２７、スピーカ２８、マイクロホン２９、複数のアクチュエータ３０ａ、３０ｂ…を有して構成されている。なお、ロボット２の形態は、あくまでも一例であって、各種形態を採用することが可能である。

【0020】

制御部２１は、各種プログラムを実行可能なＣＰＵ、各種プログラム、データを記憶するＲＯＭ（Read-only Memory）、ＲＡＭ（Random Access Memory）等を有して構成され、ロボット２を統括して制御する。操作部２２は、電源ボタン等、ユーザからの操作を受け付ける部位である。カメラ２３は、ロボット２の頭部等に設けられ、周囲の環境を撮影して取り込むセンサである。接触センサ２４は、ロボット２の頭部、腹部、背部等に設けられ、ユーザによる接触を検出可能なセンサである。

【0021】

通信部２５は、外部の各種装置と通信を行う部位であって、本実施形態では、アクセスポイント４と通信を行うため、Wifi規格を使用した形態としている。通信部２５には、携帯端末１と同様、Bluetooth（登録商標）、赤外線通信等による近距離通信手段の他、アクセスポイント４ではなく、携帯通信網を介して通信網Ｃに接続可能な携帯通信手段を使用することも可能である。

【0022】

表示部２７は、ロボット２の頭部において目の位置に設けられた液晶、あるいは、有機ＥＬ等による表示手段であって、表示内容を変化させることでロボット２の感情を表現することが可能である。表示部２７としては、この他にも設けることが可能であって、例えば、ＬＥＤ（Light Emitting Diode）等を設けることで、ロボット２の各種状態（例えば、バッテリーの状態、通信状態等）を外部に通知可能としてもよい。スピーカ２８は、ユーザに対して音による通知を行うことが可能であって、例えば、鳴き声等を放音することで、ロボット２の感情を表現することが可能である。マイクロホン１８は、携帯端末１の周囲音を取り込むことが可能であり、例えば、ユーザが発声した命令を取り込んで、各種処理を実行することが可能である。

【0023】

アクチュエータ３０ａ、３０ｂは、ロボット２の手足の関節、首、尾等に設けられ、制御部２１の命令により駆動される。特に、手足の関節に設けられているアクチュエータを駆動することで、ロボット２は歩行（移動）することが可能となっている。

【0024】

図１には、図２、図３で説明した携帯端末１、ロボット２を宅内で使用する環境が示されている。従来、宅内等においてロボット２を利用する場合、ユーザＸは、ロボット２に対して音声による命令を行うことで、ロボット２とのコミュニケーションを取ることが可能である。しかしながら、ロボット２が電源オフとなっている状態、バッテリー切れ等による休止状態、あるいは、その所在が部屋Ｂであって、ユーザＸの声を十分に受信できない状態等の場合、ユーザＸが命令を行っても、ロボット２は、それに対して反応できない状況がある。

【0025】

このような状況において、ユーザＸは、何故、自分の命令に対してロボット２が反応しなかったのか分からない場合もあり、再度、命令を行う等、ユーザＸとロボット２と間のインタラクションのロスが生じてしまう。本実施形態の情報処理システムは、このような状況の下、ロボット２等、ユーザがコミュニケーションを行うことが可能な各種情報処理装置と、ユーザ間のインタラクションのロスを抑制し、円滑なコミュニケーションすることを一つの目的としている。

【0026】

そのため、本実施形態の情報処理システムでは、命令対象個体となるロボット２以外の別個体である携帯端末１において、ロボット２に対して行われた命令に対して命令代行処理を行うこととしている。以下に、この命令代行処理について、図１の状況を例として説明を行う。

【0027】

図１において、母親であるユーザＸは、部屋Ａ（キッチン）で食事の準備をしているが、手が空かないため部屋Ｂ（リビング）の様子を見ることができない。食事の準備が終わりそうになったユーザＸは、子どもを呼ぶために、部屋Ａにいるロボット２に対して、子どもを呼ぶ命令を発声する。ここで、ロボット２には「ロボ」と名付けられていることとする。ユーザＸの発声内容は「ロボ、子どもを呼んできて。」であり、命令対象を示す「ロボ」と、命令内容である「子どもを呼んできて。」を組み合わせることで、ロボット２に対する命令となっている。ユーザＸにより命令は発声された際、ロボット２は、スリープ中であって、命令を受信することができない状況となっている。

【0028】

このような状況下、ユーザＸが携帯する携帯端末１では、命令代行処理が実行されており、ロボット２に対して発せられた命令に対して代行することが可能となっている。

【0029】

図５は、実施形態に係る携帯端末１で実行される命令代行処理を示すフロー図である。なお、本説明では、携帯端末１、ロボット２を含む情報処理装置を単に「端末」と呼ぶことがある。本実施形態の命令代行処理は、携帯端末１において実行される処理であり、その実行中、マイクロホン１８に入力される音声を解析し、命令を受信したか否かを判定する（Ｓ１０１）。本実施形態では、先に説明したように、命令対象と命令内容の組み合わせで命令が構成されているため、命令対象を明確に判定することが可能となっている。このような形態のみならず、命令対象が付されていない命令であってもよい。その場合、発声内容自体の解析、過去の会話内容の解析、あるいはカメラ２３で撮影した周囲状況等、各種状況に基づいて、命令対象を判定することが考えられる。

【0030】

受信した命令対象が限定されない場合（Ｓ１０２：Ｎｏ）、本実施形態では、スピーカ１７から音声による通知等を行うことで、ユーザＸに再発声を促す通知を行うこととしている（Ｓ１０３）。例えば、ロボット２が複数体存在する空間内において、命令対象が付されていない命令、あるいは命令対象に曖昧性が残る命令を発声した場合には、携帯端末１において「命令の対象が特定できません。命令対象を指定してください。」等のようにユーザＸに音声、あるいは、表示にて通知することとしている。ここで、命令対象に曖昧性の残る命令コマンドとは、例えば、携帯端末１の半径Ｎメートルの範囲内において、命令対象となり得る端末の数が１体以外（０体もしくは２体以上）の環境下において、命令対象が付されずに発話された場合等のことをいう。具体的には，命令対象の個体が２体以上存在する空間内において、命令対象を明示的に発声しない「～して」という命令等がこれに該当する。

【0031】

一方、受信した命令中、命令対象が限定される場合（Ｓ１０２：Ｙｅｓ）、自端末（この場合、携帯端末１）に対する命令か、他端末に対する命令かが判定される（Ｓ１０４）。自端末への命令である場合（Ｓ１０４：Ｎｏ）には、携帯端末１において命令が実行される（Ｓ１０５）。一方、他端末に対する命令である場合（Ｓ１０４：Ｙｅｓ）、通信部１４を使用して、他端末の状態を取得する（Ｓ１０６）。図１の場合、携帯端末１からロボット２の状況を取得する場合、両者がアクセスポイント４を介して無線通信することで、ロボット２の状況を直接、取得してもよいし、情報処理サーバ５にロボット２の状況をアップロードしておき、携帯端末１は、情報処理サーバ５にアクセスすることでロボット２の状況を間接的に取得することとしてもよい。あるいは、直接、取得できない場合、間接的に取得する等、両者を併用することとしてもよい。

【0032】

他端末の状況を取得した後、他端末は命令を実行可能か否かが判定される（Ｓ１０７）。命令を実行可能な場合（Ｓ１０７：Ｙｅｓ）、命令は他端末によって処理されることになるため、命令代行処理の先頭に戻る。一方、他端末が命令を実行できない場合（Ｓ１０７：Ｎｏ）、他端末が携帯端末１の近傍にいるか否かが判定される（Ｓ１０８）。近傍にいるか否かの判断は、取得したロボット２の状況に含まれる位置情報と、携帯端末１のＧＰＳ受信部１５で判定した位置情報を参照することで判定することが可能である。両方の位置情報が所定距離内にある場合には近傍にいると判定（Ｓ１０８：Ｙｅｓ）され、第１状態確認処理（Ｓ２００）が実行される。一方、両方の位置情報が所定距離外にある場合には近傍にいないと判定（Ｓ１０８：Ｎｏ）され、第２状態確認処理（Ｓ３００）が実行される。

【0033】

図１の状況は、ユーザＸにより、ロボット２に対する命令が発声された場合であるが、ロボット２は休止中であるため、ユーザＸによる命令を実行できない（Ｓ１０７：Ｎｏ）と判定された場合である。また、携帯端末１とロボット２は近傍にいると判定された場合となっている。したがって、図１の状況では第１状態確認処理（Ｓ２００）が実行されることになる。

【0034】

図６は、実施形態に係る携帯端末で実行される第１状態確認処理（Ｓ２００）を示すフロー図である。本実施形態では、Ｓ１０６で取得した他端末の状況を３つの状態、すなわち、（１）別の命令を実行している状態、（２）他端末を命令受理可能状態に移行するためにユーザＸの介入が必要である状態、例として、休止、電源オフの状態、（３）他端末を命令受理可能状態に移行するためにユーザＸの介入が不要である状態、例として、スリープの状態、に分類している。第１状態確認処理では、他端末の状態がこれら３つの状態中、何れの状態かを判定する（Ｓ２０１）。

【0035】

（１）他端末が別の命令を実行している状態の場合（Ｓ２０１：別の命令を実行中）、まず、携帯端末１のスピーカ１７からの音声、あるいは、携帯端末１のタッチパネル表示部１６を使用して、現在、他端末で実行中の命令（別命令）を中止するか否かをユーザＸに問う通知が行われる（Ｓ２０２）。

【0036】

音声による返答、あるいは、タッチパネル表示部１６に対する入力によって、ユーザＸから別命令の実行を中断する旨の入力があった場合（Ｓ２０３：Ｙｅｓ）、他端末において別命令を中断させ、命令受理可能状態に移行させる（Ｓ２０４）。ここで、命令受理可能状態とは、他端末がユーザＸの命令を受理でき，かつその命令を実行可能な状態になっていることを意味する。そして、携帯端末１で保持している命令、すなわち、Ｓ１０１で受信した命令を他端末に送信する（Ｓ２０５）。一方、別命令の実行が中断されない場合（Ｓ２０３：Ｎｏ）、ユーザＸからの命令は棄却される（Ｓ２０６）。このように、本実施形態では、命令対象となる端末において、命令が実行不能、すなわち、別命令を中断して命令を実行する、あるいは、後で説明するように命令対象となる端末が休止、あるいは、電源オフの場合には、受信した命令を棄却することとしている。命令を棄却する場合、携帯端末１からユーザＸに対して、命令が棄却された旨、命令が棄却された理由を通知することとしてもよい。

【0037】

図１は、ロボット２は休止中の例を示しているが、ユーザＸによる命令の発声時、ロボット２が別命令を実行している場合には、ユーザＸに別命令の実行中断が問われる（Ｓ２０２）。そして、ユーザＸから、中断する旨の入力があった場合（Ｓ２０３：Ｙｅｓ）には、既に発声された命令がロボット２に対して送信される（Ｓ２０５）。したがって、ユーザＸは、同じ命令を再度繰り返して発声する必要が無く、ロボット２との円滑なコミュニケーションを図ることが可能となる。

【0038】

（２）他端末を命令受理可能状態に移行するためにユーザＸの介入が必要である状態、ここでは、他端末が休止、電源オフの状態の場合（Ｓ２０１：休止、電源オフ）、ユーザＸの命令は棄却される（Ｓ２０６）。この場合、ユーザは他端末（図１の場合ではロボット２）に対して命令を発声したにもかかわらず、ロボット２から反応、あるいは、応答が得られないことから、携帯端末１において、ロボット２の状況をスピーカ１７からの音声、あるいは、タッチパネル表示部１６の表示によって、ユーザＸに通知する通知処理を行うこととしてもよい。

【0039】

（３）他端末を命令受理可能状態に移行するためにユーザＸの介入が不要である状態、ここでは、他端末がスリープの状態の場合（Ｓ２０１：スリープ）、携帯端末１は、命令の対象としている他端末と通信することで、当該他端末を命令受理可能状態に移行させる（Ｓ２０７）。他端末を命令可能状態に移行させた後、携帯端末１で保持している命令、すなわち、Ｓ１０１で受信した命令を他端末に送信する（Ｓ２０８）。この場合、（１）他端末が別の命令を実行している状態と同様、ユーザＸは、同じ命令を再度繰り返して発声する必要が無く、ロボット２との円滑なコミュニケーションを図ることが可能となる。

【0040】

次に、第２状態確認処理（Ｓ３００）、すなわち、他端末は携帯端末１の近傍にいない場合（Ｓ１０８：Ｎｏ）について説明する。図４は、実施形態に係る情報処理システムの利用状況を説明するための図である。図４の状況は、ユーザＸと異なる部屋Ｂにロボット２がいる場合であって、他端末（ロボット２）は、携帯端末１の近傍にいない場合を示している。このような場合、ユーザＸから発声された命令が、ロボット２で受信できない場合が考えられ、ユーザＸの命令が無駄になってしまう、すなわち、ユーザＸとロボット２との間のインタラクションのロスが生じることが考えられる。

【0041】

第２状態確認処理（Ｓ３００）は、第１状態確認処理（Ｓ２００）の場合と同様、他端末の状況を３つの状態、すなわち、（１）別の命令を実行している状態、（２）他端末を命令受理可能状態に移行するためにユーザＸの介入が必要である状態、例として、休止、電源オフの状態、（３）他端末を命令受理可能状態に移行するためにユーザＸの介入が不要である状態、例として、スリープの状態、に分類している。第１状態確認処理では、他端末の状態がこれら３つの状態中、何れの状態かを判定する（Ｓ３０１）。

【0042】

（１）他端末が別の命令を実行している状態の場合（Ｓ３０１：別の命令を実行中）、まず、携帯端末１のスピーカ１７からの音声、あるいは、携帯端末１のタッチパネル表示部１６を使用して、現在、他端末で実行中の命令（別命令）を中止するか否かをユーザＸに問う通知を行う（Ｓ３０２）。

【0043】

音声による返答、あるいは、タッチパネル表示部１６に対する入力によって、ユーザＸから別命令の実行を中断する旨の入力があった場合（Ｓ３０３：Ｙｅｓ）、他端末において別命令を中断させ、命令受理可能状態に移行させる（Ｓ３０４）。一方、別命令の実行が中断されない場合（Ｓ３０３：Ｎｏ）、ユーザからの命令は棄却される（Ｓ３０８）。

【0044】

別命令の実行を中断する旨が入力された後、携帯端末１において、他端末は可動体、すなわち、ロボット２のように移動可能な端末か否かが判定される（Ｓ３０５）。この判定は、予め携帯端末１において他端末の情報を記憶しておく、あるいは、Ｓ１０６において他端末の状態を取得する際、併せて取得すること等が考えられる。可動体と判定された場合（Ｓ３０５：Ｙｅｓ）、他端末をユーザＸの近傍、すなわち、携帯端末１の近傍に移動させる（Ｓ３０６）。図４の場合、ロボット２は部屋Ｂから、携帯端末１のある部屋Ａに移動させることになる。移動完了後、携帯端末１で保持している命令、すなわち、Ｓ１０１で受信した命令を他端末に送信する（Ｓ３０７）。一方、他端末が可動体では無い場合（Ｓ３０５：Ｎｏ）、他端末を移動させることなく、Ｓ１０１で受信した命令を他端末に送信する（Ｓ３０７）。

【0045】

このように、他端末が可動体の場合、他端末を携帯端末１の近傍、すなわち、ユーザＸの近傍に移動させた後、ユーザＸからの命令を他端末に実行させることで、ユーザＸと他端末（図４の場合、ロボット２）との間のコミュニケーションを、近距離で適切に行わせることが可能となる。

【0046】

（２）他端末が休止、電源オフの状態の場合（Ｓ３０１：休止、電源オフ）、ユーザの命令は棄却される（Ｓ３０８）。この場合、第１状態確認処理の場合と同様、携帯端末１において、ユーザＸにロボット２の状況を通知する通知処理を行うこととしてもよい。

【0047】

（３）他端末がスリープの状態の場合（Ｓ３０１：スリープ）、携帯端末１は、命令の対象となっている他端末と通信することで、当該他端末を命令受理可能状態に移行させる（Ｓ３０９）。その後、Ｓ３０５～３０７と同様の処理であるＳ３１０～３１２の処理を実行することで、他端末が可動体の場合（Ｓ３１０：Ｙｅｓ）には、他端末をユーザＸの近傍に移動（Ｓ３１１）させた後、Ｓ１０１で受信した命令を他端末に送信する（Ｓ３１２）。一方、他端末が可動体で無い場合（Ｓ３１０：Ｎｏ）には、他端末を移動させることなく、Ｓ１０１で受信した命令を他端末に送信する（Ｓ３１２）。

【0048】

以上、第１の実施形態に係る情報処理システムについて説明を行ったが、本実施形態の情報処理システムでは、命令対象となる情報処理装置（図１の場合、ロボット２）以外の情報処理装置（図１の場合、携帯端末１）において、命令代行処理を実行することで、ユーザと命令対象となる情報処理装置との間で、インタラクションロスを抑制し、円滑なコミュニケーションを実現することが可能となる。

【0049】

＜２．第２の実施形態＞
図８は、実施形態に係る情報処理システムの利用状況を説明するための図である。第１の実施形態では、命令対象となるロボット２が１台の場合について説明を行った。今後、ロボット２が普及するに従い、１家庭で複数のロボット２を利用することが考えられる。第２の実施形態は、このような状況を鑑みた場合であって、複数のロボット２ａ、２ｂが宅内で利用される状況を示している。

【0050】

図８の例では、部屋Ａにいるロボット２ａは命令受理可能状態にあり、部屋Ｂにいるロボット２ｂは休止中となっている。ここで、ロボット２ａの名前を「ロボａ」、ロボット２ｂの名前を「ロボｂ」とする。ユーザＸは、ロボット２ｂに対し、例えば、第１の実施形態と同様、「ロボｂ、子どもを呼んできて。」と発声したとする。ロボット２ｂはユーザＸから離れた部屋Ｂに位置しており、かつ、休止中であるため、ユーザＸの命令を処理することができない。複数台のロボット２ａ、２ｂが存在する第２の実施形態では、ロボット２ｂに対する命令を、ロボット２ｂに代わってロボット２ａが実行することが可能となっている。

【0051】

図９は、実施形態に係る携帯端末で実行される命令先変更処理を示すフロー図である。命令先変更処理では、図６で説明した第１状態確認処理（Ｓ２００）、あるいは、図７で説明した第２状態確認処理（Ｓ３００）において、命令先となる他端末において命令実行が不能となったか否かを監視する（Ｓ３５１）。ここで、命令が実行不能となった場合とは、命令先となる端末において、如何様にも命令が処理できない場合であって、第１状態確認処理（Ｓ２００）、第２状態確認処理（Ｓ３００）において、ユーザの命令を棄却する場合に相当する。

【0052】

例えば、第１状態確認処理（Ｓ２００）において、別命令の実行を中断しないと指示された場合（Ｓ２０３：Ｎｏ）、他端末の状態が休止、あるいは電源オフの状態にある場合（Ｓ２０１：休止、電源オフ）、第２状態確認処理（Ｓ３００）において、別命令の実行を中断しないと指示された場合（Ｓ３０３：Ｎｏ）、他端末の状態が休止、あるいは電源オフの状態にある場合（Ｓ３０１：休止、電源オフ）がこれに相当する。

【0053】

このような命令先となっている端末（他端末）での命令実行が不能と判断された場合（Ｓ３５１：Ｙｅｓ）、命令を実行可能な別端末の存在が判定される（Ｓ３５６）。命令を実行可能な別端末が複数存在する場合、ユーザＸの近傍、すなわち、携帯端末１に近い別端末が候補として選定される。別端末において実行する場合、ユーザＸの命令と異なる端末で実行されることになるため、本実施形態では、ユーザに別端末の存在、並びに、別端末で命令を代行して実行してもよいかをユーザＸに通知して、ユーザＸに確認を取ることとしている（Ｓ３５８）。ユーザＸから、別端末で命令を実行する指示が入力された場合（Ｓ３５９：Ｙｅｓ）、別端末にユーザの命令を送信し、別端末で命令を実行させる（Ｓ３６０）。一方、別端末で命令を実行しない指示が入力された場合（Ｓ３５９：Ｎｏ）、ユーザの命令は棄却される（Ｓ３５７）。

【0054】

図８の例では、ユーザＸは、ロボット２ｂに対し、「ロボｂ、子どもを呼んできて。」と発声したが、ロボット２ｂは休止中であるため、携帯端末１は、「ロボｂは休止中です。ロボａに処理を代行させますか？」という内容をユーザＸに対して通知する（Ｓ３５８）。ユーザＸが、代行させる内容の指示を行った場合（Ｓ３５９：Ｙｅｓ）、携帯端末１は、ロボット２ｂに対する命令はロボット２ａに送信される（Ｓ３６０）。一方、ユーザＸが、代行させない内容の指示を行った場合（Ｓ３５９：Ｎｏ）、ロボット２ｂに対する命令は棄却される（Ｓ３５７）。

【0055】

このように複数台のロボット２ａ、２ｂが存在する第２の実施形態では、ロボット２ｂに対する命令を、ロボット２ｂに代わってロボット２ａが実行することが可能となっている。

【0056】

＜３．変形例＞
以上、本開示の複数の実施形態について具体的に説明したが、本開示の内容は上述した実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。

【0057】

（複数台の情報処理装置が存在する場合）
図１０は、実施形態に係る情報処理システムの利用状況を説明するための図である。第１の実施形態、第２の実施形態では、命令代行処理、命令先変更処理を実行する情報処理装置として、ユーザＸが所持する携帯端末１を使用することとしていた。現在、家庭内において、ユーザとインタラクティブな対応が可能な情報処理装置は、携帯端末１ａのみならず、テレビ１ｂ、スピーカ１ｃ（スマートスピーカ、ＡＩスピーカ等と呼ばれることがある）が考えられる。このような情報処理装置では、ユーザＸの発声により各種制御を行うことが可能である。情報処理装置が複数台、使用される環境下では、何れか１の情報処理装置において、命令代行処理、命令先変更処理を実行することが好ましい。

【0058】

例えば、下記に示すような設定によって、命令代行処理、命令先変更処理を実行する１の情報処理装置を選択することが可能である。

【0059】

（１）ユーザが予め設定しておく。ロボット２に対する命令代行処理、命令先変更処理を実行する情報処理装置をユーザ自身で設定しておくことで、命令代行処理、命令先変更処理を実行する１の情報処理装置を決定することが可能である。

【0060】

（２）ウェラブルデバイスを優先する。ウェアラブルデバイスを優先する理由はユーザの口元に近いことが想定され、ユーザの発声を認識しやすいこと、そして、ユーザの会話を常時受け付け状態となっていることが多いことが想定されるためである。複数のウェアラブルデバイスが存在する場合、ウェアラブルデバイスの種別に応じて、よりユーザの口元に近いことが想定されるものを選択することが考えられる。

【0061】

（３）ユーザに近い位置に位置する情報処理装置を優先する。情報処理装置に設けられるＧＰＳ受信部、カメラ、あるいは、赤外線センサ等、各種センサを使用して、情報処理装置とユーザとの間の距離を測定し、ユーザに最も近く位置する情報処理装置を選択することが考えられる。なお、マイクロホンを有する情報処理装置では、ユーザからの声をより大きく受信可能な情報処理装置を、ユーザに近く位置する情報処理装置として判断することも可能である。

【0062】

（４）複数の情報処理装置間で通信を行い、１の情報処理装置を決定する。その際、上述する（１）～（３）で説明した条件を考慮して決定することとしてもよい。

【0063】

（５）情報処理サーバ５で、１の情報処理装置を決定する。情報処理サーバ５において、複数の情報処理装置に関する情報を取得し、命令代行処理、命令先変更処理を実行するのに適切な情報処理装置を決定することとしてもよい。

【0064】

（ユーザが複数人いる場合）
例えば、図６で説明した第１状態確認処理（Ｓ２００）において、ロボット２が別の命令を実行している場合、現在、他端末で実行中の命令（別命令）を中止するか否かをユーザＸに問う通知が行われる（Ｓ２０２）。ユーザが複数人いる場合、別命令の依頼元であるユーザと、今回の命令の依頼元であるユーザが異なることが考えられる。そのため、Ｓ２０２の通知では、別命令の依頼元のユーザを併せて通知することが好ましい。その際、命令を受信する場合には、依頼元のユーザの命令発話を用いた話者認識、あるいは、依頼元のユーザの顔画像を用いた顔認識等，あるいはその両方を使用して、命令の依頼元となるユーザを認識して、命令に対応付けて記憶しておくことが好ましい。また、他のユーザによって命令が中断されることが好ましくない場合も考えられる。そのため、別命令の実行を中断する際には、依頼元のユーザに対して命令の実行中断可否を問い合わせることとしてもよい。

【0065】

（音声以外による命令）
第１の実施形態、第２の実施形態では、ロボット２に対する命令として、音声による命令を使用して説明したが、音声による命令のみならず、例えば、リモートコントロール装置、ジェスチャ等を使用したユーザの操作によってロボット２に対する命令を発行することとしてもよい。

【0066】

（命令先変更処理の変形例）
図９で説明した命令先変更処理では、命令先となっている端末での命令実行が不能な場合（Ｓ３５１）、命令を実行可能な別端末を探索し、別端末が存在する場合、別端末にユーザの命令を送信することとしていた。命令先変更処理では、このような形態に代え、命令先となっている端末が命令実行できる場合であっても、より早く命令が実行できる別端末が存在する場合、ユーザの命令を別端末に送信することとしてもよい。

【0067】

図８の状況において、ロボット２ａ、ロボット２ｂは共に命令実行可能状態にあるとする。このような状況で、ユーザＸが、ロボット２ｂに対し、「ロボｂ、今日の天気は？」と発声した場合、ロボット２ｂは、部屋Ｂから部屋Ａに移動した後、命令を実行することになる。一方、部屋Ａには、命令実行可能状態にあるロボット２ａが存在している。ロボット２ｂが部屋Ｂから部屋Ａに移動して命令を実行するよりも、ユーザＸに近いロボット２ａが命令を実行した方が早いことが考えられる。したがって、より早く命令が実行できる別端末にユーザＸの命令を送信することで、ユーザＸの命令を迅速に処理することが可能となる。この場合においても、ユーザＸに別端末の存在、並びに、別端末で命令を代行して実行してもよいかをユーザＸに通知して、ユーザＸに確認を取ることが好ましい。また、代行して命令を実行する場合、携帯端末１にて最適なロボットを自動選択する形態の他、代行するロボットをユーザに選択させることとしてもよい。例えば、携帯端末１において、「ロボｂを指定しましたが、近傍にロボａが居ます。どうしますか？」とユーザに確認を取り、どちらのロボット２ａ、２ｂに命令を実行させるか選択させることとしてもよい。

【0068】

（曖昧性を有する命令の変形例）
図５で説明した命令代行処理において、命令対象が限定されない場合、ユーザに再発声を促すこととしている。この他、曖昧性を有する命令として、命令対象は特定されているものの、命令内容自体に曖昧性が残る場合がある。例えば、ユーザＸが「ロボ、えーっと、あれ取って来て、あれ。」等のような発声を行った場合がこれに相当する。このような場合、命令対象は明らかとなっているため、図５で説明した命令代行処理において、携帯端末１が命令対象となっている端末の状態を取得する処理（Ｓ１０６）を実行しても問題は無い。ただし、携帯端末１によるユーザＸへの通知は、ユーザＸの発声終了時であることが望ましく、仮にユーザＸの発声が終了しても、端末への命令自体に曖昧性が残っていた場合には、携帯端末１による端末への命令送信は行わないことが望ましい。なお、曖昧性の残る命令かどうかを判定するためには、例えば、信頼度スコアが顕著に低く、受理可能な命令セット外の命令が認識された、等の判定方法が考えられる。

【0069】

本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施形態で説明した機能を行うプログラムをダウンロード可能とし、実施形態で説明した機能を有しない装置が当該プログラムをダウンロードすることにより、当該装置において実施形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施形態、変形例で説明した事項は、適宜組み合わせることが可能である。

【0070】

本開示は、以下の構成も採ることができる。
（１）
ユーザからの命令を受信する受信部と、
命令対象となる他の複数の情報処理装置において命令実行が可能か否かを判断する判断部と、
前記複数の情報処理装置が、前記命令実行が可能であると判断された場合に、ユーザからのあらかじめ設定された優先度に基づき、前記ユーザからの命令を代行する
情報処理装置。
（２）
前記優先度は、前記複数の情報処理装置に対する前記ユーザの設定の有無である
（１）に記載の情報処理装置。
（３）
前記優先度は、ウェアラブルデバイスほど優先度が高くなる
（１）に記載の情報処理装置。
（４）
前記ユーザの口元に近いウェアラブルデバイスほど前記優先度が高くなる
（３）に記載の情報処理装置。
（５）
前記優先度は、前記ユーザまでの距離に基づく優先度である
（１）に記載の情報処理装置。
（６）
前記ユーザに近いほど前記優先度が高くなる
（５）に記載の情報処理装置。
（７）
前記優先度は、前記複数の情報処理装置間での通信結果に基づく優先度である
（１）から（４）までの何れかに記載の情報処理装置。
（８）
前記優先度は、前記複数の情報処理装置のそれぞれと通信を行う情報処理装置によって決定される
（１）に記載の情報処理装置。
（９）
受信部が、ユーザからの命令を受信し、
判断部が、命令対象となる他の複数の情報処理装置において命令実行が可能か否かを判断し、
前記複数の情報処理装置が、前記命令実行が可能であると判断された場合に、ユーザからのあらかじめ設定された優先度に基づき、前記ユーザからの命令を代行する
情報処理方法。
（１０）
受信部が、ユーザからの命令を受信し、
判断部が、命令対象となる他の複数の情報処理装置において命令実行が可能か否かを判断し、
前記複数の情報処理装置が、前記命令実行が可能であると判断された場合に、ユーザからのあらかじめ設定された優先度に基づき、前記ユーザからの命令を代行する
情報処理方法をコンピュータに実行させるプログラム。

【符号の説明】

【0071】

１：携帯端末（情報処理装置） １７：スピーカ
１ａ：携帯端末 １８：マイクロホン
１ｂ：テレビ １９：操作部
１ｃ：スピーカ ２１：制御部
２（２ａ、２ｂ）：ロボット ２２：操作部
３：ルータ ２３：カメラ
４：アクセスポイント ２４：接触センサ
５：情報処理サーバ ２５：通信部
１１：制御部 ２６：ＧＰＳ受信部
１２：カメラ ２７：表示部
１４：通信部 ２８：スピーカ
１５：ＧＰＳ受信部 ２９：マイクロホン
１６：タッチパネル表示部 ３０ａ、３０ｂ…：アクチュエータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】