(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024109621
(43)【公開日】2024-08-14
(54)【発明の名称】情報処理方法
(51)【国際特許分類】
G06F 3/16 20060101AFI20240806BHJP
H04L 51/02 20220101ALI20240806BHJP
G10L 17/00 20130101ALI20240806BHJP
G10L 21/0272 20130101ALI20240806BHJP
G10L 15/30 20130101ALI20240806BHJP
【ＦＩ】
G06F3/16 630
H04L51/02
G06F3/16 640
G10L17/00 200C
G10L21/0272 100Z
G10L15/30
【審査請求】有
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2024074254
(22)【出願日】2024-05-01
(62)【分割の表示】P 2023036259の分割
【原出願日】2019-04-18
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】鶴賀 貞雄
(57)【要約】
【課題】デジタルアシスタント機能を有するデバイスがユーザの手元から離れた場所にあ
る場合であっても、個々のユーザにデジタルアシスタント機能を提供する。
【解決手段】デジタルアシスタント処理を実行する主デバイス３００に音データを中継す
る情報処理装置であって、周囲の音を音データとして取得する音取得部２１２と、音デー
タの送信先の主デバイス３００である送信先主デバイスを決定する送信先デバイス決定部
２１３と、送信先主デバイスに、音データを送信するとともに、音データに応じて実行さ
れたデジタルアシスタント処理結果を回答として送信先主デバイスから受信する送受信部
２１４と、送受信部で受信した回答を提示する回答提示部２１５と、を備える。
【選択図】図５
る場合であっても、個々のユーザにデジタルアシスタント機能を提供する。
【解決手段】デジタルアシスタント処理を実行する主デバイス３００に音データを中継す
る情報処理装置であって、周囲の音を音データとして取得する音取得部２１２と、音デー
タの送信先の主デバイス３００である送信先主デバイスを決定する送信先デバイス決定部
２１３と、送信先主デバイスに、音データを送信するとともに、音データに応じて実行さ
れたデジタルアシスタント処理結果を回答として送信先主デバイスから受信する送受信部
２１４と、送受信部で受信した回答を提示する回答提示部２１５と、を備える。
【選択図】図５
【特許請求の範囲】
【請求項1】
デジタルアシスタント処理を実行する主デバイスに取得した音データを中継する中継デ
バイスの情報処理方法であって、
周囲の音を前記音データとして取得する音取得ステップと、
前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバ
イス決定ステップと、
前記送信先主デバイスが決定された場合に、前記音データを送信するとともに、当該音
データに応じて実行されたデジタルアシスタント処理結果を回答として前記送信先主デバ
イスから受信する送受信ステップと、
前記送受信ステップで受信した回答を提示する回答提示ステップと、を備え、
前記送信先デバイス決定ステップでは、前記音データを解析して発声主であるユーザを
判別してユーザが特定できた場合に当該ユーザに対応づけて登録されている前記主デバイ
スを、前記送信先主デバイスと決定し、ユーザが特定できない場合は前記送信先主デバイ
スを決定しないこと
を特徴とする情報処理方法。
バイスの情報処理方法であって、
周囲の音を前記音データとして取得する音取得ステップと、
前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバ
イス決定ステップと、
前記送信先主デバイスが決定された場合に、前記音データを送信するとともに、当該音
データに応じて実行されたデジタルアシスタント処理結果を回答として前記送信先主デバ
イスから受信する送受信ステップと、
前記送受信ステップで受信した回答を提示する回答提示ステップと、を備え、
前記送信先デバイス決定ステップでは、前記音データを解析して発声主であるユーザを
判別してユーザが特定できた場合に当該ユーザに対応づけて登録されている前記主デバイ
スを、前記送信先主デバイスと決定し、ユーザが特定できない場合は前記送信先主デバイ
スを決定しないこと
を特徴とする情報処理方法。
【請求項2】
デジタルアシスタント処理を実行する主デバイスに取得した音データを中継する中継デ
バイスの情報処理方法であって、
周囲の音を前記音データとして取得する音取得ステップと、
前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバ
イス決定ステップと、
前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実
行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する
送受信ステップと、
前記送受信ステップで受信した回答を提示する回答提示ステップと、を備え、
前記音取得ステップでは、前記音データを音源毎に分離し、
前記送信先デバイス決定ステップでは、分離された前記音データそれぞれについて、前
記送信先主デバイスを決定し、前記送信先主デバイスが決定できない場合は前記送信先主
デバイスを決定せず、
前記送受信ステップでは、分離された前記音データを、決定された前記送信先主デバイ
スにそれぞれ送信するとともに、各前記送信先主デバイスからそれぞれ前記回答を受信し
、
前記回答提示ステップでは、各前記送信先主デバイスから受信した前記回答を、それぞ
れ提示すること
を特徴とする情報処理方法。
バイスの情報処理方法であって、
周囲の音を前記音データとして取得する音取得ステップと、
前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバ
イス決定ステップと、
前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実
行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する
送受信ステップと、
前記送受信ステップで受信した回答を提示する回答提示ステップと、を備え、
前記音取得ステップでは、前記音データを音源毎に分離し、
前記送信先デバイス決定ステップでは、分離された前記音データそれぞれについて、前
記送信先主デバイスを決定し、前記送信先主デバイスが決定できない場合は前記送信先主
デバイスを決定せず、
前記送受信ステップでは、分離された前記音データを、決定された前記送信先主デバイ
スにそれぞれ送信するとともに、各前記送信先主デバイスからそれぞれ前記回答を受信し
、
前記回答提示ステップでは、各前記送信先主デバイスから受信した前記回答を、それぞ
れ提示すること
を特徴とする情報処理方法。
【請求項3】
デジタルアシスタント処理を実行する主デバイスに取得した音データを中継する中継デ
バイスの情報処理方法であって、
周囲の音を前記音データとして取得する音取得ステップと、
前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバ
イス決定ステップと、
前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実
行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する
送受信ステップと、
前記送受信ステップで受信した回答を提示する回答提示ステップと、
前記デジタルアシスタント処理を実行するアシスタント処理ステップと、を備え、
前記アシスタント処理ステップでは、前記音データを解析し、前記デジタルアシスタン
ト処理を実行するために、個人情報が必要であるか否かを判別し、
前記送信先デバイス決定ステップでは、前記アシスタント処理ステップにおいて、前記
個人情報が必要であると判別した場合、前記送信先主デバイスを決定し、前記送信先主デ
バイスが決定できない場合は前記送信先主デバイスを決定せず、
前記回答提示ステップでは、前記アシスタント処理ステップにおいて前記デジタルアシ
スタント処理を実行した場合、当該デジタルアシスタント処理結果を提示すること
を特徴とする情報処理方法。
バイスの情報処理方法であって、
周囲の音を前記音データとして取得する音取得ステップと、
前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバ
イス決定ステップと、
前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実
行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する
送受信ステップと、
前記送受信ステップで受信した回答を提示する回答提示ステップと、
前記デジタルアシスタント処理を実行するアシスタント処理ステップと、を備え、
前記アシスタント処理ステップでは、前記音データを解析し、前記デジタルアシスタン
ト処理を実行するために、個人情報が必要であるか否かを判別し、
前記送信先デバイス決定ステップでは、前記アシスタント処理ステップにおいて、前記
個人情報が必要であると判別した場合、前記送信先主デバイスを決定し、前記送信先主デ
バイスが決定できない場合は前記送信先主デバイスを決定せず、
前記回答提示ステップでは、前記アシスタント処理ステップにおいて前記デジタルアシ
スタント処理を実行した場合、当該デジタルアシスタント処理結果を提示すること
を特徴とする情報処理方法。
【請求項4】
請求項３記載の情報処理方法であって、
前記アシスタント処理ステップでは、前記音データを解析し、前記デジタルアシスタン
ト処理を実行するためのコマンドを当該音データから生成し、
前記送受信ステップでは、前記音データの代わりに、前記コマンドを前記送信先主デバ
イスに送信すること
を特徴とする情報処理方法。
前記アシスタント処理ステップでは、前記音データを解析し、前記デジタルアシスタン
ト処理を実行するためのコマンドを当該音データから生成し、
前記送受信ステップでは、前記音データの代わりに、前記コマンドを前記送信先主デバ
イスに送信すること
を特徴とする情報処理方法。
【請求項5】
請求項１記載の情報処理方法であって、
前記送信先デバイス決定ステップでは、前記発声主として判別されたユーザに対応づけ
て登録されている前記主デバイスが複数ある場合、前記ユーザから当該複数の主デバイス
の中から前記送信先主デバイスとする主デバイスの選択を受け付けること
を特徴とする情報処理方法。
前記送信先デバイス決定ステップでは、前記発声主として判別されたユーザに対応づけ
て登録されている前記主デバイスが複数ある場合、前記ユーザから当該複数の主デバイス
の中から前記送信先主デバイスとする主デバイスの選択を受け付けること
を特徴とする情報処理方法。
【請求項6】
デジタルアシスタント処理を実行する主デバイスに取得した音データを中継する中継デ
バイスの情報処理方法であって、
周囲の音を前記音データとして取得する音取得ステップと、
前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバ
イス決定ステップと、
前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実
行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する
送受信ステップと、
前記送受信ステップで受信した回答を提示する回答提示ステップと、
前記デジタルアシスタント処理を実行するアシスタント処理ステップと、を備え、
前記アシスタント処理ステップでは、前記音データを解析し、当該音データから前記主
デバイスを特定する情報を抽出し、
前記送信先デバイス決定ステップでは、前記アシスタント処理ステップで抽出した情報
で特定される前記主デバイスを、前記送信先主デバイスと決定し、前記送信先主デバイス
が特定できない場合は前記送信先主デバイスを決定しないこと
を特徴とする情報処理方法。
バイスの情報処理方法であって、
周囲の音を前記音データとして取得する音取得ステップと、
前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバ
イス決定ステップと、
前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実
行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する
送受信ステップと、
前記送受信ステップで受信した回答を提示する回答提示ステップと、
前記デジタルアシスタント処理を実行するアシスタント処理ステップと、を備え、
前記アシスタント処理ステップでは、前記音データを解析し、当該音データから前記主
デバイスを特定する情報を抽出し、
前記送信先デバイス決定ステップでは、前記アシスタント処理ステップで抽出した情報
で特定される前記主デバイスを、前記送信先主デバイスと決定し、前記送信先主デバイス
が特定できない場合は前記送信先主デバイスを決定しないこと
を特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザとの対話を通じて、必要とされるタスクを実行し、結果をユーザに提
供するデジタルアシスタント技術に関する。特に、リモートでデジタルアシスタント機能
を実現する技術に関する。
供するデジタルアシスタント技術に関する。特に、リモートでデジタルアシスタント機能
を実現する技術に関する。
【背景技術】
【0002】
デジタルアシスタント機能を有する主デバイスと、デジタルアシスタント機能を持たな
い副デバイスとによりアシスタント機能を実現するシステムがある。例えば、特許文献１
には、「パーソナルアシスタント情報を提供するための１つまたは複数の技法および／ま
たはシステムが提供される。例えば、主デバイスが、副デバイスとの通信チャネルを確立
することができる。主デバイスは、ユーザに関連付けられたコンテキストを受け取ること
ができる。デジタルパーソナルアシスタント機能により使用可能となるまたはそのような
機能にアクセスすることができる主デバイスは、デジタルパーソナルアシスタント機能を
呼び出してコンテキストを評価し、パーソナルアシスタント結果を生成することができる
。パーソナルアシスタント結果は、ユーザへの提示のために主デバイスから副デバイスに
提供することができる。このようにして、副デバイスは、そのような機能を備えなくても
、またはそのような機能にアクセスすることができなくても、デジタルパーソナルアシス
タント機能を提供するように見える（要約抜粋）」システムが開示される。
い副デバイスとによりアシスタント機能を実現するシステムがある。例えば、特許文献１
には、「パーソナルアシスタント情報を提供するための１つまたは複数の技法および／ま
たはシステムが提供される。例えば、主デバイスが、副デバイスとの通信チャネルを確立
することができる。主デバイスは、ユーザに関連付けられたコンテキストを受け取ること
ができる。デジタルパーソナルアシスタント機能により使用可能となるまたはそのような
機能にアクセスすることができる主デバイスは、デジタルパーソナルアシスタント機能を
呼び出してコンテキストを評価し、パーソナルアシスタント結果を生成することができる
。パーソナルアシスタント結果は、ユーザへの提示のために主デバイスから副デバイスに
提供することができる。このようにして、副デバイスは、そのような機能を備えなくても
、またはそのような機能にアクセスすることができなくても、デジタルパーソナルアシス
タント機能を提供するように見える（要約抜粋）」システムが開示される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０１７－５３８９８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
スマートフォン等、携帯型デバイスにおいて、音声コマンドによるデジタルアシスタン
ト機能を利用する場合、手元にデバイスがある場合は、問題なく使用できる。しかしなが
ら、携帯型デバイスとはいえ、ユーザから離れた場所に置かれることも多い。例えば、ユ
ーザは、帰宅すると、充電等のため、手元から離すことが多い。
ト機能を利用する場合、手元にデバイスがある場合は、問題なく使用できる。しかしなが
ら、携帯型デバイスとはいえ、ユーザから離れた場所に置かれることも多い。例えば、ユ
ーザは、帰宅すると、充電等のため、手元から離すことが多い。
【0005】
特許文献１に開示の技術によれば、ユーザによる音声コマンドの受け取りは、デジタル
アシスタント機能を備える主デバイスを介して行われる。従って、主デバイスがユーザの
手元から離れた場合は、使用できない。
アシスタント機能を備える主デバイスを介して行われる。従って、主デバイスがユーザの
手元から離れた場合は、使用できない。
【0006】
また、特許文献１に開示の技術は、ユーザは１人であることが前提である。しかしなが
ら、家庭などでは、個々の家人がスマートフォン等のデジタルアシスタント機能を有する
主デバイスを保持する。また、個々の家人は、複数の主デバイスを所持することもある。
つまり、複数のユーザとユーザの数以上の主デバイスが存在し得る。しかしながら、特許
文献１に開示の技術では、このような環境での使用は想定されていない。
ら、家庭などでは、個々の家人がスマートフォン等のデジタルアシスタント機能を有する
主デバイスを保持する。また、個々の家人は、複数の主デバイスを所持することもある。
つまり、複数のユーザとユーザの数以上の主デバイスが存在し得る。しかしながら、特許
文献１に開示の技術では、このような環境での使用は想定されていない。
【0007】
本発明は、上記事情に鑑みてなされたもので、デジタルアシスタント機能を有するデバ
イスがユーザの手元から離れた場所にある場合であっても、個々のユーザにデジタルアシ
スタント機能を提供可能な技術を提供することを目的とする。
イスがユーザの手元から離れた場所にある場合であっても、個々のユーザにデジタルアシ
スタント機能を提供可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、デジタルアシスタント処理を実行する主デバイスに取得した音データを中継
する中継デバイスの情報処理方法であって、周囲の音を前記音データとして取得する音取
得ステップと、前記音データの送信先の前記主デバイスである送信先主デバイスを決定す
る送信先デバイス決定ステップと、前記送信先主デバイスが決定された場合に、前記音デ
ータを送信するとともに、当該音データに応じて実行されたデジタルアシスタント処理結
果を回答として前記送信先主デバイスから受信する送受信ステップと、前記送受信ステッ
プで受信した回答を提示する回答提示ステップと、を備え、前記送信先デバイス決定ステ
ップでは、前記音データを解析して発声主であるユーザを判別してユーザが特定できた場
合に当該ユーザに対応づけて登録されている前記主デバイスを、前記送信先主デバイスと
決定し、ユーザが特定できない場合は前記送信先主デバイスを決定しないことを特徴とす
る。また本発明は、デジタルアシスタント処理を実行する主デバイスに取得した音データ
を中継する中継デバイスの情報処理方法であって、周囲の音を前記音データとして取得す
る音取得ステップと、前記音データの送信先の前記主デバイスである送信先主デバイスを
決定する送信先デバイス決定ステップと、前記送信先主デバイスに、前記音データを送信
するとともに、当該音データに応じて実行されたデジタルアシスタント処理結果を回答と
して前記送信先主デバイスから受信する送受信ステップと、前記送受信ステップで受信し
た回答を提示する回答提示ステップと、を備え、前記音取得ステップでは、前記音データ
を音源毎に分離し、前記送信先デバイス決定ステップでは、分離された前記音データそれ
ぞれについて、前記送信先主デバイスを決定し、前記送信先主デバイスが決定できない場
合は前記送信先主デバイスを決定せず、前記送受信ステップでは、分離された前記音デー
タを、決定された前記送信先主デバイスにそれぞれ送信するとともに、各前記送信先主デ
バイスからそれぞれ前記回答を受信し、前記回答提示ステップでは、各前記送信先主デバ
イスから受信した前記回答を、それぞれ提示することを特徴とする。
する中継デバイスの情報処理方法であって、周囲の音を前記音データとして取得する音取
得ステップと、前記音データの送信先の前記主デバイスである送信先主デバイスを決定す
る送信先デバイス決定ステップと、前記送信先主デバイスが決定された場合に、前記音デ
ータを送信するとともに、当該音データに応じて実行されたデジタルアシスタント処理結
果を回答として前記送信先主デバイスから受信する送受信ステップと、前記送受信ステッ
プで受信した回答を提示する回答提示ステップと、を備え、前記送信先デバイス決定ステ
ップでは、前記音データを解析して発声主であるユーザを判別してユーザが特定できた場
合に当該ユーザに対応づけて登録されている前記主デバイスを、前記送信先主デバイスと
決定し、ユーザが特定できない場合は前記送信先主デバイスを決定しないことを特徴とす
る。また本発明は、デジタルアシスタント処理を実行する主デバイスに取得した音データ
を中継する中継デバイスの情報処理方法であって、周囲の音を前記音データとして取得す
る音取得ステップと、前記音データの送信先の前記主デバイスである送信先主デバイスを
決定する送信先デバイス決定ステップと、前記送信先主デバイスに、前記音データを送信
するとともに、当該音データに応じて実行されたデジタルアシスタント処理結果を回答と
して前記送信先主デバイスから受信する送受信ステップと、前記送受信ステップで受信し
た回答を提示する回答提示ステップと、を備え、前記音取得ステップでは、前記音データ
を音源毎に分離し、前記送信先デバイス決定ステップでは、分離された前記音データそれ
ぞれについて、前記送信先主デバイスを決定し、前記送信先主デバイスが決定できない場
合は前記送信先主デバイスを決定せず、前記送受信ステップでは、分離された前記音デー
タを、決定された前記送信先主デバイスにそれぞれ送信するとともに、各前記送信先主デ
バイスからそれぞれ前記回答を受信し、前記回答提示ステップでは、各前記送信先主デバ
イスから受信した前記回答を、それぞれ提示することを特徴とする。
【0009】
また、本発明は、デジタルアシスタント処理を実行する主デバイスに取得した音データ
を中継する中継デバイスの情報処理方法であって、周囲の音を前記音データとして取得す
る音取得ステップと、前記音データの送信先の前記主デバイスである送信先主デバイスを
決定する送信先デバイス決定ステップと、前記送信先主デバイスに、前記音データを送信
するとともに、当該音データに応じて実行されたデジタルアシスタント処理結果を回答と
して前記送信先主デバイスから受信する送受信ステップと、前記送受信ステップで受信し
た回答を提示する回答提示ステップと、前記デジタルアシスタント処理を実行するアシス
タント処理ステップと、を備え、前記アシスタント処理ステップでは、前記音データを解
析し、前記デジタルアシスタント処理を実行するために、個人情報が必要であるか否かを
判別し、前記送信先デバイス決定ステップでは、前記アシスタント処理ステップにおいて
、前記個人情報が必要であると判別した場合、前記送信先主デバイスを決定し、前記送信
先主デバイスが決定できない場合は前記送信先主デバイスを決定せず、前記回答提示ステ
ップでは、前記アシスタント処理ステップにおいて前記デジタルアシスタント処理を実行
した場合、当該デジタルアシスタント処理結果を提示することを特徴とする。また本発明
は、デジタルアシスタント処理を実行する主デバイスに取得した音データを中継する中継
デバイスの情報処理方法であって、周囲の音を前記音データとして取得する音取得ステッ
プと、前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先
デバイス決定ステップと、前記送信先主デバイスに、前記音データを送信するとともに、
当該音データに応じて実行されたデジタルアシスタント処理結果を回答として前記送信先
主デバイスから受信する送受信ステップと、前記送受信ステップで受信した回答を提示す
る回答提示ステップと、前記デジタルアシスタント処理を実行するアシスタント処理ステ
ップと、を備え、前記アシスタント処理ステップでは、前記音データを解析し、当該音デ
ータから前記主デバイスを特定する情報を抽出し、前記送信先デバイス決定ステップでは
、前記アシスタント処理ステップで抽出した情報で特定される前記主デバイスを、前記送
信先主デバイスと決定し、前記送信先主デバイスが特定できない場合は前記送信先主デバ
イスを決定しないことを特徴とする。
を中継する中継デバイスの情報処理方法であって、周囲の音を前記音データとして取得す
る音取得ステップと、前記音データの送信先の前記主デバイスである送信先主デバイスを
決定する送信先デバイス決定ステップと、前記送信先主デバイスに、前記音データを送信
するとともに、当該音データに応じて実行されたデジタルアシスタント処理結果を回答と
して前記送信先主デバイスから受信する送受信ステップと、前記送受信ステップで受信し
た回答を提示する回答提示ステップと、前記デジタルアシスタント処理を実行するアシス
タント処理ステップと、を備え、前記アシスタント処理ステップでは、前記音データを解
析し、前記デジタルアシスタント処理を実行するために、個人情報が必要であるか否かを
判別し、前記送信先デバイス決定ステップでは、前記アシスタント処理ステップにおいて
、前記個人情報が必要であると判別した場合、前記送信先主デバイスを決定し、前記送信
先主デバイスが決定できない場合は前記送信先主デバイスを決定せず、前記回答提示ステ
ップでは、前記アシスタント処理ステップにおいて前記デジタルアシスタント処理を実行
した場合、当該デジタルアシスタント処理結果を提示することを特徴とする。また本発明
は、デジタルアシスタント処理を実行する主デバイスに取得した音データを中継する中継
デバイスの情報処理方法であって、周囲の音を前記音データとして取得する音取得ステッ
プと、前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先
デバイス決定ステップと、前記送信先主デバイスに、前記音データを送信するとともに、
当該音データに応じて実行されたデジタルアシスタント処理結果を回答として前記送信先
主デバイスから受信する送受信ステップと、前記送受信ステップで受信した回答を提示す
る回答提示ステップと、前記デジタルアシスタント処理を実行するアシスタント処理ステ
ップと、を備え、前記アシスタント処理ステップでは、前記音データを解析し、当該音デ
ータから前記主デバイスを特定する情報を抽出し、前記送信先デバイス決定ステップでは
、前記アシスタント処理ステップで抽出した情報で特定される前記主デバイスを、前記送
信先主デバイスと決定し、前記送信先主デバイスが特定できない場合は前記送信先主デバ
イスを決定しないことを特徴とする。
【発明の効果】
【0010】
本発明によれば、デジタルアシスタント機能を有するデバイスがユーザの手元から離れ
た場所にある場合であっても、個々のユーザにデジタルアシスタント機能を提供できる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
た場所にある場合であっても、個々のユーザにデジタルアシスタント機能を提供できる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0011】
【図1】（ａ）および（ｂ）は、第一実施形態の概要を説明するための説明図である。
【図2】第一実施形態のアシスタントシステムのシステム構成図である。
【図3】第一実施形態の副デバイスのハードウェア構成図である。
【図4】第一実施形態の主デバイスのハードウェア構成図である。
【図5】第一実施形態の副デバイスの機能ブロック図である。
【図6】（ａ）は、第一実施形態の連携情報データベースを、（ｂ）は、第一実施形態のユーザ情報データベースを、それぞれ説明するための説明図である。
【図7】（ａ）は、第一実施形態の主デバイスの機能ブロック図であり、（ｂ）は、第一実施形態の副デバイス管理データベースを説明するための説明図である。
【図8】第一実施形態のデジタルアシスタント連携処理のフローチャートである。
【図9】（ａ）および（ｂ）は、第一実施形態の画面例をそれぞれ説明するための説明図である。
【図10】（ａ）は、第一実施形態の変形例の画面例を、（ｂ）は、第一実施形態の変形例の対応装置登録データベース例を、（ｃ）は、第一実施形態の変形例の副デバイスの出力例を、それぞれ、説明するための説明図である。
【図11】第二実施形態の概要を説明するための説明図である。
【図12】第二実施形態の副デバイスの機能ブロック図である。
【図13】第二実施形態の副デバイスのデジタルアシスタント連携処理のフローチャートである。
【図14】第二実施形態の出力例を説明するための説明図である。
【図15】本発明の実施形態の変形例の概要を説明するための説明図である。
【図16】（ａ）は、本発明の実施形態の変形例の画面例を、（ｂ）は、同変形例の処理の概要を、それぞれ説明するための説明図である。
【図17】本発明の実施形態の変形例のサーバのハードウェア構成図である。
【発明を実施するための形態】
【0012】
＜＜第一実施形態＞＞
以下、本発明の第一実施形態を説明する。全明細書において、同じ機能を有するものに
は、同じ符号を付し、繰り返しの説明は省略する。
以下、本発明の第一実施形態を説明する。全明細書において、同じ機能を有するものに
は、同じ符号を付し、繰り返しの説明は省略する。
【0013】
【0014】
本実施形態では、ユーザとの対話を通じて、必要とされるタスクを実行し、結果をユー
ザに提供するデジタルアシスタント機能を、リモートで提供する。具体的には、デジタル
アシスタント機能を備えるスマートフォン等の携帯型の情報処理装置に対し、ユーザから
の音声コマンドを中継するとともに、ユーザに結果を提供する中継装置を設ける。以下、
デジタルアシスタント機能を備える携帯型の情報処理装置を、主デバイスと呼ぶ。
ザに提供するデジタルアシスタント機能を、リモートで提供する。具体的には、デジタル
アシスタント機能を備えるスマートフォン等の携帯型の情報処理装置に対し、ユーザから
の音声コマンドを中継するとともに、ユーザに結果を提供する中継装置を設ける。以下、
デジタルアシスタント機能を備える携帯型の情報処理装置を、主デバイスと呼ぶ。
【0015】
自宅等では、主デバイスがユーザから離れた場所に置かれることがある。例えば、ユー
ザは、居間にいて、主デバイスは居間とは別の部屋で充電器に接続されている場合等であ
る。
ザは、居間にいて、主デバイスは居間とは別の部屋で充電器に接続されている場合等であ
る。
【0016】
本実施形態では、このような時、居間に配置される、例えば、テレビ（ＴＶ）等の映像
表示装置を、デジタルアシスタント機能の中継装置として機能させる。すなわち、テレビ
は、音声コマンドを、音声コマンドの音声の発声主のスマートフォンに中継する。以下、
中継装置として機能する装置を、副デバイスと呼ぶ。
表示装置を、デジタルアシスタント機能の中継装置として機能させる。すなわち、テレビ
は、音声コマンドを、音声コマンドの音声の発声主のスマートフォンに中継する。以下、
中継装置として機能する装置を、副デバイスと呼ぶ。
【0017】
本実施形態では、図１（ａ）に示すように、複数のユーザＡ、Ｂ、Ｃが、それぞれ、自
身の主デバイス３００ａ、３００ｂ、３００ｃを所持しているものとする。そして、テレ
ビが副デバイス１００として機能する。なお、デジタルアシスタント機能の中継装置とし
て機能する副デバイスは、例えば、スマートスピーカ１０１であってもよい。この場合の
、本実施形態の概要図を、図１（ｂ）に示す。
身の主デバイス３００ａ、３００ｂ、３００ｃを所持しているものとする。そして、テレ
ビが副デバイス１００として機能する。なお、デジタルアシスタント機能の中継装置とし
て機能する副デバイスは、例えば、スマートスピーカ１０１であってもよい。この場合の
、本実施形態の概要図を、図１（ｂ）に示す。
【0018】
図１（ａ）および図１（ｂ）に示すように、副デバイス１００（または、１０１）は、
ユーザＡから音声コマンドを受信すると、ユーザＡの主デバイス３００ａにその音声コマ
ンドを中継する。そして、主デバイス３００ａからの回答を受信し、出力する。また、ユ
ーザＢから音声コマンドを受信すると、ユーザＢの主デバイス３００ｂにその音声コマン
ドを中継し、主デバイス３００ｂから受信した回答を出力する。ユーザＣの場合も同様に
、音声コマンドを受信すると、ユーザＣの主デバイス３００ｃにその音声コマンドを中継
し、得られた回答を出力する。
ユーザＡから音声コマンドを受信すると、ユーザＡの主デバイス３００ａにその音声コマ
ンドを中継する。そして、主デバイス３００ａからの回答を受信し、出力する。また、ユ
ーザＢから音声コマンドを受信すると、ユーザＢの主デバイス３００ｂにその音声コマン
ドを中継し、主デバイス３００ｂから受信した回答を出力する。ユーザＣの場合も同様に
、音声コマンドを受信すると、ユーザＣの主デバイス３００ｃにその音声コマンドを中継
し、得られた回答を出力する。
【0019】
回答の出力は、例えば、副デバイスがテレビ１００の場合、スピーカからの音声出力、
ディスプレイ上への表示等である。また、副デバイスがスマートスピーカ１０１の場合、
スピーカからの音声出力等である。以下、上記機能を実現するアシスタントシステムを説
明する。
ディスプレイ上への表示等である。また、副デバイスがスマートスピーカ１０１の場合、
スピーカからの音声出力等である。以下、上記機能を実現するアシスタントシステムを説
明する。
【0020】
【0021】
本図に示すように、本実施形態のアシスタントシステム９００は、副デバイス１００と
、主デバイス３００と、アクセスポイント（ＡＰ）５１０と、を備える。なお、本実施形
態のアシスタントシステム９００は、さらに、外部ネットワーク５２０を介して、アクセ
スポイント５１０と接続されるサーバ５３０を備えてもよい。また、主デバイス３００を
充電する充電台５１１を備えてもよい。
、主デバイス３００と、アクセスポイント（ＡＰ）５１０と、を備える。なお、本実施形
態のアシスタントシステム９００は、さらに、外部ネットワーク５２０を介して、アクセ
スポイント５１０と接続されるサーバ５３０を備えてもよい。また、主デバイス３００を
充電する充電台５１１を備えてもよい。
【0022】
主デバイス３００は、個々のユーザにデジタルアシスタント機能を提供する装置である
。通信機能、ユーザインタフェース、情報処理機能を備える装置であればよい。
。通信機能、ユーザインタフェース、情報処理機能を備える装置であればよい。
【0023】
本実施形態では、主デバイス３００として、例えば、スマートフォン等の携帯型情報処
理装置３００ａ、３００ｂ、３００ｃや、スマートウォッチ３０１、ヘッドマウントディ
スプレイ（ＨＭＤ）３０２や、ワイヤレスヘッドフォン３０３等が用いられる。以下、本
実施形態では、主デバイス３００として、スマートフォンを用いる場合を例にあげて説明
する。なお、主デバイス３００の個数は限定されない。
理装置３００ａ、３００ｂ、３００ｃや、スマートウォッチ３０１、ヘッドマウントディ
スプレイ（ＨＭＤ）３０２や、ワイヤレスヘッドフォン３０３等が用いられる。以下、本
実施形態では、主デバイス３００として、スマートフォンを用いる場合を例にあげて説明
する。なお、主デバイス３００の個数は限定されない。
【0024】
副デバイス１００は、個々のユーザのインタフェースとなるデバイスである。本実施形
態では、ユーザによる音声を受け付け、音声の発声主を特定し、特定した発声主の主デバ
イス３００に当該音声を転送する。また、主デバイス３００から処理結果を受信すると、
ユーザに提示する。副デバイス１００の個数も限定されない。
態では、ユーザによる音声を受け付け、音声の発声主を特定し、特定した発声主の主デバ
イス３００に当該音声を転送する。また、主デバイス３００から処理結果を受信すると、
ユーザに提示する。副デバイス１００の個数も限定されない。
【0025】
本実施形態では、例えば、副デバイス１００として、テレビ、スマートスピーカ１０１
等が用いられる。以下、本実施形態では、副デバイス１００として、表示装置であるディ
スプレイを有するテレビを用いる場合を例にあげて説明する。
等が用いられる。以下、本実施形態では、副デバイス１００として、表示装置であるディ
スプレイを有するテレビを用いる場合を例にあげて説明する。
【0026】
アクセスポイント５１０は、無線ＬＡＮクライアントを相互に接続したり、他のネット
ワークに接続したりするデバイスである。本実施形態では、主デバイス３００と副デバイ
ス１００とを接続する。
ワークに接続したりするデバイスである。本実施形態では、主デバイス３００と副デバイ
ス１００とを接続する。
【0027】
【0028】
本図に示すように、本実施形態の副デバイス１００は、コントローラ１１０と、ＴＶ部
１２０と、マイクロフォン（マイク）１３０と、ディスプレイ１４０と、音出力部１５０
と、通信部１６０と、を備える。さらに、カメラ１８１を備えてもよい。
１２０と、マイクロフォン（マイク）１３０と、ディスプレイ１４０と、音出力部１５０
と、通信部１６０と、を備える。さらに、カメラ１８１を備えてもよい。
【0029】
コントローラ１１０は、副デバイス１００の全体の制御を行う。本実施形態では、コン
トローラ１１０は、ＣＰＵ１１１と、メモリ１１２とを備える。メモリ１１２は、ＲＡＭ
とＲＯＭとを備え、ＲＯＭには、プログラム１１３とデータ１１４とが格納される。
トローラ１１０は、ＣＰＵ１１１と、メモリ１１２とを備える。メモリ１１２は、ＲＡＭ
とＲＯＭとを備え、ＲＯＭには、プログラム１１３とデータ１１４とが格納される。
【0030】
ＴＶ部１２０は、映像表示装置としての通常の機能を実現する。例えば、受信選局部１
２１と、信号分離部１２２と、映像処理部１２３と、音声処理部１２４と、デジタルイン
タフェース（Ｉ／Ｆ）部１２５と、ユーザインタフェース（Ｉ／Ｆ）部１２６と、を備え
る。
２１と、信号分離部１２２と、映像処理部１２３と、音声処理部１２４と、デジタルイン
タフェース（Ｉ／Ｆ）部１２５と、ユーザインタフェース（Ｉ／Ｆ）部１２６と、を備え
る。
【0031】
受信選局部１２１は、放送信号を受信し、信号分離部１２２に出力する。受信選局部１
２１は、ＲＦチューナー等を含み、ユーザがユーザＩ／Ｆ部１２６を介してリモコン等に
より指定するチャンネルを放送信号から選択する。そして、選択した放送信号を復調して
放送番組の受信データとして、信号分離部１２２に送る。放送番組の受信データは、映像
データ、音声データ、放送データなどが多重されたものである。
２１は、ＲＦチューナー等を含み、ユーザがユーザＩ／Ｆ部１２６を介してリモコン等に
より指定するチャンネルを放送信号から選択する。そして、選択した放送信号を復調して
放送番組の受信データとして、信号分離部１２２に送る。放送番組の受信データは、映像
データ、音声データ、放送データなどが多重されたものである。
【0032】
信号分離部１２２は、受信データから映像データと音声データを分離し、それぞれ映像
処理部１２３、音声処理部１２４に送る。映像データ、音声データは、オリジナルデータ
の情報量を圧縮する符号化がなされている。
処理部１２３、音声処理部１２４に送る。映像データ、音声データは、オリジナルデータ
の情報量を圧縮する符号化がなされている。
【0033】
映像処理部１２３は、映像データに対し、伸張・復号処理を行い、ＴＶ放送番組の映像
データを得、ディスプレイ１４０から出力する。なお、このとき、表示する映像データを
プレーン単位で管理し、例えば、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）プレー
ンを放送番組の映像データに重畳してもよい。
データを得、ディスプレイ１４０から出力する。なお、このとき、表示する映像データを
プレーン単位で管理し、例えば、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）プレー
ンを放送番組の映像データに重畳してもよい。
【0034】
音声処理部１２４は、音声データに対し、伸張・復号処理を行い、ＴＶ放送番組の音声
データを得、音出力部１５０から出力する。
データを得、音出力部１５０から出力する。
【0035】
デジタルＩ／Ｆ部１２５は、例えばＨＤＭＩ（登録商標）、もしくはＵＳＢのデジタル
Ｉ／Ｆ機能を有する。デジタルＩ／Ｆ部１２５は、映像及び音声のコンテンツデータを外
部入力として受け付け、映像処理部１２３および音声処理部１２４を介してディスプレイ
１４０および音出力部１５０に出力する。
Ｉ／Ｆ機能を有する。デジタルＩ／Ｆ部１２５は、映像及び音声のコンテンツデータを外
部入力として受け付け、映像処理部１２３および音声処理部１２４を介してディスプレイ
１４０および音出力部１５０に出力する。
【0036】
マイク１３０は、外界の音を取得する。
【0037】
ディスプレイ１４０は、副デバイス１００内で処理された映像データを表示する。
【0038】
音出力部１５０は、副デバイス１００内で処理された音データを出力する。音出力部１
５０は、例えば、スピーカ１５１と、イヤホン１５２とを備えてもよい。
５０は、例えば、スピーカ１５１と、イヤホン１５２とを備えてもよい。
【0039】
通信部１６０は、符号回路や復号回路、アンテナ等を備え、他装置とのデータの送受信
（データ通信）を行う。通信部１６０は、ＡＰ５１０を介して他装置とのデータの送受信
を行う通信インタフェース１６２と、直接他装置と通信を行う近接通信インタフェース１
６１とを備える。ＡＰ５１０との接続は、例えば、Ｗｉ－Ｆｉ（登録商標）等の無線通信
方式やその他の通信方式により行われる。
（データ通信）を行う。通信部１６０は、ＡＰ５１０を介して他装置とのデータの送受信
を行う通信インタフェース１６２と、直接他装置と通信を行う近接通信インタフェース１
６１とを備える。ＡＰ５１０との接続は、例えば、Ｗｉ－Ｆｉ（登録商標）等の無線通信
方式やその他の通信方式により行われる。
【0040】
カメラ１８１は、副デバイス１００の周囲の画像を取得する。
【0041】
【0042】
本図に示すように、本実施形態の主デバイス３００は、コントローラ３１０と、マイク
３３０と、ディスプレイ３４０と、音声出力部３５０と、通信部３６０と、位置検出部３
７０と、カメラ３８１と、測距センサ３８２とを備える。
３３０と、ディスプレイ３４０と、音声出力部３５０と、通信部３６０と、位置検出部３
７０と、カメラ３８１と、測距センサ３８２とを備える。
【0043】
各構成は、副デバイス１００の同名の構成と基本的に同様の機能を有するため、ここで
は、詳細は説明しない。
は、詳細は説明しない。
【0044】
なお、位置検出部３７０は、主デバイス３００の現在位置、傾き、速度等を検出する。
これらの情報を検出するためのセンサとして、例えば、加速度センサ３７１と、ジャイロ
センサ３７２と、地磁気センサ３７３と、ＧＰＳ受信器３７４とを備える。
これらの情報を検出するためのセンサとして、例えば、加速度センサ３７１と、ジャイロ
センサ３７２と、地磁気センサ３７３と、ＧＰＳ受信器３７４とを備える。
【0045】
カメラ３８１は、主デバイス３００の周囲の画像を取得する。なお、カメラ３８１とし
て、撮影範囲の中心軸の向きが１８０度異なる２種のカメラ、例えば、外向きカメラと、
内向きカメラとを備えてもよい。測距センサ３８２は、主デバイス３００の周囲の物体ま
での距離を取得する。
て、撮影範囲の中心軸の向きが１８０度異なる２種のカメラ、例えば、外向きカメラと、
内向きカメラとを備えてもよい。測距センサ３８２は、主デバイス３００の周囲の物体ま
での距離を取得する。
【0046】
［副デバイスの機能ブロック］
次に、本実施形態の副デバイス１００の機能構成について説明する。上述のように、本
実施形態の副デバイス１００は、通常のテレビとしての機能に加え、デジタルアシスタン
ト機能のユーザインタフェースとして機能する。すなわち、ユーザの音声を、当該ユーザ
の主デバイス３００に中継する。
次に、本実施形態の副デバイス１００の機能構成について説明する。上述のように、本
実施形態の副デバイス１００は、通常のテレビとしての機能に加え、デジタルアシスタン
ト機能のユーザインタフェースとして機能する。すなわち、ユーザの音声を、当該ユーザ
の主デバイス３００に中継する。
【0047】
以下、副デバイス１００が、主デバイス３００のデジタルアシスタント機能のユーザＩ
／Ｆとして機能することを、副デバイス１００と主デバイス３００とのデジタルアシスタ
ント連携、あるいは、単に、連携、と呼ぶ。主デバイス３００は、例えば、連携状態であ
る副デバイス１００から受信した音データについてのみ、デジタルアシスタント処理を行
い、回答を提供する。なお、副デバイス１００が、デジタルアシスタント連携可能な状態
を連携モードと呼ぶ。主デバイス３００も同様に、デジタルアシスタント連携可能な状態
を連携モードと呼ぶ。
／Ｆとして機能することを、副デバイス１００と主デバイス３００とのデジタルアシスタ
ント連携、あるいは、単に、連携、と呼ぶ。主デバイス３００は、例えば、連携状態であ
る副デバイス１００から受信した音データについてのみ、デジタルアシスタント処理を行
い、回答を提供する。なお、副デバイス１００が、デジタルアシスタント連携可能な状態
を連携モードと呼ぶ。主デバイス３００も同様に、デジタルアシスタント連携可能な状態
を連携モードと呼ぶ。
【0048】
以下、上記デジタルアシスタント連携機能を実現する本実施形態の副デバイス１００の
機能ブロックを説明する。ここでは、副デバイス１００の機能のうち、デジタルアシスタ
ント連携機能にのみ主眼をおいて説明する。
機能ブロックを説明する。ここでは、副デバイス１００の機能のうち、デジタルアシスタ
ント連携機能にのみ主眼をおいて説明する。
【0049】
本実施形態の副デバイス１００は、図５に示すように、デジタルアシスタント連携機能
として、副デバイス側連携部２１０を備える。副デバイス側連携部２１０は、連携設定部
２１１と、音取得部２１２と、送信先デバイス決定部２１３と、送受信部２１４と、回答
提示部２１５と、を備える。
として、副デバイス側連携部２１０を備える。副デバイス側連携部２１０は、連携設定部
２１１と、音取得部２１２と、送信先デバイス決定部２１３と、送受信部２１４と、回答
提示部２１５と、を備える。
【0050】
これらの各機能は、メモリ１１２の例えばＲＯＭに保存されたプログラム１１３を、Ｃ
ＰＵ１１１がメモリ１１２の例えばＲＡＭにロードして実行することにより、実現される
。
ＰＵ１１１がメモリ１１２の例えばＲＡＭにロードして実行することにより、実現される
。
【0051】
また、メモリ１１２には、さらに、これらの処理に用いるデータ１１４として、連携情
報データベース（ＤＢ）２３０と、ユーザ情報データベース（ＤＢ）２４０とが格納され
る。
報データベース（ＤＢ）２３０と、ユーザ情報データベース（ＤＢ）２４０とが格納され
る。
【0052】
連携設定部２１１は、デジタルアシスタント連携を行う可能性のある主デバイス３００
の連携状態を管理する。本実施形態では、連携情報ＤＢ２３０により管理する。
の連携状態を管理する。本実施形態では、連携情報ＤＢ２３０により管理する。
【0053】
【0054】
具体的には、本図に示すように、ユーザＩＤ２３１毎に、主デバイスＩＤ２３２と、ア
クセス情報２３３と、連携フラグ２３４と、が登録される。
クセス情報２３３と、連携フラグ２３４と、が登録される。
【0055】
ユーザＩＤ２３１は、ユーザを特定する情報である。主デバイスＩＤ２３２は、そのユ
ーザが使用する主デバイス３００を識別する情報である。また、アクセス情報２３３は、
ＡＰ５１０を介して、その主デバイス３００にアクセスするための情報、例えば、ＩＰア
ドレス等である。
ーザが使用する主デバイス３００を識別する情報である。また、アクセス情報２３３は、
ＡＰ５１０を介して、その主デバイス３００にアクセスするための情報、例えば、ＩＰア
ドレス等である。
【0056】
ユーザＩＤ２３１、主デバイスＩＤ２３２およびアクセス情報２３３は、予め、ユーザ
により登録される。例えば、後述するように、主デバイス３００において、連携初期設定
処理を行うことにより、設定される。これらの情報は、初期設定時に設定された後、メモ
リ１１２に保持される。
により登録される。例えば、後述するように、主デバイス３００において、連携初期設定
処理を行うことにより、設定される。これらの情報は、初期設定時に設定された後、メモ
リ１１２に保持される。
【0057】
なお、主デバイス３００の情報として、さらに、主デバイス種別２３５および主デバイ
ス名称２３６が登録されてもよい。主デバイス種別２３５は、主デバイスの種類である。
例えば、スマートフォン、タブレット、スマートウォッチ等が登録される。また、主デバ
イス名称２３６は、主デバイス３００の呼称である。予め主デバイス３００に付与された
ものであってもよいし、ユーザが独自に付与したものであってもよい。これらの情報も、
予めユーザにより登録される。
ス名称２３６が登録されてもよい。主デバイス種別２３５は、主デバイスの種類である。
例えば、スマートフォン、タブレット、スマートウォッチ等が登録される。また、主デバ
イス名称２３６は、主デバイス３００の呼称である。予め主デバイス３００に付与された
ものであってもよいし、ユーザが独自に付与したものであってもよい。これらの情報も、
予めユーザにより登録される。
【0058】
また、連携フラグ２３４は、その主デバイス３００と連携状態であるか否かを示す情報
が格納される。
が格納される。
【0059】
本実施形態では、後述するように、主デバイス３００がＡＰ５１０を認識すると、ＡＰ
５１０を介して連携要求コマンドを副デバイス１００に送信する。連携設定部２１１は、
主デバイス３００から連携要求コマンドを受信すると、連携情報ＤＢ２３０の、送信元の
主デバイス３００のデータの連携フラグ２３４を設定し、送信元の主デバイス３００に連
携確立コマンドを返信する。なお、本図では、連携フラグ２３４が設定されているデータ
は、連携フラグ２３４をＯＮで示し、設定されていないデータは、連携フラグ２３４をＯ
ＦＦで示す。連携フラグ２３４がＯＮの主デバイス３００とは、デジタルアシスタント連
携が確立されている主デバイス３００である。
５１０を介して連携要求コマンドを副デバイス１００に送信する。連携設定部２１１は、
主デバイス３００から連携要求コマンドを受信すると、連携情報ＤＢ２３０の、送信元の
主デバイス３００のデータの連携フラグ２３４を設定し、送信元の主デバイス３００に連
携確立コマンドを返信する。なお、本図では、連携フラグ２３４が設定されているデータ
は、連携フラグ２３４をＯＮで示し、設定されていないデータは、連携フラグ２３４をＯ
ＦＦで示す。連携フラグ２３４がＯＮの主デバイス３００とは、デジタルアシスタント連
携が確立されている主デバイス３００である。
【0060】
なお、連携要求コマンドには、主デバイス３００の主デバイスＩＤ２３２およびアクセ
ス情報２３３が含まれる。連携設定部２１１は、これらの情報に基づき、連携フラグ２３
４を設定するデータを特定する。
ス情報２３３が含まれる。連携設定部２１１は、これらの情報に基づき、連携フラグ２３
４を設定するデータを特定する。
【0061】
また、返信される連携確立コマンドには、副デバイス１００の識別情報である副デバイ
スＩＤおよびアクセス情報が含まれる。
スＩＤおよびアクセス情報が含まれる。
【0062】
音取得部２１２は、マイク１３０で取得した音から音データを生成し、送信先デバイス
決定部２１３に出力する。また、送信先デバイス決定部２１３からの指示に応じて音デー
タを送受信部２１４に出力する。
決定部２１３に出力する。また、送信先デバイス決定部２１３からの指示に応じて音デー
タを送受信部２１４に出力する。
【0063】
本実施形態では、音取得部２１２は、マイク１３０で取得した音に対し、ノイズ除去処
理を行い、音データを生成する。ここで行うノイズ除去処理は、たとえば、一定音量以下
の音を除く、所定の周波数領域外（低周波、高周波）成分を除く等の処理である。なお、
音取得部２１２は、スペクトル減算法など公知の技術を用いてノイズ除去処理を行っても
よい。
理を行い、音データを生成する。ここで行うノイズ除去処理は、たとえば、一定音量以下
の音を除く、所定の周波数領域外（低周波、高周波）成分を除く等の処理である。なお、
音取得部２１２は、スペクトル減算法など公知の技術を用いてノイズ除去処理を行っても
よい。
【0064】
送信先デバイス決定部２１３は、音データの送信先の主デバイス３００を送信先主デバ
イスとして決定する。まず、音取得部２１２から音データを受け取ると、当該音を解析し
、ユーザ情報ＤＢ２４０を参照し、発声主であるユーザを特定する。なお、ユーザが特定
できない場合は、音声データでないと判別し、送信先主デバイスは決定しない。
イスとして決定する。まず、音取得部２１２から音データを受け取ると、当該音を解析し
、ユーザ情報ＤＢ２４０を参照し、発声主であるユーザを特定する。なお、ユーザが特定
できない場合は、音声データでないと判別し、送信先主デバイスは決定しない。
【0065】
ここで、送信先デバイス決定部２１３がユーザを特定する際に用いるユーザ情報ＤＢ２
４０の一例を説明する。ユーザ情報ＤＢ２４０は、音によりユーザを特定するための情報
が格納される。本実施形態では、ユーザを特定する情報であるユーザＩＤ２４１に対応づ
けて、音声情報２４２が登録される。なお、さらに顔画像２４３が登録されてもよい。
４０の一例を説明する。ユーザ情報ＤＢ２４０は、音によりユーザを特定するための情報
が格納される。本実施形態では、ユーザを特定する情報であるユーザＩＤ２４１に対応づ
けて、音声情報２４２が登録される。なお、さらに顔画像２４３が登録されてもよい。
【0066】
音声情報２４２は、例えば、ユーザの実際の音声データであってもよい。なお、送信先
デバイス決定部２１３は、声紋や周波数等を用いて、音声情報２４２と受け取った音デー
タとを照合し、ユーザを特定する。従って、音声情報２４２は、ユーザの音声データその
ものでなくても、声紋や周波数等が比較できる情報であればよい。また、実際の音声デー
タは、別の領域に格納し、当該領域へのアクセス情報であってもよい。
デバイス決定部２１３は、声紋や周波数等を用いて、音声情報２４２と受け取った音デー
タとを照合し、ユーザを特定する。従って、音声情報２４２は、ユーザの音声データその
ものでなくても、声紋や周波数等が比較できる情報であればよい。また、実際の音声デー
タは、別の領域に格納し、当該領域へのアクセス情報であってもよい。
【0067】
なお、音声情報２４２は、予めユーザにより登録される。顔画像２４３も同様である。
【0068】
本実施形態の送信先デバイス決定部２１３は、ユーザ情報ＤＢ２４０を参照し、受け取
った音データに、所定の許容範囲内で合致する音声情報２４２を特定する。そして、特定
した音声情報２４２に対応付けられたユーザＩＤ２４１をユーザ情報ＤＢ２４０から抽出
する。
った音データに、所定の許容範囲内で合致する音声情報２４２を特定する。そして、特定
した音声情報２４２に対応付けられたユーザＩＤ２４１をユーザ情報ＤＢ２４０から抽出
する。
【0069】
音データの発声主であるユーザを特定すると、送信先デバイス決定部２１３は、そのユ
ーザの主デバイス３００を特定し、送信先主デバイスと決定する。ここでは、連携情報Ｄ
Ｂ２３０を参照し、抽出したユーザＩＤ２４１と同じユーザＩＤ２３１に対応づけて登録
されている主デバイス３００を、送信先主デバイスと決定する。決定結果は、音取得部２
１２に出力される。本実施形態では、例えば、主デバイスＩＤ２３２およびアクセス情報
２３３を決定結果として音取得部２１２に出力する。
ーザの主デバイス３００を特定し、送信先主デバイスと決定する。ここでは、連携情報Ｄ
Ｂ２３０を参照し、抽出したユーザＩＤ２４１と同じユーザＩＤ２３１に対応づけて登録
されている主デバイス３００を、送信先主デバイスと決定する。決定結果は、音取得部２
１２に出力される。本実施形態では、例えば、主デバイスＩＤ２３２およびアクセス情報
２３３を決定結果として音取得部２１２に出力する。
【0070】
なお、受け取った音データに所定の許容範囲内で合致する音声情報２４２がユーザ情報
ＤＢ２４０に登録されていない場合は、送信先デバイス決定部２１３は、取得された音デ
ータはユーザによる音声ではないと判断し、何も出力しない。
ＤＢ２４０に登録されていない場合は、送信先デバイス決定部２１３は、取得された音デ
ータはユーザによる音声ではないと判断し、何も出力しない。
【0071】
また、送信先主デバイスと決定した主デバイス３００の連携フラグ２３４がＯＦＦであ
る場合、当該主デバイス３００は、この副デバイス１００との間で、連携が確立されてい
ない。従って、この場合、送信先デバイス決定部２１３は、その旨、ユーザに通知しても
よい。例えば、ディスプレイ１４０に、連携が未確立であることを表示する。
る場合、当該主デバイス３００は、この副デバイス１００との間で、連携が確立されてい
ない。従って、この場合、送信先デバイス決定部２１３は、その旨、ユーザに通知しても
よい。例えば、ディスプレイ１４０に、連携が未確立であることを表示する。
【0072】
なお、音取得部２１２は、送信先デバイス決定部２１３から主デバイスＩＤ２３２およ
びアクセス情報２３３を受信した場合、当該主デバイス３００に向けて、音データを送信
するよう送受信部２１４に指示を行う。
びアクセス情報２３３を受信した場合、当該主デバイス３００に向けて、音データを送信
するよう送受信部２１４に指示を行う。
【0073】
送受信部２１４は、通信インタフェース１６２を介してデータの送受信を行う。本実施
形態では、音取得部２１２からの指示に従って、音データを、中継音声として主デバイス
３００に送信する。また、主デバイス３００から処理結果を受信すると、回答提示部２１
５に出力する。
形態では、音取得部２１２からの指示に従って、音データを、中継音声として主デバイス
３００に送信する。また、主デバイス３００から処理結果を受信すると、回答提示部２１
５に出力する。
【0074】
回答提示部２１５は、処理結果を、ディスプレイ１４０および／または音出力部１５０
を介してユーザに出力する。
を介してユーザに出力する。
【0075】
［主デバイスの機能ブロック］
次に、上記デジタルアシスタント連携機能を実現する、本実施形態の主デバイス３００
の機能ブロックを説明する。ここでは、主デバイス３００の機能のうち、デジタルアシス
タント連携機能にのみ主眼をおいて説明する。
次に、上記デジタルアシスタント連携機能を実現する、本実施形態の主デバイス３００
の機能ブロックを説明する。ここでは、主デバイス３００の機能のうち、デジタルアシス
タント連携機能にのみ主眼をおいて説明する。
【0076】
本実施形態の主デバイス３００は、図７（ａ）に示すように、アシスタント部４１０と
、デジタルアシスタント連携を実現する機能として、主デバイス側連携部４２０と、を備
える。主デバイス側連携部４２０は、データ受信部４２１と、回答送信部４２２と、連携
管理部４２３と、初期設定部４２４と、を備える。
、デジタルアシスタント連携を実現する機能として、主デバイス側連携部４２０と、を備
える。主デバイス側連携部４２０は、データ受信部４２１と、回答送信部４２２と、連携
管理部４２３と、初期設定部４２４と、を備える。
【0077】
これらの各機能は、メモリ３１２の例えばＲＯＭに保存されたプログラム３１３を、Ｃ
ＰＵ３１１がメモリ３１２の例えばＲＡＭにロードして実行することにより、実現される
。
ＰＵ３１１がメモリ３１２の例えばＲＡＭにロードして実行することにより、実現される
。
【0078】
また、メモリ３１２には、さらに、これらの処理に用いるデータ３１４として、副デバ
イス管理データベース（ＤＢ）４３０が格納される。
イス管理データベース（ＤＢ）４３０が格納される。
【0079】
初期設定部４２４は、連携初期設定処理を行う。本実施形態では、デジタルアシスタン
ト連携処理の実行に先立ち、連携を行う副デバイス１００に、自装置（主デバイス３００
）の情報を登録する。上述のように、自装置である主デバイス３００の、主デバイスＩＤ
２３２と、アクセス情報２３３とを登録する。
ト連携処理の実行に先立ち、連携を行う副デバイス１００に、自装置（主デバイス３００
）の情報を登録する。上述のように、自装置である主デバイス３００の、主デバイスＩＤ
２３２と、アクセス情報２３３とを登録する。
【0080】
登録は、例えば、副デバイス１００の近傍で、近接通信インタフェース１６１および３
６１を介して上記情報を副デバイス１００に、登録要求とともに送信することにより行う
。このとき、副デバイス１００側の情報として副デバイス１００を特定する情報である副
デバイスＩＤとアクセス情報とを取得してもよい。取得したこれらの情報は、例えば、後
述する副デバイス管理ＤＢ４３０に管理してもよい。
６１を介して上記情報を副デバイス１００に、登録要求とともに送信することにより行う
。このとき、副デバイス１００側の情報として副デバイス１００を特定する情報である副
デバイスＩＤとアクセス情報とを取得してもよい。取得したこれらの情報は、例えば、後
述する副デバイス管理ＤＢ４３０に管理してもよい。
【0081】
ここで、副デバイス管理ＤＢ４３０の例を、図７（ｂ）に示す。本図に示すように、副
デバイス管理ＤＢ４３０は、副デバイス１００毎の連携に必要な情報が格納される。具体
的には、副デバイス１００を特定する情報である副デバイスＩＤ４３１に対応づけて、そ
のアクセス情報４３２と、連携が設定されているか否かを示す連携フラグ４３３が格納さ
れる。連携フラグ４３３は、後述する連携管理部４２３により設定される。
デバイス管理ＤＢ４３０は、副デバイス１００毎の連携に必要な情報が格納される。具体
的には、副デバイス１００を特定する情報である副デバイスＩＤ４３１に対応づけて、そ
のアクセス情報４３２と、連携が設定されているか否かを示す連携フラグ４３３が格納さ
れる。連携フラグ４３３は、後述する連携管理部４２３により設定される。
【0082】
なお、副デバイスＩＤ４３１およびアクセス情報４３２も、後述する連携管理部４２３
により設定されてもよい。すなわち、連携要求コマンドに応じて返信された連携確立コマ
ンドに含まれる副デバイスの識別情報およびアクセス情報を格納してもよい。また、連携
確立コマンドを受信し、副デバイスＩＤとアクセス情報４３２とが設定されたデータにつ
いては、連携が解除されるまでは、連携フラグ４３３をＯＮに設定する。
により設定されてもよい。すなわち、連携要求コマンドに応じて返信された連携確立コマ
ンドに含まれる副デバイスの識別情報およびアクセス情報を格納してもよい。また、連携
確立コマンドを受信し、副デバイスＩＤとアクセス情報４３２とが設定されたデータにつ
いては、連携が解除されるまでは、連携フラグ４３３をＯＮに設定する。
【0083】
連携管理部４２３は、連携する副デバイス１００を管理するとともに、当該副デバイス
１００との間でデジタルアシスタント連携状態であるか否かを管理する。
１００との間でデジタルアシスタント連携状態であるか否かを管理する。
【0084】
連携管理部４２３は、まず、自装置である主デバイス３００が、デジタルアシスタント
連携可能状態であるか否かを管理する。本実施形態では、例えば、アシスタントシステム
９００のＡＰ５１０にアクセス可能か、すなわち、ＡＰ５１０を認識したか否かを判別す
る。
連携可能状態であるか否かを管理する。本実施形態では、例えば、アシスタントシステム
９００のＡＰ５１０にアクセス可能か、すなわち、ＡＰ５１０を認識したか否かを判別す
る。
【0085】
連携管理部４２３は、ＡＰ５１０を認識した場合、デジタルアシスタント連携可能状態
であると判別する。
であると判別する。
【0086】
デジタルアシスタント連携可能状態と判別した場合、すなわち、ＡＰ５１０を認識した
場合、連携管理部４２３は、ＡＰ５１０を介して、連携要求コマンドを出力する。
場合、連携管理部４２３は、ＡＰ５１０を介して、連携要求コマンドを出力する。
【0087】
副デバイス１００側では、連携要求コマンドを受信すると、上述のように、連携確立コ
マンドを、送信元の主デバイス３００に送信する。なお、副デバイス１００として機能す
るデバイスがＡＰ５１０を介して複数接続されている場合、各副デバイス１００から連携
確立コマンドが送信される。
マンドを、送信元の主デバイス３００に送信する。なお、副デバイス１００として機能す
るデバイスがＡＰ５１０を介して複数接続されている場合、各副デバイス１００から連携
確立コマンドが送信される。
【0088】
連携管理部４２３は、副デバイス１００から連携確立コマンドを受信すると、当該副デ
バイス１００との連携を確立し、当該副デバイス１００との間で連携状態とする。具体的
には、送信元の副デバイス１００のデータの連携フラグ４３３を設定する（ＯＮにする）
。なお、送信元の副デバイス１００のデータは、連携確立コマンドに含まれる副デバイス
ＩＤおよびアクセス情報で特定する。
バイス１００との連携を確立し、当該副デバイス１００との間で連携状態とする。具体的
には、送信元の副デバイス１００のデータの連携フラグ４３３を設定する（ＯＮにする）
。なお、送信元の副デバイス１００のデータは、連携確立コマンドに含まれる副デバイス
ＩＤおよびアクセス情報で特定する。
【0089】
また、連携管理部４２３は、ＡＰ５１０を認識しなくなると、連携フラグ４３３を解除
する。なお、連携フラグ４３３は、電源がＯＦＦされると、解除されるよう、例えば、Ｒ
ＡＭ等に設定する。
する。なお、連携フラグ４３３は、電源がＯＦＦされると、解除されるよう、例えば、Ｒ
ＡＭ等に設定する。
【0090】
データ受信部４２１は、通信インタフェース３６２を介して中継音声を受信し、送信元
の副デバイス１００との間で連携状態である場合、受信した中継音声をアシスタント部４
１０に出力する。連携状態であるか否かは、副デバイス管理ＤＢ４３０の連携フラグ４３
３により判別する。なお、データ受信部４２１は、連携状態である副デバイス１００であ
って、通信路が未確立の副デバイス１００から中継音声を受信すると、送信元の副デバイ
ス１００との間に通信路を確立させる。
の副デバイス１００との間で連携状態である場合、受信した中継音声をアシスタント部４
１０に出力する。連携状態であるか否かは、副デバイス管理ＤＢ４３０の連携フラグ４３
３により判別する。なお、データ受信部４２１は、連携状態である副デバイス１００であ
って、通信路が未確立の副デバイス１００から中継音声を受信すると、送信元の副デバイ
ス１００との間に通信路を確立させる。
【0091】
アシスタント部４１０は、中継音声を、通常のマイク３３０で取得した音と同様に解析
し、アシスタント処理を行い、回答を出力する。このとき、必要に応じて、ＡＰ５１０を
介して、外部ネットワーク５２０に接続されたサーバ５３０等から情報を取得してもよい
。
し、アシスタント処理を行い、回答を出力する。このとき、必要に応じて、ＡＰ５１０を
介して、外部ネットワーク５２０に接続されたサーバ５３０等から情報を取得してもよい
。
【0092】
回答送信部４２２は、通信路が確立されている副デバイス１００に対し、アシスタント
部４１０が出力した回答を送信する。送信は、通信インタフェース３６２を介して行われ
る。
部４１０が出力した回答を送信する。送信は、通信インタフェース３６２を介して行われ
る。
【0093】
回答送信部４２２は、回答の内容だけでなく、主デバイス３００のアシスタント機能に
おいて設定されている、アシスタントの音声種、キャラクタ等の情報も、回答に重畳して
送信してもよい。
おいて設定されている、アシスタントの音声種、キャラクタ等の情報も、回答に重畳して
送信してもよい。
【0094】
副デバイス１００の回答提示部２１５は、これらの情報に基づき、主デバイス３００の
音声種で回答を提示したり、キャラクタ情報を重畳したりする。
音声種で回答を提示したり、キャラクタ情報を重畳したりする。
【0095】
［デジタルアシスタント連携処理］
本実施形態のデジタルアシスタント連携処理の流れを説明する。図８は、本実施形態の
デジタルアシスタント連携処理の処理フローである。ここでは、主デバイス３００のうち
主デバイス３００ａと、副デバイス１００との間で連携を行う場合を例にあげて説明する
。なお、ここでは、初期設定部４２４と連携設定部２１１とにより、連携情報ＤＢ２３０
および副デバイス管理ＤＢ４３０の登録は完了しているものとする。
本実施形態のデジタルアシスタント連携処理の流れを説明する。図８は、本実施形態の
デジタルアシスタント連携処理の処理フローである。ここでは、主デバイス３００のうち
主デバイス３００ａと、副デバイス１００との間で連携を行う場合を例にあげて説明する
。なお、ここでは、初期設定部４２４と連携設定部２１１とにより、連携情報ＤＢ２３０
および副デバイス管理ＤＢ４３０の登録は完了しているものとする。
【0096】
まず、主デバイス３００ａの連携管理部４２３は、ＡＰ５１０を認識すると、連携要求
コマンドを送信する（ステップＳ１１０１）。ここでは、ＡＰ５１０に向けて連携要求コ
マンドを送信する。副デバイス管理ＤＢ４３０に登録されている副デバイス１００が１つ
の場合は、副デバイス１００を特定して、連携要求コマンドを送信してもよい。
コマンドを送信する（ステップＳ１１０１）。ここでは、ＡＰ５１０に向けて連携要求コ
マンドを送信する。副デバイス管理ＤＢ４３０に登録されている副デバイス１００が１つ
の場合は、副デバイス１００を特定して、連携要求コマンドを送信してもよい。
【0097】
主デバイス３００ａから連携要求コマンドを受信した副デバイス１００は（ステップＳ
１２０１）、送信元の主デバイス３００ａとの連携を開始する（ステップＳ１２０２）。
ここでは、連携設定部２１１は、連携情報ＤＢ２３０を参照し、主デバイス３００ａのデ
ータの連携フラグ２３４を設定する。また、連携設定部２１１は、連携確立コマンドを、
送信元の主デバイス３００ａに返信する。
１２０１）、送信元の主デバイス３００ａとの連携を開始する（ステップＳ１２０２）。
ここでは、連携設定部２１１は、連携情報ＤＢ２３０を参照し、主デバイス３００ａのデ
ータの連携フラグ２３４を設定する。また、連携設定部２１１は、連携確立コマンドを、
送信元の主デバイス３００ａに返信する。
【0098】
連携確立コマンドを受信した主デバイス３００ａの連携管理部４２３は、副デバイス１
００との連携モードをＯＮにする（ステップＳ１１０２）。ここでは、連携管理部４２３
は、副デバイス管理ＤＢ４３０の、該当する副デバイス１００のデータの連携フラグ４３
３を設定する。
００との連携モードをＯＮにする（ステップＳ１１０２）。ここでは、連携管理部４２３
は、副デバイス管理ＤＢ４３０の、該当する副デバイス１００のデータの連携フラグ４３
３を設定する。
【0099】
以上の処理により、主デバイス３００ａと、副デバイス１００との間にデジタルアシス
タント連携が確立される。
タント連携が確立される。
【0100】
デジタルアシスタント連携が確立された後、副デバイス１００は、音取得部２１２によ
り音データが取得されたか否かを、所定の時間間隔で判別する（ステップＳ１２０３）。
り音データが取得されたか否かを、所定の時間間隔で判別する（ステップＳ１２０３）。
【0101】
音データが取得されていない場合（Ｓ１２０３；Ｎｏ）、副デバイス側連携部２１０は
、副デバイス１００の主電源がＯＦＦされたか否かを判別し（ステップＳ１２１０）、Ｏ
ＦＦされたと判別された場合は、処理を終了する。ＯＦＦされていない場合は、ステップ
Ｓ１２０３へ戻り、処理を継続する。
、副デバイス１００の主電源がＯＦＦされたか否かを判別し（ステップＳ１２１０）、Ｏ
ＦＦされたと判別された場合は、処理を終了する。ＯＦＦされていない場合は、ステップ
Ｓ１２０３へ戻り、処理を継続する。
【0102】
一方、音データを取得した場合、送信先デバイス決定部２１３は、音データからユーザ
を特定可能か判別する（ステップＳ１２０４）。ここでは、上述のように、ユーザ情報Ｄ
Ｂ２４０に格納されている各音声情報２４２と照合し、合致と判定可能なレコードがある
か否かを判別する。
を特定可能か判別する（ステップＳ１２０４）。ここでは、上述のように、ユーザ情報Ｄ
Ｂ２４０に格納されている各音声情報２４２と照合し、合致と判定可能なレコードがある
か否かを判別する。
【0103】
ユーザ特定不可能と判別された場合（Ｓ１２０４；Ｎｏ）、すなわち、音声情報２４２
に合致と判定可能なレコードが無い場合は、ステップＳ１２１０へ移行する。
に合致と判定可能なレコードが無い場合は、ステップＳ１２１０へ移行する。
【0104】
一方、合致と判定可能なレコードが有る場合（Ｓ１２０４；Ｙｅｓ）、送信先デバイス
決定部２１３は、音データの発声主を特定し、対応付けられた主デバイス３００を特定す
る（ステップＳ１２０５）。ここでは、送信先デバイス決定部２１３は、合致と判定可能
な音声情報２４２に対応づけて登録されているユーザＩＤ２４１を抽出する。そして、連
携情報ＤＢ２３０を参照し、対応する主デバイスＩＤ２３２とアクセス情報２３３とを抽
出し、音取得部２１２に通知する。
決定部２１３は、音データの発声主を特定し、対応付けられた主デバイス３００を特定す
る（ステップＳ１２０５）。ここでは、送信先デバイス決定部２１３は、合致と判定可能
な音声情報２４２に対応づけて登録されているユーザＩＤ２４１を抽出する。そして、連
携情報ＤＢ２３０を参照し、対応する主デバイスＩＤ２３２とアクセス情報２３３とを抽
出し、音取得部２１２に通知する。
【0105】
例えば、主デバイスＩＤ２３２で特定される主デバイス３００が、ユーザＡの主デバイ
ス３００である主デバイス３００ａである場合、音取得部２１２は、送受信部２１４に、
主デバイス３００ａに向けて、音データを中継音声として送信するよう指示を行う。指示
を受けて、送受信部２１４は、主デバイス３００ａに向けて中継音声を送信する（ステッ
プＳ１２０６）。
ス３００である主デバイス３００ａである場合、音取得部２１２は、送受信部２１４に、
主デバイス３００ａに向けて、音データを中継音声として送信するよう指示を行う。指示
を受けて、送受信部２１４は、主デバイス３００ａに向けて中継音声を送信する（ステッ
プＳ１２０６）。
【0106】
なお、送信先デバイス決定部２１３が判別したユーザが、ユーザＡ以外である場合、送
受信部２１４は、判別されたユーザの主デバイス３００に中継音声を送信し、回答を受信
する（ステップＳ１２０７）。
受信部２１４は、判別されたユーザの主デバイス３００に中継音声を送信し、回答を受信
する（ステップＳ１２０７）。
【0107】
主デバイス３００ａ側では、データ受信部４２１は、中継音声を受信すると（ステップ
Ｓ１１０３）、アシスタント部４１０に出力する。
Ｓ１１０３）、アシスタント部４１０に出力する。
【0108】
アシスタント部４１０は、デジタルアシスタント処理を行い（ステップＳ１１０４）、
回答を生成する。なお、アシスタント部４１０は、送られてきた中継音声が、デジタルア
シスタント処理対象ではないと判別した場合、処理を行わない。
回答を生成する。なお、アシスタント部４１０は、送られてきた中継音声が、デジタルア
シスタント処理対象ではないと判別した場合、処理を行わない。
【0109】
回答送信部４２２は、得られた回答を、送信元の副デバイス１００に返信する（ステッ
プＳ１１０５）。その後、主デバイス３００ａでは、連携管理部４２３が、連携が解除さ
れたことを検出するまで（ステップＳ１１０６）、ステップＳ１１０３へ戻り、中継音声
の受信を待つ。一方、連携が解除されたことを検出すると、処理を終了する。なお、連携
が解除されるとは、例えば、外出または主電源がＯＦＦされた状態である。
プＳ１１０５）。その後、主デバイス３００ａでは、連携管理部４２３が、連携が解除さ
れたことを検出するまで（ステップＳ１１０６）、ステップＳ１１０３へ戻り、中継音声
の受信を待つ。一方、連携が解除されたことを検出すると、処理を終了する。なお、連携
が解除されるとは、例えば、外出または主電源がＯＦＦされた状態である。
【0110】
また、副デバイス１００では、送受信部２１４が主デバイス３００ａから回答を受信す
ると（ステップＳ１２０８）、回答提示部２１５は、回答を提示する（ステップＳ１２０
９）。ここでは、回答提示部２１５は、回答から映像データおよび音声データを生成し、
それぞれ、ディスプレイ１４０および音出力部１５０から出力する。
ると（ステップＳ１２０８）、回答提示部２１５は、回答を提示する（ステップＳ１２０
９）。ここでは、回答提示部２１５は、回答から映像データおよび音声データを生成し、
それぞれ、ディスプレイ１４０および音出力部１５０から出力する。
【0111】
このときのディスプレイ１４０への出力例を図９（ａ）に示す。図９（ａ）は、音デー
タが「来週の予定を教えて欲しい」といった、スケジュールを問い合わせるものである場
合の例である。本図に示すように、表示される画面例６１０は、回答表示領域６１１と、
主デバイス情報表示領域６１２とを備える。
タが「来週の予定を教えて欲しい」といった、スケジュールを問い合わせるものである場
合の例である。本図に示すように、表示される画面例６１０は、回答表示領域６１１と、
主デバイス情報表示領域６１２とを備える。
【0112】
回答表示領域６１１には、回答として得た映像データが表示される。本例の場合、主デ
バイス３００ａのアシスタント部４１０が、メモリ３１２から抽出したスケジュール情報
から生成された映像データが表示される。
バイス３００ａのアシスタント部４１０が、メモリ３１２から抽出したスケジュール情報
から生成された映像データが表示される。
【0113】
主デバイス情報表示領域６１２には、回答の送信元の主デバイス３００ａを特定する情
報、例えば、主デバイスＩＤ等が表示される。
報、例えば、主デバイスＩＤ等が表示される。
【0114】
なお、ステップＳ１２０５で、ユーザＡ以外と判別され、判別されたユーザの主デバイ
ス３００から回答を受信した場合も、回答提示部２１５は、その回答を提示する。
ス３００から回答を受信した場合も、回答提示部２１５は、その回答を提示する。
【0115】
ただし、判別されたユーザの主デバイス３００との間で連携が確立されていない場合は
、連携が確立されていないことを意味する表示を行う。例えば、図９（ｂ）に示すように
、「主デバイスが見つかりません」等の表示を行うとともに、同様の音声データを出力す
る。このとき、回答主は、副デバイス１００であるため、主デバイス情報表示領域６１２
には、副デバイス１００を表示する。なお、この映像データおよび音声データは、予めメ
モリ１１２等に記憶させておく。
、連携が確立されていないことを意味する表示を行う。例えば、図９（ｂ）に示すように
、「主デバイスが見つかりません」等の表示を行うとともに、同様の音声データを出力す
る。このとき、回答主は、副デバイス１００であるため、主デバイス情報表示領域６１２
には、副デバイス１００を表示する。なお、この映像データおよび音声データは、予めメ
モリ１１２等に記憶させておく。
【0116】
ステップＳ１２０９による回答提示の後、副デバイス側連携部２１０は、ステップＳ１
２１０へ進む。なお、ステップＳ１２０６において中継音声を送信後、副デバイス側連携
部２１０は、時間の計測を開始する。そして、所定時間内に回答を得られない場合は、タ
イムアウトと判断し、そのまま、ステップＳ１２１０へ進む。
２１０へ進む。なお、ステップＳ１２０６において中継音声を送信後、副デバイス側連携
部２１０は、時間の計測を開始する。そして、所定時間内に回答を得られない場合は、タ
イムアウトと判断し、そのまま、ステップＳ１２１０へ進む。
【0117】
以上説明したように、本実施形態のアシスタントシステム９００は、デジタルアシスタ
ント処理を実行する主デバイスに音データを中継する副デバイス１００であって、周囲の
音を音データとして取得する音取得部２１２と、音データの送信先の主デバイス３００で
ある送信先主デバイスを決定する送信先デバイス決定部２１３と、送信先主デバイスに、
音データを送信するとともに、音データに応じて実行されたデジタルアシスタント処理結
果を回答として送信先主デバイスから受信する送受信部２１４と、送受信部２１４で受信
した回答を提示する回答提示部２１５と、を備える副デバイスを有する。
ント処理を実行する主デバイスに音データを中継する副デバイス１００であって、周囲の
音を音データとして取得する音取得部２１２と、音データの送信先の主デバイス３００で
ある送信先主デバイスを決定する送信先デバイス決定部２１３と、送信先主デバイスに、
音データを送信するとともに、音データに応じて実行されたデジタルアシスタント処理結
果を回答として送信先主デバイスから受信する送受信部２１４と、送受信部２１４で受信
した回答を提示する回答提示部２１５と、を備える副デバイスを有する。
【0118】
音データの中継先である主デバイス３００を決定する送信先デバイス決定部２１３を備
えるため、主デバイス３００が複数ある場合であっても、適切な主デバイス３００に向け
て、音データを中継できる。これにより、ユーザの手元から離れた場所にある主デバイス
３００であって、デジタルアシスタント機能を有する主デバイス３００が複数ある場合で
あっても、所望のデジタルアシスタント結果を得ることができる。
えるため、主デバイス３００が複数ある場合であっても、適切な主デバイス３００に向け
て、音データを中継できる。これにより、ユーザの手元から離れた場所にある主デバイス
３００であって、デジタルアシスタント機能を有する主デバイス３００が複数ある場合で
あっても、所望のデジタルアシスタント結果を得ることができる。
【0119】
例えば、送信先デバイス決定部２１３は、音データを解析して発声主であるユーザを判
別し、判別したユーザに対応づけて登録されている主デバイス３００を、送信先主デバイ
スと決定する。従って、本実施形態によれば、個々のユーザに、個々のユーザの主デバイ
ス３００によるデジタルアシスタント機能を提供できる。
別し、判別したユーザに対応づけて登録されている主デバイス３００を、送信先主デバイ
スと決定する。従って、本実施形態によれば、個々のユーザに、個々のユーザの主デバイ
ス３００によるデジタルアシスタント機能を提供できる。
【0120】
＜変形例１＞
なお、上記実施形態では、主デバイス３００自身がＡＰ５１０を認識すると、主デバイ
ス３００は、デジタルアシスタント連携可能と判別する。そして、連携要求コマンドを副
デバイス１００に送信し、連携モードに移行する。しかしながら、連携モードへの移行の
きっかけは、これに限定されない。例えば、充電台５１１に置かれたことを検出した場合
、連携モードに移行してもよい。
なお、上記実施形態では、主デバイス３００自身がＡＰ５１０を認識すると、主デバイ
ス３００は、デジタルアシスタント連携可能と判別する。そして、連携要求コマンドを副
デバイス１００に送信し、連携モードに移行する。しかしながら、連携モードへの移行の
きっかけは、これに限定されない。例えば、充電台５１１に置かれたことを検出した場合
、連携モードに移行してもよい。
【0121】
この場合、連携管理部４２３は、ＡＰ５１０を認識したか否かを判別する代わりに、充
電台５１１に載置されたか否かを判別する。そして、充電台５１１に載置されたことを検
出した場合、連携管理部４２３は、デジタルアシスタント連携可能であると判別し、連携
要求コマンドをＡＰ５１０に向けて出力する。
電台５１１に載置されたか否かを判別する。そして、充電台５１１に載置されたことを検
出した場合、連携管理部４２３は、デジタルアシスタント連携可能であると判別し、連携
要求コマンドをＡＰ５１０に向けて出力する。
【0122】
なお、充電台５１１に制御部および通信インタフェースを持たせてもよい。この場合、
充電台５１１側で、主デバイス３００が載置されたことを検出すると、ＡＰ５１０を介し
て副デバイス１００に対し、連携要求コマンドを出力する。
充電台５１１側で、主デバイス３００が載置されたことを検出すると、ＡＰ５１０を介し
て副デバイス１００に対し、連携要求コマンドを出力する。
【0123】
このとき、充電台５１１は、連携対象とする主デバイス３００の主デバイスＩＤとアク
セス情報とを合わせて送信する。
セス情報とを合わせて送信する。
【0124】
あるいは、充電台５１１自体のアクセス情報を送信し、その後、充電台５１１を介して
副デバイス１００と主デバイス３００との間のデータの送受信を行うよう構成してもよい
。
副デバイス１００と主デバイス３００との間のデータの送受信を行うよう構成してもよい
。
【0125】
＜変形例２＞
また、上記実施形態および変形例では、連携管理部４２３は、何らかの装置を検出した
場合、デジタルアシスタント連携可能と判別している。しかしながら、デジタルアシスタ
ント連携可能か否かの判別は、これに限定されない。
また、上記実施形態および変形例では、連携管理部４２３は、何らかの装置を検出した
場合、デジタルアシスタント連携可能と判別している。しかしながら、デジタルアシスタ
ント連携可能か否かの判別は、これに限定されない。
【0126】
例えば、主デバイス３００の位置検出部３７０により、主デバイス３００が予め定めた
領域内に存在すると判別された場合、連携管理部４２３は、デジタルアシスタント連携可
能と判別してもよい。
領域内に存在すると判別された場合、連携管理部４２３は、デジタルアシスタント連携可
能と判別してもよい。
【0127】
例えば、予め定めた領域は、自宅等とする。連携管理部４２３は、位置検出部３７０に
よる上記判別結果を受信すると、連携要求コマンドを出力し、連携を確立する。
よる上記判別結果を受信すると、連携要求コマンドを出力し、連携を確立する。
【0128】
これにより、主デバイス３００のユーザが自宅に帰宅した場合、その主デバイス３００
を連携状態とするよう制御を行うことができる。
を連携状態とするよう制御を行うことができる。
【0129】
＜変形例３＞
例えば、ユーザがウェアラブルデバイスを装着し、主デバイス３００との間で近距離通
信を行っている場合は、他の方法でデジタルアシスタント連携可能と判別してもよい。
例えば、ユーザがウェアラブルデバイスを装着し、主デバイス３００との間で近距離通
信を行っている場合は、他の方法でデジタルアシスタント連携可能と判別してもよい。
【0130】
すなわち、連携管理部４２３は、ウェアラブルデバイスとの間で近距離通信が途絶えた
ことを検出した場合、デジタルアシスタント連携可能と判別してもよい。ウェアラブルデ
バイスと主デバイス３００との間の近距離通信が途絶えるのは、両者の間の距離が離れた
ことによる。従って、ユーザが主デバイス３００から離れたと判別できる。
ことを検出した場合、デジタルアシスタント連携可能と判別してもよい。ウェアラブルデ
バイスと主デバイス３００との間の近距離通信が途絶えるのは、両者の間の距離が離れた
ことによる。従って、ユーザが主デバイス３００から離れたと判別できる。
【0131】
連携管理部４２３は、近距離通信インタフェース３６１から通信が途絶えたことを示す
出力を受信すると、連携要求コマンドを出力し、連携を確立する。
出力を受信すると、連携要求コマンドを出力し、連携を確立する。
【0132】
なお、ウェアラブルデバイスは、例えば、スマートウォッチ３０１、ＨＭＤ３０２、ワ
イヤレスヘッドフォン３０３等である。
イヤレスヘッドフォン３０３等である。
【0133】
なお、主デバイス３００がＨＭＤ３０２の場合、ＨＭＤ３０２のセンサにより、ユーザ
がＨＭＤ３０２を取り外したことを連携管理部４２３が検出した場合、デジタルアシスタ
ント連携可能と判別してもよい。
がＨＭＤ３０２を取り外したことを連携管理部４２３が検出した場合、デジタルアシスタ
ント連携可能と判別してもよい。
【0134】
＜変形例４＞
なお、上記実施形態では、デジタルアシスタント連携可能な状態で、副デバイス１００
から連携確立コマンドを受信した場合、主デバイス３００側は、連携モードをＯＮにして
いる。しかしながら、これに限定されない。主デバイス３００側では、常に連携モードを
ＯＮにするよう構成してもよい。すなわち、初期設定部４２４が初期設定を行った時点で
、連携フラグ４３３をＯＮにする。
なお、上記実施形態では、デジタルアシスタント連携可能な状態で、副デバイス１００
から連携確立コマンドを受信した場合、主デバイス３００側は、連携モードをＯＮにして
いる。しかしながら、これに限定されない。主デバイス３００側では、常に連携モードを
ＯＮにするよう構成してもよい。すなわち、初期設定部４２４が初期設定を行った時点で
、連携フラグ４３３をＯＮにする。
【0135】
この場合、上記連携処理において、ステップＳ１１０１、Ｓ１１０２、Ｓ１２０１、お
よびＳ１２０２の処理は不要である。
よびＳ１２０２の処理は不要である。
【0136】
ただし、この場合、主デバイス３００の位置によっては、ステップＳ１２０６において
当該主デバイス３００にＡＰ５１０を介して中継音声を送信した際、送達できないことが
ある。このような場合は、ユーザにその旨出力する。
当該主デバイス３００にＡＰ５１０を介して中継音声を送信した際、送達できないことが
ある。このような場合は、ユーザにその旨出力する。
【0137】
＜変形例５＞
また、上記実施形態では、初期設定部４２４が、予め、副デバイス１００として機能す
る装置の情報を副デバイス管理ＤＢ４３０に登録する。しかしながら、主デバイス３００
側が常に連携モードＯＮとする場合、副デバイス管理ＤＢ４３０は設定しなくてもよい。
また、上記実施形態では、初期設定部４２４が、予め、副デバイス１００として機能す
る装置の情報を副デバイス管理ＤＢ４３０に登録する。しかしながら、主デバイス３００
側が常に連携モードＯＮとする場合、副デバイス管理ＤＢ４３０は設定しなくてもよい。
【0138】
例えば、連携処理において、ステップＳ１１０３で中継音声を受信した際、主デバイス
側連携部４２０は、送信元の副デバイス１００のアクセス情報を管理しておく。そして、
回答を得た後、回答送信部４２２は、管理されたアクセス情報にもとづいて、回答を送信
する。
側連携部４２０は、送信元の副デバイス１００のアクセス情報を管理しておく。そして、
回答を得た後、回答送信部４２２は、管理されたアクセス情報にもとづいて、回答を送信
する。
【0139】
＜変形例６＞
上記実施形態では、副デバイス１００の送信先デバイス決定部２１３は、音データを解
析し、ユーザを判別している。しかしながら、これに限定されない。例えば、送信先デバ
イス決定部２１３は、顔画像でユーザを判別してもよい。
上記実施形態では、副デバイス１００の送信先デバイス決定部２１３は、音データを解
析し、ユーザを判別している。しかしながら、これに限定されない。例えば、送信先デバ
イス決定部２１３は、顔画像でユーザを判別してもよい。
【0140】
この場合、副デバイス１００は、ユーザの顔画像を取得するカメラ１８１を備える。ま
た、ユーザ情報ＤＢ２４０には、図６（ｂ）に示すように、ユーザＩＤ２４１に対応づけ
て、各ユーザの照合用の顔画像２４３を予め登録しておく。
た、ユーザ情報ＤＢ２４０には、図６（ｂ）に示すように、ユーザＩＤ２４１に対応づけ
て、各ユーザの照合用の顔画像２４３を予め登録しておく。
【0141】
送信先デバイス決定部２１３は、音取得部２１２による音データの取得に同期して、カ
メラ１８１が取得した画像を解析する。そして、顔画像２４３と照合し、合致した顔画像
に対応付けられたユーザＩＤ２４１を抽出する。そして、抽出したユーザＩＤ２４１に合
致するユーザＩＤ２３１に対応付けられた主デバイスＩＤ２３２およびアクセス情報２３
３を、決定結果として音取得部２１２に出力する。
メラ１８１が取得した画像を解析する。そして、顔画像２４３と照合し、合致した顔画像
に対応付けられたユーザＩＤ２４１を抽出する。そして、抽出したユーザＩＤ２４１に合
致するユーザＩＤ２３１に対応付けられた主デバイスＩＤ２３２およびアクセス情報２３
３を、決定結果として音取得部２１２に出力する。
【0142】
＜変形例７＞
また、各主デバイス３００のデータ受信部４２１が、受信した音データを用いて本人認
証処理を行う機能を有する場合、副デバイス１００の送信先デバイス決定部２１３は、音
データを解析して送信先の主デバイスを決定しなくてもよい。
また、各主デバイス３００のデータ受信部４２１が、受信した音データを用いて本人認
証処理を行う機能を有する場合、副デバイス１００の送信先デバイス決定部２１３は、音
データを解析して送信先の主デバイスを決定しなくてもよい。
【0143】
このとき、送信先デバイス決定部２１３は、連携情報ＤＢ２３０において、連携フラグ
２３４が設定される全ての主デバイス３００の主デバイスＩＤ２３２およびアクセス情報
２３３を、音取得部２１２に出力する。これにより、音取得部２１２は、取得した音デー
タを、連携フラグ２３４が設定されている全ての主デバイス３００に送信する。
２３４が設定される全ての主デバイス３００の主デバイスＩＤ２３２およびアクセス情報
２３３を、音取得部２１２に出力する。これにより、音取得部２１２は、取得した音デー
タを、連携フラグ２３４が設定されている全ての主デバイス３００に送信する。
【0144】
各主デバイス３００は、データ受信部４２１において、受信した音データを用いて本人
認証処理を行う。そして、本人と認証された場合、受信した音データをアシスタント部４
１０に出力し、デジタルアシスタント処理を要求する。
認証処理を行う。そして、本人と認証された場合、受信した音データをアシスタント部４
１０に出力し、デジタルアシスタント処理を要求する。
【0145】
これにより、音データが主デバイス３００のユーザの音声である場合のみ、当該主デバ
イス３００はデジタルアシスタント処理を行い、回答を出力する。従って、この場合は、
副デバイス１００側で、音データにより送信先を振り分けなくても、所望の回答を得るこ
とができる。
イス３００はデジタルアシスタント処理を行い、回答を出力する。従って、この場合は、
副デバイス１００側で、音データにより送信先を振り分けなくても、所望の回答を得るこ
とができる。
【0146】
＜変形例８＞
例えば、１のユーザが複数の主デバイス３００を利用していることがある。このような
場合、同じユーザＩＤ２３１に対応づけて、複数の主デバイス３００の情報を連携情報Ｄ
Ｂ２３０に登録してもよい。例えば、図６（ａ）の連携情報ＤＢ２３０において、主デバ
イスＩＤ２３２が、３００ａ－１と、３００ａ－２とは、同じユーザの主デバイス３００
である。
例えば、１のユーザが複数の主デバイス３００を利用していることがある。このような
場合、同じユーザＩＤ２３１に対応づけて、複数の主デバイス３００の情報を連携情報Ｄ
Ｂ２３０に登録してもよい。例えば、図６（ａ）の連携情報ＤＢ２３０において、主デバ
イスＩＤ２３２が、３００ａ－１と、３００ａ－２とは、同じユーザの主デバイス３００
である。
【0147】
この場合、上記デジタルアシスタント連携処理のステップＳ１２０４でユーザを特定し
た後、送信先デバイス決定部２１３は、連携情報ＤＢ２３０から抽出された主デバイス３
００の情報を、ユーザに提示し、ユーザからの選択を受け付ける。
た後、送信先デバイス決定部２１３は、連携情報ＤＢ２３０から抽出された主デバイス３
００の情報を、ユーザに提示し、ユーザからの選択を受け付ける。
【0148】
ここで提示する情報は、例えば、連携情報ＤＢ２３０に、各主デバイスの名称（主デバ
イス名称２３６）が登録されている場合は、その名称を表示する。主デバイス名称２３６
が登録されていない場合は、例えば、主デバイスＩＤ２３２等を表示させる。
イス名称２３６）が登録されている場合は、その名称を表示する。主デバイス名称２３６
が登録されていない場合は、例えば、主デバイスＩＤ２３２等を表示させる。
【0149】
【0150】
メッセージ表示領域６２１には、検出された主デバイス数と、ユーザに要求する操作が
メッセージとして表示される。選択受付領域６２２は、ユーザによる選択を受け付ける領
域である。ユーザは、例えば、副デバイス１００がテレビである場合、そのリモコンによ
る操作等で選択受付領域６２２を介して、主デバイス３００を選択する。
メッセージとして表示される。選択受付領域６２２は、ユーザによる選択を受け付ける領
域である。ユーザは、例えば、副デバイス１００がテレビである場合、そのリモコンによ
る操作等で選択受付領域６２２を介して、主デバイス３００を選択する。
【0151】
送信先デバイス決定部２１３は、選択受付領域６２２を介して受け付けた主デバイス３
００を、送信先の主デバイス３００として決定する。そして、送受信部２１４は、その主
デバイス３００に、音データを中継音声として送信する。
００を、送信先の主デバイス３００として決定する。そして、送受信部２１４は、その主
デバイス３００に、音データを中継音声として送信する。
【0152】
なお、この場合、ユーザから選択を受け付けなくてもよい。送信先デバイス決定部２１
３は、連携情報ＤＢ２３０から抽出された当該ユーザの主デバイス３００の情報を送受信
部２１４に通知する。そして、送受信部２１４は、抽出された全ての主デバイス３００に
、音データを送信する。そして、送受信部２１４は、得られた回答を全て受信し、回答提
示部２１５に提示させてもよい。
３は、連携情報ＤＢ２３０から抽出された当該ユーザの主デバイス３００の情報を送受信
部２１４に通知する。そして、送受信部２１４は、抽出された全ての主デバイス３００に
、音データを送信する。そして、送受信部２１４は、得られた回答を全て受信し、回答提
示部２１５に提示させてもよい。
【0153】
例えば、スマートフォンには問いかけに必要な個人情報が格納され、タブレットには格
納されていない場合、スマートフォンからは所望の回答が得られ、タブレットからは、回
答不能との回答、あるいは、回答が得られない。従って、いずれにしても、ユーザは、所
望の回答を得ることができる。
納されていない場合、スマートフォンからは所望の回答が得られ、タブレットからは、回
答不能との回答、あるいは、回答が得られない。従って、いずれにしても、ユーザは、所
望の回答を得ることができる。
【0154】
なお、このとき、送受信部２１４は、抽出された主デバイス３００に対し、予め定めた
順に音データを送信してもよい。予め定めた順は、例えば、連携情報ＤＢ２３０の登録順
である。１の主デバイス３００に音データを送信する。そして、所定の期間内に回答の返
信を受信しない場合、あるいは、回答不能との回答を受信した場合、次の主デバイス３０
０に音データを送信する。そして、回答を得た場合、回答提示部２１５に提示させる。一
方、いずれの主デバイス３００からも回答を得ない場合は、その旨、回答提示部２１５に
提示させる。
順に音データを送信してもよい。予め定めた順は、例えば、連携情報ＤＢ２３０の登録順
である。１の主デバイス３００に音データを送信する。そして、所定の期間内に回答の返
信を受信しない場合、あるいは、回答不能との回答を受信した場合、次の主デバイス３０
０に音データを送信する。そして、回答を得た場合、回答提示部２１５に提示させる。一
方、いずれの主デバイス３００からも回答を得ない場合は、その旨、回答提示部２１５に
提示させる。
【0155】
なお、連携情報ＤＢ２３０に、音データ送信の優先順を設定しておいてもよい。この場
合、送受信部２１４は、優先順に従って、音データを送信する。
合、送受信部２１４は、優先順に従って、音データを送信する。
【0156】
＜変形例９＞
なお、上記実施形態では、副デバイス１００は、ディスプレイ１４０を備えるテレビで
ある場合を例にあげて説明した。しかしながら、副デバイス１００は、これに限定されな
い。例えば、ディスプレイ１４０を備えないスマートスピーカ１０１であってもよい。
なお、上記実施形態では、副デバイス１００は、ディスプレイ１４０を備えるテレビで
ある場合を例にあげて説明した。しかしながら、副デバイス１００は、これに限定されな
い。例えば、ディスプレイ１４０を備えないスマートスピーカ１０１であってもよい。
【0157】
この場合、スマートスピーカ１０１は、対応装置登録ＤＢ２５０を備える。対応装置登
録ＤＢ２５０には、近傍の装置であってディスプレイ１４０を備える装置が映像出力用装
置として予め登録される。この場合の、対応装置登録ＤＢ２５０の一例を、図１０（ｂ）
に示す。本図に示すように、対応装置登録ＤＢ２５０には、副デバイス１００の識別情報
である副デバイスＩＤ２５１と、映像出力用装置の識別情報である映像出力先装置ＩＤ２
５２とが対応づけて登録される。対応装置登録ＤＢ２５０は、例えば、メモリ１１２に登
録される。
録ＤＢ２５０には、近傍の装置であってディスプレイ１４０を備える装置が映像出力用装
置として予め登録される。この場合の、対応装置登録ＤＢ２５０の一例を、図１０（ｂ）
に示す。本図に示すように、対応装置登録ＤＢ２５０には、副デバイス１００の識別情報
である副デバイスＩＤ２５１と、映像出力用装置の識別情報である映像出力先装置ＩＤ２
５２とが対応づけて登録される。対応装置登録ＤＢ２５０は、例えば、メモリ１１２に登
録される。
【0158】
回答提示部２１５は、回答として得られたデータを解析する。そして、音声のみで出力
可能なデータである場合、自身の音出力部１５０から出力する。一方、回答が映像データ
を含み、ディスプレイ１４０に出力する必要がある場合は、対応装置登録ＤＢ２５０を参
照し、対応付けられたディスプレイ１４０を備える装置を特定する。そして、映像データ
を、当該装置に転送し、出力させる。
可能なデータである場合、自身の音出力部１５０から出力する。一方、回答が映像データ
を含み、ディスプレイ１４０に出力する必要がある場合は、対応装置登録ＤＢ２５０を参
照し、対応付けられたディスプレイ１４０を備える装置を特定する。そして、映像データ
を、当該装置に転送し、出力させる。
【0159】
このとき、図１０（ｃ）に示すように、副デバイス１００であるスマートスピーカ１０
１は、回答の表示先を音声で出力するように構成してもよい。
１は、回答の表示先を音声で出力するように構成してもよい。
【0160】
このように構成することにより、多様なデバイスを副デバイス１００として用いること
ができる。
ができる。
【0161】
なお、例えば、全ての副デバイス１００が、予め近傍の装置の仕様を登録した仕様デー
タベースを備える場合、対応装置登録ＤＢ２５０は備えなくてもよい。仕様データベース
には、例えば、各副デバイス１００が、表示装置を有するか否か、各副デバイス１００の
配置位置等が格納される。この場合は、回答提示部２１５は、このデータベースから近傍
の装置であって、ディスプレイ１４０を備える装置を抽出し、当該装置に映像データを転
送する。
タベースを備える場合、対応装置登録ＤＢ２５０は備えなくてもよい。仕様データベース
には、例えば、各副デバイス１００が、表示装置を有するか否か、各副デバイス１００の
配置位置等が格納される。この場合は、回答提示部２１５は、このデータベースから近傍
の装置であって、ディスプレイ１４０を備える装置を抽出し、当該装置に映像データを転
送する。
【0162】
なお、副デバイス１００が複数ある場合、主デバイス３００のデータ受信部４２１では
、各副デバイス１００からの音データを受信する。このような場合、データ受信部４２１
は、いずれも同じ処理を指示するものであるため自身で取得した音声によるデジタルアシ
スタント処理と、副デバイス１００を経由した音データによるデジタルアシスタント処理
が競合する。
、各副デバイス１００からの音データを受信する。このような場合、データ受信部４２１
は、いずれも同じ処理を指示するものであるため自身で取得した音声によるデジタルアシ
スタント処理と、副デバイス１００を経由した音データによるデジタルアシスタント処理
が競合する。
【0163】
このような場合、データ受信部４２１は、最先の音データの送信元の副デバイス１００
との間で、通信路を確立する。
との間で、通信路を確立する。
【0164】
＜＜第二実施形態＞＞
本発明の第二実施形態を説明する。第一実施形態では、副デバイス１００は、音データ
を主デバイス３００に中継する中継装置である。本実施形態では、副デバイス１００でも
、アシスタント機能を備える。
本発明の第二実施形態を説明する。第一実施形態では、副デバイス１００は、音データ
を主デバイス３００に中継する中継装置である。本実施形態では、副デバイス１００でも
、アシスタント機能を備える。
【0165】
本実施形態の処理の概要を、図１１を用いて説明する。本実施形態の副デバイス１００
は、音データを受信すると、アシスタント機能で解析し、音データによるユーザからの要
求が、回答を得るためにユーザの個人情報が必要であるか否かを判別する。
は、音データを受信すると、アシスタント機能で解析し、音データによるユーザからの要
求が、回答を得るためにユーザの個人情報が必要であるか否かを判別する。
【0166】
そして、ユーザからの要求が、その回答を得るために、ユーザの個人情報が不要な要求
である場合、副デバイス１００でアシスタント処理を行い、ユーザに回答を提示する。一
方、ユーザの個人情報が必要な要求である場合、第一実施形態と同様に、音データを主デ
バイス３００に転送し、主デバイス３００で回答を生成し、副デバイス１００においてユ
ーザに提示する。
である場合、副デバイス１００でアシスタント処理を行い、ユーザに回答を提示する。一
方、ユーザの個人情報が必要な要求である場合、第一実施形態と同様に、音データを主デ
バイス３００に転送し、主デバイス３００で回答を生成し、副デバイス１００においてユ
ーザに提示する。
【0167】
以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。主デ
バイス３００は、第一実施形態と同様である。また、副デバイス１００は、そのハードウ
ェア構成は、第一実施形態と同じである。ただし、機能ブロックは、第一実施形態と異な
る。
バイス３００は、第一実施形態と同様である。また、副デバイス１００は、そのハードウ
ェア構成は、第一実施形態と同じである。ただし、機能ブロックは、第一実施形態と異な
る。
【0168】
図１２は、本実施形態の副デバイス１００の機能ブロックである。本図に示すように、
本実施形態の副デバイス１００は、第一実施形態同様、副デバイス側連携部２１０を備え
る。副デバイス側連携部２１０は、連携設定部２１１と、音取得部２１２と、送信先デバ
イス決定部２１３と、送受信部２１４と、回答提示部２１５と、を備える。さらに、副デ
バイス側アシスタント部２２０を備える。
本実施形態の副デバイス１００は、第一実施形態同様、副デバイス側連携部２１０を備え
る。副デバイス側連携部２１０は、連携設定部２１１と、音取得部２１２と、送信先デバ
イス決定部２１３と、送受信部２１４と、回答提示部２１５と、を備える。さらに、副デ
バイス側アシスタント部２２０を備える。
【0169】
本実施形態の音取得部２１２は、音データを生成すると、まず、副デバイス側アシスタ
ント部２２０に送信する。
ント部２２０に送信する。
【0170】
副デバイス側アシスタント部２２０は、主デバイス３００のアシスタント部４１０同様
、音データを解析し、アシスタント処理を行い、回答を出力する。ただし、副デバイス側
アシスタント部２２０は、音データを解析した結果、各ユーザの個人情報が必要と判別し
た場合、その旨、送信先デバイス決定部２１３に出力する。
、音データを解析し、アシスタント処理を行い、回答を出力する。ただし、副デバイス側
アシスタント部２２０は、音データを解析した結果、各ユーザの個人情報が必要と判別し
た場合、その旨、送信先デバイス決定部２１３に出力する。
【0171】
本実施形態の送信先デバイス決定部２１３は、副デバイス側アシスタント部２２０から
個人情報要との指示を受信した場合、上述のように、ユーザの判別を行い、送信先の主デ
バイス３００を決定する。
個人情報要との指示を受信した場合、上述のように、ユーザの判別を行い、送信先の主デ
バイス３００を決定する。
【0172】
［デジタルアシスタント連携処理］
次に、本実施形態の副デバイス１００のデジタルアシスタント連携処理の流れを説明す
る。図１３は、本実施形態の副デバイス１００におけるデジタルアシスタント連携処理の
処理フローである。ここでは、少なくとも１つの主デバイス３００と、連携されているも
のとする。
次に、本実施形態の副デバイス１００のデジタルアシスタント連携処理の流れを説明す
る。図１３は、本実施形態の副デバイス１００におけるデジタルアシスタント連携処理の
処理フローである。ここでは、少なくとも１つの主デバイス３００と、連携されているも
のとする。
【0173】
音取得部２１２は、所定の時間間隔で、音データを取得したか否かを判別する（ステッ
プＳ１２０３）。音データを取得すると（Ｓ１２０３；Ｙｅｓ）、副デバイス側アシスタ
ント部２２０へ音データを送信する。
プＳ１２０３）。音データを取得すると（Ｓ１２０３；Ｙｅｓ）、副デバイス側アシスタ
ント部２２０へ音データを送信する。
【0174】
副デバイス側アシスタント部２２０は、音データを解析し（ステップＳ２１０１）、回
答を行うために、個人情報が必要であるか否かを判別する（ステップＳ２１０２）。
答を行うために、個人情報が必要であるか否かを判別する（ステップＳ２１０２）。
【0175】
副デバイス側アシスタント部２２０は、個人情報が要と判別した場合（Ｓ２１０２；Ｙ
ｅｓ）、その旨、送信先デバイス決定部２１３に通知する。通知を受けた送信先デバイス
決定部２１３は、第一実施形態のステップＳ１２０４以降の処理を行う。
ｅｓ）、その旨、送信先デバイス決定部２１３に通知する。通知を受けた送信先デバイス
決定部２１３は、第一実施形態のステップＳ１２０４以降の処理を行う。
【0176】
一方、副デバイス側アシスタント部２２０は、個人情報が不要と判別した場合（Ｓ２１
０２；Ｎｏ）、そのまま当該音データに基づいて、アシスタント処理を行い（ステップＳ
２１０３）、回答を生成し、ステップＳ１２０９へ移行する。以降の処理は、第一実施形
態と同じである。
０２；Ｎｏ）、そのまま当該音データに基づいて、アシスタント処理を行い（ステップＳ
２１０３）、回答を生成し、ステップＳ１２０９へ移行する。以降の処理は、第一実施形
態と同じである。
【0177】
本実施形態において、例えば、特定の場所の天気を尋ねられた場合等、個人情報は不要
である。このような場合の出力例を、図１４に示す。この場合、回答表示領域６１１には
、回答が表示される。一方、主デバイス情報表示領域６１２には、この副デバイス１００
で処理したことを示す情報として、副デバイス１００を特定する情報が表示される。この
場合は、副デバイス１００がＴＶであるため、主デバイス情報表示領域６１２には、例え
ば、ＴＶと表示される。
である。このような場合の出力例を、図１４に示す。この場合、回答表示領域６１１には
、回答が表示される。一方、主デバイス情報表示領域６１２には、この副デバイス１００
で処理したことを示す情報として、副デバイス１００を特定する情報が表示される。この
場合は、副デバイス１００がＴＶであるため、主デバイス情報表示領域６１２には、例え
ば、ＴＶと表示される。
【0178】
以上説明したように、本実施形態のアシスタントシステム９００の副デバイス１００は
、第一実施形態の副デバイス１００の機能に加え、デジタルアシスタント処理を実行する
副デバイス側アシスタント部２２０を備える。そして、副デバイス側アシスタント部２２
０は、音データを解析し、デジタルアシスタント処理を実行するために、個人情報が必要
であるか否かを判別する。送信先デバイス決定部２１３は、副デバイス側アシスタント部
２２０が、個人情報が必要であると判別した場合、送信先主デバイスを決定する。また、
回答提示部２１５は、副デバイス側アシスタント部２２０がデジタルアシスタント処理を
実行した場合、そのデジタルアシスタント処理結果をさらに提示する。
、第一実施形態の副デバイス１００の機能に加え、デジタルアシスタント処理を実行する
副デバイス側アシスタント部２２０を備える。そして、副デバイス側アシスタント部２２
０は、音データを解析し、デジタルアシスタント処理を実行するために、個人情報が必要
であるか否かを判別する。送信先デバイス決定部２１３は、副デバイス側アシスタント部
２２０が、個人情報が必要であると判別した場合、送信先主デバイスを決定する。また、
回答提示部２１５は、副デバイス側アシスタント部２２０がデジタルアシスタント処理を
実行した場合、そのデジタルアシスタント処理結果をさらに提示する。
【0179】
このため、本実施形態によれば、第一実施形態同様、主デバイス３００が手元から離れ
ている場合であっても、個々のユーザに個々のユーザの主デバイス３００によるデジタル
アシスタント処理結果を提示できる。さらに、本実施形態によれば、個々のユーザの主デ
バイス３００に格納される個人情報が不要なアシスタント要求の場合は、副デバイス１０
０側でデジタルアシスタント処理を実行して回答する。このため、迅速な回答を得ること
ができる。
ている場合であっても、個々のユーザに個々のユーザの主デバイス３００によるデジタル
アシスタント処理結果を提示できる。さらに、本実施形態によれば、個々のユーザの主デ
バイス３００に格納される個人情報が不要なアシスタント要求の場合は、副デバイス１０
０側でデジタルアシスタント処理を実行して回答する。このため、迅速な回答を得ること
ができる。
【0180】
＜変形例１０＞
なお、上記実施形態では、副デバイス側アシスタント部２２０は、アシスタント処理を
行うため、個人情報が必要か否かを判別している。しかしながら、これに限定されない。
例えば、音データが、音声コマンドであるか否かを判別してもよい。
なお、上記実施形態では、副デバイス側アシスタント部２２０は、アシスタント処理を
行うため、個人情報が必要か否かを判別している。しかしながら、これに限定されない。
例えば、音データが、音声コマンドであるか否かを判別してもよい。
【0181】
音声コマンドであると判別した場合、ユーザからアシスタント要求の内容によらず、第
一実施形態同様、送信先デバイス決定部２１３にユーザを判別させ、送信先の主デバイス
３００を決定させる。そして、送受信部２１４は、決定した主デバイス３００に音データ
を送信する。
一実施形態同様、送信先デバイス決定部２１３にユーザを判別させ、送信先の主デバイス
３００を決定させる。そして、送受信部２１４は、決定した主デバイス３００に音データ
を送信する。
【0182】
なお、この場合、副デバイス側アシスタント部２２０は、音データを解析後、デジタル
アシスタント処理用のコマンドを生成し、生成したコマンドを、送受信部２１４から、主
デバイス３００に送信させるようにしてもよい。
アシスタント処理用のコマンドを生成し、生成したコマンドを、送受信部２１４から、主
デバイス３００に送信させるようにしてもよい。
【0183】
なお、個人情報の要否の判別とさらに組み合わせてもよい。すなわち、個人情報が必要
と判別した場合、音データを用いて送信先デバイス決定部２１３に当該音の発声主である
ユーザを判別させ、送信先の主デバイス３００を決定させる。そして、送受信部２１４は
、決定した主デバイス３００に向けて、音データではなく、コマンドを送信する。
と判別した場合、音データを用いて送信先デバイス決定部２１３に当該音の発声主である
ユーザを判別させ、送信先の主デバイス３００を決定させる。そして、送受信部２１４は
、決定した主デバイス３００に向けて、音データではなく、コマンドを送信する。
【0184】
主デバイス３００にコマンドを送信する場合、主デバイス３００側のアシスタント部４
１０は、音データを解析する必要がない。
１０は、音データを解析する必要がない。
【0185】
＜変形例１１＞
また、副デバイス１００が、音データを解析する副デバイス側アシスタント部２２０を
備える場合、ユーザの呼びかけで特定される主デバイスに音データを送信するよう構成し
てもよい。
また、副デバイス１００が、音データを解析する副デバイス側アシスタント部２２０を
備える場合、ユーザの呼びかけで特定される主デバイスに音データを送信するよう構成し
てもよい。
【0186】
例えば、「ＡＡＳに聞いて」、「ＯＫ、ＢＢＢ」等の音声が発せられた場合、副デバイ
ス側アシスタント部２２０は、この音データを解析し、音データの送信先を特定する。す
なわち、音データに、例えば、主デバイス名称２３６に該当する音声が含まれる場合、そ
の旨、送信先デバイス決定部２１３に通知する。
ス側アシスタント部２２０は、この音データを解析し、音データの送信先を特定する。す
なわち、音データに、例えば、主デバイス名称２３６に該当する音声が含まれる場合、そ
の旨、送信先デバイス決定部２１３に通知する。
【0187】
送信先デバイス決定部２１３は、副デバイス側アシスタント部２２０から通知を受けた
主デバイス名称２３６を含むデータの主デバイス３００を、送信先の主デバイス３００と
決定する。
主デバイス名称２３６を含むデータの主デバイス３００を、送信先の主デバイス３００と
決定する。
【0188】
この場合、各主デバイス３００の呼称は、主デバイス名称２３６として、予め、連携情
報ＤＢ２３０に登録しておく。
報ＤＢ２３０に登録しておく。
【0189】
このように構成することにより、より精度よく、送信先の主デバイス３００を決定する
ことができる。これにより、ユーザのアシスタント要求により適切に応答した回答を得る
ことができる。
ことができる。これにより、ユーザのアシスタント要求により適切に応答した回答を得る
ことができる。
【0190】
＜変形例１２＞
また、上記実施形態および変形例では、１対の問いかけと回答との送受信の間のみ、主
デバイス３００と副デバイス１００との間で通信路を確立している。しかしながら、ユー
ザから明示の通信路解除の指示を受けるまで、あるいは、所定の時間が経過するまで、通
信路を確立してもよい。
また、上記実施形態および変形例では、１対の問いかけと回答との送受信の間のみ、主
デバイス３００と副デバイス１００との間で通信路を確立している。しかしながら、ユー
ザから明示の通信路解除の指示を受けるまで、あるいは、所定の時間が経過するまで、通
信路を確立してもよい。
【0191】
これにより、音データを取得する毎に、ユーザを判別する処理が不要となる。例えば、
デジタルアシスタントを受けるために、複数回のやり取りが必要な場合等、スムーズに処
理を進めることができる。具体的には、ユーザが、自分のスケジュールを確認し、新たな
スケジュールを登録する場合などである。
デジタルアシスタントを受けるために、複数回のやり取りが必要な場合等、スムーズに処
理を進めることができる。具体的には、ユーザが、自分のスケジュールを確認し、新たな
スケジュールを登録する場合などである。
【0192】
この場合、最初にユーザは、特定の期間のスケジュールを問い合わせる。このとき、副
デバイス１００は、音データを解析し、ユーザを判別し、送信先の主デバイス３００を決
定する。そして、副デバイス１００は、当該主デバイス３００に当該音データあるいは、
コマンドを送信する。
デバイス１００は、音データを解析し、ユーザを判別し、送信先の主デバイス３００を決
定する。そして、副デバイス１００は、当該主デバイス３００に当該音データあるいは、
コマンドを送信する。
【0193】
主デバイス３００は、それに応じて送信元の副デバイス１００に回答を返信する。副デ
バイス１００は、回答をユーザに提示する。ユーザは、それを見て、新たな音声コマンド
を発する。例えば、特定の日付に新たなスケジュールを加える、特定の日付のスケジュー
ルを変更する、等である。
バイス１００は、回答をユーザに提示する。ユーザは、それを見て、新たな音声コマンド
を発する。例えば、特定の日付に新たなスケジュールを加える、特定の日付のスケジュー
ルを変更する、等である。
【0194】
このとき、副デバイス１００はこの音データを取得すると、ユーザの判別および送信先
主デバイスの決定処理を行うことなく、通信路が確立している主デバイス３００へ送信す
る。主デバイス３００側では、音データを解析して、処理を行う。
主デバイスの決定処理を行うことなく、通信路が確立している主デバイス３００へ送信す
る。主デバイス３００側では、音データを解析して、処理を行う。
【0195】
＜変形例１３＞
なお、上記アシスタントシステム９００は、スマートフォン等の携帯型情報処理装置と
、ウェアラブルデバイスとにより構成されてもよい。この場合、ウェアラブルデバイスを
副デバイス１００として用い、携帯型情報処理装置を、主デバイス３００として用いる。
なお、上記アシスタントシステム９００は、スマートフォン等の携帯型情報処理装置と
、ウェアラブルデバイスとにより構成されてもよい。この場合、ウェアラブルデバイスを
副デバイス１００として用い、携帯型情報処理装置を、主デバイス３００として用いる。
【0196】
例えば、図１５に示すように、ユーザは、携帯型情報処理装置である主デバイス３００
ａを、鞄等に入れ、副デバイス１００として機能するウェアラブルデバイス（スマートウ
ォッチ３０１）を身に着けて外出する。この間、ユーザは、スマートウォッチ３０１に音
声コマンドを発する。
ａを、鞄等に入れ、副デバイス１００として機能するウェアラブルデバイス（スマートウ
ォッチ３０１）を身に着けて外出する。この間、ユーザは、スマートウォッチ３０１に音
声コマンドを発する。
【0197】
スマートウォッチ３０１は、取得したユーザの音声コマンドを、主デバイス３００であ
る携帯型情報処理装置に送信し、アシスタント処理を実行させる。そして、その結果を、
スマートウォッチ３０１で受け取る。
る携帯型情報処理装置に送信し、アシスタント処理を実行させる。そして、その結果を、
スマートウォッチ３０１で受け取る。
【0198】
この場合、例えば、自宅など、ＡＰ５１０がある環境に入ると、スマートウォッチ３０
１と携帯型情報処理装置とは、ＡＰ５１０を介した宅内ＬＡＮの接続に切り換わる。その
後、スマートウォッチ３０１は、宅内での副デバイス１００群の中の１つのデバイスとす
る。
１と携帯型情報処理装置とは、ＡＰ５１０を介した宅内ＬＡＮの接続に切り換わる。その
後、スマートウォッチ３０１は、宅内での副デバイス１００群の中の１つのデバイスとす
る。
【0199】
＜変形例１４＞
上記各実施形態では、１のユーザによる音声を受け付け、そのユーザの主デバイス３０
０または副デバイス１００によるアシスタント結果を出力する場合を例に説明した。しか
し、上述したように主デバイス３００の個数は限定されない。従って、複数のユーザが、
短い時間間隔でデジタルアシスタント機能を要求することがある。
上記各実施形態では、１のユーザによる音声を受け付け、そのユーザの主デバイス３０
０または副デバイス１００によるアシスタント結果を出力する場合を例に説明した。しか
し、上述したように主デバイス３００の個数は限定されない。従って、複数のユーザが、
短い時間間隔でデジタルアシスタント機能を要求することがある。
【0200】
このような場合、回答が得られるタイミングが略同時であり、回答提示部２１５は、各
主デバイス３００から受信した処理結果である回答を、ディスプレイ１４０または音出力
部１５０を介してユーザに出力する。このとき、回答提示部２１５は、受信した処理結果
（回答）の数に応じて、ディスプレイ１４０の表示領域を分割してそれぞれの回答を表示
させる。
主デバイス３００から受信した処理結果である回答を、ディスプレイ１４０または音出力
部１５０を介してユーザに出力する。このとき、回答提示部２１５は、受信した処理結果
（回答）の数に応じて、ディスプレイ１４０の表示領域を分割してそれぞれの回答を表示
させる。
【0201】
ユーザＡおよびユーザＢの２者が、略同時にアシスタント機能を利用しようとした場合
の、回答の表示例を、図１６（ａ）に示す。回答提示部２１５は、表示領域を２分割し、
回答の送信元の主デバイス３００を特定する情報とともに、回答を表示する。
の、回答の表示例を、図１６（ａ）に示す。回答提示部２１５は、表示領域を２分割し、
回答の送信元の主デバイス３００を特定する情報とともに、回答を表示する。
【0202】
回答提示部２１５は、例えば、ディスプレイ１４０の表示領域を、ユーザＡへの回答を
表示する第一表示領域６３０ａと、ユーザＢへの回答を表示する第二表示領域６３０ｂと
に分割する。そして、各表示領域（６３０ａ、６３０ｂ）内に、上記実施形態同様、主デ
バイス情報表示領域６１２（６１２ａ、６１２ｂ）および回答表示領域６１１（６１１ａ
、６１１ｂ）を設ける。そして、各表示領域に、回答の送信元の主デバイス３００を特定
する情報および回答を、それぞれ表示させる。
表示する第一表示領域６３０ａと、ユーザＢへの回答を表示する第二表示領域６３０ｂと
に分割する。そして、各表示領域（６３０ａ、６３０ｂ）内に、上記実施形態同様、主デ
バイス情報表示領域６１２（６１２ａ、６１２ｂ）および回答表示領域６１１（６１１ａ
、６１１ｂ）を設ける。そして、各表示領域に、回答の送信元の主デバイス３００を特定
する情報および回答を、それぞれ表示させる。
【0203】
なお、既存のマルチビューワを副デバイス１００に外付けし、このマルチビューワによ
り複数の主デバイス３００からの回答を１のディスプレイ１４０上に表示してもよい。
り複数の主デバイス３００からの回答を１のディスプレイ１４０上に表示してもよい。
【0204】
また、回答提示部２１５は、スピーカ３５１が複数チャネルを有する場合、チャネルご
とに、異なる送信元の回答を割り当てて、出力させてもよい。このとき、チャネル数以上
の送信元が有る場合は、時間差で出力させてもよい。
とに、異なる送信元の回答を割り当てて、出力させてもよい。このとき、チャネル数以上
の送信元が有る場合は、時間差で出力させてもよい。
【0205】
なお、複数のユーザによる問いかけ（デジタルアシスタントの要求）が、略同じタイミ
ングで発生する場合、各ユーザの音声が時間的に重なることがある。この場合、本実施形
態の副デバイス１００は、音声を分離し、それぞれの主デバイス３００に当該音声または
音声コマンドを中継する。
ングで発生する場合、各ユーザの音声が時間的に重なることがある。この場合、本実施形
態の副デバイス１００は、音声を分離し、それぞれの主デバイス３００に当該音声または
音声コマンドを中継する。
【0206】
この場合の、本実施形態の副デバイス１００による処理を、図１６（ｂ）を用いて説明
する。
する。
【0207】
この場合、副デバイス側連携部２１０の音取得部２１２は、音データを音源毎に分離す
る音声分離機能を備える。
る音声分離機能を備える。
【0208】
音取得部２１２は、複数人の音声が混在した可能性のある音データを、まず、音源毎に
分離する。本変形例では、例えば、個々人の音声データおよび／または音声以外の音デー
タに分離する。そして、音源毎に分離された音データを、送信先デバイス決定部２１３に
送信する。
分離する。本変形例では、例えば、個々人の音声データおよび／または音声以外の音デー
タに分離する。そして、音源毎に分離された音データを、送信先デバイス決定部２１３に
送信する。
【0209】
音データの分離は、例えば、ディープラーニングやクラスタリング処理を用いてもよい
。すなわち、音取得部２１２は、ディープラーニングにより特徴から各音声成分を分類す
る。そして、クラスタリング処理にて分類した音声成分をグループ化し、個々人の音声デ
ータおよび／または音声以外の音データとする。
。すなわち、音取得部２１２は、ディープラーニングにより特徴から各音声成分を分類す
る。そして、クラスタリング処理にて分類した音声成分をグループ化し、個々人の音声デ
ータおよび／または音声以外の音データとする。
【0210】
送信先デバイス決定部２１３は、音取得部２１２から受け取った、音源毎に分離された
音データそれぞれを、別個独立に解析し、その中の音声データについて、それぞれ、送信
先デバイスを決定する。決定手法は、上記各実施形態と同様であるため、ここでは、説明
しない。そして、上記各実施形態と同様に、音声データ毎に、主デバイスＩＤ２３２およ
びアクセス情報２３３を音取得部２１２に通知する。
音データそれぞれを、別個独立に解析し、その中の音声データについて、それぞれ、送信
先デバイスを決定する。決定手法は、上記各実施形態と同様であるため、ここでは、説明
しない。そして、上記各実施形態と同様に、音声データ毎に、主デバイスＩＤ２３２およ
びアクセス情報２３３を音取得部２１２に通知する。
【0211】
音取得部２１２は、音源毎に分離された音声データを、それぞれ、送信先デバイス決定
部２１３が決定した主デバイス３００に送信するよう送受信部２１４に指示を行う。
部２１３が決定した主デバイス３００に送信するよう送受信部２１４に指示を行う。
【0212】
取得した音声データを、各主デバイス３００に送信するまでの処理の流れは、基本的に
上記各実施形態と同様である。
上記各実施形態と同様である。
【0213】
【0214】
すなわち、副デバイス１００では、ステップＳ１２０３において音データが取得された
場合、音取得部２１２は、上記の手法で音データを音源毎に分離する。そして、送信先デ
バイス決定部２１３は、分離後の音データそれぞれについて、Ｓ１２０４において、ユー
ザを特定可能か、を判別する。
場合、音取得部２１２は、上記の手法で音データを音源毎に分離する。そして、送信先デ
バイス決定部２１３は、分離後の音データそれぞれについて、Ｓ１２０４において、ユー
ザを特定可能か、を判別する。
【0215】
【0216】
すなわち、副デバイス１００では、ステップＳ１２０３において音データが取得された
場合、音取得部２１２は、上記手法で音データを、音源毎に分離する。そして、副デバイ
ス側アシスタント部２２０は、分離後の各音データを解析し、回答を行うために個人情報
が必要であるか否かを判別する。そして、個人情報が要と判別した場合、その分離後の音
データを、送信先デバイス決定部２１３に通知する。通知を受けた後の送信先デバイス決
定部２１３の処理は、同様である。
場合、音取得部２１２は、上記手法で音データを、音源毎に分離する。そして、副デバイ
ス側アシスタント部２２０は、分離後の各音データを解析し、回答を行うために個人情報
が必要であるか否かを判別する。そして、個人情報が要と判別した場合、その分離後の音
データを、送信先デバイス決定部２１３に通知する。通知を受けた後の送信先デバイス決
定部２１３の処理は、同様である。
【0217】
一方、個人情報が不要と判別した、分離後の音データについては、そのまま、その音デ
ータに基づいて、副デバイス側アシスタント部２２０が回答を生成し、回答提示部に回答
を提示させる。
ータに基づいて、副デバイス側アシスタント部２２０が回答を生成し、回答提示部に回答
を提示させる。
【0218】
本機能により、複数のユーザが、略同時に、手元から離れた場所にある主デバイス３０
０に対し、それぞれ、デジタルアシスタント機能を要求した場合であっても、個々のユー
ザに、それぞれ、個々のユーザの主デバイス３００によるデジタルアシスタント機能を提
供できる。
０に対し、それぞれ、デジタルアシスタント機能を要求した場合であっても、個々のユー
ザに、それぞれ、個々のユーザの主デバイス３００によるデジタルアシスタント機能を提
供できる。
【0219】
＜変形例１５＞
また、上記各実施形態および各変形例において、副デバイス１００および／または主デ
バイス３００の一部の機能は、サーバ５３０で実現されてもよい。
また、上記各実施形態および各変形例において、副デバイス１００および／または主デ
バイス３００の一部の機能は、サーバ５３０で実現されてもよい。
【0220】
サーバ５３０は、図１７に示すように、コントローラ５４０と、通信インタフェース５
６２とを備える。コントローラ５４０は、ＣＰＵ５４１と、メモリ５４２とを備え、メモ
リ５４２には、プログラム５４３とデータ５４４とが記憶される。
６２とを備える。コントローラ５４０は、ＣＰＵ５４１と、メモリ５４２とを備え、メモ
リ５４２には、プログラム５４３とデータ５４４とが記憶される。
【0221】
サーバ５３０で実現される機能は、予めプログラム５４３としてメモリ５４２に保持さ
れる。サーバ５３０では、ＣＰＵ５４１が、予めメモリ５４２に記憶したプログラム５４
３を、メモリ５４２に設けられたワーク領域にロードして、データ５４４を用いながら実
行することにより、各機能を実現する。
れる。サーバ５３０では、ＣＰＵ５４１が、予めメモリ５４２に記憶したプログラム５４
３を、メモリ５４２に設けられたワーク領域にロードして、データ５４４を用いながら実
行することにより、各機能を実現する。
【0222】
本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含
まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために
詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるもの
ではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成
に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態
または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成
の一部について、他の構成の追加・削除・置換をすることが可能である。
まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために
詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるもの
ではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成
に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態
または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成
の一部について、他の構成の追加・削除・置換をすることが可能である。
【0223】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例え
ば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機
能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによ
りソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等
の情報は、メモリ部や、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ
）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことがで
きる。
ば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機
能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによ
りソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等
の情報は、メモリ部や、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ
）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことがで
きる。
【0224】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全
ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続さ
れていると考えてもよい。
ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続さ
れていると考えてもよい。
【符号の説明】
【0225】
１００：副デバイス、１０１：スマートスピーカ、１１０：コントローラ、１１１：Ｃ
ＰＵ、１１２：メモリ、１１３：プログラム、１１４：データ、１２０：ＴＶ部、１２１
：受信選局部、１２２：信号分離部、１２３：映像処理部、１２４：音声処理部、１２５
：デジタルＩＦ部、１２６：ユーザＩ／Ｆ部、１３０：マイク、１４０：ディスプレイ、
１５０：音出力部、１５１：スピーカ、１５２：イヤホン、１６０：通信部、１６１：近
接通信インタフェース、１６２：通信インタフェース、１７０：位置検出部、１７１：加
速度センサ、１７２：ジャイロセンサ、１７３：地磁気センサ、１７４：ＧＰＳ受信機、
１８１：カメラ、１８２：測距センサ、
２１０：副デバイス側連携部、２１１：連携設定部、２１２：音取得部、２１３：送信
先デバイス決定部、２１４：送受信部、２１５：回答提示部、２２０：副デバイス側アシ
スタント部、２３０：連携情報データベース、２３１：ユーザＩＤ、２３２：主デバイス
ＩＤ、２３３：アクセス情報、２３４：連携フラグ、２３５：主デバイス種別、２３６：
主デバイス名称、２４０：ユーザ情報データベース、２４１：ユーザＩＤ、２４２：音声
情報、２４３：顔画像、２５０：対応装置登録データベース、２５１：副デバイスＩＤ、
２５２：映像出力先装置ＩＤ、
３００：主デバイス、３００ａ：主デバイス（携帯型情報処理装置）、３００ｂ：主デ
バイス（携帯型情報処理装置）、３００ｃ：主デバイス（携帯型情報処理装置）、３０１
：スマートウォッチ、３０２：ＨＭＤ、３０３：ワイヤレスヘッドフォン、３１０：コン
トローラ、３１１：ＣＰＵ、３１２：メモリ、３１３：プログラム、３１４：データ、３
３０：マイク、３４０：ディスプレイ、３５０：音声出力部、３６０：通信部、３６１：
近距離通信インタフェース、３６２：通信インタフェース、３７０：位置検出部、３７１
：加速度センサ、３７２：ジャイロセンサ、３７３：地磁気センサ、３７４：ＧＰＳ受信
器、３８１：カメラ、３８２：測距センサ、
４１０：アシスタント部、４２０：主デバイス側連携部、４２１：データ受信部、４２
２：回答送信部、４２３：連携管理部、４２４：初期設定部、４３０：副デバイス管理デ
ータベース、４３１：副デバイスＩＤ、４３２：アクセス情報、４３３：連携フラグ、
５１０：アクセスポイント、５１１：充電台、５２０：外部ネットワーク、５３０：サ
ーバ、５４０：コントローラ、５４１：ＣＰＵ、５４２：メモリ、５４３：プログラム、
５４４：データ、５６２：通信インタフェース、
６１０：画面例、６１１：回答表示領域、６１１ａ：回答表示領域、６１１ｂ：回答表
示領域、６１２：主デバイス情報表示領域、６１２ａ：主デバイス情報表示領域、６１２
ｂ：主デバイス情報表示領域、６２０：選択画面、６２１：メッセージ表示領域、６２２
：選択受付領域、６３０ａ：第一表示領域、６３０ｂ：第二表示領域、
９００：アシスタントシステム
ＰＵ、１１２：メモリ、１１３：プログラム、１１４：データ、１２０：ＴＶ部、１２１
：受信選局部、１２２：信号分離部、１２３：映像処理部、１２４：音声処理部、１２５
：デジタルＩＦ部、１２６：ユーザＩ／Ｆ部、１３０：マイク、１４０：ディスプレイ、
１５０：音出力部、１５１：スピーカ、１５２：イヤホン、１６０：通信部、１６１：近
接通信インタフェース、１６２：通信インタフェース、１７０：位置検出部、１７１：加
速度センサ、１７２：ジャイロセンサ、１７３：地磁気センサ、１７４：ＧＰＳ受信機、
１８１：カメラ、１８２：測距センサ、
２１０：副デバイス側連携部、２１１：連携設定部、２１２：音取得部、２１３：送信
先デバイス決定部、２１４：送受信部、２１５：回答提示部、２２０：副デバイス側アシ
スタント部、２３０：連携情報データベース、２３１：ユーザＩＤ、２３２：主デバイス
ＩＤ、２３３：アクセス情報、２３４：連携フラグ、２３５：主デバイス種別、２３６：
主デバイス名称、２４０：ユーザ情報データベース、２４１：ユーザＩＤ、２４２：音声
情報、２４３：顔画像、２５０：対応装置登録データベース、２５１：副デバイスＩＤ、
２５２：映像出力先装置ＩＤ、
３００：主デバイス、３００ａ：主デバイス（携帯型情報処理装置）、３００ｂ：主デ
バイス（携帯型情報処理装置）、３００ｃ：主デバイス（携帯型情報処理装置）、３０１
：スマートウォッチ、３０２：ＨＭＤ、３０３：ワイヤレスヘッドフォン、３１０：コン
トローラ、３１１：ＣＰＵ、３１２：メモリ、３１３：プログラム、３１４：データ、３
３０：マイク、３４０：ディスプレイ、３５０：音声出力部、３６０：通信部、３６１：
近距離通信インタフェース、３６２：通信インタフェース、３７０：位置検出部、３７１
：加速度センサ、３７２：ジャイロセンサ、３７３：地磁気センサ、３７４：ＧＰＳ受信
器、３８１：カメラ、３８２：測距センサ、
４１０：アシスタント部、４２０：主デバイス側連携部、４２１：データ受信部、４２
２：回答送信部、４２３：連携管理部、４２４：初期設定部、４３０：副デバイス管理デ
ータベース、４３１：副デバイスＩＤ、４３２：アクセス情報、４３３：連携フラグ、
５１０：アクセスポイント、５１１：充電台、５２０：外部ネットワーク、５３０：サ
ーバ、５４０：コントローラ、５４１：ＣＰＵ、５４２：メモリ、５４３：プログラム、
５４４：データ、５６２：通信インタフェース、
６１０：画面例、６１１：回答表示領域、６１１ａ：回答表示領域、６１１ｂ：回答表
示領域、６１２：主デバイス情報表示領域、６１２ａ：主デバイス情報表示領域、６１２
ｂ：主デバイス情報表示領域、６２０：選択画面、６２１：メッセージ表示領域、６２２
：選択受付領域、６３０ａ：第一表示領域、６３０ｂ：第二表示領域、
９００：アシスタントシステム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【手続補正書】
【提出日】2024-06-28
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
本発明は、情報処理方法であって、周囲の音を音データとして取得する音取得ステップと、前記音データを送信する送信先デバイスを決定する送信先デバイス決定ステップと、前記送信先デバイスが決定された場合に、前記音データを送信するとともに、当該音データに応じて実行される第１のデジタルアシスタント処理結果を前記送信先デバイスから受信する送受信ステップと、第２のデジタルアシスタント処理を実行するアシスタント処理ステップと、を備え、前記アシスタント処理ステップは、前記音データを解析し、前記第１のデジタルアシスタント処理を実行するために情報が必要であるか否かを判別し、さらに解析した音データに基づいて前記音データの送信先を特定し、前記送信先デバイス決定ステップは、前記アシスタント処理ステップにおいて、前記情報が必要であると判別した場合、前記送信先デバイスを決定し、前記送信先デバイスが決定できない場合は前記送信先デバイスを決定しないこと、を特徴とする。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】削除
【補正の内容】
【手続補正3】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報処理方法であって、
周囲の音を音データとして取得する音取得ステップと、
前記音データを送信する送信先デバイスを決定する送信先デバイス決定ステップと、
前記送信先デバイスが決定された場合に、前記音データを送信するとともに、当該音データに応じて実行される第１のデジタルアシスタント処理結果を前記送信先デバイスから受信する送受信ステップと、
第２のデジタルアシスタント処理を実行するアシスタント処理ステップと、を備え、
前記アシスタント処理ステップは、
前記音データを解析し、前記第１のデジタルアシスタント処理を実行するために情報が必要であるか否かを判別し、さらに解析した音データに基づいて前記音データの送信先を特定し、
前記送信先デバイス決定ステップは、
前記アシスタント処理ステップにおいて、前記情報が必要であると判別した場合、前記送信先デバイスを決定し、前記送信先デバイスが決定できない場合は前記送信先デバイスを決定しないこと、
を特徴とする情報処理方法。
周囲の音を音データとして取得する音取得ステップと、
前記音データを送信する送信先デバイスを決定する送信先デバイス決定ステップと、
前記送信先デバイスが決定された場合に、前記音データを送信するとともに、当該音データに応じて実行される第１のデジタルアシスタント処理結果を前記送信先デバイスから受信する送受信ステップと、
第２のデジタルアシスタント処理を実行するアシスタント処理ステップと、を備え、
前記アシスタント処理ステップは、
前記音データを解析し、前記第１のデジタルアシスタント処理を実行するために情報が必要であるか否かを判別し、さらに解析した音データに基づいて前記音データの送信先を特定し、
前記送信先デバイス決定ステップは、
前記アシスタント処理ステップにおいて、前記情報が必要であると判別した場合、前記送信先デバイスを決定し、前記送信先デバイスが決定できない場合は前記送信先デバイスを決定しないこと、
を特徴とする情報処理方法。
【請求項2】
請求項１記載の情報処理方法であって、
前記アシスタント処理ステップは、前記第１のデジタルアシスタント処理を実行するためのコマンドを当該音データから生成し、
前記送受信ステップは、前記音データの代わりに、前記コマンドを前記送信先デバイスに送信すること、
を特徴とする情報処理方法。
前記アシスタント処理ステップは、前記第１のデジタルアシスタント処理を実行するためのコマンドを当該音データから生成し、
前記送受信ステップは、前記音データの代わりに、前記コマンドを前記送信先デバイスに送信すること、
を特徴とする情報処理方法。
【請求項3】
請求項１記載の情報処理方法であって、
前記送信先デバイス決定ステップは、発声主として判別されたユーザに対応づけて登録されているデバイスが複数ある場合、前記ユーザから当該複数のデバイスの中から前記送信先デバイスとするデバイスの選択を受け付けること、
を特徴とする情報処理方法。
前記送信先デバイス決定ステップは、発声主として判別されたユーザに対応づけて登録されているデバイスが複数ある場合、前記ユーザから当該複数のデバイスの中から前記送信先デバイスとするデバイスの選択を受け付けること、
を特徴とする情報処理方法。
【請求項4】
請求項１記載の情報処理方法であって、
前記アシスタント処理ステップは、前記音データの送信先を特定した後、前記送信先をデータベースに登録すること、
を特徴とする情報処理方法。
前記アシスタント処理ステップは、前記音データの送信先を特定した後、前記送信先をデータベースに登録すること、
を特徴とする情報処理方法。