(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023164959
(43)【公開日】2023-11-14
(54)【発明の名称】ボイスアシスタンスを備えたメディア再生システム
(51)【国際特許分類】
G10L 15/22 20060101AFI20231107BHJP
G10L 15/10 20060101ALI20231107BHJP
G10L 15/04 20130101ALI20231107BHJP
G10L 25/78 20130101ALI20231107BHJP
G10L 15/00 20130101ALI20231107BHJP
G06F 3/16 20060101ALI20231107BHJP
【FI】
G10L15/22 453
G10L15/10 200W
G10L15/22 200H
G10L15/04 153
G10L25/78
G10L15/00 200Z
G10L15/00 200G
G06F3/16 620
G06F3/16 630
G06F3/16 650
【審査請求】有
【請求項の数】15
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023144379
(22)【出願日】2023-09-06
(62)【分割の表示】P 2021194522の分割
【原出願日】2018-09-28
(31)【優先権主張番号】15/721,141
(32)【優先日】2017-09-29
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】506030756
【氏名又は名称】ソノズ インコーポレイテッド
(74)【代理人】
【識別番号】100132241
【弁理士】
【氏名又は名称】岡部 博史
(74)【代理人】
【識別番号】100183265
【弁理士】
【氏名又は名称】中谷 剣一
(72)【発明者】
【氏名】デイン・ウィルバーディング
(72)【発明者】
【氏名】ジョン・トロメイ
(57)【要約】 (修正有)
【課題】メディア再生システムのボイスアシスタンスを発動させる方法及びネットワークマイクロフォンデバイスを提供する。
【解決手段】方法は、メディア再生システムが、少なくとも1つのマイクロフォンデバイスを介してボイス入力を取得することと、ボイス入力内に1つ又は複数のコマンドが含まれていることを検出することと、1つ又は複数のコマンドが、コマンド情報のセット内の1つ又は複数のコマンドに関連するコマンドクライテリアを満たすことを判断することと、判断に基づいて、第一のボイスアシスタントサービス(VAS)を選択して第二のVASの選択を放棄し、ボイス入力を第一のVASに送信することと、ボイス入力の送信後、第一のVASからのボイス入力への返答を受信することと、を含む。
【選択図】
図7B
【特許請求の範囲】
【請求項1】
コマンド及び関連するコマンドクライテリアのリストを含むコマンド情報のセットをメディア再生システムのネットワークマイクロフォンデバイスのメモリに記憶させるステップと、
前記ネットワークマイクロフォンデバイスの少なくとも1つのマイクロフォンを介してボイス入力を取得するステップと、
前記ボイス入力内に1つ又は複数のコマンドが含まれることを検出するステップと、
前記1つ又は複数のコマンドが、コマンド情報のセット内の前記1つ又は複数のコマンドに関連する対応コマンドクライテリアを満たすことを判断するステップと、
前記判断に応答して、(i)第一のボイスアシスタントサービス(VAS)を選択し第二のVASの選択を放棄し、(ii)前記ボイス入力を第一のVASに送信し、(iii)前記ボイス入力の送信後、前記第一のVASからのボイス入力への応答を受信するステップと、を含む方法。
【請求項2】
前記メディア再生システムが複数の再生デバイスを含み、
前記1つ又は複数のコマンドが、前記再生デバイスの2つ又はそれ以上をグループ化し、前記2つ又はそれ以上の再生デバイスを含むグループでオーディオコンテンツの再生を開始するコマンドを含む、
請求項1に記載の方法。
【請求項3】
前記判断するステップは、前記ボイス入力内に1つ又は複数のキーワードが含まれることを検出することを含み、
前記1つ又は複数のキーワードは、
(i)前記2つ又はそれ以上の再生デバイスのうちの1つと関連する第一のキーワードならびに2つ又はそれ以上の再生デバイスのうちの別の1つと関連する第二のキーワードと、
(ii)前記2つ又はそれ以上の再生デバイスを含むグループと、
のうちの少なくとも1つを含む、
請求項2に記載の方法。
【請求項4】
前記2つ又はそれ以上の再生デバイスのうちの1つは、前記ネットワークマイクロフォンデバイスを含む、
請求項2又は3に記載の方法。
【請求項5】
前記1つ又は複数のコマンドは、前記メディア再生システムに向けられ、
前記方法は、前記第一のVASからの応答に基づいて前記メディア再生システムを介して前記1つ又は複数のコマンドを処理するステップをさらに含む、
請求項1-4のいずれか1つに記載の方法。
【請求項6】
前記ボイス入力は、第一のボイス入力であり、
前記方法は、前記第一のVASからの応答に基づいて可聴の要求を出力するステップをさらに含む、
請求項1-5のいずれか1つに記載の方法。
【請求項7】
前記ボイス入力は、第一のボイス入力であり、
前記方法は、前記第一のVASからの応答に基づいて第二のボイス入力への可聴の要求を出力するステップをさらに含む、
請求項1-6のいずれか1つに記載の方法。
【請求項8】
前記メディア再生システムは、複数の再生デバイスを含み、
前記1つ又は複数のコマンドは、前記複数の再生デバイスのうちの2つ又はそれ以上の再生デバイスをペアにするコマンドを含み、
前記可聴の要求は、前記2つ又はそれ以上の再生デバイスのうちの少なくとも1つをオーディオチャンネルに割り当てるリクエストを含み、
前記第二のボイス入力は、前記2つ又はそれ以上の再生デバイスのうちの少なくとも1つの選択を含む、
請求項7に記載の方法。
【請求項9】
前記メディア再生システムは、1つ又は複数の再生デバイスを含み、
前記可聴の要求は、前記1つ又は複数の再生デバイスのイコライザ設定を較正するリクエストを含む、
請求項7又は8に記載の方法。
【請求項10】
前記判断するステップは、ボイス入力ソースの存在を検出することを含み、
前記存在を検出することは、
前記ボイス入力ソースから前記ボイス入力が前記ネットワークマイクロフォンデバイスによって受信される方向、及び
前記ネットワークマイクロフォンデバイスと前記ボイス入力ソースとの間の距離、
のうちの少なくとも1つを検出することを含む、
請求項1-9のいずれか1つに記載の方法。
【請求項11】
前記判断するステップは、
コントローラデバイスの使用、及び
ボイス入力ソースのボイスプロフィール、
のうちの少なくとも1つを検出することを含む、
請求項1-10のいずれか1つに記載の方法。
【請求項12】
前記1つ又は複数のコマンドは、1つ又は複数の第一のコマンドであり、
前記判断するステップは、前記ボイス入力内に1つ又は複数の第二のコマンドを検出すること、及び前記1つ又は複数の第一のコマンドと前記1つ又は複数の第二のコマンドとの間で、前記ボイス入力内に少なくとも1つの休止を検出することを含む、
請求項1-11のいずれか1つに記載の方法。
【請求項13】
1つ又は複数のプロセッサによって実行されるとネットワークマイクロフォンデバイスに請求項1-12のいずれか1つに記載の方法を実施させる指示を含む、非一時的なコンピュータ読み取り可能な記録媒体。
【請求項14】
1つ又は複数のマイクロフォンと、
1つ又は複数のプロセッサと、
請求項13に記載の前記非一時的なコンピュータ読み取り可能な記録媒体を含む、
ネットワークマイクロフォンデバイス。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
この出願は、2017年9月29日に出願された米国特許出願第15/721、141号明細書に基づく優先権を主張する。この出願の内容は、その全体が参照により本明細書に組み込まれる。
【技術分野】
【0002】
本願は、コンシューマ製品に関するものであり、特に、メディア再生のボイス制御に向けられた方法、システム、製品、機能、サービス、及び他の要素に関するものや、それらのいくつかの態様に関する。
【背景技術】
【0003】
2003年に、ソノズ・インコーポレイテッドが最初の特許出願のうちの1つである「複数のネットワークデバイス間のオーディオ再生を同期する方法」と題する特許出願をし、2005年にメディア再生システムの販売を開始するまで、アウトラウド設定におけるデジタルオーディオへのアクセス及び試聴のオプションは制限されていた。人々は、ソノズ無線HiFiシステムによって、1つ又は複数のネットワーク再生デバイスを介して多くのソースから音楽を実質的に無制限に体験できるようになっている。スマートフォン、タブレット、又はコンピュータにインストールされたソフトウェアコントロールアプリケーションを通じて、ネットワーク再生デバイスを備えた全ての部屋において、人々は自分が望む音楽を再生することができる。加えて、例えばコントローラを用いて、再生デバイスを備えた各部屋に異なる歌をストリーミングすることもできるし、同期再生のために複数の部屋をグループ化することもできるし、同期して同じ歌を全ての部屋において聞くこともできる。
【発明の概要】
【0004】
デジタルメディアに対する関心の継続的な高まりを考えると、試聴体験をさらに向上させることができるコンシューマアクセス可能な技術をさらに開発することにニーズがあり続ける。
【図面の簡単な説明】
【0005】
本明細書で開示されている技術の特徴、態様、及び利点は、以下の記載、添付の特許請求の範囲、及び添付の図面を参照するとより理解しやすい。
【0006】
【
図1】
図1は、ある実施形態を実施することができるメディア再生システムを図示する。
【
図2A】
図2Aは、例示的な再生デバイスの機能ブロック図である。
【
図2B】
図2Bは、ネットワークマイクロフォンデバイスを含む例示的な再生デバイスの等角図である。
【
図3A】
図3Aは、本願開示の態様に係る例示的なゾーン及びゾーングループを示す図である。
【
図3B】
図3Bは、本願開示の態様に係る例示的なゾーン及びゾーングループを示す図である。
【
図3C】
図3Cは、本願開示の態様に係る例示的なゾーン及びゾーングループを示す図である。
【
図3D】
図3Dは、本願開示の態様に係る例示的なゾーン及びゾーングループを示す図である。
【
図3E】
図3Eは、本願開示の態様に係る例示的なゾーン及びゾーングループを示す図である。
【
図4】
図4は、本願開示の態様に係る例示的なコントローラデバイスの機能ブロック図である。
【
図4A】
図4Aは、本願開示の態様に係るコントローラインタフェースを図示する。
【
図4B】
図4Bは、本願開示の態様に係るコントローラインタフェースを図示する。
【
図5A】
図5Aは、本願開示の態様に係る例示的なネットワークマイクロフォンデバイスの機能ブロック図である。
【
図5B】
図5Bは、本願開示の態様に係る例示的なボイス入力の図である。
【
図6】
図6は、本願開示の態様に係る例示的なリモートコンピュータの機能ブロック図である。
【
図7A】
図7Aは、本願開示の態様に係る例示的なネットワークシステムの模式図である。
【
図7B】
図7Bは、本願開示の態様に係る
図7Aの例示的なネットワークシステムによって実施される例示的なメッセージの流れを図示する。
【
図8A】
図8Aは、本願開示の態様に係るボイスアシスタントサービスを発動する例示的な方法の流れ図である。
【
図8B】
図8Bは、本願開示の態様に係る例示的なコマンド情報のセットのブロック図である。
【
図9A】
図9Aは、本願開示の態様に係る例示的なボイス入力コマンドとその関連情報の表である。
【
図9B】
図9Bは、本願開示の態様に係る例示的なボイス入力コマンドとその関連情報の表である。
【
図9C】
図9Cは、本願開示の態様に係る例示的なボイス入力コマンドとその関連情報の表である。
【
図11A】
図11Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図11B】
図11Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図12A】
図12Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図12B】
図12Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図13A】
図13Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図13B】
図13Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図14A】
図14Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図14B】
図14Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図15A】
図15Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図15B】
図15Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図16A】
図16Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図16B】
図16Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図17A】
図17Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図17B】
図17Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図18A】
図18Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図18B】
図18Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図19A】
図19Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図19B】
図19Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図20A】
図20Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図20B】
図20Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【0007】
図面は、いくつかの例示的な実施形態を説明することを目的としているが、本発明が、図面に示した配置及び手段に限定されるものではないことは理解される。特定のいかなる要素の説明をも容易にするために、部品符号の重要な桁の値はその要素が初めて紹介された図を参照する。例えば、要素107は、
図1を参照して初めて紹介され説明された。
【発明を実施するための形態】
【0008】
I.概要
無線照明デバイス、ホームオートメーションデバイス(例えばサーモスタット、ドアロック、等)、及びオーディオ再生デバイス等のスマート家電品及びその関連デバイスを有する「スマートホーム」にとって、ボイス制御は有益であり得る。いくつかの実施例において、ネットワークマイクロフォンデバイスがスマートホームのデバイスを制御するために使用され得る。ネットワークマイクロフォンデバイスは通常ボイス入力を受信するためのマイクロフォンを含む。ネットワークマイクロフォンデバイスは、ボイス入力をボイスアシスタントサービス(VAS)に転送できる。従来のVASは、クラウドサーバーがボイス入力を処理することにより実施される遠隔サービスであり得る。VASはボイス入力を処理してボイス入力の意図を判断し得る。応答に基づいて、ネットワークマイクロフォンデバイスは1つ又は複数のスマートデバイスに動作をさせる。例えば、VASからの指示への応答に基づいてネットワークマイクロフォンデバイスは照明デバイスをオン・オフさせ得る。
【0009】
ネットワークマイクロフォンデバイスによって検出されるボイス入力は、ウェイクワード(wake word)と、続いてユーザのリクエストを含む発声を通常含む。ウェイクワードは通常VASを起動させてボイス入力の意図の解釈のために発動させる目的で使われる所定の単語又はフレーズである。例えば、AMAZON(登録商標)のVASに問いかけるときにユーザは「Alexa」というウェイクワードを発するであろう。他の例としては、GOOGLE(登録商標)のVASを発動させるための「Ok、Google」、及びAPPLE(登録商標)を発動させるための「Hey、Siri」、又はSONOS(登録商標)が提供するVASのための「Hey、Sonos」などが含まれる。
【0010】
ネットワークマイクロフォンデバイスは、ボイス入力中のウェイクワードに付随するユーザのリクエスト又はコマンドに耳を澄ませる。いくつかの例において、ユーザのリクエストは、例えばサーモスタット(例えばNEST(登録商標)サーモスタット)、照明デバイス(例えばPHILIPS HUE(登録商標)照明デバイス)、又はメディア再生デバイス(例えばSonos(登録商標)再生デバイス)などのサードパーティーのデバイスを制御するコマンドを含み得る。例えば、ユーザは、AMAZON(登録商標)VASを使って家の温度を設定するために、ウェイクワード「Alexa」に続いて「サーモスタットを68度に設定して」と発声し得る。ユーザは、家のリビングルームエリアの照明デバイスをオンにするために、同じウェイクワードに続いて「リビングルームを点灯して」と発声し得る。ユーザは同様に、ウェイクワードに続いて特定の曲、アルバム、又は音楽のプレイリストを家の再生デバイスにおいて再生するリクエストを発声し得る。
【0011】
VASは、ボイス入力を処理するために自然言語理解(NLU:natural language understanding)システムを採用し得る。NLUシステムは通常、所与のボイス入力の根底の意図を検出するようにプログラムされた複数の遠隔サーバを必要とする。例えば、サーバは、ユーザの意図を判断するために言語の語彙集(lexicon)、パーサ(parser)、文法及び意味のルール、及び関連した処理アルゴリズムを管理し得る。
【0012】
従来のVASが遭遇する課題の1つは、NLU処理の演算負荷が重いことである。例えば、語法(parlance)のニュアンス、文章構造、発音、及びその他の会話の特徴を扱うために、ボイス処理アルゴリズムは常時アップデートされる必要がある。したがって、VASの提供者は、世界中のユーザから受信される無数のボイス入力を扱うために、処理アルゴリズムを管理し、継続的に開発し、追加のクラウドサーバーなどの増大する複数の資源を展開しなければならない。
【0013】
関連する課題の1つは、特定のスマートデバイスのボイス制御が比較的複雑なボイス処理アルゴリズムを必要とし得て、VAS資源にさらなる負担をかけ得ることである。例えば、リビングルームの一セットの照明デバイスのスイッチをオンにするために、あるユーザは「灯りをつけて(flip on the lights)」と言うのを好むかもしれないが、別のユーザは「リビングを点灯させて(turn on the living room)」と言うのを好むかもしれない。両方のユーザは照明デバイスを点灯させるという同一の意図を有するが、動詞を含むフレーズの構造は異なるし、その上、後者のフレーズはリビングルームのデバイスであることを識別しているが前者は識別していないことは言うまでもない。これらの課題に対応するため、例えばコマンドの構造及び関連する構文(syntax)の微妙でありながらも意味のあるバリエーションを区別するためのアルゴリズムなどの、特に複雑なボイス処理資源及びアルゴリズムを必要とするスマートデバイスを制御するとき、VASは、ユーザの意図を解読するためにさらなる資源を捧げなければならない。
【0014】
スマートデバイスの消費者需要が増大し、これらのデバイスが多様化するにつれて、VAS提供者の中には進歩に追いつくのが困難となるものもあり得る。VASのシステム資源に限界があり、入ってくるボイス入力に正しく応答することができない場合もある。例えば、上記の例において、VASは、「灯りを点灯して(turn on the lights)」との発声を処理する能力を有するが、「灯りをつけて(flip on the lights)」との発声を処理する能力に欠けるかもしれず、これはシステムが、後者のより慣用的なフレーズの意図を認識できないアルゴリズムを使っているかもしれないからである。そのような場合、ユーザは、「リビングルームの照明を点灯しろ(turn on the lights in the living room)」と言うなどのさらに限定的な情報で元の要求を言い換える必要があり得る。代わりにVASは、そのような要求は処理できない、とユーザに通知してもよいし、又はVASは、単に要求を完全無視してもよい。これらのいずれの場合も、ユーザは拙いボイス制御の体験に不満を感じ得る。
【0015】
マルチゾーン再生システムなどのメディア再生システムの場合、従来のVASには特に制限される場合がある。例えば、従来のVASがサポートするのは基本的な再生のボイス制御のみであり得て、又はユーザは、デバイスと交信するために自然な対話ではなく特定の誇張したフレーズ回しを使う必要があり得る。さらに、従来のVASはマルチゾーン再生、又はユーザが制御したいデバイスグルーピング、マルチルーム音量、イコライザーパラメータ、及び/又は所与の再生シナリオのオーディオコンテンツ、などのその他の機能をサポートしない場合がある。そのような機能を制御するためには、基本的な再生に必要であるよりも著しく大きい資源を必要とし得る。
【0016】
ここで説明されるメディア再生システムは従来のVASのこれらの及びその他の制限に対応可能である。例えば、いくつかの実施形態において、ボイス入力を処理するためにメディア再生は第二のVAS(例えば、従来のVAS)よりも第一のVAS(例えば、強化されたVAS)を選択するように構成される。そのような場合、メディア再生システムは、メディア再生システムの比較的高度な他の機能を制御するためのボイス入力などの特定のボイス入力を処理するために第二よりも第一のVASを選択することにより介入し得る。1つの態様において、第二のVAS単独により提供されるボイス制御と比較して、第一のVASはボイス制御を向上させ得る。いくつかの実施形態において、メディア再生システムをターゲットとする少なくともいくつかのボイス入力は、第二のVASを介しては発動不可であり得る。これら及びその他の実施形態において、少なくともいくつかのボイス入力は、第二のVASを介して発動可能ではあるが、第一のVASが特定のボイス入力を処理する方が好ましいかもしれない。例えば、第一のVASの方が第二のVASよりも特定のボイス入力をより高い信頼性でより正確に処理できるかもしれない。いくつかの実施形態において、第二のVASが、特定のタイプのボイス入力が通常送られるデフォルトのVASであり得る。例えば、いくつかの実施形態において、「今日の天気は?」というボイス入力などの基本的なインターネットクエリ(query)を含む要求を扱うためには従来のVASの方がより適している場合がある。関連する実施形態において、ユーザは、(「ヘイ、サマンサ」などの)同じウェイクワードを第一及び第二の両方のVASを発動させるときに使い得る。1つの態様において、ボイス入力を発声するとき、VASの選択が見えないところで起こっていることに気づかない場合がある。一実施形態において、ウェイクワードは、AMAZONのALEXA(登録商標)などの従来のVASに関連したウェイクワードでもよい。
【0017】
一実施形態において、メディア再生システムは、ボイス入力を取得(capture)するためのネットワークマイクロフォンデバイスを含んでもよい。メディア再生システムは、(i)少なくとも1つのマイクロフォンデバイスを介してボイス入力を取得し、(ii)取得されたボイス入力中にコマンドの1つ又は複数が含まれていることを検出し、(iii)その1つ又は複数のコマンドが1セットのコマンド情報の対応するコマンドクライテリアを満たすことを判断し、(iv)その判断に応じて(a)第二のVASの選択を放棄して第一のVASを選択し、(b)ボイス入力を第一のVASに送り、(c)ボイス入力を送った後、第一のVASからのボイス入力への応答を処理するように構成される。
【0018】
いくつかの実施形態において、ネットワークマイクロフォンデバイスは、ネットワークマイクロフォンデバイスのローカルメモリにコマンド情報のセットを記憶するように構成される。いくつかの実施形態において、コマンド情報のセットは、ローカルエリアネットワーク(LAN)上の別のネットワークマイクロフォンデバイス又は再生デバイスなどの別のネットワークデバイスに記憶されてもよい。いくつかの実施形態において、コマンド情報のセットはLAN上に、及び/又は遠隔的に、複数のネットワークデバイスにわたって記憶されてもよい。下に説明される様々な実施形態において、コマンド情報のセットは、メディア再生システムが第二のVASの選択を放棄して第一のVASを選択すべきか否かを判断する工程において使用されてもよい。
【0019】
いくつかの実施形態において、ネットワークマイクロフォンデバイスは所定のコマンド、及びコマンドと関連するコマンドクライテリアのリストを記憶してもよい。コマンドは、例えば、再生、制御、及びゾーンターゲットするコマンドを含んでもよい。コマンドクライテリアは、例えば、特定のコマンドに関連した所定のキーワードを含み得る。ボイス入力中のキーワードの組み合わせは、例えば、家の第一の部屋の名前(例えば、リビングルーム)の発声、及びの第二の部屋の名前(例えば、寝室)の発声を含んでもよい。ユーザが特定のコマンド(音楽を再生するコマンドなど)を含むボイス入力をキーワードと組み合わせて発声するとき、メディア再生システムはボイス入力を処理するために第一のVASを選択して発動させる。
【0020】
いくつかの実施形態において、キーワードはトレーニング及び適応的学習アルゴリズムによって開発されてもよい。特定の実施形態において、そのようなキーワードは、キーワードを含むボイス入力を処理する最中にその場で判断され得る。そのような場合、キーワードはボイス入力を処理する前に事前に決定されないものの、第一のVASがコマンドに基づいて発動することを可能とする。関連した実施形態において、キーワードは、同じ意図を有するコマンドの特定の同義語(cognate)と関連し得る。
【0021】
いくつかの実施形態において、第一のVASを発動することは、1つ又は複数の第一のVASの遠隔サーバにボイス入力を送ることを含んでもよい。上の例において、第一のVASは第一及び第二の部屋で音楽を再生するユーザの意図を判断し、望むオーディオを第一及び第二の部屋でメディア再生システムに再生させることによって応答してもよい。第一のVASはまた、第一及び第二の部屋からなるグループを形成するようにメディア再生システムに指示してもよい。
【0022】
本明細書に記載されるいくつかの実施形態は、「ユーザ」、及び/又は他の実体等、所定の行為者により実行される機能を示す場合があるが、この記載は、説明の目的のみであることを理解されたい。特許請求の範囲自体に明示的に必要であることが記載されていない限り、こうした任意の行為者による行動が必要であると解釈されるべきではない。
【0023】
II.例示的な動作環境
図1は、本明細書で開示されている1つ又は複数の実施形態で実施可能なメディア再生システム100の例示的な構成を示す。図示されるように、メディア再生システム100は、複数の部屋及び空間、例えば、オフィス、ダイニングルーム、及びリビングルームを有する例示的なホーム環境に関連している。これらの部屋及び空間内に、メディア再生システム100は、再生デバイス102(再生デバイス102a-102mとして個々に識別される)、ネットワークマイクロフォンデバイス193(「NMD」103a-103gとして個々に識別される)、及びコントローラデバイス104a、104b(集合的に「コントローラデバイス104」)を含む。ホーム環境は、1つ又は複数のスマート照明デバイス108及びスマートサーモスタット110などの他のネットワークデバイスを含んでもよい。
【0024】
メディア再生システム100の様々な再生デバイス、ネットワークマイクロフォンデバイス、及びコントローラデバイス102-104、及び/又は他のネットワークデバイスは、ポイント間接続及び/又はネットワークルータ106を含むLANを介した有線及び/又は無線のその他の接続を介してお互いに連結してもよい。例えば、再生デバイス102j(「左」と名付けられる)は、再生デバイス102a(「右」と名付けられる)とポイント間接続(point-to-point connection)を有してもよい。一実施形態において、「左」再生デバイス102jはポイント間接続を介して「右」再生デバイス102aと通信してもよい。関連した実施形態において、「左」再生デバイス102jはポイント間接続及び/又はLANを介した他の接続などを介して他のネットワークデバイスと通信してもよい。
【0025】
ネットワークルータ106は、ワイドエリアネットワーク(WAN)を介して1つ又は複数のリモートコンピュータ105に連結してもよい。いくつかの実施形態において、リモートコンピュータはクラウドサーバーでもよい。リモートコンピュータ105は、様々な方法でメディア再生システム100と対話するように構成されてもよい。例えば、リモートコンピュータは、ホーム環境におけるオーディオなどのメディアコンテンツ再生のストリーミング及び制御を容易にするように構成されてもよい。下により詳細に説明される技術の一態様において、リモートコンピュータ105はメディア再生システム100に第一のVAS160を提供するように構成される。
【0026】
いくつかの実施形態において、再生デバイス102の1つ又は複数は、オンボード(例えば、統合された)ネットワークマイクロフォンデバイスを含んでもよい。例えば、再生デバイス102a-eは、対応するNMD103a-eをそれぞれ含む。ネットワークマイクロフォンデバイスを含む再生デバイスは、明細書で特に記述がない限り、ここでは再生デバイス又はネットワークマイクロフォンデバイスと交換可能で参照され得る。
【0027】
いくつかの実施形態において、NMD103の1つ又は複数は、独立したデバイスでもよい。例えば、NMD103f及び103gは独立したネットワークマイクロフォンデバイスでもよい。独立したネットワークマイクロフォンデバイスは、再生デバイスに通常含まれるスピーカ又は関連した電子部品などのコンポーネントを省いてもよい。そのような場合、独立したネットワークマイクロフォンデバイスはオーディオ出力を生成しなくてもよく、又は限定的なオーディオ出力(例えば、比較的低品質のオーディオ出力)を生成してもよい。
【0028】
使用中、ネットワークマイクロフォンデバイスは、近傍にいるユーザからのボイス入力を受信して処理し得る。例えば、ネットワークマイクロフォンデバイスはユーザが入力を発声したことを検出するとボイス入力を取得するようにしてもよい。図示した例において、リビングルームの再生デバイス102aのNMD103aは、近傍にいるユーザからのボイス入力を取得し得る。いくつかの例において、ボイス入力のソース(例えば、ユーザ)の近傍にある他のネットワークマイクロフォンデバイス(例えば、NMD103b及び103f)もボイス入力を検出し得る。そのような場合、ネットワークマイクロフォンデバイス群は、お互いの間で調停を行い、いずれのデバイスが検出したボイス入力を取得及び/又は処理するべきかを判断し得る。ネットワークマイクロフォンデバイス間での選択及び調停の例は、例えば2017年2月21日付けの米国特許出願公開第15/438、749号明細書に記載されており、この出願の名称は「メディア再生システムのボイス制御」であり、その全体がここで参照され援用される。
【0029】
特定の実施形態において、ネットワークマイクロフォンデバイスは、ネットワークマイクロフォンデバイスを含み得ない再生デバイスに割り当てられてもよい。例えば、NMD103fが、近傍の再生デバイス102i及び/又は102lに割り当てられてもよい。関連した例において、ネットワークマイクロフォンデバイスは、それが割り当てられた再生デバイスを通してオーディオを出力し得る。ネットワークマイクロフォンデバイスと再生デバイスとを指名されたデバイス、又はデフォルトのデバイスとして関連付けることに関するさらなる詳細は、例えば既に参照した米国特許出願第15/438、749号明細書に記載されている。
【0030】
例示的なメディア再生システム100の異なる構成要素、及び異なる構成要素がどのように対話してユーザにメディア体験を提供するかに関するさらなる態様は、以下のセクションで述べられている。本明細書における説明は、概してメディア再生システム100を参照しているかもしれないが、本明細書で述べられている技術は、
図1に示されるホーム環境内など、その他の用途に限定されるものではない。例えば、本明細書で述べられている技術は、再生デバイス、ネットワークマイクロフォンデバイス、及び/又はコントローラデバイス102-104を多く又は少なく含む別のホーム環境構成において有用かもしれない。加えて、本明細書で述べられている技術は、マルチゾーンオーディオが望まれる環境、例えば、レストラン、モール、又は空港のような商業的環境、スポーツ用多目的車(SUV)、バス又は車のような車両、船、若しくはボード、飛行機などの環境において有用かもしれない。
【0031】
a.例示的な再生デバイス及びネットワークマイクロフォンデバイス
図2Aは、
図1に示す再生デバイス102から選択された1つの、ある態様を示す機能ブロック図である。図示されるように、そのような再生デバイスは、プロセッサ212、ソフトウェアコンポーネント214、メモリ216、オーディオ処理コンポーネント218、オーディオ増幅器220、スピーカ222、及び無線インタフェース232と有線インタフェース234を含むネットワークインタフェース230を含んでもよい。いくつかの実施形態において、再生デバイスはスピーカ222を含まなくてもよく、代わりに再生デバイスを外付けスピーカに接続するためのスピーカインタフェースを含み得る。特定の実施形態において、再生デバイスはスピーカ222もオーディオ増幅器222のいずれも含まないかもしれず、代わりに再生デバイスを外付けオーディオ増幅器又は視聴覚レシーバに接続するためのオーディオインタフェースを含み得る。
【0032】
再生デバイスはさらにユーザインタフェース236を含んでもよい。ユーザインタフェース236は、コントローラデバイス104の1つ又は複数から独立して、又はそれと併せてユーザの対話を容易にしてもよい。様々な実施形態において、ユーザインタフェース236は、ユーザが直接入力を提供するために、1つ又は複数の実際のボタン、及び/又はタッチ感応スクリーン及び/又は表面の上に提供されるグラフィカルインタフェースを含み、その他の可能性もある。ユーザインタフェース236はさらに、視覚的及び/又は聴覚的フィードバックをユーザに提供するために光源及びスピーカの1つ又は複数を含んでもよい。
【0033】
いくつかの実施形態において、プロセッサ212は、メモリ216に記憶された命令に基づいて、入力データを処理するように構成されたクロック駆動のコンピュータコンポーネントであってもよい。メモリ216は、プロセッサ212によって実行可能な命令を記憶するように構成された実体のあるコンピュータ読み取り可能記録媒体であってもよい。例えば、メモリ216は、ある機能を実行するためにプロセッサ212によって実行可能なソフトウェアコンポーネント214の1つ又は複数を搭載することができるデータストレージであってもよい。ある例においては、機能は、再生デバイスがオーディオソース又は別の再生デバイスからオーディオデータを読み出すステップに関与してもよい。別の例においては、機能は、再生デバイスがネットワーク上の別のデバイスにオーディオデータを送信するステップに関与してもよい。さらに別の例においては、機能は、マルチチャンネルオーディオ環境を作るために、再生デバイスと1つ又は複数の再生デバイスとをペアリングすることに関与してもよい。
【0034】
ある機能は、再生デバイスが、1つ又は複数の他の再生デバイスと、オーディオコンテンツの再生を同期することに関与してもよい。同期した再生の間、同期した再生デバイス同士のオーディオコンテンツの再生の遅延を、聴取者が気づかないかもしれない。2004年4月4日付けの「複数の独立クロックデジタルデータ処理デバイス間の動作を同期するシステム及び方法」と題する米国特許第8、234、395号の全体が本明細書に参照として援用されており、それは再生デバイス間のオーディオ再生を同期することのより詳細な例を提供している。
【0035】
オーディオ処理コンポーネント218は、1つ又は複数のデジタル-アナログ変換器(DAC)、オーディオ処理コンポーネント、オーディオ強化コンポーネント、又はデジタルシグナルプロセッサ(DSP)などを含んでいてもよい。いくつかの実施形態において、オーディオ処理コンポーネント218の1つ又は複数は、プロセッサ212のサブコンポーネントであってもよい。一例において、オーディオコンテンツが、オーディオ処理コンポーネント218によって処理及び/又は意図的に変更されることによって、オーディオ信号を生成してもよい。生成されたオーディオ信号は次に、オーディオ増幅器210による増幅のために送信され、スピーカ212を通じて再生されてもよい。特に、オーディオ増幅器210は、スピーカ212の1つ又は複数を駆動できるレベルまでオーディオ信号を増幅するように構成されたデバイスを含んでもよい。スピーカ212は、独立した変換器(例えば、「ドライバ」)又は1つ又は複数のドライバを内包する筐体を含む完全なスピーカシステムを備えてもよい。スピーカ212に備えられた特定のドライバは、例えば、サブウーファ(例えば、低周波用)、ミドルレンジドライバ(例えば、中間周波用)、及び/又はツイータ(高周波用)を含んでもよい。ある場合においては、1つ又は複数のスピーカ212のそれぞれの変換器は、オーディオ増幅器210の対応する個々のオーディオ増幅器によって駆動されてもよい。再生するアナログ信号を生成することに加えて、オーディオ処理コンポーネント208は、オーディオコンテンツを処理し、そのオーディオコンテンツを1つ又は複数の他の再生デバイスに再生させるために送信するように構成されてもよい。
【0036】
再生デバイスによって処理及び/又は再生されるオーディオコンテンツは、外部ソース、例えば、オーディオライン-イン入力接続(例えば、オートディテクティング3.5mmオーディオライン-イン接続)又はネットワークインタフェース230を介して、受信されてもよい。
【0037】
ネットワークインタフェース230は、データネットワーク上で再生デバイスと1つ又は複数の他のデバイスとの間のデータフローを容易にするように構成されてもよい。このように、再生デバイスは、再生デバイスと通信する1つ又は複数の他の再生デバイス、ローカルエリアネットワーク内のネットワークデバイス、又は例えば、インターネット等のワイドエリアネットワーク上のオーディオコンテンツソースから、データネットワークを介してオーディオコンテンツを受信するように構成されてもよい。ある例では、再生デバイスによって送信及び受信されたオーディオコンテンツ及び他の信号は、インターネットプロトコル(IP)に基づくソースアドレス及びIPに基づく宛先アドレスを含むデジタルパケットデータの形で送信されてもよい。そのような場合、ネットワークインタフェース230は、デジタルパケットデータを解析することによって、再生デバイス宛てのデータが、再生デバイスによって適切に受信されて処理されることができるように構成されてもよい。
【0038】
図示されるように、ネットワークインタフェース230は、無線インタフェース232と有線インタフェース234とを含んでもよい。無線インタフェース232は、再生デバイスが、通信プロトコル(例えば、無線規格IEEE802.11a、802.11b、802.11g、802.11n、802.11ac、802.15、4Gモバイル通信基準などを含む無線基準(規格)のいずれか)に基づいて、他のデバイス(例えば、再生デバイスに関連付けられたデータネットワーク内の他の再生デバイス、スピーカ、レシーバ、ネットワークデバイス、制御デバイス)と無線通信するためにネットワークインタフェース機能を提供してもよい。有線インタフェース234は、再生デバイスが、通信プロトコル(例えば、IEEE802.3)に基づいて他のデバイスとの有線接続を介して通信するためのネットワークインタフェース機能を提供してもよい。
図2に示されるネットワークインタフェース230は、無線インタフェース232と有線インタフェース234との両方を含んでいるが、ネットワークインタフェース230は、ある実施形態において、無線インタフェースのみか、又は有線インタフェースのみを含んでもよい。
【0039】
上で説明されたとおり、再生デバイスは
図1に示されるNMD103の1つなどのネットワークマイクロフォンデバイスを含んでもよい。ネットワークマイクロフォンデバイスは、プロセッサ212、メモリ216、マイクロフォン224などの再生デバイスのいくつかの又は全てのコンポーネントを共用してもよい。別の例において、ネットワークマイクロフォンデバイスはネットワークマイクロフォンデバイスの動作の面のみに特化したコンポーネントを含む。例えば、ネットワークマイクロフォンデバイスは、再生デバイスが含まない場合もある遠方マイクロフォン(far-field microphone)及び/又はボイス処理コンポーネントを含んでもよい。別の例において、ネットワークマイクロフォンデバイスは、マイクロフォンをオン・オフするタッチ感応ボタンを含んでもよい。さらに別の例において、ネットワークマイクロフォンデバイスは上述のような独立したデバイスであり得る。
図2Bは、ネットワークマイクロフォンデバイスを組み入れた例示的な再生デバイス202を示す等角図である。再生デバイス202は、マイクロフォンをオン・オフするためのコントロール領域237をデバイスの頂上に有する。コントロール領域237は、デバイスの頂上で、再生を制御するための別の領域239の隣にある。
【0040】
例示として、ソノズ・インコーポレイテッドは、「PLAY:1」、「PLAY:3」、「PLAY:5」、「PLAYBAR」、「CONNECT:AMP」、「CONNECT」、及び「SUB」を含む再生デバイスを現在販売提供している(又は、していた)。他の過去、現在、及び/又は将来のいずれの再生デバイスにおいても、追加的に又は代替的に本明細書で開示された実施例の再生デバイスに実装して使用することができる。さらに、再生デバイスは、
図2Aに示された特定の例、又は提供されるソノズ製品に限定されないことは理解される。例えば、再生デバイスは、有線又は無線のヘッドホンを含んでもよい。別の例において、再生デバイスは、パーソナルモバイルメディア再生デバイス用のドッキングステーションを含むか、又は、それらと対話してもよい。さらに別の例において、再生デバイスは、別のデバイス又はコンポーネント、例えば、テレビ、照明器具、又は屋内又は屋外で使用するためのいくつかの他のデバイスと一体化されてもよい。
【0041】
b.例示的な再生デバイス構成
図3A-3Eは、ゾーン及びゾーングループの再生デバイスの構成例を示す。はじめに
図3Eを参照して、1つの例として、単一の再生デバイスが1つのゾーンに属していてもよい。例えば、「バルコニー」の再生デバイス102cは「ゾーンA」に属してもよい。下に説明するいくつかの実施例において、複数の再生デバイスが「結合」され(bonded)、一緒に1つのゾーンを形成する「結合ペア」を形成してもよい。例えば、
図1において「ヌック」と名付けられた再生デバイス102fが「壁」と名付けられた再生デバイス102gに結合されて「ゾーンB」を形成してもよい。結合された再生デバイスは、異なる再生担当を有してもよい(例えば、チャンネル担当)。下に説明される別の実施例において、複数の再生デバイスは併合され(merged)、1つのゾーンを形成してもよい。例えば、「オフィス」と名付けられた再生デバイス102dが「ウィンドウ」と名付けられた再生デバイス102mと併合されて「ゾーンC」を形成してもよい。併合された再生デバイス102d及び102mには、特に異なる再生担当を割り当てられない場合もある。すなわち、併合された再生デバイス102d及び102mは、オーディオコンテンツを同期して再生することを除けば、まるで併合されていないかのようにオーディオコンテンツをそれぞれが再生してもよい。
【0042】
メディア再生システム100の各ゾーンは、単一のユーザインタフェース(UI)エンティティとしての制御のために提供されてもよい。例えば、「ゾーンA」は「バルコニー」と名付けられた単一のエンティティとして提供されてもよい。「ゾーンC」は「オフィス」と名付けられた単一のエンティティとして提供されてもよい。「ゾーンB」は「シェルフ」と名付けられた単一のエンティティとして提供されてもよい。
【0043】
様々な実施形態において、ゾーンはそのゾーンに属する再生デバイスの1つの名前を踏襲してもよい。例えば、「ゾーンC」は「オフィス」デバイス102d(図示のとおり)の名前を踏襲してもよい。別の例において、「ゾーンC」は「ウィンドウ」デバイス102mの名前を踏襲してもよい。さらなる例において、「ゾーンC」は「オフィス」デバイス102dと「ウィンドウ」デバイス102mとの何らかの組み合わせである名前を使ってもよい。選択される名前はユーザによって選択されてもよい。いくつかの実施形態において、ゾーンはそのゾーンに属するデバイス以外の名前が与えられてもよい。例えば、「ゾーンB」は「シェルフ」と名付けられるが、「ゾーンB」のデバイスがどれもこの名前を有していない。
【0044】
結合された再生デバイスは、特定のオーディオチャンネル担当などの異なる再生担当を有してもよい。例えば、
図3Aに示すように、オーディオコンテンツのステレオ効果を生み出す又は強化するように「ヌック」及び「壁」デバイス102f及び102gが結合されてもよい。この例において、「ヌック」再生デバイス102fは、左チャンネルのオーディオコンポーネントを再生するように構成されてもよく、「壁」再生デバイス102gは、右チャンネルのオーディオコンポーネントを再生するように構成されてもよい。いくつかの実施例において、そのようなステレオ結合は「ペアリング」と呼ばれてもよい。
【0045】
加えて、結合した再生デバイスは追加の及び/又は異なるスピーカドライバをそれぞれ有してもよい。
図3Bに示されるように、「フロント」と名付けられた再生デバイス102bは「サブ」と名付けられた再生デバイス102kと結合されてもよい。「フロント」デバイス102bは中間周波から高周波のレンジを提供し、「サブ」デバイス102kが例えばサブウーファとして低周波を提供してもよい。結合が解かれたとき、「フロント」デバイス102bが全周波レンジを提供してもよい。別の例として、
図3Cは、それぞれ「右」及び「左」デバイス102a及び102jとしてさらに結合された「フロント」及び「サブ」デバイス102b及び102kを示す。いくつかの実施例において、「右」及び「左」デバイス102a及び102jは、ホームシアターシステムのサラウンド又は「サテライト」チャンネルを形成してもよい。結合された再生デバイス102a、102b、102j、及び102kは単一の「ゾーンD」(
図3E)を形成してもよい。
【0046】
併合された再生デバイスは、割り当てられた再生担当を有さないかもしれず、それぞれの再生デバイスが可能なオーディオコンテンツの全レンジをそれぞれが提供してもよい。それにもかかわらず、併合されたデバイスは単一のUIエンティティ(すなわち上述のとおり、1つのゾーン)を代表してもよい。例えば、「オフィス」の再生デバイス102d及び102mは、「ゾーンC」という単一のUIエンティティである。一実施形態において、再生デバイス102d及び102mは、それぞれの再生デバイス102d及び102mが可能なオーディオコンテンツの全レンジをそれぞれが同期して出力してもよい。
【0047】
いくつかの実施例において、独立したネットワークマイクロフォンデバイスは、1つのゾーンの中に単独で存在し得る。例えば、「天井」と名付けられた
図1のNMD103gが「ゾーンE」であってもよい。ネットワークマイクロフォンデバイスはまた、別のデバイスと結合又は併合されてゾーンを形成してもよい。例えば、「アイランド」と名付けられたNMDデバイス103fは再生デバイス102i「キッチン」と結合されて、一緒に、それもまた「キッチン」と名付けられる「ゾーンG」を形成してもよい。ネットワークマイクロフォンデバイスと再生デバイスとを指名された又はデフォルトのデバイスとして関連付けることに関するさらなる詳細は、例えば既に参照した米国特許出願公開第15/438、749号明細書に記載されている。いくつかの実施例において、独立したネットワークマイクロフォンデバイスは1つのゾーンと関連していないかもしれない。
【0048】
個々の、結合された、及び/又は併合されたデバイスのゾーンはグループ化されてゾーングループを形成してもよい。例えば、
図3Eを参照して、「ゾーンA」が「ゾーンB」とグループ化されて2つのゾーンを含むゾーングループを形成してもよい。別の例として、「ゾーンA」は1つ又は複数の他の「ゾーンC-I」とグループ化されてもよい。「ゾーンA-I」は多数の方法でグループ化及びグループ解除ができる。例えば、「ゾーンA-I」のうちの3つ、4つ、5つ、又はそれ以上(例えば全部)がグループ化できる。グループ化されると、既に参照した米国特許第8、234、395号明細書に説明されるように、個々の、及び/又は結合された再生デバイスはオーディオを互いに同期して再生してもよい。再生デバイスは動的にグループ化及びグループ解除されて新しい、又は異なるグループを形成し、オーディオコンテンツを同期して再生してもよい。
【0049】
様々な実施例において、例えば
図3Eに示される「ダイニングルーム+キッチン」のように、ある環境の中のゾーンが、グループ内のゾーンのデフォルトの名前又はゾーングループ内のゾーン名の組み合わせであり得る。いくつかの実施形態において、また
図3Eに示される「ニックの部屋」のように、ゾーングループはユーザが選択した固有の名前が与えられてもよい。
【0050】
再び
図2Aを参照して、メモリ216に、定期的に更新されて再生ゾーン、再生デバイス、及び/又はそれらと関連するゾーングループの状態を記述するために使われるあるデータが1つ又は複数の状態変数(state variable)として記憶されてもよい。メモリ216はまた、メディアシステム内の他のデバイスの状態に関連し、時々デバイス間で共有されるデータを含んでもよく、デバイスの1つ又は複数がシステムに関連する最新のデータを有することになる。
【0051】
いくつかの実施形態において、メモリは状態と関連する様々な変数タイプのインスタンスを記憶してもよい。変数インスタンス(variables instances)はタイプに対応する識別子(identifier:例えば、タグ)とともに記憶されてもよい。例えば、特定の識別子は、あるゾーンの再生デバイスを識別する第一のタイプ「a1」、ゾーンに結合されていてもよい再生デバイスを識別する第二のタイプ「b1」、及びゾーンが属し得るゾーングループを識別する第三のタイプ「c1」であってもよい。関連する例として、
図1において「バルコニー」と関連する識別子は、「バルコニー」は、「バルコニー」が特定のゾーンにあってゾーングループに入っていない唯一の再生デバイスであることを示しているかもしれない。「リビングルーム」に関連する識別子は、「リビングルーム」が他のゾーンとグループ化されていないが、結合された再生デバイス102a、102b、102j、及び10kを含んでいることを示していてもよい。「ダイニングルーム」と関連する識別子は、「ダイニングルーム」が「ダイニングルーム+キッチン」のグループの一部であり、デバイス103f及び102iが結合されていることを示していてもよい。「キッチン」と関連する識別子は、「キッチン」が、「ダイニングルーム+キッチン」ゾーングループの一部であることにより、同じ又は類似した情報を示していてもよい。他の例示的なゾーン変数及び識別子は、下に説明される。
【0052】
さらに別の例において、メディア再生システム100は、
図3に示される「エリア」に関連する識別子などのように、ゾーン及びゾーングループの他の関連性を表す変数又は識別子を有してもよい。あるエリアはゾーングループ及び/又はゾーングループに属さないゾーンのクラスタに関与してもよい。例えば、
図3Eは、「フロントエリア」と名付けられた第一のエリア及び「バックエリア」と名付けられた第二のエリアを示す。「フロントエリア」は、「バルコニー」、「リビングルーム」、「ダイニングルーム」、「キッチン」、及び「バスルーム」のゾーン及びゾーングループを含む。「バックエリア」は、「バスルーム」、「ニックの部屋」、「寝室」、及び「オフィス」のゾーン及びゾーングループを含む。一態様において、「エリア」は、別のクラスタの1つ又は複数のゾーン及び/又はゾーングループを共有するゾーングループ及び/又はゾーンのクラスタを発動するために使われてもよい。別の態様において、これは別のゾーングループとゾーンを共有しないゾーングループと異なる。「エリア」を実施する技術のさらなる例は、例えば2017年8月21日付けの「名前に基づく部屋の関連付け」と題する米国特許出願第15/682、506号明細書、及び2007年9月11日付けの「マルチゾーンメディアシステムの制御とグループ作成操作」と題する米国特許第8、483、853号明細書に記載がある。これらの出願はその全体がここに参照され援用される。いくつかの実施例において、メディア再生システム100は、「エリア」を実施しないかもしれないが、その場合、システムは「エリア」に関連する変数を記憶しないかもしれない。
【0053】
メモリ216はさらに、他のデータを記憶するように構成されてもよい。そのようなデータは、再生デバイス、又はその再生デバイス(又は別の再生デバイス)が関連し得る再生キュー(playback queue)によってアクセス可能なオーディオソースに関連してもよい。下に説明される実施形態において、ボイス入力を処理するとき、メモリ216は、第一のVAS160などの特定のVASを選択するための一セットのコマンドデータを記憶するように構成される。
【0054】
動作中、
図1の環境における1つ又は複数の再生ゾーンは、それぞれ異なるオーディオコンテンツを再生していてもよい。例えば、ユーザは、「バルコニー」ゾーンでグリルしながら、再生デバイス102cによって再生されるヒップホップ音楽を聞くことができる。一方、別のユーザは、「キッチン」ゾーンで食事を準備しながら、再生デバイス102iによって再生されるクラシック音楽を聞くことができる。別の例では、再生ゾーンは、同じオーディオコンテンツを別の再生ゾーンと同期して再生してもよい。例えば、ユーザが「オフィス」ゾーンにいる場合、「オフィス」ゾーンの再生デバイス102dが、「バルコニー」ゾーンの再生デバイス102cで再生されている音楽と同じヒップホップ音楽を再生してもよい。そのような場合、再生デバイス102c及び102dは、ヒップホップ音楽を同期して再生しているため、ユーザは、異なる再生ゾーン間を移動してもアウト-ラウドで再生されるオーディオコンテンツをシームレス(又は少なくともほぼシームレス)に楽しむことができる。再生ゾーン間の同期は、前述の米国特許第8、234、395号明細書で述べられているような再生デバイス間の同期と同様の方法で行ってもよい。
【0055】
上に示唆したように、メディア再生システム100のゾーン構成は、動的に変更してもよい。したがって、メディア再生システム100は、多くの構成をサポートしてもよい。例えば、ユーザが1つ又は複数の再生デバイスを、物理的にゾーンに移動させるか、又はゾーンから移動させる場合、メディア再生システム100は変更に対応するように再構成されてもよい。例えば、ユーザが再生デバイス102cを「バルコニー」ゾーンから「オフィス」ゾーンに物理的に移動させる場合、「オフィス」ゾーンは、そこから再生デバイス102cと再生デバイス102dとの両方を含んでもよい。場合によっては、ユーザは例えばコントローラデバイス104及び/又はボイス入力を使って、移動された再生デバイス102cを「オフィス」ゾーンとペアにする又はグループ化する、及び/又は、「オフィス」ゾーンの再生デバイスの名称変更をしてもよい。別の例として、1つ又は複数の再生デバイスが、ホーム環境において、再生ゾーンを未だ設定していない特定のエリアに移動させられた場合、移動された再生デバイスは名称変更されてもよく、又は特定のエリアの再生ゾーンに関連付けられてもよい。
【0056】
さらに、メディア再生システム100の異なる再生ゾーンは、動的にゾーングループに組み合わされてもよいし、又は別々の再生ゾーンに分割されてもよい。例えば、「ダイニングルーム」ゾーンと「キッチン」ゾーンとがディナーパーティ用のゾーングループに組み合わされることによって、再生デバイス102iと102lとがオーディオコンテンツを同期して再生することができる。一方、「リビングルーム」ゾーンの結合された再生デバイス102は、(i)テレビゾーンと(ii)別のリスニングゾーンとに分割されてもよい。テレビゾーンは、「フロント」再生デバイス102bを含んでもよい。リスニングゾーンは、「右」、「左」、及び「サブ」再生デバイス102a、102j、及び102kを含んでもよく、それらは上述のとおり、グループ化、ペア化、又は併合されてもよい。「リビングルーム」ゾーンをそのように分割することにより、一人のユーザがリビングルームのあるエリアのリスニングゾーンで音楽を聴き、別のユーザがリビングルーム空間の別のエリアでテレビを見ることが可能となり得る。関連した例において、テレビゾーンとリスニングゾーンとに分割される前に「リビングルーム」ゾーンを制御するために、ユーザはNMD103a又は103bのいずれも実施し得る。一旦分割されると、リスニングゾーンは例えばNMD103aの近傍のユーザによって制御され、テレビゾーンは例えばNMD103bの近傍のユーザによって制御されてもよい。しかし、上述のとおり、いずれのNMD103もメディア再生システム100の様々な再生及びその他のデバイスを制御するように構成されてもよい。
【0057】
c.例示的なコントローラデバイス
図4は、
図1のメディア再生システム100のコントローラデバイス104の選択された1つのある態様を示す機能ブロック図である。そのようなコントローラデバイスは、コントローラとも呼ばれ得る。
図3に示されるコントローラデバイスは概して、プロセッサ412、メモリ416、マイクロフォン424、及びネットワークインタフェース430などの上述のネットワークデバイスの特定のコンポーネントに類似したコンポーネントを含んでもよい。1つの例において、コントローラデバイスは、メディア再生システム100の専用のコントローラデバイスであってもよい。別の例では、コントローラデバイスは、例えばiPhone(登録商標)、iPad(登録商標)、又はその他のスマートフォン、タブレット又はネットワークデバイス(例えば、PCやMac(登録商標)などのネットワーク接続されたコンピュータ)などの、メディア再生システムのコントローラアプリケーションソフトウェアが搭載されていてもよいネットワークデバイスであり得る。
【0058】
コントローラデバイスのメモリ416は、コントローラアプリケーションソフトウェア及びメディア再生システム100、及びシステム100のユーザに関連したその他のデータを記憶するように構成されてもよい。メモリ416には、メディア再生システム100のユーザアクセス、制御、及び構成を容易にするなどの特定の機能を達成するためにプロセッサ412によって実行可能な1つ又は複数のソフトウェアコンポーネント414が搭載されてもよい。上述のように、コントローラデバイスは他のネットワークデバイスとワイヤレスインタフェースなどのネットワークインタフェース430上で通信する。
【0059】
1つの例において、データ及び情報(例えば、状態変数など)は、ネットワークインタフェース430を介してコントローラデバイスとその他のデバイスとの間で伝達されてもよい。例えば、メディア再生システム100の再生ゾーンとゾーングループの構成は、ネットワークインタフェース406を介して、再生デバイス、ネットワークマイクロフォンデバイス、又はその他のネットワークデバイスからコントローラデバイスによって受信され得て、又はコントローラデバイスによって別の再生デバイス又はネットワークデバイスに送信され得る。場合によっては、他のネットワークデバイスは、別のコントローラデバイスでもよい。
【0060】
音量制御及びオーディオ再生制御などの再生デバイスの制御コマンドも、ネットワークインタフェース430を介してコントローラデバイスから再生デバイスへ伝達されてもよい。上述のとおり、メディア再生システム100の構成変更もコントローラデバイスを使ってユーザによって実行されてもよい。構成変更は、1つ又は複数の再生デバイスの追加/削除、1つ又は複数のゾーンのゾーングループへの追加/削除、結合又は併合再生デバイスの形成、結合又は併合再生デバイスからの1つ又は複数の再生デバイスの分離、その他、を含んでもよい。
【0061】
コントローラデバイスのユーザインタフェース440は、
図4A及び4Bにそれぞれ示され、集合的にコントローラインタフェース440と呼ばれるコントローラインタフェース440a及び440bなどのコントローラインタフェースを提供することによりメディア再生システム100のユーザアクセス及び制御を容易にするように構成されてもよい。
図4A及び4Bを同時に参照して、コントローラインタフェース440は再生制御領域442、再生ゾーン領域443、再生ステータス領域444、再生キュー領域446、及びソース領域448を含む。図示のユーザインタフェース400は、
図3に示され、メディア再生システム100などのメディア再生システムを制御するためにユーザによってアクセスされるコントローラデバイスなどのネットワークデバイス上に提供され得るユーザインタフェースの一例にすぎない。異なるフォーマット、スタイル、及び対話型シーケンスによるその他のユーザインタフェースが、1つ又は複数のネットワークデバイス上において代わりに実施され、類似した制御アクセスをメディア再生システムに提供してもよい。
【0062】
再生制御領域442(
図4A)は、選択可能で(例えば、タッチの方法で、又はカーソルを使って)、選択された再生ゾーン又はゾーングループにある再生デバイスに、再生又は停止、早送り、巻き戻し、次へスキップ、前へスキップ、シャッフルモードの開始/終了、リピートモードの開始/終了、クロスフェードモードの開始/終了をさせるアイコンを含んでもよい。再生制御領域442はまた、イコライザの設定、及び再生音量、その他種々の変更を行う選択可能アイコンを含んでもよい。
【0063】
再生制御領域443(
図4B)は、メディア再生システム100内の再生ゾーンの表示を含んでもよい。再生ゾーン領域はまた、図示の「ダイニングルーム+キッチン」ゾーングループなどのゾーングループの表示を含んでもよい。いくつかの実施例において、再生ゾーンのグラフィカルな表示が、例えば、結合されたゾーンの作成、ゾーングループの作成、ゾーングループの分割、ゾーングループの名称変更、その他など、メディア再生システム内の再生ゾーンを管理又は構成するための追加の選択可能なアイコンを表示させるように選択可能でもよい。
【0064】
例えば、図示のように「グループ」アイコンは再生ゾーンのグラフィカル表示それぞれに提供されてもよい。特定のゾーンのグラフィカル表示内に提供される「グループ」アイコンは、特定のゾーンとグループ化されるためのメディア再生システムの1つ又は複数の他のゾーンの選択肢を表示するために選択可能でもよい。一旦グループ化されると、特定のゾーンとグループ化されたゾーン内の再生デバイスは、特定のゾーンの再生デバイスと同期してオーディオコンテンツを再生するように構成される。類似的に、「グループ」アイコンはゾーングループのグラフィカル表示内に提供されてもよい。この場合、「グループ」アイコンは、ゾーングループから削除されるゾーングループ内の1つ又は複数のゾーンの選択を外す選択肢を表示するために選択可能でもよい。ユーザインタフェース400などのユーザインタフェースを介して、ゾーンをグループ化及びグループ解除をするための他の対話及び実施もまた可能である。再生ゾーン領域443(
図4B)内の再生ゾーンの表示は、再生ゾーン又はゾーングループの構成が変更されるとともに動的に更新されてもよい。
【0065】
再生ステータス領域444(
図4A)は、現在再生されているオーディオコンテンツ、前に再生されたオーディオコンテンツ、又は選択された再生ゾーン又はゾーングループ内で次に再生するように予定されているオーディオコンテンツ、のグラフィック表示を含んでもよい。選択可能な再生ゾーン又は再生グループは、ユーザインタフェース上で、例えば、再生ゾーン領域443及び/又は再生ステータス領域444内で視覚的に区別されてもよい。グラフィック表示は、トラックタイトル、アーティスト名、アルバム名、アルバム年、トラック長さ、及びメディア再生システムを、ユーザインタフェース440を介して制御するときに、ユーザにとって有益かもしれない他の関連情報を含んでもよい。
【0066】
再生キュー領域446は、選択された再生ゾーン又はゾーングループに関連付けられた再生キュー内のオーディオコンテンツのグラフィック表示を含んでもよい。いくつかの実施形態において、それぞれの再生ゾーン又はゾーングループは、再生ゾーン又はゾーングループによって再生される0以上のオーディオアイテムに対応する情報を含む再生キューに関連付けられてもよい。例えば、再生キュー内のそれぞれのオーディオアイテムは、ユー・アール・アイ(URI)、ユー・アール・エル(URL)、又は再生ゾーン又はゾーングループ内の再生デバイスによって使用可能な他の識別子を含んでもよい。これらによって、ローカルオーディオコンテンツソース又はネットワークオーディオコンテンツソース、からオーディオアイテムを見つけ、及び/又は取り出し、再生デバイスによって再生することができる。
【0067】
ある例では、プレイリストが再生キューに追加されてもよい。この場合、プレイリスト内のそれぞれのオーディオアイテムに対応する情報が再生キューに追加されてもよい。別の例では、再生キュー内のオーディオアイテムは、プレイリストとして保存されてもよい。さらに別の例では、再生デバイスがストリーミングオーディオコンテンツ、例えば、再生時間を有する個別のオーディオアイテムよりも、停止しない限り連続して再生され得るインターネットラジオを再生し続けているとき、再生キューは、空であってもよいし、又は埋まっているが「未使用」であってもよい。別の実施形態では、再生キューは、インターネットラジオ及び/又は他のストリーミングオーディオコンテンツアイテムを含むことができ、且つ再生ゾーン又はゾーングループがそれらのアイテムを再生しているとき「使用中」とすることができる。他の例も可能である。
【0068】
再生ゾーン又はゾーングループが「グループ化される」、又は「グループ解除される」とき、影響を受ける再生ゾーン又はゾーングループに関連した再生キューは、クリアされてもよいし、又は再び関連付けられてもよい。例えば、第一の再生キューを含む第一の再生ゾーンが、第二の再生キューを含む第二の再生ゾーンとグループ化された場合、形成されたゾーングループは、関連付けられた再生キューを有してもよく、関連付けられた再生キューは、最初は空であるか、(例えば、第二の再生ゾーンが第一の再生ゾーンに追加された場合、)第一の再生キューのオーディオアイテムを含むか、(例えば、第一の再生ゾーンが第二の再生ゾーンに追加された場合、)第二の再生キューのオーディオアイテムを含むか、又は第一の再生キューと第二の再生キューとの両方のオーディオアイテムを組み合わせられてもよい。その後、形成されたゾーングループがグループ解除された場合、その結果の第一の再生ゾーンは、前の第一の再生キューと再び関連付けられてもよいし、空の新しい再生キューに関連付けられてもよいし、あるいはゾーングループがグループ解除される前にゾーングループに関連付けられていた再生キューのオーディオアイテムを含む新しい再生キューに関連付けられてもよい。同様に、グループ解除された第二の再生ゾーンは、前の第二の再生キューと再び関連付けられてもよいし、空の新しい再生キューに関連付けられてもよいし、あるいはゾーングループがグループ解除される前にゾーングループに関連付けられていた再生キューのオーディオアイテムを含む新しい再生キューに関連付けられてもよい。その他の例もまた可能である。
【0069】
図4A及び4Bを引き続き参照して、再生キュー領域446(
図4B)内のオーディオコンテンツのグラフィック表示は、トラックタイトル、アーティスト名、トラックの長さ、及び再生キュー内のオーディオコンテンツに関連付けられた他の関連情報を含んでもよい。ある例においては、オーディオコンテンツのグラフィック表示は、追加の選択可能なアイコンを選択して移動させることができる。これにより、再生キュー及び/又は再生キューに表示されたオーディオコンテンツを管理及び/又は編集することができる。例えば、表示されたオーディオコンテンツは、再生キューから取り除いてもよいし、再生キュー内の異なる位置に移動させてもよいし、すぐに再生させるか若しくは現在再生しているオーディオコンテンツの後に再生するように選択されてもよいし、あるいは他の動作を実行してもよい。再生ゾーン又はゾーングループに関連付けられた再生キューは、再生ゾーン又はゾーングループ内の1つ又は複数の再生デバイスのメモリ、再生ゾーン又はゾーングループに入っていない再生デバイスのメモリ、及び/又は他の指定のデバイスのメモリに記憶されていてもよい。そのような再生キューの再生には、キューのメディアアイテムを、おそらく順次又はランダムな順序で再生する1つ又は複数の再生デバイスが関係していてもよい。
【0070】
ソース領域448は、対応するVASに関連した選択可能なオーディオコンテンツ及び選択可能なボイスアシスタントのグラフィカル表示を含んでもよい。VASは選択的に割り当てられてもよい。いくつかの例において、AMAZONのALEXA(登録商標)及び別のボイスサービスなどの複数のVASが、同じネットワークマイクロフォンデバイスによって発動可能でもよい。いくつかの実施形態において、ユーザはあるVASを1つ又は複数のネットワークマイクロフォンデバイス専用に割り当ててもよい。例えば、ユーザは第一のVAS160を
図1に示される「リビングルーム」のNMD102a及び102bのうちの1つ又は両方に割り当て、第二のVASを「キッチン」のNMD103fに割り当ててもよい。その他の例も可能である。
【0071】
d.例示的なオーディオコンテンツソース
ソース領域448のオーディオソースは、そこからオーディオコンテンツが取り出され、選択された再生ゾーン又はゾーングループで再生されるオーディオコンテンツソースでもよい。ゾーン又はゾーングループ内の1つ又は複数の再生デバイスは、再生するオーディオコンテンツを、(例えば、オーディオコンテンツの対応するURI又はURLに基づいて、)複数の入手可能なオーディオコンテンツソースから取り出すように構成されてもよい。一例において、オーディオコンテンツは、再生デバイスによって、対応するオーディオコンテンツソース(例えば、ライン-イン接続)から直接取り出されてもよい。別の例では、オーディオコンテンツは、1つ又は複数の他の再生デバイス若しくはネットワークデバイスを介してネットワーク上の再生デバイスに提供されてもよい。
【0072】
例示的なオーディオコンテンツソースは、メディア再生システム内の1つ又は複数の再生デバイスのメモリを含んでもよい。メディア再生システムとしては、例えば、
図1のメディア再生システム100、1つ又は複数のネットワークデバイス上のローカルミュージックライブラリ(例えば、コントローラデバイス、ネットワーク対応のパーソナルコンピュータ、又はネットワーク接続ストレージ(NAS)など)、インターネット(例えば、クラウド)を介してオーディオコンテンツを提供するストリーミングオーディオサービス、あるいは再生デバイス又はネットワークデバイスのライン-イン入力接続を介してメディア再生システムに接続されるオーディオソース、他の可能なシステムであってもよい。
【0073】
ある実施形態では、オーディオコンテンツソースは、
図1のメディア再生システム100などのようなメディア再生システムに定期的に追加されてもよいし、定期的に取り除かれてもよい。ある例では、1つ又は複数のオーディオコンテンツソースが追加される、取り除かれる、又は更新される度に、オーディオアイテムのインデックス付けが行われてもよい。オーディオアイテムのインデックス付けは、ネットワーク上で共有される全てのフォルダ/ディレクトリ内の識別可能なオーディオアイテムをスキャンすることを含んでもよい。ここで、ネットワークは、メディア再生システム内の再生デバイスによってアクセス可能である。また、オーディオアイテムのインデックス付けは、メタデータ(例えば、タイトル、アーティスト、アルバム、トラックの長さ、その他、など)、及び他の関連情報を含むオーディオコンテンツデータベースを作成すること、又は更新すること、を含んでもよい。他の関連情報とは、例えば、見つかったそれぞれの識別可能なオーディオアイテムのURI又はURLを含んでもよい。オーディオコンテンツソースを管理し、且つ維持するための他の例も可能である。
【0074】
e.例示的なネットワークマイクロフォンデバイス
図5Aは、本開示の態様に係るNMD103の1つ又は複数の追加の機能を示す機能ブロック図である。
図5Aに示されるネットワークマイクロフォンデバイスは、プロセッサ212(
図1)、ネットワークインタフェース230(
図2A)、マイクロフォン224、及びメモリ216などの上述のネットワークマイクロフォンデバイスの特定のコンポーネントと概して類似したコンポーネントを含んでもよい。明確性のため図示されないが、ネットワークマイクロフォンデバイスは、上述のようにスピーカ、増幅器、信号処理装置などの他のコンポーネントを含んでもよい。
【0075】
マイクロフォン224は、ネットワークマイクロフォンデバイス環境で音を検出するように構成された複数のマイクロフォンでもよい。一例において、マイクロフォン224は、ネットワークマイクロフォンデバイスから見て1つ又は複数の方向からのオーディオを検出するように構成されてもよい。マイクロフォン224は、周波数レンジの一部に敏感でもよい。一例において、マイクロフォン224の第一のサブセットが、第一の周波数レンジに敏感で、マイクロフォン224の第二のサブセットが、第二の周波数レンジに敏感でもよい。マイクロフォン224はさらに、オーディオソース(例えば、ボイス、可聴音)の位置情報を獲得するように構成されてもよく、及び/又は背景ノイズをフィルタすることを補助するように構成されてもよい。注目すべきことに、いくつかの実施例において、マイクロフォン224は、複数のマイクロフォンではなく、1つのマイクロフォンを有しても良い。
【0076】
ネットワークマイクロフォンデバイスはさらに、ビーム形成器コンポーネント551、音響エコー除去(AEC)コンポーネント552、ボイス活動検出器コンポーネント553、ウェイクワード検出器コンポーネント554、スピーチ/テキスト変換コンポーネント555(例えば、ボイスからテキストへ、及びテキストからボイスへ)、及びVAS選択器コンポーネント556を含んでもよい。様々な実施形態において、コンポーネント551-556の1つ又は複数はプロセッサ512のサブコンポーネントでもよい。
【0077】
ビーム形成及びAECコンポーネント551及び552は、オーディオ信号を検出し、方向、振幅、周波数スペクトラムなどの、検出されたオーディオ内のボイス入力のアスペクトを判断するように構成される。例えば、ビーム形成及びAECコンポーネント551及び552は、ネットワークマイクロフォンデバイスとネットワークマイクロフォンデバイスに話しかけているユーザとの間のおよその距離を判断する工程において使われてもよい。別の例において、ネットワークマイクロフォンデバイスは、メディア再生システムのもう1つのネットワークマイクロフォンデバイスへのユーザの相対的な近さを検出してもよい。
【0078】
ボイス活動検出器コンポーネント553は、ビーム形成及びAECコンポーネント551及び552と密接に関連して動作し、ボイス活動が検出された方向からの音を取得するよう構成される。スピーチを他の音と区別する指標(metrics)をモニタすることにより、潜在的なスピーチの方向が識別可能である。そのような指標は、例えば背景ノイズに対するスピーチ帯域内のエネルギ、及びスペクトラム構造の尺度であるスピーチ帯域内のエントロピーを含み得る。典型的にスピーチはほとんどの普通の背景ノイズよりも低いエントロピーを有する。
【0079】
ウェイクワード検出器コンポーネント554は、受信したオーディオをモニタして分析し、オーディオ内にいずれかのウェイクワードが存在するか否かを判断するよう構成される。ウェイクワード検出器コンポーネント554は、ウェイクワード検出アルゴリズムを使って、受信したオーディオを分析してもよい。ウェイクワード検出器554がウェイクワードを検出した場合、ネットワークマイクロフォンデバイスが受信したオーディオに含まれるボイス入力を処理してもよい。例示的なウェイクワード検出アルゴリズムは、オーディオを入力として受付け、ウェイクワードがオーディオ内に存在するか否かの指示を提供する。多くの当事者の、及びサードパーティーのウェイクワード検出アルゴリズムが知られており、市販されている。例えば、ボイスサービスの事業者が独自のアルゴリズムを作りサードパーティーのデバイス上で使っていてもよい。代わりに、アルゴリズムは、特定のウェイクワードを検出するようにトレーニングさせられてもよい。
【0080】
いくつかの実施形態において、ウェイクワード検出器554は、受信したオーディオに対し、複数のウェイクワード検出アルゴリズムを同時(又は実質的に同時に)に実行する。上述のとおり、異なるボイスサービス(例えば、AMAZONのALEXA(登録商標)、APPLEのSIRI(登録商標)、又はMICROSOFTのCORTANA(登録商標))は、それぞれのボイスサービスを発動するために、それぞれ異なるウェイクワードを使う。複数のサービスをサポートするために、ウェイクワード検出器554は、受信したオーディオに対し、サポートされている各ボイスサービスのウェイクワード検出アルゴリズムを並行して実行してもよい。
【0081】
VAS選択器コンポーネント556は、ボイス入力内でユーザが発言したコマンドを検出するように構成される。スピーチ/テキスト変換コンポーネント555は、ボイス入力内のスピーチをテキストに変換することにより処理工程を容易にし得る。いくつかの実施例において、ネットワークマイクロフォンデバイスは、特定のユーザ又はある家庭に関連した特定のグループのユーザについてトレーニングされたボイス認識ソフトウェアを含んでもよい。そのようなボイス認識ソフトウェアは、特定のボイスプロフィールに適合されたボイス処理アルゴリズムを実行してもよい。特定のボイスプロフィールに適合させることは、通常大多数のユーザや、メディア再生システムをターゲットとしない様々なリクエストからサンプリングする従来のVASの場合よりも演算負荷が低いアルゴリズムを必要とするだけで済むかもしれない。
【0082】
VAS選択器コンポーネント556はまた、ボイス入力内に検出された特定のコマンドに関し、特定のコマンドクライテリアが満足されたか否かを判断するよう構成される。ボイス入力内の所与のコマンドに関するコマンドクライテリアは、例えばボイス入力内に特定のキーワードが含まれていることに基づいてもよい。キーワードは、例えば特定のデバイス又はメディア再生システム100内のグループを指定するボイス入力内の単語でもよい。ここで使用されるにあたり、「キーワード」という用語は単一の単語(例えば「寝室」)又は単語のグループ(例えば「リビングルーム」)を参照し得る。
【0083】
加えて又は代わりに、所与のコマンドに関するコマンドクライテリアは、所与のコマンドの検出とともに、1つ又は複数の制御状態変数及び/又はゾーン状態変数の検出に関連してもよい。制御状態変数は、例えば音量レベルを示すインジケータ、1つ又は複数のデバイスに関連するキュー、及びデバイスがキューを再生中か、休止中かなどの再生状態を含んでもよい。ゾーン状態変数は、例えば、ゾーンの再生装置がグループ化されている場合、それがいずれのゾーンであるかを示すインジケータを含んでもよい。下により詳細に説明されるように、VAS選択器コンポーネント556はメモリ216内に、コマンド及び関連したコマンドクライテリアのリストを含むデータテーブル590内などにコマンド情報のセットを記憶してもよい。
【0084】
いくつかの実施形態において、上述のコンポーネント551-556の1つ又は複数は、メディア再生システム100のユーザアカウントに関連したユーザのボイスプロフィールを検出して記憶するためにマイクロフォン224とともに動作可能である。下に説明されるように、いくつかの実施形態において、ボイスプロフィールは、コマンド情報590のセットに記憶される変数として記憶されてもよく、及び/又はその変数と比較されてもよい。ボイスプロフィールは、ユーザのボイスの音色又は周波数の特徴、及び/又はユーザの別の固有の特徴を含んでもよく、固有の特徴は既に参照した米国特許出願第15/438、749号明細書に記載されているものなどである。
【0085】
いくつかの実施形態において、上述のコンポーネント551-556の1つ又は複数は、ホーム環境内の、及び/又はNMD103の1つ又は複数の位置に相対的なユーザの位置を判断するためにマイクロフォンアレイ524とともに動作可能である。下に説明されるように、ユーザの位置又は近さは、検出され、コマンド情報590に記憶された変数と比較されてもよい。ユーザの位置又は近さを判断する技術は、既に参照した米国特許出願第15/438、749号明細書、2011年12月29日付けの「Sound Field Calibration Using Listener Localization」と題する米国特許第9、084、058号明細書、及び2012年8月31日付けの「Acoustic Optimization」と題する米国特許第8、965、033号明細書に開示される1つ又は複数の技術を含んでもよい。これらの出願はそれぞれその全体がここに参照されて援用される。
【0086】
図5Bは、本開示の態様に係る例示的なボイス入力の図である。ボイス入力は、
図1に示されるNMD103の1つ又は複数などのネットワークマイクロフォンデバイスにより取得されてもよい。ボイス入力は、ウェイクワード部557a及びボイス発声部557b(集合的に「ボイス入力557」)を含んでもよい。いくつかの実施形態において、ウェイクワード557aはAMAZONのALEXA(登録商標)に関連する「Alexa」などの周知のウェイクワードであり得る。別の実施形態において、ボイス入力557は、ウェイクワードを含まない場合がある。
【0087】
いくつかの実施形態において、ネットワークマイクロフォンデバイスは、ウェイクワード部557aを検出すると可聴及び/又は可視の応答を出力してもよい。加えて、又は代わりに、ネットワークマイクロフォンデバイスは、ボイス入力又は一連のボイス入力(例えば、マルチターン(multi-turn)リクエストの場合)の処理後に可聴及び/又は可視の応答を出力してもよい。
【0088】
ボイス発声部557bは、例えば、1つ又は複数の発声されたコマンド558(第一のコマンド558a及び第二のコマンド558bとして個々に識別される)及び1つ又は複数の発声されたキーワード559(第一のキーワード559a及び第二のキーワード559bとして個々に識別される)を含んでもよい。一例において、第一のコマンド558aは、特定の曲、アルバム、再生リスト、等の音楽を再生するコマンドであり得る。この例において、キーワード559は、
図1に示される「リビングルーム」及び「ダイニングルーム」などの音楽が再生されるべき1つ又は複数のゾーンを示す1つ又は複数の単語でもよい。いくつかの例において、ボイス発声部557bは、
図5Bに示すように、ユーザによって話された単語の間隔などの検出された休止(例えば、発声がない期間)など、その他の情報を含み得る。休止が、ボイス発声部557b内において、ユーザによって話された別のコマンド、キーワード、又はその他の情報の位置を区切って(demarcate)もよい。
【0089】
いくつかの実施形態において、メディア再生システム100は、ウェイクワード部557aを検出している間にそれが再生中のオーディオコンテンツの音量を一時的に減らすよう構成される。メディア再生システム100は、
図5Bに示すように、ボイス入力557を処理した後に音量を元に戻してもよい。そのような工程はダッキングと呼ばれ得て、その例は既に参照した米国特許出願第15/438、749号明細書に開示されている。
【0090】
f.例示的なネットワークとリモートコンピュータシステム
図6は、
図1のリモートコンピュータ105のさらなる詳細を示す機能ブロック図である。様々な実施形態において、リモートコンピュータ105は、
図1に示すようにNMD103の1つ又は複数からWAN107を介してボイス入力を受信してもよい。図示の目的で、ボイス入力557(
図5B)の選択された通信経路が
図6に矢印で示される。一実施形態において、リモートコンピュータ105によって処理されたボイス入力557は、ボイス発声部557bを含んでもよい(
図5B)。別の実施形態において、処理されたボイス入力557は、ボイス発声部557bとウェイクワード557aの両方を含んでもよい(
図5B)。
【0091】
リモートコンピュータ105は、1つ又は複数のプロセッサ、意図エンジン(intent engine)602、及びメモリ616を含むシステムコントローラ612を含む。メモリ616は、システムコントローラ612、及び/又は1つ又は複数の再生デバイス、ネットワークマイクロフォンデバイス、及び/又はコントローラデバイス102-104によって実行可能な指示を記憶するように構成された実体のあるコンピュータ読み取り可能な記憶媒体でもよい。
【0092】
意図エンジン662は、ボイス入力を処理し、入力の意図を判断するように構成される。いくつかの実施形態において、意図エンジン662は、システムコントローラ612のサブコンポーネントでもよい。意図エンジン662は、1つ又は複数のVASデータベース664などの1つ又は複数のデータベースと対話してボイス入力を処理してもよい。VASデータベース664は、メモリ616内に存在してもよく、又は再生デバイス、ネットワークマイクロフォンデバイス、及び/又はコントローラデバイス102-104の1つ又は複数のメモリ内などの他の場所に存在してもよい。いくつかの実施形態において、VASデータベース664は、適応的学習、及びボイス入力処理に基づくフィードバックのために更新されてもよい。VASデータベース664は、NLU関連の処理及び/又はその他の処理のための様々なユーザデータ、分析、カタログ、及びその他の情報を記憶してもよい。
【0093】
リモートコンピュータ105は、様々なフィードバック情報、指示、及び/又は関連するデータを、メディア再生システム100の様々な再生デバイス、ネットワークマイクロフォンデバイス、及び/又はコントローラデバイス102-104と情報交換してもよい。そのような情報交換は、ボイス入力を含む伝達されたメッセージと関連してもよく、又は独立していてもよい。いくつかの実施形態において、リモートコンピュータ105及びメディア再生システム100は、ここで説明されるような通信経路、及び/又は既に参照した米国特許出願第15/438、749号明細書に開示されているメタデータ交換チャンネルを使った通信経路を介して、交換してもよい。
【0094】
メディア再生システム100のデバイスによるボイス入力の処理は、少なくとも部分的に、リモートコンピュータ105によるボイス入力の処理と並行して実行されてもよい。加えて、ネットワークマイクロフォンデバイスのスピーチ/テキスト変換コンポーネント555は、リモートコンピュータ105からの応答をスピーチに変換して、1つ又は複数のスピーカを使った可聴出力としてもよい。
【0095】
本開示の様々な実施形態によれば、リモートコンピュータ105は、メディア再生システム100の第一のVAS160の機能を実行する。
図7Aは、第一のVAS160を含む例示的なネットワークシステム700の模式図である。図示されるとおり、リモートコンピュータ105は、WAN107(
図1)、及び/又はWAN107に接続されたLAN706を介してメディア再生システム100と接続される。この方法によれば、メディア再生システム100の様々な再生デバイス、ネットワークマイクロフォンデバイス、及びコントローラデバイス102-104は、リモートコンピュータ105と通信して第一のVAS160の機能を発動してもよい。
【0096】
ネットワークシステム700はさらに、第一のリモートコンピュータ705a(例えば、クラウドサーバー)及び第二のリモートコンピュータ705b(例えば、クラウドサーバー)を追加で含む。第二のリモートコンピュータ705bは、SPOTIFY(登録商標)又はPANDORA(登録商標)などのメディアサービスプロバイダ767と関連してもよい。いくつかの実施形態において、第二のリモートコンピュータ705bは、第一のVAS160のコンピュータと直接通信してもよい。加えて、又は代わりに、第二のリモートコンピュータ705bは、メディア再生システム100及び/又は介在する他のリモートコンピュータと通信してもよい。
【0097】
第一のリモートコンピュータ705aは、第二のVAS760と関連していてもよい。第二のVAS760は、例えば、AMAZONのALEXA(登録商標)、APPLEのSIRI(登録商標)、MICROSOFTのCORTANA(登録商標)などと関連する従来のVASプロバイダ、又はその他のVASプロバイダでもよい。明確性のため図示されないが、ネットワークコンピュータシステム700はさらに、追加の従来のVASなどの1つ又は複数の追加のVASに関連したリモートコンピュータを含んでもよい。そのような実施形態において、メディア再生システム100は、第二のVASやその他のVASよりも、第一のVAS160を選択するように構成されてもよい。
【0098】
図7Bは、
図7Aのネットワークコンピュータシステム700における様々なデータのやり取りを示すメッセージの流れ図である。メディア再生システム100は、
図1に示されるNMD103の1つ以上などのネットワークマイクロフォンデバイス(ブロック771)を介してボイス入力を取得する。下に説明されるとおり、メディア再生システム100は、コマンド情報590のセット内のコマンド及び関連したコマンドクライテリアに基づいて適切なVASを選択してもよい(ブロック771-774)。第二のVAS760が選択された場合、メディア再生システム100は、ボイス入力を含む1つ又は複数のメッセージ781(例えば、パケット)を処理するために第二のVAS760に伝達してもよい。
【0099】
逆に、第一のVAS160が選択された場合、メディア再生システム100は、ボイス入力を含む1つ又は複数のメッセージ782(例えば、パケット)をVAS160に伝達する。メディア再生システム100は、メッセージ782と同時に別の情報をVAS160に伝達してもよい。例えば、メディア再生システム100は、既に参照した米国特許出願第15/131、244号明細書に記載されるように、メタデータチャンネルを通してデータを伝達してもよい。
【0100】
第一のVAS160は、メッセージ782の中のボイス入力を処理して意図を判断してもよい(ブロック775)。その意図に基づいて、VAS160は、1つ又は複数の応答メッセージ783(例えば、パケット)をメディア再生システム100に送信してもよい。いくつかの例において、応答メッセージ783は、メディア再生システム100の1つ又は複数のデバイスに命令して指示を実行させる(ブロック776)ペイロード(payload)を含んでもよい。例えば、指示はメディア再生システム100に命令してメディアコンテンツを再生させる、デバイスをグループ化させる、及び/又は下に説明されるその他の機能を実行させてもよい。加えて、又は代わりに、VAS160からの応答メッセージ783は、マルチターンコマンドの場合のように、さらなる情報のリクエストを含むペイロードを含んでもよい。
【0101】
いくつかの実施形態において、VAS160から送られた応答メッセージ783は、メディア再生システム100に命令してメディアサービス767からオーディオコンテンツなどのメディアコンテンツをリクエストさせてもよい。別の実施形態において、メディア再生システム100はVAS160に依存せずにコンテンツをリクエストしてもよい。いずれの場合も、メディア再生システム100は、例えばオーディオコンテンツなどを含むメディアストリーム784などを介してコンテンツを受信するためにメッセージをやり取りしてもよい。
【0102】
いくつかの実施形態において、メディア再生システム100は、ネットワークインタフェースを介したLANを通して、再生デバイス、ネットワークマイクロフォンデバイス、又はその他のデバイスにおいてライン入力インタフェースからオーディオコンテンツを受信してもよい。例示的なオーディオコンテンツには、多くのオーディオコンテンツの形体の可能性の中から、1つ又は複数のオーディオトラック、トークショー、フィルム、テレビ番組、ポッドキャスト、インターネットストリーミング動画などが含まれる。オーディオコンテンツは、(例えば、ビデオのオーディオトラックのように)動画を伴ってもよく、又はオーディオコンテンツは、動画を伴わないコンテンツであり得る。
【0103】
いくつかの実施形態において、トレーニング、及び適応的なトレーニングと学習のために、メディア再生システム100、及び/又は第一のVAS160は、VASからの応答の成功(又は不成功)の結果となるボイス入力を使ってもよい(ブロック777及び778)。トレーニング及び適応的学習は、メディア再生システム100及び/又は第一のVAS160によるボイス処理の正確度を向上させ得る。一例において、意図エンジン662(
図6)は、メディア再生システム100に関連する1つ又は複数のユーザアカウントのVASデータベース664内においてトレーニング学習データをアップデートして保全してもよい。
【0104】
III.VASを発動させる方法及びシステムの例
上述のとおり、ここで説明される実施形態は、第一のVAS160を発動させることに関与してもよい。一態様において、第一のVAS160は、メディア再生システム100のための強化された制御機能を提供し得る。別の態様において、第一のVASは、上述のような従来のVAS等の他のVASと比較して、メディア再生システム100を制御するための改良されたVAS体験を提供し得る。
【0105】
いくつかの実施形態において、
図7Bに示される第二のVAS760などの従来のVASは、比較的に簡単な再生/休止/スキップ機能などの比較的基本的な制御を実行するためにメディア再生システム100によって発動され得る。いくつかの実施形態において、第二のVAS760は、第一のVAS160によって容易に発動されないかもしれない他のサービスを提供し得る。例えば、特定の実施において、従来のVASは、第一のVASが提供しないかもしれないボイスに基づくインターネット検索を提供し得る。
【0106】
図8は、VASを発動するための方法800の例示的な流れ図である。方法800は、例えばメディア再生システム100、又は本開示の実施形態に従って構成されたその他のメディア再生システムを含む動作環境内で実行されうる方法の実施形態を示す。下に説明される例において、方法800は第二のVAS760より第一のVAS160を選択することに関与する。
【0107】
方法800は、ここに説明されるような、及び/又は既に参照した米国特許出願第15/438、749号明細書に開示されているような様々なデバイス及びシステムの間で情報を送受信することを含んでもよい。例えば、方法は、再生デバイス、ネットワークマイクロフォンデバイス、コントローラデバイス、及び再生システムのリモートコンピュータ102-104の1つ又は複数、メディアサービス667のリモートコンピュータ705b、及び/又は第二のVAS670のリモートコンピュータ705aの間で情報を送受信することを含んでもよい。
図8のブロックは、順番に図示されているが、これらのブロックはまた、並行して実行されてもよく、及び/又はここに説明される順番とは異なる順番で実行されてもよい。また、様々なブロックが組み合わされてブロック数が減ってもよく、分割されてブロック数が増えてもよく、及び/又は望ましい実施に基づいて削除されてもよい。
【0108】
加えて、方法800及びここに開示されるその他の工程及び方法について、フロー図は、本実施形態の実施の1つの可能な機能及び動作を示す。すなわち、各ブロックは、工程内の特定の論理機能又はステップを実行するためにプロセッサによって実行可能な1つ又は複数の指示を含むプログラムコードのモジュール、セグメント、又は部分を代表し得る。プログラムコードは、例えば、ディスク又はハードドライブを含む記憶デバイスなどのコンピュータ読み取り可能な記憶媒体のいかなるタイプのものに記憶されてもよい。コンピュータ読み取り可能な記憶媒体は、例えばレジスタメモリ、プロセッサキャッシュ、及びランダムアクセスメモリ(RAM)などのようなデータを短時間記憶するコンピュータ読み取り可能な記憶媒体などの非一時的なコンピュータ読み取り可能な記憶媒体を含んでもよい。コンピュータ読み取り可能な記憶媒体はまた、例えば、リードオンリーメモリ(ROM)、光学又は磁気ディスク、CD-ROMのようなセカンダリ又は持続的な長期記憶装置などの非一時的なコンピュータ読み取り可能な記憶媒体を含んでもよい。コンピュータ読み取り可能な記憶媒体はまた、他のいかなる揮発性又は非揮発性の記憶システムでもよい。コンピュータ読み取り可能な記憶媒体は、例えば、コンピュータ読み取り可能な記憶媒体又は実体のある記憶デバイスであってもよい。コンピュータ読み取り可能な記憶媒体は、様々な再生デバイス、ネットワークマイクロフォンデバイス、コントローラデバイス、及びリモートコンピュータを参照して上述の1つ又は複数のメモリを含んでもよい。加えて、方法800及びここに開示されるその他の工程及び方法について、
図8は、工程の特定の論理機能を実行するように配線された回路を示す。
【0109】
いくつかの実施形態において、方法800は、システム情報を表示、選択、及び入力するなどのために、アプリケーションを起動するユーザ入力を受信すること、ユーザ及びユーザアカウントの情報を受信すること、システムのパラメータを判断すること、音楽サービスと対話すること、及び/又はコントローラと対話することにさらに関与してもよい。様々な実施形態において、方法800は、「メディア再生システムのボイス制御」と題し、その全体がここに参照され援用される2016年7月29日付けの特許出願第15/223、218号に説明される例示的な方法及びシステムを組み入れてもよい。
【0110】
a.コマンド及びコマンドに関連するクライテリアのリストを含むコマンド情報のセットをメモリ内に記憶させる
ブロック801において、方法800は、ネットワークマイクロフォンデバイスのメモリ216に記憶されたコマンド情報590のセットなどのコマンド情報のセットを記憶することに関与する。
図8Bを参照して、例示的なコマンド情報890のセットは、コマンド892のリストを含んでもよい。コマンド情報890のセットは、データテーブル又はその他のデータ構造でもよい。コマンド情報890のセットは、例えば1つ又は複数の、再生デバイス、コントローラデバイス、ネットワークマイクロフォンデバイス、及び/又はリモートコンピュータ102-105のメモリに記憶されてもよい。いくつかの実施形態において、コマンド情報890のセットは、メタデータ交換チャンネル及び/又はメディア再生システムとリモートコンピュータシステムとの間のその他のいかなる通信経路を介してもアクセス可能でもよい。
【0111】
図示された例において、コマンド892のセットは、第一から、第n番目までの「コマンド」を含む。例として、第一の「コマンド」は、ユーザが「音楽を再生して」と発声するなどの再生を開始するコマンドでもよい。第二の「コマンド」は、例えば再生の休止、再開、スキップなどのためのトランスポートコントロールコマンドなどの制御コマンドでもよい。例えば、第二のコマンドは、ユーザが曲の次のトラックへスキップすることを要求することに関与するコマンドでもよい。第三の「コマンド」は、再生デバイスのグループ化、結合、及び併合などのゾーンターゲットコマンドでもよい。例えば、第三のコマンドは、ユーザが「リビングルーム」と「ダイニングルーム」をグループ化することを要求することに関するコマンドでもよい。
【0112】
ここで説明されるコマンドは、例であって、他のコマンドも可能である。例えば、
図9A-9Cは、追加の例示的な再生開始、制御及びゾーンターゲットコマンドのテーブルを示す。追加の例として、コマンドは問合せコマンドを含んでもよい。問合せコマンドは、例えば現在再生中のオーディオを問合せるユーザによるクエリを含んでもよい。例えば、ユーザは「リビングルームで何を再生中か教えて」という問合せコマンドを発声してもよい。
【0113】
図8Bにさらに示されるように、コマンド892は、それもコマンドデータ890のセット内に記憶されたコマンドクライテリアと関連する。例えば、第一の「コマンド」は、1つ又は複数の第一のコマンド「クライテリア_1」と関連し、第二の「コマンド」は、1つ又は複数の第二のコマンド「クライテリア_2」と関連し、第三の「コマンド」は、1つ又は複数の第三のコマンド「クライテリア_3」と関連する。コマンドクライテリアは、特定の変数インスタンスに関連した判断に関与してもよい。変数インスタンスは、ユーザアカウントと関連しているかもしれない又は関連していないかもしれない識別子(例えば、タグ)とともに記憶されてもよい。変数インスタンスは、ユーザによって加えられる又は削除される、又はユーザアカウントに関連した新規カスタム名を含むために継続的に、定期的に、又は不定期にアップデートされてもよい。カスタム名は、ユーザによって供給されるいかなる名前でもよく、データベース内に既存であってもよいし、又は既存ではなくてもよい。
【0114】
変数インスタンスは、ボイス入力中のキーワードに存在し得る、状態テーブル(state table)に記憶された名称及び/又は値として参照され得る、及び/又は1つ又は複数の再生デバイス、ネットワークマイクロフォンデバイス、コントローラデバイス、及び/又はリモートコンピュータ102-105を介して状態テーブルに動的に記憶及び修正され得る。例示的な変数インスタンスは、ゾーン変数インスタンス、制御状態変数インスタンス、ターゲット変数インスタンス、及びその他の変数インスタンスを含んでもよい。ゾーン変数インスタンスは、例えば、上に説明したものを含むゾーン、ゾーングループ、再生デバイス、ネットワークマイクロフォンデバイス、結合された状態、エリア等、を代表する識別子に関与してもよい。制御状態変数は、例えば、音楽を再生しているデバイスを示す情報、デバイスの音量、デバイスに記憶されたキュー等の個々の再生及びネットワークマイクロフォンデバイス、及び/又は複数のデバイスの現在の制御状態に関与してもよい。ターゲット変数インスタンスは、例えば、特定の制御状態及び/又はデバイス、結合されたデバイス、及び併合されたデバイスのグループの高度の状態情報に関与してもよい。ターゲット可変変数はまた、メディア再生システム100内の様々なデバイスのイコライザ設定などの較正状態に対応してもよい。
【0115】
他の変数インスタンスも可能である。例えば、メディア変数インスタンスは、オーディオコンテンツ(例えば、特定のトラック、アルバム、アーティスト、プレイリスト、ステーション、又は音楽のジャンル)などのメディアコンテンツを識別してもよい。いくつかの実施形態において、メディア変数は、ユーザが望むオーディオ又はコンテンツを探してデータベースを検索することに応答して識別されてもよい。メディア変数は、上で説明したとおり、ボイス入力中に存在し得る、参照され得る、保全され得る、及び状態テーブルにアップデートされ得る、又はクエリで参照され得る。別の例として、特定の変数インスタンスは、ユーザのボイスプロフィールが所与のボイス入力内に検出されたか否か、特定のウェイクワードが検出されたか否か等、ホーム環境内のユーザの位置又は近さを示してもよい。変数インスタンスは、カスタム変数インスタンスを含んでもよい。
【0116】
特定の実施形態において、コマンド情報890のセットに記憶されたクライテリアの少なくともいくつかは、変数インスタンス又は他のそのような変数インスタンスのセットのスカラベクトルを含んでもよい。例えば、「クライテリア_1」は、
図1のメディア再生システム100に示されるゾーンを代表するゾーン変数を識別するベクトルを含んでもよい。そのようなベクトルは、「バルコニー、リビングルーム、ダイニングルーム、キッチン、オフィス、寝室、ニックの部屋」を含んでもよい。一実施形態において、「クライテリア_1」は、ベクトル内に2つ以上のゾーン変数がボイス入力内のキーワードとして検出された場合、満たされるかもしれない。
【0117】
コマンド情報890のセットはまた、ユーザ固有の情報894及びカスタム情報896などの他の情報を含んでもよい。ユーザ固有の情報894は、ユーザアカウント及び/又は家庭識別子(HHI:household identifier)と関連していてもよい。カスタム情報896は、カスタムゾーン名、カスタムプレイリスト、及び/又はカスタムプレイリスト名などのカスタム変数を例えば含んでもよい。例えば、「ニックのお気に入り」は、ユーザが作ったカスタム名を有するカスタムプレイリストであり得る。
【0118】
b.ボイス入力を取得する
図8Aの参照に戻り、ブロック802及び803において、方法800は、ボイス入力内のウェイクワードをモニタして検出することに関与する。例えば、メディア再生システム100は、ボイス入力を代表する受信したオーディオを分析して、ウェイクワードが含まれているか否かを判断してもよい。メディア再生システム100は、上に説明したとおりウェイクワード検出コンポーネントなどの1つ又は複数のウェイクワード検出アルゴリズムを使って受信したオーディオを分析してもよい。
【0119】
ブロック804において、方法800は、ブロック802及び803におけるウェイクワードの検出に続いてボイス入力を取得することに関与する。様々な実施形態において、ボイス入力は、再生システム100のNMD103の1つ又は複数を介して取得され得る。ここで使用されるにあたり、「取得する」又は「取得」の用語は、ウェイクワードの後のボイス発声などのボイス入力の少なくとも一部を録音することを含む工程を指し得る。いくつかの実施形態において、取得されたボイス入力は、ウェイクワードを含んでもよい。下に説明される特定の実施形態において、「取得する」又は「取得」の用語はまた、ボイス入力の少なくとも一部を録音し、ボイス入力を例えば、スピーチからテキストへの変換を使ってテキストなどの特定のフォーマットに変換することを指し得る。
【0120】
c.取得したボイス入力内にコマンドの1つ又は複数を検出する
ブロック805及び806において、方法800は、ブロック804で取得されたボイス入力内に1つ又は複数のコマンド892(
図8B)を検出することに関与する。様々な実施形態において、方法800は、ボイス入力を解析してコマンド892の1つが取得されたボイス入力内に見つけた語法と一致する語法を有するか否かを判断することによりコマンドを検出してもよい。この方法によれば、方法800は、語法の一致を使ってボイス入力内のコマンドの意図を検出できる。一致する語法は単語、単語群、フレーズなどでもよい。1つの例示的なコマンドにおいて、ユーザは、「バルコニーとリビングルームでビートルズを再生して」と言う場合がある。この例において、方法800は、「再生して」の語法がコマンド情報890のセット内の第一の再生開始「コマンド」の語法と一致していると認識してもよい。加えて、方法800は、「ビートルズ」をメディア変数として、そして「バルコニー」及び「リビングルーム」をゾーン変数として認識してもよい。したがって、コマンドの語法は、次のような変数インスタンスに従って示されてもよい:「(メディア変数)を、(第一のゾーン変数)及び(第二のゾーン変数)で、再生せよ」。類似したコマンドとして、「(メディア変数)を、(第一のゾーン変数)及び(第二のゾーン変数)で、聴かせて」が含まれてもよい。下に説明するように、「聴かせて」は「再生して」と同義語であってもよい。
【0121】
いくつかの実施形態において、ユーザは、1つのゾーン変数インスタンスを伴う、又はゾーン変数インスタンスを伴わないコマンドを発声してもよい。一例において、ユーザは、「ビートルズを何か再生して」と単に発声するボイス入力を提供してもよい。そのような場合、方法800は、デフォルトのゾーンにおいて「ビートルズを何か再生して」という意図であると判断してもよい。別の例において、方法800は、ユーザがビートルズを再生するようにリクエストしたときに特定のゾーンにユーザの存在が検出された場合などの、そのコマンドに対して満たされる他のコマンドクライテリアに基づいて1つ又は複数の再生デバイスにおいて「ビートルズを何か再生して」という意図であると判断してもよい。例えば、メディア再生システム100は、ボイス入力がこのゾーンに位置する「右」再生デバイス102aによって検出された場合、
図1に示される「リビングルーム」ゾーンでビートルズを何か再生してもよい。
【0122】
別の例示的なコマンドは、選択されたメディアコンテンツをキューのトップに加え、あるゾーンにおいて次に再生させる「次を再生して」コマンドでもよい。このコマンドの例示的な語法は「(メディア変数)を次に再生して」でもよい。
【0123】
コマンドの別の例は、現在再生中の音楽及び/又はあるゾーンの再生キューを1つのゾーンから別のゾーンへ移動(move)又は移転(transfer)させる、移動又は移転コマンドでもよい。例えば、ユーザは、「(ゾーン変数)へ、音楽を移動させよ」というボイス入力を発声してもよく、「移動せよ」又は「移転せよ」のコマンドワードは、再生状態を別のゾーンへ移動させる意図に対応してもよい。関連した例として、音楽を移動させる意図は、2つのメディア再生システムコマンドに対応してもよい。2つのコマンドは、第一のゾーンを第二のゾーンとグループ化し、次に第二のゾーンをグループから分離し、事実上第二のゾーンの状態を第一のゾーンへ移転させてもよい。
【0124】
ボイス入力内に検出され得るコマンド及び変数インスタンスの意図は、ユーザの意図(例えば、再生、休止、キューに追加、グループ化、その他の移転制御や、例えば制御デバイス104を介して利用可能な制御)と関連し得る多くの既定の語法に基づいてもよい。いくつかの実施形態において、コマンド及び関連した変数インスタンスの処理は、語法内においてコマンド及び変数が特定されることが予測される所定の「スロット」に基づいてもよい。これらの、及びその他の実施において、ユーザの意図を判断するために使われる単語や語彙のセットは、上に説明したとおり、ユーザのカスタマイズ及び嗜好、フィードバック、及び適応的学習に応じてアップデートされてもよい。
【0125】
いくつかの実施形態において、コマンドに使われる異なるワード、語法、及び/又はフレーズが、同じ意図に関連してもよい。例えば、「再生(play)」、「聴く(listen)」、又は「聞こえる(hear)」のコマンドワードをボイス入力内に含むことは、メディア再生システムがメディアコンテンツを再生するという同じ意図を反映する同義語に対応してもよい。
【0126】
図9A-9Cは、同義語のさらなる例を示す。例えば、テーブル900の左側のコマンドは、テーブルの右側に示される特定の同義語を有してもよい。
図9Aを参照して、例えば、左側コラムの「play」のコマンドは、「break it down」、「let’s jam」、「bust it」を含む右側コラムの同義フレーズと同じ意図を有する。様々な実施形態において、テーブル900内のコマンド及び同義語は、追加、削除、又は編集されてもよい。例えば、コマンド及び同義語は、上に説明したとおり、ユーザのカスタマイズ及び嗜好、フィードバック、トレーニング及び適応的学習に応じて追加、削除、又は編集されてもよい。
図9B及び9Cは、制御及びゾーンターゲットにそれぞれ関連する例示的な同義語を示す。
【0127】
いくつかの実施形態において、変数インスタンスは、コマンドの同義語と類似した方法で既定された同義語を有してもよい。例えば、メディア再生システム100の「バルコニー」ゾーン変数は、同じゾーン変数を代表する「アウトサイド」という同義語を有してもよい。別の例として、「リビングルーム」ゾーン変数は、「リビングエリア」、「テレビルーム」、「ファミリールーム」という同義語を有してもよい。
【0128】
d.1つ又は複数のコマンドがコマンド情報セット内の対応するクライテリアを満たすことを判断する
図8Aと8Bを一緒に参照して、ブロック807において、方法800は、ブロック806において検出された1つ又は複数のコマンドがコマンド情報890のセット内のコマンドクライテリアを満たすと判断することに関与する。
図8Bを参照して、例えば、第一のコマンドが検出された場合、方法800は、第一のコマンドが「クライテリア_1」を満たすか否かを判断し、第二の「コマンド」が検出された場合、方法800は、コマンドが「クライテリア_2」を満たすか否かを判断し、以下同様。
【0129】
コマンドは、コマンドクライテリアの複数のセットと比較されてもよい。いくつかの実施形態において、クライテリアの特定のセットは、論理演算子(logical operator)と関連してもよい。例えば、第三の「コマンド」がコマンド「クライテリア_2」及びコマンド「クライテリア_3」と比較される。これらのコマンドは、論理AND演算子によって連結される。したがって、第三の「コマンド」は、2つのセットのクライテリアが満たされる必要がある。対照的に、n番目の「コマンド」は、論理OR演算子によって連結されたクライテリア(クライテリア_x、クライテリア_y、及びクライテリア_z)と関連する。この場合、n番目の「コマンド」は、このコマンドのコマンドクライテリアのセットの内1つのみを満たす必要がある。コマンドが特定のコマンドクライテリアを満たすか否かを判断するために、XOR演算子を含む様々な論理演算子の組み合わせが可能である。
【0130】
いくつかの実施形態において、コマンドクライテリアは、ボイス入力が1つ又は複数のコマンドを含んでいるか否か判断してもよい。例えば、「(メディア変数)で再生して」のコマンドを備えたボイス入力は、「(ゾーン変数)でも再生して」という第二のコマンドを伴ってもよい。この例において、メディア再生システム100は、「再生して」を1つのコマンドとして認識し、「でも再生して」を後のコマンドを含むことによって満たされるコマンドクライテリアとして認識してもよい。いくつかの実施形態において、上述の例のコマンドが同じボイス入力内で一緒に発声されるとき、それはグループ化の意図に対応し得る。
【0131】
類似した実施形態において、ボイス入力は、続けて発声される2つのコマンド又はフレーズを含んでもよい。方法800は、そのような連続したコマンド又はフレーズを関連し得ると認識してもよい。例えば、ユーザは、「クラシック音楽を何か再生して」に続いて、「リビングルーム」と「ダイニングルーム」において、というボイス入力を提供し得て、それは、「リビングルーム」と「ダイニングルーム」における再生デバイスのグループ化を推測させるコマンドである。
【0132】
いくつかの実施形態において、メディア再生システム100は、単語又はフレーズを順番に処理するとき、限定された長さの休止(例えば、1、2秒間)を検出してもよい。いくつかの実施形態において、休止は、コマンドとフレーズの間を区切って、比較的長い一連のコマンド及び情報のボイス処理を容易にするためにユーザによって意図的に行われてもよい。休止には、メディア再生システム100にブロック802においてウェイクワードのモニタ再開をさせることなく一連のコマンド及び情報を取得するために十分な所定の期間があってもよい。一態様において、ユーザは、そのような休止を使って、実行を望むコマンドごとにウェイクワードを繰り返すことなく複数のコマンドを実行してもよい。
【0133】
e.判断するステップに応じて、第一のVASを選択し、他のVASの選択を放棄し、第一のVASを介して1つ又は複数のコマンドを処理する
特定の所定のコマンドクライテリアを満たすコマンドは、メディア再生システム100に第一のVAS160を発動させるが、所定のクライテリアを満たさないコマンドは、別のVASを発動させ得る、又はVASを全く発動させなくてもよい。例示的な方法800は、ブロック807及び808に示されるように、ボイス入力内の所与のコマンドのコマンドクライテリアを満たすと判断されたボイス入力を送ること、及びブロック809に示されるように、所与のコマンドがクライテリアを満たさないとき、ボイス入力を別のVASに送ることに関与する。
【0134】
ブロック810において、方法800は、ブロック808においてボイス入力を受信したVASからの応答を受信して処理することに関与する。一実施形態において、VASからの応答を処理することはVASからの指示を処理して、上述のような再生、制御、ゾーンターゲット、その他のコマンドなどのボイス入力内のコマンドを実行することを含んでもよい。いくつかの実施形態において、リモートコンピュータは、初めのボイス入力に含まれ得る、又はデータベース検索の結果であり得るメディア変数と関連するコンテンツの再生を開始又は制御するように命令されてもよい。
【0135】
いくつかの実施形態において、ブロック810において応答を処理することは、メディアコンテンツを回収させ得る。一実施形態において、メディア変数はメディアコンテンツのデータベース検索の結果としてメディア再生システム100に提供されてもよい。いくつかの実施形態において、メディア再生システム100は1つ又は複数のメディアサービスからメディアコンテンツを直接回収してもよい。別の実施形態において、VASはブロック800で受信したボイス入力の処理とともにメディアコンテンツを自動的に回収してもよい。様々な実施形態において、メディア変数はメタデータ交換チャンネル及び/又はメディア再生システム100との間で確立したいずれかの通信経路を通して通信されてもよい。そのような通信は、
図7Bを参照して上に説明したとおり、コンテンツストリーミングを開始し得る。
【0136】
いくつかの実施形態において、データベース検索は、ボイス入力内に検出されたメディア変数に基づいた結果を返し得る。例えば、データベース検索は、メディア変数と同じ名前のアルバムを有するアーティスト、メディア変数と一致又は類似したアルバム名、メディア変数の名前がついたトラック、メディア変数のラジオ局、メディア変数の名前がついたプレイリスト、メディア変数に関連したコンテンツのストリーミングサービス供給元識別子、及び/又は生のスピーチからテキストへの変換結果を返すかもしれない。「アメリカン・パイ」の例をとれば、検索結果はアーティスト「ドン・マクリーン」、「アメリカン・パイ」という名のアルバム、「アメリカン・パイ」という名のトラック、「アメリカン・パイ」という名のラジオ局(例えば、「アメリカン・パイ」のPandoraラジオ局の識別子)、音楽サービス(例えばSPOTIFY(登録商標)又はPANDORA(登録商標)などのストリーミング音楽サービス)の「アメリカン・パイ」のトラック識別子(例えばSPOTIFY(登録商標)の「アメリカン・パイ」のトラック識別子、URI、及び/又はURL)、及び/又は「アメリカン・パイ」の生のスピーチからテキストへの結果、を返すかもしれない。
【0137】
いくつかの実施形態において、方法800は、再生キューの部分がクラウドネットワークのプレイリスト又は再生キューの一部又は全体と一致するように、クラウドネットワークに記憶されたプレイリスト又は再生キューの変更に応じて再生デバイスに記憶された再生キューをアップデートすることに関与してもよい。
【0138】
メディア再生システム100内の動作を起こすことに応じて、方法800は、ブロック810において、動作に関連した情報をアップデートすること及び/又は記憶することに関与してもよい。例えば、1つ又は複数の制御状態、ゾーン状態、ゾーン識別子、又はその他の情報がブロック800においてアップデートされてもよい。アップデートされる他の情報は、例えば、特定のメディア項目を現在再生している特定の再生デバイスを識別する情報、及び/又は特定のメディア項目が再生デバイスに記憶されたキューに追加された情報を含んでいてもよい。
【0139】
いくつかの実施形態において、ブロック810において応答を処理することは、ブロック811及び812に示されるように、VASが追加の情報を必要としており、音でユーザにこの情報の要求をしている(prompting)ことの判断につながり得る。例えば、方法800は、マルチターンコマンドを実行するとき、ユーザに追加の情報を要求してもよい。そのような場合、方法800は、ブロック804に戻って追加のボイス入力を取得してもよい。
【0140】
方法及びシステムは、ここでメディアコンテンツ(例えば、音楽コンテンツ、ビデオコンテンツ)に関して説明されているが、ここで説明される方法及びシステムは、メディアコンテンツ再生システムによって再生可能な関連したオーディオを有する様々なコンテンツに適用されてもよい。例えば、音楽カタログの一部ではないかもしれない過去に録音された音がボイス入力に応じて再生されてもよい。1つの例は、「ナイチンゲールはどんな声で啼くの?」というボイス入力である。このボイス入力に対するネットワークマイクロフォンシステムの応答は識別子付きの音楽コンテンツではなくてもよく、かわりに短いオーディオクリップであってもよい。メディア再生システムは短いオーディオクリップを再生することに関連した情報(例えば、メモリアドレス、リンク、URL、ファイル)、及び短いオーディオクリップを再生するというメディア再生システムのコマンドを受信してもよい。ポッドキャスト、ニュースクリップ、通知音、警報、等の別の例も考えられる。
【0141】
IV.メディア再生システムのボイス制御の例示的な実施
図10A-20Bは、メディア再生システム100によって処理されるボイス入力、及びボイス入力の処理後、又は処理前のメディア再生システム100の状態を示し得る制御インタフェースの様々な例を示す模式図である。下に説明されるように、ボイス入力内の特定のボイスコマンドに関連したコマンドクライテリアは、上述のVAS160などの強化されたVASボイス制御を提供してもよい。ボイス入力は、上述のように、再生デバイス102の1つに組み入れられていないかもしれないNMD103の1つ又は複数によって受信されてもよい。
【0142】
明確性のために図示されないが、上述のように下の様々な例におけるボイス入力は、AMAZONのALEXA(登録商標)又はその他のウェイクワードなどのウェイクワードに先行されてもよい。一態様において、従来のVASなどの第一のVAS又は第二のVASに送信される予定のボイス入力のボイス取得を開始するために同じウェイクワードが使用されてもよい。そのような場合、ボイス発声をするユーザは、裏で1つのVASが別のVASの代わりに選択されていることに気づいていないかもしれない。特定の実施形態において、「ヘイ、SONOS」などの固有のウェイクワードは、さらなる考慮なくユーザによって発声されて第一のVASを発動させてもよい。この場合、再生システム100は別のVASの代わりに第一のVASを選択することを判断するステップを回避し得る。
【0143】
一態様において、コマンドクライテリアは、デバイスをグループ化するように構成され得る。いくつかの実施形態において、そのようなコマンドクライテリアは、ボイス入力がメディア変数に関与するとき、及び/又は起動したデバイスが再生キューと関連するとき、再生を同時に開始してもよい。例えば
図10Aは、NMD103aに「リビングルームとバルコニーでビートルズを再生して」というボイス入力を発声するユーザを示し、
図10Bのコントローラインタフェースは、「リビングルーム」と「バルコニー」のグループ化の結果を示す。別の例において、ユーザは特定のトラック、プレイリスト、ムード、又はその他、ここで説明されるようにメディア再生を開始するための情報を発声してもよい。
【0144】
図10Aのボイス入力は「(メディア変数)を(第一のゾーン変数)及び(第二のゾーン変数)で再生して」という語法の構造を含む。この例において、再生してというコマンドは、2つ以上のゾーン変数をボイス入力内のキーワードとして必要とするコマンドクライテリアを満たす。いくつかの実施形態において、
図10Aにおいて示されるボイス入力の発声前後で、「リビングルーム」の再生デバイス102a、102b、102j、及び102kは、結合されたメディア再生デバイス構成に留まってもよい。
【0145】
いくつかの実施形態において、ゾーン変数が発声される順番が、いずれの再生デバイスが「グループヘッド」に指定されるかを決定し得る。例えば、ユーザが「リビングルーム」のキーワードに引き続き「バルコニー」のキーワードを含むボイス入力を発声したとき、この順番により「リビングルーム」がグループヘッドに決まり得る。グループヘッドはコマンド情報890のセット内においてゾーン変数として記憶されてもよい。グループヘッドは、再生デバイスのグループを参照するための呼び名(handle)になるかもしれない。ユーザがグループの呼び名を含むボイス入力を発声したとき、メディア再生システム100は、「リビングルーム」とともにグループ化された全てのデバイスを参照しているという意図を検出し得る。この方法によれば、デバイスを集合的に制御するとき、ユーザは、デバイスのグループ内の各ゾーンのキーワードを発声する必要がない。関連した実施形態において、ユーザはグループヘッドを別のデバイス又はゾーンに変更するボイス入力を発声し得る。例えば、ユーザは「リビングルーム」ゾーンのグループヘッドを「バルコニー」に変更し得る(そのような場合、インタフェースはグループの順番を「リビングルーム+バルコニー」ではなく、「バルコニー+リビングルーム」と示してもよい)。
【0146】
代替の例において、
図10Cは、ユーザが「ビートルズを再生して」というボイス入力を発声するが、
図10Aのボイス入力内の他のキーワードを省略することを示す。この例において、コマンドが上述のようにコマンド情報890のセットのいずれのクライテリアも満たさない場合、ボイス入力は別のVASに送られ得る。
【0147】
別の例において、コマンドの他のコマンドクライテリアが満たされた場合、上述のキーワードを省略した「ビートルズを再生して」のボイス入力は、なお第一のVAS160に送られ得る。そのような他のコマンドクライテリアは例えば、ゾーン変数、制御状態変数、ターゲット変数、及び/又はその他の変数に関与したクライテリアを含んでもよい。一態様において、変数インスタンスは、ユーザのネットワークマイクロフォンデバイスからの近さ(例えば、計算により、又はその他の方法で判断された距離)であり得る。例えば、
図10Cのボイス入力は、ユーザがNMD103の近傍(例えば、所定の半径r
1に基づく)に検出されたとき、第一のVAS160に送られ得る。近傍の判断は、例えばボイス入力ソースの信号の強さに基づいてもよい。別の態様において、
図10Cのボイス入力は、ユーザのボイスプロフィールが検出されたとき、ユーザの近さが検出されたか否かにかかわらず、第一のVAS160に送られ得る。
【0148】
さらに別の態様において、近さ及び/又はその他コマンドクライテリアは、従来のVASによって容易に処理できないボイス入力の解明を容易にし得る。例えば、
図11Aに示されるように、「バルコニーの音量上げて」というボイス入力を発声するユーザは、バルコニーが同じ名前を有する照明デバイス108を含むため、従来のVASによっては解明できないかもしれない。
図1を参照して、第一のVAS160は、ユーザが再生デバイス102cの近傍にいるか否か、及び/又は「バルコニー」が現在関連した制御変数に基づいて再生中か否かを判断することにより、そのような重複したデバイス名を解明できるかもしれない。関連した態様において、第一のVAS160は、ユーザがいない「リビングルーム」の音量ではなく、ユーザが近傍にいる「バルコニー」の再生デバイス102cの音量を上げるよう判断するかもしれない。そのような場合、
図11Bに示されるように、メディア再生システム100は、「バルコニー」の音量を上げるが、「リビングルーム」の音量は上げないかもしれない。
【0149】
同様に、第一のVAS160は、類似したコマンド命名慣習を有するデバイス間のコマンドの重複を解明し得る。例えば、
図1に示される「ダイニングルーム」のサーモスタット110は、ユーザによって「設定して」のボイス入力が発声されると、特定の温度(例えば60度から85度の間のレベル)に設定するようにユーザによってプログラムされ得る。同様に、ユーザが「設定して」のボイス入力を発声すると「ダイニングルーム」を特定の音量レベル(例えば、0から100パーセントの音量レベル)に設定し得る。一例において、「ダイニングルームを75に設定せよ」のボイス入力を発声するユーザは、「ダイニングルーム」ゾーンがコマンド情報890のセットに記憶されたコマンドクライテリアに基づいて現在再生中であるから、第一のVAS160によって解明可能である。対照的に、従来のVASは、「ダイニングルーム」の音量レベルを75に変更するべきか、又は「ダイニングルーム」のサーモスタットの温度を75に設定するべきか、判断できない場合がある。
【0150】
様々な実施形態において、ボイス入力は、個々の再生デバイス、ネットワークマイクロフォンデバイス、及びコントローラデバイス102-104を介したユーザからの他の入力とともに処理されてもよい。例えば、ユーザは、
図11Bに示されるインタフェース上のソフトボタン及び制御機能を使って、グループの音量、個々の音量、再生状態、などを独立して制御してもよい。加えて、
図11Bの例において、ユーザは、「グループ」のラベルがついたソフトボタンを押して、デバイスのグループ化及びグループ解除を手動で行う別のインタフェースにアクセスしてもよい。一態様において、ボイス入力、コントローラ入力、及び手動デバイス入力を介してメディア再生システム100と対話する複数の方法を提供することにより、滑らかな制御の連続性とユーザ体験の向上が得られるかもしれない。
【0151】
別のグループ化/グループ分解の例として、「ボブマーリーをバルコニーで再生せよ」というボイス入力は、「バルコニー」を自動的に「リビングルーム」から分離させ得る。そのような場合、「バルコニー」は、ボブマーリーを再生し得て、「リビングルーム」はビートルズの再生を続け得る。代わりに、「リビングルーム」がもはや再生デバイスのグループのグループヘッドではないとコマンドクライテリアが指令する場合、「リビングルーム」は、再生を止めるかもしれない。別の実施形態において、コマンドクライテリアは、再生開始コマンドに応答してデバイスが自動的にグループ解除しないように指令し得る。
【0152】
コマンドクライテリアは、現在再生中の音楽及び/又はあるゾーンの再生キューを1つのゾーンから別のゾーンへ移動又は移転させるように構成されてもよい。例えば、
図12Aに示されるように、ユーザは「『リビングルーム』から『ダイニングルーム』へ、音楽を移動させて」というボイス入力を発声してもよい。
図12Bのコントローラインタフェースに示されるように、音楽を移動させるリクエストは「リビングルーム」で再生中の音楽を「ダイニングルーム」へ移動させ得る。関連した例において、ユーザは「音楽をここへ移動させて」のボイス入力を
図1に示される「ダイニングルーム」の近くのNMD103fへ直接発声することによって音楽を「ダイニングルーム」へ移動させてもよい。この場合、ユーザは明確に「ダイニングルーム」を参照しないが、VAS160は、ユーザが「ダイニングルーム」に近いことに基づいて意図を推定する。関連した実施形態において、VAS160は、NMD103fが「ダイニングルーム」の再生デバイス102lと結合していると判断した場合、他の隣接した部屋(例えば「キッチン」)ではなく、「ダイニングルーム」へ音楽を移動するように判断してもよい。別の例において、再生システム100は、現在再生中コンテンツのメタデータから情報を推定してもよい。そのような一例において、ユーザは「レットイットビー(又はビートルズ)を『ダイニングルーム』へ移動させて」と発声してもよく、望ましい再生ゾーン及び/又はゾーングループへ移動させる特定の音楽を識別する。この方法によれば、メディア再生システムは、いずれのコンテンツを移動させるかを判断するために、別の再生ゾーン及び/又はゾーングループで現在再生中及び/又は再生キューにあるかもしれないコンテンツの間で区別ができる。
【0153】
さらに別の例において、「リビングルーム」などのグループヘッドと関連する全てのデバイスは、音楽をグループヘッドから「ダイニングルーム」に移動すると、再生を停止し得る。関連した例において、音楽が移動してしまったとき、「リビングルーム」ゾーンはグループヘッドとしての指定を失ってもよい。
【0154】
コマンドクライテリアは、ボイス入力コマンドを使って存在するグループにデバイスを加えるように構成されてもよい。例えば、
図13A及び13Bに示されるように、ユーザは、「『リビングルーム』を『ダイニングルーム』に追加して」とのボイス入力を発声することによって「リビングルーム」ゾーンを加えて、「ダイニングルーム」とグループを形成させ得る。関連した実施形態において、ユーザは、「ここでも再生して」というボイス入力を
図1に示す「リビングルーム」のNMD103aに直接発声することにより「リビングルーム」を加えてもよい。この場合、ユーザはボイス入力内で明確にリビングルームを参照しないが、VAS160は、ユーザの近さに基づいて「リビングルーム」を追加されるべきと推定してもよい。別の例において、この意図を有するとき「ダイニングルーム」にいると仮定すれば、「リビングルームを追加して」のコマンドを発声してもよい。この場合、ダイニングルームターゲットは入力デバイスを含む部屋から暗示されてもよい。
【0155】
さらに別の例において、ユーザは、「リビングルーム」と「ダイニングルーム」のいずれがグループヘッドになるかをボイス入力内で示してもよく、又はVAS160がユーザにグループヘッドを指定するようにリクエストしてもよい。
【0156】
グループを加える又は形成する別の例として、ユーザはカスタムゾーン変数に関連したキーワードを備えたボイス入力を使ってグループのインスタンスを形成(instantiate)してもよい。例えば、ユーザは上述の「フロントエリア」のカスタムゾーン変数を生成してもよい。ユーザは、
図14A及び14Bに示されるように、「バンヘイレンを『フロントエリア』で再生して」などのボイス入力を発声することによって「フロントエリア」グループのインスタンスを形成してもよい。
図13Bの前の「ダイニングルーム」グループは
図14Aに示されるボイス入力に応答して置き換えられてもよい。
【0157】
コマンドクライテリアは、ボイス入力コマンドを使ってデバイスを既存のグループから削除するように構成されてもよい。例えば、ユーザは、
図15A及び15Bに示されるように「フロントエリア」グループから「バルコニー」を取り除くために「『バルコニー』を外して」のボイス入力を発声してもよい。別の例として、バルコニーの「停止/削除」のコマンドが同じことをし得る。上に説明したとおり、他の例示的な同義語もあり得る。さらに別の例において、ユーザがバルコニーにいると仮定して、ユーザは同じ結果を達成するために
図1の「バルコニー」のNMD103cへ「ここを止めて」又は「この部屋を止めて」などを発声することにより直接発声してもよい。
【0158】
コマンドクライテリアは、オーディオコンテンツソースを選択して関連した機能を実施するように構成されてもよい。例えば、
図16Aは、「テレビを見たい」というボイス入力をNMD103aに発声しているユーザを示す。
図16Bに示されるように、応答してメディア再生システム100は、オーディオコンテンツソースを音楽ソースからテレビソースに切り替える。いくつかの実施形態において、メディア再生システム100にテレビソースを再生するよう指示することにより、自動的に「リビングルーム」を他のゾーンから分離してもよい。例えば
図16Bにおいて、「ダイニングルーム」及び「キッチン」においてバンヘイレンの再生が継続するが、「リビングルーム」はテレビソースに切り替わる。いくつかの例において、上述のように、ユーザは続いてグループ化することによりホーム環境の他のゾーンでテレビソースを再生するためのコマンドを発声してもよい。
【0159】
関連した実施形態において、メディア再生システム100は、「リビングルーム」がテレビソースに接続しているときを示す状態情報を記憶してもよい。「リビングルーム」がこの状態のとき、テレビソースに関連するボイスコマンドはVASによって実行され得ると、
図9Bに示されるソースコマンド(例えば、スピーチを強化、静かなモードに変更)のようにコマンドクライテリアが命令してもよい。
【0160】
コマンドクライテリアは、デバイスを結合するように構成されてもよい。例えば、
図17Aは、ユーザが「フロントのテレビを見たい」というボイス入力を発声するところを示す。応答してVAS160は、
図16Bに示されるように、コマンドクライテリアに基づいて、
図1の「フロント」の再生デバイス102bが「リビングルーム」ゾーンから離れてテレビゾーンを形成すると判断してもよい。関連する例において、ユーザは直接「フロント」の再生デバイス102bのNMD103bにボイス入力を発声し、このデバイスを分離してもよい。リビングルームの残りの結合されたデバイス、すなわち「右」、「左」、及び「サブ」デバイス102a、102j、及び102k、は音楽の再生を終わってもよい。制御インタフェースはまたこれらのデバイスを「リビングルーム」ゾーンの一部ではなくなったものとして表示してもよい。
【0161】
結合の別の例として、ユーザは、「フロント」の再生デバイス102bと分離した後、リビングルームエリアの残りのデバイスとともに異なる結合構成を形成してもよい。例えば、
図18A及び18Bに示されるようにユーザは、「サテライトとサブでボブマーリーを再生してリスニングゾーンを形成せよ」とボイス入力を発声することによりリスニングゾーンを形成してもよい。「サテライト」という用語は、「右」再生デバイス102a及び「左」再生デバイス102jを参照するカスタムゾーン変数であってもよい。
図18Aのボイス入力はまた、新規に形成されたリスニングゾーンにおいてボブマーリーの再生を開始する。
図18Bのコントローラインタフェースにさらに示されるとおり、図示の例において、
図17A-18Bの結合操作は「ダイニングルーム」及び「キッチン」におけるバンヘイレンの再生を中断しなかった。
【0162】
コマンドクライテリアは、デバイスをペアにする/結合するように構成されてもよい。例えば、
図19Aは、ユーザが「『ダイニングルーム』と『キッチン』をステレオでペアにして」のボイス入力を発声するマルチターンコマンドを示す。この例において、VASは、NMD103の1つ以上に、ユーザに注意を促す(prompt)よう指示し、「ダイニングルーム」ゾーンが右のチャンネルであるべきか否かを尋ねる。ユーザが「ダイニングルーム」が右のチャンネルであると確認する場合、「キッチン」ゾーンが左のチャンネルとなる。ユーザが「ダイニングルーム」が右のチャンネルではないと示す場合、「ダイニングルーム」がデフォルトにより左のチャンネルとなり「キッチン」ゾーンが右のチャンネルとなる。結合されたとき、「ダイニングルーム」と「キッチン」のうちの1つがグループヘッドとして選定されてもよい。VASは、
図19Bに示されるようにユーザに結合されたデバイスに、「Cocina]などの固有名を含む名称を指名するように注意を促してもよい。「Cocina]ゾーンは、バンヘイレンの再生を再開してもよく、これは元の「ダイニングルーム」及び「キッチン」ゾーンのいずれかの再生キューからの移転かもしれない。
【0163】
関連する実施形態において、デバイスの結合及び併合は、
図20A及び20Bに示されるようにVASにマルチターン又は再生デバイスを較正するためのその他のコマンドを開始させることができる。一例において、VAS160は、「ダイニングルーム」と「キッチン」ゾーンをペアにした後、
図19Aの一連のマルチターンコマンドを継続してもよい。いくつかの実施形態において、コマンドクライテリアは、較正を開始する前に、ユーザがコントローラデバイス103の1つを操作していることの検出を必要としてもよい。この方法によれば、
図20Bに示されるように、VAS160は、較正用のSONOSのTRUEPLAY(登録商標)などの較正ソフトウェアを準備してもよい。
【0164】
VII.結論
上記の説明は、とりわけ、コンポーネント、ファームウェア及び/又はハードウェア上で実行されるソフトウェアを含む様々な例示的なシステム、方法、装置、及び製品を開示している。そのような例は単に例示的なものであり、限定的であると見なされるべきではないことが理解される。例えば、ファームウェア、ハードウェア及び/又はソフトウェアの態様又はコンポーネントのいずれか又は全てを、ハードウェアのみ、ソフトウェアのみ、ファームウェアのみ、又はハードウェア、ソフトウェア及び/又はファームウェアの任意の組み合わせで実施できることが考えられる。したがって、提供される例は、そのようなシステム、方法、装置、及び/又は製品を実施するための唯一の方法ではない。
【0165】
(特徴1)メディア再生システムの第一のボイスアシスタントサービス(VAS)を発動させる方法であって、方法は、
コマンド及び関連するコマンドクライテリアのリストを含むコマンド情報のセットをメモリに記憶させるステップと、
ネットワークマイクロフォンデバイスの少なくとも1つのマイクロフォンを介してボイス入力を取得するステップと、
ボイス入力内に1つ又は複数のコマンドが含まれていることを検出するステップと、
1つ又は複数のコマンドが、コマンド情報のセット内の対応するコマンドクライテリアを満たすことを判断するステップと、を含み、
判断に応答して、第一のVASを選択し第二のVASの選択を放棄し、(ii)ボイス入力を第一のVASに送信し、(iii)ボイス入力の送信後、第一のVASからのボイス入力への返答を受信する、
方法。
【0166】
(特徴2)メディア再生システムが複数の再生デバイスを含み、
1つ又は複数のコマンドが、複数の再生デバイスのうち2つ又はそれ以上の再生デバイスをグループ化し、2つ又はそれ以上の再生デバイスを含むグループでオーディオコンテンツの再生を開始する、
特徴1に記載の方法。
【0167】
(特徴3)判断するステップは、1つ又は複数のキーワードがボイス入力内に含まれることを検出することを含み、
1つ又は複数のキーワードが、(i)2つ又はそれ以上の再生デバイスのうちの1つと関連する第一のキーワードならびに2つ又はそれ以上の再生デバイスのうちの別の1つと関連する第二のキーワードと、(ii)2つ又はそれ以上の再生デバイスを含むグループと、のうちの少なくとも1つを含む、
特徴2に記載の方法。
【0168】
(特徴4)2つ又はそれ以上の再生デバイスのうちの1つは、ネットワークマイクロフォンデバイスを含む、
特徴2に記載の方法。
【0169】
(特徴5)1つ又は複数のコマンドがメディア再生システムに向けられ、
方法は、第一のVASからの応答に基づいてメディア再生システムを介して1つ又は複数のコマンドを処理するステップをさらに含む、
特徴1に記載の方法。
【0170】
(特徴6)1つ又は複数のコマンドは、再生コマンド及びトランスポート制御コマンドの少なくとも1つを含む、
特徴5に記載の方法。
【0171】
(特徴7)ボイス入力は、第一のボイス入力であり、
方法は、第一のVASからの応答に基づいて可聴の要求を出力するステップをさらに含む、
特徴1に記載の方法。
【0172】
(特徴8)ボイス入力は、第一のボイス入力であり、
方法は、第一のVASからの応答に基づいて第二のボイス入力への可聴の要求を出力するステップをさらに含む、
特徴1に記載の方法。
【0173】
(特徴9)メディア再生システムは、複数の再生デバイスを含み、
1つ又は複数のコマンドは、2つ又はそれ以上の再生デバイスをペアにするコマンドを含み、
可聴の要求は、2つ又はそれ以上の再生デバイスの少なくとも1つをオーディオチャンネルに割り当てるリクエストを含み、
第二のボイス入力は、2つ又はそれ以上の再生デバイスの少なくとも1つの選択を含む、
特徴8に記載の方法。
【0174】
(特徴10)メディア再生システムは、1つ又は複数の再生デバイスを含み、
可聴の要求は、1つ又は複数の再生デバイスのイコライザ設定を較正するリクエストを含む、
特徴8に記載の方法。
【0175】
(特徴11)判断するステップは、ボイス入力ソースの存在を検出することを含む、
特徴1に記載の方法。
【0176】
(特徴12)存在を検出することは、ボイス入力ソースからボイス入力がネットワークマイクロフォンデバイスによって受信される方向を検出することを含む、
特徴11に記載の方法。
【0177】
(特徴13)存在を検出することは、ネットワークマイクロフォンデバイスとボイス入力ソースとの間の距離を検出することを含む、
特徴11に記載の方法。
【0178】
(特徴14)判断するステップは、コントローラデバイスの使用を検出することを含む、
特徴1に記載の方法。
【0179】
(特徴15)判断するステップは、ボイス入力ソースのボイスプロフィールを検出することを含む、
特徴1に記載の方法。
【0180】
(特徴16)1つ又は複数のコマンドは、1つ又は複数の第一のコマンドであり、
判断するステップは、ボイス入力内に1つ又は複数の第二のコマンドを検出することを含む、
特徴1に記載の方法。
【0181】
(特徴17)判断するステップは、1つ又は複数の第一のコマンドと1つ又は複数の第二のコマンドとの間で、ボイス入力内に少なくとも1つの休止を検出することをさらに含む、
特徴16に記載の方法。
【0182】
(特徴18)メディア再生システムのネットワークマイクロフォンデバイスであって、
(i)プロセッサと、
(ii)少なくとも1つのマイクロフォンと、
(iii)プロセッサによって実行されるとき、ネットワークマイクロフォンデバイスにメディア再生システムの機能を実施させる指示を記憶した、実体のあるコンピュータ読み取り可能な記憶媒体と、を含み、
機能は、
(a)コマンド及び関連するコマンドクライテリアのリストを含むコマンド情報のセットをメモリに記憶させるステップと、
(b)少なくとも1つのマイクロフォンを介してボイス入力を取得するステップと、
(c)ボイス入力内に1つ又は複数のコマンドが含まれることを検出するステップと、
(d)1つ又は複数のコマンドが、コマンド情報のセット内の1つ又は複数のコマンドと関連する対応コマンドクライテリアを満たすことを判断するステップと、
(e)判断に応答して、
(i)第一のボイスアシスタントサービス(VAS)を選択し、第二のVASの選択を放棄し、
(ii)ボイス入力を第一のVASに送信し、
(iii)ボイス入力を送信後、第一のVASからボイス入力を受信するステップと、を含むメディア再生システムのネットワークマイクロフォンデバイス。
【0183】
(特徴19)メディア再生システムが複数の再生デバイスを含み、
1つ又は複数のコマンドが、再生デバイスの2つ又はそれ以上をグループ化し、オーディオコンテンツの再生を2つ又はそれ以上の再生デバイスを含むグループで開始させるコマンドを含む、
特徴18に記載のネットワークマイクロフォンデバイス。
【0184】
(特徴20)判断するステップは、ボイス入力内に1つ又は複数のキーワードが含まれることの検出を含み、
1つ又は複数のキーワードが、(i)2つ又はそれ以上の再生デバイスのうちの1つと関連する第一のキーワードならびに2つ又はそれ以上の再生デバイスのうちの別の1つと関連する第二のキーワードと、(ii)2つ又はそれ以上の再生デバイスを含むグループと、のうちの少なくとも1つを含む、
特徴19に記載のネットワークマイクロフォンデバイス。
【0185】
(特徴21)2つ又はそれ以上の再生デバイスのうちの1つは、ネットワークマイクロフォンデバイスを含む、
特徴19に記載のネットワークマイクロフォンデバイス。
【0186】
(特徴22)1つ又は複数のコマンドは、メディア再生システムに向けられ、
機能は、第一のVASからの応答に基づいてメディア再生システムを介して1つ又は複数のコマンドを処理するステップをさらに含む、
特徴18に記載のネットワークマイクロフォンデバイス。
【0187】
(特徴23)1つ又は複数のコマンドは、再生コマンド及びトランスポート制御コマンドの少なくとも1つを含む、
特徴22に記載のネットワークマイクロフォンデバイス。
【0188】
(特徴24)ボイス入力は、第一のボイス入力であり、
機能は、第一のVASからの応答に基づいて可聴の要求を出力するステップをさらに含む、
特徴18に記載のネットワークマイクロフォンデバイス。
【0189】
(特徴25)ボイス入力は、第一のボイス入力であり、
機能は、第一のVASからの応答に基づいて第二のボイス入力への可聴の要求を出力するステップをさらに含む、
特徴18に記載のネットワークマイクロフォンデバイス。
【0190】
(特徴26)メディア再生システムは、複数の再生デバイスを含み、
1つ又は複数のコマンドは、2つ又はそれ以上の再生デバイスをペアにするコマンドを含み、
可聴の要求は、2つ又はそれ以上の再生デバイスの少なくとも1つをオーディオチャンネルに割り当てるリクエストを含み、
第二のボイス入力は、2つ又はそれ以上の再生デバイスの少なくとも1つの選択を含む、
特徴25に記載のネットワークマイクロフォンデバイス。
【0191】
(特徴27)メディア再生システムは、1つ又は複数の再生デバイスを含み、
可聴の要求は、1つ又は複数の再生デバイスのイコライザ設定を較正するリクエストを含む、
特徴25に記載のネットワークマイクロフォンデバイス。
【0192】
(特徴28)判断するステップは、ボイス入力ソースの存在を検出することを含む、
特徴18に記載のネットワークマイクロフォンデバイス。
【0193】
(特徴29)存在を検出することは、ボイス入力ソースからボイス入力がネットワークマイクロフォンデバイスによって受信される方向を検出することを含む
特徴28に記載のネットワークマイクロフォンデバイス。
【0194】
(特徴30)存在を検出することは、ネットワークマイクロフォンデバイスとボイス入力ソースとの間の距離を検出することを含む、
特徴28に記載のネットワークマイクロフォンデバイス。
【0195】
(特徴31)判断するステップは、コントローラデバイスの使用を検出することを含む、
特徴18に記載のネットワークマイクロフォンデバイス。
【0196】
(特徴32)判断するステップは、ボイス入力ソースのボイスプロフィールを検出することを含む、
特徴18に記載のネットワークマイクロフォンデバイス。
【0197】
(特徴33)1つ又は複数のコマンドは、1つ又は複数の第一のコマンドであり、
判断するステップは、ボイス入力内に1つ又は複数の第二のコマンドを検出することを含む、
特徴18に記載のネットワークマイクロフォンデバイス。
【0198】
(特徴34)判断するステップは、1つ又は複数の第一のコマンドと1つ又は複数の第二のコマンドとの間で、ボイス入力内に少なくとも1つの休止を検出することをさらに含む、
特徴33に記載のネットワークマイクロフォンデバイス。
【0199】
(特徴35)メディア再生システムの第一のボイスアシスタントサービス(VAS)を発動させる方法であって、
方法は、
(i)コマンド及び関連するコマンドクライテリアのリストを含むコマンド情報のセットをメモリに記憶させるステップと、
(ii)少なくとも1つのマイクロフォンを介してボイス入力を取得するステップと、
(iii)ボイス入力内に1つ又は複数のコマンドが含まれることを検出するステップと、
(iv)1つ又は複数のコマンドが、コマンド情報のセット内の1つ又は複数のコマンドと関連する対応コマンドクライテリアを満たすことを判断するステップと、
(v)判断に応答して、
(a)第一のボイスアシスタントサービス(VAS)を選択し、第二のVASの選択を放棄し、
(b)ボイス入力を第一のVASに送信し、
(c)ボイス入力を送信後、第一のVASからボイス入力を受信するステップと、を含む方法。
【0200】
(特徴36)メディア再生システムは、複数の再生デバイスを含み、
1つ又は複数のコマンドが、複数の再生デバイスの2つ又はそれ以上の再生デバイスをグループ化し、オーディオコンテンツの再生を2つ又はそれ以上の再生デバイスを含むグループで開始させるコマンドを含み、
判断するステップは、ボイス入力内に1つ又は複数のキーワードが含まれることの検出を含み、
1つ又は複数のキーワードは、(i)2つ又はそれ以上の再生デバイスのうちの1つと関連する第一のキーワードならびに2つ又はそれ以上の再生デバイスのうちの別の1つと関連する第二のキーワードと、(ii)2つ又はそれ以上の再生デバイスを含むグループと、のうちの少なくとも1つを含む、
特徴35に記載の方法。
【0201】
(特徴37)1つ又は複数のプロセッサによって実行されるとネットワークマイクロフォンデバイスにメディア再生システム内の操作をさせる指示を中に記憶し、実体があり非一時的なコンピュータ読み取り可能な記憶媒体であって、
操作は、
(i)コマンド及び関連するコマンドクライテリアのリストを含むコマンド情報のセットをメモリに記憶させるステップと、
(ii)少なくとも1つのマイクロフォンを介してボイス入力を取得するステップと、
(iii)ボイス入力内に1つ又は複数のコマンドが含まれることを検出するステップと、
(iv)1つ又は複数のコマンドが、コマンド情報のセット内の1つ又は複数のコマンドと関連する対応コマンドクライテリアを満たすことを判断するステップと、
(v)判断に応答して、
(a)第一のボイスアシスタントサービス(VAS)を選択し、第二のVASの選択を放棄し、
(b)ボイス入力を第一のVASに送信し、
(c)ボイス入力を送信後、第一のVASからボイス入力を受信するステップと、を含むメディア。
【0202】
本明細書は、例示的な環境、システム、手順、ステップ、論理ブロック、処理、及び他のシンボル表現に関して広く示されており、それらは直接又は間接的にネットワークに接続されるデータ処理デバイスの動作に類似するものである。これらの処理説明及び表現は、一般的に当業者によって使用され、それらの仕事の内容を他の当業者に最も効率良く伝えることができる。多くの具体的な内容が、本開示を理解するために提供されている。しかしながら、当業者にとって、本開示の特定の実施形態が特定の、具体的な詳細なしに実施され得ることは理解される。他の例では、周知の方法、手順、コンポーネント、及び回路が、実施形態を不必要に曖昧にすることを避けるため、詳細に説明していない。したがって、本開示の範囲は、上記した実施形態よりむしろ添付された特許請求の範囲によって定義される。
【0203】
添付の特許請求の範囲のいずれかが単にソフトウェア及び/又はファームウェアへの実装をカバーするように読み取ると、少なくとも1つの例における要素の1つ又は複数は、本明細書では、ソフトウェア及び/又はファームウェアを記憶する有形の非一時的な記憶媒体、例えば、メモリ、DVD、CD、Blu-ray(登録商標)等を含むことが明確に定められている。
【手続補正書】
【提出日】2023-10-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コマンド情報のセットを複数の再生デバイスを含むメディア再生システムのネットワークマイクロフォンデバイスのメモリに記憶させるステップであって、前記コマンド情報のセットは、1つ又は複数の前記再生デバイスを制御するためのコマンド、および前記コマンドに関連するコマンドクライテリアのリストを含み、前記コマンドクライテリアは特定のコマンドに関連付けられた1つ又は複数のキーワードを含む、記憶させるステップと、
前記ネットワークマイクロフォンデバイスの少なくとも1つのマイクロフォンを介して第一のボイス入力を取得するステップと、
前記第一のボイス入力内に1つ又は複数のコマンドが含まれることを検出するステップと、
前記ボイス入力内の1つまたは複数のキーワードが前記ネットワークマイクロフォンデバイスのメモリに記憶されたコマンド情報のセットにないことを判断することに応答して、前記1つ又は複数のコマンドが、コマンド情報のセット内の前記1つ又は複数のコマンドに関連する対応コマンドクライテリアを満たすことを判断するステップと、
前記1つ又は複数のコマンドが、コマンド情報のセット内の前記1つ又は複数のコマンドに関連する対応コマンドクライテリアを満たすことの判断に応答して、第一のボイスアシスタントサービス(VAS)の前記ボイス入力の1つまたは複数のリモートサーバーに少なくとも1つのキーワードを処理させるステップと、を含む方法。
【請求項2】
さらに、
前記少なくとも1つのマイクロフォンを介して第二のボイス入力を取得するステップと、
前記第二のボイス入力内に1つ又は複数の第二のコマンドが含まれることを検出するステップと、
前記第二のボイス入力内に1つまたは複数の第二のコマンドが含まれることの検出に応答して、前記第一のVASにより、前記第二のボイス入力を前記1つ又は複数の第二のコマンドに関連するスロットに一致させることにより、前記第二のボイス入力を処理するステップと、
を含む、
請求項1に記載の方法。
【請求項3】
前記キーワードは、現在再生中のメディアコンテンツのメタデータに関連する、
請求項1または2に記載の方法。
【請求項4】
前記1つ又は複数の第二のコマンドが、前記再生デバイスの2つ又はそれ以上をグループ化するコマンドを含み、
前記一致させることは、第二のボイス入力がゾーンの表示を含むことを判断することを含む、
請求項1-3のいずれか1つに記載の方法。
【請求項5】
さらに
第3のボイス入力が、第二のVASに関連するウェイクワード、または第二のコマンド情報にないコマンド、のいずれか1つを含むときに、第二のVASを選択して前記第一のVASの選択を放棄する、
請求項1-4のいずれか1項に記載の方法。
【請求項6】
前記複数の再生デバイスのうちの1つは、前記ネットワークマイクロフォンデバイスを含む、
請求項1-5のいずれか1項に記載の方法。
【請求項7】
前記1つ又は複数の第二のコマンドは、前記メディア再生システムに向けられ、
前記方法は、前記第一のVASからの応答に基づいて前記メディア再生システムを介して前記1つ又は複数のコマンドを処理するステップをさらに含む、
請求項1-6のいずれか1つに記載の方法。
【請求項8】
前記第一のVASからの応答に基づいて可聴の要求を出力するステップをさらに含む、
請求項1-7のいずれか1つに記載の方法。
【請求項9】
前記第二のVASからの応答に基づいて第三のボイス入力への可聴の要求を出力するステップをさらに含む、
請求項5に記載の方法。
【請求項10】
前記1つ又は複数のコマンドは、前記複数の再生デバイスのうちの2つ又はそれ以上の再生デバイスをペアにするコマンドを含み、
前記可聴の要求は、前記2つ又はそれ以上の再生デバイスのうちの少なくとも1つをオーディオチャンネルに割り当てるリクエストを含み、
第二のボイス入力は、前記2つ又はそれ以上の再生デバイスのうちの少なくとも1つの選択を含む、
請求項8又は9に記載の方法。
【請求項11】
前記可聴の要求は、前記1つ又は複数の再生デバイスのイコライザ設定を較正するリクエストを含む、
請求項8又は9に記載の方法。
【請求項12】
前記1つ又は複数の第一のコマンドと前記1つまたは複数の第二のコマンドとの間のボイス入力内の少なくとも1つの停止を検出するステップ、をさらに含む、
請求項1-11のいずれか1つに記載の方法。
【請求項13】
第二のVASは、デフォルトのVASであり、前記第一のVASは、メディア再生システムの改良されたボイスコントロールを提供する、
請求項1-12のいずれか1つに記載の方法。
【請求項14】
1つ又は複数のプロセッサによって実行されるとネットワークマイクロフォンデバイスに請求項1-13のいずれか1つに記載の方法を実施させる指示を含む、非一時的なコンピュータ読み取り可能な記録媒体。
【請求項15】
1つ又は複数のマイクロフォンと、
1つ又は複数のプロセッサと、
請求項14に記載の前記非一時的なコンピュータ読み取り可能な記録媒体を含む、
ネットワークマイクロフォンデバイス。
【手続補正書】
【提出日】2023-10-10
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0006
【補正方法】変更
【補正の内容】
【0006】
【
図1】
図1は、ある実施形態を実施することができるメディア再生システムを図示する。
【
図2A】
図2Aは、例示的な再生デバイスの機能ブロック図である。
【
図2B】
図2Bは、ネットワークマイクロフォンデバイスを含む例示的な再生デバイスの等角図である。
【
図3A】
図3Aは、本願開示の態様に係る例示的なゾーン及びゾーングループを示す図である。
【
図3B】
図3Bは、本願開示の態様に係る例示的なゾーン及びゾーングループを示す図である。
【
図3C】
図3Cは、本願開示の態様に係る例示的なゾーン及びゾーングループを示す図である。
【
図3D】
図3Dは、本願開示の態様に係る例示的なゾーン及びゾーングループを示す図である。
【
図3E】
図3Eは、本願開示の態様に係る例示的なゾーン及びゾーングループを示す図である。
【
図4】
図4は、本願開示の態様に係る例示的なコントローラデバイスの機能ブロック図である。
【
図4A】
図4Aは、本願開示の態様に係るコントローラインタフェースを図示する。
【
図4B】
図4Bは、本願開示の態様に係るコントローラインタフェースを図示する。
【
図5A】
図5Aは、本願開示の態様に係る例示的なネットワークマイクロフォンデバイスの機能ブロック図である。
【
図5B】
図5Bは、本願開示の態様に係る例示的なボイス入力の図である。
【
図6】
図6は、本願開示の態様に係る例示的なリモートコンピュータの機能ブロック図である。
【
図7A】
図7Aは、本願開示の態様に係る例示的なネットワークシステムの模式図である。
【
図7B】
図7Bは、本願開示の態様に係る
図7Aの例示的なネットワークシステムによって実施される例示的なメッセージの流れを図示する。
【
図8A】
図8Aは、本願開示の態様に係るボイスアシスタントサービスを発動する例示的な方法の流れ図である。
【
図8B】
図8Bは、本願開示の態様に係る例示的なコマンド情報のセットのブロック図である。
【
図9A】
図9Aは、本願開示の態様に係る例示的なボイス入力コマンドとその関連情報の表である。
【
図9B】
図9Bは、本願開示の態様に係る例示的なボイス入力コマンドとその関連情報の表である。
【
図9C】
図9Cは、本願開示の態様に係る例示的なボイス入力コマンドとその関連情報の表である。
【
図10A】
図10Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図10B】
図10Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図10C】
図10Cは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図11A】
図11Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図11B】
図11Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図12A】
図12Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図12B】
図12Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図13A】
図13Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図13B】
図13Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図14A】
図14Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図14B】
図14Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図15A】
図15Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図15B】
図15Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図16A】
図16Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図16B】
図16Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図17A】
図17Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図17B】
図17Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図18A】
図18Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図18B】
図18Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図19A】
図19Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図19B】
図19Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図20A】
図20Aは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【
図20B】
図20Bは、本願開示の態様に係るVASを発動させる例示的なボイス入力を示す図である。
【外国語明細書】