(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-19
(45)【発行日】2023-09-27
(54)【発明の名称】音響導波管とヒートシンクを組み合わせたコンパクトなホームアシスタントの設計
(51)【国際特許分類】
H04R 1/02 20060101AFI20230920BHJP
H04R 3/00 20060101ALI20230920BHJP
【FI】
H04R1/02 102Z
H04R3/00 310
H04R3/00 320
【外国語出願】
(21)【出願番号】P 2021203577
(22)【出願日】2021-12-15
(62)【分割の表示】P 2019535845の分割
【原出願日】2017-12-18
【審査請求日】2022-01-14
(32)【優先日】2017-12-13
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2016-12-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Google LLC
【住所又は居所原語表記】1600 Amphitheatre Parkway 94043 Mountain View, CA U.S.A.
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ヘックマン,フレデリック
(72)【発明者】
【氏名】リー,ヤウ-シン
(72)【発明者】
【氏名】ローズ,ロバート
(72)【発明者】
【氏名】ホウ,ジュン
(72)【発明者】
【氏名】ペリ,パタンジャリ
(72)【発明者】
【氏名】アンチャ,ファニンドラジャ
【審査官】上田 雄
(56)【参考文献】
【文献】特表2013-527719(JP,A)
【文献】特開2014-210341(JP,A)
【文献】特開2008-259243(JP,A)
【文献】特開2005-012568(JP,A)
【文献】特開2015-053550(JP,A)
【文献】JBL CLIP2 Quick Start Guide,HARMAN INTERNATIONAL INDUSTRIES, INCORPORATED,2016年,[online],[令和5年1月24日検索],インターネット<URL:https://jp.jbl.com/on/demandware.static/-/Sites-masterCatalog_Harman/default/dwc064ea39/pdfs/QSG%20-%20JBL%20Clip_2_QSG_C_v13.pdf>
【文献】"JBL サウンドをさらに追求した防水Bluetoothスピーカー2製品を順次発売",ハーマンインターナショナル株式会社 プレスリリース,ハーマンインターナショナル株式会社,2016年06月02日,[online],[令和5年1月24日検索],インターネット<URL:https://prtimes.jp/a/?c=12767&r=57&f=d12767-57-pdf-0.pdf>
(58)【調査した分野】(Int.Cl.,DB名)
H04R 1/00-31/00
(57)【特許請求の範囲】
【請求項1】
装置であって、
筐体を備え、前記筐体は、扁平楕円体を形成するように結合された第1および第2のハウジング要素を備え、
前記第1および第2のハウジング要素は、前記扁平楕円体の短軸に直交する分離平面に沿って分離され、
前記第1のハウジング要素は、
穴のあいた下部と穴のあいていない上部とを備え、前記穴のあいていない上部は、前記扁平楕円体の極から前記扁平楕円体の第1の緯度まで延びており、前記穴のあいた下部は、前記扁平楕円体の前記第1の緯度から前記分離平面まで及ぶ複数の打ち抜き穴を備え、
前記穴のあいた下部の前記打ち抜き穴は、音声の伝達を可能にするように構成され、
前記分離平面は、前記扁平楕円体の長軸にあるか、または前記長軸と前記扁平楕円体の地面側の面との間にあり、前記装置はさらに、
スピーカを備え、前記スピーカは、前記スピーカからの主音響放射経路が前記第1のハウジング要素の方に向かうように前記第2のハウジング要素内に配置され、前記装置はさらに、
前記筐体内に配置され、前記スピーカに電気的に結合された回路基板を備え、前記回路基板は、
前記スピーカを駆動するように構成された1つまたは複数の電子部品と、
信号を送受信するように構成されたワイヤレストランシーバとを含む、装置。
【請求項2】
前記装置とのタッチユーザ対話を可能にするように構成された物理的なボタンをさらに備える、請求項1に記載の装置。
【請求項3】
装置であって、
筐体を備え、前記筐体は、扁平楕円体を形成するように結合された第1および第2のハウジング要素を備え、
前記第1および第2のハウジング要素は、前記扁平楕円体の短軸に直交する分離平面に沿って分離され、
前記第1のハウジング要素は、前記分離平面まで延びる打ち抜き穴を備え、前記打ち抜き穴は、音声の伝達を可能にするように構成され、
前記分離平面は、前記扁平楕円体の長軸にあるか、または前記長軸と前記扁平楕円体の地面側の面との間にあり、前記装置はさらに、
スピーカを備え、前記スピーカは、前記スピーカからの主音響放射経路が前記第1のハウジング要素の方に向かうように前記第2のハウジング要素内に配置され、前記装置はさらに、
前記筐体内に配置され、前記スピーカに電気的に結合された回路基板を備え、前記回路基板は、
前記スピーカを駆動するように構成された1つまたは複数の電子部品と、
信号を送受信するように構成されたワイヤレストランシーバとを含み、
前記装置は、前記装置との音声ユーザ対話を可能にするように構成されたマイクロフォンをさらに備える
、装置。
【請求項4】
装置であって、
筐体を備え、前記筐体は、扁平楕円体を形成するように結合された第1および第2のハウジング要素を備え、
前記第1および第2のハウジング要素は、前記扁平楕円体の短軸に直交する分離平面に沿って分離され、
前記第1のハウジング要素は、前記分離平面まで延びる打ち抜き穴を備え、前記打ち抜き穴は、音声の伝達を可能にするように構成され、
前記分離平面は、前記扁平楕円体の長軸にあるか、または前記長軸と前記扁平楕円体の地面側の面との間にあり、前記装置はさらに、
スピーカを備え、前記スピーカは、前記スピーカからの主音響放射経路が前記第1のハウジング要素の方に向かうように前記第2のハウジング要素内に配置され、前記装置はさらに、
前記筐体内に配置され、前記スピーカに電気的に結合された回路基板を備え、前記回路基板は、
前記スピーカを駆動するように構成された1つまたは複数の電子部品と、
信号を送受信するように構成されたワイヤレストランシーバとを含み、
前記回路基板は、ユーザ音声入力に対する可聴応答を出力し、メディアコンテンツのオーディオトラックを再生し、および/または、可聴アラートを生成するように構成された1つまたは複数のモジュールをさらに含む
、装置。
【請求項5】
前記分離平面は、前記長軸にある、請求項1から4のいずれか1項に記載の装置。
【請求項6】
前記第1のハウジング要素は、音響透過性である第1の外面カバーを有し、
前記第2のハウジング要素は、前記第1の外面カバーとは異なる第2の外面カバーを有する、請求項1から5のいずれか1項に記載の装置。
【請求項7】
前記第1のハウジング要素の前記打ち抜き穴は、前記第1の外面カバーによって被覆され、
前記第2のハウジング要素は、音声伝達を可能にしない、請求項6に記載の装置。
【請求項8】
前記第2のハウジング要素は、前記装置の電力コネクタへのアクセスのための開口を備える、請求項1から7のいずれか1項に記載の装置。
【請求項9】
前記開口は、前記分離平面に近接して配置される、請求項8に記載の装置。
【請求項10】
前記第2のハウジング要素は電源スイッチを含む、請求項1から9のいずれか1項に記載の装置。
【請求項11】
前記電源スイッチは、前記分離平面に近接して位置決めされる、請求項10に記載の装置。
【請求項12】
前記ワイヤレストランシーバは、短距離通信リンクを介してリモート装置と通信するようにさらに構成される、請求項1から11のいずれか1項に記載の装置。
【請求項13】
前記短距離通信リンクは、ブルートゥースリンクを備える、請求項12に記載の装置。
【請求項14】
前記装置の状態を示すように構成された視覚的インジケータをさらに備える、請求項1から13のいずれか1項に記載の装置。
【請求項15】
前記視覚的インジケータは、前記第1のハウジング要素に配置され、少なくとも1つのLEDを含む、請求項14に記載の装置。
【請求項16】
前記扁平楕円体は、切頭扁平楕円体である、請求項1から15のいずれか1項に記載の装置。
【請求項17】
前記切頭扁平楕円体は、前記短軸に直交する切頭平面によって前記第2のハウジング要素内で切頭される、請求項16に記載の装置。
【請求項18】
前記地面側の面は、前記切頭平面によって形成される、請求項17に記載の装置。
【請求項19】
前記短軸は、前記地面側の面からの前記装置の高さに対応し、
前記長軸は、前記装置の幅に対応する、請求項18に記載の装置。
【請求項20】
前記地面側の面は、前記装置が平坦な面上に確実に位置することができるように構成される、請求項18に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
技術分野
本出願はスマートホーム又はスマートメディア環境においてユーザインタフェースとして使用される音声起動式電子装置を提供するための方法及びシステムを含むが、これらの方法やシステムに限定されないコンピュータ技術に一般的に関する。
【背景技術】
【0002】
背景
マイクロフォンと一体化された電子装置は、ユーザからの音声入力を収集し、音声入力に従って異なる音声起動式機能を実施するために広く使用されてきた。例えば、多くの最先端のモバイル装置は、電話をかけたり、レストランを検索したり、地図上でルーティングを開始したり、カレンダーで予定を作成したり、ソーシャルネットワークへの投稿を追加したり、曲を認識したり、その他多くのタスクを完了させたりするのに、音声入力を使用するように構成された音声アシスタントシステム(例えば、Siri(登録商標)及びGoogle Assistant)を含む。モバイル装置は、音声入力を行うユーザが音声入力を介して要求されたタスクの状態をチェックすることを可能にするディスプレイ画面をしばしば含む。
【0003】
しかしながら、多くの操作環境において、ディスプレイ上に示される視覚的情報の代わりに、ユーザが彼らの音声入力に対する可聴応答を受信することがより望ましい/便利である(又は必要でさえある)。これは、(Googleアシスタントを搭載したGoogle Homeの音声起動式スピーカの場合のように)ユーザアシスタンスを提供している電子装置がディスプレイ画面を有さない場合、又はユーザがディスプレイ画面と対話することができない場合に(ユーザが近くにない音声起動式アシスタント装置と対話している、又はユーザが特定のタスクに集中している多くのホーム環境の場合のように)、事実であり得る。
【0004】
そのような操作環境では、アシスタンスのためのユーザ要求に対して効果的な可聴応答を与えるのに十分な明瞭さ及び音量を有する音響を生成するスピーカシステムを備える電子装置を提供することは有用である。そのような電子装置はまた、無線通信を支えるための、無線受信機、送信機、及びアンテナ;電源回路及びコネクタ;装置上の処理のための、プロセッサ及びサポートチップ;並びにデータコネクタ、のうちの一つ以上などのようなオンボードの補助エレクトロニクスを要求する。そのような電子アシスタント装置が配備されているホーム/操作環境に応じて、アシスタント装置は異なる外観及び/又はフォームファクタで設計することもできる。特に、コンパクトなフォームファクタが望まれる場合、スピーカシステムの効果的な動作のための十分な空間をも提供しながら、当該エレクトロニクスによって生成された熱を効果的に放散するように上記の部品を組み合わせることが課題となる。電子装置が、モバイル装置によって実行できる機能と同様の音声起動式機能を実装する一方で、比較的単純な構造を有し、低コストで製造できることが望まれるとき、この課題はさらに高まる。
【0005】
したがって、効果的な可聴出力及び熱放散をする電子音声アシスタント装置のコンパクトな設計が必要とされている。
【発明の概要】
【0006】
概要
スモールフォームファクタにおける音声アシスタント機能を提供する音声起動式電子装置が開示される。その音声アシスタント機能は、ユーザが自然言語音声コマンドによって一連の活動を実行することを可能にし、その一連の活動は、ローカル及びリモート電子装置を制御すること、リモートサーバへサービス及び情報の要求を発行すること、及び/又はそのユーザ又は他のユーザによる消費のために他の電子装置へメディア情報を送信することのうち一つ以上を含む。いくつかの実施形態において、音声起動式電子装置は、ユーザからの音声の要求に関連する音声処理の状態を示すために使用される、一つ以上のフルカラーLEDなどの視覚的表示器を含む。いくつかの実施形態において、音声起動式電子装置は、可聴情報をユーザに中継して、ユーザ要求(検索クエリ又はバスケットボールのスコアの要求など)に対する回答を提供したり、音声処理動作の状態を音声で提供したり、選択した楽曲を演奏したり、及び/又は現在のニュース又は現在の天気予報の概要を読み上げたりするために用いることができる1つ以上のスピーカを含む。音声入力がユーザにとって便利であることを考えると、いくつかの実施形態では、ユーザが音声入力を利用することによって、リモートサーバ及び携帯装置から、インターネットを基礎としたサービス及び機能を要求することに加えて、ユーザにとってアクセス可能な他の電子装置を制御することを可能にする。
【0007】
したがって、関連するメディアプレーヤ装置上で音声起動式機能を起動させたり、リモートサーバに情報要求を発行したり、可聴情報又はメディアを消費したり、及び/又は、スマートメディア又はスマートホーム環境において音声起動式電子装置内に結合されたスマートホーム又はスマートメディア装置を制御したりすることがユーザにとって可能になる、アイズフリー且つハンズフリーな音声インタフェースを提供する電子機器の実施形態が、本明細書に記載されている。本明細書に記載の様々な実施形態において、スマートメディア環境は、1つ以上の音声起動式電子装置及び複数のメディア表示装置を含み、それらの装置はそれぞれ別個の場所に配置される。また、いくつかの実施形態において、これらの装置は、キャスト装置(例えば、セットトップボックス、グーグルクロムキャスト(Google Chromecast(登録商標))、スマートテレビ等)に結合される。これら装置は、ユーザによって口頭で特定されたメディアアイテムを再生するよう、音声起動式電子装置に対して発行された音声要求を介して指示され得る。
【0008】
これらのネットワーク接続型の音声起動式電子装置は、通常、スマートホーム環境の異なる場所の表面に配置される。そういうわけで、いくつかの実施形態においては、音声アシスタント電子装置は、スマートホーム環境全体に適合し及び/又はその環境全体を通して複数の適合性のある表面及び装置と統合することができるフォームファクタ及び外観を有するように構成される。例えば、いくつかの実施形態においては、音声起動式電子装置は、様々なホーム環境における表面仕上げにより良く合致するように交換することができる分離可能な基部を含む。いくつかの実施形態において、分離可能な基部は、布地、皮革、金属、及び平滑など、様々な表面外観を有する分離可能なグリル(grill)である場合
もある。いくつかの実施形態においては、基部は、磁気吸引力を介して電子装置の上部部分に接続され、これにより、電子装置の基部及び上部部分を確実に固定するが、ユーザの手動操作を用いて分離可能にすることができる。いくつかの実施形態においては、基部と上部部分は、ねじれ動作とその後の分離動作によって分離でき、またいくつかの実施形態においては、分離動作のみで基部と上部部分を分離できる。いくつかの実施形態では、電子装置は、電子装置内に含まれる1つ以上のスピーカから装置の外部へ音声の伝達を可能にするスピーカグリルとして機能する上部部分を含む。いくつかの実施形態では、上部部分/スピーカグリルは、異なる表面仕上げで構成することができ、及び/又は上述の通り基部に確実であるが分離可能に固定することができる。
【0009】
いくつかの実施形態では、電子装置は、1つ以上のスピーカ及び、複数の電子部品を含むコンパクトな装置である。複数の電子部品は、マイクロプロセッサ、メモリ、サポート
チップ、無線受信機及び送信機、アンテナ、電源回路、1つ以上のカメラ、電源及び/又はデータコネクタなどの1つ以上を含み、それらのうちのいくつかは、1つ以上のプリント回路基板上にマウントされる。スピーカは、ユーザ音声入力に対する可聴応答の出力、メディアコンテンツの音声トラックの再生、及び可聴警告(ビープ音、警報、サイレンなどを含む)の生成を含む、任意の音声出力目的のために使用することができる。いくつかの実施形態では、1つ以上のスピーカによって生成された音を装置の外部へ伝達するための直通路がないように、1つ以上のスピーカは電子装置内にマウントされる。そのような実施形態では、効果的なスピーカ動作(スピーカによる音響出力の装置の外部への効果的な伝達を含む)を促進するために、導波管が電子装置内に設けられて、1つ以上のスピーカによる装置の内部から外部への音響出力の方向を変える(redirect)。いくつかの実施形態では、導波管は、電子装置の外面に設けられたスピーカグリルへ音の出力方向を変えるように構成される。
【0010】
いくつかの実施形態では、導波管は、電子部品の動作によって発生した熱を電子装置の外部へ放散するためのヒートシンクとして機能するようにも構成され、電子部品の少なくともいくつかに近接してマウントされる。
【0011】
いくつかの実施形態では、1つ以上のスピーカは電子装置の基部にマウントされ、二重目的の導波管/ヒートシンクの湾曲部分へ向かって、装置内で上方を向く主音響放射方向を有する。湾曲部分は、1つ以上のスピーカから電子装置の外部への音の出力方向を変えるように設計される。発熱する電子部品及び/又は電子部品を坦持する1つ以上のプリント回路基板は、電子部品の動作によって発生する熱をヒートシンクへ伝達するように、二重目的の導波管/ヒートシンクの第2の部分に直接取り付けられる(又は熱伝導路を用いて間接的にそこへ結合される)。ヒートシンクは、取り付けられた電子部品からそこへ伝達された熱を電子装置の外部へ移動するように構成される。いくつかの実施形態では、ヒートシンクは、装置の内部から装置の外部への熱の移動を促進するために、高い有効熱伝導度を有する材料から作られる。いくつかの実施形態では、湾曲部分は、二重目的の導波管/ヒートシンクの底面(例えば、1つ以上のスピーカへ向かって下を向いている面)であり、第2の部分は、二重目的の導波管/ヒートシンクの底面の反対側の、二重目的の導波管/ヒートシンクの上面(例えば、電子部品が取り付けられている、上方を向いている面)である。いくつかの実施形態では、1つ以上のスピーカが電子装置の上部部分に配置され、二重目的の導波管/ヒートシンクの(湾曲された)上面へ向かって下方へ突出するように、及び電子部品が電子装置の基部にマウントされ、導波管/ヒートシンクが電子装置の下部にマウントされるように、電子部品及び1つ以上のスピーカの位置は交換される。
【0012】
上記に記載された様々な実施形態のより良い理解のために、添付の図面と併せて、以下の実施についての説明を参照する必要がある。図面全体を通して、同様の参照番号は対応する部分を指す。
【図面の簡単な説明】
【0013】
【
図1】いくつかの実施形態に従う例示的な操作環境を示す図である。
【
図2】いくつかの実施形態に従う例示的な音声起動式電子装置を示す図である。
【
図3】いくつかの実施形態に従う例示的な音声アシスタンスサーバシステムを示す図である。
【
図4A】いくつかの実施形態に従う、例示的な音声起動式電子装置の正面図である。
【
図4B】いくつかの実施形態に従う、例示的な音声起動式電子装置の側面図である。
【
図4C】いくつかの実施形態に従う、例示的な音声起動式電子装置の背面図である。
【
図4D】いくつかの実施形態に従う、例示的な音声起動式電子装置の斜視図である。
【
図4E】いくつかの実施形態に従う、二重目的の導波管/ヒートシンクを示す例示的な音声起動式電子装置の断面図である。
【
図4F】いくつかの実施形態に従う、例示的な音声起動式電子装置の分解立体図である。
【発明を実施するための形態】
【0014】
図面全体を通して、同じ参照番号は、その対応する部分を指す。
実施形態の説明
デジタル革命は今まで、情報のオープンな共有を可能にすることからグローバルな一体感に至るまで、多くの恩恵をもたらしてきた。しかし、新しく登場する新技術は、消費者の間で混乱、疑い、恐れをしばしば引き起こし、そのことは、消費者がその技術から恩恵を受けることを妨げる。電子装置は、ユーザからの音声入力を受信して音声起動式機能を開始する音声インタフェースとして便利に使用されている。それによって、電子装置は、既存技術及び新たに登場した技術の両方に対して簡単で生産的なユーザ対話を可能にするアイズフリー且つハンズフリーの解決策を提供する。具体的には、音声動作機能を備えた電子装置で受信された音声入力は、ユーザの視線が不明瞭でそのユーザの手が塞がっていたとしても、指示や情報を伝えることができる。ハンズフリー及びアイズフリーの体験を可能にするために、本発明に従う音声起動式電子装置は、常時又はそうするようにトリガされたときにのみ(例えば、電子装置の動作をトリガするための「ホットワード」をユーザが発話することを介して)、周囲を「聴取」する(すなわち、周囲から収集された音声信号を常時処理する)。一方、ユーザのアイデンティティは、ユーザの声及びユーザによって使用される言語に結び付けられる。ユーザのアイデンティティを保護するために、これらの音声起動式電子装置は、通常、保護され、管理された個人的な空間(例えば、家庭及び車)である非公開の場所で使用される。
【0015】
具体的に、いくつかの実施形態では、電子装置は、スマートメディア又はホーム環境内に結合された他のメディア再生装置又はスマートホーム装置上で、音声起動式機能を起動させるためのアイズフリーでハンズフリーの音声インタフェースを提供する。スマートメディア環境は、各々が別々の場所に配置された、1つ以上の音声起動式電子装置及び複数のメディア表示装置を含む。電子装置のうちのいくつかは、キャスト装置(例えばセットトップボックス)に結合される。各音声起動式電子装置は、音声メッセージを記録するように構成され、その音声メッセージから、クラウドキャストサービスサーバはユーザの音声要求(例えば、メディアの再生要求、メディアの転送要求、又はクローズドキャプションの開始要求)を決定する。次に、クラウドキャストサービスサーバは、音声メッセージによって示されるように、ユーザの音声要求を宛先キャスト装置に転送する。同様の方法が、スマートホーム装置を制御してスマートホーム環境において音声起動式機能を実装するために、使用することができよう。そのような方法は、スマートメディア又はホーム環境においてメディア装置又はスマートホーム装置を制御するために、ユーザにリモコン又はクライアント装置を使用することを要求する従来の方法を任意に補完又は置換する。
【0016】
本願の様々な実施形態に従い、ネットワーク接続型の音声起動式電子装置は、通常、スマートホーム環境の異なる場所の表面に配置される。各音声起動式電子装置は、スマートホーム環境全体と合致するフォームファクタを有するように構成される。例えば、音声起動式電子装置は、デスクトップ、家具の表面、ドッキングステーション、メディアプレーヤ装置又は他の面を含む様々なタイプの表面と合致し且つ接触することができる基部を含む。そのような、音声起動式電子装置は、コンパクトで堅牢な方法でその基部に結合するように構成され、それによって様々なホーム環境に自然に溶け込む。
【0017】
いくつかの実施形態では、電子装置は1つ以上のスピーカ及び、複数の電子部品を含むコンパクトな装置である。複数の電子部品は、マイクロプロセッサ、メモリ、サポートチップ、無線受信機及び送信機、アンテナ、電源回路、1つ以上のカメラ、電源及び/又はデータコネクタなどの1つ以上を含み、それらのうちのいくつかは、1つ以上のプリント回路基板上にマウントされる。スピーカは、ユーザ音声入力に対する可聴応答の出力、メディアコンテンツの音声トラックの再生、及び可聴警告(ビープ音、警報、サイレンなどを含む)の生成を含む、任意の音声出力目的のために使用することができる。いくつかの実施形態では、1つ以上のスピーカによって生成された音を装置の外部へ伝達するための直通路がないように、1つ以上のスピーカは電子装置内にマウントされる。そのような実施形態では、効果的なスピーカ動作(装置の外部へのスピーカによる音響出力の効果的な伝達を含む)を促進するために、導波管が電子装置内に設けられて、1つ以上のスピーカによる装置の内部から外部への音響出力の方向を変える。いくつかの実施形態では、導波管は、電子装置の外面に設けられたスピーカグリルへ音の出力方向を変えるように構成される。いくつかの実施形態では、導波管は、電子部品の動作によって発生した熱を電子装置の外部に放散するためのヒートシンクとして機能するようにも構成され、電子部品の少なくともいくつかに近接してマウントされる。
【0018】
ここで実施形態について詳細に言及するが、その例は添付の図面に示されている。以下の詳細な説明では、記載されている様々な実施形態の徹底した理解を提供するために、多数の具体的な詳細が説明されている。しかしながら、記載された様々な実施形態が、これらの具体的な詳細が無しに実施されてよいことは当業者にとっては明らかであろう。他の例では、その実施形態の局面を不必要に曖昧にしないように、よく知られている方法、手順、構成要素、回路、及びネットワークは詳細には説明されていない。
【0019】
音声アシスタントの操作環境
図1は、いくつかの実施形態に従う例示的な操作環境である。操作環境100は、一つ以上の音声起動式電子装置104(例えば、音声起動式電子装置104‐1から104‐N、以下「音声起動式装置(複数可)」と称する)を含む。一つ以上の音声起動式装置104は、一つ以上の場所(例えば、構造物内の複数の空間全体、又は複数の構造物全体(例えば、一つは家の中に、一つはユーザの車の中に)に広がる構造物の部屋又は空間内のすべて)に配置してもよい。
【0020】
環境100はまた、1つ以上の制御可能電子装置106を含む。(例えば、電子装置106‐1から106‐N、以下「制御可能装置(複数可)」と称する)。制御可能装置106の例は、メディア装置(スマートテレビ、スピーカシステム、ワイヤレススピーカ、セットトップボックス、メディアストリーミング装置、キャスト装置)、及びスマートホーム装置(例えば、スマートカメラ、スマートサーモスタット、スマートライト、スマート危険探知機、スマートドアロック)を含む。
【0021】
音声起動式装置104及び制御可能装置106は、通信ネットワーク110を通して音声アシスタントサービス140に(例えば、音声アシスタントサービス140の音声アシスタンスサーバシステム112に)通信可能に結合される。いくつかの実施形態では、音声起動式装置104及び制御可能装置106のうちの一つ以上は、ローカルネットワーク108に通信可能に結合され、そのローカルネットワーク108は、通信ネットワーク110に通信可能に結合される;音声起動式装置(複数可)104及び/又は制御可能装置(複数可)106は、ローカルネットワーク108を介して、通信ネットワーク(複数可)110に(及び通信ネットワーク110を介して、音声アシスタンスサーバシステム112に)通信可能に結合される。いくつかの実施形態では、ローカルネットワーク108は、ネットワークインタフェース(例えばルータ)にて実装されたローカルエリアネット
ワークである。ローカルネットワーク108に通信可能に結合される、音声起動式装置104及び制御可能装置106もまた、ローカルネットワーク108を通して、互いに通信する場合がある。
【0022】
任意に、音声起動式装置104のうちの一つ以上は、通信ネットワーク110と通信可能に結合され、ローカルネットワーク108上にはない。例えば、これらの音声起動式装置は、ローカルネットワーク108に対応するWi‐Fi(登録商標)ネットワーク上にはないが、セルラー接続を介して通信ネットワーク110に接続されている。いくつかの実施形態では、ローカルネットワーク108上にある音声起動式装置104と、ローカルネットワーク108上にない音声起動式装置104との間の通信は、音声アシスタンスサーバシステム112を通して行われる。音声起動式装置104(ローカルネットワーク108上にあろうと、ネットワーク110上にあろうと)は、音声アシスタントサービス140の装置レジストリ118に登録されているので、音声アシスタンスサーバシステム112に知られている。同様に、ローカルネットワーク108上にない音声起動式装置104は、音声アシスタントサーバシステム112を通して制御可能装置106と通信することができる。制御可能装置106もまた、(ローカルネットワーク108上にあろうと、ネットワーク110上にあろうと)装置レジストリ118に登録されている。いくつかの実施形態では、音声起動式装置104と制御可能装置106との間の通信は、音声アシスタンスサーバシステム112を経由する。
【0023】
いくつかの実施形態では、環境100は一つ以上のコンテンツホスト114も含む。コンテンツホスト114は、そこからコンテンツが、ユーザの音声入力又は命令に含まれる要求に従って、ストリーミングされる、又はそうでなければ取得されるリモートコンテンツソースとなることがある。コンテンツホスト114は、音声アシスタンスサーバシステム112がユーザの音声要求に従って情報を検索する情報源であり得る。
【0024】
いくつかの実施形態では、制御可能装置106は、(例えば、音声起動式装置104及び/又は音声アシスタンスサーバシステム112から)指定された操作を実行する、又は指定された状態に遷移する、命令又は要求を受信することができ、受信した命令又は要求に従って、操作を実行する又は状態を遷移することができる。
【0025】
いくつかの実施形態では、一つ以上の制御可能装置106は、メディアコンテンツ、ニュース、及び/又は他の情報を一つ以上のユーザに提供するために操作環境100において配備されるメディア装置である。いくつかの実施形態では、メディア装置によって提供されるコンテンツは、ローカルコンテンツソースに記憶されるか、リモートコンテンツソース(例えば、コンテンツホスト(複数可)114)からストリーミングされるか、又はローカルに(例えば、ローカルテキストから、カスタマイズされたニュースの簡潔な説明、電子メール、文章、地域の天気予報などを、操作環境100を利用している人の1人以上に読み上げる音声プロセッサまで)生成される。いくつかの実施形態では、メディア装置は、メディアコンテンツを視聴者(例えば1人以上のユーザ)に直接出力するメディア出力装置と、メディアコンテンツをメディア出力装置にストリーミングするようにネットワーク接続されたキャスト装置とを含む。メディア出力装置の例は、テレビ(TV)表示装置及び音楽プレーヤを含むが、これらに限定されない。キャスト装置の例は、セットトップボックス(STB)、DVDプレーヤ、TVボックス、及びグーグルのChromescast(登録商標)メディアストリーミング装置などのメディアストリーミング装置を含むが、これらに限定されない。
【0026】
いくつかの実施形態では、制御可能装置106は音声起動式装置104でもある。いくつかの実施形態では、音声起動式装置104は制御可能装置106でもある。例えば、制御可能装置106は、音声アシスタンスサービス140(例えば、ユーザの音声入力を受
信、処理、応答することもできるメディア装置)への音声インタフェースを含むことがある。別の例として、音声起動式装置104はまた、音声入力における要求又は命令に従って、特定の操作を実行し、特定の状態に移行することがある(例えば、ストリーミング音楽を再生することもできる音声インタフェース装置)。
【0027】
いくつかの実施形態では、音声起動式装置104及び制御可能装置106は、それぞれのアカウントを有するユーザ、又はユーザドメインにおいてそれぞれのユーザアカウントを持つ複数のユーザ(例えば、家族又は組織におけるユーザなど、関連ユーザのグループ;より一般的にはプライマリユーザ及び1人以上の承認された追加のユーザなど)に関連付けられる。ユーザは、音声起動式装置104に音声入力又は音声命令を入力することができる。音声起動式装置104はユーザ(例えば、ユーザ102)からこれらの音声入力を受信し、音声起動式装置104及び/又は音声アシスタンスサーバシステム112は、音声入力における要求を決定するように、及び要求に対する応答を生成するように進む。
【0028】
いくつかの実施形態では、音声入力において含まれる要求は、制御可能装置106に操作を実行させる(例えば、メディアを再生させる、メディアを一時停止させる、メディアを早送り又は巻き戻しさせる、音量を変更させる、画面の明るさを変更させる、光の明るさを変更させる)、又は別の状態へ移行させる(例えば、操作モードを変更させる、オン又はオフにさせる、スリープモードへ移行させる、又はスリープモードから復帰させる)、命令又は要求である。
【0029】
いくつかの実施形態では、音声起動式電子装置104は、音声命令に対する音声応答を生成すること及び提供すること(例えば、「何時ですか?」という質問に応答して現在の時刻を話すこと);ユーザに(例えば、「Bach Boysの曲を再生して」と)要求されたメディアコンテンツをストリーミングすること;ユーザのために準備された、ニュース記事又は毎日のニュースの概要を読み上げること;個人的なアシスタント装置又はローカルネットワーク上に記憶されたメディアアイテムを再生すること;状態を変更すること又は操作環境100内に接続された一つ以上の他の装置を操作すること(例えば、電気、電化製品又はメディア装置のオン/オフ、錠をかけること/開けること、窓の開放など);又はネットワーク110を介してサーバに対応する要求を発行することによって、音声入力に応答する。
【0030】
いくつかの実施形態では、一つ以上の音声起動式装置104は、様々な機能(例えば、メディア装置のメディア再生機能)を開始するための音声入力を収集するために操作環境100において配備される。いくつかの実施形態では、これらの音声起動式装置104(例えば、装置104-1から104-N)は、例えば、キャスト装置及びメディア出力装置と同じ部屋の制御可能装置104(例えば、メディア装置)の近くに配備される。あるいは、いくつかの実施形態では、音声起動式装置104は、一つ以上のスマートホーム装置を有するがどのメディア装置も持たない構造内に配備される。あるいは、いくつかの実施形態では、音声起動式装置104は、一つ以上のスマートホーム装置及び一つ以上のメディア装置を有する構造内に配備される。あるいは、いくつかの実施形態では、音声起動式装置104は、ネットワークに繋がった電子装置を持たない場所に配備される。さらに、いくつかの実施形態では、構造における部屋又は空間には、複数の音声起動式装置104があることがある。
【0031】
いくつかの実施形態では、音声起動式装置104は、少なくとも一つ以上のマイクロフォン、スピーカ、プロセッサ、及びプロセッサによる実行のための少なくとも1つのプログラムを格納するメモリを含む。スピーカは、音声起動式装置104が音声メッセージ及び他の音声(例えば可聴トーン)を、音声起動式装置104が操作環境100において位置する場所に伝達することを可能にするように構成され、それによって音楽を放送したり
、音声入力処理の状態を報告したり、音声入力装置104のユーザと会話したり、又は音声入力装置104のユーザに指示を与えたりする。音声メッセージに代わるものとして、音声入力処理の状態に関して音声起動式装置104のユーザにフィードバックを提供するために、視覚的信号を使用することもできる。音声起動式装置104がモバイル装置(例えば、携帯電話又はタブレットコンピュータ)であるとき、その表示画面は、音声入力処理の状態に関する通知を表示するように構成される。
【0032】
いくつかの実施形態では、音声起動式装置104は、音声アシスタンスサーバシステム112を用いて音声認識機能を提供するようにネットワーク接続されている音声インタフェース装置である。例えば、音声起動式装置104は、音楽をユーザに提供し、音声アシスタントサービス(例えば、グーグルアシスタント)へのアイズフリー及びハンズフリーのアクセスを可能にするスマートスピーカを含む。任意に、音声起動式装置104は、デスクトップ又はラップトップコンピュータ、タブレット、マイクロフォンを含む携帯電話、マイクロフォン及び任意にスピーカを含むキャスト装置、マイクロフォン及びスピーカを含むオーディオシステム(例えば、ステレオシステム、スピーカシステム、持ち運び可能なスピーカなど)、マイクロフォン及びスピーカを含むテレビジョン、及びマイクロフォン、及びスピーカ、及び任意にディスプレイを含む自動車のユーザインタフェースシステムのうちの1つである。任意に、音声起動式装置104は単純で低コストの音声インタフェース装置である。一般に、音声起動式装置104は、ネットワーク接続が可能であり、マイクロフォン、スピーカ、並びに音声アシスタントサービスと対話するための、プログラム、モジュール、及びデータを含む任意の装置であり得る。音声起動式装置104の単純性と低コスト性を考えると、音声起動式装置104は全表示画面というよりも発光ダイオード(LEDs)のアレイを含み、音声入力処理の状態を示すためにLED上に視覚的パターンを表示する。いくつかの実施形態では、LEDはフルカラーLEDであり、LEDの色はLED上に表示される視覚的パターンの一部として採用されてもよい。情報又は装置の状態を伝えるために視覚的パターンを表示するためのLEDを使用することの複数の例は、「音声ユーザインタフェースの視覚的快適さのためのLED設計言語(LED Design Language for Visual Affordance of Voice User Interfaces)」と題し、それは全て参照により組み込まれる、2016年5月13日に出願された米国仮特許出願第62/336,566号において説明される。いくつかの実施形態では、音声処理操作の状態を示す視覚的パターンは、音声処理操作を実行している音声起動式装置に関連する従来のディスプレイ上に示される特徴的な画像を使用して表示される。
【0033】
いくつかの実施形態では、LED又は他の視覚的なディスプレイは、参加している複数の電子装置の集合的な音声処理状態を伝えるのに使用される。例えば、複数の音声処理又は音声インタフェース装置(例えば、’566出願の
図4Aに示されるような複数の電子装置400;複数の音声起動式装置104)がある操作環境では、それぞれの電子装置に関連するカラーLED(例えば、’566出願の
図4Aに示されるようなLED404)のグループは、どの電子装置がユーザを聞いているのか、及び聞いている装置のうちどれがリーダ(”リーダ”装置は、ユーザによって発行された音声要求に応えることにおいて一般的に先導的な役割を担う。)であるのかを伝えるために、使用することができる。
【0034】
より一般的には、’566出願では(例えば、段落[0087]~[0100]を参照)、「ホットワード検出状態、及び聞き取り状態」、「思考モード、又は作業モード」、及び「応答モード、又は話し中モード」などの、電子装置の様々な音声処理状態を、LEDの集まりを使用して視覚的に示すための「LED設計言語」について説明する。いくつかの実施形態では、本明細書で説明されている音声処理操作の一意の状態は、’566出願の「LED設計言語」の一つ以上の態様に従って、LEDのグループを使用して表される。これらの視覚的インジケータはまた、音声処理操作を実行している電子装置によって生成された一つ以上の可聴インジケータと組み合わせることができる。結果として生じる
音声及び/又は視覚的インジケータは、音声対話型環境内のユーザが環境内の様々な音声処理電子装置の状態を理解し、自然で直感的な方法でそれらの装置と効果的に対話することを可能にする。
【0035】
いくつかの実施形態では、音声起動式装置104への音声入力がキャスト装置を介してメディア出力装置を制御するために使用されるとき、音声起動式装置104はキャスト対応メディア装置の新しいレベルの制御を効果的に可能にする。具体的な例では、音声起動式装置104は、遠距離の音声アクセス機能を有するカジュアルエンジョイメントスピーカ(casual enjoyment speaker)を含み、音声アシスタントサービスのための音声インタフェース装置として機能する。音声起動式装置104は、操作環境100における任意の領域に配備することができる。複数の音声起動式装置104が複数の部屋に分散されている場合、それらは同期されてこれらの部屋からの音声入力を与えるキャスト音声受信機になる。
【0036】
具体的には、いくつかの実施形態では、音声起動式装置104は、音声起動音声アシスタントサービス(例えば、グーグルアシスタント)に接続されているマイクロフォンを有するWi‐Fiスピーカを含む。ユーザは、音声起動式装置104のマイクロフォンを介してメディア再生要求を発行し、音声起動式装置104自体又は他の接続されたメディア出力装置上で、音声アシスタントサービスにメディアコンテンツを再生するように依頼することができる。例えば、ユーザはWi-Fiスピーカに「オーケー、グーグル、私のリビングルームTVでネコの動画を再生して」と言って、メディア再生要求を発行することができる。次いで、音声アシスタントサービスは、デフォルトの又は指定されたメディアアプリケーションを使用して、要求された装置上で要求されたメディアコンテンツを再生することによって、メディア再生要求を満たす。
【0037】
いくつかの実施形態では、ユーザは、音声起動式装置104のマイクロフォンを介して、すでに再生されているか又は表示装置上で再生中のメディアコンテンツに関して、音声要求を発行することができる(例えば、ユーザはメディアコンテンツに関する情報を求める、オンラインストアでメディアコンテンツを購入する、又はメディアコンテンツに関するソーシャルポストを作成及び発行することが可能となる)。
【0038】
いくつかの実施形態では、ユーザは、それらが家の中を移動するときにそれらと現在のメディアセッションを利用したいと思うことがあり、音声起動式装置104の一つ以上から、そのようなサービスを要求することができる。これは、音声アシスタントサービス140が現在のメディアセッションを、第1のキャスト装置から、第1のキャスト装置に直接接続されていないか又は第1のキャスト装置の存在を知らない第2のキャスト装置に転送することを要求する。メディアコンテンツの転送に続いて、第2のキャスト装置に結合されている第2の出力装置は、第1のキャスト装置に結合されている第1の出力装置において前に再生されていたメディアコンテンツを、第1の出力装置でメディアコンテンツの再生がなされていた音楽トラック又はビデオクリップ内の正確な時点から、再生を継続する。いくつかの実施形態では、メディアセッションを転送するための要求を受信する音声起動式装置104は、その要求を満たすことができる。いくつかの実施形態では、メディアセッションを転送する要求を受信した音声起動式装置104は、その要求を処理のための、別の装置又はシステム(例えば、音声アシスタンスサーバシステム112)に中継する。
【0039】
さらに、いくつかの実施形態では、ユーザは、音声起動式装置104のマイクロフォンを介して、情報に対する要求、又は動作若しくは操作の実行に対する要求を発行することがある。要求される情報は、個人的(例えば、ユーザの電子メール、ユーザのカレンダーイベント、ユーザの飛行便情報など)、非個人的(例えば、スポーツのスコア、ニュース
記事など)、又はそれらの間のどこか(例えば、ユーザが好むチーム又はスポーツのスコア、ユーザが好む情報源からのニュース記事など)であり得る。要求された情報、又は動作/操作は、個人情報(例えば、ユーザによって提供される支払い情報を有するデジタルメディアアイテムの購入、物理的商品の購入)へのアクセスを含み得る。音声起動式装置104は、ユーザへの音声メッセージ応答で要求に応答し、応答は、例えば、要求を満たすための追加情報の要求、要求が満たされたことの確認、要求を満たすことができないことの通知等を含み得る。
【0040】
いくつかの実施形態では、音声起動式装置104、及び制御可能装置106の中のメディア装置に加えて、操作環境100はまた、制御可能装置106の中に一つ以上のスマートホーム装置を含み得る。一体化されたスマートホーム装置は、スマートホームネットワークにおいて互いに、及び/又は中央サーバ若しくはクラウドコンピューティングシステムとシームレスに統合して様々な有用なスマートホーム機能を提供する、インテリジェントで多センサ式でネットワーク接続された装置を含む。いくつかの実施形態では、スマートホーム装置は、キャスト装置及び/又は出力装置と同じ操作環境100の場所に配備され、したがってキャスト装置及び出力装置と近接して、又は既知の距離を置いて配置される。
【0041】
操作環境100におけるスマートホーム装置は、インテリジェントで多センサ式でネットワーク接続された一つ以上のサーモスタット、インテリジェントでネットワーク接続され、多センサ式の一つ以上のハザード検出器、インテリジェントで多センサ式でネットワーク接続された一つ以上のインタフェース装置及び(以下、「スマートドアベル」及び「スマートドアロック」と称する)、インテリジェントで多センサ式でネットワーク接続された一つ以上の警報システム、インテリジェントで多センサ式でネットワーク接続された一つ以上のカメラシステム、インテリジェントで多センサ式でネットワーク接続された一つ以上の壁スイッチ、インテリジェントで多センサ式でネットワーク接続された一つ以上の電源ソケット、及びインテリジェントで多センサ式でネットワーク接続された一つ以上のライトを含み得るが、これらに限定されない。いくつかの実施形態では、
図1の操作環境100内のスマートホーム装置は、冷蔵庫、ストーブ、オーブン、テレビ、洗濯機、乾燥機、ライト、ステレオ、インターホンシステム、ガレージドア開閉装置、板の間扇風機、天井扇風機、壁掛エアコン、プールヒーター、灌漑システム、防犯システム、暖房機器、窓用ACユニット、電動ダクト通気口などの、インテリジェントで多センサ式でネットワーク接続された複数の電化製品(以下、「スマートアプライアンス」と称する)を含み得る。いくつかの実施形態では、これらのスマートホーム装置タイプのうちのいずれか1つは、現住者又はユーザからの音声要求に全体的又は部分的に応答するように、マイクロフォン及び本明細書に記載の一つ以上の音声処理能力を備えることができる。
【0042】
いくつかの実施形態では、制御可能装置104及び音声起動式装置104のそれぞれは、他の制御可能装置106、音声起動式電子装置104、中央サーバ又はクラウドコンピューティングシステム、及び/又はネットワーク接続された他の装置(例えばクライアント装置)と、データ通信及び情報共有することができる。データ通信は、様々な慣用又は標準の無線プロトコル(例えば、IEEE 802.15.4、Wi‐Fi、ZigBee(登録商標)、6LoWPAN、スレッド、Z‐Wave(登録商標)、ブルートゥーススマート、ISA100.1la、WirelessHART(登録商標)、MiWi(登録商標)等)及び/又は、様々な慣用又は標準の有線プロトコルのいずれか(例えば、イーサネット(登録商標)、ホームプラグなど)、又はこの文書の提出日現在でまだ開発されていない通信プロトコルを含む、任意の他の適切な通信プロトコル、のいずれかを使用して実行され得る。
【0043】
通信ネットワーク(例えば、インターネット)110を介して、制御可能装置106及
び音声起動式装置104は、サーバシステム(本明細書では中央サーバシステム及び/又はクラウドコンピューティングシステムとも称される)と通信することができる。任意に、サーバシステムは、制御可能装置、及びユーザに表示されるメディアコンテンツに関連付けられている、製造業者、サポートエンティティ、又はサービスプロバイダに関連付けられてもよい。したがって、サーバシステムは、音声起動式装置104によって収集された音声入力を処理する音声アシスタンスサーバ112、表示されたメディアコンテンツを提供する一つ以上のコンテンツホスト114、任意に、分散型装置端末に基づいて仮想ユーザドメインを作成するクラウドキャストサービスサーバ、及び仮想ユーザ環境における分散型装置端末の記録を保持する装置レジストリ118を含む。分散型装置端末の例は、制御可能装置106、音声作動装置104、及びメディア出力装置を含むが、これらに限定されない。いくつかの実施形態では、これらの分散型装置端末は、仮想ユーザドメインにおけるユーザアカウント(例えば、Googleユーザアカウント)にリンクされている。音声起動式装置104によって収集された音声入力の処理は、音声起動式装置104において、音声アシスタンスサーバ112において、別のスマートホーム装置(例えば、ハブ装置)、又は上記の全て若しくはサブセットの組み合わせにおいて、ローカルに実行できることを理解されたい。
【0044】
いくつかの実施形態では、音声起動式装置(複数可)104は、スマートホーム装置が無い環境においても機能することが理解されよう。例えば、音声起動式装置104は、スマートホーム装置が無くても、情報若しくは動作の実行に対するユーザの要求に応答、及び/又は様々なメディア再生機能を開始若しくは制御することができる。音声起動式装置104はまた、限定はしないが、車両、船、ビジネス、又は製造環境を含む広範囲の環境で機能することができる。
【0045】
いくつかの実施形態では、音声起動式装置104はホットワード(「ウェイクワード」とも称される)を含む音声入力によって「起動」される(例えば、音声起動式装置104上の音声アシスタントサービスのためにインタフェースを起動し、音声起動式装置104を、音声起動式装置104が音声アシスタントサービスへの音声要求を受信する準備ができる状態にする)。いくつかの実施形態では、音声起動式装置104が音声入力の受信に関して、少なくとも所定の時間(例えば、5分間)休止している場合、音声起動式装置104は起動することを必要とする;所定の時間は、音声インターフェイスセッション又は会話が時間切れになるまでに許容される休止時間の長さに対応する。ホットワードは、単語又は句であり得、所定のデフォルトであり得、及び/又はユーザによってカスタマイズされ得る(例えば、ユーザは特定の音声起動式装置104に対するニックネームを、装置のホットワードとして設定し得る)。いくつかの実施形態では、音声起動式装置104を目覚めさせることができる複数のホットワードがあり得る。ユーザはホットワードを話し、音声起動式装置104からの承認応答(例えば音声起動式装置104が挨拶を出力する)を待つことができ、それらは第1の音声要求を行う。あるいは、ユーザは、ホットワードと第1の音声要求とを1つの音声入力に組み合わせることができる(例えば、音声入力は、音声要求が後に続くホットワードを含む)。
【0046】
いくつかの実施形態では、音声起動式装置104は、制御可能装置106(例えば、メディア装置、スマートホーム装置)、クライアント装置、又は操作環境100のサーバシステムといくつかの実施形態に従って対話する。音声起動式装置104は、音声起動式装置104に近くの環境から音声入力を受信するように構成される。任意に、音声起動式装置104は音声入力を記憶し、音声入力を少なくとも部分的にはローカルに処理する。任意に、音声起動式装置104は、受信した音声入力、又は部分的に処理された音声入力を、さらなる処理のために通信ネットワーク110を介して音声アシスタンスサーバシステム112に伝達する。音声起動式装置104、又は音声アシスタンスサーバシステム112は、音声入力において要求があるかどうか、及びその要求は何かを決定し、その要求に
対する応答を決定及び生成、及びその要求を一つ以上の制御可能装置(複数可)106に伝達する。応答を受信する制御可能装置(複数可)106は応答に従って、操作を実行するか又は状態を変更するように構成される。例えば、メディア装置は、音声入力における要求に対する応答に従って、メディア装置に結合される出力装置上に表示するために、1つ以上のコンテンツホスト114から、メディアコンテンツ又はインターネットコンテンツを取得するように構成される。
【0047】
いくつかの実施形態では、制御可能装置106(複数可)及び音声起動式装置(複数可)104は、ユーザドメインにおいて互いにリンクしており、より具体的には、ユーザドメインにおけるユーザアカウントを介して互いに関連付けられている。制御可能装置106(ローカルネットワーク108上又はネットワーク110上かに関わらず)及び音声起動式装置104(ローカルネットワーク108上又はネットワーク110上かに関わらず)に関する情報は、ユーザアカウントに関連して装置レジストリ118に格納される。いくつかの実施形態では、制御可能装置106用の装置レジストリと、音声起動式装置104用の装置レジストリとがある。制御可能装置レジストリは、ユーザドメインにおいて関連付けられている音声起動式装置レジストリにおける装置を参照することができ、逆もまた同様である。
【0048】
いくつかの実施形態では、一つ以上の音声起動式装置104(及び一つ以上のキャスト装置)及び一つ以上の制御可能装置106が、クライアント装置103を介して音声アシスタントサービス140に権限委託(commission)される。いくつかの実施形態では、音声起動式装置104は表示画面をまったく含まず、クライアント装置103に依存して権限委託過程中に、ユーザインタフェースを提供し、制御可能装置106についても同様である。具体的には、新しい音声起動式装置104、及び/又はクライアント装置の近くに配備された制御可能装置106の権限委託をユーザインタフェースが容易にすることを可能にするアプリケーションが、クライアント装置103にインストールされる。ユーザは、クライアント装置103のユーザインタフェース上で要求を送信し、権限委託される必要がある新しい電子装置104/106に対して権限委託過程を開始することがある。権限委託の要求を受信した後、クライアント装置103は、権限委託される必要がある新しい電子装置104/103との短距離通信リンクを確立する。任意に、短距離通信リンクは、近距離無線通信(NFC)、ブルートゥース(登録商標)、ブルートゥースローエナジー(BLE)、及びその他同種のものに基づいて確立される。それから、クライアント装置103は、無線ローカルエリアネットワーク(WLAN)(例えば、ローカルネットワーク108)に関連する無線設定データを、新たな装置又は電子装置104/106に伝達する。無線設定データは、少なくともWLANセキュリティコード(すなわち、サービスセット識別子(SSID)パスワード)を含み、任意に、SSID、インターネットプロトコル(IP)アドレス、プロキシ設定、及びゲートウェイ設定を含む。近距離通信リンクを介して無線設定データを受信した後、新しい電子装置104/106は無線設定データをデコードして回復し、無線設定データに基づいてWLANに参加する。
【0049】
いくつかの実施形態では、追加のユーザドメイン情報は、クライアント装置103上に表示されたユーザインタフェース上に入力され、新たな電子装置104/106をユーザドメインにおけるアカウントにリンクさせるために使用される。任意に、追加のユーザドメイン情報は、短距離通信リンクを介して無線通信データと共に新たな電子装置104/106に伝達される。任意に、新たな装置がWLANに参加した後に、追加のユーザドメイン情報はWLANを介して新たな電子装置104/106に伝達される。
【0050】
電子装置104/106が一度ユーザドメインに権限委託されると、他の装置、及びそれらの関連する動作は、複数の制御パスを介して制御され得る。ある制御パスに従って、クライアント装置103にインストールされたアプリケーションは、他の装置及びそれの
関連する動作(例えば、メディア再生動作)を制御するために使用される。あるいは、別の制御パスに従って、電子装置104/106は、他の装置、及びそれの関連する動作の、アイズフリー及びハンズフリーな制御を可能にするよう使用される。
【0051】
いくつかの実施形態では、音声起動式装置104及び制御可能装置106は、ユーザによって(例えば、それらの装置がユーザドメインにおいて関連付けられているプライマリユーザによって)ニックネームを割り当てられてもよい。例えば、リビングルームのスピーカ装置は、「リビングルームスピーカ」というニックネームを割り当てられてもよい。このようにして、ユーザは装置ニックネームを話すことにより、音声入力で装置をより容易に参照することができる。いくつかの実施形態では、装置ニックネーム、及び対応する装置へのマッピングは、音声起動式装置104(音声起動式装置と同じユーザに関連付けられた装置だけのニックネームを記憶する)、及び/又は音声アシスタンスサーバシステム112に記憶される(これは、異なるユーザに関連付けられた装置ニックネームを記憶する)。例えば、音声アシスタンスサーバシステム112は、異なる装置及びユーザにわたる多数の、装置ニックネーム及びマッピングを記憶し、特定のユーザに関連付けられた音声起動式装置104は、ローカルな記憶のために特定のユーザに関連付けられた装置に対して、ニックネーム及びマッピングをダウンロードする。
【0052】
いくつかの実施形態では、ユーザは、音声起動式装置104及び/又は制御可能装置106のうちの一つ以上を、ユーザによって作成された装置のグループにグループ分けすることができる。個々の装置をニックネームにより参照するのと同様に、グループには名前が付けられ、装置のグループをグループ名で参照されてもよい。装置ニックネームと同様に、装置グループ及びグループ名は音声起動式装置104及び/又は音声アシスタンスサーバシステム112に記憶されてもよい。
【0053】
ユーザからの音声入力は、音声入力における要求のための、ターゲット制御可能装置106、又は装置のターゲットグループを明示的に指定し得る。例えば、ユーザは、「リビングルームスピーカでクラシック音楽を演奏して」という音声入力を発することができる。音声入力におけるターゲット装置は「リビングルームスピーカ」であり;音声入力における要求は「リビングルームスピーカ」にクラシック音楽を演奏させる要求である。別の例として、ユーザは、「ハウススピーカ」が装置のグループの名前である場合に、「ハウススピーカでクラシック音楽を演奏して」という音声入力を発することがある。音声入力におけるターゲット装置のグループは「ハウススピーカ」であり;音声入力における要求は、「ハウススピーカ」グループにおける装置にクラシック音楽を再生させる要求である。
【0054】
ユーザからの音声入力には、ターゲット装置、又は装置グループの明示的な指定がない場合がある;名前によるターゲット装置又は装置グループへの参照は、音声入力においては存在しない。例えば、上記の例示的な音声入力「リビングルームスピーカでクラシック音楽を演奏して」に続いて、ユーザは後続の音声入力「一時停止」を発することがある。音声入力は、一時停止操作に対する要求のためにターゲット装置の指定を含まない。いくつかの実施形態では、音声入力におけるターゲット装置の指定は、曖昧であり得る。例えば、ユーザが装置名を不完全に発したのかもしれない。いくつかの実施形態では、明示的なターゲット装置の指定が存在しないか、又はターゲット装置の指定が曖昧な場合は、以下で説明されるように、ターゲット装置又は装置グループは、音声入力に割り当てられ得る。
【0055】
いくつかの実施形態では、音声起動式装置104が、ターゲット装置又は装置グループの明示的な指定を伴う音声入力を受信する際、音声起動式装置104は、指定されたターゲット装置又は装置グループに関してフォーカスセッションを確立する。いくつかの実施
形態では、音声起動式装置104は、フォーカスセッションに対して、セッション開始時間(例えば、フォーカスセッションが開始されたことに基づく音声入力のタイムスタンプ)及び、フォーカスセッションに対してフォーカスされた装置として、指定されたターゲット装置又は装置グループを記憶する。いくつかの実施形態では、音声起動式装置104はまた、フォーカスセッションにおける後続の音声入力のログを取る。音声起動式装置104は、フォーカスセッションにおいて少なくとも最新の音声入力のログを取り、任意に、フォーカスセッション内の先行する音声入力も同様にログを取り保持する。いくつかの実施形態では、音声アシスタンスサーバシステム112はフォーカスセッションを確立する。いくつかの実施形態では、フォーカスセッションは、異なるターゲット装置又は装置グループを明示的に指定する音声入力により終了されることがある。
【0056】
装置に関するフォーカスセッションがアクティブであり、音声起動式装置が音声入力を受信する間、音声起動式装置104は音声入力に関して一つ以上の決定を行う。いくつかの実施形態では、その決定は以下を含む:それらは、音声入力が明示的なターゲット装置の指定を含むかどうか、音声入力における要求がフォーカスされた装置によって満たすことができるものであるかどうか、並びにフォーカスセッションにおける最後の音声入力の時間及び/又はセッション開始時間と比較した音声入力の時間である。音声入力が明示的なターゲット装置の指定を含まず、フォーカスされた装置によって満たされることができ、並びにフォーカスセッションにおける最後の音声入力の時間及び/又はセッション開始時刻に関して所定の時間基準を満たす場合、その後、フォーカスされた装置が、音声入力に対してターゲット装置として割り当てられる。フォーカスセッションに関する更なる詳細は以下に説明される。
【0057】
操作環境における装置
図2は、いくつかの実施形態に従う、操作環境(例えば、操作環境100)においてユーザの音声命令を収集するための音声インタフェースとして適用される例示的な音声起動式装置104を示すブロック図である。音声起動式装置104は、典型的には、一つ以上の処理装置(CPU)202、一つ以上のネットワークインタフェース204、メモリ206、及びこれらの構成要素(チップセットと称されることがある)を相互接続するための一つ以上の通信バス208を含む。音声起動式装置104は、ボタン212、タッチセンスアレイ214、及び一つ以上のマイクロフォン216など、ユーザ入力を容易にする一つ以上の入力装置210を含む。音声起動式装置104は、一つ以上のスピーカ220、任意にLED222のアレイ、及び任意にディスプレイ224を含む、一つ以上の出力装置218も含む。いくつかの実施形態では、LED222のアレイはフルカラーLEDのアレイである。いくつかの実施形態では、音声起動式装置104は、装置の種類に応じて、LED222のアレイ、又はディスプレイ224のどちらか一方、又は両方を含む。いくつかの実施形態では、音声起動式装置104は、位置検出装置226(例えばGPSモジュール)及び一つ以上のセンサ228(例えば加速度計、ジャイロスコープ、光センサなど)も含む。
【0058】
メモリ206は、DRAM、SRAM、DDR RAM、又は他のランダムアクセス固体メモリ装置のような高速ランダムアクセスメモリを含み;任意に、一つ以上の磁気ディスク記憶装置、一つ以上の光ディスク記憶装置、一つ以上のフラッシュメモリ装置、又は一つ以上の他の不揮発性固体記憶装置などの不揮発性メモリを含む。メモリ206は、任意に、一つ以上の処理装置202から遠隔に配置された一つ以上の記憶装置を含む。メモリ206、あるいはメモリ206内の不揮発性メモリは、非一時的なコンピュータ読み取り可能な記憶媒体を含む。いくつかの実施形態では、メモリ206、又はメモリ206の非一時的なコンピュータ読み取り可能な記憶媒体は、以下のプログラム、モジュール、及びデータ構造、又はそれらのサブセット又はスーパーセットを格納する:
・様々な基本的なシステムサービスを取り扱うための手順、及びハードウェア依存のタ
スクを実行するための手順を含むオペレーティングシステム232;
・音声起動式装置104を他の装置(例えば、音声アシスタンスサービス140、1つ以上の制御可能装置106、1つ以上のクライアント装置103、及び他の音声起動式装置(複数可)104)に、一つ以上のネットワークインタフェース204(有線又は無線)、及びインターネット、他の広域ネットワーク、ローカルエリアネットワーク(例えばローカルネットワーク108)、メトロポリタンエリアネットワークなどの一つ以上のネットワーク110、を介して接続するためのネットワーク通信モジュール234;
・一つ以上の入力装置を介して入力を受信し、一つ以上の出力装置218を介して音声起動式装置104にて情報の提示を可能にするための入力/出力制御モジュール236であって、以下を含むもの:
○音声起動式装置104を取り囲む環境において収集される、音声入力又は音声メッセージを処理するための、又は収集された音声入力又は音声メッセージを音声アシスタンスサーバシステム112での処理に対して準備するための音声処理モジュール238;
○音声起動式装置104の装置状態に従って、LED222上に視覚的パターンを生成するためのLED制御モジュール240;及び
○音声起動式装置104の上面(例えば、タッチセンサアレイ214上)でのタッチイベントを検知するためのタッチセンスモジュール242;
・音声起動式装置104に関連するデータを少なくとも記憶するための音声起動式装置データ244であって、以下を含むもの:
○共通の装置設定(サービス層、装置モデル、記憶容量、処理能力、通信能力など)、ユーザドメインにおける1つ以上のユーザアカウントの情報、装置ニックネーム及び装置グループ、未登録のユーザを扱う場合の制限に関する設定、並びにLED222によって表示される1つ以上の視覚的パターンに関連する表示仕様を含む、音声起動式装置104自体に関連する情報を記憶するための音声装置設定246;並びに
○音声信号、音声メッセージ、応答メッセージ、及び音声起動式装置104の音声インタフェース機能に関連する他のデータを記憶するための音声制御データ248;
・音声アシスタンスサーバシステム112によって生成された音声要求応答に含まれる命令を実行し、いくつかの実施形態では、一定の音声入力に対する応答を生成するための応答モジュール250;並びに
・装置に関してフォーカスセッションを確立、管理、及び終了するためのフォーカスセッションモジュール252。
【0059】
いくつかの実施形態では、音声処理モジュール238は以下のモジュール(図示せず)を含む:
・音声入力装置104に音声入力するユーザを識別し、曖昧さをなくすためのユーザ識別モジュール;
・音声入力が音声起動式装置104を起動させるためにホットワードを含んでいるかどうかを決定し、音声入力においてそのようなものを認識するためのホットワード認識モジュール;及び
・音声入力において含まれるユーザ要求を決定するための要求認識モジュール。
【0060】
いくつかの実施形態では、メモリ206は、以下を含む、未解決のフォーカスセッションのためのフォーカスセッションデータ254も格納する:
・未解決のフォーカスセッションにおいてフォーカスされた装置又は装置グループの識別子(例えば、装置ニックネーム、装置グループ名、装置のMACアドレス(複数可)を記憶するための、セッションがフォーカスされた装置(複数可)256;
・未解決のフォーカスセッションの開始のためのタイムスタンプを記憶するためのセッション開始時間258;及び
・少なくとも最新の要求/命令を含む、フォーカスセッションにおける以前の要求又は命令のログを記憶するためのセッション命令履歴260。ログは、ログに記録された以前
の要求(複数可)/命令(複数可)のタイムスタンプ(複数可)を少なくとも含む。
【0061】
上記の識別された要素のそれぞれは、前述のメモリ装置のうちの一つ以上において格納されてもよく、上記の機能を実行するための一組の指令に対応する。上記で識別されたモジュール又はプログラム(すなわち指令のセット)は、別々のソフトウェアプログラム、手順、モジュール又はデータ構造として実施される必要はなく、したがってこれらのモジュールの様々なサブセットは、様々な実施において結合、又は別の方法で再配列され得る。いくつかの実施形態では、メモリ206は任意に、上記で識別されたモジュール及びデータ構造のサブセットを格納する。さらに、メモリ206は任意に、上記で説明されていない追加のモジュール及びデータ構造を格納する。いくつかの実施形態では、メモリ206に格納されている、プログラム、モジュール、及び/又はデータのサブセットは、音声アシスタンスサーバシステム112上に記憶され、及び/又は音声アシスタンスサーバシステム112により実行されることができる。
【0062】
いくつかの実施形態では、上述のメモリ206における一つ以上のモジュールは、モジュールの音声処理ライブラリの一部である。音声処理ライブラリは、多種多様な装置にて実施され、且つ埋め込まれることがある。音声処理ライブラリの例は、「装置上の音声アシスタントの実装(Implementations for Voice Assistant on Devices)」と題し、それは全て参照により組み込まれる、2016年5月10日に出願された米国仮特許出願第62/334,434号において説明される。
【0063】
図3は、いくつかの実施形態による、操作環境(例えば、操作環境100)の音声アシスタントサービス140の例示的な音声アシスタンスサーバシステム112を示すブロック図である。サーバシステム112は、典型的には、一つ以上の処理装置(CPU(複数可))302、一つ以上のネットワークインタフェース304、メモリ306、及びこれらの構成要素(チップセットと称されることがある)を相互接続するための一つ以上の通信バス308を含む。サーバシステム112は、キーボード、マウス、音声命令入力ユニット若しくはマイクロフォン、タッチ画面表示、タッチ感知入力パッド、ジェスチャキャプチャカメラ、又は他の入力ボタン若しくは制御などのユーザ入力を容易にする、一つ以上の入力装置310を含むことができる。さらに、サーバシステム112は、キーボードを補うために又はキーボードに取って代わるために、マイクロフォン及び音声認識、又はカメラ及びジェスチャ認識を使用してもよい。いくつかの実施形態では、サーバシステム112は、例えば電子装置上に印刷されたグラフィックシリーズコードの画像を取り込むための、一つ以上のカメラ、スキャナ、又は光学センサユニットを含む。サーバシステム112はまた、一つ以上のスピーカ及び/又は一つ以上の視覚的なディスプレイを含む、ユーザインタフェース及びディスプレイコンテンツの提示を可能にする一つ以上の出力装置312を含み得る。
【0064】
メモリ306は、DRAM、SRAM、DDR RAM、又は他のランダムアクセス固体メモリ装置のような、高速ランダムアクセスメモリを含む;任意に、一つ以上の磁気ディスク記憶装置、一つ以上の光ディスク記憶装置、一つ以上のフラッシュメモリ装置、又は一つ以上の他の不揮発性固体記憶装置などの不揮発性メモリを含む。メモリ306は、任意に、一つ以上の処理装置302から遠隔に配置された一つ以上の記憶装置を含む。メモリ306、あるいはメモリ306内の不揮発性メモリは、非一時的なコンピュータ読み取り可能な記憶媒体を含む。いくつかの実施形態では、メモリ306、又はメモリ306の非一時的なコンピュータ読み取り可能な記憶媒体は、以下のプログラム、モジュール、及びデータ構造、又はそれらのサブセット又はスーパーセットを格納する:
・様々な基本的なシステムサービスを取り扱うための手順、及びハードウェア依存のタスクを実行するための手順を含むオペレーティングシステム316;
・サーバシステム112を他の装置(例えば、クライアント装置103、制御可能装置
106、音声起動式装置104)に、一つ以上のネットワークインタフェース304(有線又は無線)、及びインターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの一つ以上のネットワーク110を介して接続するためのネットワーク通信モジュール318;
・情報(例えば、アプリケーション(複数可)322~328、ウィジェット、ウェブサイト及びそのウェブページ、並びに/又は、ゲーム、オーディオ及び/若しくはビデオのコンテンツ、テキストなどを提示するためのグラフィカルユーザインタフェース)の提示をクライアント装置で可能にするためのユーザインタフェースモジュール320;
・サーバ側での実行のための命令実行モジュール321(例えば、クライアント装置103、制御可能装置106、音声起動式装置104、並びにスマートホーム装置を制御し、そのような装置によって取り込まれたデータを検討するための、ゲーム、ソーシャルネットワークアプリケーション、スマートホームアプリケーション、及び/又は他のウェブ若しくは非ウェブベースのアプリケーション)であって、以下を一つ以上含むもの:
○キャスト装置(複数可)に関連する、装置提供、装置制御、及びユーザアカウント管理のための、サーバ側の機能を提供するために実行されるキャスト装置アプリケーション322;
○対応するメディアソースに関連する、メディア表示及びユーザアカウント管理のためのサーバ側の機能を提供するために実行される、一つ以上のメディアプレーヤアプリケーション324;
○対応するスマートホーム装置の、装置提供、装置制御、データ処理及びデータ検討のためのサーバ側の機能を提供するために実行される、一つ以上のスマートホーム装置アプリケーション326;並びに
○音声起動式装置104から受信した音声メッセージの音声処理を整理するため、又はユーザの音声命令、及びユーザの音声命令(例えば、キャスト装置、又は別の音声起動式装置104の指定)のための一つ以上のパラメータを抽出するために音声メッセージを直接処理する音声アシスタンスアプリケーション328;並びに
・メディア表示の自動制御に関連するデータ(例えば、自動メディア出力モード、及びフォローアップモードにおいて)、及び他のデータを少なくとも記憶するサーバシステムデータ330であって、以下のうちの一つ以上を含むもの:
○共通の装置設定(例えば、サービス層、装置モデル、記憶容量、処理能力、通信能力など)、及び自動メディア表示制御のための情報を含む、一つ以上のクライアント装置と関連する情報を記憶するためのクライアント装置設定332;
○アカウントアクセス情報、装置設定のための情報(例えば、サービス層、装置モデル、記憶容量、処理能力、通信能力など)、及び自動メディア表示制御のための情報のうち一つ以上を含む、キャスト装置アプリケーション322のユーザアカウントに関連する情報を記憶するためのキャスト装置設定334;
○アカウントアクセス情報、メディアコンテンツタイプのユーザの好み、レビュー履歴データ、及び自動メディア表示制御のための情報のうちの一つ以上を含む、一つ以上のメディアプレーヤアプリケーション324のユーザアカウントに関連する情報を記憶するためのメディアプレーヤアプリケーション設定336;
○アカウントアクセス情報、1つ以上のスマートホーム装置のための情報(例えば、サービス層、装置モデル、記憶容量、処理能力、通信能力など)のうちの1つ以上を含む、スマートホームアプリケーション326のユーザアカウントに関連する情報を記憶するためのスマートホーム装置設定338;
○一つ以上のアカウントアクセス情報、一つ以上の音声起動式装置104のための情報(例えば、サービス層、装置モデル、記憶容量、処理能力、通信能力など)を含む、音声アシスタンスアプリケーション328のユーザアカウントに関連する情報を記憶するための音声アシスタンスデータ340;
○ユーザの定期購読(例えば、音楽ストリーミングサービス定期購読、ビデオストリーミングサービス定期購読、ニュースレター定期購読)、ユーザ装置(例えば、各ユーザ
、装置ニックネーム、装置グループに関連する装置レジストリ118において登録された装置)、ユーザアカウント(例えばユーザの電子メールアカウント、カレンダーアカウント、金融アカウントなど)、及びその他のユーザデータを含む、ユーザドメインにおけるユーザに関する情報を記憶するためのユーザデータ342;
○例えば、ユーザの音声モデル又は音声指紋、及びユーザの快適な音量レベルのしきい値を含む、ユーザの音声プロファイルをユーザドメインにおいて記憶するためのユーザ音声プロファイル344;並びに
○複数の装置のためのフォーカスセッションデータを記憶するためのフォーカスセッションデータ346。
【0065】
・装置レジストリ118を管理するための装置登録モジュール348;
・電子装置104を取り囲む環境において収集された音声入力又は音声メッセージを処理するための音声処理モジュール350;並びに
・装置に関してフォーカスセッションを確立、管理、及び終了するためのフォーカスセッションモジュール352。
【0066】
いくつかの実施形態では、メモリ306は、以下を含む、一つ以上の未解決のフォーカスセッション3462‐1から3462‐Mのためのフォーカスセッションデータ346も格納する:
・フォーカスセッションが確立されている装置の識別子を記憶するためのセッションソース装置3464;
・未解決のフォーカスセッションにおいてフォーカスされた装置又は装置グループの識別子(例えば、装置のニックネーム、装置グループ名、装置のMACアドレス(複数可))を記憶するための、セッションがフォーカスされた装置3466(複数可);
・未解決のフォーカスセッションの開始に対するタイムスタンプを記憶するためのセッション開始時間3468;及び
・最新の要求/命令を少なくとも含む、フォーカスセッションにおける以前の要求又は命令のログを記憶するためのセッション命令履歴3470。
【0067】
いくつかの実施形態では、音声アシスタンスサーバシステム112は音声入力の処理を主に担当し、したがって、
図2を参照して上述したメモリ206における一つ以上のプログラム、モジュール、及びデータ構造は、メモリ306においてそれぞれのモジュールに含まれる(例えば、音声処理モジュール238に含まれる、プログラム、モジュール、及びデータ構造は、音声処理モジュール350に含まれる)。音声起動式装置104は、取り込まれた音声入力を処理のための音声アシスタンスサーバシステム112に伝達するか、又は最初に音声入力を前処理し処理のための音声アシスタンスサーバシステム112に前処理された音声入力を伝達する。いくつかの実施形態では、音声アシスタンスサーバシステム112及び音声起動式装置104は、音声入力の処理に関して、いくつかの共有される責任、及びいくつかの分割された責任を有し、
図2に示されるプログラム、モジュール、及びデータ構造は、音声アシスタンスサーバシステム112及び音声起動式装置104の両方に含まれ得るか、又は音声アシスタンスサーバシステム112及び音声起動式装置104の中で分割される。
図2に示される他のプログラム、モジュール、及びデータ構造、又はそれらの類似物もまた、音声アシスタンスサーバシステム112に含まれてもよい。
【0068】
上記要素の各々は、前述のメモリ装置のうちの1つ以上に格納されてもよく、上述の機能を実行するための命令セットに対応する。上記モジュール又はプログラム(つまり、命令セット)は、別々のソフトウェアプログラム、プロシージャ、モジュール、又はデータ構造として実装される必要がないため、これらのモジュールの様々なサブセットが、様々な実施形態において組み合わされる又は並べ替えられてもよい。いくつかの実施形態では
、メモリ306は、必要であれば、上記モジュール及びデータ構造のサブセットを格納する。さらに、メモリ306は、必要であれば、上に記載されないさらなるモジュール及びデータ構造を格納する。
【0069】
音響導波管とヒートシンクを組み合わせたコンパクトなホームアシスタントの設計
図4A、
図4B及び
図4Cは、いくつかの実施形態に従う、例示的なコンパクト音声起動式の電子装置404のそれぞれ正面図、側面図及び背面図である。電子装置404は、上部部分406及び基部408を含む外部全体と、外部全体に含まれる、電子部品及び1つ以上のスピーカをとを含む。電子装置404はコンパクトであり、家の多くの場所に自然にとけ込む。電子装置404は、1つ以上のマイクロフォン216を含み、任意にフルカラーLED(不図示)のアレイを含む。フルカラーLED(例えば、
図2におけるLED222)は、電子装置404の上面の下に隠され、それらが点灯していないときにはユーザに見えないようにすることができる。電子装置404の背面は、電源に結合するように構成された電源コネクタ410を任意に含み、前面は電源スイッチ412を任意に含む。
【0070】
いくつかの実施形態では、電子装置404は目に見えるボタンが無いきれいな外観を提示し、電子装置404との対話は、音声及びタッチジェスチャに基づく。あるいは、いくつかの実施形態では、電子装置404は、限られた数の物理的なボタンを含み、電子装置404との対話は、音声及びタッチジェスチャに加えて、さらにボタンを押すことに基づく。
【0071】
図4Dは、音声起動式の電子装置404の斜視図である。1つ以上のスピーカ(不図示)は電子装置404内に配備及び隠され、スピーカから発生された音波が装置の外部へ透過することを可能にするために、装置外面の多孔質壁を通して音を放射する。
【0072】
図4Eは、いくつかの実施形態に従う、二重目的の導波管/ヒートシンクを示す、例示的な音声起動式の電子装置404の断面図である。いくつかの実施形態では、電子装置404は、1つ以上のスピーカ436及び、複数の電子部品を含むコンパクトな装置である。複数の電子部品は、マイクロプロセッサ、メモリ、サポートチップ、無線受信機及び送信機、アンテナ、電源回路、1つ以上のカメラ、電源及び/又はデータコネクタなどの1つ以上を含み、それらのうちのいくつかは、1つ以上のプリント回路基板432上にマウントされる。スピーカ(「スピーカアセンブリ」)436は、ユーザ音声入力に対する可聴応答の出力、メディアコンテンツの音声トラックの再生、及び可聴警告(ビープ音、警報、サイレンなどを含む)の生成を含む、任意の音声出力目的のために使用することができる。いくつかの実施形態では、1つ以上のスピーカ436によって生成された音を装置の外部へ伝達するための直通路がないように、1つ以上のスピーカ436は電子装置404内にマウントされる。そのような実施形態では、効果的なスピーカ動作(スピーカ436による装置の外部への音響出力の効果的な伝達を含む)を促進するために、音響導波管434が電子装置404内に設けられて、1つ以上のスピーカ436による装置の内部から外部への音響出力の方向を変える。
【0073】
いくつかの実施形態では、電子装置は、電子装置404内に含まれる1つ以上のスピーカ436から装置の外部へ音の伝達を可能にするスピーカグリルとして機能する上部部分406を含む。いくつかの実施形態では、導波管434は、電子装置の外面に設けられたスピーカグリルへ音の出力方向を変えるように構成される。いくつかの実施形態では、「分離可能な基部を有する音声起動式電子装置アセンブリ(VOICE-ACTIVATED ELECTRONIC DEVICE ASSEMBLY WITH SEPARABLE BASE)」と題し、その内容が全て参照により本明細書に組み込まれる仮特許出願第62/403,681号において説明されるように、上部部分/スピーカグリルは、異なる表面仕上げで構成することができ、及び/又は基部に確実で
あるが分離可能に固定することができる。例えば、上部部分は第1の取り付け構造を有する第1の内面と、第1の内面を越えて第1の取り付け構造と反対方向に延在する第1の外面とを有し、基部は、第2の取り付け構造を有する第2の内面と、円形の開口部とを有する。第1及び第2の内面は、底部の円形開口部を通る第1の内面の移動により、上部部分及び基部を分離位置から接合位置に移動可能にする適合性のある形状を有する。その結果、上部部分及び基部が接合位置にあるとき、第1及び第2の内面が入れ子状の配置を形成して、第1及び第2の取り付け構造間の相互作用を可能にし、延在部分は基部に接する。第1及び第2の取り付け構造は、第1及び第2の部分が接合位置にあるとき、磁気引力を介して互いに確実であるが分離可能な接続を形成するように構成される。上部部分及び底部は、分離位置と接合位置との間で上部部分及び基部を移動するために、上部部分及び基部の一方又は両方の人間の手動操作により確実に接合され且つ分離されるように構成される。
【0074】
いくつかの実施形態では、電子装置の外部の表面は、独立型ドッキングステーション、カウンター、家具(例えば、テレビ台)、若しくは電化製品(例えば、メディアプレイヤー)の一部である、外部電源及び/又はデータコネクタにアクセスするための電気接点を設けるように構成される。いくつかの実施形態では、上部部分の底面は、独立型ドッキングステーション、カウンタ、家具、若しくは電化製品の一部である、外部電源及び/又はデータコネクタにアクセスするための電気接点を設けるように構成される。電子装置は、底部の有無にかかわらず、ドッキングステーション、カウンタ、家具又は電化製品の上に配置することができる。
【0075】
いくつかの実施形態では、音響導波管434はまた、電子部品の動作によって発生した熱を電子装置の外部に放散するためのヒートシンクとして機能するように構成され、電子部品の少なくともいくつかに近接してマウントされる。(例えばPCB432、すなわちプリント回路基板432上にマウントされた部品)。
【0076】
いくつかの実施形態では、1つ以上のスピーカ436は電子装置404の基部408(例えば「底部ハウジング」)にマウントされ、二重目的の導波管/ヒートシンク434の湾曲部分に向かって、装置内で上方を向く主音響放射方向を有する。湾曲部分は、1つ以上のスピーカ436から電子装置404の外部への音の出力方向を変えるように設計される。発熱する電子部品及び/又は電子部品を坦持する1つ以上のプリント回路基板432は、電子部品の動作によって発生する熱をヒートシンクに伝達するように、二重目的の導波管/ヒートシンク434の第2の部分に直接取り付けられる(又は熱伝導路を用いて間接的にそこへ結合される)。ヒートシンク434は、取り付けられた電子部品からそこへ伝達された熱を電子装置の外部に移動するように構成される。いくつかの実施形態では、ヒートシンク434は、装置の内部から装置の外部への熱の移動を促進するために、高い有効熱伝導度を有する材料から作られる。いくつかの実施形態では、湾曲部分は、二重目的の導波管/ヒートシンク434の底面(例えば、1つ以上のスピーカ436へ向かって下を向いている面)であり、第2の部分は、二重目的の導波管/ヒートシンク434の底面の反対側の、二重目的の導波管/ヒートシンク434の上面(例えば、電子部品が取り付けられている、上方を向いている面)である。当業者には明らかなように、導波管/ヒートシンク434の上部及び下部部分の、他の形状並びに形態を使用することができる。
【0077】
いくつかの実施形態では、1つ以上のスピーカ436が電子装置404の上部部分406に配置され、二重目的の導波管/ヒートシンクの(湾曲された)上面へ向かって下方へ突出するように、電子部品が電子装置404の基部408にマウントされ、導波管/ヒートシンク434が電子装置の下部(例えば「底部ハウジング」)にマウントされるように、電子部品及び1つ以上のスピーカ436の位置は交換される。
【0078】
いくつかの実施形態では、音響導波管設計は、スピーカ436から所望の出力ポートへ音を伝達し、PCB432に熱的に取り付けられて、導波管434がヒートシンク/スプレッダとして機能することも可能にする。導波管/ヒートシンク434をハウジングの内部に巻きつけることは、熱放射のための、より大きなサーマルマス(thermal mass)及び、より大きな表面を可能にする。いくつかの実施形態では、導波管の巻かれた部分上の切り欠きパターンは熱効率を高め、音が外へ伝達することを可能にする。いくつかの実施形態では、スピーカ機能中に、音波はまた、導波管/ヒートシンク434を越えて空気を吹き流し、このようにして最大熱発生時の熱性能をさらに向上させる。
【0079】
いくつかの実施形態では、
図4Eに示すように、導波管/ヒートシンクの円錐は、上向きのスピーカ436から側面へ音の出力方向を変える。PCB432は導波管434の直接上にあるので、それはヒートシンクとしても使用される。導波管434は任意の材料であり得るが、ヒートシンクは高熱伝導性材料であるべきである。いくつかの実施形態では、導波管材料は金属(例えば、アルミニウム又は銅)であるが、導波管/ヒートシンク434は、金属以外の材料から作ることもできる。
【0080】
図4Fは、いくつかの実施形態に従う、例示的な音声起動式電子装置の分解立体図である。これは、音波の伝達を可能にする穴のあいた上部部分406、PCB432、音響導波管/ヒートシンク434、導波管の底部及びスピーカアセンブリ436並びに基部408を示す。
【0081】
本明細書中に記載されるさまざまな実現例の説明で用いる術語は、特定の実現例のみを説明する目的のためのものであり、限定を意図するものではない。記載されるさまざまな実現例の説明及び添付の請求項で用いるような「a」、「an」、及び「the」という単数
形は、文脈が明確にそうでないと示していなければ、複数形も含むことが意図される。本明細書中で用いるような「及び/又は」という用語は、列挙される関連の項目のうち1つ以上のありとあらゆる可能な組合せを参照し且つこれを包含することも理解される。「含む」、「含んでいる」、「備える」、及び/又は「備えている」という用語は、この明細書で用いる場合、述べる特徴、整数、ステップ、操作、要素、及び/又は構成要素の存在を特定するが、1つ以上の他の特徴、整数、ステップ、操作、要素、構成要素、及び/又はその群の存在又は追加を排除するわけではないことがさらに理解される。
【0082】
本明細書中で用いるような「ならば(if)」という用語は、任意に、文脈に依存して、「したとき」又は「すると」又は「判定することに応答して」又は「検出することに応答して」又は「という判定に従って」を意味すると解釈される。同様に、「判定されれば」又は「[述べた条件又はイベントが]検出されれば」という句は、任意に、文脈に依存して、「判定すると」又は「判定に応答して」又は「[述べた条件又はイベントを]検出すると」又は「[述べた条件又はイベントを]検出するのに応答して」又は「[述べた条件又はイベントが]検出されるという判定に従って」を意味すると解釈される。
【0083】
「スマートメディア環境」は、単一世帯の家などの家庭用スマート環境を指し得るが、本教示の範囲はそのように限定されないことを認めるべきである。本教示は、限定されることなく、二世帯住宅、タウンホーム、複数ユニット共同住宅、ホテル、小売店、オフィスビル、工業用建物、及びより一般的に任意の生活空間又は作業空間にも適用可能である。
【0084】
ユーザ、顧客、設置作業者、住宅所有者、居住者、来客、テナント、家主、修理人などの用語は、本明細書中に記載されるある特定的な状況の文脈で行為を行なう1人の人又は複数の人を指すのに用いられ得るが、これらの参照は、そのような行為を行なっている1人の人又は複数の人に本教示の範囲を限定するものではないことも認めるべきである。こ
のように、たとえば、ユーザ、顧客、購入者、設置作業者、加入者、及び住宅所有者という用語はしばしば、単一世帯住居の場合は、同じ人物を参照し得る。なぜなら、世帯主がしばしば購入の決定を行ない、ユニットを購入し、ユニットを設置し且つ構成し、且つユニットのユーザの1人でもある人物だからである。しかしながら、家主-テナント環境などの他のシナリオでは、顧客はユニットの購入については家主であり得、設置作業者はその土地のアパートの管理人であり得、第1のユーザはテナントであり得、第2のユーザは遠隔操作機能性については再び家主であり得る。重要なことに、行為を行なう人物のアイデンティティは、実現例のうち1つ以上が与える特定の利点に密接な関係があり得る一方で、以下の説明では、そのようなアイデンティティは、本教示の範囲をそれらの特定のアイデンティティを有するそれらの特定の個人に必ず限定すると解釈されるべきではない。
【0085】
さまざまな図面は特定の順序で複数の論理的段階を示すが、順序に依存しない段階を再度順序付けてもよく、他の段階を組合せたり切離したりしてもよい。何らかの再順序付け又は他のグループ分けに具体的に言及がされるが、他のものが当業者には自明であり、そのため、本明細書中に提示される順序付け及びグループ分けは代替策の網羅的な列挙ではない。さらに、ハードウェア、ファームウェア、ソフトウェア、又はその任意の組合せで段階を実現可能であることを認識すべきである。
【0086】
具体的な実現例を参照して、説明の目的のための以上の説明を記載した。しかしながら、例示的な上記の議論は、網羅的であること又は開示される正確な形態に請求項の範囲を限定することを意図しない。上記教示に鑑みて多数の修正例及び変更例が可能である。実現例は、請求項の基礎をなす原則及びそれらの実践的な適用例を最良に説明し、それにより、当業者が、企図される特定の用途に適するようなさまざまな修正例とともに実現例を最良に用いることができるようにするために選択された。