特許 6797938 媒体出力装置間での媒体転送

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6797938

(24)【登録日】2020年11月20日

(45)【発行日】2020年12月9日

(54)【発明の名称】媒体出力装置間での媒体転送

(51)【国際特許分類】

   H04N 21/436 20110101AFI20201130BHJP

   G06F 13/00 20060101ALI20201130BHJP

   G06F 3/16 20060101ALI20201130BHJP

   G06F 3/01 20060101ALI20201130BHJP

   G10L 15/10 20060101ALI20201130BHJP

   G10L 15/30 20130101ALI20201130BHJP

【ＦＩ】

   H04N21/436

   G06F13/00 540A

   G06F3/16 630

   G06F3/16 650

   G06F3/16 620

   G06F3/01 510

   G10L15/10 500T

   G10L15/10 200W

   G10L15/30

【請求項の数】16

【全頁数】42

(21)【出願番号】特願2018-559837(P2018-559837)

(86)(22)【出願日】2017年5月11日

(65)【公表番号】特表2019-526177(P2019-526177A)

(43)【公表日】2019年9月12日

(86)【国際出願番号】US2017032263

(87)【国際公開番号】WO2017197187

(87)【国際公開日】20171116

【審査請求日】2019年1月22日

(31)【優先権主張番号】62/336,569

(32)【優先日】2016年5月13日

(33)【優先権主張国】US

(31)【優先権主張番号】15/592,126

(32)【優先日】2017年5月10日

(33)【優先権主張国】US

(31)【優先権主張番号】62/336,565

(32)【優先日】2016年5月13日

(33)【優先権主張国】US

(31)【優先権主張番号】62/336,551

(32)【優先日】2016年5月13日

(33)【優先権主張国】US

(31)【優先権主張番号】62/336,566

(32)【優先日】2016年5月13日

(33)【優先権主張国】US

(31)【優先権主張番号】15/592,120

(32)【優先日】2017年5月10日

(33)【優先権主張国】US

(31)【優先権主張番号】15/592,128

(32)【優先日】2017年5月10日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】シャー，ラウナク

(72)【発明者】

【氏名】バン・デア・スターイ，マット

【審査官】 松元 伸次

(56)【参考文献】

【文献】 国際公開第２０１４／００１９１４（ＷＯ，Ａ２）

【文献】 特開２００４−１０２４１５（ＪＰ，Ａ）

【文献】 特開２０１４−００３６１０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ３／０１

３／０４８−３／０４８９

３／１６

１３／００

Ｇ１０Ｌ１５／００−１７／２６

Ｈ０４Ｎ７／１０

７／１４−７／１７３

７／２０−７／５６

２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

媒体コンテンツ表示の再生を移動させるための方法であって、
プロセッサと、前記プロセッサによる実行のための少なくとも１つのプログラムを記憶するメモリとを含むサーバシステムにおいて、
電子デバイスを介して音声メッセージを受信することと、
前記音声メッセージが媒体転送要求を含むと判定することとを備え、前記媒体転送要求は、再生中の媒体コンテンツを送り先媒体出力装置に転送するというユーザ音声コマンドと、前記送り先媒体出力装置のユーザ音声指定とを含み、さらに
送り側キャストデバイスから、現在再生中の前記媒体コンテンツの即時媒体再生情報を取得することを備え、前記即時媒体再生情報は、第１の媒体再生アプリケーションの情報と、現在再生中の前記媒体コンテンツと、前記媒体コンテンツの再生に関する時間的位置とを少なくとも含み、さらに
前記送り先媒体出力装置の前記ユーザ音声指定に従って、ユーザドメインにおいて前記電子デバイスに関連付けられかつ前記送り先媒体出力装置に結合される送り先キャストデバイスを識別することを備え、前記送り先キャストデバイスは、前記送り先媒体出力装置を制御して１つ以上の媒体コンテンツホストから受信した媒体コンテンツを再生するための１つ以上の媒体再生アプリケーションを実行するように構成され、さらに
ユーザの介入無しで、前記即時媒体再生情報を含む媒体再生要求を前記送り先キャストデバイスに送り、これにより、前記送り先キャストデバイスは、前記送り先媒体出力装置を制御して前記時間的位置から前記媒体コンテンツを再生する前記第１の媒体再生アプリケーションを実行できるようになることを備える、方法。

【請求項2】

前記送り先キャストデバイスはデバイスレジストリにおいて識別され、前記送り側キャストデバイスから現在再生中の前記媒体コンテンツの前記即時媒体再生情報を取得することはさらに、
前記媒体コンテンツが送り側媒体出力装置で現在再生中であると識別することと、
前記デバイスレジストリにおいて、前記ユーザドメインにおいて前記電子デバイスに関連付けられかつ前記送り側媒体出力装置に結合される前記送り側キャストデバイスを識別することと、
媒体情報要求を前記送り側キャストデバイスに送ることと、
前記送り側キャストデバイスから前記即時媒体再生情報を受信することとを備える、請求項１に記載の方法。

【請求項3】

前記ユーザ音声コマンドに従って媒体停止要求を前記送り側キャストデバイスに送り、これにより、前記送り側キャストデバイスは、前記送り側媒体出力装置上での前記媒体コンテンツの前記再生を見合わせるように、前記送り側媒体出力装置に結合される前記送り側キャストデバイスを制御する前記第１の媒体再生アプリケーションを実行できるようになることをさらに備える、請求項２に記載の方法。

【請求項4】

前記電子デバイスは、第１の場所に位置する前記送り側キャストデバイスに近接して配設される、請求項１から３のいずれか１項に記載の方法。

【請求項5】

前記電子デバイスは、第２の現場に位置する送り先表示装置および前記送り先キャストデバイスに近接して配置される、請求項１から４のいずれか１項に記載の方法。

【請求項6】

前記電子デバイス、前記送り側キャストデバイス、および前記送り先キャストデバイスは、前記ユーザドメインにおいてユーザアカウントに関連付けられる、請求項１から５のいずれか１項に記載の方法。

【請求項7】

前記ユーザアカウントはグーグルユーザアカウントである、請求項６に記載の方法。

【請求項8】

前記サーバシステムは、２つの別々の媒体出力装置上でそれぞれ再生するために前記媒体コンテンツを前記送り側キャストデバイスおよび前記送り先キャストデバイスに与えるコンテンツホストとは別である、請求項１から７のいずれか１項に記載の方法。

【請求項9】

前記サーバシステムは、前記電子デバイス、前記送り側キャストデバイスおよび前記送り先キャストデバイス、ならびに前記送り先媒体出力装置から遠隔に位置する、請求項１から８のいずれか１項に記載の方法。

【請求項10】

前記時間的位置は、前記ユーザが送り先表示装置への前記媒体コンテンツの前記移動を要求したときに記録される、請求項１から９のいずれか１項に記載の方法。

【請求項11】

前記音声メッセージを構文解析しかつ前記ユーザ音声コマンドおよび前記送り先媒体出力装置の前記ユーザ音声指定を識別する音声支援サーバに前記音声メッセージを移送することと、
前記音声支援サーバから前記ユーザ音声コマンドおよび前記送り先媒体出力装置の前記ユーザ音声指定を受信することとをさらに備える、請求項１から１０のいずれか１項に記載の方法。

【請求項12】

前記送り先キャストデバイスはデバイスレジストリにおいて識別され、前記送り先媒体出力装置の前記ユーザ音声指定は前記送り先媒体出力装置の記述を含み、前記方法はさらに、前記デバイスレジストリにおいて、前記送り先媒体出力装置の前記記述に従って複数の媒体出力装置の中から前記送り先媒体出力装置を識別することを備える、請求項１から１１のいずれか１項に記載の方法。

【請求項13】

前記送り先媒体出力装置の前記記述は、前記送り先媒体出力装置のブランドまたは場所を少なくとも含む、請求項１２に記載の方法。

【請求項14】

前記即時媒体再生情報はプレイリスト識別子を含む、請求項１から１３のいずれか１項に記載の方法。

【請求項15】

サーバシステムであって、
１つ以上のプロセッサと、
命令を記憶したメモリとを備え、前記命令は、前記１つ以上のプロセッサによって実行されると、前記プロセッサに請求項１から１４のいずれか１項に記載の方法を実行させる、サーバシステム。

【請求項16】

サーバシステムの少なくとも１つのプロセッサによって実行されるプログラムであって、請求項１から１４のいずれか１項に記載の方法を実行する命令を備える、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この出願は、一般的に、音声起動電子デバイスを用いてスマートメディア環境中の異なる媒体出力装置間での媒体コンテンツ転送を開始するための方法およびシステムを含むがそれらに限定されないコンピュータ技術に関する。

【背景技術】

【0002】

背景
マイクと一体化される電子デバイスは、音声入力をユーザから収集し、かつ音声入力に従って異なる音声起動機能を実現するために広く用いられている。たとえば、多数の現行技術の移動体装置は、音声入力を用いて、通話を開始する、レストラン探しを行なう、地図上の経路指定を開始する、カレンダーイベントを作成する、ソーシャルネットワークへの投稿を追加する、歌を認識する、かつ多数の他のタスクを完了するように構成される音声アシスタントシステム（たとえばシリ（Siri）（登録商標）およびGoogle（登録商標）アシスタント）を含む。移動体装置はしばしば、音声入力を与えるユーザが、要求されるタスクのステータスを音声入力を介してチェックできるようにする表示画面を含む。しかしながら、構造が比較的単純でかつ低コストで製造される電子デバイスが移動体装置として同様の音声起動機能を実現するように適用されると、表示画面を用いることによって電子デバイスのコストが大幅に増大してしまうであろう。そのため、１つ以上のマイクを含みかつ音声インターフェイスとして機能する電子デバイスにおいて音声入力処理のステータスを示す単純かつ低コストのユーザインターフェイスを用いる必要性がある。

【0003】

さらに、移動体装置で現在実現されている音声起動機能は、遠隔のサーバ（たとえば、サーチエンジン、ソーシャルネットワークサーバ、または音声アシスタントサーバ）を介するインターネットベースの機能に限られている。音声起動機能の結果は、移動体装置自身の上に表示されたり、これを制御するために用いられたりして、ユーザにアクセス可能ないずれの他の遠隔のまたはローカルの電子デバイスにも影響を与えない。音声入力がユーザにとって便利であることを考慮すると、遠隔のサーバと移動体装置との間に限定されるインターネットベースの機能を要求することに加えて、ユーザが、音声入力を用いて、ユーザにアクセス可能な他の電子デバイスを制御できるようにすることが有利である。

【発明の概要】

【課題を解決するための手段】

【0004】

要約
したがって、電子デバイスが、スマートメディアまたはスマートホーム環境内で結合される他の媒体再生装置またはスマートホームデバイス上に、音声起動機能を起動させるアイズフリーかつハンズフリーの音声インターフェイスを提供するスマートメディア環境またはスマートホーム環境を作り出す必要性がある。この適用例のある実現例では、スマートメディア環境は、１つ以上の音声起動電子デバイスと、各々が別個の場所に配設されかつキャストデバイス（たとえばセットトップボックス）に結合される複数の媒体表示装置とを含む。各々の音声起動電子デバイスは音声メッセージを記録するように構成されており、クラウドキャストサービスサーバは、そこからユーザ音声要求（たとえば、媒体再生要求、媒体転送要求、またはクローズドキャプション開始要求）を判定する。次にクラウドキャストサービスサーバは、音声メッセージが示すように、ユーザ音声要求を送り先キャストデバイスに向ける。音声起動電子デバイスは、対応の音声処理状態を示すフルカラーＬＥＤのアレイを介して視覚的パターンを表示するようにも構成される。同様の配置を用いてスマートホームデバイスを制御してスマートホーム環境で音声起動機能を実現することができる。そのような方法は任意に、ユーザが遠隔操作またはクライアントデバイスを用いてスマートメディアまたはホーム環境で媒体装置またはスマートホームデバイスを制御することを要件とする従来の方法を補うまたは置き換える。

【0005】

この出願の１つの局面に従うと、方法は、音声処理状態を視覚的に示すための電子デバイスにおいて実現される。電子デバイスは、フルカラーＬＥＤのアレイと、１つ以上のマイクと、スピーカと、プロセッサと、プロセッサによる実行のための少なくとも１つのプログラムを記憶するメモリとを含む。方法は、１つ以上のマイクを介して電子デバイスに近接した環境からオーディオ入力を収集することと、オーディオ入力を処理することとを含む。処理することは、環境中のユーザからの音声入力を識別することと、これに応答することとのうち１つ以上を含む。方法はさらに、複数の予め規定された音声処理状態の中から処理の状態を判定することと、フルカラーＬＥＤの各々毎に、判定された音声処理状態に関連付けられるそれぞれの予め定められたＬＥＤ照明仕様を識別することとを含む。照明仕様は、ＬＥＤ照明持続時間、パルスレート、デューティサイクル、色順、および明るさのうち１つ以上を含む。方法はさらに、フルカラーＬＥＤの識別されたＬＥＤ照明仕様に従って、フルカラーＬＥＤのアレイの照明を同期させて、判定された音声処理状態を示す視覚的パターンを与えることを含む。

【0006】

この出願の１つの局面に従うと、方法は、プロセッサと、媒体出力装置上で媒体コンテンツを再生するためにプロセッサが実行するための少なくとも１つのプログラムを記憶するメモリとを含むサーバシステムにおいて実行される。媒体コンテンツ再生方法は、電子デバイスが記録する音声メッセージを受信することと、音声メッセージが第１の媒体再生要求を含むと判定することとを含む。第１の媒体再生要求は、送り先媒体出力装置上で媒体コンテンツを再生するというユーザ音声コマンドと、媒体出力装置のユーザ音声指定とを含み、ユーザ音声コマンドは、第１の媒体再生アプリケーションの情報と、再生する必要がある媒体コンテンツとを少なくとも含む。媒体コンテンツ再生方法はさらに、媒体出力装置の音声指定に従って、（たとえばデバイスレジストリにおいて）、ユーザドメインにおいて電子デバイスに関連付けられかつ媒体出力装置に結合されるキャストデバイスを識別することを含む。キャストデバイスは、媒体出力装置を制御して、１つ以上の媒体コンテンツホストから受信した媒体コンテンツを再生するための１つ以上の媒体再生アプリケーションを実行するように構成される。媒体コンテンツ再生方法はさらに、第１の媒体再生アプリケーションの情報と再生する必要がある媒体コンテンツとを含む第２の媒体再生要求をキャストデバイスに送り、これにより、キャストデバイスは、媒体出力装置を制御して媒体コンテンツを再生する第１の媒体再生アプリケーションを実行できるようになることを含む。

【0007】

この出願の別の局面に従うと、方法は、プロセッサと、媒体コンテンツ用のクローズドキャプション（ＣＣ）の表示を音声によって開始するためのプロセッサによる実行のための少なくとも１つのプログラムを記憶するメモリとを含むサーバシステムにおいて実行される。ＣＣ表示媒体方法は、電子デバイスが記録する音声メッセージを受信することと、音声メッセージが第１のクローズドキャプション開始要求であると判定することとを含む。第１のクローズドキャプション開始要求は、クローズドキャプションを開始するというユーザ音声コマンドと、クローズドキャプションをそれについて起動すべき媒体コンテンツを再生する表示装置のユーザ音声指定とを含む。ＣＣ表示方法はさらに、表示装置の指定に従って、（たとえばデバイスレジストリにおいて）、ユーザドメインにおいて電子デバイスに関連付けられかつ指定された表示装置に結合されるキャストデバイスを識別することを含む。キャストデバイスは、指定された表示装置を制御して、媒体コンテンツホストから受信した媒体コンテンツを表示するための媒体再生アプリケーションを実行するように構成される。ＣＣ表示方法はさらに、指定された表示装置に結合されたキャストデバイスに第２のクローズドキャプション開始要求を送り、これにより、キャストデバイスは、指定された表示装置を制御して、指定された表示装置上に現在表示されている媒体コンテンツのクローズドキャプションをオンにしかつ第２のクローズドキャプション開始要求に従ってクローズドキャプションを表示する媒体再生アプリケーションを実行できるようになることを含む。

【0008】

この出願の別の局面に従うと、方法は、プロセッサと、媒体コンテンツ表示を送り側媒体出力装置から送り先媒体出力装置に移動させるためのプロセッサによる実行のための少なくとも１つのプログラムを記憶するメモリとを含むサーバシステムにおいて実行される。媒体転送方法は、電子デバイスが記録する音声メッセージを受信することと、音声メッセージが媒体転送要求を含むと判定することとを含む。媒体転送要求は、再生中の媒体コンテンツを送り先媒体出力装置に転送するというユーザ音声コマンドと、送り先媒体出力装置のユーザ音声指定とを含む。媒体転送方法はさらに、現在再生中の媒体コンテンツの即時媒体再生情報を送り側キャストデバイスから取得することを含む。即時再生情報は、第１の媒体再生アプリケーションの情報と、現在再生中の媒体コンテンツと、媒体コンテンツの再生に関する時間的位置とを少なくとも含む。媒体転送方法はさらに、送り先媒体出力装置の音声指定に従って、（たとえばデバイスレジストリにおいて）、ユーザドメインにおいて電子デバイスに関連付けられかつ送り先媒体出力装置に結合される送り先キャストデバイスを識別することを含み、送り先キャストデバイスは、送り先媒体出力装置を制御して、１つ以上の媒体コンテンツホストから受信した媒体コンテンツを再生するための１つ以上の媒体再生アプリケーションを実行するように構成される。媒体転送方法はさらに、即時媒体再生情報を含む媒体再生要求を送り先キャストデバイスに送り、これにより、送り先キャストデバイスは、送り先媒体出力装置を制御して、当該時間的場所から媒体コンテンツを再生する第１の媒体再生アプリケーションを実行できるようになることを含む。

【0009】

ある実現例に従うと、キャストデバイスは、上述の方法のうちいずれかの動作を行なうための手段を含む。

【0010】

さまざまな記載される実現例のより十分な理解のために、以下の図面に関連して以下の実現例の説明を参照すべきである。図面中、同様の参照番号は、図を通して対応の部分を参照する。

【図面の簡単な説明】

【0011】

【図1】ある実現例に従う例示的なスマートメディア環境である。

【図2A】ある実現例に従う、音声起動電子デバイスがスマートメディア環境のキャストデバイス、クライアントデバイス、またはサーバシステムと対話する例示的な動作環境である。

【図2B】図２Ａに示される制御経路Ｂに従ってキャストデバイスおよびその関連付けられる媒体再生行動を制御する媒体再生制御プロセスの例示的なフローチャートである。

【図3】ある実現例に従って、キャストデバイスがスマートメディア環境のクライアントデバイス、音声起動電子デバイス、またはサーバシステムと対話する別の例示的な動作環境である。

【図4A】ある実現例に従う音声起動電子デバイスの正面図である。

【図4B】ある実現例に従う音声起動電子デバイスの背面図である。

【図4C】ある実現例に従う、開いた構成における、電子デバイス１９０のベースに内蔵されるスピーカを示す音声起動電子デバイス１９０の斜視図である。

【図4D】ある実現例に従う、音声起動電子デバイスに内蔵される電子構成要素を示す音声起動電子デバイスの側面図である。

【図4E】ある実現例に従う、音声起動電子デバイスに内蔵される電子構成要素を示す音声起動電子デバイスの拡大図である。

【図4F(1)】ある実現例に従う音声起動電子デバイスのタッチ検知アレイ上で検出されるタッチイベントを示す図である。

【図4F(2)】ある実現例に従う音声起動電子デバイスのタッチ検知アレイ上で検出されるタッチイベントを示す図である。

【図4F(3)】ある実現例に従う音声起動電子デバイスのタッチ検知アレイ上で検出されるタッチイベントを示す図である。

【図4F(4)】ある実現例に従う音声起動電子デバイスのタッチ検知アレイ上で検出されるタッチイベントを示す図である。

【図4F(5)】ユーザがある実現例に従う音声起動電子デバイスの背面側のボタンを押す様子を示す図である。

【図4G】ある実現例に従う音声起動電子デバイスの上面図である。

【図4H】ある実現例に従う、音声処理状態を示すためのフルカラーＬＥＤのアレイによって表示される６つの例示的な視覚的パターンを示す図である。

【図5】ある実現例に従ってスマートメディア環境でユーザ音声コマンドを収集する音声インターフェイスとして適用される例示的な電子デバイスを示すブロック図である。

【図6】ある実現例に従ってスマートメディア環境において媒体コンテンツの表示の自動制御のために適用される例示的なキャストデバイスを示すブロック図である。

【図7】ある実現例に従う、スマートメディア環境のサーバシステム１４０中のクラウドキャストサービスサーバの１つである例示的なサーバを示すブロック図である。

【図8】ある実現例に従ってスマートメディア環境において媒体表示の自動制御のために適用される例示的なクライアントデバイスを示すブロック図である。

【図9】ある実現例に従う、スマートメディア環境中の例示的なスマートホームデバイスを示すブロック図である。

【図10】ある実現例に従う、音声処理状態を視覚的に示す方法を示すフロー図である。

【図11】ある実現例に従う、媒体コンテンツのためのクローズドキャプションの表示を音声によって開始する方法を示すフロー図である。

【図12】ある実現例に従う、媒体出力装置上での媒体コンテンツの再生を音声によって開始する方法を示すフロー図である。

【図13】ある実現例に従う、送り側媒体出力装置から送り先媒体出力装置に媒体コンテンツの再生を移動させる方法を示すフロー図である。

【発明を実施するための形態】

【0012】

実現例の説明
図面のいくつかの図を通して同様の参照番号は対応の部分を参照する。

【0013】

デジタル革命は、情報をオープンに共有することから地球規模の共同体感にまで及ぶ多数の利点を与えてきたが、新興技術は、消費者の間に混乱、懐疑、および恐れを誘発し、消費者が技術から利益を得るのを妨げることが多い。電子デバイスは、ユーザから音声入力を受信して音声起動機能を開始し、これによりアイズフリーかつハンズフリーの解決策を提供して既存技術と新興技術との双方にアプローチする音声インターフェイスとして便利に用いられる。具体的に、電子デバイスで受信される音声入力は、ユーザの視線が遮られかつ両手が塞がっている場合ですら、命令および情報を伝えることができる。ハンズフリーかつアイズフリー経験を可能にするために、音声起動電子デバイスは、常にまたはトリガされたときだけ、周囲をリッスンする（すなわち、周囲から集めたオーディオ信号を処理する）。一方で、ユーザアイデンティティは、ユーザの声およびユーザが用いる言語にリンクされる。ユーザアイデンティティを保護するため、音声起動電子デバイスは通常、保護された、管理された、かつ親密な空間（たとえば家および車）である非公開の場所で用いられる。

【0014】

発明のある実現例に従うと、音声起動電子デバイスは、フルカラー発光ダイオード（ＬＥＤ）のアレイを含む。電子デバイスが１つ以上のマイクから収集したオーディオ入力を処理する間、フルＬＥＤのアレイが点灯して、処理の状態に応じて判定されるＬＥＤ照明仕様に従う視覚的パターンを与える。フルカラーＬＥＤのアレイは、各々が音声処理状態（たとえば、ホットワード検出、リッスン中、考え中、および話し中）に対応する複数の視覚的パターンを提供するように構成される。視覚的パターンを作成するのに用いられるこのＬＥＤ設計言語は、ユーザの混乱、懸念、および心配という問題を少なくとも部分的に解決しかつ対応の音声インターフェイス経験の理解、採用、および楽しみを促すように適用される。

【0015】

さらに、発明のある実現例に従うと、音声起動電子デバイスは、音声入力を用いて、表示装置上での映像のプレイバックを開始および制御する。具体的に、サーバシステム（たとえばクラウドキャストサービスサーバ）は、音声起動電子デバイスが記録する音声メッセージを受信し、音声メッセージが、（任意に音声起動電子デバイス自身を含む）媒体出力装置上で媒体コンテンツを再生するというユーザ音声コマンドと媒体出力装置のユーザ音声指定とをさらに含む媒体再生要求を含むと判定する。ユーザ音声コマンドは、第１の媒体再生アプリケーションの情報と、再生する必要がある媒体コンテンツとを少なくとも含む。媒体出力装置の音声指定に従って、サーバシステムは、ユーザドメインにおいて電子デバイスに関連付けられかつ媒体出力装置に結合されるキャストデバイスを識別し、キャストデバイスは、媒体出力装置を制御して、１つ以上の媒体コンテンツホストから受信した媒体コンテンツを再生するための１つ以上の媒体再生アプリケーションを実行するように構成される。次にサーバシステムは、キャストデバイスに、第１の媒体再生アプリケーションの情報と、再生する必要がある媒体コンテンツとを送り、これにより、キャストデバイスは、媒体出力装置を制御して媒体コンテンツを再生する第１の媒体再生アプリケーションを実行できるようになる。

【0016】

ある実現例では、媒体コンテンツが媒体出力装置上に表示される間、音声起動電子デバイスは、遠隔操作または第２の画面装置（たとえば、携帯電話、タブレットコンピュータ、およびラップトップコンピュータ）とのユーザ対話を全く介することなく、ユーザが自分の声を用いてＴＶ上のキャプションをオンしたりオフしたりできるようにする。具体的に、サーバシステムは、クローズドキャプションを開始するというユーザ音声コマンドと、クローズドキャプションをそれについて起動すべき媒体コンテンツを再生する表示装置のユーザ音声指定とを含む第１のクローズドキャプション開始要求を音声メッセージから判定するように構成される。ユーザドメインにおいて電子デバイスに関連付けられかつ指定された表示装置に結合されるキャストデバイスを識別した後に、サーバシステムは、キャストデバイスに第２のクローズドキャプション開始要求を送り、これにより、キャストデバイスは、指定された表示装置を制御して、指定された表示装置上に現在表示されている媒体コンテンツのクローズドキャプションをオンにし、かつ第２のクローズドキャプション開始要求に応じてクローズドキャプションを表示する媒体再生アプリケーションを実行できるようになる。

【0017】

さらに、発明のある実現例に従うと、媒体コンテンツが第１の媒体出力装置上で表示されている間、音声起動電子デバイスは、ユーザが、自分の声を用いて第１の媒体出力装置から第２の媒体出力装置への媒体コンテンツの媒体転送を開始できるようにする。転送は、少なくとも、第１の媒体出力装置上で再生されていた媒体コンテンツの正確な地点で第２の媒体出力装置上で媒体コンテンツを再開することによって対応の媒体再生状態を維持する。

【0018】

具体的に、サーバシステムは、再生中の媒体コンテンツを送り先媒体出力装置に転送するというユーザ音声コマンドと、送り先媒体出力装置のユーザ音声指定とを含む媒体転送要求を音声メッセージから判定するように構成される。次にサーバシステムは、送り側キャストデバイスから現在再生中の媒体コンテンツの即時媒体再生情報を取得し、即時再生情報は、第１の媒体再生アプリケーションの情報と、現在再生中の媒体コンテンツと、媒体コンテンツの再生に関する時間的位置とを少なくとも含む。ユーザドメインにおいて電子デバイスに関連付けられかつ指定された表示装置に結合される送り先キャストデバイスを識別した後、サーバシステムは、送り先キャストデバイスに即時媒体再生情報を含む媒体再生要求を送り、これにより、送り先キャストデバイスは、送り先媒体出力装置を制御して、当該時間的場所から媒体コンテンツを再生する第１の媒体再生アプリケーションを実行できるようになる。ある実現例では、送り先キャストデバイスはデバイスレジストリにおいて識別される。

【0019】

ここで実現例を詳細に参照し、その例を添付の図面に示す。以下の詳細な説明では、さまざまな記載される実現例の完全な理解を与えるために、数多くの具体的な詳細を述べる。しかしながら、当業者には、これらの具体的な詳細がなくてもさまざまな記載される実現例を実践し得ることが明らかであろう。他の事例では、実現例の局面を不要に曖昧にしないために、周知の方法、手順、構成要素、回路、およびネットワークを詳細に説明していない。

【0020】

スマートメディア／ホーム環境
図１は、ある実現例に従う例示的なスマートメディア環境１００である。スマートメディア環境１００は、さまざまな一体化されたデバイスを有する構造１５０（たとえば、家、オフィスビル、ガレージ、または移動住宅）を含む。デバイスは、マンション、コンドミニアム、またはオフィス空間などの全体構造１５０を含まないスマートメディア環境１００に一体化されることがあることが認められる。描かれた構造１５０は、壁１５４を介して互いから少なくとも部分的に分離された複数の部屋１５２を含む。壁１５４は内壁または外壁を含むことがある。各々の部屋は、床１５６および天井１５８をさらに含むことがある。

【0021】

１つ以上の媒体装置をスマートメディア環境１００の中に配設して、ローカルコンテンツソースに記憶されるまたは遠隔のコンテンツソース（たとえばコンテンツホスト１１４）からストリーム配信される媒体コンテンツを提供する。媒体装置は、２つのカテゴリ、すなわち、媒体コンテンツを視聴者に直接に出力する媒体出力装置１０６と、媒体コンテンツを媒体出力装置１０８にストリーム配信するようにネットワーク化されるキャストデバイス１０８と、に分類することができる。媒体出力装置１０６の例は、テレビ（ＴＶ）表示装置および音楽プレイヤを含むが、これらに限定されない。キャストデバイス１０８の例は、セットトップボックス（ＳＴＢ）、ＤＶＤプレイヤ、およびＴＶボックスを含むが、これらに限定されない。例示的なスマートメディア環境１００では、媒体出力装置１０６は１つよりも多くの場所に配設され、各々の媒体出力装置１０６は、それぞれのキャストデバイス１０８に結合されるかまたは内蔵キャスティングユニットを含む。媒体出力装置１０６−１は、ＤＶＤプレイヤまたはセットトップボックス１０８−１に配線接続されるＴＶディスプレイを含む。媒体出力装置１０６−２は、内蔵キャスティングユニットを一体化して媒体コンテンツをストリーム配信してその視聴者に対して表示するスマートＴＶデバイスを含む。媒体出力装置１６０−３は、ＴＶボックス１０８−３（たとえば、グーグルＴＶまたはアップルＴＶ製品）に結合される通常のＴＶディスプレイを含み、そのようなＴＶ１０８−３は、媒体コンテンツホストサーバ１１４から受信した媒体コンテンツをストリーム配信し、インターネットへのアクセスを提供して、媒体出力装置１０６−３上にインターネットベースのコンテンツを表示する。

【0022】

媒体装置１０６および１０８に加えて、１つ以上の電子デバイス１９０がスマートメディア環境１００の中に配設されて、媒体装置のさまざまな媒体再生機能を開始するためのオーディオ入力を収集する。ある実現例では、これらの音声起動電子デバイス１９０（たとえば、デバイス１９０１−１、１９０−２、および１９０−３）は、媒体装置に近接して、たとえば、キャストデバイス１０８および媒体出力装置１０６と同じ部屋の中に配設される。これに代えて、ある実現例では、音声起動電子デバイス１９０−４は、１つ以上のスマートホームデバイスを有するが媒体装置を全く有しない部屋に配設される。これに代えて、ある実現例では、音声起動電子デバイス１９０は、ネットワーク化された電子デバイスを有しない場所に配設される。

【0023】

電子デバイス１９０は、１つ以上のマイクと、スピーカと、プロセッサと、プロセッサによる実行のための少なくとも１つのプログラムを記憶するメモリとを少なくとも含む。スピーカは、電子デバイス１９０がスマートメディア環境１００の中で位置する場所に電子デバイス１９０が音声メッセージを配信して、これにより電子デバイス１９０のユーザに音楽をブロードキャストする、オーディオ入力処理の状態を報告する、当該ユーザと会話する、または当該ユーザに命令を与えることができるように構成される。音声メッセージの代替策として、視覚的信号を用いてオーディオ入力処理の状態に関するフィードバックを電子デバイス１９０のユーザに与えることもできる。電子デバイス１９０が従来の移動体装置（たとえば携帯電話またはタブレットコンピュータ）である場合、その表示画面は、オーディオ入力処理の状態に関する通知を表示するように構成される。

【0024】

ある実現例に従うと、電子デバイス１９０は、クラウドキャストサービスサーバ１１６および／または音声支援サーバ１１２の助けにより音声認識機能を提供するようにネットワーク接続される音声インターフェイスデバイスである。たとえば、電子デバイス１９０は、音楽をユーザに提供し、かつ音声アシスタントサービス（たとえばGoogleアシスタント（登録商標））へのアイズフリーかつハンズフリーのアクセスを可能にするスマートスピーカを含む。任意に、電子デバイス１９０は、デスクトップまたはラップトップコンピュータと、タブレットと、マイクを含む携帯電話とのうち１つである。任意に、電子デバイス１９０は、単純かつ低コストの音声インターフェイスデバイスである。電子デバイス１９０の単純さおよび低コストを考慮すると、電子デバイス１９０は、全表示画面よりもむしろフルカラー発光ダイオード（ＬＥＤ）のアレイを含み、フルカラーＬＥＤ上に視覚的パターンを表示してオーディオ入力処理の状態を示す。

【0025】

電子デバイス１９０からの音声入力を用いてキャストデバイス１０８を介して媒体出力装置１０６を制御する場合、電子デバイス１９０は、キャスト利用可能な媒体装置の新たなレベルの制御を効果的に可能にする。具体的な例では、電子デバイス１９０は、遠距離音声アクセスを有する日常の娯楽用スピーカを含み、Googleアシスタント（登録商標）用の音声インターフェイスデバイスとして機能する。スマートメディア環境１００中の任意の部屋に電子デバイス１９０を配設することができる。複数の電子デバイス１９０が複数の部屋に分散される場合、それらは同期化されてこれらすべての部屋からの音声入力を提供するキャストオーディオ受信機になる。

【0026】

具体的に、ある実現例では、電子デバイス１９０は、音声起動パーソナルアシスタントサービス（たとえばGoogleアシスタント（登録商標））に接続されるマイクを有するＷｉＦｉ（登録商標）スピーカを含む。ユーザは、電子デバイス１９０のマイクを介して媒体再生要求を発し、電子デバイス１９０自体の上でまたは別の接続される媒体出力装置１０６の上で媒体コンテンツを再生するようにパーソナルアシスタントサービスに依頼することができる。たとえば、ユーザは、ＷｉＦｉ（登録商標）スピーカに「ＯＫグーグル、リビングのＴＶで猫のビデオを再生して」と言うことによって、媒体再生要求を発することができる。次にパーソナルアシスタントサービスは、デフォルトまたは指定の媒体アプリケーションを用いて要求された媒体コンテンツを要求されたデバイス上で再生することによって、媒体再生要求を満たす。

【0027】

ユーザは、表示装置上で既に再生された媒体コンテンツに関する音声要求を電子デバイス１９０のマイクを介して行なうこともできる。ある実現例では、遠隔操作がない場合またはユーザが第２の画面装置を利用可能である場合に、現在表示されている媒体コンテンツのクローズドキャプションを音声によって表示装置上で開始させるまたは非活性化する。このように、ユーザは、物理的なユーザインターフェイスを有する他のデバイスを全く介することなく、アイズフリーかつハンズフリーの音声起動電子デバイス１９０を介して表示装置上でクローズドキャプションをオンにすることができ、そのような音声起動電子デバイス１９０は、聴覚に障害のあるユーザにとっての連邦アクセス要件を満たす。

【0028】

ある実現例では、ユーザは、家の中を移動しながら現在の媒体セッションを持ち運びたくなることがある。これには、パーソナルアシスタントサービスが、第１のキャストデバイスから第１のキャストデバイスに直接に接続されていないまたは第１のキャストデバイスの存在を知らない第２のキャストデバイスに現在の媒体セッションを転送することが必要である。媒体コンテンツの転送の後に、第２のキャストデバイス１０８に結合される第２の出力装置１０６は、第１の出力装置１０６上で媒体コンテンツの再生が見合わせられた楽曲またはビデオクリップ内の正確な地点から、第１のキャストデバイス１０８に結合される第１の出力装置１０６で以前行なわれていた媒体コンテンツの再生を継続する。

【0029】

ある実現例では、媒体装置（たとえば出力装置１０６およびキャストデバイス１０８）と音声起動電子デバイス１９０とに加えて、スマートホームデバイスも、（スマートホームデバイスの存在に鑑みて、広くはスマートホーム環境とも呼ばれる）スマートメディア環境１００の壁１５４、床１５６、または天井１５８上に取付ける、これと一体化する、および／またはこれによって支持することができる。一体化されたスマートホームデバイスは、スマートホームネットワークにおいて互いに、および／またはセントラルサーバもしくはクラウドコンピューティングシステムにシームレスに一体化されて、さまざまな有用なスマートホーム機能を提供する、インテリジェントでマルチセンシングのネットワーク接続されたデバイスを含む。ある実現例では、スマートホームデバイスは、キャストデバイス１０８および／または出力装置１０６と同じスマートホーム環境１００の場所に配設され、したがって、キャストデバイス１０８および出力装置１０６に近接してまたはこれらに対して既知の距離に位置する。

【0030】

スマートメディア環境１００中のスマートホームデバイスは、１つ以上のインテリジェントでマルチセンシングのネットワーク接続されたサーモスタット１２２、１つ以上のインテリジェントなネットワーク接続されたマルチセンシングハザード検出器１２４、（以下「スマート呼び鈴１２６」および「スマートドアロック１２８」と称される）１つ以上のインテリジェントでマルチセンシングのネットワーク接続された進入通路インターフェイスデバイス１２６および１２８、１つ以上のインテリジェントでマルチセンシングのネットワーク接続されたアラームシステム１３０、１つ以上のインテリジェントでマルチセンシングのネットワーク接続されたカメラシステム１３２、ならびに１つ以上のインテリジェントでマルチセンシングのネットワーク接続された壁スイッチ１３６を含むことがあるが、これらに限定されない。ある実現例では、図１のスマートメディア環境１００中のスマートホームデバイスは、冷蔵庫、ストーブ、オーブン、テレビ、洗濯機、乾燥機、照明器具、ステレオ、インターホンシステム、ガレージドア開閉機、フロアファン、天井ファン、壁据付け型空調機、プールヒータ、灌漑システム、セキュリティシステム、スペースヒータ、窓ＡＣユニット、電動式ダクト通気孔などの、（以下「スマート機器１３８」と称される）複数のインテリジェントでマルチセンシングのネットワーク接続された機器１３８を含む。

【0031】

スマートメディア環境１００中のスマートホームデバイスは、付加的にまたは代替的に、１つ以上の他の近接センサ（たとえば、タッチ画面、ＩＲセンサ、周囲光センサ、および動き検出器）を含んでもよい。ある実現例では、スマートメディア環境１００中のスマートホームデバイスは、中にいる人の上に位置するまたはその中に埋込まれるＲＦＩＤタグに基づいて中にいることを判定する（たとえば各部屋１５２またはその一部の中の）無線周波数識別（ＲＦＩＤ）リーダを含む。たとえば、ＲＦＩＤリーダは、スマートハザード検出器１０４に一体化されてもよい。

【0032】

ある実現例では、検知能力を含有することに加えて、（「スマートホームデバイス」または「スマートホームデバイス１２０」と総称される）デバイス１２２、１２４、１２６、１２８、１３０、１３２、１３６、および１３８は、他のスマートホームデバイス、セントラルサーバもしくはクラウドコンピューティングシステム、ならびに／またはネットワーク接続される他のデバイス（たとえば、クライアントデバイス１０４、キャストデバイス１０８、および音声起動電子デバイス１９０）とのデータ通信および情報共有をすることができる。同様に、キャストデバイス１０８および音声起動電子デバイス１９０の各々も、他のキャストデバイス１０８、音声起動電子デバイス１９０、スマートホームデバイス、セントラルサーバもしくはクラウドコンピューティングシステム１４０、および／またはネットワーク接続される他のデバイス（たとえばクライアントデバイス１０４）とのデータ通信および情報共有が可能である。データ通信は、さまざまなカスタムもしくは標準的ワイヤレスプロトコル（たとえば、IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、スレッド（Thread）、Z-Wave、ブルートゥース（登録商標）スマート、ISA100.11a、ワイヤレスHART、MiWiなど）のうち任意のもの、および／またはさまざまなカスタムもしくは標準的有線プロトコル（たとえば、イーサネット（登録商標）、ホームプラグなど）のうち任意のもの、またはこの文書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の好適な通信プロトコルを用いて行なわれてもよい。

【0033】

ある実現例では、キャストデバイス１０８、電子デバイス１９０、およびスマートホームデバイスは、無線または有線リピータとして働く。ある実現例では、キャストデバイス１０８のうち最初の１つは、ワイヤレスルータを介して、キャストデバイス１０８のうち第２のものおよびスマートホームデバイスと通信する。キャストデバイス１０８、電子デバイス１９０、およびスマートホームデバイスはさらに、インターネット１１０などのネットワークへの接続部（たとえば、ネットワークインターフェイス１６０）を介して互いと通信し得る。インターネット１１０を通して、キャストデバイス１０８、電子デバイス１９０、およびスマートホームデバイスは、（本明細書中でセントラルサーバシステムおよび／またはクラウドコンピューティングシステムとも呼ばれる）スマートサーバシステム１４０と通信し得る。任意に、スマートサーバシステム１４０は、キャストデバイス１０８およびユーザに表示される媒体コンテンツに関連付けられる製造者、サポートエンティティ、またはサービス提供者に関連付けられてもよい。

【0034】

したがって、スマートサーバシステム１４０は、音声起動電子デバイスによって収集されたオーディオ入力を処理する音声支援サーバ１１２と、表示された媒体コンテンツを提供する１つ以上のコンテンツホスト１０４と、分散したデバイス端末に基づいて仮想ユーザドメインを作成するクラウドキャストサービスサーバ１１６と、仮想ユーザ環境において分散したデバイス端末の記録を取るデバイスレジストリ１１８とを含んでもよい。分散したデバイス端末の例は、キャストデバイス１０８、媒体出力装置１０６、電子デバイス１９０、およびスマートホームデバイスを含むが、これらに限定されない。ある実現例では、これらの分散したデバイス端末は、仮想ユーザドメインでユーザアカウント（たとえば、グーグルユーザアカウント）にリンクされる。

【0035】

ある実現例では、ネットワークインターフェイス１６０は従来のネットワークデバイス（たとえばルータ）を含む。図１のスマートメディア環境１００はさらに、直接にまたはネットワークインターフェイス１６０を介してネットワーク１１０に通信するように結合されるハブ装置１８０を含む。ハブ装置１８０はさらに、上記インテリジェントでマルチセンシングのネットワーク接続されたデバイス（たとえばキャストデバイス１０８、電子デバイス１９０、スマートホームデバイス、およびクライアントデバイス１０４）のうち１つ以上に通信するように結合される。これらのネットワーク接続されたデバイスの各々は、任意に、少なくともスマートメディア環境１００において利用可能な１つ以上の無線通信ネットワーク（たとえば、ZigBee、Z-Wave、Insteon、ブルートゥース（登録商標）、Wi-Fi（登録商標）、および他の無線通信ネットワーク）を用いてハブ装置１８０と通信する。ある実現例では、ハブ装置１８０およびハブ装置と／に結合されるデバイスは、スマートフォン、家庭用コントローラ、ラップトップ、タブレットコンピュータ、ゲーム機、または同様の電子デバイス上で実行されるアプリケーションを介して制御されることができる、および／またはこれと対話することができる。ある実現例では、そのようなコントローラアプリケーションのユーザは、ハブ装置または結合されたネットワーク接続デバイスのステータスを見る、ホームネットワークに新たに導入されたデバイスと相互動作するようにハブ装置を構成する、新たなデバイスをコミッショニングする、および接続されたデバイスの設定を調整または見る、などすることができる。

【0036】

図２Ａは、ある実現例に従って音声起動電子デバイス１９０がスマートメディア環境１００のキャストデバイス１０８、クライアントデバイス１０４、またはサーバシステム１４０と対話する例示的な動作環境である。音声起動電子デバイス１９０は、音声起動電子デバイス１９０に近接した環境からオーディオ入力を受信するように構成される。任意に、電子デバイス１９０はオーディオ入力を記憶し、オーディオ入力を少なくとも部分的にローカルに処理する。任意に、電子デバイス１９０は、受信したオーディオ入力または部分的に処理されたオーディオ入力を以降の処理のために通信ネットワーク１１０を介して音声支援サーバ１１２に送信する。キャストデバイス１０８は、１つ以上のコンテンツホスト１１４から媒体コンテンツまたはインターネットコンテンツを取得してキャストデバイス１０８に結合される出力装置１０６上に表示するように構成される。以上説明したように、キャストデバイス１０８および音声起動電子デバイス１９０は、ユーザドメインにおいて互いにリンクされ、より具体的には、ユーザドメイン中でユーザアカウントを介して互いに関連付けられる。キャストデバイス１０８の情報および電子デバイス１９０の情報は、ユーザアカウントに関連付けられてデバイスレジストリ１１８中に記憶される。

【0037】

ある実現例では、キャストデバイス１０８および音声起動電子デバイス１９０は表示画面を全く含んでおらず、コミッショニングプロセスの間にユーザインターフェイスを提供するにはクライアントデバイス１０４に頼らなければならない。具体的に、クライアントデバイス１０４には、ユーザインターフェイスが、クライアントデバイス１０４に近接して配設される新たなキャストデバイス１０８または新たな音声起動電子デバイス１９０のコミッショニングを容易化できるようにするアプリケーションがインストールされる。ユーザは、コミッショニングの必要がある新たなキャストデバイス１０８または電子デバイス１９０のためのコミッショニングプロセスを開始する要求をクライアントデバイス１０４のユーザインターフェイス上で送り得る。コミッショニング要求を受信した後、クライアントデバイス１０４は、コミッショニングの必要がある新たなキャストデバイス１０８または電子デバイス１９０との短距離通信リンクを確立する。任意に、短距離通信リンクは、近距離無線通信（ＮＦＣ）、ブルートゥース（登録商標）、ブルートゥース（登録商標）ローエナジー（ＢＬＥ）などに基づいて確立される。次にクライアントデバイス１０４は、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）に関連付けられるワイヤレスコンフィギュレーションデータを新たなキャストデバイス１０８または電子デバイス１９０に伝える。ワイヤレスコンフィギュレーションデータは、少なくとも、ＷＬＡＮセキュリティコード（すなわちサービスセット識別子（ＳＳＩＤ）パスワード）を含み、任意にＳＳＩＤ、インターネットプロトコル（ＩＰ）アドレス、プロキシコンフィギュレーション、およびゲートウェイコンフィギュレーションを含む。短距離通信リンクを介してワイヤレスコンフィギュレーションデータを受信した後、新たなキャストデバイス１０８または電子デバイス１９０は、ワイヤレスコンフィギュレーションデータを復号しかつ回復して、ワイヤレスコンフィギュレーションデータに基づいてＷＬＡＮに参加する。

【0038】

付加的なユーザドメイン情報は、クライアントデバイス１０４上に表示されるユーザインターフェイス上に入力され、新たなキャストデバイス１０８または電子デバイス１９０をユーザドメイン中のアカウントにリンクするのに用いられる。任意に、付加的なユーザドメイン情報は、短距離通信リンクを介してワイヤレス通信データとともに新たなキャストデバイス１０８または電子デバイス１９０に伝えられる。任意に、付加的なユーザドメイン情報は、新たなデバイスがＷＬＡＮに参加した後に、ＷＬＡＮを介して新たなキャストデバイス１０８または電子デバイス１９０に伝えられる。

【0039】

キャストデバイス１０８および電子デバイス１９０が一旦ユーザドメインにおいてコミッショニングされると、キャストデバイス１０８、出力装置１０６、およびそれらの関連の媒体再生行動は、２つの制御経路（制御経路Ａおよび制御経路Ｂ）を介して制御され得る。制御経路Ａに従うと、クライアントデバイス１０４にインストールされたキャストデバイスアプリケーションまたは１つ以上の媒体再生アプリケーションを用いて、キャストデバイス１０８およびその関連の媒体再生行動を制御する。これに代えて、制御経路Ｂに従うと、電子デバイス１９０を用いて、キャストデバイス１０８およびその関連の媒体再生行動のアイズフリーかつハンズフリーの制御（たとえば、出力装置１０６上での媒体コンテンツ再生のプレイバック、および現在出力装置１０６上に表示されている媒体コンテンツのクローズドキャプションの起動）が可能になる。

【0040】

図２Ｂは、図２Ａに示される制御経路Ｂに従ってキャストデバイス１０８およびその関連の媒体再生行動を制御する媒体再生制御プロセス２５０の例示的なフロー図である。アシスタントサーバ（たとえば音声支援サーバ１１２）は、音声起動電子デバイス１９０をサポートし、探索スタックとの対話を制御し、かつ電子デバイス１９０が収集した生の音声入力に従ってどの媒体行為を実行する必要があるかを解決するように構成される。アシスタントサーバは、クラウドキャストサービスサーバ１１６に要求を送り（２０２）、これは次に、媒体行為を目標キャストデバイス１０８が実行可能なアクションスクリプト（Action Script）に変換する。Action Scriptには２つの可能な実行経路がある。第１の実行経路Ａに従うと、これはアシスタントサーバへの応答において返される。これが「ローカル経路」である。目標キャストデバイス１０８が音声起動電子デバイス１９０自体であれば、Action Scriptはアシスタントサーバから容易に入手可能である。これに代えて、第２の実行経路Ｂに従うと、クラウドキャストサービスサーバ１１６は、クラウドメッセージングサービスを介してAction Scriptをデバイスに発送する。これが遠隔実行経路である。ある実現例では、両方の実行経路が並列に取られ、目標キャストデバイス１０８は、２番目に到達するAction Scriptを無視する。unique_command_idは、あらゆるExecuteCloudCastCommandに関連付けられる。

【0041】

ある実現例では、音声アシスタントサーバは、以下のようなCloudCastCommandを用いてexecuteCastCommandの遠隔手順呼出（ＲＰＣ）を行なう。

【0042】

【数1】

【0043】

一旦コマンドを取得すると、クラウドキャストサービスサーバ１１６は、このCloudCastCommandを、unique_command_idおよびtarget_device_idによって鍵をかけられた整合した記憶装置の中に維持する。CloudCastCommandは、別のコマンドが同じ目標キャストデバイス１０８もしくは電子デバイス１９０について発行された場合に、または/executionReport終点がSUCCESS/ERRORステータスのいずれかを受信したときに、置換されるかまたは除かれる。次にクラウドキャストサービスサーバ１１６は、古くなった（ある期間に終了しなかった）コマンドをクリーンアップし、Cast Action Scriptを生成する。Cast Action Scriptが一旦生成されると、クラウドキャストサービスサーバ１１６は、ＲＰＣ応答においてスクリプトを返し、(source_device_id != target_device_id)であればグーグルクラウドメッセージングサービスを用いて応答を送る。

【0044】

ある実現例では、キャストデバイス１０８は、以下のようにCast Action Scriptを実行している間におよびその後で、そのステータスを報告する（２０４）。

【0045】

【数2】

【0046】

ある実現例では、キャストデバイス１０８は、そのステータスが変化するときは常に、そのステータスをステータスメッセージで更新する。ある実現例では、キャストデバイス１０８は、クラウドキャストサービスサーバ１１６にその存在を知らせる拍動を周期的に送り、クラウドキャストサービスサーバ１１６は、last_action_timeフィールドを秒での紀元以来時間に更新する。クラウドキャストサービスサーバ１１６は、任意にクラウドメッセージングサービスを介して、実行ステータスメッセージを送り側デバイス（たとえば音声起動電子デバイス１９０）に送る。音声起動電子デバイス１９０は次に、ＴＴＳおよびプレイバックのために、Ｓ３を呼出す。

【0047】

媒体出力装置上での音声起動媒体再生
図２Ａを参照して、キャストデバイス１０８と音声起動電子デバイス１９０とが両者ともコミッショニングされかつ共通のユーザドメインにリンクされた後、音声起動電子デバイス１９０を音声ユーザインターフェイスとして用いて、遠隔操作を介さないキャストデバイス１０８、クライアントデバイス１０４、または他の第２の画面装置への媒体コンテンツストリーム配信のアイズフリーかつハンズフリーの制御を可能にすることができる。たとえば、ユーザは、「リビングのスピーカでレディー・ガガを再生」などの音声コマンドを与え得る。レディー・ガガの楽曲またはビデオクリップが「リビングのスピーカ」に関連付けられるキャストデバイス１０８にストリーム配信される。クライアントデバイス１０４は関与せず、クライアントデバイス１０４にロードされるキャストデバイスアプリケーションまたは媒体再生アプリケーションも関与しない。

【0048】

クラウドキャストサービス１１６は、クライアントデバイス１０４上のアプリケーションを全く介さずに音声起動電子デバイスをキャストデバイス１０８に通信するようにリンクしかつキャストデバイス１０８へのキャスティングを可能にするプロキシサービスである。具体的に、音声メッセージは電子デバイス１９０によって記録され、音声メッセージは、媒体出力装置１０６上での媒体再生を要求するように構成される。任意に、電子デバイス１９０は、音声メッセージを部分的にローカルに処理する。任意に、電子デバイス１９０は、以降の処理のために、音声メッセージまたは部分的に処理された音声メッセージを通信ネットワーク１１０を介して音声支援サーバ１１２に送信する。クラウドキャストサービスサーバ１１６は、音声メッセージが第１の媒体再生要求を含むと判定し、かつ第１の媒体再生要求が媒体出力装置１０６上で媒体コンテンツを再生するというユーザ音声コマンドと媒体出力装置１０６のユーザ音声指定とを含むと判定する。ユーザ音声コマンドはさらに、第１の媒体再生アプリケーション（たとえばユーチューブ（YouTube）（登録商標）およびネットフリックス（Netflix））の情報と、再生する必要がある媒体コンテンツ（たとえばレディー・ガガの音楽）とを少なくとも含む。

【0049】

媒体出力装置の音声指定に従って、クラウドキャストサービスサーバ１１６は、デバイスレジストリ１１８において、ユーザドメインにおいて電子デバイス１９０に関連付けられかつ媒体出力装置１０６に結合されるキャストデバイスをする。キャストデバイス１０８は、媒体出力装置１０６を制御して、１つ以上の媒体コンテンツホスト１１４から受信した媒体コンテンツを再生するための１つ以上の媒体再生アプリケーションを実行するように構成される。次に、クラウドキャストサービスサーバ１１６は、キャストデバイス１０８に、第１の媒体再生アプリケーションの情報と再生する必要がある媒体コンテンツとを含む第２の媒体再生要求を送る。クラウドキャストサービスサーバ１１６が送った情報を受信すると、キャストデバイス１０８は、第１の媒体再生アプリケーションを実行し、媒体出力装置１０６を制御して要求された媒体コンテンツを再生する。

【0050】

ある実現例では、媒体出力装置１０６のユーザ音声指定は、送り先媒体出力装置の記述を含む。クラウドキャストサービスサーバ１１６は、レジストリにおいて、送り先媒体出力装置の記述に従って複数の媒体出力装置の中から送り先媒体出力装置を識別する。ある実現例では、送り先媒体出力装置の記述は、媒体出力装置１０６のブランド（「サムスンＴＶ」）または場所（「私のリビングのＴＶ」）を少なくとも含む。

【0051】

音声起動クローズドキャプション表示
米国連邦アクセシビリティ法は、ウェブサイト、電子メール、またはウェブ文書などの電子通信および情報技術がアクセス可能であることと、聾のまたは聴覚障害のあるユーザ向けのクローズドキャプションの選択肢とともに映像コンテンツを提示しなければならないこととを要件としている。図２Ａを参照して、キャストデバイス１０８と音声起動電子デバイス１９０とが両者ともコミッショニングされて共通のユーザドメインにリンクされた後、音声起動電子デバイス１９０を音声ユーザインターフェイスとして用いて、媒体出力装置１０６上で現在表示されている媒体コンテンツを用いたクローズドキャプション表示のアイズフリーかつハンズフリーの制御を可能にすることができる。具体的に、音声認識システムは、キャプションをオンにするという音声コマンドを、クラウドキャストサービスに送られる認識可能なメッセージに翻訳する。クラウドキャストサービスは、このメッセージを解釈して、キャストデバイスにインストールされた媒体再生アプリケーション（たとえばユーチューブ）にコマンドを送る。媒体再生アプリケーションはそのコマンドを受信し、メッセージに基づいてキャプショントラックをレンダリングする。そのため、ユーザは次に、声を用いて媒体出力装置上でのキャプションのオンオフを切換えることができる。このクローズドキャプション表示の制御は、遠隔操作、クライアントデバイス１０４、または他の第２の画面装置を全く介さず、またクライアントデバイス１０４上にロードされたキャストデバイスアプリケーションまたは媒体再生アプリケーションも全く呼出さない。したがって、クローズドキャプション表示の音声起動制御は、特に聾のまたは聴覚障害のあるユーザにとっての連邦アクセシビリティ要件を満たす。

【0052】

現在表示される媒体コンテンツのためのクローズドキャプションの表示の開始をユーザが意図する場合、ユーザは、電子デバイス１９０が記録する音声メッセージ（たとえば「クローズドキャプションをオン」）を送る。任意に、電子デバイス１９０は、音声メッセージを部分的にローカルに処理する。任意に、電子デバイス１９０は、以降の処理のために、音声メッセージまたは部分的に処理された音声メッセージを音声支援サーバ１１２に送信する。クラウドキャストサービスサーバ１１６は、音声メッセージが第１のクローズドキャプション開始要求であると判定し、かつ第１のクローズドキャプション開始要求が、クローズドキャプションを開始するというユーザ音声コマンドと、クローズドキャプションをそれについて起動すべき媒体コンテンツを再生する表示装置１０６のユーザ音声指定とを含むと判定する。ある実現例では、電子デバイス１９０は、記録された音声メッセージを直接にクラウドキャストサービスサーバ１１６に送信する。クラウドキャストサービスサーバ１１６は、音声メッセージを音声支援サーバ１１２に移送して音声メッセージを構文解析してユーザ音声コマンドと送り先媒体装置のユーザ音声指定とを識別し、かつ音声支援サーバ１１２からユーザ音声コマンドと送り先媒体装置のユーザ音声指定とを受信することによって音声メッセージが第１のクローズドキャプション開始要求であると判定する。

【0053】

表示装置の指定に従って、クラウドキャストサービスサーバ１１６は、デバイスレジストリ１１８において、ユーザドメインにおいて電子デバイス１９０に関連付けられかつ指定された表示装置１０６に結合されるキャストデバイス１０８を識別する。キャストデバイス１０８は、指定された表示装置を制御して、媒体コンテンツホストから受信した媒体コンテンツを表示するための媒体再生アプリケーションを実行するように構成される。ある実現例では、電子デバイス１９０とキャストデバイス１０８との両者がユーザドメイン中のユーザアカウントに関連付けられる。ユーザアカウントはグーグルユーザアカウントであり得る。

【0054】

次に、クラウドキャストサービスサーバ１１６は、指定された表示装置に結合されたキャストデバイスに第２のクローズドキャプション開始要求を送る。クラウドキャストサービスサーバ１１６が送った情報を受信すると、キャストデバイス１０８は、媒体再生アプリケーションを実行して、指定された表示装置１０６を制御して、指定された表示装置１０６上に現在表示されている媒体コンテンツのクローズドキャプションをオンにして、第２のクローズドキャプション開始要求に応じたクローズドキャプションを表示する。ある実現例では、クローズドキャプションは、デフォルトクローズドキャプション表示仕様に従って、指定された表示装置上に表示される。

【0055】

ある実現例では、第１のクローズキャプション開始要求に従って、クラウドキャストサービスサーバ１１６は、クローズドキャプションの表示仕様を判定する。第２のクローズドキャプション開始要求はクローズドキャプションの表示仕様を含み、キャストデバイスは、媒体再生アプリケーションを実行して、表示装置を制御して、表示仕様に従ってクローズドキャプションを表示するように構成される。さらに、ある実現例では、クローズドキャプションの表示仕様は、フォント（たとえばエイリアル）、フォントサイズ（たとえば１２）、フォントの色（たとえば白）、および背景色（たとえば黒）のうち少なくとも１つを含む。さらに、ある実現例では、クラウドキャストサービスサーバ１１６を介してクローズドキャプションの表示仕様を送ることにより、ユーザは、（「より大きなキャプション」または「背景色を青に変更」などの）カスタム音声コマンドを翻訳してキャストデバイス１０８に送られるクローズドキャプション開始要求を更新することによって、クローズドキャプションのフォーマットを調整できるようになる。加えて、クローズドキャプション表示のそのような音声起動制御により、マイクを有する任意の電子デバイス（たとえば携帯電話）が媒体コンテンツのプレイバックを開始して媒体表示装置１０６上のクローズドキャプションを調整できるようになる。

【0056】

ある実現例では、電子デバイス、キャストデバイス、および指定された表示装置は互いに近接して配設されるが、クラウドキャストサービスシステム１１６、音声支援サーバ１１２、およびデバイスレジストリ１１８からは遠隔に位置する。ある実現例では、クラウドキャストサービスシステム１１６、音声支援サーバ１１２、およびデバイスレジストリ１１８のうち２つ以上は単一のサーバにおいて一体化される。ある実現例では、クラウドキャストサービスシステム１１６、音声支援サーバ１１２、およびデバイスレジストリ１１８は、指定された表示装置１０６上での表示のために媒体コンテンツをキャストデバイス１０８に与えるコンテンツホスト１１４とは別個である。

【0057】

ある実現例では、媒体出力装置１０６のユーザ音声指定は、送り先媒体出力装置の記述を含む。クラウドキャストサービスサーバ１１６は、レジストリにおいて、送り先媒体出力装置の記述に従って、複数の媒体出力装置の中から送り先媒体出力装置を識別する。ある実現例では、送り先媒体出力装置の記述は、媒体出力装置１０６のブランド（「サムスンＴＶ」）または場所（「私のリビングのＴＶ」）を少なくとも含む。

【0058】

媒体出力装置間での音声起動媒体転送
図３は、ある実現例に従う、キャストデバイス１０８がスマートメディア環境１００のクライアントデバイス１０４、音声起動電子デバイス１９０、またはサーバシステムと対話する別の例示的な動作環境である。スマートメディア環境１００は、第１のキャストデバイス１０８−１と、第１のキャストデバイスに結合される第１の出力装置１０６−１とを含む。スマートメディア環境１００は、第２のキャストデバイス１０８−２と、第１のキャストデバイスに結合される第２の出力装置１０６−２とも含む。キャストデバイス１０８−１および１０８−２は、任意に、スマートメディア環境１００中の同じ場所（たとえばリビング）にまたは２つの別個の場所（たとえば２つの部屋）に位置する。キャストデバイス１０８−１および１０８−２の各々は、媒体ホスト１１４から媒体コンテンツまたはインターネットコンテンツを取得して、それぞれのキャストデバイス１０８−１または１０８−２に結合される出力装置１０６上で表示するように構成される。第１のキャストデバイスと第２のキャストデバイスとの両者がクラウドキャストサービスサーバ１１６およびコンテンツホスト１１４に通信するように結合される。

【0059】

スマートメディア環境１００はさらに、クラウドキャストサービスサーバ１１６および音声支援サーバ１１２に通信するように結合される１つ以上の音声起動電子デバイス１９０を含む。ある実現例では、音声起動電子デバイス１９０は、キャストデバイス１０８および出力装置１０６とは独立して配設される。たとえば、図１に示されるように、電子デバイス１９０−４は、キャストデバイス１０８または出力装置１０６が位置していない部屋に配設される。ある実現例では、第１の電子デバイス１９０−１は、第１のキャストデバイス１０８−１および第１の出力装置１０６−１に近接して配設される。たとえば、第１の電子デバイス１９０−１、第１のキャストデバイス１０８−１、および第１の出力装置１０６−１は、同じ部屋の中に位置する。任意に、第２の電子デバイス１９０−２は、第２のキャストデバイス１０８−２および第２の出力装置１０６−２とは独立してまたはこれらに近接して配設される。

【0060】

媒体コンテンツが第１の出力装置１０６−１上で再生中である場合、ユーザは、電子デバイス１９０のうち任意のものに音声コマンドを送って、第２の出力装置１０６−２に転送すべき媒体コンテンツの再生を要求し得る。音声コマンドは、媒体再生転送要求を含む。１つの状況では、ユーザは、ユーザが目的の場所に移動する前に、第１のキャストデバイス１０８−１に近接して配設される電子デバイス１９０−１に音声コマンドを発行することができる。これに代えて、別の状況では、ユーザは、ユーザが目的の場所に到着した後に、第２のデバイス１０８−２に近接して配設される電子デバイス１９０−２に音声コマンドを発行することができる。

【0061】

音声コマンドはクラウドキャストサービスサーバ１１６に送信される。クラウドキャストサービスサーバ１１６は、媒体表示情報要求を第１のキャストデバイス１０８−１に送って第１のキャストデバイス１０８−１に結合される第１の出力装置１０６−１上で現在再生中の媒体コンテンツの即時媒体再生情報を要求する。第１のキャストデバイス１０８−１は次に、クラウドキャストサービスサーバ１１６に、第１の媒体再生アプリケーション（たとえばユーチューブ）の情報と、現在再生中の媒体コンテンツ（たとえば、「レディー・ガガ−国歌−スーパーボウル２０１６」）と、媒体コンテンツの再生に関する時間的位置とを少なくとも含む、要求された即時再生情報を返す。次に第２のキャストデバイス１０８−２は、クラウドキャストサービスサーバ１１６から即時再生情報を含む媒体表示要求を受信し、即時再生情報に従って第２の出力装置１０６−２を制御して当該時間的場所から媒体コンテンツを再生する第１の媒体再生アプリケーションを実行する。

【0062】

具体的な例では、第１の出力装置１０６−１上で音楽プレイリストが再生されるときに、ユーザは「私のリビングのスピーカで再生」と言う。第１の出力装置１０６−１は、現在再生されている歌の再生を停止し、停止された歌はリビングのスピーカで再開する。歌が終わると、リビングのスピーカは、第１の出力装置１０６−１上で以前再生された音楽プレイリスト上の次の歌の再生を続ける。そのため、ユーザがスマートホーム環境１００中で動き回っている場合、限られたユーザの介入（すなわち、音声コマンドを与えること）しか介さずに、媒体コンテンツの再生はシームレスにユーザに追従する。そのような媒体コンテンツのシームレスな転送は、以下の操作のうち１つ以上に従って達成される。

【0063】

・音声アシスタントサービス（たとえば音声支援サーバ１１２）は、それが媒体を１つの出力装置（送り側）から別の出力装置（送り先）に転送するというユーザ音声コマンドであると認識する。

【0064】

・アシスタントサービスは、ユーザ音声コマンドを含むメッセージをクラウドキャストサービスサーバ１１６に渡す。

【0065】

・次にクラウドキャストサービスサーバ１１６は、ソース出力装置１０６−１に、媒体ストリームを転送するのに必要なデータのブロブ（blob）を与えるように依頼する。

【0066】

・データのブロブの内容はパートナーに依存するが、それは典型的には、再生中の現在の媒体コンテンツと、現在の媒体コンテンツについての位置と、現在の媒体コンテンツのストリーム配信容量とを含有する。

【0067】

・任意に、データのブロブの内容は、現在の媒体コンテンツの入れ物の情報（たとえば媒体コンテンツが属するプレイリスト）と、プレイリスト内の現在の媒体コンテンツの位置とを含む。

【0068】

・クラウドキャストサービスサーバ１１６は、媒体コンテンツの再生を停止するように送り側デバイスに告げる。

【0069】

・次にクラウドキャストサービスサーバ１１６は、適切な受信機アプリケーション（たとえば媒体再生アプリケーション）を送り先（すなわち、送り側出力装置上で実行されている同じ受信機アプリケーション）にロードする。

【0070】

・クラウドキャストサービスサーバ１１６は、媒体コンテンツの転送を再開するという受信機アプリケーションへの命令とともに、このデータのブロブを送り先キャストデバイス１０８−２に送る。

【0071】

・受信機アプリケーションは、データブロブを解釈して、応じて媒体コンテンツを再開する。

【0072】

具体的に、サーバ側で、方法は、媒体コンテンツ表示の再生を送り側媒体出力装置から送り先媒体出力装置に移動させるために、クラウドキャストサービスサーバ１１６によって実現される。クラウドキャストサービスサーバ１１６は、電子デバイス１９０−１または１９０−２が記録する音声メッセージを受信し、音声メッセージが媒体転送要求を含むと判定する。以上で説明したように、電子デバイスは、第１の場所に位置する送り側キャストデバイス１０８−１に近接して、第２の場所に位置する送り先キャストデバイス１０８−２に近接して、または送り側キャストデバイスと送り先キャストデバイスとの両方から独立して、配設され得る。ある実現例では、電子デバイス１９０、送り側キャストデバイス１０８−１、および送り先キャストデバイス１０８−２は、クラウドキャストサービスサーバ１１６が管理するユーザドメイン中のユーザアカウントに関連付けられる。ユーザアカウントはグーグルユーザアカウントであり得る。

【0073】

ユーザ音声コマンド中の媒体転送要求は、再生中の媒体コンテンツを送り先媒体出力装置１９０−２に転送するというユーザ音声コマンドと、送り先媒体出力装置１９０−２のユーザ音声指定とを含む。ある実現例では、電子デバイス１９０−１または１９０−２が記録する音声メッセージを受信した後に、クラウドキャストサービスサーバ１１６は、音声メッセージを音声支援サーバ１１２に移送し、音声支援サーバは音声メッセージを構文解析してユーザ音声コマンドと送り先媒体出力装置の音声指定とを識別し、音声支援サーバ１１２からユーザ音声コマンドと送り先媒体出力装置１０６−２の音声指定とを受信する。

【0074】

クラウドキャストサービスサーバ１１６は、送り側キャストデバイス１０８−１から現在再生中の媒体コンテンツの即時媒体再生情報を取得する。即時再生情報は、第１の媒体再生アプリケーションの情報と、現在再生中の媒体コンテンツと、媒体コンテンツの再生に関する時間的位置とを少なくとも含む。時間的位置は、ユーザが送り先出力装置１０６−２への媒体コンテンツの移動を要求したときに記録され得る。ある実現例では、クラウドキャストサービスサーバ１１６は、媒体コンテンツが送り側媒体出力装置１０６−１で現在再生中であると識別する。クラウドキャストサービスサーバ１１６は、デバイスレジストリ１１８において、ユーザドメインにおいて電子デバイス１９０に関連付けられかつ送り側媒体出力装置１０６−１に結合される送り側キャストデバイス１０８−１を識別する。次に、クラウドキャストサービスサーバ１１６は、媒体情報要求を送り側キャストデバイス１０８−１に送り、これにより、即時媒体再生情報を送り側キャストデバイス１０８−１から受信する。

【0075】

送り先媒体出力装置の音声指定に従って、クラウドキャストサービスサーバ１１６は、デバイスレジストリ１１８において、ユーザドメインにおいて電子デバイスに関連付けられかつ送り先媒体出力装置１０６−２に結合される送り先キャストデバイス１０８−２を識別する。送り先キャストデバイス１０８−２は、送り先媒体出力装置１０６−２を制御して、１つ以上の媒体コンテンツホスト１１４から受信した媒体コンテンツを再生するための１つ以上の媒体再生アプリケーションを実行するように構成される。ある実現例では、送り先媒体出力装置１０６−２のユーザ音声指定は、送り先媒体出力装置１０６−２の記述（たとえば、出力装置１０６−２のブランドおよび場所）を含む。クラウドキャストサービスサーバ１１６は、レジストリ１１２において、送り先媒体出力装置１０６−２の記述に従って、複数の媒体出力装置の中から送り先媒体出力装置１０６−２を識別する。このように、ユーザは、デバイスレジストリ１１２中の記録に一致する正確なデバイス識別を与える必要がなく、クラウドキャストサービスサーバ１１６は、送り先媒体出力装置１０６−２の記述に基づいて送り先媒体出力装置１０６−２を判定することができる。

【0076】

即時再生情報を取得して送り先キャストデバイス１０８−２を識別した後、クラウドキャストサービスサーバ１１６は、送り先キャストデバイス１０８−２に即時媒体再生情報を含む媒体再生要求を送り、これにより、送り先キャストデバイス１０８−２は、送り先媒体出力装置１０６−２を制御して当該時間的場所から媒体コンテンツを再生する第１の媒体再生アプリケーションを実行できるようになる。ある実現例では、ユーザ音声コマンドに従って、クラウドキャストサービスサーバ１１６は、媒体停止要求も送り側キャストデバイス１０８−１に送り、これにより、送り側キャストデバイス１０８−１は、送り側媒体出力装置１０６−１上での媒体コンテンツの再生を見合わせるように、送り側媒体出力装置に結合される送り側キャストデバイス１０８−１を制御する第１の媒体再生アプリケーションを実行できるようになる。

【0077】

この媒体転送方法は、媒体ストリームを転送するのに必要なデータをサービスから引離し、これを直接にストリーム配信サービス提供者とともに置くため、それらは、現在再生中のストリームを転送するのに必要なパラメータ（たとえばグーグルキャストプロトコル）を規定することができる。これは、任意の種類の媒体パートナーまたは媒体ストリームを収容するようにこの発明の設計を非常に柔軟に保つ。加えて、それは、（クラウドキャストサービスを介して）クラウドインフラストラクチャを強化してメッセージを転送し、かつ送り側デバイスと送り先デバイスとの間でのプレイバックを連動させる。これにより、この転送は、これらのキャストデバイスが互いのことを知らなくても、または同じワイヤレスローカルエリアネットワーク上になくても、行なわれるようになる。

【0078】

クラウドキャストサービスサーバ１１６を介した媒体転送は、スケーラビリティ、柔軟性、およびデータセキュリティも可能にする。媒体を転送するのに必要なデータのブロブは具体的には、コンテンツ提供者パートナーの数およびストリーム種類の数を収容するように緩く規定される。ストリームは、個々の曲、プレイリスト、ライブストリーム、広告、自動再生映像、および多数の他のコンテンツフォーマットであり得る。データのブロブを柔軟にかつパートナー依存に保つことにより、すべての種類の媒体ストリームについて単一の方法が機能できるようになる。さらに、クラウドキャストサービスを送り側キャストデバイスおよび送り先キャストデバイスに独立して接続させることにより、これらのデバイスが互いに接続されたり、同じＷＬＡＮ上に存在したり、または互いを知ったりする必要性がなくなる。さらに、ＣＣＳによる中抜きがない。送り側および送り先上の受信機アプリケーション同士の間で送られているデータは、クラウドキャストサービスサーバ１１６には不透明である。これにより、転送される媒体セッションについての機密の詳細は、クラウドキャストサービスを用いるパートナーとともに留まることができる。

【0079】

音声起動電子デバイスの物理的特徴
図４Ａおよび図４Ｂは、ある実現例に従う音声起動電子デバイス１９０の正面図４００および背面図４２０である。電子デバイス１９０は暖かみがありかつ感じのよいものとして設計され、家の多数のエリアに自然に適合する。電子デバイス１９０は、１つ以上のマイク４０２とフルカラーＬＥＤ４０４のアレイとを含む。フルカラーＬＥＤ４０４は電子デバイス１９０の上面の下に隠され、点灯していないときはユーザから不可視であり得る。ある実現例では、フルカラーＬＥＤ４０４のアレイは、物理的にリング状に配置される。さらに、電子デバイス１９０の背面側は、任意に、電源に結合するように構成される電源コネクタ４０８を含む。

【0080】

ある実現例では、電子デバイス１９０は、見えるボタンのなくでこぼこがない外見を提示し、電子デバイス１９０との対話は、音声およびタッチジェスチャーに基づく。これに代えて、ある実現例では、電子デバイス１９０は、限られた数の物理的ボタン（たとえばその背面側のボタン４０６）を含み、電子デバイス１９０との対話は、音声およびタッチジェスチャーに加えて、ボタンの押下にさらに基づく。

【0081】

電子デバイス１９０には１つ以上のスピーカが配設される。図４Ｃは、ある実現例に従う、電子デバイス１９０のベース４１０に内蔵されるスピーカ４２２を開いた構成で示す音声起動電子デバイス１９０の斜視図４４０である。図４Ｄおよび図４Ｅはそれぞれ、ある実現例に従う、内蔵される電子構成要素を示す音声起動電子デバイス１９０の側面図４５０および拡大図４６０である。電子デバイス１９０は、フルカラーＬＥＤ４０４のアレイと、１つ以上のマイク４０２と、スピーカ４２２と、デュアルバンドＷｉＦｉ（登録商標）８０２．１１ａｃ無線と、ブルートゥース（登録商標）ＬＥ無線と、周囲光センサと、ＵＳＢポートと、プロセッサと、プロセッサによる実行のための少なくとも１つのプログラムを記憶するメモリとを含む。

【0082】

さらに、ある実現例では、電子デバイス１９０はさらに、電子デバイス１９０の上面上にタッチイベントを検出するように構成されるタッチ検知アレイ４２４を含む。タッチ検知アレイ４２４は、電子デバイス１９０の上面下に配設されかつ隠される。ある実現例では、ビアホールのアレイを含む回路基板の上面上に配置されるタッチ検知アレイ４２４およびフルカラーＬＥＤは、回路基板のビアホール内に配設される。回路基板が電子デバイス１９０の上面のすぐ下に位置決めされる場合、フルカラーＬＥＤ４０４とタッチ検知アレイ４２４との両者も、電子デバイス１９０の上面のすぐ下に配設される。

【0083】

図４Ｆ（１）−図４Ｆ（４）は、ある実現例に従う音声起動電子デバイス１９０のタッチ検知アレイ４２４上で検出される４つのタッチイベントを示す。図４Ｆ（１）および図４Ｆ（２）を参照して、タッチ検知アレイ４２４は、音声起動電子部品１９０の上面上の回転方向のスワイプを検出する。時計回りのスワイプの検出に応答して、音声起動電子部品１９０はそのオーディオ出力の音量を上げ、反時計回りのスワイプの検出に応答して、音声起動電子部品１９０はそのオーディオ出力の音量を下げる。図４Ｆ（３）を参照して、タッチ検知アレイ４２４は、音声起動電子部品１９０の上面上の１回のタップによるタッチを検出する。１回目のタップによるタッチの検出に応答して、音声起動電子部品１９０は、第１の媒体制御動作を実現（たとえば特定の媒体コンテンツを再生）し、２回目のタップによるタッチの検出に応答して、音声起動電子部品１９０は、第２の媒体制御動作を実現（たとえば現在再生中の特定の媒体コンテンツを一時停止）する。図４Ｆ（４）を参照して、タッチ検知アレイ４２４は、音声起動電子部品１９０の上面上の２回のタップによるタッチ（たとえば２連続タッチ）を検出する。２連続タッチは、予め定められた長さより短い持続時間で分けられる。しかしながら、それらが予め定められた長さよりも長い持続時間で分けられる場合、２連続タッチは、２回の単発のタップによるタッチとみなされる。２回のタップによるタッチの検出に応答して、音声起動電子部品１９０はホットワード検出状態を開始する。この状態で、電子デバイス１９０は、１つ以上のホットワード（たとえば予め規定されたキーワード）をリッスンしかつそれを認識する。電子デバイス１９０がホットワードを認識するまで、電子デバイス１９０は音声支援サーバ１１２またはクラウドキャストサービスサーバ１１８にはオーディオ入力を全く送らない。

【0084】

ある実現例では、フルカラーＬＥＤ４０４のアレイは、ＬＥＤ設計言語に従って視覚的パターンの組を表示して、音声起動電子部品１９０の上面上での時計回りのスワイプ、反時計回りのスワイプ、１回のタップ、または２回のタップの検出を示すように構成される。たとえば、フルカラーＬＥＤ４０４のアレイは順に点灯して、それぞれ図４Ｆ（１）および図４Ｆ（２）に示されるような時計回りまたは反時計回りのスワイプに追従し得る。図４Ｇおよび図４Ｈ（１）−図４Ｈ（８）を参照して、電子デバイス１９０の音声処理状態に関連付けられる視覚的パターンについてのさらなる詳細を以下に説明する。

【0085】

図４Ｆ（５）は、ある実現例に従う音声起動電子デバイス１９０の背面側のボタン４０６に対するユーザによる例示的なタッチまたは押下を示す。ボタン４０６に対するユーザによる１回目のタッチまたは押下に応答して、電子デバイス１９０のマイクがミュートにされ、ボタン４０６に対するユーザによる２回目のタッチまたは押下に応答して、電子デバイス１９０のマイクが活性化される。

【0086】

音声ユーザインターフェイスの視覚的アフォーダンスのためのＬＥＤ設計言語
ある実現例では、電子デバイス１９０の単純さおよび低コストを考慮すると、電子デバイス１９０は、全表示画面よりもむしろ、フルカラー発光ダイオード（ＬＥＤ）のアレイを含む。ＬＥＤ設計言語は、フルカラーＬＥＤのアレイの照明を構成しかつ電子デバイス１９０の異なる音声処理状態を示す異なる視覚的パターンを可能にするように採用される。ＬＥＤ設計言語は、固定された組のフルカラーＬＥＤに適用される色、パターン、および具体的な動きの文法からなる。言語中の要素を組合せて、電子デバイス１９０の使用の際の具体的なデバイスの状態を視覚的に示す。ある実現例では、フルカラーＬＥＤの照明は、他の重要な状態のうち、電子デバイス１９０の受動的リッスンおよび能動的リッスンの状態を明確に視覚的に示すことを目的とする。フルカラーＬＥＤの配備は電子デバイス１９０の物理的制約に合致しており、特定の技術（たとえばGoogleアシスタント（登録商標））に基づいて第三者相手先商標製品製造業者（ＯＥＭ）が製造するスピーカでフルカラーＬＥＤのアレイを用いることができる。

【0087】

特定の技術に基づいて第三者ＯＥＭが製造するスピーカでフルカラーＬＥＤのアレイを用いる場合、フルカラーＬＥＤおよびＬＥＤ設計言語は、ＯＥＭスピーカの対応の物理的ユーザインターフェイスに合うように構成される。この状況では、デバイス状態を表わす特定の視覚的パターンが異なり得る（たとえば、フルカラーＬＥＤの色は異なり得るが、同様のアニメーション効果を伴って表示される）一方で、ＯＥＭスピーカのデバイス状態は同じままである。

【0088】

音声起動電子デバイス１９０では、受動的リッスンは、電子デバイス１９０がその周囲環境から収集したオーディオ入力の処理はするが、オーディオ入力を記憶したり任意の遠隔サーバにオーディオ入力を送信したりはしない場合に行なわれる。これに対し、能動的リッスンは、電子デバイス１９０がその周囲環境から収集したオーディオ入力を記憶する場合および／またはオーディオ入力を遠隔サーバと共有する場合に行われる。この出願のある実現例に従うと、電子デバイス１９０は、電子デバイス１９０のユーザのプライバシーを侵害することなく、その周囲環境のオーディオ入力を受動的にのみリッスンする。

【0089】

図４Ｇは、ある実現例に従う音声起動電子デバイス１９０の上面図であり、図４Ｈは、ある実現例に従う、音声処理状態を示すためにフルカラーＬＥＤのアレイによって表示される６つの例示的な視覚的パターンを示す。ある実現例では、電子デバイス１９０は、表示画面を全く含まず、フルカラーＬＥＤ４０４が、全表示画面と比較して単純かつ低コストの視覚的ユーザインターフェイスを提供する。フルカラーＬＥＤは電子デバイスの上面下に隠され、点灯していないときはユーザから不可視であり得る。図４Ｇおよび図４Ｈを参照して、ある実現例では、フルカラーＬＥＤ４０４のアレイは、物理的にリング状に配置される。たとえば、図４Ｈ（６）に示されるように、フルカラーＬＥＤ４０４のアレイは順に点灯して、それぞれ図４Ｆ（１）および図４Ｆ（２）に示されるような時計回りまたは反時計回りのスワイプに追従してもよい。

【0090】

音声処理状態を視覚的に示すために、方法は電子デバイス１９０において実現される。電子デバイス１９０は、１つ以上のマイク４０２を介して電子デバイスに近接した環境からオーディオ入力を収集し、当該オーディオ入力を処理する。処理することは、環境中のユーザからの音声入力を識別することと、これに応答することとのうち１つ以上を含む。電子デバイス１９０は、複数の予め規定された音声処理状態の中から処理の状態を判定する。フルカラーＬＥＤ４０４の各々毎に、電子デバイス１９０は、判定された音声処理状態に関連付けられるそれぞれの予め定められたＬＥＤ照明仕様を識別する。照明仕様は、ＬＥＤ照明持続時間、パルスレート、デューティサイクル、色順、および明るさのうち１つ以上を含む。ある実現例では、電子デバイス１９０は、音声処理状態が複数のユーザのうちの１人に関連付けられていると判定し、複数のユーザのうちの１人のアイデンティティに応じてフルカラーＬＥＤ４０４の予め定められたＬＥＤ照明仕様（たとえば色順）のうち少なくとも１つをカスタマイズすることによって、フルカラーＬＥＤ４０４の予め定められたＬＥＤ照明仕様を識別する。

【0091】

さらに、ある実現例では、判定された音声処理状態に従って、フルカラーＬＥＤの色は、予め定められた組の色を含む。たとえば、図４Ｈ（２）、図４Ｈ（４）、および図４Ｈ（７）−（１０）を参照して、予め定められた組の色は、青、緑、黄、および赤を含むグーグルブランドカラーを含み、フルカラーＬＥＤのアレイは、各々がグループブランドカラーの１つに関連付けられる４つの象限に分割される。

【0092】

フルカラーＬＥＤの識別されたＬＥＤ照明仕様に従って、電子デバイス１９０は、フルカラーＬＥＤのアレイの照明を同期させて、判定された音声処理状態を示す視覚的パターンを与える。ある実現例では、音声処理状態を示す視覚的パターンは、複数の別々のＬＥＤ照明画素を含む。ある実現例では、視覚的パターンは、開始セグメントと、ループセグメントと、終端セグメントとを含む。ループセグメントは、フルカラーＬＥＤのＬＥＤ照明持続時間に関連付けられかつ音声処理状態の長さに一致するように構成される時間長の間続く。

【0093】

ある実現例では、電子デバイス１９０は、ＬＥＤ設計言語で表わされる、２０を超える（複数の予め規定された音声処理状態を含む）異なるデバイス状態を有する。任意に、複数の予め規定された音声処理状態は、ホットワード検出状態、リッスン中状態、考え中状態、および応答中状態のうち１つ以上を含む。

【0094】

１．ホットワード検出状態およびリッスン中状態
ある実現例では、電子デバイス１９０は、ホットワード検出状態で、１つ以上のホットワード（たとえば予め定められたキーワード）をリッスンしかつ認識する。電子デバイス１９０がホットワードを認識するまで、電子デバイス１９０は、音声支援サーバ１１２またはクラウドキャストサービスサーバ１１８にオーディオ入力を全く送らない。ホットワードが検出されると、電子デバイス１９０は、以降の処理のためにクラウドにさらに送信されるオーディオ入力をマイクが記録すると、リッスン中状態で動作し始める。リッスン中モードでは、予め定められた時間的位置（たとえばホットワードの検出の２秒前）から開始するオーディオ入力が音声支援サーバ１１２またはクラウドキャストサービスサーバ１１８に送信され、これにより、より自然な会話のような流れを求めたシームレスな問合せが容易になる。

【0095】

したがって、ある実現例では、判定された音声処理状態が、１つ以上の予め規定されたホットワードが検出された際に生じるホットワード検出状態であるという判定に従って、フルカラーＬＥＤのアレイは、交互に配置されかつ順に点灯するように構成される複数のダイオード群に分割され、複数のダイオード群の各々の中のダイオードが異なる色で点灯する。さらに、ある実現例では、判定された音声処理状態が、電子デバイスが環境から音声入力を能動的に受信しておりかつ受信した音声入力を遠隔サーバに与えている場合に生じるリッスン中状態であるという判定に従って、すべてのフルカラーＬＥＤが単一の色で点灯し、各々のフルカラーＬＥＤは明るさを異ならせてかつ変化させて点灯する。

【0096】

図４Ｈ（１）、（３）、および（５）に示されるように、視覚的パターンは、音声処理状態に関連付けられる人間の反応（たとえば、呼吸、震え、瞬き、およびスワイプ）に一致するように構成され得る。たとえば、グーグルブランドカラーを用いる最もインパクトがある場所のうち１つに、周囲に注意を払っているのを示す起動を表わすスピン（attentive wake-up spin）が現れて、その後にゆったりと呼吸するかのようなアニメーションになるのは、忍耐強くかつ熱心なしかし礼儀をわきまえたリッスンを伝えている。色自体が、グーグル音声アシスタントのブランド感とその具体化感とを醸し出す。これらの要素は、デバイスの無表情な見かけとは対照をなして、非常に明確な非記録および記録中状態を示す。

【0097】

２．考え中モードまたは作業中モード
具体的に、ある実現例では、音声処理状態が、電子デバイスがユーザから受信した音声入力を処理中である際に生じる考え中状態であるという判定に従って、ＬＥＤ照明持続時間の最初の照明サイクルの間には点灯するＲＧＢダイオードの数が増えていき、第１の照明サイクルに続く第２の照明サイクルの間には、点灯するＲＧＢダイオードの数が少なくなっていく。そのような視覚的パターンは、ある人物が考え中であるという人間の反応に一致している。任意に、マイク４０２は、考え中モードではオフにされる。

【0098】

図４Ｈ（３）、図４Ｈ（５）、および図４Ｈ（６）を参照して、プログレスバーに最もよく似た動きおよび他の種類のデジタル待機信号を視覚的パターンで用いて考え中モードを示す。ある実現例では、追跡アニメーションに白を用いる。他の音声処理状態に対するよりよい区別となる対照および強調を与えるために、ここでは意図的にブランドカラーを用いない。

【0099】

３．応答中モードまたは話し中モード
これに代えて、ある実現例では、音声処理状態が、ユーザから受信した音声入力に応答して電子デバイスが音声メッセージをブロードキャストする際に生じる応答中状態であるという判定に従って、フルカラーＬＥＤのサブセットが単一色で明るさを別々にしてかつ変化させて点灯し、フルカラーＬＥＤのサブセットの各々の明るさの変化は、ユーザからの音声入力に関連付けられる声の速度に一致する。ある実現例では、話し中モードは、音声アシスタントがその技術を示すところである。視覚的パターンでは色の組（たとえばグーグルブランドカラー）を用いるので、フルカラーＬＥＤは、音声問合せに対する締切り、すなわち質問に答えが与えられたこと、を視覚的に示す。

【0100】

スマートメディア環境に係る個々のデバイス
図５は、ある実現例に従う、スマートメディア環境１００でユーザ音声コマンドを収集する音声インターフェイスとして適用される例示的な電子デバイス１９０を示すブロック図である。電子デバイス１９０は典型的に、１つ以上の処理ユニット（ＣＰＵ）５０２と、１つ以上のネットワークインターフェイス５０４と、メモリ５０６と、（チップセットと呼ばれることがある）これらの構成要素を相互接続するための１つ以上の通信バス５０８とを含む。電子デバイス１９０は、図４Ａ−図４Ｈに示されるボタン４０６、タッチ検知アレイ、および１つ以上のマイク４０２などのユーザ入力を容易にする１つ以上の入力装置５１０を含む。電子デバイス１９０は、１つ以上のスピーカ４２２およびフルカラーＬＥＤ４０４のアレイを含む１つ以上の出力装置５１２も含む。

【0101】

メモリ５０６は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭなどの高速ランダムアクセスメモリまたは他のランダムアクセス固体メモリデバイスを含み、任意に、１つ以上の磁気ディスク記憶デバイス、１つ以上の光ディスク記憶デバイス、１つ以上のフラッシュメモリデバイス、または１つ以上の他の不揮発性固体記憶デバイスなどの不揮発性メモリを含む。メモリ５０６は、任意に、１つ以上の処理ユニット５０２から遠隔に位置する１つ以上の記憶デバイスを含む。メモリ５０６または代替的にメモリ５０６内の不揮発性メモリは、非一時的コンピュータ読出可能記憶媒体を含む。ある実現例では、メモリ５０６またはメモリ５０６の非一時的コンピュータ読出可能記憶媒体は、以下のプログラム、モジュール、およびデータ構造、またはその下位セットもしくは上位セットを記憶する。

【0102】

・さまざまな基本的なシステムサービスを取扱いかつハードウェア依存タスクを行なうための手順を含むオペレーティングシステム５１６
・１つ以上のネットワークインターフェイス５０４（有線または無線）、およびインターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの１つ以上のネットワーク１１０を介して電子デバイス１９０を他のデバイス（たとえば、サーバシステム１４０、キャストデバイス１０８、クライアントデバイス１０４、スマートホームデバイス１２０、および他の電子デバイス１９０）に接続するためのネットワーク通信モジュール５１８
・１つ以上の入力装置５１０を介して入力を受信し、１つ以上の出力装置５１２を介して電子デバイス１９０での情報の提示を可能にするための入力／出力制御モジュールであって、以下を含む。

【0103】

−電子デバイス１９０の周囲の環境で収集されるオーディオ入力もしくは音声メッセージを処理する、または音声支援サーバ１１２もしくはクラウドキャストサービスサーバ１１８での処理のために収集されたオーディオ入力もしくは音声メッセージを準備するための音声処理モジュール５２２
−電子デバイス１９０のデバイス状態に従ってフルカラーＬＥＤ４０４の視覚的パターンを生成するためのＬＥＤ制御モジュール５２４
−電子デバイス１９０の上面上のタッチイベントを検知するためのタッチ検知モジュール５２６
・電子デバイス１９０に関連付けられるデータを少なくとも記憶する音声起動デバイスデータ５３０であって、以下を含む。

【0104】

−共通のデバイス設定（たとえば、サービス階層、デバイスモデル、記憶容量、処理能力、通信能力など）、ユーザドメイン中のユーザアカウントの情報、およびフルカラーＬＥＤによって表示される１つ以上の視覚的パターンに関連付けられる表示仕様５３６を含む、電子デバイス１９０自体に関連付けられる情報を記憶するための音声デバイス設定５３２
−オーディオ信号、音声メッセージ、応答メッセージ、および電子デバイス１９０の音声インターフェイス機能に関する他のデータを記憶するための音声制御データ５３４
具体的に、フルカラーＬＥＤによって表示される１つ以上の視覚的パターンに関連付けられる表示仕様５３６は、１つ以上の視覚的パターンの各々に関連付けられる予め定められたＬＥＤ照明仕様を含む。フルカラーＬＥＤの各々毎に、照明仕様は、それぞれの視覚的パターンに関連付けられる、ＬＥＤ照明持続時間、パルスレート、デューティサイクル、色順、および明るさのうち１つ以上を含む。各々の視覚的パターンは、少なくとも１つの音声処理状態に対応する。

【0105】

以上識別した要素の各々は、先に言及したメモリデバイスのうち１つ以上に記憶されてもよく、上述の機能を行なうための１組の命令に対応する。以上で識別したモジュールまたはプログラム（すなわち命令の組）は、別個のソフトウェアプログラム、手順、モジュール、またはデータ構造として実現される必要はなく、そのため、これらのモジュールのさまざまな下位セットをさまざまな実現例で組合せたりそれ以外に再配置してもよい。ある実現例では、メモリ５０６は、任意に、以上で識別したモジュールおよびデータ構造の下位セットを記憶する。さらに、メモリ５０６は、任意に、上述していない付加的なモジュールおよびデータ構造を記憶する。

【0106】

図６は、ある実現例に従う、スマートメディア環境１００で媒体コンテンツの表示の自動制御のために適用される例示的なキャストデバイス１０８を示すブロック図である。キャストデバイス１０８は典型的に、１つ以上の処理ユニット（ＣＰＵ）６０２と、１つ以上のネットワークインターフェイス６０４と、メモリ６０６と、（チップセットと呼ばれることがある）これらの構成要素を相互接続するための１つ以上の通信バス６０８とを含む。

【0107】

メモリ６０６は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭなどの高速ランダムアクセスメモリまたは他のランダムアクセス固体メモリデバイスを含み、任意に、１つ以上の磁気ディスク記憶デバイス、１つ以上の光ディスク記憶デバイス、１つ以上のフラッシュメモリデバイス、または１つ以上の他の不揮発性固体記憶デバイスなどの不揮発性メモリを含む。メモリ６０６は、任意に、１つ以上の処理ユニット６０２から遠隔に位置する１つ以上の記憶デバイスを含む。メモリ６０６または代替的にメモリ６０６内の不揮発性メモリは、非一時的コンピュータ読出可能記憶媒体を含む。ある実現例では、メモリ６０６またはメモリ６０６の非一時的コンピュータ読出可能記憶媒体は、以下のプログラム、モジュール、およびデータ構造またはその下位セットもしくは上位セットを記憶する。

【0108】

・さまざまな基本的なシステムサービスを取扱いかつハードウェア依存タスクを行なうための手順を含むオペレーティングシステム６１６
・１つ以上のネットワークインターフェイス６０４（有線または無線）、およびインターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワーク、ケーブルテレビシステム、衛星テレビシステム、ＩＰＴＶシステムなどの１つ以上のネットワーク１１０を介して、キャストデバイス１０８を他のコンピュータまたはシステム（たとえば、サーバシステム１４０、スマートホームデバイス１２０、およびクライアントデバイス１０４）に接続するためのネットワーク通信モジュール６１８
・１つ以上のコンテンツソース１１４から受信したコンテンツ信号を復号し、復号された信号中のコンテンツをキャストデバイス１０８に結合された出力表示装置１０６に出力するためのコンテンツ復号モジュール６２０
・媒体表示を制御して、たとえば、クラウドキャストサービスサーバ１１６から受信した即時媒体再生情報に従って出力装置１０６への媒体出力を生じさせるための１つ以上の媒体再生アプリケーション６２４を含む自動媒体表示モジュール６２４
・（たとえば、自動媒体出力モードおよびフォローアップモードで）媒体表示の自動制御に関連付けられるデータを少なくとも記憶するキャストデバイスデータ６２６であって、以下を含む。

【0109】

−アカウントアクセス情報、デバイス設定のための情報（たとえば、サービス階層、デバイスモデル、記憶容量、処理能力、通信能力など）、および自動媒体表示制御のための情報のうち１つ以上を含む、キャストデバイスアプリケーションのユーザアカウントに関連付けられる情報を記憶するためのキャストデバイス設定６２８
−アカウントアクセス情報、媒体コンテンツ種類のユーザの嗜好、レビュー履歴データ、および自動媒体表示制御のための情報のうち１つ以上を含む、１つ以上の媒体プレイヤアプリケーションのユーザアカウントに関連付けられる情報を記憶するための媒体プレイヤアプリケーション設定６３０
以上識別した要素の各々は、先に言及したメモリデバイスのうち１つ以上に記憶されてもよく、上述の機能を行なうための１組の命令に対応する。以上で識別したモジュールまたはプログラム（すなわち命令の組）は、別個のソフトウェアプログラム、手順、モジュール、またはデータ構造として実現される必要はなく、そのため、これらのモジュールのさまざまな下位セットをさまざまな実現例で組合せたりそれ以外に再配置してもよい。ある実現例では、メモリ６０６は、任意に、以上で識別したモジュールおよびデータ構造の下位セットを記憶する。さらに、メモリ６０６は、任意に、上述していない付加的なモジュールおよびデータ構造を記憶する。

【0110】

図７は、ある実現例に従う、スマートメディア環境１００のサーバシステム１４０中の例示的なサーバを示すブロック図である。例示的なサーバは、クラウドキャストサービスサーバ１１６の１つである。サーバ１４０は典型的に、１つ以上の処理ユニット（ＣＰＵ）７０２と、１つ以上のネットワークインターフェイス７０４と、メモリ７０６と、（チップセットと呼ばれることがある）これらの構成要素を相互に接続するための１つ以上の通信バス７０８とを含む。サーバ１４０は、キーボード、マウス、音声コマンド入力ユニットもしくはマイク、タッチ画面ディスプレイ、タッチセンサ式入力パッド、ジェスチャー捕捉カメラ、または他の入力ボタンもしくはコントロールなどの、ユーザ入力を容易にする１つ以上の入力装置７１０を含み得る。さらに、サーバ１４０は、マイクおよび音声認識またはカメラおよびジェスチャー認識を用いて、キーボードを補足するまたは置き換えることができる。ある実現例では、サーバ１４０は、たとえば電子デバイス上に印刷されるグラフィックシリーズコードの画像を捕捉するための１つ以上のカメラ、スキャナ、または光センサユニットを含む。サーバ１４０は、１つ以上のスピーカおよび／または１つ以上の視覚的ディスプレイを含む、ユーザインターフェイスおよび表示内容の提示を可能にする１つ以上の出力装置７１２も含み得る。

【0111】

メモリ７０６は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭなどの高速ランダムアクセスメモリまたは他のランダムアクセス固体メモリデバイスを含み、任意に、１つ以上の磁気ディスク記憶デバイス、１つ以上の光ディスク記憶デバイス、１つ以上のフラッシュメモリデバイス、または１つ以上の他の不揮発性固体記憶デバイスなどの不揮発性メモリを含む。メモリ７０６は、任意に、１つ以上の処理ユニット７０２から遠隔に位置する１つ以上の記憶デバイスを含む。メモリ７０６または代替的にメモリ７０６内の不揮発性メモリは、非一時的コンピュータ読出可能記憶媒体を含む。ある実現例では、メモリ７０６またはメモリ７０６の非一時的コンピュータ読出可能記憶媒体は、以下のプログラム、モジュール、およびデータ構造またはその下位セットもしくは上位セットを記憶する。

【0112】

・さまざまな基本的なシステムサービスを取扱いかつハードウェア依存タスクを行なうための手順を含むオペレーティングシステム７１６
・１つ以上のネットワークインターフェイス７０４（有線または無線）、およびインターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの１つ以上のネットワーク１１０を介して、サーバシステム１４０を他のデバイス（たとえば、サーバシステム１４０中のさまざまなサーバ、クライアントデバイス１０４、キャストデバイス１０８、およびスマートホームデバイス１２０）に接続するためのネットワーク通信モジュール７１８
・クライアントデバイス１０４において情報（たとえば、アプリケーション８２６−８３０を提示するためのグラフィカルユーザインターフェイス、ウィジェット、ウェブサイトおよびそのウェブページ、ならびに／またはゲーム、オーディオおよび／もしくはビデオコンテンツ、テキストなど）の提示を可能にするためのユーザインターフェイスモジュール７２０
・サーバ側での実行のためのコマンド実行モジュール７２１（たとえば、ゲーム、ソーシャルネットワークアプリケーション、スマートホームアプリケーション、ならびに／またはクライアントデバイス１０４、キャストデバイス１０８、電子デバイス１９０、およびスマートホームデバイス１２０を制御し、そのようなデバイスが捕捉したデータをレビューするための他のウェブもしくは非ウェブベースのアプリケーション）であって、以下のうち１つ以上を含む。

【0113】

−キャストデバイス１０８に関連付けられるデバイスプロビジョニング、デバイス制御、およびユーザアカウント管理のためのサーバ側機能を提供するように実行されるキャストデバイスアプリケーション７２２
−対応の媒体ソースに関連付けられる媒体表示およびユーザアカウント管理のためのサーバ側機能を提供するように実行される１つ以上の媒体プレイヤアプリケーション７２４
−対応のスマートホームデバイス１２０のデバイスプロビジョニング、デバイス制御、データ処理、およびデータレビューのためのサーバ側機能を提供するように実行される１つ以上のスマートホームデバイスアプリケーション７２６
−電子デバイス１９０から受信した音声メッセージの音声処理を手配する、または音声メッセージを直接に処理してユーザ音声コマンドとキャストデバイス１０８もしくは別の電子デバイス１９０の指定とを抽出する、ように実行される音声支援アプリケーション７２８
・（たとえば、自動媒体出力モードおよびフォローアップモードでの）媒体表示の自動制御に関連付けられるデータを少なくとも記憶するサーバシステムデータ７３０であって、以下のうち１つ以上を含む。

【0114】

−共通のデバイス設定（たとえば、サービス階層、デバイスモデル、記憶容量、処理能力、通信能力など）および自動媒体表示制御のための情報を含む、クライアントデバイス１０４に関連付けられる情報を記憶するためのクライアントデバイス設定７３２
−アカウントアクセス情報、デバイス設定のための情報（たとえば、サービス階層、デバイスモデル、記憶容量、処理能力、通信能力など）、および自動媒体表示制御のための情報のうち１つ以上を含む、キャストデバイスアプリケーション７２２のユーザアカウントに関連付けられる情報を記憶するためのキャストデバイス設定７３４
−アカウントアクセス情報、媒体コンテンツ種類のユーザの嗜好、レビュー履歴データ、および自動媒体表示制御のための情報のうち１つ以上を含む、１つ以上の媒体プレイヤアプリケーション７２４のユーザアカウントに関連付けられる情報を記憶するための媒体プレイヤアプリケーション設定７３６
−アカウントアクセス情報、１つ以上のスマートホームデバイス１２０のための情報（たとえば、サービス階層、デバイスモデル、記憶容量、処理能力、通信能力など）のうち１つ以上を含む、スマートホームアプリケーション７２６のユーザアカウントに関連付けられる情報を記憶するためのスマートホームデバイス設定７３８
−アカウントアクセス情報、１つ以上の電子デバイス１９０のための情報（たとえば、サービス階層、デバイスモデル、記憶容量、処理能力、通信能力など）のうち１つ以上を含む、音声支援アプリケーション７２８のユーザアカウントに関連付けられる情報を記憶するための音声支援データ７４０
サーバ１４０がクラウドキャストサービスサーバ１１６を含む場合、メモリ７０６またはメモリ７０６の非一時的コンピュータ読出可能記憶媒体は、以下のプログラム、モジュール、およびデータ構造、またはその下位セットもしくは上位セットを記憶する。

【0115】

・クラウドキャストサービスサーバ１１６に結合されるデバイスレジストリ１１８を管理するためのデバイス登録モジュール７５０
・音声メッセージ中で識別されたユーザ音声コマンドを、クラウドキャストユーザドメイン中で結合されるキャストデバイス１８０、電子デバイス１９０、およびスマートホームデバイス１２０のうち１つ以上に中継するためのクラウドキャストアプリケーション７６０
・クラウドキャストユーザドメイン中で結合されるキャストデバイス１８０、電子デバイス１９０、およびスマートホームデバイス１２０の状態を維持するためのステータス報告モジュール７７０
以上識別した要素の各々は、先に言及したメモリデバイスのうち１つ以上に記憶されてもよく、上述の機能を行なうための１組の命令に対応する。以上で識別したモジュールまたはプログラム（すなわち命令の組）は、別個のソフトウェアプログラム、手順、モジュール、またはデータ構造として実現される必要はなく、そのため、これらのモジュールのさまざまな下位セットをさまざまな実現例で組合せたりそれ以外に再配置してもよい。ある実現例では、メモリ７０６は、任意に、以上で識別したモジュールおよびデータ構造の下位セットを記憶する。さらに、メモリ７０６は、任意に、上述していない付加的なモジュールおよびデータ構造を記憶する。

【0116】

図８は、ある実現例に従う、スマートメディア環境１００で媒体表示の自動制御のために適用される例示的なクライアントデバイス１０４を示すブロック図である。クライアントデバイスの例は、携帯電話、タブレットコンピュータ、およびウェアラブルパーソナルデバイスを含むが、これらに限定されない。クライアントデバイス１０４は典型的に、１つ以上の処理ユニット（ＣＰＵ）８０２と、１つ以上のネットワークインターフェイス８０４と、メモリ８０６と、（チップセットと呼ばれることがある）これらの構成要素を相互接続するための１つ以上の通信バス８０８とを含む。クライアントデバイス１０４は、キーボード、マウス、音声コマンド入力ユニットもしくはマイク、タッチ画面ディスプレイ、タッチセンサ式入力パッド、ジェスチャー捕捉カメラ、または他の入力ボタンもしくはコントロールなどの、ユーザ入力を容易にする１つ以上の入力装置８１０を含む。さらに、クライアントデバイス１０４のうちあるものは、マイクおよび音声認識またはカメラおよびジェスチャー認識を用いて、キーボードを補足するまたは置き換える。ある実現例では、クライアントデバイス１０４は、たとえば電子デバイス上に印刷されるグラフィックシリーズコードの画像を捕捉するための１つ以上のカメラ、スキャナ、または光センサユニットを含む。クライアントデバイス１０４は、１つ以上のスピーカおよび／または１つ以上の視覚的ディスプレイを含む、ユーザインターフェイスおよび表示内容の提示を可能にする１つ以上の出力装置８１２を含む。任意に、クライアントデバイス１０４は、クライアントデバイス１０４の場所を判定するためのＧＰＳ（全地球測位システム）または他の地理位置情報受信機などの場所検出装置８１４を含む。

【0117】

メモリ８０６は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭなどの高速ランダムアクセスメモリまたは他のランダムアクセス固体メモリデバイスを含み、任意に、１つ以上の磁気ディスク記憶デバイス、１つ以上の光ディスク記憶デバイス、１つ以上のフラッシュメモリデバイス、または１つ以上の他の不揮発性固体記憶デバイスなどの不揮発性メモリを含む。メモリ８０６は、任意に、１つ以上の処理ユニット８０２から遠隔に位置する１つ以上の記憶デバイスを含む。メモリ８０６または代替的にメモリ８０６内の不揮発性メモリは、非一時的コンピュータ読出可能記憶媒体を含む。ある実現例では、メモリ８０６またはメモリ８０６の非一時的コンピュータ読出可能記憶媒体は、以下のプログラム、モジュール、およびデータ構造またはその下位セットもしくは上位セットを記憶する。

【0118】

・さまざまな基本的なシステムサービスを取扱いかつハードウェア依存タスクを行なうための手順を含むオペレーティングシステム８１６
・１つ以上のネットワークインターフェイス８０４（有線または無線）、およびインターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの１つ以上のネットワーク１１０を介して、クライアントデバイス１０４を他のデバイス（たとえばサーバシステム１４０、キャストデバイス１０８、電子デバイス１９０、スマートホームデバイス１２０、および他のクライアントデバイス１０４）に接続するためのネットワーク通信モジュール８１８
・１つ以上の出力装置８１２（たとえばディスプレイ、スピーカなど）を介してクライアントデバイス１０４において情報（たとえば、アプリケーション８２６−８３０を提示するためのグラフィカルユーザインターフェイス、ウィジェット、ウェブサイトおよびそのウェブページ、ならびに／またはゲーム、オーディオおよび／もしくはビデオコンテンツ、テキストなど）の提示を可能にするためのユーザインターフェイスモジュール８２０
・１つ以上の入力装置８１０のうち１つからの１つ以上のユーザ入力または対話を検出し、検出した入力または対話を解釈するための入力処理モジュール８２２
・キャストデバイス１０８、電子デバイス１９０、媒体アプリケーション、またはスマートホームデバイス１２０に関連付けられるユーザアカウントにログインするためのウェブインターフェイスを含むウェブサイトおよびそのウェブページをナビゲート、（たとえばＨＴＴＰを介して）要求、ならびに表示し、ユーザアカウントに関連付けられていれば、キャストデバイス１０８、電子デバイス１９０、またはスマートホームデバイス１２０を制御し、かつユーザアカウントに関連付けられる設定およびデータを編集しレビューするためのウェブブラウザモジュール８２４
・クライアントデバイスによる実行のための１つ以上のアプリケーション（たとえば、ゲーム、ソーシャルネットワークアプリケーション、スマートホームアプリケーション、ならびに／またはキャストデバイス１０８、電子デバイス１９０、および／もしくはスマートホームデバイス１２０を制御し、かつそのようなデバイスが捕捉するデータをレビューするための他のウェブもしくは非ウェブベースのアプリケーション）であって、以下のうち１つ以上を含む。

【0119】

−キャストデバイス１０８に関連付けられるデバイスプロビジョニング、デバイス制御、およびユーザアカウント管理のためのクライアント側機能性を提供するように実行されるキャストデバイスアプリケーション８２６
−電子デバイス１９０に関連付けられるデバイスプロビジョニング、デバイス制御、およびユーザアカウント管理のためのクライアント側機能性を提供するように実行される音声起動デバイスアプリケーション８２７
−対応の媒体ソースに関連付けられる媒体表示およびユーザアカウント管理のためのクライアント側機能性を提供するように実行される１つ以上の媒体プレイヤアプリケーション８２８
−対応のスマートホームデバイス１２０のデバイスプロビジョニング、デバイス制御、データ処理、およびデータレビューのためのクライアント側機能性を提供するように実行される１つ以上のスマートホームデバイスアプリケーション８３０
・（たとえば、自動媒体出力モードまたはフォローアップモードで）媒体表示の自動制御に関連付けられるデータを少なくとも記憶するクライアントデータ８３２であって、以下を含む。

【0120】

−共通のデバイス設定（たとえば、サービス階層、デバイスモデル、記憶容量、処理能力、通信能力など）および自動媒体表示制御のための情報を含む、クライアントデバイス１０４自体に関連付けられる情報を記憶するためのクライアントデバイス設定８３４
−アカウントアクセス情報、デバイス設定のための情報（たとえば、サービス階層、デバイスモデル、記憶容量、処理能力、通信能力など）、および自動媒体表示制御のための情報のうち１つ以上を含む、キャストデバイスアプリケーション８２６のユーザアカウントに関連付けられる情報を記憶するためのキャストデバイス設定８３６
−アカウントアクセス情報、媒体コンテンツ種類のユーザの嗜好、レビュー履歴データ、および自動媒体表示制御のための情報のうち１つ以上を含む、１つ以上の媒体プレイヤアプリケーション８２８のユーザアカウントに関連付けられる情報を記憶するための媒体プレイヤアプリケーション設定８３８
−アカウントアクセス情報、スマートホームデバイス設定のための情報（たとえば、サービス階層、デバイスモデル、記憶容量、処理能力、通信能力など）のうち１つ以上を含む、スマートホームアプリケーション８３０のユーザアカウントに関連付けられる情報を記憶するためのスマートホームデバイス設定８４０
−アカウントアクセス情報、電子デバイス設定のための情報（たとえば、サービス階層、デバイスモデル、記憶容量、処理能力、通信能力など）のうち１つ以上を含む、音声起動デバイスアプリケーション８２７のユーザアカウントに関連付けられる情報を記憶するための音声起動デバイス設定８４２
ある実現例では、キャストデバイスアプリケーション８２６、音声起動デバイスアプリケーション８２７、媒体プレイヤアプリケーション８２８、およびスマートホームデバイスアプリケーション８３０の各々は、クライアントデバイス１０４の出力装置８１２上にそれぞれのユーザインターフェイスの表示を生じさせる。ある実現例では、キャストデバイスアプリケーション８２６、音声起動デバイスアプリケーション８２７、媒体プレイヤアプリケーション８２８、およびスマートホームデバイスアプリケーション８３０に関連付けられるユーザのユーザアカウントは、単一のクラウドキャストサービスアカウントにリンクされる。ユーザは、クラウドキャストサービスアカウント情報を用いて、キャストデバイスアプリケーション８２６、音声起動デバイスアプリケーション８２７、媒体プレイヤアプリケーション８２８、およびスマートホームデバイスアプリケーション８３０のすべてにログオンし得る。ある実現例では、メモリ８０６またはメモリ８０６の非一時的コンピュータ読出可能記憶媒体は、同じクラウドキャストサービスアカウント（たとえばグーグルユーザアカウント）にリンクされるキャストデバイス１０８、スマートホームデバイス１２０、および電子デバイス１９０に関連付けられる機能制御およびユーザアカウント管理のためのクライアント側機能性を提供するように実行されるクラウドキャストアプリケーション８４４を記憶する。

【0121】

以上識別した要素の各々は、先に言及したメモリデバイスのうち１つ以上に記憶されてもよく、上述の機能を行なうための１組の命令に対応する。以上で識別したモジュールまたはプログラム（すなわち命令の組）は、別個のソフトウェアプログラム、手順、モジュール、またはデータ構造として実現される必要はなく、そのため、これらのモジュールのさまざまな下位セットをさまざまな実現例で組合せたりそれ以外に再配置してもよい。ある実現例では、メモリ８０６は、任意に、以上で識別したモジュールおよびデータ構造の下位セットを記憶する。さらに、メモリ８０６は、任意に、上述していない付加的なモジュールおよびデータ構造を記憶する。

【0122】

図９は、ある実現例に従う、スマートメディア環境１００における例示的なスマートホームデバイス１２０を示すブロック図である。スマートホームデバイス１２０は典型的に、１つ以上の処理ユニット（ＣＰＵ）９０２と、１つ以上のネットワークインターフェイス９０４と、メモリ９０６と、（チップセットと呼ばれることがある）これらの構成要素を相互接続するための１つ以上の通信バス９０８とを含む。メモリ９０６は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭなどの高速ランダムアクセスメモリまたは他のランダムアクセス固体メモリデバイスを含み、任意に、１つ以上の磁気ディスク記憶デバイス、１つ以上の光ディスク記憶デバイス、１つ以上のフラッシュメモリデバイス、または１つ以上の他の不揮発性固体記憶デバイスなどの不揮発性メモリを含む。メモリ９０６は、任意に、１つ以上の処理ユニット９０２から遠隔に位置する１つ以上の記憶デバイスを含む。メモリ９０６または代替的にメモリ９０６内の不揮発性メモリは、非一時的コンピュータ読出可能記憶媒体を含む。ある実現例では、メモリ９０６またはメモリ９０６の非一時的コンピュータ読出可能記憶媒体は、以下のプログラム、モジュール、およびデータ構造またはその下位セットもしくは上位セットを記憶する。

【0123】

・さまざまな基本的なシステムサービスを取扱いかつスマートホームデバイス１２０のためのハードウェア依存タスクを行なうための手順を含むオペレーティングシステム９１６
・１つ以上のネットワークインターフェイス９０４（有線または無線）、およびインターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの１つ以上のネットワーク１１０を介して、スマートホームデバイス１２０を他のコンピュータまたはシステム（たとえば、サーバシステム１４０、クライアントデバイス１０４、キャストデバイス１０８、電子デバイス１９０、および他のスマートホームデバイス１２０）に接続するためのネットワーク通信モジュール９１８
・（スマートホームデバイス１２０がビデオカメラ１３２を含む場合、マルチメディアデータストリームを捕捉および生成して、マルチメディアデータストリームを連続的なフィードとしてまたは短いバーストでクライアントデバイス１０４またはサーバシステム１４０に送るために）スマートホームデバイス１２０がその指定された機能を実現できるようにするためのスマートホームデバイスモジュール９２２
・デバイス設定９２６に関連付けられるデータを少なくとも記憶するスマートホームデバイスデータ９２４
ある実現例では、スマートホームデバイス１２０は声で制御される。具体的に、クラウドキャストサービスサーバ１１６は、電子デバイス１９０が記録する音声メッセージを受信し、音声メッセージがスマートデバイス制御要求（たとえば、ビデオカメラのズームインまたはアウト、誤ったアラームのオフ、およびスマートサーモスタットから測定された温度の問合せ）を含むと判定する。スマートデバイス制御要求は、スマートホームデバイス１２０を制御するユーザ音声コマンドと、スマートホームデバイスのユーザ音声指定とを含む。スマートホームデバイスの音声指定に従って、クラウドキャストサービスサーバ１１６は、デバイスレジストリ１１８において、ユーザドメインにおいて電子デバイスに関連付けられるスマートホームデバイス１２０を識別する。次にクラウドキャストサービスサーバ１１６は、スマートホームデバイス１２９０に別のデバイス制御要求を送り、これにより、スマートホームデバイス１２０のスマートホームデバイスモジュール９２２は、ユーザ音声コマンドに従ってスマートホームデバイス１２０を制御できるようになる。

【0124】

以上識別した要素の各々は、先に言及したメモリデバイスのうち１つ以上に記憶されてもよく、上述の機能を行なうための１組の命令に対応する。以上で識別したモジュールまたはプログラム（すなわち命令の組）は、別個のソフトウェアプログラム、手順、モジュール、またはデータ構造として実現される必要はなく、そのため、これらのモジュールのさまざまな下位セットをさまざまな実現例で組合せたりそれ以外に再配置してもよい。ある実現例では、メモリ９０６は、任意に、以上で識別したモジュールおよびデータ構造の下位セットを記憶する。さらに、メモリ９０６は、任意に、上述していない付加的なモジュールおよびデータ構造を記憶する。

【0125】

スマートメディア環境における音声に基づくＬＥＤ表示および媒体制御方法
図１０は、ある実現例に従う、音声処理状態を視覚的に示す方法１０００を示すフロー図である。方法１０００は、フルカラーＬＥＤのアレイと、１つ以上のマイクと、スピーカと、プロセッサと、プロセッサによる実行のための少なくとも１つのプログラムを記憶するメモリとを有する電子デバイス１９０において実現される。電子デバイス１９０は、１つ以上のマイク４０２を介して、電子デバイス１９０に近接する環境からオーディオ入力を収集し（１００２）、オーディオ入力を処理する（１００４）。処理は音声処理モジュール５２２で実現され、環境中のユーザからの音声入力を識別することと、これに応答することとのうち１つ以上を含む。次に電子デバイス１９０は、複数の予め規定された音声処理状態の中から処理の状態を判定する（１００６）。フルカラーＬＥＤの各々毎に、電子デバイス１９０は、判定された音声処理状態に関連付けられるそれぞれの予め定められたＬＥＤ照明仕様を識別し（１００８）、それぞれの照明仕様は、ＬＥＤ照明持続時間、パルスレート、デューティサイクル、色順、および明るさのうち１つ以上を含む（１０１０）。フルカラーＬＥＤの識別されたＬＥＤ照明仕様に従って、電子デバイス１９０（具体的にはＬＥＤ制御モジュール５２４）は、フルカラーＬＥＤのアレイの照明を同期させて、判定された音声処理状態を示す視覚的パターンを提供する。図４Ａ−図４Ｈおよび図５を参照して、方法１０００に関するさらなる詳細を以上で説明した。

【0126】

方法１０００は、任意に、非一時的コンピュータ読出可能記憶媒体に記憶されかつ音声起動電子デバイス１９０の１つ以上のプロセッサによって実行される命令によって支配される。図１０に示される動作の各々は、コンピュータメモリまたはコンピュータ読出可能記憶媒体（たとえば、図５の電子デバイス１９０のメモリ５０６）に記憶される命令に対応し得る。コンピュータ読出可能記憶媒体は、磁気もしくは光ディスク記憶デバイス、フラッシュメモリなどの固体記憶デバイス、または他の１つのもしくは複数の不揮発性メモリデバイスを含み得る。コンピュータ読出可能記憶媒体上に記憶されるコンピュータ読出可能命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または１つ以上のプロセッサによって解釈される他の命令フォーマットのうち１つ以上を含み得る。方法１０００中のいくつかの動作を組合せてもよく、および／またはいくつかの動作の順序を変更してもよい。

【0127】

図１１は、ある実現例に従う、媒体コンテンツのためのクローズドキャプションの表示を声によって開始する方法１１００を示すフロー図である。方法１１００は、プロセッサと、プロセッサによる実行のための少なくとも１つのプログラム（たとえばクラウドキャストアプリケーション７６０）を記憶するメモリとを含むサーバシステム（たとえばクラウドキャストサービスサーバ１１６）において実現される。サーバシステムは、電子デバイス１９０が記録する音声メッセージを受信し（１１０２）、音声メッセージが第１のクローズドキャプション開始要求であると判定する（１１０４）。第１のクローズドキャプション開始要求は、クローズドキャプションを開始するというユーザ音声コマンドと、クローズドキャプションをそれについて起動すべき媒体コンテンツを再生する表示装置１０６のユーザ音声指定とを含む（１１０６）。表示装置の指定に従い、サーバシステムは、デバイスレジストリ１１８において、ユーザドメインにおいて電子デバイス１９０に関連付けられかつ指定された表示装置１０６に結合されるキャストデバイス１０８を識別する（１１０８）。キャストデバイス１０８は、指定された表示装置を制御して、媒体コンテンツホストから受信した媒体コンテンツを表示するための媒体再生アプリケーションを実行するように構成される（１１１０）。サーバシステム（具体的にはクラウドキャストアプリケーション７６０）は次に、指定された表示装置に結合されたキャストデバイスにクローズドキャプション開始要求を送り、これにより、キャストデバイスは、指定された表示装置を制御して、指定された表示装置上に現在表示されている媒体コンテンツのクローズドキャプションをオンにし、第２のクローズドキャプション開始要求に従ってクローズドキャプションを表示する媒体再生アプリケーションを実行できるようになる。図２Ａ、図２Ｂ、および図５−図７を参照して、方法１１００のさらなる詳細を以上で説明した。

【0128】

図１２は、ある実現例に従う、媒体出力装置上での媒体コンテンツの再生を声によって開始する方法１２００を示すフロー図である。方法１２００は、プロセッサと、プロセッサによる実行のための少なくとも１つのプログラムを記憶するメモリとを含むサーバシステム（たとえばクラウドキャストサービスサーバ１１６）において実現される。サーバシステムは、電子デバイスが記録する音声メッセージを受信し（１２０２）、音声メッセージが第１の媒体再生要求を含むと判定する（１２０４）。第１の媒体再生要求は、媒体出力装置上で媒体コンテンツを再生するというユーザ音声コマンドと、媒体出力装置１０６のユーザ音声指定とを含み（１２０６）、ユーザ音声コマンドは、第１の媒体再生アプリケーションの情報と、再生する必要がある媒体コンテンツとを少なくとも含む。媒体出力装置の音声指定に従って、サーバシステムは、デバイスレジストリ１１８において、ユーザドメインにおいて電子デバイス１９０に関連付けられかつ媒体出力装置１０６に結合されるキャストデバイス１０８を識別する（１２０８）。キャストデバイス１０８は、媒体出力装置１０６を制御して、１つ以上の媒体コンテンツホストから受信した媒体コンテンツを再生するための１つ以上の媒体再生アプリケーションを実行する（１２１０）ように構成される。サーバシステム（具体的にはクラウドキャストアプリケーション７６０）は次に、第１の媒体再生アプリケーションの情報と再生する必要がある媒体コンテンツとを含む第２の媒体再生要求をキャストデバイス１０８に送り（１２１２）、これにより、キャストデバイス１０８は、媒体出力装置１０６を制御して媒体コンテンツを再生する第１の媒体再生アプリケーションを実行できるようになる。図２Ａ、図２Ｂ、および図５−図７を参照して、方法１２００のさらなる詳細を以上で説明した。

【0129】

図１３は、ある実現例に従う、媒体コンテンツの再生を送り側媒体出力装置から送り先媒体出力装置に移動させる方法１３００を示すフロー図である。方法１２００は、プロセッサと、プロセッサによる実行のための少なくとも１つのプログラムを記憶するメモリとを含むサーバシステム（たとえばクラウドキャストサービスサーバ１１６）において実現される。

【0130】

サーバシステムは、電子デバイス１９０が記録する音声メッセージを受信し（１３０２）、音声メッセージが媒体転送要求を含むと判定する（１３０４）。媒体転送要求は、再生中の媒体コンテンツを送り先媒体出力装置に転送するというユーザ音声コマンドと、送り先媒体出力装置のユーザ音声指定とを含む（１３０６）。サーバシステムは、送り側キャストデバイス（たとえば、図３のキャストデバイス１０８−１）から、現在再生中の媒体コンテンツの即時媒体再生情報を取得する（１３０８）。即時再生情報は、第１の媒体再生アプリケーションの情報と、現在再生中の媒体コンテンツと、媒体コンテンツの再生に関する時間的位置とを少なくとも含む（１３１０）。

【0131】

送り先媒体出力装置の音声指定に従って、サーバシステムは、デバイスレジストリ１１８において、ユーザドメインにおいて電子デバイス１９０に関連付けられかつ送り先媒体出力装置（たとえば、図３の出力装置１０６−２）に結合される送り先キャストデバイス（たとえば、図３のキャストデバイス１０８−２）を識別する（１３１２）。送り先キャストデバイスは、送り先媒体出力装置を制御して、１つ以上の媒体コンテンツホストから受信した媒体コンテンツを再生するための１つ以上の媒体再生アプリケーションを実行する（１３１４）ように構成される。サーバシステム（具体的にはクラウドキャストアプリケーション７６０）は次に、即時媒体再生情報を含む媒体再生要求を送り先キャストデバイスに送り（１３１６）、これにより、送り先キャストデバイスは、送り先媒体出力装置を制御して当該時間的位置から媒体コンテンツを再生する第１の媒体再生アプリケーションを実行できるようになる。図３および図５−図７を参照して、方法１３００についてのさらなる詳細を以上で説明した。

【0132】

方法１１００、１２００、および１３００は、任意に、非一時的コンピュータ読出可能記憶媒体に記憶されかつクラウドキャストサービスサーバ１１６の１つ以上のプロセッサによって実行される命令によって支配される。図１２−図１４に示される動作の各々は、コンピュータメモリまたはコンピュータ読出可能記憶媒体（たとえば、図７のサーバシステムのメモリ７０６）に記憶される命令に対応し得る。コンピュータ読出可能記憶媒体は、磁気もしくは光ディスク記憶デバイス、フラッシュメモリなどの固体記憶デバイス、または他の１つのもしくは複数の不揮発性メモリデバイスを含み得る。コンピュータ読出可能記憶媒体上に記憶されるコンピュータ読出可能命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または１つ以上のプロセッサによって解釈される他の命令フォーマットのうち１つ以上を含み得る。方法１１００、１２００、および１３００の各々の中のいくつかの動作を組合せてもよく、および／またはいくつかの動作の順序を変更してもよい。

【0133】

本明細書中に記載されるさまざまな実現例の説明で用いる術語は、特定の実現例のみを説明する目的のためのものであり、限定を意図するものではない。記載されるさまざまな実現例の説明および添付の請求項で用いるような「ａ」、「an」、および「the」という単数形は、文脈が明確にそうでないと示していなければ、複数形も含むことが意図される。本明細書中で用いるような「および／または」という用語は、列挙される関連の項目のうち１つ以上のありとあらゆる可能な組合せを参照しかつこれを包含することも理解される。「含む」、「含んでいる」、「備える」、および／または「備えている」という用語は、この明細書で用いる場合、述べる特徴、整数、ステップ、動作、要素、および／または構成要素の存在を特定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはその群の存在または追加を排除するわけではないことがさらに理解される。

【0134】

本明細書中で用いるような「ならば」という用語は、任意に、文脈に依存して、「したとき」または「すると」または「判定することに応答して」または「検出することに応答して」または「という判定に従って」を意味すると解釈される。同様に、「判定されれば」または「［述べた条件またはイベントが］検出されれば」という句は、任意に、文脈に依存して、「判定すると」または「判定に応答して」または「［述べた条件またはイベントを］検出すると」または「［述べた条件またはイベントを］検出するのに応答して」または「［述べた条件またはイベントが］検出されるという判定に従って」を意味すると解釈される。

【0135】

「スマートメディア環境」は、単一世帯の家などの家庭用スマート環境を指し得るが、本教示の範囲はそのように限定されないことを認めるべきである。本教示は、限定されることなく、二世帯住宅、タウンホーム、複数ユニット共同住宅、ホテル、小売店、オフィスビル、工業用建物、およびより一般的に任意の生活空間または作業空間にも適用可能である。

【0136】

ユーザ、顧客、設置作業者、住宅所有者、居住者、来客、テナント、家主、修理人などの用語は、本明細書中に記載されるある特定的な状況の文脈で行為を行なう１人の人または複数の人を指すのに用いられ得るが、これらの参照は、そのような行為を行なっている１人の人または複数の人に本教示の範囲を限定するものではないことも認めるべきである。このように、たとえば、ユーザ、顧客、購入者、設置作業者、加入者、および住宅所有者という用語はしばしば、単一世帯住居の場合は、同じ人物を参照し得る。なぜなら、世帯主がしばしば購入の決定を行ない、ユニットを購入し、ユニットを設置しかつ構成し、かつユニットのユーザの１人でもある人物だからである。しかしながら、家主−テナント環境などの他のシナリオでは、顧客はユニットの購入については家主であり得、設置作業者はその土地のアパートの管理人であり得、第１のユーザはテナントであり得、第２のユーザは遠隔操作機能性については再び家主であり得る。重要なことに、行為を行なう人物のアイデンティティは、実現例のうち１つ以上が与える特定の利点に密接な関係があり得る一方で、以下の説明では、そのようなアイデンティティは、本教示の範囲をそれらの特定のアイデンティティを有するそれらの特定の個人に必ず限定すると解釈されるべきではない。

【0137】

さまざまな図面は特定の順序で複数の論理的段階を示すが、順序に依存しない段階を再度順序付けてもよく、他の段階を組合せたり切離したりしてもよい。何らかの再順序付けまたは他のグループ分けに具体的に言及がされるが、他のものが当業者には自明であり、そのため、本明細書中に提示される順序付けおよびグループ分けは代替策の網羅的な列挙ではない。さらに、ハードウェア、ファームウェア、ソフトウェア、またはその任意の組合せで段階を実現可能であることを認識すべきである。

【0138】

具体的な実現例を参照して、説明の目的のための以上の説明を記載した。しかしながら、例示的な上記の議論は、網羅的であることまたは開示される正確な形態に請求項の範囲を限定することを意図しない。上記教示に鑑みて多数の修正例および変更例が可能である。実現例は、請求項の基礎をなす原則およびそれらの実践的な適用例を最良に説明し、それにより、当業者が、企図される特定の用途に適するようなさまざまな修正例とともに実現例を最良に用いることができるようにするために選択された。

【0139】

以上で言及した実現例および代替的な実施形態のさらなる詳細も、この出願とともに提出される付記に開示されていることを注記する。付記では、ＯＯＢＥは、アウトオブボックスエクスペリエンスを参照する。

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図4G】

【図4H】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】