ホーム > 特許ランキング > Ｇｏｏｇｌｅ ＬＬＣ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-13
(45)【発行日】2024-11-21
(54)【発明の名称】リアルタイムおよびファイルベースのオーディオデータ処理
(51)【国際特許分類】
G10L 15/30 20130101AFI20241114BHJP
H04R 3/00 20060101ALI20241114BHJP
G10L 15/00 20130101ALI20241114BHJP
G10L 15/10 20060101ALI20241114BHJP
G10L 15/28 20130101ALI20241114BHJP
【ＦＩ】
G10L15/30
H04R3/00 320
G10L15/00 200G
G10L15/00 200F
G10L15/10 200W
G10L15/28 230K
【請求項の数】
23
(21)【出願番号】P 2023520198
(86)(22)【出願日】2021-10-01
(65)【公表番号】
(43)【公表日】2023-10-19
(86)【国際出願番号】 US2021053105
(87)【国際公開番号】W WO2022072786
(87)【国際公開日】2022-04-07
【審査請求日】2023-06-30
(31)【優先権主張番号】63/086,953
(32)【優先日】2020-10-02
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ
【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ラミン，マルビン・トビ
(72)【発明者】
【氏名】サルニカウ，シャルヘイ
(72)【発明者】
【氏名】スリニバサン，マダバ・ガウランガ
【審査官】土井 悠生
(56)【参考文献】
【文献】特表２０２０－５２１９９５（ＪＰ，Ａ）
【文献】特開２０１９－１６９８１２（ＪＰ，Ａ）
【文献】特表２０１９－５０５０２３（ＪＰ，Ａ）
【文献】特開２０１７－２２０８０７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １３／００－９９／００
Ｈ０４Ｒ ３／００
(57)【特許請求の範囲】
【請求項1】
オーディオデータを処理する方法であって、第１の電子装置から、第２の電子装置が、オーディオデータサンプルの第１のシーケンスおよびオーディオデータサンプルの第２のシーケンスを受信することを含み、前記オーディオデータサンプルの第２のシーケンスは、前記第１の電子装置のマイクロフォンによってキャプチャされるオーディオ信号において前記オーディオデータサンプルの第１のシーケンスに続き、前記方法はさらに、
前記第２の電子装置が前記オーディオデータサンプルの第１のシーケンスをリアルタイムデータ処理モードに従って処理することと、
前記第２の電子装置が前記リアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートできないと判断することと、
前記第２の電子装置が前記リアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートできないという前記判断に従って、前記第２の電子装置のバッファに、前記オーディオデータサンプルの第２のシーケンスをキャッシュし、バッチデータ処理モードで前記オーディオデータサンプルの第２のシーケンスを含むデータファイルを生成することとを含む、オーディオデータを処理する方法。
【請求項2】
前記処理されたオーディオデータサンプルの第１のシーケンスと、前記オーディオデータサンプルの第２のシーケンスを含む前記データファイルとをサーバシステムに転送することをさらに含み、前記オーディオデータサンプルの第１のシーケンスは、前記リアルタイムデータ処理モードに対応する第１のデータ転送速度を有し、前記オーディオデータサンプルの第２のシーケンスは、前記バッチデータ処理モードに対応する第２のデータ転送速度を有する、請求項１に記載の方法。
【請求項3】
前記オーディオ信号は、前記オーディオデータサンプルの第１のシーケンスおよび前記オーディオデータサンプルの第２のシーケンスを取得するようオーディオサンプリングレートでサンプリングされ、請求項２に記載の方法。
【請求項4】
前記方法はさらに、前記第１のシーケンス内の前記オーディオデータサンプルを複数のオーディオデータパケットにグループ化することを含み、各オーディオデータパケットは１つ以上の連続するオーディオデータサンプルを含み、前記方法はさらに、前記複数のオーディオデータパケットをサーバシステムにストリーミングすることを含む、請求項１～３のいずれか１項に記載の方法。
【請求項5】
前記第２の電子装置が前記リアルタイムデータ処理モードにおいて前記オーディオデータサンプルの処理をサポートできないと判断することは、前記処理されたオーディオデータサンプルの第１のシーケンスのサブセットのデータサンプルレイテンシがレイテンシ許容値を超えると判断すること、
前記処理されたオーディオデータサンプルの第１のシーケンスの欠落オーディオデータサンプルのレートが欠落レート許容値を超えると判断すること、および
前記処理されたオーディオデータサンプルの第１のシーケンスの順序外オーディオデータサンプルのレートが順序外レート許容値を超えると判断すること、のうちの少なくとも１つをさらに含む、請求項１～４のいずれか１項に記載の方法。
【請求項6】
前記第２の電子装置は、前記第２の電子装置に関連付けられるデータサンプルレイテンシと、欠落オーディオデータサンプルのレートと、順序外オーディオデータサンプルのレートとのうちの少なくとも１つに基づいて、前記リアルタイムデータ処理モードにおけるオーディオデータサンプルの転送をサポートしないと判断される、請求項１～５のいずれか１項に記載の方法。
【請求項7】
前記第１の電子装置が、前記オーディオ信号の記録を要求する第１のユーザアクションを受信することをさらに含み、前記オーディオ信号は、前記第１のユーザアクションに応答してキャプチャされる、請求項１～６のいずれか１項に記載の方法。
【請求項8】
前記第１の電子装置が、第１の時間に、前記オーディオ信号の記録を要求する第１のユーザアクションを受信し、前記オーディオ信号をキャプチャすることは、前記第１の時間に続く第２の時間に開始される、請求項１～４のいずれか１項に記載の方法。
【請求項9】
前記第１のユーザアクションに応答して、オーディオデータ要求を送信するための承認を取得することと、前記第２の電子装置がオーディオデータ要求を生成することとをさらに含み、前記オーディオデータサンプルの第１のシーケンスを受信することは、前記オーディオデータ要求に応答してである、請求項７または８に記載の方法。
【請求項10】
前記データファイルは、第１のデータファイルを含み、前記第１のデータファイルを生成した後、前記第２の電子装置が、前記バッチデータ処理モードでオーディオデータサンプルの第３のシーケンスを含む第２のデータファイルを生成し続けることをさらに含み、前記オーディオデータサンプルの第３のシーケンスは、前記オーディオ信号において前記オーディオデータサンプルの第２のシーケンスの直後に続き、前記オーディオデータサンプルの第２のシーケンスおよび前記オーディオデータサンプルの第３のシーケンスの各々は、事前に規定された数のデータサンプルを有する、請求項１～９のいずれか１項に記載の方法。
【請求項11】
前記第２の電子装置は、オーディオ処理のために、前記処理されたオーディオデータサンプルの第１のシーケンスおよびオーディオデータサンプルの第２のシーケンスをサーバシステムに転送するよう構成され、前記サーバシステムは、ユーザアカウントを含む仮想ユーザドメインをホストし、
前記第１の電子装置および前記第２の電子装置は、前記ユーザアカウントにリンクされる、請求項１～１０のいずれか１項に記載の方法。
【請求項12】
前記オーディオ信号は、１つ以上の事前に規定されたホットワードまたはユーザ要求を含み、前記第２の電子装置は、前記オーディオ信号内の前記１つ以上の事前に規定されたホットワードまたはユーザ要求を識別するために、前記オーディオデータサンプルの第１のシーケンスおよび前記オーディオデータサンプルの第２のシーケンスをローカルで処理するよう構成される、請求項１～１１のいずれか１項に記載の方法。
【請求項13】
前記ユーザ要求は、前記オーディオ信号をキャプチャすることを中止する要求を含み、前記方法はさらに、前記第２の電子装置が、前記オーディオ信号をキャプチャすることを中止する要求を生成することを含み、前記第１の電子装置は、前記要求に応答して、前記オーディオデータサンプルの第２のシーケンスに続くオーディオデータサンプルのシーケンスを転送することをアボートするよう構成される、請求項１２に記載の方法。
【請求項14】
前記方法はさらに、前記データサンプルの第２のシーケンスを転送する間に、前記オーディオ信号をキャプチャすることを中止するための第２のユーザアクションを受信することと、
前記第２のユーザアクションに応答して、前記オーディオデータサンプルの第２のシーケンスの直後に続くオーディオデータサンプルのシーケンスを受信することをアボートすることとを含む、請求項１～１３のいずれか１項に記載の方法。
【請求項15】
前記第１の電子装置は、遠隔制御装置を含み、前記第２の電子装置は、前記遠隔制御装置によって制御されるよう構成されるネットワーク接続されたテレビ装置を含む、請求項１～１４のいずれか１項に記載の方法。
【請求項16】
前記第２の電子装置は、１つ以上のプロセッサと、前記第２の電子装置上でAndroidオペレーティングシステムおよび１つ以上のユーザアプリケーションを実現するよう構成される１つ以上のプログラムを記憶するメモリとを含む、請求項１～１５のいずれか１項に記載の方法。
【請求項17】
前記Androidオペレーティングシステムは、前記リアルタイムデータ処理モードに従って前記オーディオデータサンプルの第１のシーケンスを処理するための命令を有するオーディオマネージャモジュールを含む、請求項１６に記載の方法。
【請求項18】
前記第２の電子装置の前記１つ以上のユーザアプリケーションは、前記オーディオデータサンプルの第２のシーケンスを前記バッファにキャッシュし、前記バッチデータ処理モードにおいて、前記オーディオデータサンプルの第２のシーケンスを含んで、前記データファイルを生成するための、ファイルベースのオーディオデータ処理モジュールを含む、請求項１６に記載の方法。
【請求項19】
前記第２の電子装置は、ユーザアクションによってアクティブにされた記録セッション中に前記リアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートしないと判断され、前記データサンプルの第１のシーケンスおよび前記データサンプルの第２のシーケンスの両方が前記記録セッション中に処理される、請求項１～１８のいずれか１項に記載の方法。
【請求項20】
前記第２の電子装置は、２つの別個のユーザアクションによってアクティブにされる２つの別個の記録セッションを分離する中断において前記リアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートしないと判断され、前記データサンプルの第１のシーケンスおよび前記データサンプルの第２のシーケンスは、前記２つの別個の記録セッション中にキャプチャされる、請求項１～１６のいずれか１項に記載の方法。
【請求項21】
オーディオデータを処理する方法であって、第１の電子装置から、第２の電子装置が、オーディオデータサンプルの第１のシーケンスおよびオーディオデータサンプルの第２のシーケンスを受信することを含み、前記オーディオデータサンプルの第２のシーケンスは、前記第１の電子装置のマイクロフォンによってキャプチャされるオーディオ信号において前記オーディオデータサンプルの第１のシーケンスに続き、前記方法はさらに、
前記第２の電子装置が、バッチデータ処理モードに従って前記オーディオデータサンプルの第１のシーケンスを処理することを含み、それは、前記第２の電子装置のバッファに前記オーディオデータサンプルの第１のシーケンスをキャッシュすることと、前記オーディオデータサンプルの第１のシーケンスを含むデータファイルを生成することとを含み、前記方法はさらに、
前記第２の電子装置がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートし得ると判断することと、
前記第２の電子装置が前記リアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートし得るという前記判断に従って、前記第２の電子装置が、前記リアルタイムデータ処理モードに従って前記オーディオデータサンプルの第２のシーケンスを処理することとを含む、オーディオデータを処理する方法。
【請求項22】
電子装置であって、１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに請求項１～６、２１のいずれか１項に記載の方法を実行させる命令を記憶したメモリとを備える、電子装置。
【請求項23】
１つ以上のプロセッサに請求項１～２１のいずれか１項に記載の方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の参照
本出願は、２０２０年１０月２日提出の米国仮出願６３／０８６，９５３の利益を主張するものであり、それは、参照によりその全体が本明細書に組み込まれる。
本出願は、２０２０年１０月２日提出の米国仮出願６３／０８６，９５３の利益を主張するものであり、それは、参照によりその全体が本明細書に組み込まれる。
【0002】
技術分野
本出願は、概して、限定はしないが、電子装置におけるデータ転送および音声認識を容易にするためにリアルタイムならびにファイルベースのオーディオデータ処理を提供するための方法ならびにシステムを含む、オーディオデータ転送ならびに処理に関する。
本出願は、概して、限定はしないが、電子装置におけるデータ転送および音声認識を容易にするためにリアルタイムならびにファイルベースのオーディオデータ処理を提供するための方法ならびにシステムを含む、オーディオデータ転送ならびに処理に関する。
【背景技術】
【0003】
背景
マイクロフォンを有する電子装置は、ユーザからの音声入力を収集し、音声入力に従って異なる音声起動型機能を開始するためのアシスタント装置として広く使用されている。例えば、デジタルテレビ装置に結合される多くの遠隔制御装置は、マイクロフォンを統合するよう構成される。これらの遠隔制御装置の音声入力は、デジタルテレビ装置にストリーミングされ、デジタルテレビ装置によって少なくとも部分的に処理される。デジタルテレビ装置は、追加のオーディオ処理のために、（前処理された、またはされていない）音声入力を、遠隔サーバシステムに提出してもよい。ユーザ要求は、テレビ装置および／または遠隔サーバシステムにおけるオーディオ処理の結果として音声起動型機能を開始するための音声入力から抽出される。テレビ装置の通信、キャッシュ、および処理能力におけるいかなる欠陥も、音声起動型機能の開始に遅延を引き起こす可能性がある。これは、制限された能力を有する低コストのテレビ装置にしばしば起こる。これらの装置の通信、キャッシュ、または処理能力の欠陥を補償するために、現行よりも効率的なデータ処理および転送機構を有することが有益であろう。
マイクロフォンを有する電子装置は、ユーザからの音声入力を収集し、音声入力に従って異なる音声起動型機能を開始するためのアシスタント装置として広く使用されている。例えば、デジタルテレビ装置に結合される多くの遠隔制御装置は、マイクロフォンを統合するよう構成される。これらの遠隔制御装置の音声入力は、デジタルテレビ装置にストリーミングされ、デジタルテレビ装置によって少なくとも部分的に処理される。デジタルテレビ装置は、追加のオーディオ処理のために、（前処理された、またはされていない）音声入力を、遠隔サーバシステムに提出してもよい。ユーザ要求は、テレビ装置および／または遠隔サーバシステムにおけるオーディオ処理の結果として音声起動型機能を開始するための音声入力から抽出される。テレビ装置の通信、キャッシュ、および処理能力におけるいかなる欠陥も、音声起動型機能の開始に遅延を引き起こす可能性がある。これは、制限された能力を有する低コストのテレビ装置にしばしば起こる。これらの装置の通信、キャッシュ、または処理能力の欠陥を補償するために、現行よりも効率的なデータ処理および転送機構を有することが有益であろう。
【発明の概要】
【0004】
概要
本出願は、マイクロフォンを有する電子装置（例えば、遠隔制御装置、アシスタント装置）から受信したオーディオデータを処理し転送することに関する。電子装置は、オーディオ処理能力を有する別の電子装置（例えば、テレビ装置）に結合されるか、またはオーディオ処理能力を有するサーバに結合される。これら２つの電子装置は、通信チャネルを介して接続される。オーディオデータは、通信チャネルを介してリアルタイムで転送され、受信電子装置の通信、計算、および記憶がオーディオデータサンプルの処理をリアルタイムでサポートし得るかどうかに応じて、受信電子装置によって、リアルタイムで、またはバッチで、処理される。それにより、リアルタイムオーディオデータ処理は、特に、リアルタイムでオーディオデータを通信、キャッシュ、または処理するのに充分なリソースを常に有するわけではないいくつかの電子装置において、バッチオーディオデータ処理によって補足される。
本出願は、マイクロフォンを有する電子装置（例えば、遠隔制御装置、アシスタント装置）から受信したオーディオデータを処理し転送することに関する。電子装置は、オーディオ処理能力を有する別の電子装置（例えば、テレビ装置）に結合されるか、またはオーディオ処理能力を有するサーバに結合される。これら２つの電子装置は、通信チャネルを介して接続される。オーディオデータは、通信チャネルを介してリアルタイムで転送され、受信電子装置の通信、計算、および記憶がオーディオデータサンプルの処理をリアルタイムでサポートし得るかどうかに応じて、受信電子装置によって、リアルタイムで、またはバッチで、処理される。それにより、リアルタイムオーディオデータ処理は、特に、リアルタイムでオーディオデータを通信、キャッシュ、または処理するのに充分なリソースを常に有するわけではないいくつかの電子装置において、バッチオーディオデータ処理によって補足される。
【0005】
具体的には、一局面では、オーディオデータを処理する、たとえば、リアルタイムデータ処理モードからバッチデータ処理モードに切替えるための方法が実現される。本方法は、第１の電子装置（たとえば、遠隔制御装置）から、第２の電子装置（たとえば、テレビ装置）が、オーディオデータサンプルの第１のシーケンスおよびオーディオデータサンプルの第２のシーケンスを受信することを含む。オーディオデータサンプルの第２のシーケンスは、第１の電子装置のマイクロフォンによってキャプチャされるオーディオ信号においてオーディオデータサンプルの第１のシーケンスに続く。本方法は、第２の電子装置が、リアルタイムデータ処理モードに従ってオーディオデータサンプルの第１のシーケンスを処理することと、第２の電子装置がリアルタイムデータ処理モードにおいてオーディオデータサンプルの処理をサポートできないと判断することとをさらに含む。本方法は、第２の電子装置がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートできないという判断に従って、第２の電子装置のバッファに、オーディオデータサンプルの第２のシーケンスをキャッシュすることと、バッチデータ処理モードでオーディオデータサンプルの第２のシーケンスを含むデータファイルを生成することとをさらに含む。
【0006】
代替的に、別の局面では、オーディオデータを処理する、たとえばバッチデータ処理モードからリアルタイムデータ処理モードに切替えるための方法が実現される。本方法は、第１の電子装置（たとえば、遠隔制御装置）から、第２の電子装置（たとえば、テレビ装置）が、オーディオデータサンプルの第１のシーケンスおよびオーディオデータサンプルの第２のシーケンスを受信することを含む。オーディオデータサンプルの第２のシーケンスは、第１の電子装置のマイクロフォンによってキャプチャされるオーディオ信号においてオーディオデータサンプルの第１のシーケンスに続く。本方法は、第２の電子装置が、オーディオデータサンプルの第１のシーケンスをバッチデータ処理モードに従って処理することをさらに含み、それは、第２の電子装置のバッファにおいて、オーディオデータサンプルの第１のシーケンスをキャッシュすることと、オーディオデータサンプルの第１のシーケンスを含むデータファイルを生成することとをさらに含む。本方法は、第２の電子装置がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートし得ると判断することをさらに含む。本方法は、第２の電子装置がリアルタイムデータ処理モードにおいてオーディオデータサンプルの処理をサポートし得るという判断に従って、リアルタイムデータ処理モードに従って第２の電子装置がオーディオデータサンプルの第２のシーケンスを処理することをさらに含む。
【0007】
非一時的コンピュータ可読媒体は、命令を記憶しており、命令は、１つ以上のプロセッサによって実行されると、プロセッサに上記の方法のいずれかの方法を実行させる。電子装置は、１つ以上のプロセッサと、命令が記憶されたメモリとを含み、命令は、１つ以上のプロセッサによって実行されると、プロセッサに上記の方法のいずれかの方法を実行させる。
【0008】
図面の簡単な説明
説明される様々な実現例をより良く理解するために、以下の実現例の説明を、以下の、同様の参照番号は対応する部分を指す図面と併せて、参照されたい。
説明される様々な実現例をより良く理解するために、以下の実現例の説明を、以下の、同様の参照番号は対応する部分を指す図面と併せて、参照されたい。
【図面の簡単な説明】
【0009】
【図1】いくつかの実現例による、ネットワーク接続されたＴＶ装置、遠隔制御装置、およびサーバシステムが１つ以上の通信ネットワークを介して互いに対話する例示的なメディア環境を示す図である。
【図2】いくつかの実現例による、第１の電子装置と第２の電子装置との間の例示的なオーディオデータ転送経路を示す図である。
【図3】いくつかの実現例による、リアルタイムデータ処理モードからバッチデータ処理モードに切替わる例示的なオーディオデータ処理プロセスを示す概略図である。
【図4】いくつかの実現例による、バッチデータ処理モードからリアルタイムデータ処理モードに切替わる例示的なオーディオデータ処理プロセスを示す概略図である。
【図5】いくつかの実現例による、ユーザアクションまたは音声入力によって開始される例示的な音声アシスタントプロセスを示す概略図である。
【図6】いくつかの実現例による、オーディオデータをテレビ装置に転送するよう構成される例示的な遠隔制御装置を示す図である。
【図7】いくつかの実現例による、２つのオーディオデータ処理モードでオーディオデータを動的に処理するための方法のフローチャートである。
【図8】いくつかの実現例による、２つのオーディオデータ処理モードでオーディオデータを動的に処理するための別の方法のフローチャートである。
【0010】
同様の参照番号は、図面のいくつかの図を通して対応する部分を指す。
【発明を実施するための形態】
【0011】
実現例の説明
多くの電子装置（例えば、遠隔制御装置、音声起動型ディスプレイ、またはスピーカ装置）は、電子装置が配置されている環境から音声入力を収集するために使用されるマイクロフォンを含む。そのような電子装置は、オーディオ信号内のホットワードを検出すると、または電子装置の専用アシスタントボタンをユーザが押したことに応答して、音声入力を自動的に収集するよう構成されてもよい。音声入力を受信すると、電子装置は、１つ以上の通信ネットワークを介して遠隔サーバシステム（例えば、アシスタントサーバ）に音声入力を通信し、遠隔サーバシステムは、音声入力におけるユーザ要求を認識し、ユーザ要求に応答する。ある例では、電子装置は遠隔制御装置を含み、音声入力は、遠隔制御装置に結合されたネットワーク接続されたテレビ（ＴＶ）装置を制御するために開始される。遠隔制御装置は、ＴＶ装置を介して遠隔サーバシステムに音声入力を送信し、音声入力は、ＴＶ装置が遠隔サーバシステムに音声入力を送信する前にＴＶ装置において処理される。音声入力を処理するこのプロセスの間、ＴＶ装置は、その通信、計算、および記憶能力を使用して、遠隔制御装置と遠隔サーバシステムとをブリッジする。
多くの電子装置（例えば、遠隔制御装置、音声起動型ディスプレイ、またはスピーカ装置）は、電子装置が配置されている環境から音声入力を収集するために使用されるマイクロフォンを含む。そのような電子装置は、オーディオ信号内のホットワードを検出すると、または電子装置の専用アシスタントボタンをユーザが押したことに応答して、音声入力を自動的に収集するよう構成されてもよい。音声入力を受信すると、電子装置は、１つ以上の通信ネットワークを介して遠隔サーバシステム（例えば、アシスタントサーバ）に音声入力を通信し、遠隔サーバシステムは、音声入力におけるユーザ要求を認識し、ユーザ要求に応答する。ある例では、電子装置は遠隔制御装置を含み、音声入力は、遠隔制御装置に結合されたネットワーク接続されたテレビ（ＴＶ）装置を制御するために開始される。遠隔制御装置は、ＴＶ装置を介して遠隔サーバシステムに音声入力を送信し、音声入力は、ＴＶ装置が遠隔サーバシステムに音声入力を送信する前にＴＶ装置において処理される。音声入力を処理するこのプロセスの間、ＴＶ装置は、その通信、計算、および記憶能力を使用して、遠隔制御装置と遠隔サーバシステムとをブリッジする。
【0012】
ＴＶ装置のオーディオマネージャに配信されるオーディオデータは、遠隔制御装置のマイクロフォンによって収集されるものとは異なる場合がある。これは、様々な要因、例えば、遠隔制御装置とＴＶ装置とを結合する通信チャネルを介するデータパケットの損失および遅延、ＴＶ装置のプロセッサ負荷に起因して起こる。本出願の様々な実現例では、リアルタイムデータ処理とファイルベースのバッチデータ処理との組合せが、第１の電子装置（たとえば、遠隔制御装置）のマイクロフォンによって収集されたオーディオデータを処理するために、第２の電子装置（たとえば、ＴＶ装置）において実現される。いくつかの実現例では、リアルタイムデータ処理は、ファイルベースのバッチデータ処理よりも優先される。第２の電子装置の通信能力、計算能力、および記憶能力のうちの少なくとも１つがオーディオデータサンプルの処理をリアルタイムでサポートできないと判断された場合、後続のデータサンプルはキャッシュされ、第２の電子装置においてデータファイルに編成される（例えば、オーディオマネージャとは異なるオーディオデータ処理モジュールによって処理される）。代替的に、第２の電子装置の通信、計算、および記憶能力がオーディオデータサンプルの処理をリアルタイムでサポートし得ると判断された場合、後続のデータサンプルは、第２の電子装置によってリアルタイムでデータパケットに処理される（例えば、第２の電子装置のオペレーティングシステムの一部であるオーディオマネージャによって処理される）。そのような制御されたオーディオデータ転送プロセスは、第２の電子装置におけるデータ処理および通信を合理化し、電子装置とのユーザ対話を開始する音声入力に関連付けられるパフォーマンス、オーディオ品質、およびユーザ体験を向上させる。
【0013】
ここで、添付の図面にその例が示される実現例を詳細に参照する。以下の詳細な説明では、説明される様々な実現例を十分理解するために、多数の具体的な詳細が述べられる。しかしながら、説明される様々な実現例は、これらの具体的な詳細なしに実施されてもよいことが当業者には明らかであろう。他の例では、周知の方法、手順、構成要素、回路、およびネットワークは、実現例の局面を不必要に不明瞭にしないように、詳細には説明されていない。
【0014】
図１は、いくつかの実現例による、ネットワーク接続されたＴＶ装置１０２、遠隔制御装置１０４、およびサーバシステム１０６が１つ以上の通信ネットワーク１８０を介して互いに対話する例示的なメディア環境１００である。メディア環境１００は、サーバシステム１０６によって作成およびホストされる仮想ユーザドメインに対応し、仮想ユーザドメインは、複数のユーザアカウントを含む。各ユーザアカウントについて、サーバシステム１０６は、コンテンツソース１１０および１つ以上のメディア装置１０２および１１６～１２６に結合され、それぞれのユーザアカウントを介してユーザによるレビューのためにコンテンツソース１１０によって提供されるメディアコンテンツをストリーミングするよう構成される。任意選択で、コンテンツソース１１０は、広告ソース、電子番組ガイド（ＥＰＧ）ソース、およびメディアコンテンツソースのうちの１つ以上を含む。
【0015】
具体的には、ユーザおよびユーザアカウントに関連付けられる１つ以上のメディア装置は、メディア環境１００内に配置されて、コンテンツソース１１０に記憶され、そこからストリーミングされるメディアコンテンツをユーザに提供する。コンテンツソース１１０は、任意選択で、第三者メディアコンテンツソースまたはサーバシステム１０６によってホストされる内部メディアソースである。いくつかの実現例では、１つ以上のメディア装置は、遠隔コンテンツソースからメディアコンテンツを直接ストリーミングするか、またはその視聴者に表示するためにメディアコンテンツをストリーミングするよう構成される埋め込みキャスティングユニットを統合する、ネットワーク接続されたＴＶ装置１０２を含む。ネットワーク接続されたＴＶ装置１０２は、専用の遠隔制御装置１０４および／または遠隔制御アプリケーションを有する電子装置（例えば、携帯電話１２２、タブレットコンピュータ１２４、ラップトップコンピュータ１２６、アシスタント装置１３８）に通信可能に結合される。専用の遠隔制御装置１０４は、ＴＶ装置１０２に近接して配置されてもよく、デジタル符号化された赤外線信号のパルスを用いてＴＶ装置１０２と通信するよう構成されてもよい。代替として、ある状況では、専用の遠隔制御装置１０４または遠隔制御アプリケーションを有する電子装置は、通信ネットワーク１８０を介して（すなわち、短距離通信リンク、ローカルエリアネットワークおよび／または広域ネットワークを介して）ＴＶ装置１０２と通信するよう構成され、ＴＶ装置１０２に物理的に近接している必要はない。
【0016】
ネットワーク接続されたＴＶ装置１０２は、１つ以上のプロセッサと、１つ以上のプロセッサによる実行のための命令を記憶するメモリとを含む。ネットワーク接続されたＴＶ装置１０２に記憶された命令は、統合されたＴＶアプリケーション、ローカルコンテンツキャスティングアプリケーション、遠隔制御アプリケーション、アシスタントアプリケーション、およびコンテンツソース１１０に関連付けられる１つ以上のメディア再生アプリケーションのうちの１つ以上を含む。これらのアプリケーションは、ＴＶ装置１０２のオペレーティングシステムとは異なるユーザアプリケーションであり、任意選択で、メディア環境１００の仮想ユーザドメイン内のユーザアカウントにリンクされる。加えて、ネットワーク接続されたＴＶ装置１０２は、データパケットレベルでオーディオデータを処理するために、そのオペレーティングシステムに統合されたオーディオマネージャ（例えば、図２の２３４）を含む。
【0017】
代替として、いくつかの実現例では、メディア環境１００内に配置されるメディア装置は、メディアコンテンツを視聴者に直接出力する表示装置１１６と、表示装置１１６に結合され、メディアコンテンツを表示装置１１６にストリーミングするよう構成されるキャスティング装置１１８とを含む。表示装置１１６の例は、限定はしないが、テレビ（ＴＶ）表示装置および音楽プレーヤを含む。キャスティング装置１１８の例は、セットトップボックス（ＳＴＢ）、ＤＶＤプレーヤおよびＴＶボックスを含むが、これらに限定されない。図１に示されるこの例では、表示装置１１６は、ＤＶＤプレーヤまたはセットトップボックス１１８に配線接続されたＴＶディスプレイを含む。対照的に、いくつかの実現例では、メディア環境１００に配置されたメディア装置は、メディアコンテンツを視聴者に出力するコンピュータ画面１２０Ａと、メディアコンテンツをコンピュータ画面１２０Ａにストリーミングするデスクトップコンピュータ１２０Ｂとを含む。いくつかの実現例では、メディア環境１００に配置されたメディア装置は、モバイルデバイス、たとえば、携帯電話１２２、タブレットコンピュータ１２４、およびラップトップコンピュータ１２６を含む。メディア装置１１８～１２６の各々は、コンテンツソース１１０またはサーバシステム１０６に関連付けられる内部メディアソースによって提供されるメディアコンテンツ項目を受信および再生するよう構成される１つ以上のメディア再生アプリケーションを含む。
【0018】
サーバシステム１０６は、メディア環境１００内の１つ以上のメディア装置に対するメディアコンテンツ推奨およびストリーミングを管理するよう構成される統合されたメディアプラットフォーム（Ｉ－ＪＷＰ）１２８を含む。Ｉ－ＡＡＰ１２８によって生成されたメディアコンテンツ推奨は、サーバ側ＴＶアプリケーション１３４を介して、ネットワーク接続されたＴＶ装置１０２上に提示され、サーバ側ＴＶアプリケーション１３４は、メディアコンテンツ推奨からのユーザ選択に応答して、ＴＶ装置１０２上の統合されたＴＶアプリケーション上でメディアコンテンツの表示を可能にする。さらに、ＵＮＩＰ１２８はまた、メディアコンテンツ推奨を、テレビ装置１０２に加えて、他のメディア装置１１８～１２６に提供するよう構成される集中型メディアコンテンツ管理モジュールとして機能してもよい。いくつかの実現例では、各ユーザアカウントに関連付けられる活動データが、ＴＶアプリケーション１３４およびキャスティングサービスモジュール１３６から収集され、ユーザアカウントのユーザに提供されるメディアコンテンツ推奨を個人専用にするために使用される。
【0019】
いくつかの実現例では、サーバシステム１０６によってホストされる仮想ユーザドメインのユーザアカウントはまた、メディア装置１０２，１０４，および１１６～１２６のうちの１つ以上に加えて、他のタイプの１つ以上の装置、たとえば、メディア環境１００にインストールされるネットワーク接続されたアシスタント装置１３８にも関連付けられる。アシスタント装置１３８の例は、スピーカアシスタント装置１４２およびディスプレイアシスタント装置１４４を含む。スピーカアシスタント装置１４２は、音声入力を収集し、音声入力からユーザコマンドを認識し、ユーザコマンドに応答して動作（例えば、音楽を再生すること、質問に答えること）を実施することができる。ディスプレイアシスタント装置１４４は、オーディオおよび／またはビデオ入力を収集し、オーディオおよび／またはビデオ入力からユーザコマンドを認識し、ユーザコマンドに応答して動作（例えば、音楽を再生すること、画像または映像クリップを提示すること、質問に答えること）を実施することができる。アシスタント装置１３８の各々は、専用デバイスアプリケーションまたは汎用ユーザアプリケーション（例えば、ウェブブラウザ）によって任意選択的に管理され、ネットワーク接続されたＴＶ装置１０２の統合されたＴＶアプリケーションと連携して仮想ドメイン内のユーザアカウントにリンクされる。
【0020】
さらに、いくつかの実現例では、サーバシステム１０６は、任意選択で、人工知能で動作するアシスタントモジュール１４０を含む。アシスタントモジュール１４０は、マイクロフォンによって収集された音声入力からユーザ要求を認識し、インターネットを検索し、イベントおよびアラームをスケジュールし、ハードウェア設定を調整し、パブリックまたはプライベート情報を提示し、メディアコンテンツ項目を再生し、ユーザと双方向会話し、製品を購入し、送金するなどの動作を開始するよう構成される。マイクロフォンは、メディア環境１００に配置されたメディア装置１０２，１０４，および１１６～１２６ならびにアシスタント装置１３８のいずれかにおいて統合される。いくつかの実現例では、アシスタントモジュール１４０は、マイクロフォンによって収集された音声入力を処理し、たとえば自然言語処理（ＮＬＰ）アルゴリズムを使用して音声入力からユーザ要求を識別するよう構成される音声認識モジュール１６０に結合される。
【0021】
いくつかの実現例では、サーバシステム１０６は、サーバシステム１０６によって管理される１つ以上のユーザアカウントの情報、ならびに１つ以上のユーザアカウントの各々に関連付けられるユーザ装置およびアプリケーションの情報を記憶するよう構成される、装置およびアプリケーションレジストリ１５０を含む。例えば、装置およびアプリケーションレジストリ１５０は、ネットワーク接続されたＴＶ装置１０２、遠隔制御装置１０４、メディア装置１１６～１２６、アシスタント装置１３８の情報と、対応する統合されたＴＶアプリケーション、遠隔制御アプリケーション、メディア再生アプリケーション、およびアシスタント装置１３８に関連付けられる専用のデバイスアプリケーションの情報とを記憶する。
【0022】
任意選択的に、同じユーザアカウントに関連付けられるこれらのメディア装置およびアシスタント装置は、異なる地域にわたって分散される。任意選択的に、これらの装置は、同じ物理的位置に配置される。各メディアまたはアシスタント装置は、１つ以上の通信ネットワーク１８０を使用して、別の装置またはサーバシステム１０６と通信する。使用される通信ネットワーク１８０は、限定はしないが、インターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、セルラーネットワーク、イーサネット（登録商標）、ストレージエリアネットワーク（ＳＡＮ）、電話ネットワーク、Bluetoothパーソナルエリアネットワーク（ＰＡＮ）などを含む、１つ以上のタイプのトポロジを有する１つ以上のネットワークであり得る。いくつかの実現例では、サブネットワーク内の２つ以上の装置は有線接続を介して結合され、一方、同じサブネットワーク内の装置のうちの少なくともいくつかはローカル無線通信ネットワーク（例えば、ZigBee、Z-Wave、Insteon、Bluetooth（登録商標）、Wi-Fi、および他の無線通信ネットワーク）を介して結合される。
【0023】
様々な実現例では、マイクロフォンを有する第１の電子装置（例えば、遠隔制御装置１０４、メディア装置１１６～１２６のいずれか、アシスタント装置１３８）は、１つ以上のプロセッサと、通信チャネルを介して１つ以上のプロセッサによって実行されるべき命令を記憶するメモリとを有する第２の電子装置（例えば、ＴＶ装置１０２またはメディア装置１１６～１２６のいずれか）に結合される。第１の電子装置は、そのマイクロフォンを使用してオーディオ信号をキャプチャする。オーディオ信号は、オーディオデータサンプルの第１のシーケンスと、オーディオデータサンプルの第１のシーケンスに続くオーディオデータサンプルの第２のシーケンスとにサンプリングされる。任意選択で、オーディオデータサンプルの第１および第２のシーケンスは、同じ記録セッションにおいて、または２つの別個の記録セッション中に記録される。各記録セッションは、第１の電子装置とのそれぞれのユーザアクション（例えば、ユーザが図６のアシスタントボタン６０６を押す）によってアクティブにされる。第１の電子装置は、オーディオデータサンプルの第１のシーケンスおよび第２のシーケンスの両方を第２の電子装置に転送し、次いで、第２の電子装置は、リアルタイムデータ処理モードおよびバッチデータ処理モードのうちの１つを介してオーディオデータサンプルの各シーケンスを処理する。
【0024】
オーディオデータサンプルの第１のシーケンスを転送する間または転送した後に、第２の電子装置は、第２の電子装置の通信能力、計算能力および記憶能力がリアルタイムデータ処理モードにおいてオーディオデータサンプルの処理をサポートし得るかどうかを判断する。第２の電子装置の通信能力、計算能力、および記憶能力のうちの少なくとも１つがリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートできない場合、第２の電子装置は、（例えば、図２において、そのオペレーティングシステムに、またはユーザアプリケーションとして、インストールされるオーディオデータ処理モジュール２３８によって、）バッチデータ処理モードでオーディオデータサンプルの第２のシーケンスを処理する。対照的に、第２の電子装置がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートし得る場合、第２の電子装置は、（例えば、図２で、そのオペレーティングシステムに統合されるオーディオマネージャ２３４によって、）リアルタイムデータ処理モードでオーディオデータサンプルの第２のシーケンスを処理する。したがって、バッチデータ処理モードは、たとえば、オーディオデータのエラーレートまたはレイテンシが対応するエラーまたはレイテンシ許容値を超えると、第２の電子装置はリアルタイムデータ処理モードにおいてオーディオデータサンプルの処理をサポートできないとの判断に従って、アクティブにされる。
【0025】
図２は、いくつかの実現例による、第１の電子装置２０２と第２の電子装置２０４との間の例示的なオーディオデータ転送経路２００である。第１の電子装置２０２は、オーディオ信号２２０をキャプチャするように構成されたマイクロフォン２０６を有するか、またはそれに結合され、第２の電子装置２０４は、通信チャネル２０８を介して第１の電子装置２０２に結合される。オーディオ信号２２０は、第１の電子装置２０２においてサンプリングされ、オーディオデータサンプルは、通信チャネル２０８を介して第１の電子装置２０２から第２の電子装置２０４に転送される。通信チャネル２０８は、限定はしないが、ローカル無線通信ネットワーク（例えば、ZigBee, Z-Wave, Insteon, Bluetooth（登録商標）、Wi-Fi、および他の無線通信ネットワーク）を含む１つ以上の通信ネットワーク１８０によって有効にされる。この例示的なオーディオデータ転送経路２００では、通信チャネル２０８は、第１の電子装置２０２の第１のBluetoothスタック２０８Ａおよび第２の電子装置２０４の第２のBluetoothスタック２０８Ｂによって一括して有効にされるBluetooth通信リンクを介して形成される。
【0026】
第１の電子装置２０２は、マイクロフォン２０６によってキャプチャされたオーディオ信号２２０のオーディオデータサンプルを取得し、通信チャネル２０８を介して第２の電子装置に転送されるようにオーディオデータサンプルを編成するよう構成されるオーディオストリーミングモジュール２１０を含む。いくつかの実現例では、オーディオストリーミングモジュール２１０は、オーディオデータサンプルのサブセットを、順序付けられたオーディオデータパケットのシーケンスにグループ化する。各データパケットは、１つ以上の連続するオーディオデータサンプルを含み、任意選択で、事前に規定されたデータフォーマット（例えば、ＭＰＥＧ－４ ＨＥ－ＡＣＣコーデックフォーマット、ＥＶＲＣ音声コーデックフォーマット）に従って、プリアンブルと、メッセージヘッダと、符号化パケットデータと、ダミーフィールドと、完全性チェックフィールドとを有する。第１のBluetoothスタック２０８Ａへの入力では、複数の順序付けられたオーディオデータパケットのシーケンスが、通信チャネル２０８を介した送信のためにオーディオデータ２３０のストリームに順次配列される。いくつかの実現例では、同じデータパケットシーケンス中の各データパケットは事前に規定されたデータフォーマットに対応し、２つの異なるデータパケットシーケンスは、任意選択で、同じデータフォーマットまたは異なるデータフォーマットに対応する。
【0027】
第２の電子装置２０４は、３つのレベルのプログラム、すなわち、ハードウェア抽象化層（ＨＡＬ）上のカーネル２１６と、デバイスファームウェア２１８と、アプリケーションおよびサービスプログラム２２２とを含む。ＨＡＬ上のカーネル２１６およびデバイスファームウェア２１８は、第２の電子装置２０４のオペレーティングシステムの一部であり、アプリケーションおよびサービスプログラム２２２は、オペレーティングシステムの外部にあり、専用コンピュータ動作（例えば、ゲーミング、ウェブブラウジング、文書編集、メディア再生）を実現するために製造業者またはユーザによってインストールされる。いくつかの実現例では、第２のBluetoothスタック２０８Ｂを介して第１の電子装置２０２または任意の他の電子装置から任意選択的に生じる動作データを受信した後、第２の電子装置２０４は、受信された動作データをＨＡＬ上のカーネル２１６の入力イベント識別部２２６に渡す。入力イベント識別部２２６は、第２のBluetoothスタック２０８Ｂによって受信されたデータから動作データを識別し、識別された動作データをデバイスファームウェア２１８の入力ディスパッチャ２２８に与える。入力ディスパッチャ２２８は、第２の電子装置２０４上にインストールされたアシスタントアプリケーション２３２に動作データを割り当てて、動作データ内のユーザ要求を認識し、ユーザ要求に応答して動作を開始する。
【0028】
いくつかの実現例では、オーディオデータ２３２のストリームは、第１の電子装置２０２のマイクロフォン２０６によって収集され、カーネル／ＨＡＬ２１６によって、第１の電子装置２０２に関連付けられる遠隔制御アプリケーション２３６に直接ディスパッチされる。遠隔制御アプリケーション２３６は、デバイスファームウェア２１８のオーディオマネージャ２３４および第２の電子装置２０４上にインストールされたアシスタントアプリケーション２３２と協働して（２６０）、オーディオデータ２３０のストリーム内のユーザ要求を認識し、それに応答する。オーディオマネージャ２３４は、リアルタイムデータ処理モードを実現し、オーディオデータ２３０をデータパケットレベルで処理する。すなわち、オーディオマネージャ２３４は、第１の電子装置２０２から受信された複数の順序付けられたオーディオデータパケットのシーケンス内のデータパケットからオーディオデータサンプルを識別し、誤ったデータパケット、欠落したデータパケット、および順序外データパケットを補償し、受信されたオーディオデータサンプルを別のオーディオデータパケットのシーケンスに編成し、そのオーディオデータパケットのシーケンスを後のオーディオ処理または転送のためにアシスタントアプリケーション２３２に渡す（２６２）よう構成される。
【0029】
代替的に、いくつかの実現例では、第２の電子装置２０４は、バッチデータ処理モードを実現し、第１の電子装置２０２から受信したオーディオデータ２３０をデータファイルに処理する、ファイルベースのオーディオデータ処理モジュール２３８を含む。ファイルベースのオーディオデータ処理モジュール２３８は、デバイスファームウェア２１８（すなわち、オペレーティングシステム）に統合される（２３８Ａ）か、またはアプリケーションおよびサービスプログラム２２２の中でユーザアプリケーションとしてインストールされる（２３８Ｂ）かのいずれかである。遠隔制御アプリケーション２３６は、オーディオデータ２３０を処理モジュール２３８に与える（２７０または２８０）。処理モジュール２３８は、第１の電子装置２０２から受信した複数の順序付けられたオーディオデータパケットのシーケンス内のデータパケットからオーディオデータサンプルを識別し、データパケットをデータファイルにキャッシュし、後のオーディオ処理または転送のために、データファイルをアシスタントアプリケーション２３２に与える（２７２または２８２）よう構成される。第２の電子装置２０４は、データファイルを記憶するためのオーディオデータバッファ２１４をさらに含む。
【0030】
オーディオデータサンプルは、オーディオマネージャ２３４および処理モジュール２３８によって、それぞれリアルタイムデータ処理モードおよびバッチデータ処理モードで交互に処理される。第２の電子装置２０４は、第２の電子装置２０４の通信、計算、および記憶能力がオーディオデータサンプルのリアルタイム転送をサポートし得るかどうかに応じて、これらの２つのオーディオデータ処理モードの間で切替わる。いくつかの実現例では、順序付けられたオーディオデータパケットのシーケンスがオーディオマネージャ２３４または処理モジュール２３８によって処理されている間、そのような判断およびモード切替えは動的に実現される。代替として、そのような判断およびモード切替えは、２つの別個の記録セッション間で、すなわち、リアルタイム処理モードおよびバッチデータ処理モードのうちの１つによって各々が独立して処理される、オーディオデータパケットの２つの別個のシーケンス間で実現される。各記録セッションは、任意選択的に、第１の電子装置２０２上でのユーザアクションまたは電子装置２０２によって収集されたオーディオデータ２３０から検出された音声起動によってアクティブにされる。
【0031】
より具体的には、オーディオデータ２３０のストリームを受信すると、第２の電子装置２０４は、オーディオデータ２３０を監視して、第２の電子装置２０４の通信、計算、および記憶能力がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートし得るかどうかを判断する。たとえば、第２の電子装置２０４は、たとえば、オーディオマネージャ２３４がオーディオデータ２３０中のデータサンプルを処理する前または処理した後に、オーディオデータ２３０中のデータサンプルのデータサンプルレイテンシがレイテンシ許容値を超えるかどうかをリアルタイムで判断する。別の例では、第２の電子装置２０４は、オーディオマネージャ２３４がオーディオデータ２３０内のデータサンプルを処理する前または処理した後に、オーディオデータ２３０中のデータサンプルの欠落オーディオデータサンプルのレートが欠落レート許容値を超えるかどうか、またはオーディオデータ２３０中のデータサンプルの順序外オーディオデータサンプルのレートが順序外レート許容値を超えるかどうかをリアルタイムで判断する。いくつかの実現例では、第２の電子装置２０４は、その中央処理装置（ＣＰＵ）利用率を監視し、ＣＰＵ利用率が所定の利用率（たとえば、８５％）を超える場合、それはオーディオデータサンプルの処理をリアルタイムでサポートできないと判断する。判断結果に従って、第２の電子装置２０４は、オーディオマネージャ２３４またはファイルベースのオーディオデータ処理モジュール２３８を選択して、オーディオデータ２３０のストリームをそれぞれリアルタイムまたはバッチで処理する。
【0032】
いくつかの実現例では、第２の電子装置２０４は、オーディオマネージャ２３４または処理モジュール２３８の出力をローカルで処理して、ユーザのプライバシーを保護する目的でそこからユーザ要求を認識し、任意選択で、処理された出力を、第１の電子装置２０２を制御するために遠隔制御アプリケーション２３６に提供するよう構成される。代替的に、いくつかの実現例では、第２の電子装置２０４は、オーディオマネージャ２３４または処理モジュール２３８の出力を、遠隔サーバシステム１０６に送信する前に前処理して、そこからユーザ要求を認識するよう構成される。代替的に、いくつかの実現例では、たとえば、第２の電子装置２０４が低コスト装置であるよう意図されるとき、第２の電子装置２０４は、限定された音声認識能力を有する。第２の電子装置２０４は、オーディオマネージャ２３４または処理モジュール２３８の出力全体を遠隔サーバシステム１０６に送信し、サーバシステム１０６に依拠してそこからユーザ要求を認識するよう構成される。
【0033】
図３は、いくつかの実現例による、リアルタイムデータ処理モードからバッチデータ処理モードに切替わる例示的なオーディオデータ処理プロセス３００を示す概略図である。オーディオ信号２２０は、第１の電子装置２０２のマイクロフォン２０６を使用してキャプチャされ、オーディオサンプリングレートでサンプリングされて、オーディオデータサンプルの第１のシーケンス３０２と、オーディオデータサンプルの第１のシーケンス３０２に続くオーディオデータサンプルの第２のシーケンス３０４とを取得する。オーディオデータサンプルの第１のシーケンス３０２は、通信チャネル２０８を介して第２の電子装置２０４に転送される。いくつかの実現例では、第１のシーケンス３０２および第２のシーケンス３０４中のオーディオデータサンプルは、複数のオーディオデータパケットにグループ化され、各データパケットは、１つ以上の連続するオーディオデータサンプルを含む。任意選択で、オーディオデータサンプルの第２のシーケンス３０４は、第１のシーケンス３０２の直後に続く。任意選択で、オーディオデータサンプルの第２のシーケンス３０４は、中断によって第１のシーケンス３０２から分離される。複数のオーディオデータパケットは、第２の電子装置２０４にストリーミングされる。いくつかの状況では、１つ以上のデータパケットが、通信チャネル２０８を介して転送される過程で、第１のシーケンス３０２および第２のシーケンス３０４から並べ替えられるか、または破棄される。
【0034】
オーディオデータパケット３０８は、オーディオデータサンプルの第１のシーケンス３０２からグループ化され、第２の電子装置２０４によってリアルタイム処理モードで処理され、オーディオデータパケット３０８における誤ったデータパケット、欠落したデータパケット、および順序外データパケットが両方とも発生し、訂正されてもよい。すなわち、１つ以上のデータパケット３０８は、第２の電子装置２０４によって（具体的には、オーディオマネージャ２３４によって）破棄されるかまたは並べ替えられる。オーディオデータサンプルの第１のシーケンス３０２を処理する間または処理した後に、第２の電子装置２０４は、第２の電子装置２０４の通信能力、計算能力、および記憶能力のうちの少なくとも１つがリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートできないと判断する。そのような判断に応答して（時間ｔＦにおいて）、第２の電子装置２０４は、リアルタイムデータ処理モードをアボートし、オーディオデータサンプルの第２のシーケンス３０４を処理するためにバッチデータ処理モードを開始する。具体的には、第２の電子装置２０４は、オーディオデータバッファ２１４にオーディオデータサンプルの第２のシーケンス３０４をキャッシュし、バッチデータ処理モードでオーディオデータサンプルの第２のシーケンス３０４を含むデータファイル３１０を生成する。いくつかの実現例では、第２の電子装置２０４は、第２の電子装置２０４に関連付けられるデータサンプルレイテンシ、欠落オーディオデータサンプルのレート、順序外オーディオデータサンプルのレート、およびＣＰＵ利用率、の少なくとも１つに基づいて、リアルタイムデータ処理モードにおいてオーディオデータサンプルの処理をサポートする対応する能力を判断する。
【0035】
いくつかの実現例では、第２の電子装置２０４は、第２の電子装置２０４の通信、計算、および記憶能力がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートし得るという判断に従って、オーディオデータサンプルの第２のシーケンス３０４の処理を中止する。代替的に、いくつかの実現例では、第２の電子装置２０４は、事前に規定された数のオーディオデータサンプルを含むように第２のシーケンス３０４を制限するよう構成される。第２の電子装置２０４は、事前に規定された数に達すると、オーディオデータサンプルの第２のシーケンス３０４を、第１のデータファイル３１０にキャッシュされるよう処理する。第２の電子装置２０４は、次いで、オーディオデータサンプルの第２のシーケンス３０４の直後に続くオーディオデータサンプルの第３のシーケンス３０６を第２のデータファイル３１２に編成する。第２のデータファイル３１２は、事前に規定された数のオーディオデータサンプルがオーディオデータサンプルの第３のシーケンス３０６に含まれるとき、または第２の電子装置２０４がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートし得ると判断された場合に、転送される。
【0036】
いくつかの状況下では、データファイル３１０または３１２に含まれる現在のオーディオデータサンプルの数は、第２の電子装置２０４がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートし得ると判断されるとき、事前に規定された数に達していない。判断に従って、データファイル３１０または３１２は、現在の数のオーディオデータサンプルとともに直ちに転送されてもよい。任意選択で、データファイル３１０または３１２は転送されることからアボートされ、現在の数のオーディオデータサンプルは、第２の電子装置２０４のオーディオマネージャ２３４によるリアルタイムオーディオデータ処理のためにデータパケットに再編成される。
【0037】
いくつかの実現例では、処理されたオーディオデータサンプルの第１のシーケンス３０８、およびオーディオデータサンプルの第２のシーケンスを含むデータファイル３１０は、サーバシステム１０６に転送される（３２０）。処理されたオーディオデータサンプルの第１のシーケンス３０２は、リアルタイムデータ処理モードに対応する第１のデータ転送速度を有し、オーディオデータサンプルの第２のシーケンス３０４は、バッチデータ処理モードに対応する第２のデータ転送速度を有する。第２のデータ転送速度は、第１のデータ転送速度よりも大きい。いくつかの実現例では、第１のデータ転送速度はオーディオ信号２２０のオーディオサンプリングレートよりも遅く、第２のデータ転送速度はそのオーディオサンプリングレートよりも大きい。
【0038】
図４は、いくつかの実現例による、バッチデータ処理モードからリアルタイムデータ処理モードに切替わる例示的なオーディオデータ処理プロセス４００を示す概略図である。オーディオ信号２２０は、第１の電子装置２０２のマイクロフォンを使用してキャプチャされ、あるオーディオサンプリングレートでサンプリングされて、オーディオデータサンプルの第１のシーケンス４０２と、オーディオデータサンプルの第１のシーケンス４０２に続くオーディオデータサンプルの第２のシーケンス４０４とを取得する。オーディオデータサンプルの第１のシーケンス４０２およびオーディオデータサンプルの第２のシーケンス４０４の両方は、通信チャネル２０８を介して第２の電子装置２０４に転送される。オーディオデータサンプルの第１のシーケンス３０２は、第２の電子装置２０４によって、バッチデータ処理モードに従って処理される。第１のシーケンス４０２中のオーディオデータサンプルは、第１の電子装置２０２のオーディオデータバッファ２１４にキャッシュされ、データファイル４０６に編成される。
【0039】
オーディオデータサンプルの第１のシーケンス４０２を処理する間または処理した後に、第２の電子装置２０４は、第２の電子装置２０４がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートし得ることを検出または判断する。任意選択で、（第１の時間ｔＡにおける）そのような判断に従って、第２の電子装置２０４は、第１のシーケンス４０２のオーディオデータサンプルの数が第２の時間ｔＢにおいて事前に規定された数に達するまで、第１のシーケンス４０２に、より多くのオーディオデータサンプルを追加し続ける。第２の電子装置２０４は、オーディオデータサンプルの第１のシーケンス４０２をデータファイル４０６にキャッシュすることを完了した後、オーディオデータサンプルの第１のシーケンス４０２に続いて収集されるオーディオデータサンプルの第２のシーケンス４０４をリアルタイムデータ処理モードにおいて処理し始める。代替的に、いくつかの実現例では、（時間ｔＣにおける）判断に従って、第２の電子装置２０４は、第１のシーケンス４０２に対するオーディオデータサンプルの数が事前に規定された数に達したかどうかとは無関係に、第１のシーケンス４０２に対するオーディオデータサンプルの追加を中止する。第２の電子装置２０４は、時刻ｔＣでデータファイル４０６を作成し、それにより、バッチデータ処理モードを終了する。第２の電子装置２０４は、リアルタイムデータ処理モードにおいて、オーディオデータサンプルの第１のシーケンス４０２に続いて収集されたオーディオデータサンプルの第２のシーケンス４０４の転送を直ちに開始する。さらに、いくつかの実現例（図示せず）では、（たとえば、時間ｔＣにおける）判断で、第２の電子装置２０４は、バッチデータ処理モードでオーディオデータサンプルの第１のシーケンス４０２を処理することをアボートし、リアルタイムデータ処理モードで直ちにオーディオデータサンプルの第１のシーケンス４０２をデータパケット４０８に処理し始める。オーディオデータサンプルの第１のシーケンス４０２が転送された後、第２の電子装置２０４は、リアルタイムデータ処理モードでオーディオデータサンプルの第２のシーケンス４０４を処理し続ける。
【0040】
オーディオデータサンプルの第１のシーケンス３０２および４０２の各々は、任意選択で、第２の電子装置２０４に送信されるオーディオデータ２３０のストリームを開始するか、またはオーディオデータ２３０のストリームの途中にある。同様に、オーディオデータサンプルの第２のシーケンス３０４および４０４の各々ならびにオーディオデータサンプルの第３のシーケンス３０６は、任意選択で、第２の電子装置２０４に送信されるオーディオデータ２３０のストリームにおける最後のシーケンスであるか、またはオーディオデータ２３０のストリームの途中にある。いくつかの実現例では、オーディオデータサンプルの第１のシーケンス３０２または４０２は、オーディオデータサンプルの第２のシーケンス３０４または４０４の直前ではないことに留意されたい。第１および第２のシーケンスは、中断によって分離された２つの別個の記録セッション中にキャプチャされる。第２の電子装置２０４は、２つの記録セッションを分離する中断中にリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートし得るかどうかを判断する。
【0041】
図５は、いくつかの実現例による、ユーザアクションまたは音声入力によって開始される例示的な音声アシスタントプロセス５００を示す概略図である。音声アシスタントプロセス５００は、第１の電子装置２０２および第２の電子装置２０４によって協働して実現される。いくつかの実現例では、第１の電子装置２０２は物理的なアシスタントボタン（例えば、図６のアシスタントボタン６０６）を含み、ユーザは、アシスタントボタンに対するユーザアクションを介して音声アシスタント機能の開始または終了を要求することができる。例えば、ユーザは、音声アシスタントプロセス５００（録音セッションとも呼ばれる）を開始するために物理的なアシスタントボタンを押す。ユーザがアシスタントボタンを押している間、オーディオ信号が、音声アシスタントプロセス５００を介する音声データのサンプリング、転送および認識のために第１の電子装置２０２のマイクロフォン２０６によって継続的に収集される。マイクロフォン２０６は、ユーザがアシスタントボタンの押下を解除して対応する記録セッションを完了するまで、オーディオ信号の収集を停止しない。
【0042】
いくつかの実現例では、第１のユーザアクションの検出に応答して、第１の電子装置２０２は、第２の電子装置２０４の遠隔制御アプリケーション２３６およびアシスタントアプリケーション２３２にアシスタント呼出し要求５０２を送信する。アシスタント呼出し要求５０２に応答して、アシスタントアプリケーション２３２は、第１の電子装置２０２が第２の電子装置２０４とともに音声アシスタントプロセス５００を実施することを許可されていることを検証し、アシスタントを開始する命令５０４を遠隔制御アプリケーション２３６に送信する。アシスタントを開始する命令５０４に応答して、遠隔制御アプリケーション２３６は、マイクロフォン開命令５０６を第１の電子装置２０２に送信する。第１の電子装置２０２のマイクロフォン２０６がオンにされた後、オーディオデータサンプル２３０が収集され、第２の電子装置２０４に転送される。オーディオデータサンプル２３０は、第２の電子装置２０４に転送された後、リアルタイムデータ処理モードに関連付けられるオーディオマネージャ２３４によって、またはバッチデータ処理モードに関連付けられるファイルベースのオーディオデータ処理モジュール２３８によって、処理される（５２０および５３０）。いくつかの実現例では、リアルタイムデータ処理モードおよびバッチデータ処理モードは、第２の電子装置２０４において、たとえば、第２の電子装置２０４に関連付けられるデータサンプルレイテンシ、欠落オーディオデータサンプルのレート、順序外オーディオデータサンプルのレート、またはＣＰＵ利用率に基づいて、動的に交替する。いくつかの実現例では、リアルタイムデータ処理モードおよびバッチデータ処理モードの一方のみが、第１のユーザアクションの検出に応答してアクティブにされる各記録セクション中にアクティブにされる。
【0043】
いくつかの実現例では、アシスタントアプリケーション２３２は、遠隔制御アプリケーション２３６が、第１の電子装置２０２によって収集されたオーディオデータをキャプチャするように第１の電子装置２０２を制御してもよいように、記録を開始する命令５０８を遠隔制御アプリケーション２３６に送信する。録音を開始する命令５０８は、任意選択で、アシスタントを開始する命令５０４と共に発行され、マイクロフォン開命令５０６をトリガするよう構成される。記録を開始する命令５０８に応答して、オーディオデータサンプル２３０は、第１の電子装置２０２から転送された後、第２の電子装置２０４によって記録される。代替的に、いくつかの実施形態において、記録を開始する命令５０８’は、オーディオデータサンプル２３０のサブセットが第２の電子装置２０４によって受信された後にアシスタントアプリケーションによって発行される。録音を開始する命令５０８’は、オーディオデータサンプルのサブセットの内容（例えば、内容におけるユーザ要求）に基づいて発行されてもよく、オーディオデータサンプル２３０のサブセットは、第２の電子装置２０４によって録音されない。
【0044】
いくつかの実現例では、アシスタントアプリケーション２３２は、録音を停止する命令５１０をオーディオマネージャ２３４および遠隔制御アプリケーション２３６の両方に送信し、その結果、遠隔制御アプリケーション２３６は、マイクロフォン２０６をオフにするように第１の電子装置２０２を制御するためのマイクロフォン閉命令５１２を発行してもよい。代替的に、いくつかの実現例では、第１の電子装置２０２のユーザは、音声アシスタントプロセス５００を開始した第１のユーザアクションを終了するか、または第２のユーザアクション（例えば、アシスタントボタンの解放）を適用して音声アシスタントプロセス５００を終了する。第２のユーザアクションに応答して、第１の電子装置２０２のマイクロフォン２０６がオフにされ、アシスタントを終了するための要求５１４が第２の電子装置２０４の遠隔制御アプリケーション２３６およびアシスタントアプリケーション２３２に送信される。
【0045】
図３および図４を参照すると、第１の電子装置２０２のマイクロフォン２０６は、オンにされ、第１のユーザ押下に関して、異なる時間に、オーディオ信号をキャプチャし始めるように、設定される。いくつかの実現例では、第１の電子装置２０２は、第１の時間ｔ１においてオーディオ信号の記録を要求する第１のユーザアクションを受信し、そのマイクロフォン２０６は、マイクロフォン開命令５０６が第２の電子装置２０４から発行されるかどうかとは無関係に、第２の時間ｔ２において第１のユーザアクションに応答して直ちにオーディオ信号をキャプチャするようにオンにされる。第２の時間ｔ２は、第１の時間ｔ１と実質的に同時である。代替的に、いくつかの実現例では、第１の電子装置２０２は、第１の時間ｔ１’にオーディオ信号の記録を要求する第１のユーザアクションを受信する。オーディオ信号は、第１の時間ｔ１’に先行する第２の時間ｔ２にマイクロフォンによってキャプチャされる。時間ｔ２とｔ１’との間の持続時間に対応するオーディオデータはキャッシュされるが、依然として第１のユーザアクションに応答して第２の電子装置２０４に転送される。加えて、いくつかの実現例では、第１の電子装置２０２は、第１の時間ｔ１”においてオーディオ信号の記録を要求する第１のユーザアクションを受信し、たとえば、第１の時間ｔ１”から事前に規定されたバッファ時間（５秒など）だけ遅延された、第１の時間ｔ１”に続く第２の時間ｔ２においてオーディオ信号をキャプチャすることを開始する。
【0046】
いくつかの実現例では、第１の電子装置２０２は、第１のユーザアクション時間（ｔ１、ｔ１’、またはｔ１”）を受信することと、キャプチャされたオーディオデータをｔ２において第２の電子装置２０４に転送することとの間の持続時間において、第２の電子装置２０４からマイクロフォン開命令５０６を含むオーディオデータ要求を受信するよう待つことに留意されたい。第２の電子装置２０４は、第１のユーザアクションに応答してオーディオデータ要求を送信するための承認を取得し、この承認は、第２の電子装置２０４のアシスタントアプリケーション２３２によって、または遠隔サーバシステム１０６によって付与される。
【0047】
いくつかの状況では、音声アシスタントプロセス５００は、音声入力によって開始される。第１の電子装置２０２のマイクロフォン２０６は、第１の電子装置２０２がスリープモードにあるかアクティブモードにあるかにかかわらず、オーディオ信号を連続的に収集し、対応するオーディオデータを第２の電子装置２０４に提供するよう構成される。スリープモードでは、オーディオデータは、アクティブモードを有効にするよう１つ以上の事前に規定されたホットワード（たとえば、「Hi Google（登録商標）」）が検出されるまで、メディア装置またはユーザアプリケーションを制御するために使用される音声アシスタント機能に対するどのようなユーザ要求も認識するようには処理されない。第２の電子装置２０４は、オーディオデータ内の１つ以上の事前に規定されたホットワードをローカルで検出するよう構成され、１つ以上の事前に規定されたホットワードの検出に応答して音声アシスタントプロセス５００を開始する。
【0048】
図５を参照すると、いくつかの実施形態において、アシスタント呼出し要求５０２は、１つ以上の事前に規定されたホットワードを含む。第２の電子装置２０４は、第１の電子装置２０２から受信したオーディオデータ内においてホットワードを検出すると、アシスタント呼出し要求５０２を確認する。アシスタント呼出し要求５０２に応答して、アシスタントアプリケーション２３２は、第１の電子装置２０２が第２の電子装置２０４とともに音声アシスタントプロセス５００を実施することを許可されていることを検証し、アシスタントを開始する命令５０４を遠隔制御アプリケーション２３６に送信する。第２の電子装置２０４は、追加のユーザ要求を識別するために、リアルタイムデータ処理モードまたはバッチデータ処理モードでオーディオデータサンプル２３０をローカルで処理するよう、アクティブモードで動作するように制御される。さらに、いくつかの実現例では、アシスタントアプリケーション２３２は、第１の電子装置によって提供されるオーディオデータ２３０において、記録を停止するユーザ要求（例えば、図３および図４の「Google, stop recording（グーグル、記録を止めて）」）を識別する。アシスタントアプリケーション２３２は、オーディオデータサンプル２３０の記録５１０を停止する命令を生成し、命令５１０をオーディオマネージャ２３４および遠隔制御アプリケーション２３６に送信して、遠隔制御アプリケーション２３６がマイクロフォン閉命令５１２を発行して、第１の電子装置２０２を制御してそのマイクロフォンをオフにし得るようにする。これらの手段によって、音声アシスタントプロセス５００は、いかなる物理的なユーザアクションも用いることなく第１の電子装置２０２によってキャプチャされたオーディオデータに基づいて開始および終了される。
【0049】
図３を参照すると、一例では、オーディオ信号をキャプチャすることを中止する要求３１４がオーディオ信号２２０において認識され、第２の電子装置２０４から第１の電子装置２０２に送信される。要求３１４に応答して、第２の電子装置２０４は、第２のデータサンプルのシーケンス３０４を含む第１のデータファイル３１０の処理を完了するが、第２のシーケンス３０４の直後に続く第３のデータサンプルのシーケンス３０６を含む第２のデータファイル３１２を転送することをアボートする。対照的に、図４を参照すると、別の例では、要求３１４を受信すると、第２の電子装置２０４は、オーディオデータサンプルの第２のシーケンス４０４中において要求３１４に続く後続のデータパケットの処理をアボートする。
【0050】
図６は、いくつかの実現例による、オーディオデータをテレビ装置に転送するよう構成される例示的な遠隔制御装置１０４を示す。遠隔制御装置１０４の複数のユーザボタンは、電源ボタン６０２、ホームボタン６０４、アシスタントボタン６０６、サイクルボタン６０８（再生／サイクルボタンとも呼ばれる）、前ボタン６１０、次ボタン６１２、プレビュー／バックドロップボタン６１４、および音量制御ボタン６１６のうちの１つ以上を含む。電源ボタン６０２上のユーザ作動は、遠隔制御装置１０４に結合されたメディア装置がユーザ作動前にオフである場合は、当該メディア装置の電源をオンにし、当該メディア装置がユーザ作動前にオンである場合は、当該メディア装置の電源をオフにする。ホームボタン６０４に対するユーザ作動は、遠隔制御装置１０４に結合されたメディア装置を制御してホーム画面を表示する。例えば、ホーム画面は、所定のインターネットコンテンツチャンネルによって提供される特定の広告クリップまたはランダムに選択されたメディアプログラムを表示する。いくつかの実現例では、電源ボタン６０２またはホームボタン６０４は、特定のインターネットコンテンツチャネルによって提供されるメディアコンテンツの即時再生を可能にするよう構成されるクイックキャストボタンとして機能する。
【0051】
アシスタントボタン６０６に対するユーザアクションは、メディア環境１００内のオーディオ信号を収集するように遠隔制御装置１０４に統合されたマイクロフォン２０６を制御し、メディア環境１００内に位置する１つ以上のメディア再生装置（例えば、ＴＶ装置１０２）を制御するように、ユーザ要求がオーディオ信号から抽出される。いくつかの実現例では、遠隔制御装置１０４のマイクロフォン２０６は、アシスタントボタン６０６が第１の短時間の間押下げられると、環境１００からのオーディオ信号の収集を開始し、オーディオ信号の収集を中止するには、第２の短時間の押下またはユーザ要求が適用される。代替的に、いくつかの実現例では、遠隔制御装置１０４のマイクロフォン２０６は、アシスタントボタン６０６が押されているときに環境１００からオーディオ信号を収集するだけであり、アシスタントボタン６０６が解放されているときにオーディオ信号の収集を中止する。加えて、いくつかの実現例では、遠隔制御装置１０４のマイクロフォン２０６は、環境１００からのオーディオ信号を継続的にキャプチャし、オーディオ信号は、１つ以上の事前に規定されたホットワードおよび／またはユーザ要求を含む。ユーザ要求は、遠隔制御装置１０４または遠隔制御装置１０４に結合された１つ以上のメディア装置もしくはアプリケーションを制御するために使用され得る。
【0052】
このアプリケーションでは、オーディオデータは、リアルタイムデータ処理モードおよびバッチデータ処理モードを含む２つのオーディオデータ処理モードを有する第２の電子装置２０４（例えば、ネットワーク接続されたテレビ装置１０２）において処理される。第２の電子装置２０４は、第２の電子装置２０４の通信、キャッシュ、および処理能力がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートし得るかどうかを判断する。第２の電子装置２０４がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートし得るという判断に従って、第２の電子装置２０４は、後続のオーディオデータサンプルを、リアルタイムデータ処理モードに従って、データパケットレベルで処理する。第２の電子装置２０４がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートできないという判断に従って、第２の電子装置２０４は、第２の電子装置２０４のバッファに後続のオーディオデータサンプルをキャッシュし、バッチデータ処理モードでこれらのオーディオデータサンプルを含むデータファイルを生成する。いくつかの実現例では、判断およびモード有効化は、２つの記録セッション間の中断中に実現される。代替として、いくつかの実現例では、判断およびモード切替えは、同じ記録セッション中に動的に実現される。
【0053】
図７は、いくつかの実現例による、オーディオデータを２つのオーディオデータ処理モードにおいて（リアルタイムデータ処理モードからバッチデータ処理モードに）動的に処理するための方法７００のフローチャートである。方法７００は、第１の電子装置２０２および第２の電子装置２０４によって実行され、任意選択で、非一時的コンピュータ可読記憶媒体に記憶され、それぞれの電子装置の１つ以上のプロセッサによって実行される命令によって管理される。図７に示す動作の各々は、コンピュータメモリまたは非一時的コンピュータ可読記憶媒体に記憶された命令に対応してもよい。コンピュータ可読記憶媒体は、磁気ディスク記憶装置もしくは光ディスク記憶装置、フラッシュメモリなどのソリッドステート記憶装置、または他の不揮発性メモリデバイスを含んでもよい。コンピュータ可読記憶媒体に記憶される命令は、１つ以上のプロセッサによって解釈されるソースコード、アセンブリ言語コード、オブジェクトコード、または他の命令フォーマットのうちの１つ以上を含んでもよい。方法７００のいくつかの動作は組み合わされてもよく、および／またはいくつかの動作の順序は変更されてもよい。
【0054】
オーディオ信号は、第１の電子装置２０２のマイクロフォン２０６を使用してキャプチャされる（７０２）。第１の電子装置２０２は、オーディオ信号から、オーディオデータサンプルの第１のシーケンス３０２と、オーディオデータサンプルの第１のシーケンス３０２に続くオーディオデータサンプルの第２のシーケンス３０４とを取得し（７０４）、リアルタイムデータ処理モードに従って、通信チャネル２０８を介して第２の電子装置２０４にオーディオデータサンプルの第１のシーケンス３０２を転送する。第２の電子装置２０４は、通信チャネル２０８を介して第１の電子装置２０２から、オーディオデータサンプルの第１のシーケンス３０２とオーディオデータサンプルの第２のシーケンス３０４とを受信する（７０６）。オーディオデータサンプルの第１のシーケンス３０２の間またはその後に、第２の電子装置２０４は、第２の電子装置２０４がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートできないと判断する（７０８）。第２の電子装置２０４がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートできないという判断に従って、第２の電子装置２０４は、第２の電子装置のバッファにオーディオデータサンプルの第２のシーケンス３０４をキャッシュし（７１２）、バッチデータ処理モードでオーディオデータサンプルの第２のシーケンス３０４を含むデータファイル３１０を生成する（７１４）。
【0055】
いくつかの実現例では、第２の電子装置２０４は、処理されたオーディオデータサンプルの第１のシーケンスと、オーディオデータサンプルの第２のシーケンスを含むデータファイルとをサーバシステム１０６に転送する（たとえば、図５の５４０）。オーディオデータサンプルの第１のシーケンス３０２は、リアルタイムデータ処理モードに対応する第１のデータ転送速度を有し、オーディオデータサンプルの第２のシーケンス３０４は、バッチデータ処理モードに対応する第２のデータ転送速度を有する。第２のデータ転送速度は、第１のデータ転送速度よりも大きい。さらに、ある例では、第１の電子装置２０２によってキャプチャされたオーディオ信号は、オーディオサンプリングレートでサンプリングされて、オーディオデータサンプルの第１のシーケンス３０２および第２のシーケンス３０４を取得する。第１のデータ転送速度はオーディオサンプリングレートよりも遅く、第２のデータ転送速度はオーディオサンプリングレートよりも大きい。
【0056】
いくつかの実現例では、第１のシーケンス３０２におけるオーディオデータサンプルは、リアルタイムデータ処理モードにおいて複数のオーディオデータパケットにグループ化される。各オーディオデータパケットは、一貫したデータフォーマットに従って任意選択で編成される１つ以上の連続するオーディオデータサンプルを含む。複数のオーディオデータパケットは、サーバシステム１０６にストリーミングされる。
【0057】
いくつかの実現例では、第２の電子装置２０４は、第２の電子装置２０４に関連付けられるデータサンプルレイテンシと、欠落オーディオデータサンプルのレートと、順序外オーディオデータサンプルのレートとのうちの少なくとも１つに基づいて、リアルタイムデータ処理モードにおけるオーディオデータサンプルの転送をサポートしないと判断される。具体的には、ある例では、処理されたオーディオデータサンプルの第１のシーケンスのサブセットのデータサンプルレイテンシがレイテンシ許容値を超える。別の例では、処理されたオーディオデータサンプルの第１のシーケンスの欠落オーディオデータサンプルのレートが、欠落レート許容値を超える。さらに別の例では、処理されたオーディオデータサンプルの第１のシーケンスの順序外オーディオデータサンプルのレートが、順序外レート許容値を超える。
【0058】
いくつかの実現例では、オーディオ信号の記録を要求する第１のユーザアクションが第１の電子装置２０２において受信される。オーディオ信号は、第１のユーザアクションに応答してキャプチャされる。例えば、第１のユーザアクションは、第１の電子装置２０２のアシスタントボタンの押下である。押下は、第２の電子装置２０４のアシスタントアプリケーション２３２またはサーバシステム１０６による承認を取得するためのプロセスを開始する。承認を受信すると、オーディオ信号は、キャプチャされ、処理され、記録される。具体的には、ある例では、第１の電子装置２０２は、第１の時間ｔ１’においてオーディオ信号の記録を要求する第１のユーザアクションを受信し、オーディオ信号をキャプチャすることは、第１の時間ｔ１’に続く第２の時間ｔ２において開始される。第２の時間ｔ２は、第１の時間から事前に規定されたバッファ時間だけ遅延される。具体的には、いくつかの状況では、第１のユーザアクションに応答して、第１の電子装置２０２は、第２の電子装置２０４からオーディオデータ要求を受信する。第２の電子装置２０４は、第１のユーザアクションに応答してオーディオデータ要求を送信するための承認を取得するよう構成される。オーディオデータサンプルの第１のシーケンスを転送することは、オーディオデータ要求に応答して開始される。
【0059】
いくつかの実現例では、データファイル３１０は第１のデータファイル３１０を含む。第１のデータファイル３１０を生成した後、第２の電子装置２０４は、バッチデータ処理モードにおいてオーディオデータサンプルの第３のシーケンス３０６を含む第２のデータファイル３１２を生成し続ける。オーディオデータサンプルの第３のシーケンス３０６は、オーディオ信号においてオーディオデータサンプルの第２のシーケンス３０４の直後に続き、オーディオデータサンプルの第２および第３のシーケンス３０４および３０６の各々は、事前に規定された数のデータサンプルを有する。
【0060】
いくつかの実現例では、第２の電子装置２０４は、オーディオ処理（たとえば、音声認識）のために、処理されたオーディオデータサンプルの第１のシーケンス３０２および第２のシーケンス３０４をサーバシステム１０６に転送するよう構成される。サーバシステム１０６は、ユーザアカウントを含む仮想ユーザドメインをホストする。第１の電子装置２０２および第２の電子装置２０４は、ユーザアカウントにリンクされる。
【0061】
代替として、いくつかの実現例では、オーディオ信号は、１つ以上の事前に規定されたホットワードまたはユーザ要求を含む。第２の電子装置２０４は、オーディオデータサンプルの第１のシーケンスおよび第２のシーケンスをローカルで処理して、オーディオ信号における１つ以上の事前に規定されたホットワードまたはユーザ要求を識別するよう構成される。さらに、いくつかの実現例では、ユーザ要求は、オーディオ信号をキャプチャすることを中止する要求を含む。オーディオ信号をキャプチャすることを中止する要求は、第２の電子装置２０４によって認識され、それによって第１の電子装置２０２に提供される。要求に応答して、第１の電子装置２０２は、オーディオデータサンプルの第２のシーケンス３０４に続くオーディオデータサンプルのシーケンスを転送することをアボートする。
【0062】
いくつかの実現例では、データサンプルの第２のシーケンス３０４を転送している間に、第２の電子装置２０４は、オーディオ信号をキャプチャすることを中止するための第２のユーザアクションを受信する。第２のユーザアクションに応答して、第２の電子装置２０４は、オーディオデータサンプルの第２のシーケンス３０４の直後に続くオーディオデータサンプルのシーケンスを受信することをアボートする。
【0063】
図８は、いくつかの実現例による、オーディオデータを２つのオーディオデータ処理モードにおいて（バッチデータ処理モードからリアルタイムデータ処理モードに）動的に処理するための方法８００のフローチャートである。方法８００は、第１の電子装置２０２および第２の電子装置２０４によって実行され、任意選択で、非一時的コンピュータ可読記憶媒体に記憶され、それぞれの電子装置の１つ以上のプロセッサによって実行される命令によって管理される。図８に示す動作の各々は、コンピュータメモリまたは非一時的コンピュータ可読記憶媒体に記憶された命令に対応してもよい。コンピュータ可読記憶媒体は、磁気ディスク記憶装置もしくは光ディスク記憶装置、フラッシュメモリなどのソリッドステート記憶装置、または他の不揮発性メモリデバイスを含んでもよい。コンピュータ可読記憶媒体に記憶される命令は、１つ以上のプロセッサによって解釈されるソースコード、アセンブリ言語コード、オブジェクトコード、または他の命令フォーマットのうちの１つ以上を含んでもよい。方法８００のいくつかの動作は組み合わされてもよく、および／またはいくつかの動作の順序は変更されてもよい。
【0064】
オーディオ信号は、第１の電子装置２０２のマイクロフォンを使用してキャプチャされる（８０２）。第１の電子装置２０２は、オーディオ信号中において、オーディオデータサンプルの第１のシーケンス４０２、およびオーディオデータサンプルの第１のシーケンス４０２に続くオーディオデータサンプルの第２のシーケンス４０４を取得する（８０４）。第２の電子装置２０４は、第１の電子装置２０２から、オーディオデータサンプルの第１のシーケンス４０２とオーディオデータサンプルの第２のシーケンス４０４とを受信する（８０６）。第２の電子装置２０４は、第２の電子装置のバッファにオーディオデータサンプルの第１のシーケンス４０２をキャッシュすること（８１０）と、オーディオデータサンプルの第１のシーケンス４０２を含むデータファイルを生成すること（８１２）とを含んで、バッチデータ処理モードに従ってオーディオデータサンプルの第１のシーケンス４０２を処理する。オーディオデータサンプルの第１のシーケンスを処理する間または処理した後に、第２の電子装置２０４は、第２の電子装置２０４がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートし得ると判断する（８１４）。第２の電子装置２０４がリアルタイムデータ処理モードでオーディオデータサンプルの処理をサポートし得るという判断に従って、第２の電子装置２０４は、リアルタイムデータ処理モードに従ってオーディオデータサンプルの第２のシーケンスを処理する（８１６）。
【0065】
いくつかの実現例では、オーディオデータサンプル４０２および４０４は、サーバシステム１０６に転送される。オーディオデータサンプルの第１のシーケンス４０２は、リアルタイムデータ処理モードに対応する第１のデータ転送速度を有し、オーディオデータサンプルの第２のシーケンス４０４は、バッチデータ処理モードに対応する第２のデータ転送速度を有する。第１のデータ転送速度は、第２のデータ転送速度よりも大きい。さらに、ある例では、第２のデータ転送速度はオーディオサンプリングレートよりも遅く、第１のデータ転送速度はオーディオサンプリングレートよりも大きい。いくつかの実現例では、第２のシーケンス４０４中のオーディオデータサンプルは、リアルタイムデータ処理モードにおいて複数のオーディオデータパケットにグループ化され、複数のオーディオデータパケットは、任意選択で、リアルタイムでサーバシステム１０６にストリーミングされる。
【0066】
図７および図８を参照すると、いくつかの実現例では、第１の電子装置２０２は遠隔制御装置１０４を含み、第２の電子装置２０４は、遠隔制御装置１０４によって制御されるよう構成されるネットワーク接続されたＴＶ装置１０２を含む。いくつかの実現例では、第２の電子装置２０４は、１つ以上のプロセッサと、第２の電子装置２０４上でAndroidオペレーティングシステムおよび１つ以上のユーザアプリケーションを実現するよう構成される１つ以上のプログラムを記憶するメモリとを含む。いくつかの実現例では、第１の電子装置２０２は電池で動作する。
【0067】
図７および図８の各々における動作が説明された特定の順序は、単なる例示であり、説明された順序が、動作が実行され得る唯一の順序であることを示すことを意図していないことを理解されたい。当業者であれば、本明細書で説明されるように、統合されたユーザインターフェース内に情報項目を表示し、コンテンツに焦点を合わせるための種々の方法を認識するであろう。加えて、方法７００，７５０，８００および８５０のうちの１つに関して説明される詳細はまた、方法７００，７５０，８００および８５０のうちの任意の他のものに類似する方式で適用可能であることに留意されたい。簡潔性のために、類似の詳細は繰り返さない。
【0068】
第１、第２などの文言は、いくつかの例では、本明細書では様々な要素を説明するために使用されるが、これらの要素はこれらの文言によって限定されるべきではないことも理解されよう。これらの文言は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明される様々な実現例の範囲から逸脱することなく、第１の電子装置は第２の電子装置と呼ばれることがあり、同様に、第２の電子装置は第１の電子装置と呼ばれることがある。第１の電子装置および第２の電子装置は両方とも電子装置であるが、それらは同じ電子装置ではない。
【0069】
本明細書で説明される様々な実現例の説明で使用される専門用語は、特定の実現例を説明することのみを目的としており、限定することを意図するものではない。様々な説明される実現例の説明および特許請求の範囲において使用されるように、単数形「a」、「an」、および「the」は、文脈が明確に別段の指示がない限り、複数形も含むことが意図される。本明細書で使用される「および／または」という文言は、関連付けられる列挙された項目の１つ以上の任意およびすべての可能な組み合わせを指し、それらを包含することも理解されよう。「含む」、「含み」、「備える」、および／または「備え」という文言は、本明細書で使用される場合、述べられた特徴、完全体、ステップ、動作、要素、および／または構成要素の存在を特定するが、１つ以上の他の特徴、完全体、ステップ、動作、要素、構成要素および／またはその群の存在または追加を排除しないことがさらに理解されよう。
【0070】
本明細書で使用される場合、「if」という文言は、任意に、文脈に応じて、「・・・するとき」または「・・・すると」または「判断に応答して」または「検出に応答して」または「・・・という判断に従って」を意味すると解釈される。同様に、「判断される場合」または「［定められた条件または事象］が検出される場合」という表現は、任意に、文脈に応じて、「判断すると」または「判断することに応答して」または「［定められた条件または事象］を検出すると」または「［定められた条件または事象］を検出することに応答して」または「［定められた条件または事象］が検出されたとの判断に従って」を意味すると解釈される。
【0071】
様々な図面は、特定の順序でいくつかの論理ステージを示すが、順序に依存しないステージは並べ替えられてよく、他のステージは組み合わされてよく、または分解されてよい。いくつかの並べ替えまたは他のグループ分けが具体的に言及されているが、他の並べ替えまたは他のグループ分けが当業者には明らかであり、したがって、本明細書で提示される並べ替えおよびグループ分けは、代替物の網羅的なリストではない。さらに、論理ステージは、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組合せで実現され得ることを認識されたい。
【0072】
前述の説明は、説明の目的で、特定の実現例を参照して説明されている。しかしながら、上記の例示的な説明は、網羅的であること、または特許請求の範囲を開示された厳密な形態に限定することを意図するものではない。上記の教示を考慮して、多くの修正および変形が可能である。実現例は、特許請求の範囲の基礎となる原理およびそれらの実用的な用途を最良に説明し、それによって、他の当業者が、企図される特定の用途に適するように様々な修正を伴って実現例を最良に使用できるようにするために選択された。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】