特許 6028111 ハイブリッド性能スケーリングまたは音声認識

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6028111

(24)【登録日】2016年10月21日

(45)【発行日】2016年11月16日

(54)【発明の名称】ハイブリッド性能スケーリングまたは音声認識

(51)【国際特許分類】

   G06F 1/30 20060101AFI20161107BHJP

   G10L 15/00 20130101ALI20161107BHJP

   G10L 15/04 20130101ALI20161107BHJP

   G06F 1/32 20060101ALI20161107BHJP

   G06F 3/16 20060101ALI20161107BHJP

   G06F 3/01 20060101ALI20161107BHJP

【ＦＩ】

   G06F1/30 K

   G10L15/00 200F

   G10L15/04 300Z

   G06F1/32 A

   G06F3/16 650

   G06F3/01 570

   G06F1/32 Z

【請求項の数】34

【全頁数】19

(21)【出願番号】特願2015-558202(P2015-558202)

(86)(22)【出願日】2014年2月18日

(65)【公表番号】特表2016-516225(P2016-516225A)

(43)【公表日】2016年6月2日

(86)【国際出願番号】US2014016951

(87)【国際公開番号】WO2014130463

(87)【国際公開日】20140828

【審査請求日】2015年9月7日

(31)【優先権主張番号】61/767,065

(32)【優先日】2013年2月20日

(33)【優先権主張国】US

(31)【優先権主張番号】13/791,716

(32)【優先日】2013年3月8日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】マリンソン、ドミニク、エス．

(72)【発明者】

【氏名】チェン、ルーシン

【審査官】 片岡 利延

(56)【参考文献】

【文献】 国際公開第２０１２／１５５１０５（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １／３０

Ｇ０６Ｆ １／３２

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ １５／００

Ｇ１０Ｌ １５／０４

(57)【特許請求の範囲】

【請求項1】

１つまたは複数のセンサによる、装置への１つまたは複数の非触覚入力を記録することであって、前記１つまたは複数の入力は第１のメモリに記録され、前記装置は電力が第１のプロセッサ及び前記第１のメモリに提供される低電力状態で動作している、記録することと、
１つまたは複数の第１の信頼性スコアを生成することであって、前記１つまたは複数の第１の信頼性スコアのそれぞれは、対応している記録された非触覚入力と前記第１のメモリに格納される基準入力との間に一定の類似度がある、生成することと、
前記第１の信頼性スコアが第１の閾値レベルより大きいとき、前記装置の中間電力状態を開始することであって、前記中間電力状態は少なくとも第２のプロセッサに電力を提供することを含み、前記第２のプロセッサは前記第１のプロセッサより大きい利用可能な処理能力を有する、開始することと、
前記第１の信頼性スコアがチャレンジ範囲内にあるとき、チャレンジ信号を出力することと、
前記チャレンジ信号へのレスポンスが、１つまたは複数の前記センサにより検出されるとき、前記中間電力状態を開始することと、
前記第２のプロセッサにより、１つまたは複数の第２の信頼性スコアを生成することであって、前記１つまたは複数の第２の信頼性スコアのそれぞれは、各記録された非触覚入力と基準入力との間に一定の類似度がある、生成することと、
前記第２の信頼性スコアが第２の閾値より大きいとき、クライアント装置プラットフォームに前記基準入力と関連する１つまたは複数の動作を実行するように指示するコマンド信号を生成することと
を含む方法。

【請求項2】

前記１つまたは複数のセンサの第１のセンサがマイクである、請求項１に記載の方法。

【請求項3】

前記第１の信頼性スコアを生成することが、音声区間検出（ＶＡＤ）アルゴリズムにより１つまたは複数の前記非触覚入力を分析することを含む、
請求項２に記載の方法。

【請求項4】

前記ＶＡＤアルゴリズムが、特定用途向け集積回路（ＡＳＩＣ）により実装される、
請求項３に記載の方法。

【請求項5】

前記第１の信頼性スコアを生成することが、自動音声認識アルゴリズムにより１つまたは複数の前記非触覚入力を分析することを含む、
請求項２に記載の方法。

【請求項6】

前記１つまたは複数の第１の信頼性スコアを生成することが、音声区間検出（ＶＡＤ）アルゴリズム及び自動音声認識アルゴリズムにより１つまたは複数の前記非触覚入力を分析すること含む、
請求項２に記載の方法。

【請求項7】

前記１つまたは複数のセンサの第２のセンサが、前記クライアント装置プラットフォームに近接する人の存在を検出するように構成される、
請求項２に記載の方法。

【請求項8】

前記クライアント装置プラットフォームに近接する人の存在を検出するように構成される前記センサが、ビデオカメラである、
請求項７に記載の方法。

【請求項9】

前記クライアント装置プラットフォームに近接する人の存在を検出するように構成される前記センサが、赤外線カメラである、
請求項７に記載の方法。

【請求項10】

前記クライアント装置プラットフォームに近接する人の存在を検出するように構成される前記センサが、テラヘルツセンサである、
請求項７に記載の方法。

【請求項11】

前記１つまたは複数の第２の信頼性スコアを生成することが、音素を利用する自動音声認識アルゴリズムにより１つまたは複数の前記非触覚入力を分析することを含む、
請求項２に記載の方法。

【請求項12】

前記第２の信頼性スコアを生成することが、聴覚注意キューを利用する自動音声認識アルゴリズムにより１つまたは複数の前記非触覚入力を分析することを含む、
請求項２に記載の方法。

【請求項13】

前記第２の信頼性スコアを生成することが、特定の人の声を識別するように構成される音声認識アルゴリズムにより１つまたは複数の前記非触覚入力を分析することを含む、
請求項２に記載の方法。

【請求項14】

前記１つまたは複数のセンサの１つが、ビデオカメラである、
請求項１に記載の方法。

【請求項15】

前記第１の信頼性スコアを生成することが、物体認識アルゴリズムにより１つまたは複数の前記非触覚入力を分析することを含む、
請求項１４に記載の方法。

【請求項16】

前記物体認識アルゴリズムが、前記クライアント装置プラットフォームに近接する人の存在を検出するように構成される、
請求項１５に記載の方法。

【請求項17】

前記第１の信頼性スコアを生成することが、ジェスチャ認識アルゴリズムにより１つまたは複数の前記非触覚入力を分析することを含む、
請求項１４に記載の方法。

【請求項18】

前記第２の信頼性スコアを生成することが、視聴覚音声認識（ＡＳＶＲ）アルゴリズムにより１つまたは前記複数の非触覚入力を分析することを含む、
請求項１４に記載の方法。

【請求項19】

前記１つまたは複数のセンサの１つが動きセンサであり、
前記第１の信頼性スコアを生成することが動き検出を行うことを含む、
請求項１に記載の方法。

【請求項20】

人が検出可能である前記チャレンジ信号が、点滅発光ダイオード（ＬＥＤ）である、
請求項１に記載の方法。

【請求項21】

人によって検出可能に構成される可聴音である前記チャレンジ信号、
請求項１に記載の方法。

【請求項22】

非触覚レスポンス入力が可聴フレーズである、
請求項１に記載の方法。

【請求項23】

非触覚レスポンス入力がジェスチャである、
請求項１に記載の方法。

【請求項24】

前記中間電力状態が、クラウドベースサーバ上に実装される、
請求項１に記載の方法。

【請求項25】

前記１つまたは複数の非触覚入力が、ネットワーク上でクラウドベースサーバに配送される、
請求項２４に記載の方法。

【請求項26】

前記第２のプロセッサが、第２のメモリに結合される、
請求項１に記載の方法。

【請求項27】

前記第２のメモリが、前記第１のメモリに格納されない１つまたは複数の基準信号を備える、
請求項２６に記載の方法。

【請求項28】

前記第１のプロセッサが、マルチコアプロセッサの１つまたは複数のコアを備える、
請求項１に記載の方法。

【請求項29】

前記第２のプロセッサが、前記第１のプロセッサと前記マルチコアプロセッサの１つまたは複数の付加的なコアとを備える、
請求項２８に記載の方法。

【請求項30】

前記１つまたは複数の前記動作の１つが、前記クライアント装置プラットフォーム上で全電力状態を開始するように構成される、
請求項１に記載の方法。

【請求項31】

前記１つまたは複数の前記動作の１つが、前記クライアント装置プラットフォーム上で特定のメディアタイトルのプレイバックを開始するように構成される、
請求項１に記載の方法。

【請求項32】

前記１つまたは複数の前記動作の１つが、プレーヤプロファイルをロードするように構成される、
請求項１に記載の方法。

【請求項33】

ネットワーク上で動作するように構成されるクライアント装置プラットフォームであって、
プロセッサと、
前記プロセッサに結合されるメモリと、
前記プロセッサによる実行のためにメモリに具現化され、方法を実装するように構成される１つまたは複数の指示と
を備え、
前記方法は、
１つまたは複数のセンサによる、装置への１つまたは複数の非触覚入力を記録することであって、前記１つまたは複数の入力は第１のメモリに記録され、前記装置は電力が第１のプロセッサ及び前記第１のメモリに提供される低電力状態で動作している、記録することと、
１つまたは複数の第１の信頼性スコアを生成することであって、前記１つまたは複数の第１の信頼性スコアのそれぞれは、対応している記録された非触覚入力と前記第１のメモリに格納される基準入力との間に一定の類似度がある、生成することと、
前記第１の信頼性スコアが第１の閾値レベルより大きいとき、前記装置の中間電力状態を開始することであって、前記中間電力状態は少なくとも第２のプロセッサに電力を提供することを含み、前記第２のプロセッサは前記第１のプロセッサより大きい利用可能な処理能力を有する、開始することと、
前記第１の信頼性スコアがチャレンジ範囲内にあるとき、チャレンジ信号を出力することと、
前記チャレンジ信号へのレスポンスが、１つまたは複数の前記センサにより検出されるとき、前記中間電力状態を開始することと、
前記第２のプロセッサにより、１つまたは複数の第２の信頼性スコアを生成することであって、前記１つまたは複数の第２の信頼性スコアのそれぞれは、各記録された非触覚入力と基準入力との間に一定の類似度がある、生成することと、
前記第２の信頼性スコアが第２の閾値より大きいとき、当該クライアント装置プラットフォームに前記基準入力と関連する１つまたは複数の動作を実行するように指示するコマンド信号を生成することと
を含むクライアント装置プラットフォーム。

【請求項34】

プログラム命令を含み、
コンピュータシステムの１つまたは複数のプロセッサによる前記プログラム命令の実行は、１つまたは複数のプロセッサに、
１つまたは複数のセンサによる、装置への１つまたは複数の非触覚入力を記録するステップであって、前記１つまたは複数の入力は第１のメモリに記録され、前記装置は電力が第１のプロセッサ及び前記第１のメモリに提供される低電力状態で動作しているステップと、
１つまたは複数の第１の信頼性スコアを生成するステップであって、前記１つまたは複数の第１の信頼性スコアのそれぞれは、対応している記録された非触覚入力と前記第１のメモリに格納される基準入力との間に一定の類似度があるステップと、
前記第１の信頼性スコアが第１の閾値レベルより大きいとき、前記装置の中間電力状態を開始するステップであって、前記中間電力状態は少なくとも第２のプロセッサに電力を提供することを含み、前記第２のプロセッサは前記第１のプロセッサより大きい利用可能な処理能力を有するステップと、
前記第１の信頼性スコアがチャレンジ範囲内にあるとき、チャレンジ信号を出力するステップと、
前記チャレンジ信号へのレスポンスが、１つまたは複数の前記センサにより検出されるとき、前記中間電力状態を開始するステップと、
前記第２のプロセッサにより、１つまたは複数の第２の信頼性スコアを生成するステップであって、前記１つまたは複数の第２の信頼性スコアのそれぞれは、各記録された非触覚入力と基準入力との間に一定の類似度があるステップと、
前記第２の信頼性スコアが第２の閾値より大きいとき、クライアント装置プラットフォームに前記基準入力と関連する１つまたは複数の動作を実行するように指示するコマンド信号を生成するステップと
を実行させる、一時的でないコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０１３年２月２０日に出願された米国仮特許出願第６１／７６７，０６５号の優先利益を主張するものであり、そのすべての開示内容は参照することによって本願に組み込まれる。

【0002】

本願は、２０１３年３月８日に出願された米国仮特許出願第１３／７９１，７１６号の優先利益を主張するものであり、そのすべての開示内容は参照することによって本願に組み込まれる。

【0003】

本開示の態様は、低電力環境における音声及びジェスチャ認識の使用に関する。

【背景技術】

【0004】

コンピュータ、テレビ、ゲーム機、及びステレオシステムなどの、しかしそれに限定されない多くの電子装置は、使用しないときのエネルギ消費量を減らすために、低電力状態を利用する。低電力状態は、不必要なサブシステムへの電力を遮断し、ランダムアクセスメモリ（ＲＡＭ）を、そのデータの保持に十分なだけの最小電力状態にすることによって、電子装置の電力消費を減らすことができる。各サブシステムの状態情報は、ＲＡＭに格納される。したがって、電子装置が低電力状態から復帰すると、装置は、低電力モードの開始前に実行していたアプリケーションを再起動またはロードする必要なく、再びすぐに使用する準備ができる。Ｓ３スリープ状態などの低電力状態は、「Ａｄｖａｎｃｅｄ Ｃｏｎｆｉｇｕｒａｔｉｏｎ ａｎｄ Ｐｏｗｅｒ Ｉｎｔｅｒｆａｃｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎ」，Ｈｅｗｌｅｔｔ−Ｐａｃｋａｒｄ Ｃｏｒｐ．ｅｔ ａｌ．，Ｒｅｖｉｓｉｏｎ ４．０ａ，Ａｐｒｉｌ ２００５に、より詳細に記載されており、参照することによって本明細書に組み込まれる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、一度低電力状態に移行すると、装置は一般的に、電子装置を「起動」し、通常の全電力状態に戻すために、積極的な触覚入力を必要とする。一実施例として、積極的な触覚入力は、電源ボタンを押すこと、あるいは、キーボードのキーまたはリモコンのボタンを叩くことを含んでもよい。低電力状態において処理能力は非常に低下しているため、電子装置を通常の動作状態に復帰させるためには、積極的な触覚入力が必要である。音声または視覚的なキューなどの代替の入力は選択肢となっていないが、それは、複雑な音声及びジェスチャ認識が、電子装置を起動するための積極的な要求の信頼性の高い指示として機能するには余りに多くのＣＰＵサイクルを必要とするためである。よって、使用者が電子装置を低電力状態から起動したい場合、使用者は電子装置または電子装置のリモコンに物理的に触れなければならない。電子装置が部屋の反対側に配置されており、リモコンを紛失した場合、使用者は電子装置を作動させるために、部屋の反対側に移動する追加の物理的な動作をしなければならない。

【0006】

したがって、電子装置またはリモコンへの物理的な接触を必要としない入力により電子装置を低電力状態から起動可能とすることによって、使用者の負担を減らすシステム及び方法が、当該技術分野において必要とされている。

【課題を解決するための手段】

【0007】

このようにして、本開示の態様が生じる。

【0008】

本発明の教示は、添付図面とともに以下の詳細な説明を考慮することによって、容易に理解できる。

【図面の簡単な説明】

【0009】

【図1】図１は、本開示の態様による、ネットワーク上で通信するクライアント装置プラットフォーム及びクラウドベースサーバの概略図である。

【図2】図２は、本開示の態様による、クライアント装置プラットフォームが低電力状態である間の動作の実行方法を示すフローチャートである。

【図3】図３は、本開示の付加的な態様による、クライアント装置プラットフォームが低電力状態である間の動作の実行方法を示すフローチャートである。

【図4】図４は、本開示の態様による、クライアント装置プラットフォームが低電力状態である間の動作の実行のための指示を説明する図である。

【図5】図５は、本開示の付加的な態様による、クライアント装置プラットフォームが低電力状態である間の動作の実行のための指示を説明する図である。

【発明を実施するための形態】

【0010】

以下の詳細な説明は例示のために多くの特定の詳細を含むが、当業者であれば、以下の詳細に対する多くの変形及び変更が本発明の範囲内であると理解するであろう。したがって、下記の本発明の例示的な実施形態は、本発明の特許請求の範囲に対していかなる普遍性も失うことなく、かつ規制を加えることもなく述べられる。

【0011】

本開示の態様は、非触覚入力を使って低電力状態であるクライアント装置プラットフォームで動作を実行するシステム及び方法を説明する。本明細書で使用される場合、用語「非触覚入力」は、通常、使用者が入力装置によって物理的接触をする必要がない入力を指す。このような非触覚入力の実施例は、たとえばマイクによって受けることができる音声入力、及び、たとえば光学センサまたは画像キャプチャ装置によって受けることができる光入力を含むが、これに限定されるものではない。その他の種類の「非触覚」入力は、匂いセンサ、赤外線センサ、超音波センサ、静電容量感知、動きセンサ、及びレーダセンサを含むが、これに限定されるものではない。

【0012】

クライアント装置プラットフォームにおいて、低電力状態は、少なくとも１つの低電力プロセッサ、１つまたは複数のセンサ、及び１つの低電力メモリに電力を提供することを備えてもよい。１つまたは複数のセンサは、非触覚入力を記録してもよく、それらを低電力メモリに格納してもよい。低電力プロセッサは、記録された非触覚入力の第１の分析を実行するように構成される。第１の分析は、記録された非触覚入力が第１の基準入力と一致する入力である可能性を示す第１の信頼性スコアを提供してもよい。信頼性スコアが第１の閾値より大きい場合、低電力プロセッサはクライアント装置プラットフォームに中間電力状態を開始するように指示してもよい。中間電力状態は、第２のプロセッサに電力を提供することを備えてもよい。第２のプロセッサは、低電力プロセッサより多くのＣＰＵサイクルを有するが、クライアント装置プラットフォームが全電力状態で動作しているときよりは、有するＣＰＵサイクルは少ない。

【0013】

第２のプロセッサが起動すると、それは非触覚入力を第１の基準刺激と比較する第２の分析を行ってもよい。第２の分析は付加的なＣＰＵサイクルで行われるため、それは非触覚入力が第１の基準信号と一致するかどうかのより正確な予測を提供することが可能である。第２の信頼値は、第２の分析によって決定される。第２の信頼性スコアが第２の閾値より大きい場合、第２のプロセッサは、クライアント装置プラットフォームに１つまたは複数の動作を実行するように指示するコマンド信号を生成してもよい。１つまたは複数の動作のそれぞれは、特定の第１の基準信号と関連してもよい。一実施例であり、これに限定されるものではないが、第１の基準信号がフレーズ「Ｄｅｖｉｃｅ Ｏｎ」である場合、第１の基準信号と関連する動作は、クライアント装置プラットフォームに全電力状態を開始させてもよい。したがって、基準入力「ｄｅｖｉｃｅ ｏｎ」と比較したとき、非触覚入力が第２の閾値レベルより大きい第２の信頼性スコアを有する場合、クライアント装置プラットフォームが全電力状態を開始する動作を実行するように、クライアント装置プラットフォームに指示するコマンド信号が生成されてもよい。

【0014】

本開示の付加的な態様によると、第１の分析は第１の基準信号から行われてもよく、第２の分析は第２の基準信号から行われてもよい。第１の基準信号は、第２の基準信号より短くてもよい。したがって、信号を分析するために低電力メモリに格納される必要があるデータは、より少なくてよい。一実施例であり、これに限定されるものではないが、第１の基準信号は、人声が検出されたかどうか、または、「ｄｅｖｉｃｅ ｏｎ」などの短いフレーズが使用者によって話されたかどうかを判定するために使用されてもよい。第２の基準信号はより長くてもよく、より複雑な動作と関連させてもよい。一実施例として、第２の基準信号は、人声がフレーズ「ｄｅｖｉｃｅ ｏｎ − ｐｌａｙ ｖｉｄｅｏ ｇａｍｅ ｏｎｅ」と話したかどうかを判定するために使用されてもよい。そのフレーズが十分に高い第２の信頼値で一致する場合、クライアント装置プラットフォームでの全電力状態の開始、及び、使用者が遊ぶ準備ができているようにするためのビデオゲーム１のロードなどの、より複雑な動作を実行するように、クライアント装置プラットフォームに指示するコマンド信号が生成されてもよい。

【0015】

本開示の付加的な態様によると、第２の分析は、クラウドベースサーバに実装されてもよい。第１の分析が第１の閾値より大きい第１の信頼性スコアを生成するとき、クライアント装置プラットフォームは非触覚入力をネットワーク上のクラウドベースサーバに配送してもよい。次に、第２の分析がクラウドベースサーバで行われる。第２の分析が第２の閾値より高い第２の信頼性スコアを生成する場合、クラウドベースサーバは、基準信号と関連する１つまたは複数の動作を実行するように指示するコマンドをネットワーク上のクライアント装置プラットフォームに送り返してもよい。

【0016】

図１は、本開示の態様による、クライアント装置プラットフォーム１０５とクラウドベースサーバ１０６との間の対話処理を示す概略図である。クラウドベースサーバ１０６は、ネットワーク１６０上でクライアント装置プラットフォーム１０５によってアクセスされてもよい。

【0017】

クライアント装置プラットフォーム１０５は、中央処理装置（ＣＰＵ）１３１を含んでもよい。一実施例として、ＣＰＵ１３１は、１つまたは複数のプロセッサを含んでもよく、それは、たとえば、デュアルコア、クアッドコア、マルチコア、またはＣｅｌｌプロセッサアーキテクチャによって構成されてもよい。クライアント装置プラットフォーム１０５はメモリ１３２（たとえば、ＲＡＭ、ＤＲＡＭ、ＲＯＭなど）も含んでもよい。ＣＰＵ１３１は、プロセス制御プログラム１３３を実行してもよく、それらの部分はメモリ１３２に格納されてもよい。クライアント装置プラットフォーム１０５は、入出力（Ｉ／Ｏ）回路１４１などの既知のサポート回路１４０、電源（Ｐ／Ｓ）１４２、クロック（ＣＬＫ）１４３、及びキャッシュ１４４も含んでもよい。クライアント装置プラットフォーム１０５は、プログラム及び／またはデータを格納するための大容量記憶装置１３４、たとえばディスクドライブ、ＣＤ−ＲＯＭドライブ、テープ装置などを任意選択的に含んでもよい。クライアント装置プラットフォーム１０５は、ディスプレイ装置１３７も任意選択的に含んでもよい。ディスプレイ装置１３７は、テキスト、数字、またはグラフィカルシンボルを表示するブラウン管（ＣＲＴ）またはフラットパネルスクリーンの形態でもよい。コントローラ１４５は、Ｉ／Ｏ回路１４１経由でクライアント装置プラットフォーム１０５に連結されてもよく、または、クライアント装置プラットフォーム１０５に直接組み込まれてもよい。コントローラ１４５は、クライアント装置プラットフォーム１０５と使用者との間の対話処理を容易にしてもよい。コントローラ１４５は、キーボード、マウス、ジョイスティック、ライトペン、ハンドヘルドコントロール、またはその他の装置を含んでもよい。１つまたは複数のセンサ１４６も、Ｉ／Ｏ回路１４１経由でクライアント装置プラットフォーム１０５に連結されてもよく、または、クライアント装置プラットフォーム１０５に直接組み込まれてもよい。一実施例であり、これに限定されるものではないが、センサ１４６は、マイク、ビデオカメラ、赤外線カメラ、テラヘルツセンサ、または任意のその他の検出装置でもよい。クライアント装置プラットフォームは、低電力プロセッサ１４７及び低電力メモリ１４８を有してもよい。クライアント装置プラットフォーム１０５がスリープ状態などの低電力状態であるとき、低電力プロセッサ１４７及び低電力メモリは動作してもよい。低電力プロセッサ１４７は、低電力状態の間、電力消費を最小化するために、最小の処理能力のみ有するシングルコアプロセッサでもよい。一実施例として、低電力プロセッサ１４７は、ＡＲＭプロセッサでもよい。あるいは、低電力プロセッサ１４７は、１つまたは複数のコアのマルチコアＣＰＵ１３１でもよい。さらに、低電力メモリ１４８は、電力の消費を最小化するために、十分に小さくてもよい。クライアント装置プラットフォーム１０５は、Ｗｉ−Ｆｉ、イーサネット（登録商標）ポート、またはその他の通信方式の使用を可能とするように構成されるネットワークインタフェース１３９を含んでもよい。

【0018】

ネットワークインタフェース１３９は、電子通信ネットワーク１６０経由の通信を容易にするために、好適なハードウェア、ソフトウェア、ファームウェア、またはそれらの２つ以上の組合せを組み込んでもよい。ネットワークインタフェース１３９は、ローカルエリアネットワーク及びインターネットなどのワイドエリアネットワーク上の有線または無線通信を実装するように構成されてもよい。クライアント装置プラットフォーム１０５は、ネットワーク１６０上で、１つまたは複数のデータパケットによってファイルのデータ及び／または要求を送受信してもよい。

【0019】

上記のコンポーネントは、内部システムバス１５０経由で互いに信号をやりとりしてもよい。クライアント装置プラットフォーム１０５は、本明細書に記載されるような本発明の実施形態を実装するコードを実行するときに専用コンピュータになる汎用コンピュータでもよい。一実施例であり、これに限定されるものではないが、クライアント装置プラットフォーム１０５は、Ｓｏｎｙ Ｃｏｍｐｕｔｅｒ ＥｎｔｅｒｔａｉｎｍｅｎｔのＰｌａｙＳｔａｔｉｏｎ３などのゲーム機、ホームエンタテインメントシステム、テレビ、オーディオシステム、または任意のその他の同様の装置でもよい。

【0020】

クラウドベースサーバ１０６は、中央処理装置（ＣＰＵ）１３１’を含んでもよい。一実施例として、ＣＰＵ１３１’は、１つまたは複数のプロセッサを含んでもよく、それは、たとえば、デュアルコア、クアッドコア、マルチコア、またはＣｅｌｌプロセッサアーキテクチャによって構成されてもよい。クラウドベースサーバ１０６はメモリ１３２’（たとえば、ＲＡＭ、ＤＲＡＭ、ＲＯＭなど）も含んでもよい。ＣＰＵ１３１’は、プロセス制御プログラム１３３’を実行してもよく、それらの部分はメモリ１３２’に格納されてもよい。クラウドベースサーバ１０６は、Ｗｉ−Ｆｉ、イーサネットポート、またはその他の通信方式の使用を可能とするように構成されるネットワークインタフェース１３９’を含んでもよい。ネットワークインタフェース１３９’は、電子通信ネットワーク１６０経由の通信を容易にするために、好適なハードウェア、ソフトウェア、ファームウェア、またはそれらの２つ以上の組合せを組み込んでもよい。ネットワークインタフェース１３９’は、ローカルエリアネットワーク及びインターネットなどのワイドエリアネットワーク上の有線または無線通信を実装するように構成されてもよい。クラウドベースサーバ１０６は、ネットワーク１６０上で、１つまたは複数のデータパケットによってファイルのデータ及び／または要求を送受信してもよい。一実施例であり、これに限定されるものではないが、クラウドベースサーバは、Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓから利用可能なＡｍａｚｏｎ Ｅｌａｓｔｉｃ Ｃｏｍｐｕｔｅ Ｃｌｏｕｄでもよい。

【0021】

図２は、本開示の態様による、クライアント装置プラットフォーム１０５が低電力状態である間に、クライアント装置プラットフォーム１０５によって検出される非触覚入力信号によって開始される１つまたは複数の動作を実装する手順を説明するフローチャートである。最初、２６０で、クライアント装置プラットフォーム１０５は低電力状態である。低電力状態である間、クライアント装置プラットフォーム１０５は、これらに限定されないが、低電力プロセッサ１４７、低電力メモリ１４８、ネットワークインタフェース１３９、Ｉ／Ｏ回路１４１、コントローラ１４５、及び／または１つまたは複数のセンサ１４６などのコンポーネントに、電力を提供していてもよい。Ｉ／Ｏ回路１４１は一般的にサウスブリッジに配置されるため、上述のコンポーネントの多くが同様にサウスブリッジに配置されるように、クライアント装置プラットフォーム１０５を設計することが望ましくてもよい。一実施例として、低電力状態は、Ａｄｖａｎｃｅｄ Ｃｏｎｆｉｇｕｒａｔｉｏｎ ａｎｄ Ｐｏｗｅｒ Ｉｎｔｅｒｆａｃｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎで説明されるＳ３スリープ状態などのスリープ状態または待機状態でもよい。

【0022】

低電力状態である間、クライアント装置プラットフォーム１０５は、ブロック２６１に示されるように、非触覚入力を１つまたは複数のセンサ１４６で連続的に記録してもよく、そして、低電力メモリ１４８などの空きメモリにそれらを保存してもよい。一実施例であり、これに限定されるものではないが、１つまたは複数のセンサ１４６は、マイク、ビデオカメラ、赤外線カメラ、テラヘルツセンサ、またはその任意の組合せを備えてもよい。１つまたは複数のセンサ１４６で記録される非触覚入力の種類は、使用されているセンサ１４６の種類に依存する。一実施例として、センサ１４６がマイクである場合、非触覚入力は周囲音の記録でもよい。センサ１４６がビデオカメラである場合、非触覚入力はクライアント装置プラットフォーム１０５に近接する空間の映像記録でもよい。センサ１４６が赤外線カメラである場合、非触覚入力はクライアント装置プラットフォーム１０５に近接する空間で記録される赤外線情報でもよい。または、センサ１４６がテラヘルツセンサである場合、非触覚入力はクライアント装置プラットフォーム１０５に近接する空間で記録されるテラヘルツ情報でもよい。入力は異なる種類の入力の組合せである可能性があり、上述の実施例の組合せを含むことに留意されたい。

【0023】

いくつかの実施形態において、センサ１４６は、直接、低電力ＣＰＵ１４７にも連結されてもよいが、それは、低電力モードにおいて、低電力ＣＰＵが計算を行い、ネットワークアクセスを制御してもよいためである。

【0024】

非触覚入力を格納するために必要なメモリ容量を最小化するために、非触覚入力は、使用者が所望の動作を開始する基準信号に対応する非触覚入力を生成するためにかかってもよい最も長い期待時間に一致する期間を有する、低電力メモリ１４８上のリングバッファに格納されてもよい。低電力メモリ１４８に格納される１つまたは複数の基準信号があってもよい。それぞれの基準信号は、１つまたは複数の動作と関連してもよい。一実施例であり、これに限定されるものではないが、基準入力は、クライアント装置プラットフォーム１０５を低電力状態から起動し、全電力状態を開始する動作に順番に対応するフレーズ「Ｄｅｖｉｃｅ Ｏｎ」を含んでもよい。

【0025】

低電力ＣＰＵ１４７上のソフトウェアは、センサデータを処理してもよく、そして、さらなる処理のためのメインＣＰＵ１３３またはネットワークＣＰＵ１３１での将来の使用に適切な小型のより小さい記憶方法で、それを保存してもよい。基準信号自体が低電力メモリに格納される必要はない。

【0026】

音声認識のための基準入力は、多くの方法で行われる可能性がある。純粋なテキストは１つの可能な方法であるが、機械処理及び音声表示への変換が必要であるため、おそらく、最も信頼性が高いわけではない。一般的な単語については、英語テキストの音声への変換は許容可能とすることができるが、辞書にない単語は正確でない可能性がある。音声表示は、コンピュータ可読音声スクリプトの形態で直接使用されてもよい。コンピュータ可読音声スクリプトの実施例は、Ｓｐｅｅｃｈ Ａｓｓｅｓｓｍｅｎｔ Ｍｅｔｈｏｄｓ Ｐｈｏｎｅｔｉｃ Ａｌｐｈａｂｅｔ（ＳＡＭＰＡ）、及び、Ｅｘｔｅｎｄｅｄ Ｓｐｅｅｃｈ Ａｓｓｅｓｓｍｅｎｔ Ｍｅｔｈｏｄｓ Ｐｈｏｎｅｔｉｃ Ａｌｐｈａｂｅｔ（Ｘ−ＳＡＭＰＡ）を含む。ＳＡＭＰＡ及びＸ−ＳＡＭＰＡは、国際音声記号（ＩＰＡ）に基づく、コンピュータ画面上に表示可能な７ビットＡＳＣＩＩ文字を使用する。フレーズを音素に分割する代わりに、全フレーズを使用する認識装置を調整することも可能である。そのような場合、調整は、異なる話者及び単一の音声記録でない多くのサンプルで行われてもよい。調整の結果は、隠れマルコフモデルまたは場合によってはニューラルネットワークなどの、一種のクラシファイアである。結論としては、これを行うための方法が、音声認識の領域内には多くあるということである。

【0027】

非触覚入力が基準信号と十分に同様であると判定されると、クライアント装置プラットフォーム１０５に基準信号に対応する動作を実行させるコマンド信号が生成される。さらに、記録された非触覚入力の忠実性を犠牲にすることによって、必要なメモリ容量を減らしてもよいが、非触覚入力の高精度な分析を可能とするために、後続の処理ステップの間、忠実性は十分に高く維持されなければならないことに留意されたい。非触覚入力が記録されると、それらは、低電力状態のクライアント装置プラットフォーム１０５にアクセス可能なメモリ上に格納される１つまたは複数の基準入力と一致するかどうかを判定するために、１つまたは複数の分析により分析される。

【0028】

低電力プロセッサ１４７は、ブロック２６２に示されるように、第１の信頼性スコアを生成するために、低電力メモリ１４８に格納された非触覚入力に対する第１の分析を実装してもよい。第１の分析は、第１の信頼性スコアを生成するために使用される１つまたは複数のアルゴリズムを用いることによって、実装されてもよい。第１の信頼性スコアは、記録された非触覚入力と低電力メモリ１４８に格納される１つまたは複数の基準入力との間の類似度に対応する。一実施例であり、これに限定されるものではないが、第１の信頼性スコアは、０．０と１．０との間で変動してもよい。０．０のスコアは、記録された非触覚入力が基準信号の１つと同じである可能性がほぼ０パーセントであることを示す。１．０のスコアは、非触覚入力が基準信号の１つと同じである可能性がほぼ１００パーセントであることを示す。第１の分析のために使用されるアルゴリズムは、記録された非触覚入力の種類（または、複数の種類）に依存してもよい。一実施例として、記録された非触覚入力が音声データである場合、アルゴリズムは、音声区間検出（ＶＡＤ）アルゴリズム、または単純な自動音声認識（ＡＳＲ）アルゴリズムを利用してもよい。あるいは、記録された非触覚入力がビデオデータである場合、アルゴリズムは、物体認識またはジェスチャ認識アルゴリズムを利用してもよい。一実施例であり、これに限定されるものではないが、非常に単純な信頼性基準は、動き検出の実施、たとえば、動き検出センサからの出力を分析してから、複雑な物体認識に着手することにより実装されてもよい。

【0029】

第１の信頼性スコアが算出されると、手順２００は、第１の信頼性スコアが第１の閾値より大きいかどうかをプロセッサが判定する判定ブロック２６３に進む。次の処理ステップに配送される誤判定が最も少なくなるように、第１の閾値は十分に高く設定されなければならない。第１の信頼性スコアが第１の閾値レベルより下の場合、手順２００はブロック２６１に記載されるように非触覚入力の記録を続けてもよい。第１の信頼性スコアが第１の閾値レベル以上である場合、手順２００はブロック２６４に進み、低電力プロセッサ１４７は中間電力状態を開始する。

【0030】

本開示の態様によると、センサ１４６はマイクでもよく、第１の信頼性スコアはＶＡＤアルゴリズムで生成されてもよい。ＶＡＤアルゴリズムは、記録された非触覚入力における人声の有無を判定するために使用されてもよい。ＶＡＤアルゴリズムの使用は、ブロック２６２で第１の信頼性スコアを生成するために適切であるが、これは、非触覚入力が人声を含まない場合、人がクライアント装置プラットフォーム１０５上で積極的に動作を開始しようとしている可能性は低いためである。したがって、このＶＡＤアルゴリズムの使用は、人声が存在しないことが分かっている音声データの過剰な分析を防止するため、望ましいことである。さらに、ＶＡＤアルゴリズムは、比較的少ないＣＰＵサイクル及び記録されたメモリバッファのより少ないサンプリングを必要とする。また、ＶＡＤアルゴリズムだけの使用は、第１の基準信号の収納のために必要とされるデータ記憶空間を減らすが、これは、話されている実際の単語の代わりに、音声の有無が必要とされるすべてであるためである。よって、低電力状態である間にＶＡＤアルゴリズムを実行することは、クライアント装置プラットフォーム１０５に実質的に負担をかけない。さらに、ＶＡＤアルゴリズムは、低電力プロセッサ１４７に組み込まれる、または、それに加えて提供されるカスタムＡＳＩＣとして実装されてもよい。記録された非触覚入力に人声が存在しない場合、それは０．０の第１の信頼性スコアを割り当てられてもよく、したがって、第１の閾値レベルより下であってもよい。よって、手順２００はブロック２６１に戻り、非触覚入力の記録を続ける。記録された非触覚入力に人声が存在する場合、それは１．０の第１の信頼性スコアを割り当てられてもよく、したがって、第１の閾値レベルより大きくてもよい。次に、手順２００は、低電力プロセッサがクライアント装置プラットフォーム１０５に中間電力状態を開始するように指示し、それに従って進行するブロック２６４に進んでもよい。

【0031】

しかし、本開示の付加的な態様によると、第１の信頼性スコアは、１つまたは複数の付加的なアルゴリズムを用いることにより洗練されていてもよい。これにより、ブロック２６４に進むことが可能とされる多数の誤判定を減らすことができる。一実施例であり、これに限定されるものではないが、検出された人声が、１つまたは複数の第１の基準信号と同様の単語を生成しているかどうか検出するために、クライアント装置プラットフォーム１０５はＶＡＤアルゴリズムに加えて単純なＡＳＲアルゴリズムも利用してもよい。あるいは、ＡＳＲアルゴリズムを、ＶＡＤアルゴリズムの代わりに使用してもよい。

【0032】

隠れマルコフモデル（ＨＭＭ）を利用するもの、及び音または聴覚注意キューを利用しないものなどの単純なＡＳＲアルゴリズムは、最小数のＣＰＵサイクルのみ必要とし、低電力プロセッサ１４７で実行されてもよい。ＡＳＲアルゴリズムは話された単語を判定することが可能であるため、再符号化された非触覚入力において話される実際の単語を、基準入力の単語と比較することが可能である。したがって、第１の信頼性スコアは、０．０及び１．０の両極値に制限される代わりに、０．０〜１．０の間で変動する記録された非触覚入力に割り当てられてもよい。

【0033】

代替の実施形態において、特定の単語または感情検出だけのための単純なキーワードスポッティングアルゴリズムは、話者認識またはニューラルネットワークまたは機械学習技術と組み合わせて、または、組み合わせずに使用されてもよい。

【0034】

ＶＡＤ自体はバイナリである必要がなく、０．０と１．０との間の連続的な範囲にある、いくつかの信頼度を有してもよいことに留意されたい。人声と同様の楽器などのいくつかのノイズは、ＶＡＤに中間信頼水準を与えさせることがある。二値選択（音声または無音声）をするために適用される閾値がまだあるが、ＶＡＤ自体は、より連続的な応答を生成してもよい。

【0035】

第１の信頼性スコアが割り当てられると、手順２００はブロック２６３に進んでもよく、そこで、低電力プロセッサは、第１の信頼性スコアが第１の閾値レベルの上または下にあり、それに応じて進めるかどうかを判定する。

【0036】

本開示の付加的な態様によると、センサ１４６はビデオカメラでもよく、ブロック２６２での第１の信頼性スコアの生成は、人がクライアント装置プラットフォームの近くに存在するかどうかを検出する物体認識アルゴリズムを利用してもよい。ビデオデータに存在する人の画像がない場合、非触覚入力は０．０の第１の信頼性スコアを割り当てられてもよく、存在する人がある場合、第１の信頼性スコアは１．０でもよい。物体検出アルゴリズム自体はバイナリである必要がなく、０．０と１．０との間の連続的な範囲にある、いくつかの信頼度を有してもよいことに留意されたい。人声と同様の楽器などのいくつかのノイズは、ＶＡＤに中間信頼水準を与えさせることがある。二値選択（音声または無音声）をするために適用される閾値がまだあるが、ＶＡＤ自体は、より連続的な応答を生成してもよい。さらに、第１の信頼性スコアは、ビデオデータを、物理的な動作を説明する基準入力と比較することによって洗練されてもよい。一実施例として、基準入力は人に実行される明確なジェスチャでもよく、たとえば、それに限定されないが、人が自身の顔の前で手を振ることでもよい。次に、ジェスチャ認識アルゴリズムは、顔の前で動く手の所望の動きがビデオカメラで記録されたかどうかの判定に使用されてもよい。次に、記録された非触覚入力と基準信号との類似点は、０．０及び１．０の両極値に限定されない第１の信頼性スコアを生成するために使用されてもよい。したがって、手順において誤判定がブロック２６３を越えて進むことはほとんどない。

【0037】

本開示の別の付加的な態様によると、二つ以上のセンサ１４６は、第１の信頼性スコアを生成するために別々の基準信号と両方比較されてもよい異なる種類の非触覚入力を記録するために利用されてもよい。一実施例であり、これに限定されるものではないが、第１のセンサ１４６はマイクでもよく、第２のセンサ１４６はビデオカメラでもよい。音声データは、第１の非触覚入力として記録されてもよく、ＶＡＤアルゴリズム、キーワードスポッティングアルゴリズム、単純なＡＳＲアルゴリズム、または、これらの２つ以上のいくつかの組合せによって、その後分析されてもよい。音声分析は、第１の音声信頼性スコアを生成してもよい。さらに、ビデオデータは、第２の非触覚入力として記録されてもよく、物体認識アルゴリズム、ジェスチャ認識アルゴリズム、またはその両方によって、その後分析されてもよい。ビデオ分析は、第１の映像信頼性スコアを生成してもよい。次に、第１の信頼性スコアは、第１の音声信頼性スコアと第１の映像信頼性スコアとの組合せでもよい。一実施例として、それぞれに与えられている同じ重みで、または、他方より重みをつけられている１つのスコアで、２つのスコアは平均されてもよい。２つのスコアの組合せは、使用者がクライアント装置プラットフォーム１０５上で所望の動作を積極的に開始したかったかどうかの、より信頼できる判定を提供してもよい。たとえば、非触覚音声入力は、次の処理ステップへ進むだけ十分に高い信頼性スコアを有し得るが、非触覚ビデオデータは、クライアント装置プラットフォーム１０５の近くに人がいないことを明らかにし得る。よって、非触覚音声入力は、ラジオまたはテレビなどのソースによって生成され得、したがって、誤判定となり得る。一実施例であり、これに限定されるものではないが、同様の組み合わせた第１の信頼性スコアは、それらに限定されないが、赤外線センサ、テラヘルツセンサ、ビデオカメラ、またはマイクなどのセンサで記録される２つ以上の第１の非触覚入力を用いることにより算出されてもよい。

【0038】

本開示の付加的な態様によると、第１の信頼性スコアが第１の閾値レベルより下の場合、次に、記録された非触覚入力がクライアント装置プラットフォーム上で動作を開始する積極的な要求でなかったという判定は、チャレンジ手順を用いることにより再確認されてもよい。余りに多くの項目が第１の信頼性スコアの役に立たないことがあること留意されたい。たとえば、音声の場合、ほぼすべてのノイズが、当然のように役に立たないと思われてもよい。これを考慮するために、チャレンジレスポンスは、より高い信頼性スコアまたは閾値でゲート制御されてもよい。第１の信頼性基準が０．０と１．０との間で連続的である場合、次に、その範囲は、拒絶、チャレンジ、及び承認の範囲に分割される可能性がある。たとえば、０．０〜０．５は拒絶され、０．５〜０．７５はチャレンジレスポンスを要求してもよく、０．７５〜１．０は常に次のレベルに承認される。

【0039】

チャレンジ手順は、非触覚入力が記録されたとき、人が検出可能な信号を出力するように構成されるクライアント装置プラットフォーム１０５が実装されてもよい。次に、使用者は、クライアント装置プラットフォーム１０５によって出力される信号を知覚してもよく、それらがクライアント装置プラットフォーム１０５上で動作を開始することを意図されて行ったことを確認する非触覚レスポンス入力を提供してもよい。一実施例であり、これに限定されるものではないが、人が検出可能な出力信号は、クライアント装置プラットフォーム１０５に配置される点滅発光ダイオード（ＬＥＤ）、または、クライアント装置プラットフォーム１０５が発するビープ音などの可聴音でもよい。非触覚レスポンス入力は、元の非触覚入力を繰り返してもよく、あるいは、それは確認フレーズまたはジェスチャ、たとえば、「ｙｅｓ」と言うこと、または、「ｙｅｓ」を示すために頭を上下に振ること、または、フレーズとジェスチャとの組合せでもよい。クライアント装置プラットフォームが有効なレスポンス入力を受ける場合、第１の信頼性スコアをオーバーライドし、手順２００のブロック２６４に進んでもよい。チャレンジシステムの使用により、システムの精度を改善してもよい。低電力状態である間、記録された非触覚入力が、第１の閾値より大きい第１の信頼性スコアを割り当てられる基準入力に実質的に十分に同様であるという、十分な信頼性を提供するのに十分なＣＰＵサイクルにはできない。しかし、チャレンジ手順によって、使用者が要求した動作であるという信頼性は、特別なＣＰＵサイクルを追加することなく増加させることができる。使用者による積極的なレスポンスは、クライアント装置プラットフォーム１０５に、いくつかの動作が実行されることを意図したことを示す。したがって、再符号化された非触覚入力は、特定の動作が意図されたかについて判定するための中間電力状態でのさらなる分析のために伝えられてもよい。

【0040】

一実施例として、ブロック２６４で開始される中間電力状態は、クライアント装置プラットフォーム１０５に、ＣＰＵ１３１の一部に電力を提供し始めるように指示することを含んでもよく、メモリ１３２などのより大きいメモリへのアクセスを可能にしてもよい。ＣＰＵ１３１の一部は、ＣＰＵ１３１において１つ以上の複数の処理コアを起動することによる提供された電力でもよい。ディスプレイ１３７またはＧＰＵなどの、クライアント装置プラットフォームのその他の部分は、エネルギを節約するために無給電のままでもよい。ＣＰＵ１３１の一部の起動により、記録された非触覚入力のより詳細な分析のために使用されてもよい付加的なＣＰＵサイクルが提供される。

【0041】

中間電力状態が開始されたあと、手順２００は第２の信頼性スコアが生成されるブロック２６５に進む。の１つの実施例は、最初、音声のみが低電力モードで処理されるということである可能性がある。中間電力状態の後、映像及び音声データは、ＣＰＵ１３１で処理されてもよく、または、データのより多くの入力によるさらなる処理のためにＣＰＵ１３１’に送られてもよい。信頼性スコアは、すべてのデータに基づいて算出される可能性がある。第２の信頼性スコアは、中間電力状態でクライアント装置プラットフォーム１０５にアクセス可能でもよいより大きいメモリに格納される、記録された非触覚入力と１つまたは複数の第２の基準入力との間の類似度に対応する。第２の基準信号は第１の基準信号と同じでもよく、また、余りに多くの空間を占める付加的な基準信号を含んでもよく、したがって、低電力状態で利用可能な制限されたメモリに格納されなくてもよい。たとえば、低電力メモリ１４８に格納されてもよい基準信号「Ｄｅｖｉｃｅ Ｏｎ」に加えて、「ｄｅｖｉｃｅ ｏｎ − ｐｌａｙ ｖｉｄｅｏ ｇａｍｅ ｏｎｅ」などのより長い基準入力が中間電力状態でアクセス可能でもよい。よって、より複雑な動作、たとえば低電力状態からクライアント装置プラットフォーム１０５を十二分に簡単に呼びさます動作に対応する基準信号を有することが、可能でもよい。一実施例であり、これに限定されるものではないが、全電力状態を開始する動作に加えて、また、動作は、クライアント装置プラットフォーム１０５に、ビデオゲーム、映画、または歌などの特定のメディアタイトルをロードする指示、クライアント装置プラットフォーム１０５を所望の入力、またはチャンネル、またはその任意の組合せに合わせる指示を含んでもよい。さらにまた、中間電力状態のメモリ空間及び処理能力の増加分により、アルゴリズムが特定の個人の声または顔を識別するために調整されることを可能としてもよい。これは、クライアント装置プラットフォーム１０５に、識別された個人と関連する設定をロードするように指示する付加的な動作を実行するために使用されてもよいため、有益であることがある。一実施例であり、これに限定されるものではないが、設定は、所望の音量レベル、表示設定、ログインプロファイル、またはその任意の組合せを含んでもよい。

【0042】

第２の信頼性スコアは、１つまたは複数の付加的なアルゴリズムを用いることにより生成されてもよい。利用可能なより多くのＣＰＵサイクルがあるため、これらのアルゴリズムはより強力でもよく、記録された非触覚入力のより多くの詳細分析が可能でもよい。一実施例であり、これに限定されるものではないが、記録された非触覚入力が音声データである場合、第２の信頼性スコアは、聴覚注意キューの使用を組み込んでもよいものなどの高品質ＡＳＲにより、または、記録された音声を音素に分割することによって、または、低電力モードにおける単一のチャンネルデータの代わりにマルチチャンネルデータの配列及びＡＥＣを使用することによって、生成されてもよい。記録された非触覚入力がビデオデータである場合、第２の信頼性スコアは、顔認識アルゴリズムまたは高度ジェスチャ認識アルゴリズムを用いることにより生成されてもよい。さらに、記録された非触覚が音声及びビデオデータを含む場合、より正確に非触覚入力を分析するために、視聴覚音声認識（ＡＶＳＲ）アルゴリズムを、高度ＡＳＲアルゴリズムと組み合わせて使用してもよい。信頼性スコアを改善するために中間電力状態において使用されてもよいその他の方法には、これらに限定されないが、音声話者認識、読唇術、ジェスチャ認識、使用される可能性のある感情認識、音イベント検出（たとえば、拍手、ガラス割れ、ノック、足音など）が含まれる。

【0043】

第２の信頼性スコアが生成されたあと、手順２００は判定ブロック２６６に進んでもよい。ブロック２６６で、クライアント装置プラットフォームは、第２の信頼性スコアが第２の閾値レベルより大きいかどうか判定してもよい。第２の信頼性スコアが第２の閾値レベルより下の場合、手順２００は、ブロック２６７で示されるように低電力状態に戻り、ブロック２６１での非触覚入力の記録に進む。第２の信頼性スコアが第２の閾値レベル以上である場合、手順２００はブロック２６７に進み、ここで、クライアント装置プラットフォーム１０５に、１つまたは複数の記録された非触覚入力と一致した基準信号と関連する１つまたは複数の動作を実行するように指示するコマンド信号が生成される。

【0044】

本開示の付加的な態様によると、手順２００に中間電力状態が２つ以上組み込まれてもよい。各後続の中間電力状態は、付加的なＣＰＵサイクルに非触覚入力を処理させてもよい。一実施例として、第１の中間電力状態は、複数コアのＣＰＵ１３１の単一のコアを起動することを備えてもよく、第２の中間電力状態は、マルチコアＣＰＵ１３１の１つまたは複数の付加的なコアを起動することを備えてもよい。付加的な中間電力状態は、より高度なアルゴリズムが、後続の信頼性スコアを割り当てる前に使用されることを可能としてもよい。これにより、その他の場合に、クライアント装置プラットフォーム１０５が誤って動作を開始する多数の誤判定を減らすことができる。

【0045】

図３は、本開示の追加の態様による、クライアント装置プラットフォーム１０５が低電力状態である間に、クライアント装置プラットフォーム１０５により検出される非触覚入力信号によって開始される１つまたは複数の動作を実装する手順３００を説明するフローチャートである。判定ブロック３６３の後まで低電力状態で動作している間は、手順３００は手順２００と実質的に同じである。第１の信頼性スコアが第１の閾値レベル以上であるとき、低電力プロセッサは、ブロック３６４で示されるように、記録された非触覚入力をネットワーク１６０上のクラウドベースサーバ１０６に配送する。次に、第２の信頼性スコアは、３６５で、クラウドベースサーバ１０６によって生成される。クラウドベースサーバ１０６上のプロセッサ１３１’は、手順２００で説明される第２の信頼性スコアの発生において使用されるものと実質的に同様の方法で、１つまたは複数のアルゴリズムを実装してもよい。クラウドベース上の処理能力を使用することにより、クライアント装置プラットフォーム１０５は、低電力状態にとどまることによって電力を節約することが可能となる。第２の信頼性スコアを生成するためのクラウドベースサーバ１０６の使用は、付加的な利益も提供する。そのような利益は、クラウドベースサーバ１０６上のそのメモリ１３２’はより大きくてもよく、したがって、より多くの基準入力を保持することができてもよく、それによって、よりより多様な一連の動作を手順３００で実装することが可能となることである。さらに、基準信号がクラウドに格納されるため、クラウドベースサーバに連結してもよい各クライアント装置プラットフォーム１０５が、新しい基準入力を、それらが変更されるたびにダウンロードする必要がないため、それらはより定期的に更新されてもよい。たとえば、他の誰かからのリアルタイムデータは、新しい使用者の性能の改善を支援するために使用される可能性がある。

【0046】

第２の信頼性スコアが生成されると、手順３００は判定ブロック３６６に進む。第２の信頼性スコアが第２の閾値より下の場合、手順３００はブロック３６１に戻り、非触覚入力の記録を続ける。第２の信頼性スコアが第２の閾値より大きい場合、手順３００はブロック３６７に進む。ブロック３６７で、クラウドベースサーバ１０６は、記録された非触覚入力と一致した１つまたは複数の基準入力と関連する１つまたは複数の動作を実行するように指示するクライアント装置プラットフォーム１０５に、コマンド信号を配送する。

【0047】

いくつかの実施形態において、信号（たとえば、顔の画像）が、装置の起動が可能かどうかの検証に適切な携帯電話（たとえば、使用者のもの、または親のもの）に送られてもよい。あるいは、このような画像は、家を監視または保護しているセキュリティオペレータに送られてもよい。

【0048】

図４に示されるように、一連のクライアント装置プラットフォーム指示４７０は、たとえば、クライアント装置プラットフォーム１０５によって実装されてもよい。クライアント装置プラットフォーム指示４７０は、メモリ１３２、低電力メモリ１４８、または大容量記憶装置１３４などの一時的でないコンピュータ可読媒体上に形成されてもよい。また、クライアント装置プラットフォーム指示４７０は、プロセス制御プログラム１３３の一部でもよい。指示は、センサ１４６による非触覚入力の記録、及び４７１でのそれらのメモリへの保存のための指示を含む。次に４７２で、第１の信頼性スコアを生成するための指示があってもよい。それ以降は、４７３で、クライアント装置プラットフォーム１０５に、第１の信頼性スコアが第１の閾値レベルより大きいかどうかを判定するための指示を提供してもよい。次に、第１の信頼性スコアが第１の閾値レベルより大きいとき、クライアント装置プラットフォームは、４７４で中間電力状態を開始するように指示されてもよい。中間電力状態において、クライアント装置プラットフォーム１０５は、４７５で、第２の信頼性スコアを生成するように指示されてもよい。次に４７６で、第２の信頼性スコアが第２の閾値レベルより大きいかどうか判定するための指示があってもよい。それ以降は、指示４７０は、４７８で、クライアント装置プラットフォーム１０５に１つまたは複数の動作を実行させるコマンド信号を生成するための指示を含んでもよい。

【0049】

図５に示すように、一連のクライアント装置プラットフォーム指示５７０は、たとえば、クライアント装置プラットフォーム１０５によって実装されてもよい。クライアント装置プラットフォーム指示５７０は、メモリ１３２、低電力メモリ１４８、または大容量記憶装置１３４などの一時的でないコンピュータ可読媒体上に形成されてもよい。また、クライアント装置プラットフォーム指示５７０は、プロセス制御プログラム１３３の一部でもよい。指示は、センサ１４６による非触覚入力の記録、及び５７１でのそれらのメモリへの保存のための指示を含む。次に５７２で、第１の信頼性スコアを生成するための指示があってもよい。それ以降は、５７３で、クライアント装置プラットフォーム１０５に、第１の信頼性スコアが第１の閾値レベルより大きいかどうかを判定するための指示を提供してもよい。次に、第１の信頼性スコアが第１の閾値レベルより大きいとき、クライアント装置プラットフォーム１０５は、５７４で、ネットワーク１６０上の外部サーバに記録された非触覚入力を配送するように指示されてもよい。次に指示５７０は、５７５で、第２の信頼性スコアを生成するための指示を含んでもよい。次に５７６で、第２の信頼性スコアが第２の閾値レベルより大きいかどうか判定するための指示があってもよい。それ以降は、指示５７０は、クライアント装置プラットフォーム１０５が受け取ったときに、４７７で、１つまたは複数の動作を実行させるネットワーク１６０上のクライアント装置プラットフォーム１０５にコマンド信号を配送するための指示を含んでもよい。

【0050】

本発明の好ましい実施形態の完全な説明は上記であるが、さまざまな代案、変更及び、均等物を使用することが可能である。したがって、本発明の範囲は、上記の説明に関して決定されるべきではないが、その代わりに、添付の特許請求の範囲に関して、それらの均等物の全範囲とともに、決定されなければならない。好ましいかどうかに関わらず、本明細書に記載される任意の特徴は、好ましいかどうかに関わらず、本明細書に記載される任意のその他の特徴と組み合わせてもよい。以下の特許請求の範囲において、不定冠詞「Ａ」または「Ａｎ」は、別途明確に記載されない限り、冠詞に続く１つまたは複数のものを指す。添付の特許請求の範囲は、「〜の手段」というフレーズを使用して限定が明示的に記載されていない限り、ミーンズプラスファンクション限定を含むと解釈すべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】