知財求人 - 知財ポータルサイト「IP Force」
特表2024-504523会話ＡＩアプリケーションのための話者適応型スピーチ終了検出
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-01
(54)【発明の名称】会話ＡＩアプリケーションのための話者適応型スピーチ終了検出
(51)【国際特許分類】
G10L 15/04 20130101AFI20240125BHJP
G10L 25/87 20130101ALI20240125BHJP
G10L 15/10 20060101ALI20240125BHJP
G10L 25/30 20130101ALI20240125BHJP
【ＦＩ】
G10L15/04 300Z
G10L25/87
G10L15/10 500Z
G10L25/30
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022509604
(86)(22)【出願日】2022-01-28
(85)【翻訳文提出日】2022-04-18
(86)【国際出願番号】 US2022014421
(87)【国際公開番号】W WO2022165256
(87)【国際公開日】2022-08-04
(31)【優先権主張番号】17/162,907
(32)【優先日】2021-01-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＩＮＤＯＷＳ ＰＨＯＮＥ
２．ＡＮＤＲＯＩＤ
３．ＢＬＡＣＫＢＥＲＲＹ
４．ｉＯＳ
(71)【出願人】
【識別番号】501450960
【氏名又は名称】エヌビディア コーポレーション
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】ヴァイディア、ウトカーシュ
(72)【発明者】
【氏名】ロカーンデ、ラヴィンドラ イェシュワント
(72)【発明者】
【氏名】カランディカール、ヴィラジ ガンガダール
(72)【発明者】
【氏名】ワルティカール、ニランジャン ラジェンドラ
(72)【発明者】
【氏名】バーッタチャリヤ、スミット クマール
(57)【要約】
様々な実例では、オーディオ信号のスピーチ終了（ＥＯＳ）は、話者のスピーチ速度に少なくとも部分的に基づいて決定される。オーディオ信号のセグメントに対して、ＥＯＳは、話者のスピーチ速度に少なくとも部分的に基づいて決定されたＥＯＳ閾値に少なくとも部分的に基づいて指示される。
【特許請求の範囲】
【請求項1】
スピーチ速度に少なくとも部分的に基づいてスピーチ終了（ＥＯＳ）閾値を決定するステップと、オーディオ入力のセグメントのセットのうちの少なくとも１つのセグメントについて、前記少なくとも１つのセグメントを表すキャラクタのセットを予測するステップと、
前記少なくとも１つのセグメントに対する予測されたキャラクタの前記セットについて前記ＥＯＳ閾値が満たされるという決定に少なくとも部分的に基づいて、前記少なくとも１つのセグメントに対応するＥＯＳを決定するステップと
を含む、方法。
【請求項2】
前記セグメントに対する予測されたキャラクタの前記セットが、キャラクタの前記セットのうちの１つのキャラクタの確率分布を、コネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能が出力として生成することによって生成される、請求項１に記載の方法。
【請求項3】
前記スピーチ速度が、単語間間隔のセットに少なくとも部分的に基づいて決定される、請求項２に記載の方法。
【請求項4】
前記ＥＯＳ閾値を決定するステップが、単語間間隔の前記セットの最大単語間間隔に少なくとも部分的に基づいて前記ＥＯＳ閾値を修正するステップをさらに含む、請求項３に記載の方法。
【請求項5】
前記ＥＯＳ閾値を決定するステップが、単語間間隔の前記セットの中間値に少なくとも部分的に基づいて前記ＥＯＳ閾値を修正するステップをさらに含む、請求項３に記載の方法。
【請求項6】
前記ＥＯＳ閾値を決定するステップが、単語間間隔の前記セットの分散、及び単語間間隔の前記セットの最大単語間間隔に少なくとも部分的に基づいて、前記ＥＯＳ閾値を修正するステップをさらに含む、請求項３に記載の方法。
【請求項7】
単語間間隔の前記セットが、キャラクタの前記セットのうちのキャラクタの第１のサブセットと、キャラクタの前記セットのうちのキャラクタの第２のサブセットとの間の時間を少なくとも決定することによって計算される、請求項３に記載の方法。
【請求項8】
前記時間が、セグメントの前記セットのうちのいくつかのセグメントに対応する、請求項７に記載の方法。
【請求項9】
キャラクタの前記セットが、グリーディ選択アルゴリズムを前記ＣＴＣ機能の前記出力に少なくとも適用することによって決定される、請求項７に記載の方法。
【請求項10】
キャラクタの前記第１のサブセット及びキャラクタの前記第２のサブセットが、ブランク記号をさらに含む、請求項９に記載の方法。
【請求項11】
セグメントの前記セットのうちの前記少なくとも１つのセグメントに対応する前記ＥＯＳを決定するステップが、前記セグメントに対する予測されたキャラクタの前記セットに含まれるブランク記号の割合を決定するステップをさらに含む、請求項１に記載の方法。
【請求項12】
セグメントの前記セットのうちの前記少なくとも１つのセグメントに対応する前記ＥＯＳを決定するステップが、前記割合が前記ＥＯＳ閾値を超過したと決定するステップをさらに含む、請求項１１に記載の方法。
【請求項13】
ブランク記号の前記割合を決定するステップが、第１の長さのスライディング・ウィンドウのブランク記号の前記割合を決定するステップをさらに含み、前記セグメントが、前記スライディング・ウィンドウに含まれる、請求項１１に記載の方法。
【請求項14】
１つ又は複数のキャラクタの前記セットを予測するステップが、１つ又は複数のニューラル・ネットワークを使用して、１つ又は複数のキャラクタの前記セットを予測するステップを含む、請求項１に記載の方法。
【請求項15】
１つ又は複数のキャラクタの前記セットを予測する前記ステップが、キャラクタの前記セットのうちの１つのキャラクタの確率分布を出力として生成し、前記確率分布を前記ＥＯＳ検出器に提供するコネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能に、前記１つ又は複数のニューラル・ネットワークの出力を適用するステップをさらに含む、請求項１４に記載の方法。
【請求項16】
システムであって、１つ又は複数のプロセッサと、
命令を格納するメモリであって、前記命令は、前記１つ又は複数のプロセッサによって実行された結果として、前記システムに、
スピーチ速度に少なくとも部分的に基づいて決定されたスピーチ終了（ＥＯＳ）閾値の決定を生成すること、及び
前記ＥＯＳ閾値に少なくとも部分的に基づいてオーディオのウィンドウに対するＥＯＳの決定を生成すること
を行わせる、メモリと
を備える、システム。
【請求項17】
前記メモリが、命令をさらに含み、前記命令は、前記１つ又は複数のプロセッサによって実行された結果として、前記システムに、神経音響モデルを実装する１つ若しくは複数のニューラル・ネットワーク、又はコネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能のうちの少なくとも１つを使用して生成されたオーディオの前記ウィンドウに対して予測されたキャラクタのセットを取得させる、請求項１６に記載のシステム。
【請求項18】
前記メモリが、命令をさらに含み、前記命令は、前記１つ又は複数のプロセッサによって実行された結果として、前記システムに、オーディオ信号から単語のセットを取得することであって、オーディオの前記ウィンドウが、前記オーディオ信号の一部を表す、取得することと、
単語の前記セットに少なくとも部分的に基づいて決定された単語間間隔のセットに少なくとも部分的に基づいて前記スピーチ速度を決定することと
を行わせる、請求項１６に記載のシステム。
【請求項19】
前記メモリが、命令をさらに含み、前記命令は、前記１つ又は複数のプロセッサによって実行された結果として、前記システムに、オーディオ信号を表すウィンドウのセットに含まれる単語のセットに少なくとも部分的に基づいて計算された単語間間隔のセットの最大値に少なくとも部分的に基づいて前記スピーチ速度を決定させ、オーディオの前記ウィンドウが、ウィンドウの前記セットのメンバである、請求項１６に記載のシステム。
【請求項20】
オーディオの前記ウィンドウが、スピーチを含むオーディオ信号の複数の時間ステップを含む、請求項１６に記載のシステム。
【請求項21】
前記メモリが、命令をさらに含み、前記命令は、前記１つ又は複数のプロセッサによって実行された結果として、前記システムに、スピーチ処理パイプラインを実行させ、前記システムに前記ＥＯＳの前記決定を生成させる命令が、前記１つ又は複数のプロセッサによって実行された結果として、前記システムに、前記スピーチ処理パイプラインの一部として前記ＥＯＳの前記決定を生成させる命令をさらに含む、
請求項１６に記載のシステム。
【請求項22】
前記ＥＯＳの前記決定を生成することが、前記スピーチ処理パイプラインのＥＯＳ検出器によって実行される、請求項２１に記載のシステム。
【請求項23】
ＥＯＳ閾値に少なくとも部分的に基づいて、オーディオ信号のオーディオ・フレームのセットのうちのオーディオ・フレームのサブセットにスピーチ終了（ＥＯＳ）としてフラグを立てるステップであって、前記ＥＯＳ閾値が、単語間間隔のセットに少なくとも部分的に基づいて決定される、フラグを立てるステップを含む、方法。
【請求項24】
前記方法が、音響モデルによって生成されたオーディオ・フレームの前記セットの特徴のセットを入力として使用して、コネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能によって生成されたキャラクタのセットに少なくとも部分的に基づいて単語間間隔の前記セットを決定するステップをさらに含む、請求項２３に記載の方法。
【請求項25】
前記ＥＯＳ閾値を決定するステップが、前記ＥＯＳ閾値を単語間間隔の前記セットの平均間隔にセットするステップをさらに含む、請求項２３に記載の方法。
【請求項26】
前記方法が、オーディオ・フレームの前記サブセットにＥＯＳとしてフラグを立てるステップの結果として、前記オーディオ信号のトランスクリプトを生成するステップをさらに含む、請求項２３に記載の方法。
【請求項27】
前記方法が、前記ＥＯＳ閾値をスピーチ認識パイプラインに提供するステップをさらに含む、請求項２３に記載の方法。
【請求項28】
プロセッサであって、少なくとも部分的に、１つ又は複数のニューラル・ネットワークによって、オーディオ入力のセグメントのセットのうちの１つのセグメントに対して、前記セグメントに関連付けられたキャラクタのセットを予測することと、
前記１つ又は複数のニューラル・ネットワークによって、前記セグメントに関連付けられたキャラクタの前記セットについてスピーチ終了（ＥＯＳ）閾値が満たされるという決定に少なくとも部分的に基づいて、前記セグメントに対応する前記ＥＯＳを決定することと
によって、前記１つ又は複数のニューラル・ネットワークを使用して、スピーチ速度に少なくとも部分的に基づいて決定された前記ＥＯＳ閾値の決定を生成するための１つ又は複数の算術論理演算装置（ＡＬＵ）を備える、プロセッサ。
【請求項29】
前記１つ又は複数のニューラル・ネットワークが、神経音響モデルをさらに備える、請求項２８に記載のプロセッサ。
【請求項30】
前記１つ又は複数のニューラル・ネットワークが、スピーチ処理パイプラインを実装するために使用される、請求項２８に記載のプロセッサ。
【請求項31】
前記１つ又は複数のＡＬＵが、音響モデルによって生成された前記オーディオ入力のセグメントの前記セットの特徴のセットを入力として使用して、コネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能によって生成されたキャラクタのセットに少なくとも部分的に基づいて、単語間間隔のセットをさらに決定する、請求項２８に記載のプロセッサ。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、「ＳＰＥＡＫＥＲ ＡＤＡＰＴＩＶＥ ＥＮＤ ＯＦ ＳＰＥＥＣＨ ＤＥＴＥＣＴＩＯＮ ＦＯＲ ＣＯＮＶＥＲＳＡＴＩＯＮＡＬ ＡＩ ＡＰＰＬＩＣＡＴＩＯＮＳ」という名称の、２０２１年１月２９日に出願された米国特許出願第１７／１６２，９０７号の優先権を主張し、この内容全体が、全体として参照により、またあらゆる目的のために、本明細書に組み込まれている。
【背景技術】
【0002】
ボイス制御、又は、様々なデバイスとのスピーチ・ベースの相互作用を提供することなど、様々な異なる目的のために、オーディオ・データがキャプチャされる。残念ながら、キャプチャされたオーディオ内のスピーチの適切な要素を検出することは、特にリソースが限定的なデバイスにとって、挑戦的であることを証明し得る。具体的には、ユーザによるスピーチ開始及びスピーチ終了を検出する際の誤りは、様々な異なる目的のためにキャプチャされたオーディオ・データを処理する際の、エラー、不正確さ、及び遅延につながり得る。以前のソリューションは、スピーチ終了検出の悪い結果及び高レイテンシという危険を冒している。
【発明の概要】
【課題を解決するための手段】
【0003】
様々な技法が、図面を参照しながら説明される。
【図面の簡単な説明】
【0004】
【図1】少なくとも１つの実施例による、オーディオ・データを解析するためのシステムを示す図である。
【図2】少なくとも１つの実施例による、オーディオ処理パイプラインを示す図である。
【図3A】少なくとも１つの実施例による、スピーチ終了検出へのアプローチを示す図である。
【図3B】少なくとも１つの実施例による、スピーチ終了検出へのアプローチを示す図である。
【図4】少なくとも１つの実施例による、オーディオ信号内のスピーチを解析するための処理を示す図である。
【図5】少なくとも１つの実施例による、話者適応型スピーチ終了及び／又はスピーチ開始閾値を決定する処理を示す図である。
【図6】少なくとも１つの実施例による、話者適応型スピーチ終了閾値に少なくとも部分的に基づいて、スピーチ終了にフラグを立てる処理を示す図である。
【図7】一実施例による、並列処理ユニット（「ＰＰＵ」：ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）の実例を示す図である。
【図8】１つの実施例による、総合処理クラスタ（「ＧＰＣ」：ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｃｌｕｓｔｅｒ）の実例を示す図である。
【図9】１つの実施例による、メモリ区画ユニットの実例を示す図である。
【図10】１つの実施例による、ストリーミング・マルチプロセッサの実例を示す図である。
【図11】１つの実施例による、様々な実例が実装されることが可能なコンピュータ・システムを示す図である。
【図12】少なくとも１つの実施例による、分散型システムを示す図である。
【図13】少なくとも１つの実施例による、クラウド・コンピューティング環境を示す図である。
【図14】少なくとも１つの実施例による、クラウド・コンピューティング環境によって提供される機能抽象化レイヤのセットを示す図である。
【発明を実施するための形態】
【0005】
本開示の実施例は、話者適応型スピーチ終了（ＥＯＳ：ｅｎｄ ｏｆ ｓｐｅｅｃｈ）検出に関する。特定の話者のスピーチ速度に少なくとも部分的に基づいて、スピーチ開始（ＳＯＳ：ｓｔａｒｔ ｏｆ ｓｐｅｅｃｈ）及びＥＯＳを検出するシステム及び方法が開示される。
【0006】
上記で説明されたシステムなどの従来のシステムとは対照的に、特定の話者の取得された情報（例えばスピーチ速度）に少なくとも部分的に基づいて、ＳＯＳ及びＥＯＳ検出を動的に適合させることが、レイテンシを低減させ、ＳＯＳ及びＥＯＳ検出の精度を向上させる。本開示では、コネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ：ｃｏｎｎｅｃｔｉｏｎｉｓｔ ｔｅｍｐｏｒａｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に少なくとも部分的に基づく、話者適応型ＥＯＳ検出器の自動スピーチ認識が説明される。様々な実施例では、ＥＯＳ閾値は、ＥＯＳとしてフラグを立てるための、オーディオ・データ内の検出された沈黙の最小期間を指示する。少なくとも１つの実施例では、ＥＯＳ検出のためのスライディング・ウィンドウ・サイズを定義するＥＯＳウィンドウ長、及び、スライディング・ウィンドウ内のブランク記号の割合がＥＯＳ閾値を満たすか、超過するとき、トランスクリプト（ｔｒａｎｓｃｒｉｐｔ）又は時間間隔の一部にＥＯＳとしてフラグを立てるために使用されることが可能なＥＯＳ閾値が、指定されることが可能である。例えば、５００ｍｓのウィンドウ・サイズ、及び９５％にセットされたＥＯＳ閾値で、少なくとも９５％のブランク・スペースを伴う特定のウィンドウについてのＣＴＣの出力文字列が、より詳細に下記で説明されるように、ＥＯＳ検出器によってＥＯＳとしてフラグを立てられるはずである。
【0007】
特定の話者のＥＯＳ閾値を決定するために、より詳細に下記で説明されるように、ＣＴＣの出力に少なくとも部分的に基づいて、連続する単語の間の間隔（例えば、単語間（ｉｎｔｅｒ－ｗｏｒｄ）時間）が計算される。１つの実例では、ＥＯＳ閾値は、ＣＴＣによって出力されたキャラクタの文字列に少なくとも部分的に基づいて、単語間時間のセットに応じて計算される。話者適応型ＥＯＳを使用した自動スピーチ認識を実施するとき、特定の話者のスピーチ速度を推定する前に、特定の話者によって話される特定の数の単語がキャプチャされ得る。１つの実例では、２５個の単語間時間のセットが、スピーチ速度を計算する前に取得される。
【0008】
より詳細に下記で説明されるように、スピーチ速度は、単語が生み出されるスピードの度合いであり得、スピーチ速度は、単語間時間のセットの平均、単語間時間のセットの最大値、単語間時間のセットの最小値、単語間時間の分散、単語間時間のセットの他の関数、及び／又は、その組合せなど、非常に多くのやり方で定義されることが可能である。様々な実施例では、スピーチ速度が決定されると、ＥＯＳ閾値が特定の話者に対して適合されるか、そうでなければ修正される。同様に、スピーチ速度は、ＳＯＳ閾値を適合させるか、そうでなければ修正するために、使用されることが可能である。様々な実施例では、ＥＯＳ閾値及び／又はＳＯＳ閾値は、スピーチ速度に少なくとも部分的に基づいて、周期的又は非周期的に修正される。
【0009】
特定の話者のＥＯＳ閾値及びＳＯＳ閾値が決定されると、様々な実施例では、ＥＯＳ閾値及びＳＯＳ閾値は、自動スピーチ認識処理の一部として取得されたオーディオ・データのＳＯＳ及びＥＯＳを決定するために使用される。より詳細に下記で説明されるように、ＣＴＣに入力される前に、様々な構成要素（例えば、特徴抽出器及び神経音響モデル）によって入力オーディオが処理され得る。ＣＴＣは、様々な実施例では、考えうるキャラクタの確率分布、又は、オーディオ入力のこのオーディオ・フレーム若しくは時間ステップに収められたサンプルを提供する。１つの実例では、これらのキャラクタは、任意の適切な英数字キャラクタ、及び、潜在的に、他のキャラクタが検出されない時間ステップ又はオーディオ・フレームを表すためのブランクなどの１つ又は複数の特別なキャラクタを含み得る。様々な実施例では、ＥＯＳ検出器で処理するためのキャラクタの文字列を決定するために、ＣＴＣにおいて指示された確率分布に少なくとも部分的に基づいて、考えうるキャラクタのセットから、最もありそうなキャラクタが選択される。
【0010】
ＥＯＳ検出器は、実施例では、スライディング・ウィンドウのうちの特定のウィンドウに対する、キャラクタの文字列内のブランク記号の割合を決定する。１つの実例では、キャラクタの文字列内の時間ステップのセットに対して、ＥＯＳ検出器は、現在の状態がスピーチ状態であるか（例えば、現在のキャラクタがスピーチを指示するか）、非スピーチ状態であるか（例えば、現在がブランク及び／又は沈黙を指示するか）を決定する。次に、ＥＯＳ検出器は、ブランク記号（例えば非スピーチ状態）の割合がＥＯＳ閾値を満たすかどうかを決定し得る。例えば、ＥＯＳ閾値が満たされる場合、ＥＯＳはフラグを立てられ得、デコーダが、より詳細に下記で説明されるように、オーディオ入力に関連付けられたトランスクリプトを生成する。
【0011】
少なくとも１つの実施例では、オーディオ・キャプチャ・デバイス１０６のマイクロフォン１０８がオーディオ信号をキャプチャすることができ、オーディオ信号は、少なくとも１人の人物１０２によって発せられたスピーチ１０４を含み得る。様々な実施例では、マイクロフォン１０８は、音波を電気エネルギーの変動にコンバートするための器具を含み、電気エネルギーの変動は、その後、より詳細に下記で説明される様々な実施例での使用のために、増幅、伝送、又は記録され得る。１つの実例では、マイクロフォン１０８は、ユーザ１０２によって身につけられるヘッドセットの一部として含まれ、ここで、マイクロフォン１０８の出力は、オーディオ・キャプチャ・デバイス１０６への入力として提供される。別の実例では、マイクロフォン１０８は、ユーザ１０２から離れた場所にあるオーディオ・キャプチャ・デバイス１０６の一部であり（例えば、オーディオ・キャプチャ・デバイス１０６と統合され）、ここで、オーディオ・キャプチャ・デバイス１０６は、コンピューティング・デバイス、モノのインターネット（ＩｏＴ）デバイス、スマート・スピーカ、モバイル・フォン、コンピュータ、又は、オーディオ信号若しくはデータをキャプチャ若しくは受信することができる他のデバイスを含むか、その一部であり得る。様々な実施例では、オーディオ・キャプチャ・デバイス１０６は、ナビゲーション・システム、車両、セキュリティ・カメラ、又は他のシステムなどの、別のデバイスに統合される。
【0012】
さらに、オーディオ・キャプチャ・デバイス１０６は、ネットワーク及び／又は処理機能を含み得る。１つの実例では、オーディオ・キャプチャ・デバイス１０６は、データをオーディオ解析器１１２に伝送するための、ネットワーキング・インターフェース（例えば、ＷｉＦｉ無線）を含む。様々な実施例では、オーディオ解析器１１２は、コンピューティング・デバイスの処理によって実行されると、スピーチ１０４に少なくとも部分的に基づいてトランスクリプト１１６を生成することなどの、本開示で説明される様々な動作をコンピューティング・デバイスに実施させる実行可能コード又は他の命令（例えば、メモリに格納されたソース・コード）を含む。例えば、オーディオ・キャプチャ・デバイス１０６は、オーディオ解析器１１２を実行するため、又は、本開示で説明される他の動作を実施するために使用される、メモリ及びプロセッサを含む。さらに他の実施例では、オーディオ解析器１１２は、コンピューティング・リソース・サービス・プロバイダ（例えば、クラウド・コンピューティング・サービス・プロバイダ）によって提供されるサービスを備える。このような実施例では、オーディオ解析器１１２は、本開示で説明される動作を実施するために、データ・センタにおける（例えば、仮想マシン又はコンテナ・インスタンスを使用した）１つ又は複数のサーバによって実行される。１つの実例では、オーディオ・キャプチャ・デバイス１０６は、オーディオ解析器１１２に関連付けられたサービス・エンドポイントに１つ又は複数のオーディオ信号１１０をネットワークで伝送する。
【0013】
少なくとも１つの実施例では、ユーザ１０２によって発せられたスピーチ１０４は、いくつかの適切な目的のいずれかのために、テキストに起こされるか、そうでなければコンバートされることになるスピーチであり得る。例えば、スピーチ１０４は、仮想アシスタント又は他のアプリケーションによる使用のためのテキストに起こされる。別の実例では、スピーチ１０４は解析され、少なくとも１つのボイス制御可能デバイス１１８への命令又はリクエストを提供するために使用されることが可能なテキスト・コマンドにコンバートされる。少なくとも１つの実施例では、ボイス制御可能又はボイス活性化デバイス１１８は、車両などの物理的なアクションを行うことができるデバイス、又は、決定されたボイス・コマンド若しくはリクエストに対応する命令を実行することができるソフトウェアを含むコンピューティング・デバイスを含むことができる。
【0014】
少なくとも１つの実施例では、オーディオ・キャプチャ・デバイス１０６は、マイクロフォン１０８を使用して１つ又は複数のオーディオ信号１１０をキャプチャすることができ、オーディオ信号１１０は、オーディオ解析器１１２に伝えられることが可能である。上記で説明されたように、オーディオ解析器１１２は、オーディオ・キャプチャ・デバイス１０６と同じデバイス上にあってよく、又は、ワイヤレス接続で利用可能なリモート・デバイス、若しくは、ネットワーク接続で利用可能なリモート・サーバなどの、別々のデバイス上にあってもよい。さらに、様々な実施例では、オーディオ解析器１１２は、スピーチ処理パイプライン１１４を含み、スピーチ処理パイプライン１１４は、より詳細に下記で論じられるように、オーディオ信号１１０を入力として用いて、オーディオ信号１１０を解析し、１つ又は複数のトランスクリプト１１６、又はオーディオ信号に少なくとも部分的に基づいて生成された他のテキストを生成する。様々な実施例では、スピーチ処理パイプライン１１４は、コンピューティング・デバイスの処理によって実行されると、本開示で説明される様々な動作をコンピューティング・デバイスに実施させる（例えば、オーディオ信号１１０を入力として用いて、オーディオ信号１１０を解析し、１つ又は複数のトランスクリプト１１６を生成する）実行可能コード又は他の命令（例えば、メモリに格納されたソース・コード）を含む。少なくとも１つの実施例では、トランスクリプト１１６は、ボイス制御可能デバイス１１８に提供され、ボイス制御可能デバイス１１８は、トランスクリプト１１６に収められたテキストに少なくとも部分的に基づいて、１つ又は複数のアクションを実施することができる。
【0015】
様々な実施例では、ボイス制御可能デバイス１１８は、ボイス制御可能デバイス１１８のコントローラ１２２（又は他のアプリケーション若しくは構成要素）によって実行可能なテキストに少なくとも部分的に基づいて、トランスクリプト１１６に含まれるテキストを解析し、コマンドを生成することができる、コマンド生成器１２０を含む。様々な実施例では、コマンド生成器１２０及びコントローラ１２２は、コンピューティング・デバイス（例えば、ボイス制御可能デバイス１１８）の処理によって実行されると、トランスクリプト１１６に少なくとも部分的に基づいてコマンドを生成し、コンピューティング・デバイスにコマンドを実行させることなどの、本開示で説明される様々な動作をコンピューティング・デバイスに実施させる実行可能コード又は他の命令（例えば、メモリに格納されたソース・コード）を含む。例えば、コマンドは、デバイス、ロボット、又は車両の動作を調節するために提供される。別の実例では、コマンドは、サーチ・エンジン、データベース・クエリ、又はアプリケーションの他の動作などを通じて情報を返すために提供される。さらに他の実施例では、トランスクリプト１１６は、その代わりに、その後の使用又は解析のために格納される（例えば、トランスクリプト１１６をデータベースに格納する）。上述のように、ボイス制御可能デバイス１１８は、オーディオ解析器１１２と同じデバイス内に統合され得、オーディオ・キャプチャ・デバイス１０６も含み得るか、代替として、本開示で説明される他の構成要素に、少なくとも１つの有線又はワイヤレス接続で通信することができる別々のデバイス上にあり得る。１つの実例では、ボイス制御可能デバイス１１８は、（コンピューティング・リソース・サービス・プロバイダのサービスとして実装される）オーディオ解析器１１２からトランスクリプト１１６をネットワークで受信するために、コンピューティング・リソース・サービス・プロバイダのサービスに登録される。
【0016】
少なくとも１つの実施例では、スピーチ処理パイプライン１１４は、図２に関連してより詳細に下記で説明されるものなどの、様々な構成要素（例えば、ソース・コードを実行するソフトウェア及び／又はハードウェア構成要素）を含む。様々な実施例では、スピーチ処理パイプライン１１４は、オーディオ信号１１０に少なくとも部分的に基づいて、ユーザ１０２のスピーチ速度を決定する。より詳細に下記で説明されるように、スピーチ処理パイプライン１１４は、実施例では、十分な数の単語間時間が決定されると、ユーザ１０２のレート・スピーチに少なくとも部分的に基づいて修正されたスピーチ終了（ＥＯＳ）閾値を利用する。より詳細に下記で説明されるように、スピーチ処理パイプライン１１４は、コネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能又は他のアルゴリズムを使用して、オーディオ信号１１０内のキャプチャされたスピーチ１０４を表すキャラクタの文字列を生成し得る。実施例では、スピーチ処理パイプライン１１４は、次に、キャラクタの文字列に含まれるブランク・キャラクタに少なくとも部分的に基づいて、単語間間隔のセット（例えば、スピーチ１０４における話された単語間の時間）を決定する。単語間間隔のセットは、次に、ＥＯＳ閾値を修正及び／又は置換するための機能への入力として使用され得る。より詳細に下記で説明されるように、ＥＯＳ閾値は、実施例では、トランスクリプト１１６が生成され、及び／又はボイス制御可能デバイス１１８に提供されることが可能なＥＯＳシグナリングにフラグを立てるためにＥＯＳ検出器によって使用される。
【0017】
図２は、マイクロフォンによってキャプチャされるか、そうでなければ取得された入力オーディオ２０２が、トランスクリプト２１４を生成するためにスピーチ処理パイプライン２００に入力として提供される実施例を示す。例えば、入力オーディオ２０２は、図１に関連して上記で説明されたように、オーディオ・キャプチャ・デバイス１０６によってキャプチャされる。様々な実施例では、スピーチ処理パイプライン２００並びにその構成要素（例えば、特徴抽出器２０４、神経音響モデル、ＣＴＣ、ＥＯＣ検出器２１０、及びデコーダ２１２）は、コンピューティング・デバイス（例えば、図１に関連して上記で説明されたような、オーディオ・キャプチャ・デバイス１０６）の処理によって実行されると、より詳細に下記で説明される様々な動作をコンピューティング・デバイスに実施させる実行可能コード又は他の命令（例えば、メモリに格納されたソース・コード）を含む。さらに、上記で説明されたように、トランスクリプトは、図１に関連して説明されたような、ボイス制御可能デバイス１１８による使用に適したテキスト又は他の情報を含み得る。
【0018】
図２に示された構成要素は、単一のコンピューティング・デバイス、又は、本開示で説明されるようなクラウド・コンピューティング・デバイスを含む複数のコンピューティング・デバイス上で実施され得る。例えば、ローカル・デバイス（例えば、セル・フォン、スマート・スピーカ、スマート・テレビ、又は、オーディオをキャプチャすることができる他のデバイス）が入力オーディオ２０２をキャプチャし、下記で詳細に説明されるような、コンピューティング・リソース・サービス・プロバイダのサービスとして実行されるスピーチ認識パイプライン２００に入力オーディオ２０２を提供する。全体的に、図２に示された構成要素は、コンピューティング・デバイス、クラウディング・コンピューティング・デバイス、又はその組合せによって実行され得る。全体に、本明細書で説明される動作は、異なる実施例による異なるやり方で、デバイスのセットの間での実施のために分散されることが可能である。
【0019】
実施例では、入力オーディオ２０２は、特徴抽出器２０４に提供される。特徴抽出器２０４は、様々な実施例では、入力オーディオ２０２の１つ又は複数のオーディオ・フレーム内で認識された１つ又は複数のパターンに対応し得るなど、入力オーディオ２０２のコンテンツを表す入力及び出力特徴としての入力オーディオ２０２を受け入れるように訓練された、少なくとも１つのニューラル・ネットワークを含む。１つの実例では、特徴抽出器２０４は、入力オーディオ２０２から特徴を抽出するように訓練された深層畳み込みニューラル・ネットワーク（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）（ＣＮＮ）を含む。少なくとも１つの実施例では、特徴抽出器２０４は、信号正規化、ウィンドウイング、及び（メルスペクトログラムなどの）オーディオ特徴スペクトログラム生成などの、タスクを実施することができる。
【0020】
少なくとも１つの実施例では、（例えば、メルスペクトログラムによって表された）入力オーディオ２０２の所与のオーディオ・フレームに関する周波数ドメインにおける特徴のセットが、自動スピーチ認識に有用な神経音響モデル２０６又は他のモデルに伝えられ得る。例えば、神経音響モデル２０６は、受信されたオーディオ信号（例えば、入力オーディオ２０２０）と、スピーチを構成する音素又は他の言語ユニットとの間の関係の表現を生成することができる。さらに、様々な実施例では、神経音響モデル２０６は、少なくとも部分的に、個々の単語を構成する音の統計的表現を作り出すように学習することによって訓練される。
【0021】
少なくとも１つの実施例では、神経音響モデル２０６の出力は、これらの抽出されたオーディオ特徴を考慮して、考えうるキャラクタに関する確率分布、又は、入力オーディオ２０２の特定のオーディオ・フレーム若しくは時間ステップに収められたサンプルを提供するために、コネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能２０８に提供される。様々な実施例では、神経音響モデル２０６によって出力されたキャラクタは、任意の適切な英数字キャラクタ（例えばＡ～Ｚ）、及び、他のキャラクタが検出されない時間ステップ又はオーディオ・フレームを表すためのブランクなどの潜在的に１つ又は複数の特別なキャラクタを含む。言い換えれば、ブランク・キャラクタは、実施例では、スピーチが検出されなかった（例えば、単語間の休止など、話者が沈黙していた）時間ステップ又はオーディオ・フレームを表す。少なくとも１つの実施例では、神経音響モデル２０６は、ＮＶＩＤＩＡ ＣｏｒｐｏｒａｔｉｏｎからのＪａｓｐｅｒモデル、又は他の深層畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などの、任意の適切な音響モデルが可能である。例えば、Ｊａｓｐｅｒネットワークは、一連の畳み込みレイヤ、並びに、バッチ正規化、ＲｅＬＵ、及びドロップアウト・レイヤから構成された深層ＣＮＮを含む、自動スピーチ認識（ＡＳＲ：ａｕｔｏｍａｔｉｃ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ）パイプライン（例えば、スピーチ処理パイプライン２００）において使用されることが可能である。
【0022】
スピーチ認識などのタスクを訓練するために、少なくとも１つの実施例では、オーディオ・クリップ及び対応するトランスクリプトのデータセットが、図２で説明されたスピーチ処理パイプライン２００に提供される。それでも、いくつかの実施例では、スピーチ処理パイプライン２００は、オーディオ・クリップとトランスクリプトとの間の整列なく（例えば、データを訓練することなく）実行される。少なくとも１つの実施例では、このようなデータセットは、少なくとも部分的に整列データのこの欠如により、ＤＮＮベースのスピーチ認識モデルの訓練を困難にしている可能性がある。それでも、様々な実施例では、コネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能２０８は、整列データのこの欠如を埋め合わせようとするために使用されることが可能である。例えば、オーディオ・シーケンスＸ［ｘ１，ｘ２，．．．ｘＴ］及びトランスクリプト・シーケンスＹ［ｙ１，ｙ２，．．．ｙＴ］を考慮して、ＣＴＣ機能２０８は、このオーディオ・シーケンスとトランスクリプト・シーケンスとの間の正確なマッピングを取得するために、神経音響モデル２０６からの出力と共に使用されることが可能である。少なくとも１つの実施例では、ＣＴＣ機能２０８は、所与のオーディオ・フレームｘｉに、全てのｙｉ値に対する確率分布を提供する。入力オーディオ２０２の各オーディオ・フレームに対する、ＣＴＣ機能２０８によって出力された確率分布は、様々な実施例では、トランスクリプト２１４を生み出すための、デコーダ２１２への入力として提供される。さらに、少なくとも１つの実施例では、各オーディオ・フレームに対するこの確率分布は、スピーチ終了（ＥＯＳ）検出器２１０への入力としても提供され、スピーチ終了（ＥＯＳ）検出器２１０は、特定の時間ステップ又はオーディオ・フレームにＥＯＳのフラグを立てることができる。
【0023】
少なくとも１つの実施例では、ＥＯＳ検出器２１０は、ＣＴＣ機能２０８の出力に基づいて自動スピーチ認識（ＡＳＲ）モデルの出力のための、スピーチ開始（ＳＯＳ）及びＥＯＳセグメントを検出するために使用されることが可能である。実施例では、ＣＴＣ機能２０８は、定義された数のキャラクタ（例えば、２９個のキャラクタ）を利用し、ここで、これらのキャラクタは、この英語の２６個のキャラクタ（及び／又は他の言語のための数字若しくは他のキャラクタ）、並びに、単語区切りのためのスペース・キャラクタ、アポストロフィ記号、及び、所与のオーディオ・フレームに対して他のキャラクタが検出されなかったことを指示するために使用されるブランク記号などの、異なる文法的及び／又は機能的態様をそれぞれ指示する他のキャラクタのセットを含む。上記で説明されたように、ブランク記号は沈黙を表すことができ、ブランク・キャラクタの確率は、ＥＯＳ検出のために使用されることが可能である。少なくとも１つの実施例では、ＥＯＳ検出器２１０は、追加の構成要素がスピーチ処理パイプライン２００に必要でなくなるように、ＣＴＣ機能２０８と統合されることが可能である。
【0024】
様々な実施例では、スピーチ処理パイプライン２００のＥＯＳ検出器２１０又は他の構成要素は、決定された話者のスピーチ速度に基づいて、ＥＯＳ閾値を決定するか、そうでなければ修正する。スピーチ速度は、スピーチ処理パイプライン２００に提供された入力オーディオ２０２及び／又は複数の異なるオーディオ信号に少なくとも部分的に基づいて決定され得る。さらに、実施例では、スピーチ処理パイプライン２００は、初期のＥＯＳ閾値を含む。１つの実例では、特定の話者に対してスピーチ速度を決定することが可能である前に、ＥＯＳ閾値は、サイズＸ（例えば、５００ミリ秒）のスライディング・ウィンドウに対して（ＣＴＣ機能２０８から取得された）（例えば、また限定ではなく）５００個のブランク・キャラクタにセットされる。他の実例では、ＥＯＳ閾値は、サイズＸのスライディング・ウィンドウに対するブランク・キャラクタの割合（例えば９０％）として表現される。
【0025】
様々な実施例では、十分な数の単語間間隔が計算されると、ＥＯＳ閾値は、単語間間隔の値に少なくとも部分的に基づいて修正される。１つの実施例では、単語間間隔の数は固定される（例えば、ＥＯＳ閾値を計算するために２５個の単語間間隔が要求される）。さらに他の実施例では、新しいＥＯＳ閾値を修正又は生成する前に要求される単語間間隔の数は、動的に決定される。例えば、単語間間隔のセットで表されるようなスピーチ速度が一貫している（例えば、単語間間隔の間の分散が小さい）場合、ＥＯＳ閾値は、上記で説明された固定値に達する前に修正される。同様に、分散が大きいとき、追加の単語間間隔が、上記で説明された固定値を超えて収集され得る。
【0026】
様々な実施例では、（例えば、ＣＴＣ機能２０８の出力に少なくとも部分的に基づいて）単語間間隔の十分なセットが取得されると、初期のＥＯＳ閾値が修正され得るか、新しいＥＯＳ閾値が生成され得る。１つの実例では、ＥＯＳ閾値は、単語間間隔のセットの最大値（例えば、話される単語の間の時間の最長の量）にセットされる。さらに、様々な実施例では、ＥＯＳ閾値は、単語間間隔のセットに応じて決定される。例えば、ＥＯＳ閾値は、単語間間隔のセットの値の中間値、分散、モード、又は他の関数に少なくとも部分的に基づいて計算され得る。少なくとも１つの実施例では、これらの値を使用するアルゴリズムが、以下によって与えられることが可能である。
ｉｎｔｅｒｗｏｒｄ＿ｔｉｍｅｓ＝ｕｐｄａｔｅ＿ｉｎｔｅｒｗｏｒｄ＿ｔｉｍｅｓ（ｃｔｃ＿ｏｕｔｐｕｔ＿ｓｔｒｉｎｇ，ｉｎｔｅｒｗｏｒｄ＿ｔｉｍｅｓ）ＳＯＳ＿ｔｈｒｅｓｈｏｌｄ，ＥＯＳ＿ｔｈｒｅｓｈｏｌｄ＝ｃａｌｃｕｌａｔｅ＿ｄｙｎａｍｉｃ＿ｔｈｒｅｓｈｏｌｄ（ｉｎｔｅｒｗｏｒｄ＿ｔｉｍｅｓ）
ｄｅｔｅｃｔ＿ｓｐｅｅｃｈ＿ｓｅｇｍｅｎｔｓ（ｃｔｃ＿ｏｕｔｐｕｔ＿ｓｔｒｉｎｇ）｛
ｓｅｇｍｅｎｔｓ＝｛｝
ｓｔａｒｔ＝０
ｆｏｒ ｅａｃｈ ｔｉｍｅｓｔｅｐ ｉｎ ｓｔｒｉｎｇ｛
Ｉｆ（ｓｔａｔｅ＝＝ｓｐｅｅｃｈ）｛
ＥＯＳウィンドウ長及びＥＯＳ＿ｔｈｒｅｓｈｏｌｄを使用してＥＯＳを検出する
Ｉｆ（ＥＯＳ）｛
Ｓｔａｔｅ＝ｎｏｎ－ｓｐｅｅｃｈ
ｓｅｇｍｅｎｔｓ．ａｄｄ（ｓｔａｒｔ，ｃｕｒｒｅｎｔ＿ｔｉｍｅｓｔｅｐ）
｝
｝ｅｌｓｅ ｉｆ（ｓｔａｔｅ＝ｎｏｎ－ｓｐｅｅｃｈ）｛
ＳＯＳウィンドウ長及びＳＯＳ＿ｔｈｒｅｓｈｏｌｄを使用してＳＯＳを検出する
Ｉｆ（ＳＯＳ）｛
ｓｔａｔｅ＝ｓｐｅｅｃｈ
ｓｔａｒｔ＝ｃｕｒｒｅｎｔ＿ｔｉｍｅｓｔｅｐ
｝
｝
｝
｝
ｉｎｔｅｒｗｏｒｄ＿ｔｉｍｅｓ＝ｕｐｄａｔｅ＿ｉｎｔｅｒｗｏｒｄ＿ｔｉｍｅｓ（ｃｔｃ＿ｏｕｔｐｕｔ＿ｓｔｒｉｎｇ，ｉｎｔｅｒｗｏｒｄ＿ｔｉｍｅｓ）ＳＯＳ＿ｔｈｒｅｓｈｏｌｄ，ＥＯＳ＿ｔｈｒｅｓｈｏｌｄ＝ｃａｌｃｕｌａｔｅ＿ｄｙｎａｍｉｃ＿ｔｈｒｅｓｈｏｌｄ（ｉｎｔｅｒｗｏｒｄ＿ｔｉｍｅｓ）
ｄｅｔｅｃｔ＿ｓｐｅｅｃｈ＿ｓｅｇｍｅｎｔｓ（ｃｔｃ＿ｏｕｔｐｕｔ＿ｓｔｒｉｎｇ）｛
ｓｅｇｍｅｎｔｓ＝｛｝
ｓｔａｒｔ＝０
ｆｏｒ ｅａｃｈ ｔｉｍｅｓｔｅｐ ｉｎ ｓｔｒｉｎｇ｛
Ｉｆ（ｓｔａｔｅ＝＝ｓｐｅｅｃｈ）｛
ＥＯＳウィンドウ長及びＥＯＳ＿ｔｈｒｅｓｈｏｌｄを使用してＥＯＳを検出する
Ｉｆ（ＥＯＳ）｛
Ｓｔａｔｅ＝ｎｏｎ－ｓｐｅｅｃｈ
ｓｅｇｍｅｎｔｓ．ａｄｄ（ｓｔａｒｔ，ｃｕｒｒｅｎｔ＿ｔｉｍｅｓｔｅｐ）
｝
｝ｅｌｓｅ ｉｆ（ｓｔａｔｅ＝ｎｏｎ－ｓｐｅｅｃｈ）｛
ＳＯＳウィンドウ長及びＳＯＳ＿ｔｈｒｅｓｈｏｌｄを使用してＳＯＳを検出する
Ｉｆ（ＳＯＳ）｛
ｓｔａｔｅ＝ｓｐｅｅｃｈ
ｓｔａｒｔ＝ｃｕｒｒｅｎｔ＿ｔｉｍｅｓｔｅｐ
｝
｝
｝
｝
【0027】
図３Ａ及び図３Ｂは、ＥＯＳ検出器３０６の様々な構成要素がＣＴＣ機能３０４の出力を処理する、スピーチ処理パイプライン３００の一部を示す。少なくとも１つの実施例では、ＥＯＳ検出器３０６は、グリーディ・デコーダ３０８、並びに、スピーチ開始（ＳＯＳ）及び／又はスピーチ終了（ＥＯＳ）を決定するための（例えば、フラグを立てるための）構成要素３１０を含む。図２に関連して上記で説明されたように、音響モデル出力３０２が、ＣＴＣ機能３０４への入力として提供され、ＣＴＣ機能３０４は、今度は、各時間ステップについての考えうるキャラクタに対する確率分布を出力する。例えば、ＣＴＣ機能３０４の出力は、ｎ ｘ １ ｘ ｃと表現された確率分布を含み、ここで、ｎは時間ステップの数であり、ｃは、語彙内のエントリの数である。少なくとも１つの実施例では、ＣＴＣ機能３０４によって生成された確率分布データは、グリーディ・デコーダ３０８への入力として提供される。グリーディ・デコーダ３０８は、実施例では、確率分布（例えば、１ ｘ ｃ）に少なくとも部分的に基づいて、考えうるキャラクタのセット（例えば、確率分布データにおいて指示されたキャラクタ）から、最もありそうなキャラクタを選択する。１つの実例では、グリーディ・デコーダ３０８の出力がｎ個のキャラクタの文字列になるように、Ａｒｇｍａｘデコーダが各時間ステップに適用され、ここで、選択されたキャラクタは、確率分布データにおいて指示されるような、最高確率を有する。少なくとも１つの実施例では、グリーディ・デコーダ３０８の出力３５０（例えば、Ａｒｇｍａｘ機能）が図３Ｂに示されており、ここで、この出力は、英数字キャラクタ、並びに、図３Ａ及び図３Ｂに下線で表されたブランク記号を含む文字列を含む。
【0028】
少なくとも１つの実施例では、図３Ａ及び図３Ｂに示された文字列（例えば出力３５０）は、ＣＴＣ機能３０４の出力に少なくとも部分的に基づいて、対応するオーディオ入力で時間整列される。図３Ａに示されているように、実施例では、文字列は、ＥＯＳ及び／又はＯＳを決定するために、構成要素３１０への入力として提供される。例えば、出力３５０に対してＥＯＳ又はＳＯＳが決定されると、ＥＯＳ検出器３０６は、上記で説明されたように、トランスクリプトが生成されることが可能なことを指示するスピーチ認識パイプラインのデコーダのために、時間ステップにフラグを立てる。少なくとも１つの実施例では、構成要素３１０は、スピーチ開始（ＳＯＳ）値又は時間を計算することもできる。例えば、ＥＯＳ検出器３０６の出力は、入力オーディオ信号の所与のスピーチ・セグメントの開始時間及び終了時間を含む。様々な実施例では、セグメント（例えば、ＥＯＳセグメント）は、時間ステップ、オーディオ・フレーム、スライディング・ウィンドウ、又はオーディオ信号の他の論理的若しくは物理的部分を含む、オーディオ信号の様々な部分を含む。
【0029】
少なくとも１つの実施例では、グリーディ・デコーダ３０８の出力３５０に対するスライディング・ウィンドウ３５２を使用して、ＥＯＳ及び／又はＯＳの検出が実施される。例えば、スライディング・ウィンドウ３５２は、いくつかの時間ステップＸ（例えば２５個）を含み、ここで、各時間ステップは、時間の間隔（例えば２０ミリ秒）を表す。上記で説明されたように、ＥＯＳの決定は、任意の時間ステップ、及び／又は時間ステップの範囲に対するスライディング・ウィンドウ３５２に含まれる（図３Ａ及び図３Ｂに下線として示された）ブランク記号の割合に少なくとも部分的に基づいて、行われることが可能である。１つの実例では、各時間ステップは、（例えば、図２に関連して上記で説明されたアルゴリズムにおいて指示されるような）スピーチ又は非スピーチとして分類されることが可能であり、ブランク記号は、非スピーチの期間を表す。さらに、この実例では、スピーチとして分類された時間ステップは、この時間ステップに対するスピーチを指示するために割り当てられた別の非ブランク記号（例えば英数字キャラクタ）を有し得る。実施例では、ＣＴＣ機能３０４は、各時間ステップに対する最もありそうなキャラクタを返す。
【0030】
図３Ｂに示されているように、単語間間隔３５４は、実施例では、英数字の間のブランク記号によって表されたいくつかの時間ステップ又はオーディオ・フレームを含む。少なくとも１つの実施例では、ＳＯＳとＥＯＳ両方の決定を含むセグメント検出に対する、より細かい制御を提供するために、別々のウィンドウ長及び閾値（例えば、ＥＯＳ閾値及びＳＯＳ閾値）が使用されることが可能である。例えば、ＳＯＳウィンドウ長などの様々なパラメータは、スピーチ開始検出のためのスライディング・ウィンドウ・サイズを指定し、ＳＯＳ閾値の値は、このスライディング・ウィンドウ内のブランク記号の割合がＳＯＳ閾値未満に下がった場合、ＳＯＳがフラグを立てられることが可能であることを指定するために使用されることが可能である。
【0031】
別の実例では、ＥＯＳ検出のためのスライディング・ウィンドウ・サイズを定義するＥＯＳウィンドウ長、及び、このスライディング・ウィンドウ内のブランク記号の割合がこのＥＯＳ閾値を満たすか、超過するとき、ＥＯＳにフラグを立てるために使用されることが可能なＥＯＳ閾値が、指定されることが可能である。様々な実施例では、単語間間隔のセットに少なくとも部分的に基づいて、ＥＯＳウィンドウ・サイズが５００ミリ秒にセットされ、ＥＯＳ閾値が９５％にセットされる。さらに、単語間間隔のセットは、実施例では、ＳＯＳスライディング・ウィンドウ・サイズ、ＳＯＳ閾値、ＥＯＳスライディング・ウィンドウ・サイズ、及びＥＯＳ閾値を修正するために使用される。この様式では、ＥＯＳ検出器３０６は、スピーチが聞き損なわれないことを保証するために、スピーチ開始について、及び、スピーチ終了についての、より厳格な閾値を可能にし得、ここで、追加の非スピーチを含むことは重要ではなく、ユーザへのレスポンスの生成時に遅延を生じ得る。少なくとも１つの実施例では、これらの値を使用するアルゴリズムが、以下によって与えられることが可能である。
Ｆｏｒ ｅａｃｈ ｔｉｍｅｓｔｅｐ｛
Ｉｆ （ｓｐｅｅｃｈ ｓｔａｒｔｅｄ）｛
ＥＯＳウィンドウ長及び閾値を使用してＥＯＳを検出する
｝ｅｌｓｅ｛
ＳＯＳウィンドウ長及び閾値を使用してＳＯＳを検出する
｝
｝
Ｆｏｒ ｅａｃｈ ｔｉｍｅｓｔｅｐ｛
Ｉｆ （ｓｐｅｅｃｈ ｓｔａｒｔｅｄ）｛
ＥＯＳウィンドウ長及び閾値を使用してＥＯＳを検出する
｝ｅｌｓｅ｛
ＳＯＳウィンドウ長及び閾値を使用してＳＯＳを検出する
｝
｝
【0032】
さらに、様々な実施例では、ノイズを沈黙又は非スピーチとして検出して、ＥＯＳ検出を改善するために、音響モデルが訓練されることが可能である。１つの実例では、これは、異なるタイプのノイズ（例えば、道路ノイズ、背景の会話、建設作業、風、又は、話者が話す行為によって直接生成されない他の形式の音）の存在下でキャラクタ確率検出がより正確になるように、異なるタイプ及びレベルのノイズを含む訓練データを生成することを含むことができる。少なくとも１つの実施例では、これは、訓練データを生成するために、異なるタイプ及びレベルのノイズを、きれいなオーディオ信号と混ぜることを含むことができる。このような実施例では、ＣＴＣ機能３０４は、これらのトランスクリプトでオーディオ・ファイルを整列させるための訓練中に使用される。さらに、様々な実施例では、ＣＴＣ機能３０４の出力は、最終的なトランスクリプトを生成するためにデコードされる。
【0033】
さらに、本開示で説明されるスピーチ認識パイプラインは、挑戦的な音響条件に対して堅牢であり得る。例えば、スピーチ認識パイプラインは、低利得及び騒々しい環境を含む両極端をハンドリングすることができる。様々な実施例では、スピーチ認識パイプラインは、ＥＯＳ検出器のための追加のコストがほとんどない、単純且つ計算効率の良いアルゴリズムを利用し、したがって、ＥＯＳ検出器は、スピーチ認識パイプライン３００内に既に存在し得る神経音響モデル及びＣＴＣ機能３０４からの出力を利用することができる。結果として、ＥＯＳ閾値は、様々な実施例では、周期的又は非周期的に再計算される。１つの実例では、単語間間隔のセットは連続的に計算され、２５個の単語間間隔ごとに、ＥＯＳ閾値が再計算及び／又は更新される。少なくとも１つの実施例では、ＥＯＳ検出器は、家、車、オフィス、又は小売店などの、ターゲット環境に従って訓練された神経音響モデルを利用することができる。
【0034】
ここで図４、図５、及び図６を参照すると、本明細書で説明される方法４００、５００、及び６００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実施され得るコンピューティング処理を含む。例えば、メモリに格納された命令を実行するプロセッサによって様々な機能が実行され得る。方法のそれぞれは、コンピュータ・ストレージ媒体に格納されたコンピュータ使用可能命令としても具体化され得る。方法は、数例を挙げると、スタンドアロン・アプリケーション、（スタンドアロンの、若しくは別のホストされたサービスと組み合わせた）サービス若しくはホストされたサービス、又は、別のアプリケーション若しくはサービスへのプラグインによって提供され得る。さらに、方法４００は、実例として、図２のスピーチ認識パイプラインについて説明される。それでも、これらの方法は、追加又は代替として、本明細書で説明されるものを含むがこれらに限定されない任意の１つのシステム又はシステムの任意の組合せによって実行され得る。さらに、図４、図５、及び図６で説明される方法の動作は、省略されるか、異なる順序で実施されるか、並列に実施されるか、連続と並列の組合せで実施され得る。全体的に、図４、図５、及び図６に関連して下記で説明される動作は、ネットワーク又は他の通信チャネルで通信する単一のデバイス又は複数のデバイスによって実施され得る。
【0035】
図４は、本開示の様々な実施例による、オーディオ信号内のスピーチ・セグメントの終わりを決定するための方法４００を示す。上記で説明されたように、方法４００は、実施例では、図１に関連して上記で説明されたオーディオ・キャプチャ・デバイス１０６によって実施される。他の実施例では、他のデバイス（例えば、クラウド・コンピューティング・リソース、仮想マシン、仮想プロセッサ、エッジ・コンピューティング・デバイス等）は、下記で説明される動作のうちの全て又はいくつかを実施する。例えば、オーディオ・キャプチャ・デバイスはオーディオ信号を記録し、上記で説明された動作のうちの全て又はいくつかを実施するために、オーディオ信号又はその一部（例えば、オーディオ信号の、ダウンサンプルされるか、そうでなければ処理されたバージョン）を、クラウド・コンピューティング・デバイス、仮想マシン若しくは処理、又はエッジ・コンピューティング・デバイス等に伝送する。
【0036】
方法４００は、ブロック４０２において、オーディオ信号をキャプチャすることを含む。実施例では、オーディオ信号は、人間のスピーチを表すオーディオ信号をキャプチャするために、（例えば、オーディオ・キャプチャ・デバイスの）マイクロフォンを使用してキャプチャされる。例えば、スマート・スピーカは、起動ワードに応答してオーディオ信号をキャプチャし、コンピューティング・リソース・サービス・プロバイダによって実装されたスピーチ処理サービスに、キャプチャされたオーディオ信号を伝送する。ブロック４０４において、オーディオ特徴のセットがオーディオ信号から抽出される。例えば、特徴は、周波数スペクトルを含む。ブロック４０６において、オーディオ信号から抽出された特徴は、このオーディオ信号の個々のフレーム又は時間ステップに対するキャラクタの確率を決定するために、訓練された音響モデル及びコネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能を使用して解析される。ブロック４０８において、ＣＴＣ機能によって出力されたキャラクタ確率は、このオーディオ信号内に収められた１つ又は複数のスピーチ・セグメントの開始時間及び／又は終了時間を計算するために、１つ又は複数のスピーチ尺度を使用して解析される。少なくとも１つの実施例では、これは、スピーチ開始及びスピーチ終了を決定するために、スライディング・ウィンドウ内で予測されるスライディング・ウィンドウの長さ及び／又はブランク・キャラクタの割合を含むスピーチ尺度を使用するスピーチ終了（ＥＯＳ）検出器を使用して、実施されることが可能である。さらに、様々な実施例では、ウィンドウ・サイズ及び割合の閾値は、開始及び終了時間計算によって異なることが可能である。ブロック４１０において、開始時間と終了時間との間のキャラクタ確率を、対応するスピーチ・セグメントのトランスクリプトに変換するために、デコーダが使用されることが可能である。少なくとも１つの実施例では、これらのトランスクリプトは、次に、所与のスピーチ・セグメント内に収められたコマンドに従って機能できるようにされたボイス制御デバイスなどの、意図される受け手に格納又は提供され得る。実施例では、ブロック４０４から４１０は、コンピューティング・リソース・サービス・プロバイダによって実装されたスピーチ処理サービスによって実施される。
【0037】
図５は、本開示のいくつかの実施例による、特定の話者のスピーチ速度に少なくとも部分的に基づいてスピーチ終了（ＥＯＳ）閾値を決定するための方法５００を示す流れ図である。実施例では、方法５００は、本開示で説明されるような、オーディオ・キャプチャ・デバイスによって実施される。さらに他の実施例では、方法５００は、コンピューティング・リソース・サービス・プロバイダによって実装されたスピーチ処理サービスの構成要素として実施される。例えば、コンピューティング・リソース・サービス・プロバイダのサービスは、方法５００を使用してＥＯＳ閾値を決定し、オーディオ・キャプチャ・デバイスが動作及びＥＯＳの検出を改善できるようにするために、オーディオ・キャプチャ・デバイスのＥＯＳ閾値を提供及び／又は更新する。図５に戻ると、方法５００は、ブロック５０２において、キャラクタの文字列を取得することを含む。様々な実施例では、コネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能は、音響モデルの出力に少なくとも部分的に基づいて、キャラクタの確率分布を出力として生成する。例えば、上記で説明されたように、ＣＴＣ機能は、オーディオ信号の時間ステップごとの入力特徴を考慮して、各時間ステップの考えうるキャラクタに対する確率分布を出力する。さらに、上記で説明されたように、スピーチ認識パイプライン（例えば、グリーディ・デコーダ）の構成要素が、アルゴリズムを利用して、ＣＴＣによって出力された確率分布に少なくとも部分的に基づいてキャラクタの文字列を生成し得る。
【0038】
ブロック５０４において、方法５００を実施するシステムは、キャラクタの文字列に少なくとも部分的に基づいて単語間のセットを決定する。様々な実施例では、キャラクタは、下線又は他の記号が、スピーチのないオーディオ信号の一部を表す所定のアルファベットを含む。言い換えれば、ブランク記号によって表された所与の時間ステップのオーディオ信号は、音（例えば背景雑音）を含み得るが、スピーチ音（例えば、話される単語）を含まない。実施例では、ＣＴＣによって出力された英数字の文字列によって表される単語間の複数の連続的なブランク記号が、単語間間隔としてカウントされる。上記で説明されたように、実施例では、単語間間隔の数（例えば２５）が、ＥＯＳ閾値を決定する前に収集される。それでも、さらに他の実施例では、最初の単語間間隔が決定されると、ＥＯＳ閾値が決定されることが可能である。このような実施例では、ＥＯＳ閾値は、その後の単語間間隔によって修正され得る。
【0039】
ブロック５０６において、方法５００を実施するシステムは、単語間間隔のセットに少なくとも部分的に基づいてＥＯＳ閾値を決定する。様々な実施例では、ＥＯＳ閾値は、単語間間隔のセットの値に応じたものである。１つの実例では、ＥＯＳ閾値は、単語間間隔のセットの中間値にセットされる。さらに別の実例では、ＥＯＳ閾値は、単語間間隔のセットの最大値にセットされる。ＥＯＳ閾値が決定されると、様々な実施例では、スピーチ処理パイプラインは、初期のＥＯＳを、方法５００を実施するシステムによって決定されたＥＯＳと置き替える。様々な実施例では、方法５００は、スピーチ開始（ＳＯＳ）閾値を決定するために使用される。
【0040】
図６は、本開示のいくつかの実施例による、特定の話者のスピーチ速度に少なくとも部分的に基づいてスピーチ終了（ＥＯＳ）を決定するための方法６００を示す流れ図である。様々な実施例では、ＥＯＳ閾値は、上記で説明されたような、方法５００を使用して決定される。実施例では、方法６００は、本開示で説明されるような、オーディオ・キャプチャ・デバイスによって実施される。さらに他の実施例では、方法６００は、コンピューティング・リソース・サービス・プロバイダによって実装されたスピーチ処理サービスの構成要素として実施される。例えば、方法６００は、クラウド・コンピューティング・デバイスを使用してコンピューティング・リソース・サービス・プロバイダによって実装されたスピーチ処理パイプラインの構成要素として実行されるＥＯＳ検出器（例えば、より詳細に上記で説明されたようなＥＯＳ検出器２１０）によって実施される。
【0041】
方法６００は、ブロック６０２において、キャラクタの文字列を取得することを含む。様々な実施例では、コネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能は、音響モデルの出力に少なくとも部分的に基づくキャラクタの確率分布を出力として生成する。例えば、上記で説明されたように、ＣＴＣ機能は、オーディオ信号の時間ステップごとの入力特徴を考慮して、各時間ステップの考えうるキャラクタに対する確率分布を出力する。さらに、上記で説明されたように、スピーチ認識パイプラインの構成要素（例えば、グリーディ・デコーダ）は、アルゴリズムを利用して、ＣＴＣによって出力された確率分布に少なくとも部分的に基づいてキャラクタの文字列を生成し得る。
【0042】
ブロック６０４において、方法６００を実施するシステムは、最初のスライディング・ウィンドウを評価する。上記で説明されたように、スライディング・ウィンドウは、複数の時間ステップ又はオーディオ・フレームを含み得る。１つの実例では、５００ミリ秒のスライディング・ウィンドウが２５個の時間ステップを含み、各時間ステップは、２０ミリ秒の期間を有する。スライディング・ウィンドウについての異なる様々な長さが、方法６００に関連して使用され得る。さらに、スライディング・ウィンドウは、実施例では、キャラクタの文字列内のキャラクタのセットに対応する。例えば、図３に関連して上記で説明されたように、スライディング・ウィンドウ３５２は、キャラクタの文字列のうちのキャラクタの部分文字列を含む。様々な実施例では、スライディング・ウィンドウは、時間０（例えば、第１の時間ステップ）で始まり、（例えば、時間０から時間Ｘまでの）連続的な時間ステップ又はオーディオ・フレームのセットを含む。
【0043】
ステップ６０６において、方法６００を実施するシステムは、最初のスライディング・ウィンドウ内のブランク記号の割合を決定する。実施例では、ブランク記号の割合は、スライディング・ウィンドウ内のブランク記号の数をスライディング・ウィンドウ内の記号の総数で除算することによって決定される。他の実施例では、スライディング・ウィンドウ・サイズが変化しない実例として、ブランク記号の割合は、ブランク記号の数をスライディング・ウィンドウの長さ（例えば、時間ステップ又はオーディオ・フレームの数）で除算することによって決定される。
【0044】
ブロック６０８において、方法６００を実施するシステムは、ブロック６０６において決定されたブランク記号の割合に少なくとも部分的に基づいて、ＥＯＳ閾値が満たされたかどうかを決定する。例えば、最初のスライディング・ウィンドウのブランク記号の割合が９５％であり、ＥＯＳ閾値が９０％の場合、方法６００を実施するシステムは、ブロック６１０に続く。ブロック６１０において、方法６００を実施するシステムは、スライディング・ウィンドウにＥＯＳとしてフラグを立てる。上記で説明されたように、特定のスライディング・ウィンドウにＥＯＳとしてフラグを立てることは、スピーチ処理パイプラインの構成要素をトリガして、別のアプリケーション及び／又はデバイスによる使用のためのトランスクリプトを生成し得る。それでも、ブロック６０８に戻り、方法６００を実施するシステムが、ＥＯＳ閾値が満たされていないと決定した場合、方法６００はブロック６０４に戻り、次のスライディング・ウィンドウに進む。実施例では、方法６００を実施するシステムは、単一の時間ステップ又はオーディオ・フレームだけスライディング・ウィンドウを増分する。例えば、現在のスライディング・ウィンドウが時間ステップ０から時間ステップ２５までの場合、スライディング・ウィンドウは、時間ステップ１から時間ステップ２６までの範囲に修正される。様々な実施例では、スライディング・ウィンドウが移動される時間ステップ又はオーディオ・フレームの数も修正され得る。
【0045】
図７は、１つの実施例による、並列処理ユニット（「ＰＰＵ」）７００を示す。実施例では、ＰＰＵ７００は、ＰＰＵによって実行されると、本開示の至る所で説明される処理及び技法のいくつか又は全てをＰＰＵに実施させる機械可読コードで構成される。実施例では、ＰＰＵ７００は、１つ又は複数の集積回路デバイス上に実装され、複数のスレッド上でコンピュータ可読命令（機械可読命令又は単純に命令とも呼ばれる）を並列に処理するようにデザインされたレイテンシ隠蔽技法としてマルチスレッディングを利用する、マルチスレッド・プロセッサである。実施例では、スレッドは実行のスレッドを指し、ＰＰＵ７００によって実行されるように構成された命令のセットの具体化である。実施例では、ＰＰＵ７００は、液晶ディスプレイ（ＬＣＤ）デバイスなどの表示デバイス上での表示のための２次元（「２Ｄ」）イメージ・データを生成するために、３次元（「３Ｄ」）グラフィックス・データを処理するためのグラフィックス・レンダリング・パイプラインを実装するように構成された画像処理装置（「ＧＰＵ」）である。実施例では、ＰＰＵ７００は、線形代数演算及び機械学習演算などの計算を実施するために利用される。図７は、例証のためだけに実例の並列プロセッサを示しているが、本開示の範囲内で想定されるプロセッサ・アーキテクチャの非限定的な実例として、並びに、同じものに対する補足及び／又は代用のために任意の適切なプロセッサが採用され得ると、解釈されるべきである。
【0046】
実施例では、１つ又は複数のＰＰＵは、高性能コンピューティング（「ＨＰＣ」：Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ）、データ・センタ、及び機械学習アプリケーションを加速するように構成される。実施例では、ＰＰＵ７００は、自律走行車両プラットフォーム、深層学習、高精度スピーチ、イメージ、テキスト認識システム、インテリジェント・ビデオ解析、分子シミュレーション、薬剤発見、疾患診断、天候予測、ビッグ・データ解析、天文学、分子ダイナミクス・シミュレーション、金融モデリング、ロボット工学、工場自動化、リアル・タイム言語翻訳、オンライン・サーチ最適化、個人向けユーザ推奨などといった、非限定的な実例を含むディープ・ラーニング・システム及びアプリケーションを加速するように構成される。
【0047】
実施例では、ＰＰＵ７００は、入力／出力（「Ｉ／Ｏ」）ユニット７０６、フロント・エンド・ユニット７１０、スケジューラ・ユニット７１２、作業分散ユニット７１４、ハブ７１６、クロスバー（「Ｘｂａｒ」）７２０、１つ又は複数の総合処理クラスタ（「ＧＰＣ」）７１８、及び１つ又は複数の区画ユニット７２２を含む。実施例では、ＰＰＵ７００は、１つ又は複数の高速ＧＰＵ相互接続７０８を介して、ホスト・プロセッサ又は他のＰＰＵ７００に接続される。実施例では、ＰＰＵ７００は、相互接続７０２を介して、ホスト・プロセッサ又は他の周辺デバイスに接続される。実施例では、ＰＰＵ７００は、１つ又は複数のメモリ・デバイス７０４を含むローカル・メモリに接続される。実施例では、ローカル・メモリは、１つ又は複数のダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」：ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）デバイスを備える。実施例では、１つ又は複数のＤＲＡＭデバイスは、各デバイス内に複数のＤＲＡＭダイがスタックされた、高帯域幅メモリ（「ＨＢＭ」：ｈｉｇｈ－ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）サブシステムとして構成される、及び／又は構成可能である。
【0048】
高速ＧＰＵ相互接続７０８は、１つ又は複数のＣＰＵと結合された１つ又は複数のＰＰＵ７００をスケーリングし、含めるためにシステムによって使用され、ＰＰＵ７００とＣＰＵとの間のキャッシュ・コヒーレンス、及びＣＰＵマスタリングをサポートする、ワイヤ・ベースのマルチレーン通信リンクを指し得る。実施例では、データ及び／又はコマンドは、図７に明示的に示され得ない１つ又は複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニット、及び他の構成要素などの、ＰＰＵ７００の他のユニットとの間で、ハブ７１６を通じて高速ＧＰＵ相互接続７０８によって伝送される。
【0049】
実施例では、Ｉ／Ｏユニット７０６は、システム・バス７０２上で（図７に示されていない）ホスト・プロセッサからの通信（例えば、コマンド、データ）の伝送及び受信を行うように構成される。実施例では、Ｉ／Ｏユニット７０６は、システム・バス７０２を介して直接、又はメモリ・ブリッジなどの１つ若しくは複数の中間デバイスを通じて、ホスト・プロセッサと通信する。実施例では、Ｉ／Ｏユニット７０６は、システム・バス７０２を介して、ＰＰＵ７００の１つ又は複数などの、１つ又は複数の他のプロセッサと通信し得る。実施例では、Ｉ／Ｏユニット７０６は、ＰＣＩｅバス上での通信のために、ペリフェラル・コンポーネント・インターコネクト・エクスプレス（「ＰＣＩｅ」：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ）インターフェースを実装する。実施例では、Ｉ／Ｏユニット７０６は、外部デバイスと通信するためのインターフェースを実装する。
【0050】
実施例では、Ｉ／Ｏユニット７０６は、システム・バス７０２を介して受信されたパケットをデコードする。実施例では、少なくともいくつかのパケットは、様々な動作をＰＰＵ７００に実施させるように構成されたコマンドを表す。実施例では、Ｉ／Ｏユニット７０６は、コマンドによって指定されたようなＰＰＵ７００の他の様々なユニットに、デコードされたコマンドを伝送する。実施例では、コマンドは、フロント・エンド・ユニット７１０に伝送される、及び／或いは、ハブ７１６、又は、（図７明示的に示されていない）１つ若しくは複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニット等などのＰＰＵ７００の他のユニットに、伝送される。実施例では、Ｉ／Ｏユニット７０６は、ＰＰＵ７００の様々な論理ユニット間、及びその中の通信をルートするように構成される。
【0051】
実施例では、ホスト・プロセッサによって実行されたプログラムは、処理のためにワークロードをＰＰＵ７００に提供するバッファ内のコマンド・ストリームをエンコードする。実施例では、ワークロードは、これらの命令によって処理されることになる命令及びデータを含む。実施例では、バッファは、ホスト・プロセッサとＰＰＵ７００の両方によってアクセス可能な（例えば読込み／書込み）メモリ内の領域であり、ホスト・インターフェース・ユニットは、Ｉ／Ｏユニット７０６によってシステム・バス７０２上で伝送されたメモリ・リクエストを介して、システム・バス７０２に接続されたシステム・メモリ内のバッファにアクセスするように構成され得る。実施例では、ホスト・プロセッサは、コマンド・ストリームをバッファに書き込み、次に、フロント・エンド・ユニット７１０が、１つ又は複数のコマンド・ストリームへのポインタを受信し、１つ又は複数のストリームを管理して、ストリームからコマンドを読み込み、コマンドをＰＰＵ７００の様々なユニットに転送するように、コマンド・ストリームの開始へのポインタをＰＰＵ７００に伝送する。
【0052】
実施例では、フロント・エンド・ユニット７１０は、１つ又は複数のストリームによって定義されたタスクを処理するように様々なＧＰＣ７１８を構成するスケジューラ・ユニット７１２に連結される。実施例では、スケジューラ・ユニット７１２は、スケジューラ・ユニット７１２によって管理される様々なタスクに関する状態情報を追跡するように構成され、ここで、状態情報は、どのＧＰＣ７１８にタスクが割り当てられるか、タスクがアクティブであるか非アクティブであるか、タスクに関連付けられた優先レベルなどを指示し得る。実施例では、スケジューラ・ユニット７１２は、１つ又は複数のＧＰＣ７１８上での複数のタスクの実行を管理する。
【0053】
実施例では、スケジューラ・ユニット７１２は、ＧＰＣ７１８上での実行のためのタスクをディスパッチするように構成された作業分散ユニット７１４に連結される。実施例では、作業分散ユニット７１４は、スケジューラ・ユニット７１２から受信された、いくつかのスケジュールされたタスクを追跡し、作業分散ユニット７１４は、ＧＰＣ７１８のそれぞれのための、待ち状態タスク・プール及びアクティブ・タスク・プールを管理する。実施例では、待ち状態タスク・プールは、特定のＧＰＣ７１８によって処理されるように割り当てられたタスクを収める、いくつかのスロット（例えば、３２個のスロット）を備え、アクティブ・タスク・プールは、ＧＰＣ７１８がタスクの実行を完了させたとき、このタスクが、ＧＰＣ７１８のためのアクティブ・タスク・プールから立ち退かされ、待ち状態タスク・プールからの他のタスクの１つが、ＧＰＣ７１８上での実行のために選択及びスケジュールされるように、ＧＰＣ７１８によって能動的に処理されているタスクのための、いくつかのスロット（例えば、４個のスロット）を備え得る。実施例では、データの依存性が解決されるのを待っている間など、アクティブ・タスクがＧＰＣ７１８上で非稼働の場合、アクティブ・タスクはＧＰＣ７１８から立ち退かされ、待ち状態タスク・プールに戻される一方で、待ち状態タスク・プール内の別のタスクが、ＧＰＣ７１８上での実行のために選択及びスケジュールされる。
【0054】
実施例では、作業分散ユニット７１４は、ＸＢａｒ７２０を介して１つ又は複数のＧＰＣ７１８と通信する。実施例では、ＸＢａｒ７２０は、ＰＰＵ７００のユニットの多くをＰＰＵ７００の他のユニットに連結し、作業分散ユニット７１４を特定のＧＰＣ７１８に連結するように構成されることが可能な、相互接続ネットワークである。明示的に図示されていないが、ＰＰＵ７００の１つ又は複数の他のユニットも、ハブ７１６を介してＸＢａｒ７２０に接続され得る。
【0055】
タスクは、スケジューラ・ユニット７１２によって管理され、作業分散ユニット７１４によってＧＰＣ７１８にディスパッチされる。ＧＰＣ７１８は、タスクを処理し、結果を生成するように構成される。結果は、ＧＰＣ７１８内の他のタスクによって使用されるか、ＸＢａｒ７２０を介して異なるＧＰＣ７１８にルートされるか、メモリ７０４に格納され得る。結果は、区画ユニット７２２を介してメモリ７０４に書き込まれることが可能であり、区画ユニット７２２は、メモリ７０４との間でデータの読書きを行うためのメモリ・インターフェースを実装する。結果は、高速ＧＰＵ相互接続７０８を介して別のＰＰＵ７００又はＣＰＵに伝送されることが可能である。実施例では、ＰＰＵ７００は、ＰＰＵ７００に連結された別々且つ別個のメモリ・デバイス７０４の数に等しい、数Ｕの区画ユニット７２２を含む。区画ユニット７２２は、図９と共に、より詳細に下記で説明される。
【0056】
実施例では、ホスト・プロセッサは、ホスト・プロセッサ上で実行する１つ又は複数のアプリケーションが、ＰＰＵ７００上での実行のための動作をスケジュールすることを可能にする、アプリケーション・プログラミング・インターフェース（「ＡＰＩ」）を実装するドライバ・カーネルを実行する。実施例では、複数の計算アプリケーションがＰＰＵ７００によって同時に実行され、ＰＰＵ７００は、分離、サービス品質（「ＱｏＳ」）、及び独立したアドレス空間を複数の計算アプリケーションに提供する。実施例では、ＰＰＵ７００による実行のための１つ又は複数のタスクをドライバ・カーネルに生成させる（例えば、ＡＰＩコールの形の）命令をアプリケーションが生成し、ドライバ・カーネルは、ＰＰＵ７００によって処理されている１つ又は複数のストリームにタスクを出力する。実施例では、各タスクは、ワープと呼ばれ得る、関連したスレッドの１つ又は複数のグループを含む。実施例では、ワープは、並列に実行されることが可能な複数の関連したスレッド（例えば、３２個のスレッド）を含む。実施例では、協働スレッドは、タスク実施するための命令を含み、共有メモリを通じてデータを交換する、複数のスレッドを指すことができる。図１０と共に、１つの実施例による、スレッド及び協働スレッドが、より詳細に説明される。
【0057】
図８は、１つの実施例による、図７のＰＰＵ７００の、示されたＧＰＣなどのＧＰＣ８００を示す。実施例では、各ＧＰＣ８００は、タスクを処理するための、いくつかのハードウェア・ユニットを含み、各ＧＰＣ８００は、パイプライン・マネージャ８０２、プレ・ラスター・オペレーション・ユニット（「ＰＲＯＰ」：ｐｒｅ ｒａｓｔｅｒ ｏｐｅｒａｔｉｏｎｓ ｕｎｉｔ）８０４、ラスター・エンジン８０８、作業分散クロスバー（「ＷＤＸ」：ｗｏｒｋ ｄｉｓｔｒｉｂｕｔｉｏｎ ｃｒｏｓｓｂａｒ）８１６、メモリ管理ユニット（「ＭＭＵ」：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）８１８、１つ又は複数のデータ処理クラスタ（「ＤＰＣ」：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）８０６、及び部品の任意の適切な組合せを含む。図８のＧＰＣ８００は、図８に示されたユニットの代わりに又は加えて、他のハードウェア・ユニットを含み得ることが理解されよう。
【0058】
実施例では、ＧＰＣ８００の動作は、パイプライン・マネージャ８０２によって制御される。パイプライン・マネージャ８０２は、ＧＰＣ８００にアロケートされたタスクを処理するための１つ又は複数のＤＰＣ８０６の構成を管理する。実施例では、パイプライン・マネージャ８０２は、グラフィックス・レンダリング・パイプラインの少なくとも一部を実装するように、１つ又は複数のＤＰＣ８０６の少なくとも１つを構成する。実施例では、ＤＰＣ８０６は、プログラマブル・ストリーミング・マルチプロセッサ（「ＳＭ」：ｓｔｒｅａｍｉｎｇ ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）８１４上でバーテックス・シェーダ・プログラムを実行するように構成される。パイプライン・マネージャ８０２は、実施例における、ＧＰＣ８００内の適切な論理ユニットに、作業分散から受信されたパケットをルートするように構成され、いくつかのパケットが、ＰＲＯＰ８０４及び／又はラスター・エンジン８０８内の固定機能ハードウェア・ユニットにルートされ得る一方で、他のパケットは、プリミティブ・エンジン８１２又はＳＭ８１４による処理のためにＤＰＣ８０６にルートされ得る。実施例では、パイプライン・マネージャ８０２は、ニューラル・ネットワーク・モデル及び／又はコンピューティング・パイプラインを実装するように、１つ又は複数のＤＰＣ８０６の少なくとも１つを構成する。
【0059】
ＰＲＯＰユニット８０４は、実施例では、ラスター・エンジン８０８及びＤＰＣ８０６によって生成されたデータを、より詳細に上記で説明されたメモリ区画ユニット内のラスター・オペレーション（「ＲＯＰ」）ユニットにルートするように構成される。実施例では、ＰＲＯＰユニット８０４は、色の融合、ピクセル・データの編成、アドレス変換の実施などのための最適化を実施するように構成される。ラスター・エンジン８０８は、実施例における、様々なラスター・オペレーションを実施するように構成された、いくつかの固定機能ハードウェア・ユニットを含み、ラスター・エンジン８０８は、セットアップ・エンジン、コース・ラスター・エンジン、カリング・エンジン、クリッピング・エンジン、ファイン・ラスター・エンジン、タイル・コアレシング・エンジン、及びこれらの任意の適切な組合せを含む。セットアップ・エンジンは、実施例では、変換されたバーテックスを受信し、バーテックスによって定義された幾何学的プリミティブに関連付けられた平面等式（ｐｌａｎｅ ｅｑｕａｔｉｏｎ）を生成し、平面等式は、プリミティブについてのカバレッジ情報（例えば、タイルのためのｘ、ｙカバレッジ・マスク）を生成するためにコース・ラスター・エンジンに伝送され、コース・ラスター・エンジンの出力は、ｚテストに不合格になったプリミティブに関連付けられた断片がカリングされるカリング・エンジンに伝送され、眺めている錘台（ｖｉｅｗｉｎｇ ｆｒｕｓｔｕｍ）の外側にある断片がクリッピングされるクリッピング・エンジンに伝送される。実施例では、クリッピング及びカリングを生き残った断片は、セットアップ・エンジンによって生成された平面等式に基づいて、ピクセル断片の属性を生成するために、ファイン・ラスター・エンジンに伝えられる。実施例では、ラスター・エンジン８０８の出力は、ＤＰＣ８０６内に実装された断片シェーダなどの任意の適切なエンティティによって処理されることになる断片を含む。
【0060】
実施例では、ＧＰＣ８００に含まれる各ＤＰＣ８０６は、Ｍパイプ・コントローラ（「ＭＰＣ」：Ｍ－Ｐｉｐｅ Ｃｏｎｔｒｏｌｌｅｒ）８１０、プリミティブ・エンジン８１２、１つ又は複数のＳＭ８１４、及びその任意の適切な組合せを備える。実施例では、ＭＰＣ８１０は、ＤＰＣ８０６の動作を制御し、パイプライン・マネージャ８０２から受信されたパケットを、ＤＰＣ８０６内の適切なユニットにルーティングする。実施例では、バーテックスに関連付けられたパケットは、プリミティブ・エンジン８１２にルートされ、プリミティブ・エンジン８１２は、バーテックスに関連付けられたバーテックス属性をメモリからフェッチするように構成され、対照的に、シェーダ・プログラムに関連付けられたパケットは、ＳＭ８１４に伝送され得る。
【0061】
実施例では、ＳＭ８１４は、いくつかのスレッドによって表されたタスクを処理するように構成されたプログラム可能なストリーミング・プロセッサを備える。実施例では、ＳＭ８１４はスレッドの特定のグループからの複数のスレッド（例えば、３２個のスレッド）を同時に実行するようにマルチスレッド化及び構成され、スレッドのグループ内の各スレッド（例えば、ワープ）が、命令の同じセットに基づいてデータの異なるセットを処理するように構成された、ＳＩＭＤ（単一命令、複数データ）アーキテクチャを実装する。実施例では、スレッドのグループ内の全てのスレッドが同じ命令を実行する。実施例では、ＳＭ８１４は、ＳＩＭＴ（単一命令、複数スレッド）アーキテクチャを実装し、スレッドのグループ内の各スレッドは、命令の同じセットに基づいてデータの異なるセットを処理するように構成されるが、スレッドのグループ内の個々のスレッドは、実行中に分岐することを許容される。実施例では、プログラム・カウンタ、コール・スタック、及び実行状態が各ワープに対して維持され、ワープ内のスレッドが分岐するときの、ワープ間の並行性及びワープ内の連続実行を可能にする。別の実施例では、プログラム・カウンタ、コール・スタック、及び実行状態が各個々のスレッドに対して維持され、全てのスレッド間、ワープ内、及びワープ間の等しい並行性を可能にする。実施例では、実行状態が、各個々のスレッド、及び、より良い効率性のために集中され、並列に実行され得る同じ命令を実行するスレッドに対して、維持される。実施例では、ＳＭ８１４は、より詳細に下記で説明される。
【0062】
実施例では、ＭＭＵ８１８は、ＧＰＣ８００とメモリ区画ユニットとの間のインターフェースを提供し、ＭＭＵ８１８は、物理アドレスへの仮想アドレスの変換、メモリ保護、及びメモリ・リクエストのアービトレーションを提供する。実施例では、ＭＭＵ８１８は、メモリ内の物理アドレスへの仮想アドレスの変換を実施するための、１つ又は複数のトランスレーション・ルックアサイド・バッファ（「ＴＬＢ」：ｔｒａｎｓｌａｔｉｏｎ ｌｏｏｋａｓｉｄｅ ｂｕｆｆｅｒ）を提供する。
【0063】
図９は、１つの実施例による、ＰＰＵのメモリ区画ユニットを示す。実施例では、メモリ区画ユニット９００は、ラスター・オペレーション（「ＲＯＰ」：Ｒａｓｔｅｒ Ｏｐｅｒａｔｉｏｎ）ユニット９０２、レベル２（「Ｌ２」）キャッシュ９０４、メモリ・インターフェース９０６、及びその任意の適切な組合せを含む。メモリ・インターフェース９０６は、メモリに連結される。メモリ・インターフェース９０６は、高速データ転送のための、３２、６４、１２８、１０２４ビット・データ・バス、又は同様のものを実装し得る。実施例では、ＰＰＵは、区画ユニット９００のペアごとに１つのメモリ・インターフェース９０６である、Ｕ個のメモリ・インターフェース９０６を組み込み、区画ユニット９００の各ペアは、対応するメモリ・デバイスに接続される。例えば、ＰＰＵは、高帯域幅メモリ・スタック又はグラフィックス・ダブルデータレート、バージョン５、シンクロナス・ダイナミック・ランダム・アクセス・メモリ（「ＧＤＤＲ５ ＳＤＲＡＭ」：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ－ｄａｔａ－ｒａｔｅ，ｖｅｒｓｉｏｎ ５，ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）など、Ｙ個までのメモリ・デバイスに接続され得る。
【0064】
実施例では、メモリ・インターフェース９０６は、ＨＢＭ２メモリ・インターフェースを実装し、ＹはＵの半分に等しい。実施例では、ＨＢＭ２メモリ・スタックは、ＰＰＵと同じ物理パッケージ上に置かれ、従来のＧＤＤＲ５ ＳＤＲＡＭシステムに比べて、かなりの電力及び面積の節約を提供する。実施例では、各ＨＢＭ２スタックは、４つのメモリ・ダイを含み、Ｙは４に等しく、ＨＢＭ２スタックは、合計８チャネル及び１０２４ビットのデータ・バス幅のダイごとに、２つの１２８ビット・チャネルを含む。
【0065】
実施例では、メモリは、データを保護するために、シングルエラー訂正ダブルエラー検出（「ＳＥＣＤＥＤ」：Ｓｉｎｇｌｅ－Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｎｇ Ｄｏｕｂｌｅ－Ｅｒｒｏｒ Ｄｅｔｅｃｔｉｎｇ）エラー訂正コード（「ＥＣＣ」：Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｅ）をサポートする。ＥＣＣは、データ破損の影響を受けやすい計算アプリケーションに、より高い信頼性を提供する。信頼性は、ＰＰＵが非常に大きいデータセットを処理する、及び／又は、長期間アプリケーションを動かす、大規模クラスタ・コンピューティング環境において特に重要である。
【0066】
実施例では、ＰＰＵは、マルチレベル・メモリ階層を実装する。実施例では、メモリ区画ユニット９００は、単一の統合仮想アドレス空間をＣＰＵ及びＰＰＵメモリに提供するために、統合メモリをサポートし、仮想メモリ・システム間のデータ共有を可能にする。実施例では、より頻繁にページにアクセスしているＰＰＵの物理メモリにメモリ・ページが移されることを保証するために、他のプロセッサ上に置かれたメモリへのＰＰＵによるアクセスの頻度がトレースされる。実施例では、高速ＧＰＵ相互接続７０８は、ＣＰＵのページ・テーブルにＰＰＵが直接アクセスするのを可能にし、ＰＰＵによるＣＰＵメモリへのフル・アクセスを提供する、アドレス変換サービスをサポートする。
【0067】
実施例では、コピー・エンジンは、複数のＰＰＵの間で、又はＰＰＵとＣＰＵとの間で、データを移送する。実施例では、コピー・エンジンは、ページ・テーブルにマッピングされていないアドレスに対するページ・フォールトを生成することができ、メモリ区画ユニット９００は、次に、ページ・フォールトをサービスしてアドレスをページ・テーブルにマッピングし、この後、コピー・エンジンは移送を実施する。実施例では、メモリは、複数のプロセッサ間の複数のコピー・エンジン動作に対してピン留めされ（すなわち、ページング不能）、利用可能なメモリをかなり低減させる。実施例では、ハードウェアがページ・フォールトすると、メモリ・ページが常駐であるかどうかに関わらず、アドレスがコピー・エンジンに伝えられることが可能であり、コピー処理はわかりやすい。
【0068】
図７のメモリ又は他のシステム・メモリからのデータがメモリ区画ユニット９００によってフェッチされ、Ｌ２キャッシュ９０４に格納され、Ｌ２キャッシュ９０４は、チップ上に置かれ、１つの実施例による様々なＧＰＣ間で共有される。各メモリ区画ユニット９００は、実施例では、対応するメモリ・デバイスに関連付けられたＬ２キャッシュ９０４の少なくとも一部を含む。実施例では、より低いレベルのキャッシュが、ＧＰＣ内の様々なユニットに実装される。実施例では、ＳＭ９４０のそれぞれがレベル１（「Ｌ１」）キャッシュを実装し得、Ｌ１キャッシュは、特定のＳＭに専用のプライベート・メモリであり、Ｌ２キャッシュ９０４からのデータがフェッチされ、ＳＭの機能ユニットにおける処理のためにＬ１キャッシュのそれぞれに格納される。実施例では、Ｌ２キャッシュ９０４は、メモリ・インターフェース９０６及びＸＢａｒ７２０に連結される。
【0069】
ＲＯＰユニット９０２は、実施例における、色圧縮、ピクセルの融合などの、ピクセル色に関するグラフィックス・ラスター・オペレーションを実施する。ＲＯＰユニット９０２は、実施例では、ラスター・エンジンと共に深度テストを実装し、ラスター・エンジンのカリング・エンジンから、ピクセル断片に関連付けられたサンプル・ロケーションの深度を受信する。実施例では、深度は、断片に関連付けられたサンプル・ロケーションの深度バッファ内の対応する深度に対してテストされる。実施例では、断片がサンプル・ロケーションの深度テストに合格すると、ＲＯＰユニット９０２は深度バッファを更新し、深度テストの結果をラスター・エンジンに伝送する。区画ユニット９００の数は、ＧＰＣの数とは異なり得、したがって、各ＲＯＰユニット９０２は、実施例では、ＧＰＣのそれぞれに連結されることが可能であることが理解されよう。実施例では、ＲＯＰユニット９０２は、異なるＧＰＣから受信されたパケットを追跡し、ＲＯＰユニット９０２によって生成された結果のどれがＸｂａｒにルートされるかを決定する。
【0070】
図１０は、１つの実施例による、図８のストリーミング・マルチプロセッサなどの、ストリーミング・マルチプロセッサを示す。実施例では、ＳＭ１０００は、命令キャッシュ１００２、１つ又は複数のスケジューラ・ユニット１００４、レジスタ・ファイル１００８、１つ又は複数の処理コア１０１０、１つ又は複数の特別機能ユニット（「ＳＦＵ」：ｓｐｅｃｉａｌ ｆｕｎｃｔｉｏｎ ｕｎｉｔ）１０１２、１つ又は複数のロード／ストア・ユニット（「ＬＳＵ」：ｌｏａｄ／ｓｔｏｒｅ ｕｎｉｔ）１０１４、相互接続ネットワーク１０１６、共有メモリ／Ｌ１キャッシュ１０１８、及びその任意の適切な組合せを含む。実施例では、作業分散ユニットは、ＰＰＵのＧＰＣ上での実行のためのタスクをディスパッチし、各タスクがＧＰＣ内の特定のＤＰＣにアロケートされ、タスクがシェーダ・プログラムに関連付けられている場合、タスクは、ＳＭ１０００にアロケートされる。実施例では、スケジューラ・ユニット１００４は、作業分散ユニットからタスクを受信し、ＳＭ１０００に割り当てられた１つ又は複数のスレッド・ブロックのための命令スケジューリングを管理する。実施例では、スケジューラ・ユニット１００４は、並列スレッドのワープとしての実行のためのスレッド・ブロックをスケジュールし、各スレッド・ブロックは、少なくとも１つのワープをアロケートされる。実施例では、各ワープがスレッドを実行する。実施例では、スケジューラ・ユニット１００４は、複数の異なるスレッド・ブロックを管理し、ワープを異なるスレッド・ブロックにアロケートし、次に、各クロック・サイクル中に、複数の異なる協力グループからの命令を様々な機能ユニット（例えば、コア１０１０、ＳＦＵ１０１２、及びＬＳＵ１０１４）にディスパッチする。
【0071】
協力グループは、スレッドが通信している粒度を開発者が表現することを可能にする通信スレッドのグループを編成するためのプログラミング・モデルを指し得、より豊かでより効率的な並列分解の表現を可能にする。実施例では、協力起動ＡＰＩは、並列アルゴリズムの実行のためのスレッド・ブロック間の同期をサポートする。実施例では、従来のプログラミング・モデルのアプリケーションは、スレッド・ブロックの全てのスレッドにわたるバリアといった、協働スレッドを同期するための単一の簡単な構造を提供する（例えば、ｓｙｎｃｔｈｒｅａｄｓ（）関数）。それでも、プログラマは、しばしば、スレッド・ブロックの粒度より小さくスレッドのグループを定義すること、並びに、より大きいパフォーマンス、デザインの柔軟性、及び、集合的なグループ全体の機能インターフェースの形でのソフトウェア再使用を可能にするように定義されたグループ内で同期することを望む。協力グループは、プログラマが、サブブロック（すなわち、単一のスレッドと同じくらいの小ささ）、及びマルチ・ブロックの粒度で、スレッドのグループを明示的に定義すること、並びに、協力グループ内のスレッドに対する同期などの、集合的な動作を実施することを可能にする。プログラミング・モデルは、ソフトウェア境界をまたがるきれいな構成物をサポートし、これにより、ライブラリ及びユーティリティ機能は、集中についての仮定を行う必要なく、これらのローカル・コンテキスト内で間違いなく同期することができる。協力グループのプリミティブは、生産者－消費者並列処理（ｐｒｏｄｕｃｅｒ－ｃｏｎｓｕｍｅｒ ｐａｒａｌｌｅｌｉｓｍ）、オポチュニスティック並列処理（ｏｐｐｏｒｔｕｎｉｓｔｉｃ ｐａｒａｌｌｅｌｉｓｍ）、及び、スレッド・ブロックのグリッド全体にまたがるグローバル同期を含む、協力並列処理の新しいパターンを可能にする。
【0072】
実施例では、ディスパッチ・ユニット１００６は、機能ユニットの１つ又は複数に命令を伝送するように構成され、スケジューラ・ユニット１００４は、各クロック・サイクル中に、同じワープからの２つの異なる命令がディスパッチされることを可能にする２つのディスパッチ・ユニット１００６を含む。実施例では、各スケジューラ・ユニット１００４は、単一のディスパッチ・ユニット１００６又は追加のディスパッチ・ユニット１００６を含む。
【0073】
各ＳＭ１０００は、実施例では、ＳＭ１０００の機能ユニットのためのレジスタのセットを提供するレジスタ・ファイル１００８を含む。実施例では、レジスタ・ファイル１００８は、各機能ユニットがレジスタ・ファイル１００８の専用部分をアロケートされるように、機能ユニットのそれぞれの間で分割される。実施例では、レジスタ・ファイル１００８は、ＳＭ１０００によって実行されている異なるワープの間で分割され、レジスタ・ファイル１００８は、機能ユニットのデータ経路に接続されたオペランドのための一時記憶を提供する。実施例では、各ＳＭ１０００は、複数のＬ個の処理コア１０１０を備える。実施例では、ＳＭ１０００は、多くの（例えば、１２８個以上の）別個の処理コア１０１０を含む。各コア１０１０は、実施例では、浮動小数点論理演算ユニット及び整数算術論理演算装置を含む、完全にパイプライン化された単精度、倍精度、及び／又は混合精度の処理ユニットを含む。実施例では、浮動小数点論理演算ユニットは、浮動小数点演算のためのＩＥＥＥ７５４－２００８規格を実装する。実施例では、コア１０１０は、６４個の単精度（３２ビット）浮動小数点コア、６４個の整数コア、３２個の倍精度（６４ビット）浮動小数点コア、及び８個のテンソル・コアを含む。
【0074】
テンソル・コアは、実施例による行列演算を実施するように構成される。実施例では、１つ又は複数のテンソル・コアが、コア１０１０に含まれる。実施例では、テンソル・コアは、ニューラル・ネットワークの訓練及び推測のための畳み込み演算などの、深層学習行列計算を実施するように構成される。実施例では、各テンソル・コアは、４×４行列上で演算し、行列乗算及び累積演算Ｄ＝ＡｘＢ＋Ｃを実施し、ここで、Ａ、Ｂ、Ｃ、及びＤは、４ｘ４行列である。
【0075】
実施例では、行列乗算入力Ａ及びＢは、１６ビット浮動小数点行列であり、累積行列Ｃ及びＤは、１６ビット浮動小数点又は３２ビット浮動小数点行列である。実施例では、テンソル・コアは、３２ビット浮動小数点累積を伴う１６ビット浮動小数点入力データ上で演算する。実施例では、１６ビット浮動小数点乗算は、６４個の演算を要求し、４ｘ４ｘ４行列乗算のための他の中間積を伴う３２ビット浮動小数点加算を使用してその後累積される完全精度の積を生じる。テンソル・コアは、実施例では、これらの小さい方の要素から構築された、はるかに大きい２次元以上の行列演算を実施するために使用される。実施例では、ＣＵＤＡ９ Ｃ＋＋ＡＰＩなどのＡＰＩは、ＣＵＤＡ－Ｃ＋＋プログラムからテンソル・コアを効率的に使用するために、特化した行列ロード、行列乗算及び累積、並びに行列ストア動作を見せる。実施例では、ＣＵＤＡレベルでは、ワープレベル・インターフェースは、ワープの全３２個のスレッドに及ぶ１６ｘ１６サイズの行列を仮定する。
【0076】
実施例では、各ＳＭ１０００は、特別な機能（例えば、属性評価、逆数平方根、及び同様のもの）を実施するＭ個のＳＦＵ１０１２を備える。実施例では、ＳＦＵ１０１２は、階層型ツリー・データ構造を横断するように構成されたツリー横断ユニットを含む。実施例では、ＳＦＵ１０１２は、テクスチャ・マップ・フィルタリング動作を実施するように構成されたテクスチャ・ユニットを含む。実施例では、テクスチャ・ユニットは、メモリからテクスチャ・マップ（例えば、テクセルの２Ｄ配列）をロードし、テクスチャ・マップをサンプリングして、ＳＭ１０００によって実行されるシェーダ・プログラムにおける使用のためにサンプリングされたテクスチャ値を生み出すように構成される。実施例では、テクスチャ・マップは、共有メモリ／Ｌ１キャッシュに格納される。テクスチャ・ユニットは、１つの実施例による、ミップマップ（例えば、詳細の様々なレベルのテクスチャ・マップ）を使用したフィルタリング動作などのテクスチャ動作を実装する。実施例では、各ＳＭ１０００は、２つのテクスチャ・ユニットを含む。
【0077】
各ＳＭ１０００は、実施例における、共有メモリ／Ｌ１キャッシュ１０１８とレジスタ・ファイル１００８との間のロード及びストア動作を実装するＮ個のＬＳＵ９５４を備える。各ＳＭ１０００は、実施例における、機能ユニットのそれぞれをレジスタ・ファイル１００８に接続し、ＬＳＵ１０１４をレジスタ・ファイル１００８に接続し、共有メモリ／Ｌ１キャッシュ１０１８を接続する相互接続ネットワーク１０１６を含む。実施例では、相互接続ネットワーク１０１６は、機能ユニットのいずれかをレジスタ・ファイル１００８内のレジスタのいずれかに接続し、ＬＳＵ１０１４をレジスタ・ファイル、及び共有メモリ／Ｌ１キャッシュ１０１８内の記憶場所に接続するように構成されることが可能なクロスバーである。
【0078】
共有メモリ／Ｌ１キャッシュ１０１８は、実施例における、ＳＭ１０００とプリミティブ・エンジンとの間、及びＳＭ１０００におけるスレッド間の、データ・ストレージ及び通信を可能にする、オンチップ・メモリのアレイである。実施例では、共有メモリ／Ｌ１キャッシュ１０１８は、１２８ＫＢのストレージ容量を備え、ＳＭ１０００から区画ユニットへの経路内にある。共有メモリ／Ｌ１キャッシュ１０１８は、実施例では、読込み及び書込みをキャッシュするために使用される。共有メモリ／Ｌ１キャッシュ１０１８、Ｌ２キャッシュ、及びメモリの１つ又は複数は、補助記憶装置である。
【0079】
データ・キャッシュ及び共有メモリ機能を単一のメモリ・ブロックに結合させることは、実施例では、改善されたパフォーマンスを両方のタイプのメモリ・アクセスに提供する。容量は、実施例では、共有メモリが容量の半分を使用するように構成される場合、テクスチャ及びロード／ストア動作が残りの容量を使用できるなど、共有メモリを使用しないプログラムによってキャッシュとして使用されるか、使用可能である。共有メモリ／Ｌ１キャッシュ１０１８内の統合は、実施例による、高帯域幅及び低レイテンシ・アクセスを、頻繁に再使用されるデータに同時に提供しつつ、データをストリーミングするための高スループット管として、共有メモリ／Ｌ１キャッシュ１０１８が機能することを可能にする。汎用並列計算のために構成されるとき、グラフィックス処理に比べて、より単純な構成が使用されることが可能である。実施例では、固定機能画像処理装置が迂回され、はるかに単純なプログラミング・モデルを作り出す。汎用並列計算構成では、作業分散ユニットは、実施例では、スレッドのブロックを直接ＤＰＣに割り当て、分散させる。ブロック内のスレッドは、１つの実施例による、各スレッドが一意の結果を生成することを保証するために計算時に一意のスレッドＩＤを使用すること、プログラムを実行し、計算を実施するためにＳＭ１０００を使用すること、スレッド間で通信するために共有メモリ／Ｌ１キャッシュ１０１８を使用すること、並びに、共有メモリ／Ｌ１キャッシュ１０１８及びメモリ区画ユニットを通じてグローバル・メモリを読み書きするためにＬＳＵ１０１４を使用することを行って、同じプログラムを実行する。実施例では、汎用並列計算のために構成されるとき、ＳＭ１０００は、ＤＰＣ上で新しい作業を起動するためにスケジューラ・ユニットが使用できるコマンドを書き込む。
【0080】
実施例では、ＰＰＵは、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット型コンピュータ、サーバ、スーパーコンピュータ、スマートフォン（例えば、ワイヤレス、ハンドヘルド・デバイス）、パーソナル・デジタル・アシスタント（「ＰＤＡ」：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、デジタル・カメラ、車両、ヘッドマウント・ディスプレイ、ハンドヘルド電子デバイスなどに含まれるか、連結される。実施例では、ＰＰＵは、単一の半導体基板上で具体化される。実施例では、ＰＰＵは、追加のＰＰＵ、メモリ、縮小命令セット・コンピュータ（「ＲＩＳＣ」：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）ＣＰＵ、メモリ管理ユニット（「ＭＭＵ」：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）、デジタル・ツー・アナログ・コンバータ（「ＤＡＣ」：ｄｉｇｉｔａｌ ｔｏ ａｎａｌｏｇ ｃｏｎｖｅｒｔｅｒ）、及び同様のものなどの、１つ又は複数の他のデバイスと共に、システムオンチップ（「ＳｏＣ」：ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）に含まれる。
【0081】
実施例では、ＰＰＵは、１つ又は複数のメモリ・デバイスを含むグラフィック・カード上に含まれ得る。グラフィック・カードは、デスクトップ・コンピュータのマザーボード上のＰＣＩｅスロットとインターフェースするように構成され得る。さらに別の実施例では、ＰＰＵは、マザーボードのチップセットに含まれる統合画像処理装置（「ｉＧＰＵ」）であり得る。
【0082】
図１１は、１つの実施例による、様々なアーキテクチャ及び／又は機能が実装されることが可能なコンピュータ・システム１１００を示す。コンピュータ・システム１１００は、実施例では、本開示の至る所で説明される様々な処理及び方法を実装するように構成される。１つ又は複数の実施例では、コンピュータ・システム１１００は、データ・センタの構成要素内で、又は構成要素として、まとめて動作し、機械学習モデルを訓練すること、クラウド・コンピューティング環境を提供すること、１つ又は複数の仮想マシンをホストすること、及び他の高性能コンピューティング・タスクなどのタスクのために使用される、いくつかの同様に構成されたコンピュータ・システムの１つであり得る。１つ又は複数の実施例では、コンピュータ・システム１１００は、１つ又は複数の他のモノのインターネット（ＩｏＴ：Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）デバイス及び／又は敷地内サーバに通信可能に連結されたＩｏＴデバイスなどのエッジ・デバイスであり得る。
【0083】
実施例では、コンピュータ・システム１１００は、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ペリフェラル・コンポーネント・インターコネクト））、ＰＣＩエクスプレス、ＡＧＰ（Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ（アクセラレイティッド・グラフィックス・ポート））、ＨｙｐｅｒＴｒａｎｓｐｏｒｔ、又は、任意の他のバス若しくはポイント・ツー・ポイント通信プロトコルなどの、任意の適切なプロトコルを使用して実装された、通信バス１１１０に接続された少なくとも１つの中央処理装置１１０２を備える。実施例では、コンピュータ・システム１１００は、メイン・メモリ１１０４、及び（例えば、ハードウェア、ソフトウェア、又はその組合せとして実装された）制御ロジックを含み、データは、ランダム・アクセス・メモリ（「ＲＡＭ」：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）の形をとり得るメイン・メモリ１１０４に格納される。実施例では、ネットワーク・インターフェース・サブシステム１１２２は、コンピュータ・システム１１００からデータを受信し、他のシステムにデータを伝送するための、他のコンピューティング・デバイス及びネットワークへのインターフェースを提供する。
【0084】
コンピュータ・システム１１００は、実施例では、入力デバイス１１０８、並列処理システム１１１２、及び、（従来のＣＲＴ（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ（陰極線管））、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ（液晶ディスプレイ））、ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ（発光ダイオード））、プラズマ・ディスプレイ、又は他の適切なディスプレイ技術を使用して実装されることが可能な）ディスプレイ・デバイス１１０６を含む。実施例では、ユーザ入力は、キーボード、マウス、タッチパッド、マイクロフォンなどの入力デバイス１１０８から受信される。実施例では、前述のモジュールのそれぞれが、処理システムを形成するように、単一半導体プラットフォーム上に置かれることが可能である。
【0085】
本説明では、単一半導体プラットフォームは、唯一の一体型半導体ベース集積回路又はチップを指し得る。単一半導体プラットフォームという用語は、オンチップ動作をシミュレートする接続性が向上したマルチチップ・モジュールも指し、従来の中央処理装置（「ＣＰＵ」）及びバス実装形態の利用より、かなり改善し得ることに留意されたい。当然、様々なモジュールも、ユーザの要望に従って、別々に、又は半導体プラットフォームの様々な組合せで、置かれ得る。
【0086】
実施例では、コンピュータ・プログラムは、機械可読実行可能コード又はコンピュータ制御ロジック・アルゴリズムの形で、メイン・メモリ１１０４及び／又は２次ストレージに格納される。コンピュータ・プログラムは、１つ又は複数のプロセッサによって実行されると、１つの実施例による様々な機能をシステム１１００が実施することを可能にする。メモリ１１０４、ストレージ、及び／又は任意の他のストレージが、コンピュータ可読媒体の可能な実例である。２次ストレージは、ハードディスク・ドライブ、及び／又は、（フロッピー・ディスク・ドライブ、磁気テープ・ドライブ、コンパクト・ディスク・ドライブ、デジタル・バーサタイル・ディスク（「ＤＶＤ」）ドライブ、レコーディング・デバイス、ユニバーサル・シリアル・バス（「ＵＳＢ」）フラッシュ・メモリを表す）取外し可能ストレージ・ドライブなどの、任意の適切なストレージ・デバイス又はシステムを指し得る。
【0087】
実施例では、前の様々な図のアーキテクチャ及び／又は機能は、中央処理装置１１０２、並列処理システム１１１２、中央処理装置１１０２と並列処理システム１１１２両方の能力の少なくとも一部の能力がある集積回路、チップセット（例えば、関連機能を実施するための１つの単位として機能するようにデザインされ、販売される集積回路のグループ等）、及び集積回路の任意の適切な組合せのコンテキストにおいて実装される。
【0088】
実施例では、前の様々な図のアーキテクチャ及び／又は機能は、一般的なコンピュータ・システム、回路基板システム、エンターテイメント専用のゲーム機システム、特定用途向けシステムなどのコンテキストにおいて実装される。実施例では、コンピュータ・システム１１００は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット型コンピュータ、サーバ、スーパーコンピュータ、スマートフォン（例えば、ワイヤレス、ハンドヘルド・デバイス）、パーソナル・デジタル・アシスタント（「ＰＤＡ」）、デジタル・カメラ、車両、ヘッドマウント・ディスプレイ、ハンドヘルド電子デバイス、モバイル・フォン・デバイス、テレビ、ワークステーション、ゲーム機、組込み型システム、及び／又は他の任意のタイプのロジックの形をとり得る。
【0089】
実施例では、並列処理システム１１１２は、複数のＰＰＵ１１１４及び関連付けられたメモリ１１１６を含む。実施例では、ＰＰＵは、相互接続１１１８及びスイッチ１１２０又は多重化装置を介して、ホスト・プロセッサ又は他の周辺デバイスに接続される。実施例では、並列処理システム１１１２は、（例えば、複数のＧＰＵスレッド・ブロック全体への計算タスクの分散の一部として）並列可能なＰＰＵ１１１４全体に計算タスクを分散させる。実施例では、メモリは、ＰＰＵ１１１４のいくつか又は全てにわたって、（例えば、読込み及び／又は書込みアクセスために）共有され、アクセス可能であるが、このような共有メモリは、ローカル・メモリ、及びＰＰＵに常駐のレジスタの使用に比べて、性能上の不利を被ることがある。実施例では、ＰＰＵ１１１４の動作は、進む前にコードの実行の特定のポイントに達することを（例えば、複数のＰＰＵ１１１４にわたって実行される）ブロック内の全てのスレッドに要求するｓｙｎｃｔｈｒｅａｄｓ（）などのコマンドの使用を通じて同期される。
【0090】
本明細書及び図面は、したがって、制限的意味ではなく例証的な意味で評価されるべきである。それでも、特許請求の範囲に示されているような、本発明のより広い精神及び範囲から逸脱することなく、様々な修正及び変更が本明細書及び図面に行われ得ることが明らかであろう。
【0091】
他の変形形態は、本開示の精神内である。したがって、開示の技法は、様々な修正及び代替の構造の影響を受けやすいが、その特定の示された実施例が、図面に示され、詳細に上記で説明されてきた。それでも、本発明を特定の形式又は開示の形式に限定する意図はなく、むしろ意図は、添付の特許請求の範囲に定義されているような、本発明の精神及び範囲に含まれる全ての修正、代替の構造、及び同等物をカバーすることであることを理解されたい。
【0092】
開示の実施例を説明するコンテキストにおける（特に、以下の特許請求の範囲のコンテキストにおける）用語「ａ」及び「ａｎ」及び「ｔｈｅ」及び同様の指示概念の使用は、本明細書において別途指示がない限り、又はコンテキストと明確に矛盾しない限り、単数形と複数形両方をカバーするものと解釈されるべきである。用語「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、及び「収める（ｃｏｎｔａｉｎｉｎｇ）」は、別途述べられない限り、制約のない用語である（すなわち、「含むがこれらに限定されない」を意味する）と解釈されるべきである。用語「接続される」は、修正されず、物理接続を指すとき、介在するものがあっても、部分的又は全面的に収められる、取り付けられる、又は一緒に結合されると解釈されるべきである。本明細書における値の範囲の列挙は、本明細書において別途指示されない限り、範囲に含まれる各別々の値を個別に参照する簡潔な方法として機能することを意図するにすぎず、各別々の値は、本明細書において個別に列挙されたとしても、本明細書に組み込まれる。用語「セット」（例えば「項目のセット」）又は「サブセット」の使用は、別途述べられない限り、又はコンテキストと矛盾しない限り、１つ又は複数のメンバを含む非空コレクションと解釈されるべきである。さらに、別途述べられない限り、又はコンテキストと矛盾しない限り、対応するセットの「サブセット」という用語は、対応するセットの正規のサブセットを必ずしも示さず、サブセット及び対応するセットは等しくなり得る。
【0093】
「Ａ、Ｂ、及びＣのうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ Ｃ）」、又は「Ａ、Ｂ、及びＣのうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」という形の句などの接続的な言葉は、別途具体的に決められない限り、又は別途コンテキストと明確に矛盾しない限り、項目、用語等が、Ａ又はＢ又はＣ、或いは、Ａ及びＢ及びＣのセットの任意の非空サブセットであることを提示するために一般的に使用されるようなコンテキストと共に別途理解される。例えば、３つのメンバを有するセットの実例証となる実例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」並びに「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という接続的な句は、｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ，Ｂ｝、｛Ａ，Ｃ｝、｛Ｂ，Ｃ｝、｛Ａ，Ｂ，Ｃ｝というセットのいずれかを指す。したがって、このような接続的な言葉は、一般に、特定の実施例が、Ａのうちの少なくとも１つ、Ｂのうちの少なくとも１つ、及びＣのうちの少なくとも１つがそれぞれ存在する必要があることを示唆することを意図するものではない。さらに、別途述べられない限り、又はコンテキストと矛盾しない限り、用語「複数」は、複数であるという状態を指示する（例えば「複数の項目」が複数の項目を指示する）。複数における項目の数は、少なくとも２つであるが、明示的に又はコンテキストによってそのように指示されるとき、これより多いことが可能である。さらに、別途決められない限り、又は別途コンテキストから明らかでない限り、句「に基づいて」は、「に少なくとも部分的に基づいて」を意味し、「に単に基づいて」を意味しない。
【0094】
本明細書で説明される処理の動作は、本明細書で別途指示がない限り、又は別途コンテキストと明確に矛盾しない限り、任意の適切な順序で実施されることが可能である。実施例では、本明細書で説明されるこれらの処理（若しくは変形形態及び／又はその組合せ）などの処理は、実行可能命令で構成された１つ又は複数のコンピュータ・システムの制御下で実施され、ハードウェア又はその組合せによって１つ又は複数のプロセッサ上でまとめて実行するコード（例えば、実行可能命令、１つ若しくは複数のコンピュータ・プログラム、又は１つ若しくは複数のアプリケーション）として実装される。実施例では、コードは、例えば、１つ又は複数のプロセッサによって実行可能な複数の命令を含むコンピュータ・プログラムの形で、コンピュータ可読ストレージ媒体に格納される。実施例では、コンピュータ可読ストレージ媒体は、一時的な信号（例えば、伝搬する一時的な電気的又は電磁気的伝送）を除く非一時的コンピュータ可読ストレージ媒体であるが、一時的な信号の送受信機に非一時的データ・ストレージ回路機器（例えば、バッファ、キャッシュ、及びキュー）を含む。実施例では、コード（例えば、実行可能コード又はソース・コード）は、コンピュータ・システムの１つ又は複数のプロセッサによって実行されると（すなわち、実行された結果として）、本明細書で説明される動作をコンピュータ・システムに実施させる、実行可能命令を格納した１つ又は複数の非一時的コンピュータ可読ストレージ媒体のセット（又は実行可能命令を格納するための他のメモリ）に格納される。非一時的コンピュータ可読ストレージ媒体のセットは、実施例では、複数の非一時的コンピュータ可読ストレージ媒体と、複数の非一時的コンピュータ可読ストレージ媒体がコードの全てをまとめて格納しているが、コードの全てを欠いた複数の非一時的コンピュータ可読ストレージ媒体の個々の非一時的ストレージ媒体の１つ又は複数とを含む。実施例では、実行可能命令は、異なるプロセッサによって異なる命令が実行されるように、実行される（例えば、非一時的コンピュータ可読ストレージ媒体が命令を格納し、メインＣＰＵが、グラフィックス・プロセッサ・ユニットが他の命令を実行する間に、命令のうちのいくつかを実行する）。実施例では、コンピュータ・システムの異なる構成要素が、別々のプロセッサを有し、異なるプロセッサが、命令の異なるサブセットを実行する。
【0095】
したがって、実施例では、コンピュータ・システムは、本明細書で説明される処理の動作を単独で又はまとめて実施する１つ又は複数のサービスを実装するように構成され、このようなコンピュータ・システムは、動作の実施を可能にする適用可能なハードウェア及び／又はソフトウェアで構成される。さらに、本開示の実施例を実装するコンピュータ・システムは単一のデバイスであり、別の実施例では、分散型コンピュータ・システムが、本明細書で説明される動作を実施するように、及び、単一のデバイスが、全ての動作を実施しないように、それぞれに動作する複数のデバイスを含む分散型コンピュータ・システムである。
【0096】
本明細書で提供される任意及び全ての実例、又は例示的な言葉（例えば「などの」）の使用は、本発明の実施例をより良く明らかにすることを単に意図するものであり、別途特許請求されない限り、本発明の範囲に限定を課さない。本明細書における言葉は、本発明の実践に不可欠なものとして特許請求されないいずれかの要素を指示するものと解釈されるべきではない。
【0097】
本発明を実行するために発明者に知られた最善のモードを含む本開示の実施例が本明細書で説明される。これらの実施例の変形形態は、前述の説明を読むと、当業者に明らかになり得る。発明者は、このような変形形態を必要に応じて当業者が採用することを期待し、発明者は、本明細書で具体的に説明されるようなもの以外に本開示の実施例が別途実践されることを意図する。したがって、本開示の範囲は、適用可能な法律によって許可されるように、本明細書に添付の特許請求の範囲に列挙された主題の全ての変更形態及び同等物を含む。その上、その全ての可能な変形形態における上述の要素の任意の組合せは、本明細書において別途指示がない限り、又は別途コンテキストと明確に矛盾しない限り、本開示の範囲によって包含される。
【0098】
本明細書で引用される公報、特許出願、及び特許を含む全ての参照は、各参照が参照により組み込まれるものを個別且つ具体的に指示され、全体として本明細書において示される場合と同じ程度まで、本明細書によって参照により組み込まれる。
【0099】
本説明及び特許請求の範囲において、用語「連結される」及び「接続される」は、これらの派生語と共に、使用され得る。これらの用語は、互いの類義語として意図されないことがあることを理解されたい。むしろ、特定の実例では、「接続される」又は「連結される」は、２つ以上の要素が互いに直接又は間接の物理接触又は電気接触状態にあることを指示するために使用され得る。「連結される」は、２つ以上の要素が互いに直接の接触状態にないが、依然として互いに協働又は相互作用することも意味し得る。
【0100】
別途具体的に決められない限り、本明細書の至る所で、「処理すること」、「コンピューティング」、「計算すること」、「決定すること」、又は同様のものなどの用語が、コンピューティング・システムのレジスタ及び／又はメモリ内の電子的などの物理的な量として表されたデータを、コンピューティング・システムのメモリ、レジスタ又は他のこのような情報ストレージ、伝送又は表示デバイス内の物理的な量として同様に表された他のデータに、操作及び／又は変換する、コンピュータ若しくはコンピューティング・システム、又は同様の電子コンピューティング・デバイスのアクション及び／又は処理を指すことが認識され得る。
【0101】
同様の様式で、用語「プロセッサ」は、レジスタ及び／又はメモリからの電子データを処理し、電子データを、レジスタ及び／又はメモリに格納され得る他の電子データに変換する、任意のデバイス又はデバイスの一部を指し得る。非限定的な実例として、「プロセッサ」は、中央処理装置（ＣＰＵ）又は画像処理装置（ＧＰＵ）であり得る。「コンピューティング・プラットフォーム」は、１つ又は複数のプロセッサを備え得る。本明細書で使用されるように、「ソフトウェア」処理は、例えば、タスク、スレッド、及びインテリジェント・エージェントなどの、経時的な作業を実施するソフトウェア及び／又はハードウェア・エンティティを含み得る。また、各処理は、命令を順番又は並列に、連続的又は断続的に実行するための複数の処理を指し得る。用語「システム」及び「方法」は、システムが１つ又は複数の方法を具体化し得、方法がシステムとみなされ得る限りにおいて、本明細書において区別なく使用される。
【0102】
本文書では、アナログ又はデジタル・データをサブシステム、コンピュータ・システム、又はコンピュータ実装機械に取得すること、獲得すること、受信すること、又は入力することへの言及が行われ得る。アナログ及びデジタル・データの取得、獲得、受信、又は入力の処理は、アプリケーション・プログラミング・インターフェースへのファンクション・コール又はコールのパラメータとしてデータを受信することによるなど、様々なやり方で達成されることが可能である。いくつかの実装形態では、アナログ又はデジタル・データの取得、獲得、受信、又は入力の処理は、シリアル又はパラレル・インターフェースを介してデータを移送することによって達成されることが可能である。別の実装形態では、アナログ又はデジタル・データの取得、獲得、受信、又は入力の処理は、提供するエンティティから獲得するエンティティにコンピュータ・ネットワークを介してデータを移送することによって達成されることが可能である。アナログ又はデジタル・データを提供すること、出力すること、伝送すること、送ること、又は提示することへの言及も行われ得る。様々な実例では、アナログ又はデジタル・データを提供すること、出力すること、伝送すること、送ること、又は提示することの処理は、ファンクション・コールの入力又は出力パラメータ、アプリケーション・プログラミング・インターフェースのパラメータ、又はプロセス間通信メカニズムとしてデータを移送することによって達成されることが可能である。
【0103】
上記の議論は、説明される技法の実例の実装形態を示しているが、他のアーキテクチャが、説明される機能を実装するために使用され得、本開示の範囲内であることが意図される。さらに、議論のために責任の特定の分散が上記で定義されているが、様々な機能及び責任は、状況に応じて異なるやり方で分散及び分割され得る。
【0104】
本開示の少なくとも１つの実施例が、以下の節を考慮して説明されることが可能である。
１．
スピーチ速度に少なくとも部分的に基づいてスピーチ終了（ＥＯＳ）閾値を決定することと、
オーディオ入力のセグメントのセットのうちの少なくとも１つのセグメントについて、少なくとも１つのセグメントを表すキャラクタのセットを予測することと、
少なくとも１つのセグメントに対する予測されるキャラクタのセットについてＥＯＳ閾値が満たされるという決定に少なくとも部分的に基づいて、少なくとも１つのセグメントに対応するＥＯＳを決定することと
を含む、方法。
２．セグメントに対する予測されたキャラクタのセットが、キャラクタのセットのうちの１つのキャラクタの確率分布を、コネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能が出力として生成することによって生成される、節１の方法。
３．スピーチ速度が、単語間間隔のセットに少なくとも部分的に基づいて決定される、節２の方法。
４．ＥＯＳ閾値を決定することが、単語間間隔のセットの最大単語間間隔に少なくとも部分的に基づいてＥＯＳ閾値を修正することをさらに含む、節３の方法。
５．ＥＯＳ閾値を決定することが、単語間間隔のセットの中間値に少なくとも部分的に基づいてＥＯＳ閾値を修正することをさらに含む、節３又は４の方法。
６．ＥＯＳ閾値を決定することが、単語間間隔のセットの分散、及び単語間間隔のセットの最大単語間間隔に少なくとも部分的に基づいて、ＥＯＳ閾値を修正することをさらに含む、節３～５のいずれかの方法。
７．単語間間隔のセットが、キャラクタのセットのうちのキャラクタの第１のサブセットと、キャラクタのセットのうちのキャラクタの第２のサブセットとの間の時間を少なくとも決定することによって計算される、節３～６のいずれかの方法。
８．時間が、セグメントのセットのうちのいくつかのセグメントに対応する、節７の方法。
９．キャラクタのセットが、グリーディ選択アルゴリズムをＣＴＣ機能の出力に少なくとも適用することによって決定される、節７又は８の方法。
１０．キャラクタの第１のサブセット及びキャラクタの第２のサブセットが、ブランク記号をさらに含む、節９の方法。
１１．セグメントのセットのうちの少なくとも１つのセグメントに対応するＥＯＳを決定することが、セグメントに対する予測されたキャラクタのセットに含まれるブランク記号の割合を決定することをさらに含む、節１～１０のいずれかの方法。
１２．セグメントのセットのうちの少なくとも１つのセグメントに対応するＥＯＳを決定することが、割合がＥＯＳ閾値を超過したと決定することをさらに含む、節１１の方法。
１３．ブランク記号の割合を決定することが、第１の長さのスライディング・ウィンドウのブランク記号の割合を決定することをさらに含み、セグメントが、スライディング・ウィンドウに含まれる、節１１又は１２の方法。
１４．１つ又は複数のキャラクタのセットを予測することが、１つ又は複数のニューラル・ネットワークを使用して、１つ又は複数のキャラクタのセットを予測することを含む、節１～１３のいずれかの方法。
１５．１つ又は複数のキャラクタのセットを予測することが、キャラクタのセットのうちの１つのキャラクタの確率分布を出力として生成し、確率分布をＥＯＳ検出器に提供するコネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能に、１つ又は複数のニューラル・ネットワークの出力を適用することをさらに含む、節１４の方法。
１６．
システムであって、
１つ又は複数のプロセッサと、
命令を格納するメモリであって、命令は、１つ又は複数のプロセッサによって実行された結果として、システムに、
スピーチ速度に少なくとも部分的に基づいて決定されたスピーチ終了（ＥＯＳ）閾値の決定を生成すること、及び
ＥＯＳ閾値に少なくとも部分的に基づいてオーディオのウィンドウに対するＥＯＳの決定を生成すること
を行わせる、メモリと
を備える、システム。
１７．メモリが、命令をさらに含み、命令は、１つ又は複数のプロセッサによって実行された結果として、システムに、神経音響モデルを実装する１つ若しくは複数のニューラル・ネットワーク、又はコネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能のうちの少なくとも１つを使用して生成されたオーディオのウィンドウに対して予測されたキャラクタのセットを取得させる、節１６のシステム。
１８．メモリが、命令をさらに含み、命令は、１つ又は複数のプロセッサによって実行された結果として、システムに、
オーディオ信号から単語のセットを取得することであって、オーディオのウィンドウが、オーディオ信号の一部を表す、取得することと、
単語のセットに少なくとも部分的に基づいて決定された単語間間隔のセットに少なくとも部分的に基づいてスピーチ速度を決定することと
を行わせる、節１６又は１７のシステム。
１９．メモリが、命令をさらに含み、命令は、１つ又は複数のプロセッサによって実行された結果として、システムに、オーディオ信号を表すウィンドウのセットに含まれる単語のセットに少なくとも部分的に基づいて計算された単語間間隔のセットの最大値に少なくとも部分的に基づいてスピーチ速度を決定させ、オーディオのウィンドウが、ウィンドウのセットのメンバである、節１６～１８のいずれかのシステム。
２０．オーディオのウィンドウが、スピーチを含むオーディオ信号の複数の時間ステップを含む、節１６～１９のいずれかのシステム。
２１．メモリが、命令をさらに含み、命令は、１つ又は複数のプロセッサによって実行された結果として、システムに、スピーチ処理パイプラインを実行させ、
ＥＯＳの決定をシステムに生成させる命令が、１つ又は複数のプロセッサによって実行された結果として、システムに、スピーチ処理パイプラインの一部としてＥＯＳの決定を生成させる命令をさらに含む、
節１６～２０のいずれかのシステム。
２２．ＥＯＳの決定を生成することが、スピーチ処理パイプラインのＥＯＳ検出器によって実行される、節２１のシステム。
２３．
ＥＯＳ閾値に少なくとも部分的に基づいて、オーディオ信号のオーディオ・フレームのセットのうちのオーディオ・フレームのサブセットにスピーチ終了（ＥＯＳ）としてフラグを立てることであって、ＥＯＳ閾値が、単語間間隔のセットに少なくとも部分的に基づいて決定される、フラグを立てること
を含む、方法。
２４．方法が、音響モデルによって生成されたオーディオ・フレームのセットの特徴のセットを入力として使用して、コネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能によって生成されたキャラクタのセットに少なくとも部分的に基づいて単語間間隔のセットを決定することをさらに含む、節２３の方法。
２５．ＥＯＳ閾値を決定することが、ＥＯＳ閾値を単語間間隔のセットの平均間隔にセットすることをさらに含む、節２３又は２４の方法。
２６．方法が、オーディオ・フレームのサブセットにＥＯＳとしてフラグを立てることの結果として、オーディオ信号のトランスクリプトを生成することをさらに含む、節２３～２５のいずれかの方法。
２７．方法が、ＥＯＳ閾値をスピーチ認識パイプラインに提供することをさらに含む、節２３～２６のいずれかの方法。
２８．プロセッサであって、少なくとも部分的に、
１つ又は複数のニューラル・ネットワークによって、オーディオ入力のセグメントのセットのうちの１つのセグメントに対して、セグメントに関連付けられたキャラクタのセットを予測することと、
１つ又は複数のニューラル・ネットワークによって、セグメントに関連付けられたキャラクタのセットについてスピーチ終了（ＥＯＳ）閾値が満たされるという決定に少なくとも部分的に基づいて、セグメントに対応するＥＯＳを決定することと
によって、１つ又は複数のニューラル・ネットワークを使用して、スピーチ速度に少なくとも部分的に基づいて決定されたＥＯＳ閾値の決定を生成するための１つ又は複数の算術論理演算装置（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）を備える、プロセッサ。
２９．１つ又は複数のニューラル・ネットワークが、神経音響モデルをさらに備える、節２８のプロセッサ。
３０．１つ又は複数のニューラル・ネットワークが、スピーチ処理パイプラインを実装するために使用される、節２８又は２９のプロセッサ。
３１．１つ又は複数のＡＬＵが、音響モデルによって生成されたオーディオ入力のセグメントのセットの特徴のセットを入力として使用して、コネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能によって生成されたキャラクタのセットに少なくとも部分的に基づいて、単語間間隔のセットをさらに決定する、節２８～３０のいずれかのプロセッサ。
１．
スピーチ速度に少なくとも部分的に基づいてスピーチ終了（ＥＯＳ）閾値を決定することと、
オーディオ入力のセグメントのセットのうちの少なくとも１つのセグメントについて、少なくとも１つのセグメントを表すキャラクタのセットを予測することと、
少なくとも１つのセグメントに対する予測されるキャラクタのセットについてＥＯＳ閾値が満たされるという決定に少なくとも部分的に基づいて、少なくとも１つのセグメントに対応するＥＯＳを決定することと
を含む、方法。
２．セグメントに対する予測されたキャラクタのセットが、キャラクタのセットのうちの１つのキャラクタの確率分布を、コネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能が出力として生成することによって生成される、節１の方法。
３．スピーチ速度が、単語間間隔のセットに少なくとも部分的に基づいて決定される、節２の方法。
４．ＥＯＳ閾値を決定することが、単語間間隔のセットの最大単語間間隔に少なくとも部分的に基づいてＥＯＳ閾値を修正することをさらに含む、節３の方法。
５．ＥＯＳ閾値を決定することが、単語間間隔のセットの中間値に少なくとも部分的に基づいてＥＯＳ閾値を修正することをさらに含む、節３又は４の方法。
６．ＥＯＳ閾値を決定することが、単語間間隔のセットの分散、及び単語間間隔のセットの最大単語間間隔に少なくとも部分的に基づいて、ＥＯＳ閾値を修正することをさらに含む、節３～５のいずれかの方法。
７．単語間間隔のセットが、キャラクタのセットのうちのキャラクタの第１のサブセットと、キャラクタのセットのうちのキャラクタの第２のサブセットとの間の時間を少なくとも決定することによって計算される、節３～６のいずれかの方法。
８．時間が、セグメントのセットのうちのいくつかのセグメントに対応する、節７の方法。
９．キャラクタのセットが、グリーディ選択アルゴリズムをＣＴＣ機能の出力に少なくとも適用することによって決定される、節７又は８の方法。
１０．キャラクタの第１のサブセット及びキャラクタの第２のサブセットが、ブランク記号をさらに含む、節９の方法。
１１．セグメントのセットのうちの少なくとも１つのセグメントに対応するＥＯＳを決定することが、セグメントに対する予測されたキャラクタのセットに含まれるブランク記号の割合を決定することをさらに含む、節１～１０のいずれかの方法。
１２．セグメントのセットのうちの少なくとも１つのセグメントに対応するＥＯＳを決定することが、割合がＥＯＳ閾値を超過したと決定することをさらに含む、節１１の方法。
１３．ブランク記号の割合を決定することが、第１の長さのスライディング・ウィンドウのブランク記号の割合を決定することをさらに含み、セグメントが、スライディング・ウィンドウに含まれる、節１１又は１２の方法。
１４．１つ又は複数のキャラクタのセットを予測することが、１つ又は複数のニューラル・ネットワークを使用して、１つ又は複数のキャラクタのセットを予測することを含む、節１～１３のいずれかの方法。
１５．１つ又は複数のキャラクタのセットを予測することが、キャラクタのセットのうちの１つのキャラクタの確率分布を出力として生成し、確率分布をＥＯＳ検出器に提供するコネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能に、１つ又は複数のニューラル・ネットワークの出力を適用することをさらに含む、節１４の方法。
１６．
システムであって、
１つ又は複数のプロセッサと、
命令を格納するメモリであって、命令は、１つ又は複数のプロセッサによって実行された結果として、システムに、
スピーチ速度に少なくとも部分的に基づいて決定されたスピーチ終了（ＥＯＳ）閾値の決定を生成すること、及び
ＥＯＳ閾値に少なくとも部分的に基づいてオーディオのウィンドウに対するＥＯＳの決定を生成すること
を行わせる、メモリと
を備える、システム。
１７．メモリが、命令をさらに含み、命令は、１つ又は複数のプロセッサによって実行された結果として、システムに、神経音響モデルを実装する１つ若しくは複数のニューラル・ネットワーク、又はコネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能のうちの少なくとも１つを使用して生成されたオーディオのウィンドウに対して予測されたキャラクタのセットを取得させる、節１６のシステム。
１８．メモリが、命令をさらに含み、命令は、１つ又は複数のプロセッサによって実行された結果として、システムに、
オーディオ信号から単語のセットを取得することであって、オーディオのウィンドウが、オーディオ信号の一部を表す、取得することと、
単語のセットに少なくとも部分的に基づいて決定された単語間間隔のセットに少なくとも部分的に基づいてスピーチ速度を決定することと
を行わせる、節１６又は１７のシステム。
１９．メモリが、命令をさらに含み、命令は、１つ又は複数のプロセッサによって実行された結果として、システムに、オーディオ信号を表すウィンドウのセットに含まれる単語のセットに少なくとも部分的に基づいて計算された単語間間隔のセットの最大値に少なくとも部分的に基づいてスピーチ速度を決定させ、オーディオのウィンドウが、ウィンドウのセットのメンバである、節１６～１８のいずれかのシステム。
２０．オーディオのウィンドウが、スピーチを含むオーディオ信号の複数の時間ステップを含む、節１６～１９のいずれかのシステム。
２１．メモリが、命令をさらに含み、命令は、１つ又は複数のプロセッサによって実行された結果として、システムに、スピーチ処理パイプラインを実行させ、
ＥＯＳの決定をシステムに生成させる命令が、１つ又は複数のプロセッサによって実行された結果として、システムに、スピーチ処理パイプラインの一部としてＥＯＳの決定を生成させる命令をさらに含む、
節１６～２０のいずれかのシステム。
２２．ＥＯＳの決定を生成することが、スピーチ処理パイプラインのＥＯＳ検出器によって実行される、節２１のシステム。
２３．
ＥＯＳ閾値に少なくとも部分的に基づいて、オーディオ信号のオーディオ・フレームのセットのうちのオーディオ・フレームのサブセットにスピーチ終了（ＥＯＳ）としてフラグを立てることであって、ＥＯＳ閾値が、単語間間隔のセットに少なくとも部分的に基づいて決定される、フラグを立てること
を含む、方法。
２４．方法が、音響モデルによって生成されたオーディオ・フレームのセットの特徴のセットを入力として使用して、コネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能によって生成されたキャラクタのセットに少なくとも部分的に基づいて単語間間隔のセットを決定することをさらに含む、節２３の方法。
２５．ＥＯＳ閾値を決定することが、ＥＯＳ閾値を単語間間隔のセットの平均間隔にセットすることをさらに含む、節２３又は２４の方法。
２６．方法が、オーディオ・フレームのサブセットにＥＯＳとしてフラグを立てることの結果として、オーディオ信号のトランスクリプトを生成することをさらに含む、節２３～２５のいずれかの方法。
２７．方法が、ＥＯＳ閾値をスピーチ認識パイプラインに提供することをさらに含む、節２３～２６のいずれかの方法。
２８．プロセッサであって、少なくとも部分的に、
１つ又は複数のニューラル・ネットワークによって、オーディオ入力のセグメントのセットのうちの１つのセグメントに対して、セグメントに関連付けられたキャラクタのセットを予測することと、
１つ又は複数のニューラル・ネットワークによって、セグメントに関連付けられたキャラクタのセットについてスピーチ終了（ＥＯＳ）閾値が満たされるという決定に少なくとも部分的に基づいて、セグメントに対応するＥＯＳを決定することと
によって、１つ又は複数のニューラル・ネットワークを使用して、スピーチ速度に少なくとも部分的に基づいて決定されたＥＯＳ閾値の決定を生成するための１つ又は複数の算術論理演算装置（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）を備える、プロセッサ。
２９．１つ又は複数のニューラル・ネットワークが、神経音響モデルをさらに備える、節２８のプロセッサ。
３０．１つ又は複数のニューラル・ネットワークが、スピーチ処理パイプラインを実装するために使用される、節２８又は２９のプロセッサ。
３１．１つ又は複数のＡＬＵが、音響モデルによって生成されたオーディオ入力のセグメントのセットの特徴のセットを入力として使用して、コネクショニスト・テンポラル・クラシフィケーション（ＣＴＣ）機能によって生成されたキャラクタのセットに少なくとも部分的に基づいて、単語間間隔のセットをさらに決定する、節２８～３０のいずれかのプロセッサ。
【0105】
さらに、構造的特徴及び／又は方法論的行為に固有の言葉で主題が説明されてきたが、添付の特許請求の範囲において定義される主題は、説明される固有の特徴又は行為に必ずしも限定されないことが理解されよう。むしろ、固有の特徴及び行為は、特許請求の範囲の実装の例示的な形式として開示される。
【0106】
サーバ及びデータ・センタ
以下の図は、少なくとも１つの実施例を実装するために使用されることが可能な例示的なネットワーク・サーバ及びデータ・センタ・ベースのシステムを、限定することなく示す。
以下の図は、少なくとも１つの実施例を実装するために使用されることが可能な例示的なネットワーク・サーバ及びデータ・センタ・ベースのシステムを、限定することなく示す。
【0107】
図１２は、少なくとも１つの実施例による分散型システム１２００を示す。少なくとも１つの実施例では、分散型システム１２００は、１つ又は複数のクライアント・コンピューティング・デバイス１２０２、１２０４、１２０６、及び１２０８を含み、これらのクライアント・コンピューティング・デバイスは、１つ又は複数のネットワーク１２１０上でウェブ・ブラウザ、独自のクライアント、及び／又はその変形形態などのクライアント・アプリケーションを実行及び動作させるように構成される。例えば、１つ又は複数のクライアント・コンピューティング・デバイス１２０２、１２０４、１２０６、及び１２０８は、上記で説明されたような、オーディオ・キャプチャ・デバイスを実行するためのアプリケーションを実行する。少なくとも１つの実施例では、サーバ１２１２は、ネットワーク１２１０を介して、リモート・クライアント・コンピューティング・デバイス１２０２、１２０４、１２０６、及び１２０８と通信可能に連結され得る。さらに、サーバ１２１２は、様々な実施例では、上記で説明されたような、スピーチ処理パイプラインのオーディオ解析器及び／又は構成要素を実行する。
【0108】
少なくとも１つの実施例では、サーバ１２１２は、複数のデータ・センタにまたがるシングル・サイン・オン（ＳＳＯ）アクセスのセッション活動を管理し得るサービス及びアプリケーションなどの、１つ又は複数のサービス又はソフトウェア・アプリケーションを動かすように適合され得る。少なくとも１つの実施例では、サーバ１２１２は、非仮想環境及び仮想環境を含むことができる他のサービス又はソフトウェア・アプリケーションも提供し得る。少なくとも１つの実施例では、これらのサービスは、ウェブベース・サービス若しくはクラウド・サービスとして、又は、サービスとしてのソフトウェア（ＳａａＳ）モデルのもとで、クライアント・コンピューティング・デバイス１２０２、１２０４、１２０６、及び／又は１２０８のユーザに提供され得る。少なくとも１つの実施例では、クライアント・コンピューティング・デバイス１２０２、１２０４、１２０６、及び／又は１２０８を動作させるユーザは、今度は、１つ又は複数のクライアント・アプリケーションを利用して、サーバ１２１２と相互作用し、これらの構成要素によって提供されたサービスを利用し得る。
【0109】
少なくとも１つの実施例では、システム１２００のソフトウェア構成要素１２１８、１２２０、及び１２２２は、サーバ１２１２上に実装される。少なくとも１つの実施例では、システム１２００の１つ若しくは複数の構成要素、及び／又はこれらの構成要素によって提供されたサービスも、クライアント・コンピューティング・デバイス１２０２、１２０４、１２０６、及び／又は１２０８の１つ又は複数によって実装され得る。少なくとも１つの実施例では、クライアント・コンピューティング・デバイスを動作させるユーザは、次に、１つ又は複数のクライアント・アプリケーションを利用して、これらの構成要素によって提供されたサービスを使用し得る。少なくとも１つの実施例では、これらの構成要素は、ハードウェア、ファームウェア、ソフトウェア、又はその組合せにおいて実装され得る。分散型システム１２００とは異なり得る様々な異なるシステム構成が可能であることを理解されたい。図１２に示された実施例は、したがって、実施例のシステムを実装するための分散型システムの１つの実例であり、限定することを意図するものではない。
【0110】
少なくとも１つの実施例では、クライアント・コンピューティング・デバイス１２０２、１２０４、１２０６、及び／又は１２０８は、様々なタイプのコンピューティング・システムを含み得る。少なくとも１つの実施例では、クライアント・コンピューティング・デバイスは、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ（登録商標）などのソフトウェア、並びに／又は、ｉＯＳ、Ｗｉｎｄｏｗｓ Ｐｈｏｎｅ、Ａｎｄｒｏｉｄ、ＢｌａｃｋＢｅｒｒｙ１０、Ｐａｌｍ ＯＳ、及び／若しくはこれらの変形形態などの様々なモバイル・オペレーティング・システムを動かす、ポータブル・ハンドヘルド・デバイス（例えば、ｉＰｈｏｎｅ（登録商標）、セルラー電話、ｉＰａｄ（登録商標）、コンピューティング・タブレット、パーソナル・デジタル・アシスタント（ＰＤＡ））、又はウェアラブル・デバイス（例えば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）ヘッドマウント・ディスプレイ）を含み得る。少なくとも１つの実施例では、デバイスは、様々なインターネット関連アプリ、電子メール、ショート・メッセージ・サービス（ＳＭＳ）アプリケーションなどの様々なアプリケーションをサポートし得、他の様々な通信プロトコルを使用し得る。少なくとも１つの実施例では、クライアント・コンピューティング・デバイスは、実例として、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈ（登録商標）、及び／又はＬｉｎｕｘ（登録商標）オペレーティング・システムの様々なバージョンを動かす、パーソナル・コンピュータ及び／又はラップトップ・コンピュータを含む汎用パーソナル・コンピュータも含み得る。少なくとも１つの実施例では、クライアント・コンピューティング・デバイスは、Ｇｏｏｇｌｅ Ｃｈｒｏｍｅ ＯＳなどの様々なＧＮＵ／Ｌｉｎｕｘ（登録商標）オペレーティング・システムを限定することなく含む様々な市販のＵＮＩＸ（登録商標）又はＵＮＩＸ（登録商標）ライクなオペレーティング・システムのいずれかを動かす、ワークステーション・コンピュータであることが可能である。少なくとも１つの実施例では、クライアント・コンピューティング・デバイスは、シンクライアント・コンピュータ、インターネット対応ゲーミング・システム（例えば、Ｋｉｎｅｃｔ（登録商標）ジェスチャ入力デバイスを伴う若しくは伴わない、Ｍｉｃｒｏｓｏｆｔ Ｘｂｏｘゲーム機）、及び／又は、ネットワーク１２１０で通信することができるパーソナル・メッセージング・デバイスなどの電子デバイスも含み得る。図１２の分散型システム１２００は、４つのクライアント・コンピューティング・デバイスを用いて示されているが、任意の数のクライアント・コンピューティング・デバイスがサポートされ得る。センサ等を伴うデバイスなどの他のデバイスが、サーバ１２１２と相互作用し得る。
【0111】
少なくとも１つの実施例では、分散型システム１２００におけるネットワーク１２１０は、ＴＣＰ／ＩＰ（ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｎｔｒｏｌ ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ（トランスミッション・コントロール・プロトコル／インターネット・プロトコル））、ＳＮＡ（（ｓｙｓｔｅｍｓ ｎｅｔｗｏｒｋ ａｒｃｈｉｔｅｃｔｕｒｅ（システム・ネットワーク・アーキテクチャ））、ＩＰＸ（Ｉｎｔｅｒｎｅｔ ｐａｃｋｅｔ ｅｘｃｈａｎｇｅ（インターネット・パケット交換））、ＡｐｐｌｅＴａｌｋ、及び／又はその変形形態を限定することなく含む、様々な利用可能なプロトコルのいずれかを使用したデータ通信をサポートすることができる、任意のタイプのネットワークであり得る。少なくとも１つの実施例では、ネットワーク１２１０は、ローカル・エリア・ネットワーク（ＬＡＮ）、イーサネットに基づくネットワーク、トークンリング、ワイド・エリア・ネットワーク、インターネット、仮想ネットワーク、仮想プライベート・ネットワーク（ＶＰＮ）、イントラネット、エクストラネット、公衆交換電話網（ＰＳＴＮ）、赤外線ネットワーク、ワイヤレス・ネットワーク（例えば、電気電子技術者協会（ＩＥＥＥ）８０２．１１プロトコルスイートのいずれかのもとで動作するネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及び／若しくは任意の他のワイヤレス・プロトコル）、並びに／又は、これら及び／若しくは他のネットワークの任意の組合せであることが可能である。
【0112】
少なくとも１つの実施例では、サーバ１２１２は、１つ又は複数の汎用コンピュータ、（例として、ＰＣ（パーソナル・コンピュータ）サーバ、ＵＮＩＸ（登録商標）サーバ、ミッドレンジ・サーバ、メインフレーム・コンピュータ、ラックマウント型サーバ等を含む）特化されたサーバ・コンピュータ、サーバ・ファーム、サーバ・クラスタ、又は、任意の他の適切な配置及び／若しくは組合せから成り得る。少なくとも１つの実施例では、サーバ１２１２は、仮想オペレーティング・システムを動かす１つ若しくは複数の仮想マシン、又は、仮想化を伴う他のコンピューティング・アーキテクチャを含むことができる。少なくとも１つの実施例では、論理ストレージ・デバイスの１つ又は複数の柔軟なプールが、サーバのための仮想ストレージ・デバイスを維持するために仮想化されることが可能である。少なくとも１つの実施例では、仮想ネットワークは、ソフトウェア定義ネットワーキングを使用して、サーバ１２１２によって制御されることが可能である。少なくとも１つの実施例では、サーバ１２１２は、１つ又は複数のサービス又はソフトウェア・アプリケーションを動かすように適合され得る。
【0113】
少なくとも１つの実施例では、サーバ１２１２は、任意のオペレーティング・システム、及び、任意の市販のサーバ・オペレーティング・システムを動かし得る。少なくとも１つの実施例では、サーバ１２１２は、ＨＴＴＰ（ｈｙｐｅｒｔｅｘｔ ｔｒａｎｓｐｏｒｔ ｐｒｏｔｏｃｏｌ（ハイパーテキスト転送プロトコル））サーバ、ＦＴＰ（ｆｉｌｅ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ（ファイル転送プロトコル））サーバ、ＣＧＩ（ｃｏｍｍｏｎ ｇａｔｅｗａｙ ｉｎｔｅｒｆａｃｅ（コモン・ゲートウェイ・インターフェース））サーバ、ＪＡＶＡ（登録商標）サーバ、データベース・サーバ、及び／又はその変形形態を含む、様々な追加のサーバ・アプリケーション及び／又は中間階層アプリケーションのいずれかも動かし得る。少なくとも１つの実施例では、例示的なデータベース・サーバは、Ｏｒａｃｌｅ、Ｍｉｃｒｏｓｏｆｔ、Ｓｙｂａｓｅ、ＩＢＭ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ）、及び／又はその変形形態から商業的に利用可能なものを限定することなく含む。
【0114】
少なくとも１つの実施例では、分散型システム１２００は、１つ又は複数のデータベース１２１４及び１２１６も含み得る。少なくとも１つの実施例では、データベースは、オーディオなどの情報、スピーチ速度情報、ユーザ情報、使用パターン情報、適合ルール情報、及び他の情報を格納するためのメカニズムを提供し得る。少なくとも１つの実施例では、データベース１２１４及び１２１６は、様々なロケーションに常駐し得る。少なくとも１つの実施例では、データベース１２１４及び１２１６の１つ又は複数は、サーバ１２１２にローカルな（及び／又はサーバ１２１２に常駐の）非一時的ストレージ媒体に常駐し得る。少なくとも１つの実施例では、データベース１２１４及び１２１６は、サーバ１２１２から離れており、ネットワーク・ベース接続又は専用接続を介してサーバ１２１２と通信状態にあり得る。少なくとも１つの実施例では、データベース１２１４及び１２１６は、ストレージエリア・ネットワーク（ＳＡＮ）に常駐し得る。少なくとも１つの実施例では、サーバ１２１２に帰する機能を実施するために必要な任意のファイルが、必要に応じて、サーバ１２１２上でローカルに、及び／又はリモートに、格納され得る。少なくとも１つの実施例では、データベース１２１４及び１２１６は、ＳＱＬフォーマットのコマンドに応じてデータを格納、更新、及び検索するように適合されたデータベースなどのリレーショナル・データベースを含み得る。
【0115】
図１３は、少なくとも１つの実施例による、クラウド・コンピューティング環境１３０２を示す。少なくとも１つの実施例では、クラウド・コンピューティング環境１３０２は、１つ又は複数のコンピュータ・システム／サーバ１３０４を備え、これと、パーソナル・デジタル・アシスタント（ＰＤＡ）若しくはセルラー電話１３０６Ａ、デスクトップ・コンピュータ１３０６Ｂ、ラップトップ・コンピュータ１３０６Ｃ、及び／又は自動車コンピュータ・システム１３０６Ｎなどのコンピューティング・デバイスが通信する。少なくとも１つの実施例では、これは、各クライアントがこのようなリソースを別々に維持する必要がないように、クラウド・コンピューティング環境１３０２からのサービスとして、インフラストラクチャ、プラットフォーム、及び／又はソフトウェアが提供されることを可能にする。図１３に示されたコンピューティング・デバイス１３０６Ａ～１３０６Ｎのタイプが例証だけを意図していること、並びに、クラウド・コンピューティング環境１３０２が、任意のタイプのネットワーク、及び／又は、（例えば、ウェブ・ブラウザを使用した）ネットワーク／アドレス可能接続で、任意のタイプのコンピュータ化デバイスと通信できることが理解されている。様々な実施例では、コンピューティング・デバイス１３０６Ａ～１３０６Ｎは、オーディオを単にキャプチャし、キャプチャされたオーディオ（例えば、入力オーディオ）を１つ又は複数のコンピュータ・システム／サーバ１３０４に通信し得る。例えば、自動車コンピュータ・システム１３０６Ｎは、キャプチャされたオーディオを処理せずに、キャプチャ・オーディオを、キャビン内から直接１つ又は複数のコンピュータ・システム／サーバ１３０４に伝送する。
【0116】
少なくとも１つの実施例では、コンピュータ・システム／サーバ１３０４は、クラウド・コンピューティング・ノードと表されることが可能であり、非常に多くの他の汎用又は特殊用途のコンピューティング・システム環境又は構成で動作可能である。少なくとも１つの実施例では、コンピュータ・システム／サーバ１３０４との使用に適し得るコンピューティング・システム、環境、及び／又は構成の実例は、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルド又はラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベース・システム、セット・トップ・ボックス、プログラム可能家庭用電化製品、ネットワークＰＣ、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、並びに、上記のシステム若しくはデバイスのいずれか、及び／又はその変形形態を含む分散型クラウド・コンピューティング環境を含むがこれらに限定されない。
【0117】
少なくとも１つの実施例では、コンピュータ・システム／サーバ１３０４は、コンピュータ・システムによって実行される、プログラム・モジュールなどの、コンピュータ・システム実行可能命令の一般的なコンテキストで説明され得る。少なくとも１つの実施例では、プログラム・モジュールは、特定のタスクを実施するか、特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを含む。少なくとも１つの実施例では、例示的なコンピュータ・システム／サーバ１３０４は、通信ネットワークを通じてリンクされたリモート処理デバイスによってタスクが実施される分散型クラウド・コンピューティング環境で実践され得る。少なくとも１つの実施例では、分散型クラウド・コンピューティング環境において、プログラム・モジュールは、メモリ・ストレージ・デバイスを含むローカルとリモート両方のコンピュータ・システム・ストレージ媒体内に置かれ得る。
【0118】
図１４は、少なくとも１つの実施例による、クラウド・コンピューティング環境１３０２（図１３）によって提供される機能抽象化レイヤのセットを示す。図１４に示されている構成要素、レイヤ、及び機能は、例証だけを意図するものであり、構成要素、レイヤ、及び機能は変化し得ることを予め理解されたい。
【0119】
少なくとも１つの実施例では、ハードウェア及びソフトウェア・レイヤ１４０２は、ハードウェア及びソフトウェア構成要素を含む。少なくとも１つの実施例では、ハードウェア構成要素の実例は、メインフレーム、様々なＲＩＳＣ（縮小命令セット・コンピュータ）アーキテクチャ・ベース・サーバ、様々なコンピューティング・システム、スーパーコンピューティング・システム、ストレージ・デバイス、ネットワーク、ネットワーキング構成要素、及び／又はその変形形態を含む。少なくとも１つの実施例では、ソフトウェア構成要素の実例は、ネットワーク・アプリケーション・サーバ・ソフトウェア、様々なアプリケーション・サーバ・ソフトウェア、様々なデータベース・ソフトウェア、及び／又はその変形形態を含む。
【0120】
少なくとも１つの実施例では、仮想化レイヤ１４０４は抽象化レイヤを提供し、抽象化レイヤから、仮想サーバ、仮想ストレージ、（仮想プライベート・ネットワークを含む）仮想ネットワーク、仮想アプリケーション、仮想クライアント、及び／又はその変形形態といった例示的な仮想エンティティが提供され得る。
【0121】
少なくとも１つの実施例では、管理レイヤ１４０６は、様々な機能を提供する。少なくとも１つの実施例では、リソース提供は、クラウド・コンピューティング環境内のタスクを実施するために利用されるコンピューティング・リソース及び他のリソースの動的な調達を提供する。少なくとも１つの実施例では、メータリングは、クラウド・コンピューティング環境内でリソースが利用されるときの使用量追跡、及び、これらのリソースの消費量に対する請求書送付又はインボイス送付を提供する。少なくとも１つの実施例では、リソースは、アプリケーション・ソフトウェア・ライセンスを含み得る。少なくとも１つの実施例では、セキュリティは、ユーザ及びタスクに対する本人確認、並びに、データ及び他のリソースの保護を提供する。少なくとも１つの実施例では、ユーザ・インターフェースは、ユーザとシステム・アドミニストレータ両方に、クラウド・コンピューティング環境へのアクセスを提供する。少なくとも１つの実施例では、サービス・レベル管理は、要求されるサービス・レベルが満たされるように、クラウド・コンピューティング・リソースのアロケート及び管理を行う。少なくとも１つの実施例では、サービス・レベル契約（ＳＬＡ：Ｓｅｒｖｉｃｅ Ｌｅｖｅｌ Ａｇｒｅｅｍｅｎｔ）管理は、ＳＬＡに応じて将来要件が予想されるクラウド・コンピューティング・リソースの事前配置及び調達を提供する。
【0122】
少なくとも１つの実施例では、ワークロード・レイヤ１４０８は、クラウド・コンピューティング環境が利用される機能を提供する。少なくとも１つの実施例では、このレイヤから提供され得るワークロード及び機能の実例は、マッピング及びナビゲーション、ソフトウェア開発及び管理、教育サービス、データ解析及び処理、トランザクション処理、並びにサービス配信を含む。例えば、ワークロード・レイヤ１４０８は、上記で説明されたような、スピーチ処理パイプラインの全て又は一部を実施し得る。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【国際調査報告】