特許 7597796 対話システムのセマンティックパーサを訓練するための敵対的生成ネットワークの使用

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】対話システムのセマンティックパーサを訓練するための敵対的生成ネットワークの使用

(51)【国際特許分類】

   G06F 40/30 20200101AFI20241203BHJP

   G06F 40/216 20200101ALI20241203BHJP

【ＦＩ】

G06F40/30

G06F40/216

【請求項の数】 8

(21)【出願番号】P 2022515928

(86)(22)【出願日】2020-08-13

(65)【公表番号】

(43)【公表日】2022-11-16

(86)【国際出願番号】 US2020046072

(87)【国際公開番号】W WO2021050197

(87)【国際公開日】2021-03-18

【審査請求日】2023-03-20

(31)【優先権主張番号】62/898,682

(32)【優先日】2019-09-11

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502303739

【氏名又は名称】オラクル・インターナショナル・コーポレイション

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ドゥオング，タン・ロング

(72)【発明者】

【氏名】ジョンソン，マーク・エドワード

【審査官】成瀬 博之

(56)【参考文献】

【文献】特開２０１８－０３６４１３（ＪＰ，Ａ）

【文献】特開２０１９－１２５３１７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／００１３０１２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０１６３６９１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ４０／２０－４０／５８

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

対話システムのセマンティックパーサを訓練するための方法であって、前記方法は、
シードタプルを含むシードデータにアクセスするステップを含み、前記シードデータの各シードタプルは、それぞれのシード発話と、前記それぞれのシード発話に対応するそれぞれのシード論理形式とを含み、前記方法はさらに、
敵対的生成ネットワーク（ＧＡＮ）において、前記シードデータを入力として、前記セマンティックパーサおよび識別器を訓練するステップを含み、
前記ＧＡＮにおいて、前記シードデータを入力として、前記セマンティックパーサおよび前記識別器を訓練するステップは、
ランダムな発話を前記セマンティックパーサに入力するステップと、
前記セマンティックパーサが、前記ランダムな発話に基づいて、生成された論理形式を決定するステップと、
生成されたタプルと前記シードデータから選択されたシードタプルの部分集合とを含むタプルを前記識別器に入力するステップとを含み、前記生成されたタプルは、前記ランダムな発話と前記生成された論理形式とを含み、前記ＧＡＮにおいて前記セマンティックパーサおよび前記識別器を訓練するステップはさらに、
前記識別器が、前記識別器に入力された前記タプルの各々の予測される真正性の各々を決定するステップと、
前記予測される真正性の各々を、前記識別器に入力された前記タプルの各々の実際の真正性の各々と比較するステップと、
前記比較の結果に基づいて、前記予測される真正性および前記実際の真正性の誤差を小さくするように、前記識別器を更新するステップとを含み、
前記実際の真正性の各々は、前記識別器に入力された前記タプルの各々が前記シードタプルの１つであるか、または、前記生成されたタプルの１つであるかの事実を示す、方法。

【請求項2】

前記ＧＡＮにおいて前記セマンティックパーサおよび前記識別器を訓練するステップはさらに、
シード発話を前記セマンティックパーサに入力するステップを含み、前記シード発話は前記シードタプルから選択され、前記ＧＡＮにおいて前記セマンティックパーサおよび前記識別器を訓練するステップはさらに、
前記セマンティックパーサが、前記シード発話に基づいて、追加の生成された論理形式を決定するステップと、
前記シードデータからの前記シード発話と前記追加の生成された論理形式とを含む追加の生成されたタプルを前記識別器に入力するステップと、
前記識別器が、前記追加の生成されたタプルの追加の予測される真正性を決定するステップと、
前記追加の予測される真正性を、前記追加の生成されたタプルの全てが真正であることを示す前記追加の生成されたタプルの選択された真正性と比較するステップと、
前記比較の結果に基づいて、前記追加の予測される真正性および前記選択された真正性の誤差が小さくなるように、前記セマンティックパーサを更新するステップと、を含む、請求項１に記載の方法。

【請求項3】

前記ＧＡＮにおいて前記セマンティックパーサおよび前記識別器を訓練するステップは、
更新された識別器を決定するために、前記セマンティックパーサが訓練されず静的である間に前記セマンティックパーサからの出力に基づいて前記シードデータの第１の部分を用いて前記識別器を訓練するステップと、
更新されたセマンティックパーサを決定するために、前記更新された識別器が訓練されず静的である間に前記更新された識別器からの出力に基づいて前記シードデータの前記第１の部分と異なる第２の部分を用いて前記セマンティックパーサを訓練するステップとを含む、請求項１または２に記載の方法。

【請求項4】

前記セマンティックパーサはシーケンス間（sequence-to-sequence）モデルであり、前記識別器はバイナリ分類器である、請求項３に記載の方法。

【請求項5】

前記対話システムが音声入力を受信するステップと、
発話を決定するために自動音声認識サブシステムを前記音声入力に適用するステップと、
論理形式を決定するために前記セマンティックパーサを前記発話に適用するステップと、
前記音声入力に応答して応答テキストを生成するために前記論理形式を分析するステップと、
前記対話システムのための音響出力を決定するためにテキスト読み上げサブシステムを前記応答テキストに適用するステップとをさらに含む、請求項１～４のいずれか１項に記載の方法。

【請求項6】

請求項１～５いずれか１項に記載の方法をコンピュータに実行させるための、プログラム。

【請求項7】

請求項６に記載のプログラムを格納したストレージと、
前記プログラムを実行するための１つ以上のプロセッサとを備える、システム。

【請求項8】

音声入力を受信するための音声入力モジュールと、
前記音声入力の解釈に基づいて１つ以上のアクションを行なうかまたは行なわせるために、請求項１～５のいずれか１項に記載の訓練方法を使用することによって取得されたセマンティックパーサを利用し、応答を準備する、対話処理モジュールと、
前記応答を出力するための音声出力モジュールとを含む、対話システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願との相互参照
本開示は、２０１９年９月１１日に出願された、「セマンティックパーサを訓練するための敵対的生成ネットワークの利用」（Utilizing a Generative Adversarial Network to Train a Semantic Parser）についての米国仮出願連続番号第６２／８９８，６８２号の優先権を主張する。当該仮出願は、その全体がここに引用により援用される。

【0002】

技術分野
本開示は対話システムに関し、より特定的には、セマンティックパーサが敵対的生成ネットワークの敵対的状況に基づいて論理形式を生成することを効果的に学習するように、対話システムにおける使用のためにセマンティックパーサを訓練するために敵対的生成ネットワークを使用するための手法に関する。

【背景技術】

【0003】

ますます多くのデバイスが現在、ユーザが声または話し言葉を使用してデバイスと直接相互作用することを可能にする。たとえば、ユーザはそのようなデバイスに自然言語で話しかけることができ、そうする際、ユーザは質問するか、または、アクションが行なわれるよう要求する発言を行なうことができる。これに応答して、デバイスは、音響出力を使用して、要求されたアクションを行なうか、または、ユーザの質問に答える。声を使用して直接相互作用することは、人が自分の周囲とコミュニケーションをとるためのより自然で直観的なやり方であるため、そのような音声ベースのシステムの人気は、天文学的な速度で高まっている。

【発明の概要】

【0004】

対話システムは、音声入力および音響出力などを介してユーザと対話することができる音声対応システムである。典型的には、対話システムは、セマンティックパーサなどの１つまたは複数の機械学習（machine learning：ＭＬ）モデルを含む。本開示は、対話システムのセマンティックパーサを訓練するために敵対的生成ネットワーク（generative adversarial network：ＧＡＮ）を使用するための手法に関する。たとえば、いくつかの実施形態では、ＧＡＮは、その生成器としてセマンティックパーサを含み、さらに、識別器と誤差最小化モジュールとを含む。いくつかの実施形態では、セマンティックパーサと識別器とは、敵対するものとして訓練されるＭＬモデルであり、双方のＭＬモデルがともに改良されるようにする。

【0005】

いくつかの実施形態では、シードデータが、ＧＡＮへの訓練入力として使用される。シードデータは１組のシードタプルを含んでいてもよく、各シードタプルは、発話と、発話に対応する論理形式とを含む。ここに説明される一実施形態は、まず、セマンティックパーサ出力に基づいて識別器を訓練している間にセマンティックパーサを固定し、次に、識別器出力に基づいてセマンティックパーサを訓練している間に識別器を固定し、シードデータが使い切られるまで繰り返すことによって、セマンティックパーサおよび識別器をともに訓練する。

【0006】

セマンティックパーサが固定され、したがって静的である間、セマンティックパーサは、ランダムに選択された発話に基づいて論理形式を生成してもよい。ランダムに選択された発話と、セマンティックパーサによって生成されたような対応する論理形式との各対はともに、生成されたタプルを形成してもよい。識別器は、入力として、生成されたタプルを、シードタプルとともに受信してもよい。そのようなタプルごとに、識別器は、タプルが真正である確率、または、言い換えれば、タプルがシードタプルである確率を出力（すなわち予測）してもよい。誤差最小化モジュールは、タプルが真正であるかどうかを示す正確な分布（すなわち、値の正確なシーケンス）と比較した、識別器の予測の相違に基づいて、識別器を訓練するために、訓練信号を生成してもよい。

【0007】

識別器が固定され、したがって静的である場合、セマンティックパーサは、シードデータのシードタプルから選択された発話に基づいて論理形式を生成してもよい。シードデータからの発話と、セマンティックパーサによって生成されたような対応する論理形式との各対はともに、タプルを形成してもよい。識別器は、入力として、そのようなタプルを受信してもよく、タプルごとに、タプルが真正である確率を予測してもよい。誤差最小化モジュールは、生成された論理形式がすべて真正であると予測される所望の１組の予測と比較した、識別器の真正性の実際の予測の相違に基づいて、セマンティックパーサを訓練するために、訓練信号を生成してもよい。言い換えれば、セマンティックパーサは、識別器をだまして、生成された論理形式がすべて真正であると思い込ませる目的で訓練される。

【0008】

その結果、セマンティックパーサおよび識別器は、ＧＡＮの構成要素としてともに訓練されてもよく、セマンティックパーサは論理形式を生成することを学習し、識別器は論理形式を認識することを学習する。最終的に、識別器が改良され、したがってセマンティックパーサが改良されるようになり、セマンティックパーサは論理形式を生成することが非常にうまくなるため、生成された論理形式は、シードデータに属する論理形式と区別できなくなる。このように、セマンティックパーサは、発話に基づいて論理形式を生成するように訓練される。

【0009】

他の実施形態では、対話システムは、音声入力を受信するための音声入力モジュールと、音声出力をユーザに出力するための音声出力モジュールと、音声入力の解釈に基づいて１つ以上のアクションを行なうかまたは行なわせ、ユーザへの適切な応答を準備するための対話処理モジュールとを含んでいてもよい。対話処理モジュールは、対話システムのセマンティックパーサを訓練するためにＧＡＮを使用するための上述の手法を使用することによって取得されたセマンティックパーサを利用してもよい。

【0010】

前述の事項は、他の特徴および実施形態とともに、以下の明細書、請求項、および添付図面を参照すれば、より明らかになるであろう。

【図面の簡単な説明】

【0011】

【図1】ここに説明されるある実施形態に従った、敵対的生成ネットワークにおいて訓練されるセマンティックパーサを取り入れた対話システムの図である。

【図2】ここに説明されるある実施形態に従った、敵対的生成ネットワークにおいてセマンティックパーサおよび識別器を訓練するように構成された訓練システムの図である。

【図3】ここに説明されるある実施形態に従った、敵対的生成ネットワークにおいて識別器とともにセマンティックパーサを訓練する方法の図である。

【図4】ここに説明されるある実施形態に従った、図３の方法における訓練のラウンドの一部分として識別器を訓練する方法の図である。

【図5】ここに説明されるある実施形態に従った、図３の方法における訓練のラウンドの一部分としてセマンティックパーサを訓練する方法の図である。

【図6】ここに説明されるある実施形態を実現するための分散型システムの図である。

【図7】ここに説明されるある実施形態に従った、敵対的生成ネットワークにおいてセマンティックパーサを訓練することが少なくとも部分的にクラウドサービスとして提供され得る、クラウドベースのシステム環境のブロック図である。

【図8】ここに説明されるある実施形態を実現するために使用され得る例示的なコンピュータシステムのブロック図である。

【発明を実施するための形態】

【0012】

以下の説明では、ある実施形態の完全な理解を提供するために、具体的な詳細が説明のために述べられる。しかしながら、これらの具体的な詳細がなくてもさまざまな実施形態が実践され得ることは明らかであろう。図面および説明は、限定的であるよう意図されていない。「例示的」という単語は、「例、事例、または例示として機能する」ことを意味するようにここに使用される。「例示的」であるかまたは「例」としてここに説明されるどの実施形態または設計も、他の実施形態または設計に比べて好ましいかまたは有利であるとして解釈されるとは限らない。

【0013】

音声入力と、声出力とも呼ばれる音響出力とを介して、ユーザと対話することができる音声対応システムには、さまざまな形式のものがあり得る。たとえば、そのようなシステムは、スタンドアロンデバイスとして、デジタルまたは仮想アシスタントとして、音声対応サービスなどとして提供され得る。これらの形式の各々において、システムは、音声入力を受信し、音声入力を理解し、音声入力に応答して応答を生成するかまたはアクションを行ない、音響出力を使用して応答を出力することができる。ある実施形態では、そのような音声対応システムにおける対話機能性は、対話システムまたはインフラストラクチャ（「対話システム」）によって提供される。対話システムは、音声入力を受信し、音声入力を解釈し、対話を維持し、おそらくは音声入力の解釈に基づいて１つ以上のアクションを行なうかまたは行なわせ、適切な応答を準備し、音響出力を使用して応答をユーザに出力するように構成される。

【0014】

従来、対話システムはさまざまな機械学習（ＭＬ）モデルを含み、対話システムのさまざまな機械学習モデルを訓練するために大量の訓練データが必要とされる。そのようなＭＬモデルのうちの１つはセマンティックパーササブシステムであり、セマンティックパーサとも呼ばれる。一般に、セマンティックパーサは、ユーザによって提供された音声入力を表わす発話を受信し、ここで発話は、自然言語のテキスト表現である。セマンティックパーサはその発話を論理形式にマッピングし、論理形式は、確立された文法に準拠する論理型言語に変換され、したがって対話システムの対話マネージャサブシステムによって構文解析可能であるような発話の表現である。対話マネージャサブシステムは次に、どのように応答するかを決定するために論理形式を構文解析して処理する。

【0015】

セマンティックパーササブシステムを訓練するために、対話システムに関連付けられた訓練システムは典型的には、大量のタプルを必要とし、各タプルは、発話（たとえば自然言語のテキスト表現）と、対応する論理形式とを含む。不十分な量の訓練データが使用される場合、セマンティックパーサは所望されるほど効果的ではないかもしれず、論理形式に、したがって対話システムのワークフローに誤差を招くかもしれない。論理形式に誤差を招いた結果、対話マネージャサブシステムは、ユーザへの適切な応答を生成できないかもしれない。

【0016】

敵対的生成ネットワーク（ＧＡＮ）は、敵対的な態様で生成器および識別器を訓練するアーキテクチャである。ＧＡＮは典型的には、画像分析において、特に機械視覚の分野で使用される。例示的な従来のＧＡＮでは、画像生成器が、特定のクラスにあるよう意図される画像（たとえば顔の画像）を生成し、識別器は、生成された画像が本当にそのクラスにあるかどうかを判断する。画像生成器および識別器の出力を出力の正確な分布と比較することにより、ＧＡＮは、画像生成器および識別器を訓練するために、訓練信号を画像生成器および識別器に提供する。ＧＡＮは、利用可能な訓練データが、個々の訓練にとって理想的であるものよりも小さい場合に、特に有用である。なぜなら、敵対的性質が、比較的小さい１組の訓練データを用いる効果的な訓練をもたらし得るためである。

【0017】

ここに説明される訓練システムのいくつかの実施形態では、対話システムのセマンティックパーサは、ＧＡＮにおいて訓練される。具体的には、セマンティックパーサはＧＡＮの生成器として挙動してもよく、そのため、論理形式を生成することを学習してもよく、識別器は、真正な論理形式と真正でない論理形式とを区別することを学習してもよい。誤差最小化モジュールは、セマンティックパーサおよび識別器を訓練するための訓練信号を提供するために、１つ以上の目的関数を適用してもよい。訓練後、セマンティックパーサは、対話システムの一部として、発話を論理形式にマッピングするために使用されてもよい。セマンティックパーサを訓練するこの態様は、ＧＡＮにおける訓練の敵対的性質により、セマンティックパーサを個々に訓練する従来の手法よりも効果的であり得る。

【0018】

図１は、ＧＡＮ１５５において訓練されるセマンティックパーサ１１４を利用する、ここに説明されるある実施形態に従った対話システム１００の一例の図である。対話システム１００は、ユーザ１０２から、声入力とも呼ばれる音声入力１０４を、音声入力モジュールなどを通して受信するように構成される。たとえば、音声入力モジュールは、音声または声を取得できるマイクまたは他のデバイスから音声入力を受信する。対話システム１００は次に、音声入力１０４を解釈してもよい。対話システム１００は、ユーザ１０２との対話を維持してもよく、おそらくは、たとえばセマンティックパーサ１１４を利用する対話処理モジュールを使用することにより、音声入力１０４の解釈に基づいて１つ以上のアクションを行なうかまたは行なわせてもよい。対話システム１００は、対話処理モジュールを使用することなどを通して適切な応答を準備してもよく、音響出力とも呼ばれる声または音声出力を使用して、音声出力モジュールなどを通して、応答をユーザに出力してもよい。たとえば、音声出力モジュールは、声または音声を出力できるスピーカまたは他のデバイスであり得る。対話システム１００は、場合によっては多数のコンピュータ処理周期を使用して大量のデータを処理するために使用され得る専用コンピューティングシステムである。図１に表わされるデバイスの数は、例示のために提供される。異なる数のデバイスが使用されてもよい。たとえば、図１の各デバイス、サーバ、およびシステムは単一のデバイスとして示されているが、代わりに複数のデバイスが使用されてもよい。

【0019】

ある実施形態では、対話システム１００によって行なわれる処理は、音声入力コンポーネント１０５、ウェイクワード検出（wake-word detection：ＷＤ）サブシステム１０６、自動音声認識（automatic speech recognition：ＡＳＲ）サブシステム１０８、固有表現認識器（named entity recognizer：ＮＥＲ）サブシステム１１２とセマンティックパーササブシステム１１４とを含む自然言語理解（natural language understanding：ＮＬＵ）サブシステム１１０、対話マネージャ（dialog manager：ＤＭ）サブシステム１１６、自然言語生成器（natural language generator：ＮＬＧ）サブシステム１１８、テキスト読み上げ（text-to-speech：ＴＴＳ）サブシステム１２０、および音声出力コンポーネント１２４を含む、コンポーネントまたはサブシステムのパイプラインによって実現される。上に列挙されたサブシステムは、（たとえば１つ以上のプロセッサまたはコアによって実行可能なコード、プログラム、または命令を使用する）ソフトウェアのみにおいて、ハードウェアのみにおいて、または、ハードウェアとソフトウェアとの組合せにおいて実現されてもよい。ある実現化例では、サブシステムのうちの１つ以上が、単一のサブシステムになるように組合されてもよい。それに加えて、またはそれに代えて、いくつかの実現化例では、ある特定のサブシステムによって行なわれるとしてここに説明される機能が、複数のサブシステムによって実現されてもよい。

【0020】

音声入力コンポーネント１０５は、音声入力１０４を受信するように構成されたハードウェアおよびソフトウェアを含む。いくつかの事例では、音声入力コンポーネント１０５は、対話システム１００の一部であってもよい。いくつかの他の事例では、音声入力コンポーネント１０５は、対話システム１００から分離し、対話システム１００に通信可能に結合されてもよい。音声入力コンポーネント１０５は、たとえば、音声入力１０４をデジタル化してウェイクワード検出サブシステム１０６に送信するように構成されたソフトウェアに結合されたマイクを含んでいてもよい。

【0021】

ウェイクワード検出（ＷＤ）サブシステム１０６は、ウェイクワードと呼ばれる特殊な音または単語または１組の単語に対応する入力についての音響入力のストリームがないか聞き耳をたてて監視するように構成される。対話システム１００のためのウェイクワードを検出すると、ＷＤサブシステム１０６は、ＡＳＲサブシステム１０８を起動するように構成される。ある実現化例では、ユーザは、ＷＤサブシステム１０６がウェイクワードがないか聞き耳を立てるようにするかまたは聞き耳を立てるのをやめるようにするために、（たとえばボタンを押すことによって）ＷＤサブシステム１０６を起動するかまたは停止させる能力を与えられてもよい。起動された場合、または、アクティブモードで動作する場合、ＷＤサブシステム１０６は、音響入力ストリームを連続的に受信し、音響入力ストリームを処理して、ウェイクワードに対応する音声入力１０４などの音響入力を識別するように構成される。ウェイクワードに対応する音響入力が検出されると、ＷＤサブシステム１０６は、ＡＳＲサブシステム１０８を起動する。

【0022】

上述のように、ＷＤサブシステム１０６は、ＡＳＲサブシステム１０８を起動する。対話システム１００のいくつかの実現化例では、ＡＳＲサブシステム１０８をトリガするかまたは起動するために、ウェイクワード検出以外のメカニズムが使用されてもよい。たとえば、いくつかの実現化例では、ウェイクワードを必要とすることなくＡＳＲサブシステム１０８をトリガするために、デバイス上の押しボタンが使用されてもよい。そのような実現化例では、ＷＤサブシステム１０６を提供する必要はない。押しボタンが押されるかまたは起動されると、ボタン起動後に受信された音声入力１０４は、処理のためにＡＳＲサブシステム１０８に提供される。それに加えて、またはそれに代えて、いくつかの実現化例では、処理されるべき入力を受信するとＡＳＲサブシステム１０８が起動されてもよい。

【0023】

ＡＳＲサブシステム１０８は、トリガまたはウェイクアップ信号（たとえば、ウェイクアップ信号は、音声入力１０４においてウェイクワードを検出するとＷＤサブシステム１０６によって送信されてもよく、または、ウェイクアップ信号は、ボタンが起動されると受信されてもよい）の後に音声入力１０４を受信して監視し、音声入力１０４をテキストに変換するように構成される。その処理の一部として、ＡＳＲサブシステム１０８は、音声からテキストへの変換を行なう。音声入力１０４は自然言語形式のものであってもよく、ＡＳＲサブシステム１０８は、対応する自然言語テキストを音声入力１０４の言語で生成するように構成される。この対応する自然言語テキストは、ここに発話と呼ばれる。たとえば、ＡＳＲサブシステム１０８によって受信された音声入力１０４は、１つ以上の単語、句、節、文、質問などを含んでいてもよい。ＡＳＲサブシステム１０８は、話された各節についての発話を生成し、さらなる処理のために発話をＮＬＵサブシステム１１０に供給するように構成される。

【0024】

ＮＬＵサブシステム１１０は、ＡＳＲサブシステム１０８によって生成された発話を受信する。ＡＳＲサブシステム１０８からＮＬＵサブシステム１１０によって受信された発話は、話された単語、句、節などに対応するテキスト発話を含んでいてもよい。ＮＬＵサブシステム１１０は、各発話または一連の発話を、対応する論理形式に変換する。

【0025】

ある実現化例では、ＮＬＵサブシステム１１０は、固有表現認識器（ＮＥＲ）サブシステム１１２とセマンティックパーササブシステム１１４とを含む。ＮＥＲサブシステム１１２は、発話を入力として受信し、発話における固有表現を識別し、識別された固有表現に関連する情報を発話にタグ付けする。タグ付き発話は次に、セマンティックパーササブシステム１１４に供給され、それは、各タグ付き発話のために、または一連のタグ付き発話のために、論理形式を生成するように構成される。発話のために生成された論理形式は、発話に対応する１つ以上の意図を識別してもよい。発話についての意図は、発話の目的を識別する。意図の例は、「ピザをオーダーする」および「方向を見つける」を含む。意図は、たとえば、行なわれるよう要求されるアクションを識別してもよい。意図に加えて、発話のために生成された論理形式はまた、識別される意図についての、パラメータまたは引数とも呼ばれるスロットを識別してもよい。たとえば、「私は、マッシュルームとオリーブが載ったＬサイズのペパロニピザをオーダーしたいです」という音声入力について、ＮＬＵサブシステム１１０は、ピザをオーダーするという意図を識別することができる。ＮＬＵサブシステムはまた、スロット（たとえば、pizza_size（Ｌで充填される）およびpizza_toppings（マッシュルームおよびオリーブで充填される））を識別して充填することができる。ＮＬＵサブシステム１１０は、ドメイン固有であり得る機械学習ベースの手法、ルール、または、機械学習手法およびルールの組合せを使用して、論理形式を生成してもよい。ＮＬＵサブシステム１１０によって生成された論理形式は次に、さらなる処理のためにＤＭサブシステム１１６に供給される。

【0026】

図１に示すように、いくつかの実施形態では、ここに説明される訓練システム１５０が、ここにセマンティックパーサ１１４とも呼ばれるセマンティックパーササブシステム１１４を対話システム１００におけるその動作のために準備するために、敵対的生成ネットワーク１５５の一部としてセマンティックパーサ１１４を訓練する。たとえば、訓練システム１５０はＧＡＮ１５５を利用して、１つ以上の発話に基づいて論理形式を決定するための上述のタスクを行なうようにセマンティックパーサ１１４を訓練する。いくつかの実施形態では、セマンティックパーサ１１４を訓練するこの敵対的手法の使用により、対話システム１００は、従来の対話システムよりも改良されている。

【0027】

ＤＭサブシステム１１６は、ＮＬＵサブシステム１１０から受信された論理形式に基づいて、ユーザとの対話を管理するように構成される。対話管理の一部として、ＤＭサブシステム１１６は、対話状態を追跡し、１つ以上のアクションまたはタスクの実行を開始するか、あるいは、それ自体が１つ以上のアクションまたはタスクを実行し、どのようにユーザと相互作用するかを判断するように構成される。これらのアクションは、たとえば、１つ以上のデータベースに問合せること、実行結果を生成すること、または他のアクションを含んでいてもよい。たとえば、ＤＭサブシステム１１６は、ＮＬＵサブシステム１１０から受信された論理形式において識別された意図を解釈するように構成される。解釈に基づいて、ＤＭサブシステム１１６は、それがユーザによって提供された音声入力１０４によって要求されていると解釈する１つ以上のアクションを開始してもよい。ある実施形態では、ＤＭサブシステム１１６は、現在および過去の音声入力１０４に基づいて、ならびに、ＤＭサブシステム１１６のために構成された１組のルール（たとえば対話ポリシー）に基づいて、対話状態追跡を行なう。これらのルールは、異なる対話状態、状態間の遷移についての条件、ある特定の状態にある場合に行なわれるべきアクションなどを特定してもよい。これらのルールは、ドメイン固有のものであってもよい。ＤＭサブシステム１１６はまた、対話に関与するユーザに通信されるべき応答を生成する。これらの応答は、ＤＭサブシステム１１６によって開始されたアクションおよびそれらの結果に基づいていてもよい。ＤＭサブシステム１１６によって生成された応答は、さらなる処理のためにＮＬＧサブシステム１１８に供給される。

【0028】

ＮＬＧサブシステム１１８は、ＤＭサブシステム１１６によって生成された応答に対応する自然言語テキストを生成するように構成される。これらのテキストは、それらがＴＴＳサブシステム１２０によって音声に変換されることを可能にする形式で生成されてもよい。ＴＴＳサブシステム１２０は、ＮＬＧサブシステム１１８からテキストを受信し、それらの各々を音声または声音響に変換し、それは次に、対話システムの音響または音声出力コンポーネント１２４（たとえばスピーカ、または外部スピーカに結合された通信チャネル）を介して、音響としてユーザに出力されてもよい。いくつかの事例では、音声出力コンポーネント１２４は、対話システム１００の一部であってもよい。いくつかの他の事例では、音声出力コンポーネント１２４は、対話システム１００から分離し、対話システム１００に通信可能に結合されてもよい。

【0029】

上述のように、協働して作動する対話システム１００のさまざまなサブシステムは、対話システム１００が音声入力１０４を受信し、音声出力１２２を使用して応答し、それにより、自然言語音声を使用してユーザとの対話を維持することを可能にする機能性を提供する。上述のさまざまなサブシステムは、単一のコンピュータシステムを使用して、または、協働して作動する複数のコンピュータシステムを使用して実現されてもよい。たとえば、音声対応システムを実現するデバイスについては、上述の対話システム１００のサブシステムは、ユーザが相互作用するデバイス上で全面的に実現されてもよい。いくつかの他の実現化例では、対話システム１００のいくつかのコンポーネントまたはサブシステムは、ユーザが相互作用するデバイス上で実現されてもよく、一方、他のコンポーネントは、デバイスからリモートで、おそらくは、いくつかの他のコンピューティングデバイス、プラットフォーム、またはサーバ上で実現されてもよい。

【0030】

図２は、ここに説明されるある実施形態に従った、敵対的生成ネットワーク１５５の使用を通して対話システム１００のセマンティックパーサ１１４を訓練するように構成された訓練システム１５０の図である。より具体的には、いくつかの実施形態では、セマンティックパーサ１１４はＧＡＮ１５５の生成器として作用し、訓練システム１５０は、ＧＡＮ１５５において識別器２５０とともにセマンティックパーサ１１４を訓練する。ＧＡＮ１５５における誤差最小化モジュール２６０は、セマンティックパーサ１１４および識別器２５０を訓練するために、１つ以上の訓練信号をセマンティックパーサ１１４および識別器２５０に提供してもよく、より具体的には、セマンティックパーサ１１４を訓練するために逆伝搬を使用してもよい。訓練システム１５０のデータ入力サブシステム２４０は、セマンティックパーサ１１４、識別器２５０、および誤差最小化モジュール２６０がここに説明されるタスクを行なうことを可能にするように、シードデータ２１０に基づいた入力などの入力をセマンティックパーサ１１４、識別器２５０、および誤差最小化モジュール２６０に提供してもよい。訓練後、セマンティックパーサ１１４は、図１に示すような対話システム１００の一部として使用されてもよい。

【0031】

いくつかの実施形態では、訓練システム１５０は、コンピューティングデバイス、またはその一部、たとえばサーバとして実現される。訓練システム１５０は、専用ハードウェアデバイスとして、またはプログラムコードとして、またはそれら双方の組合せとして実現されてもよい。たとえば、訓練システム１５０によって行なわれるとしてここに説明される動作は、訓練システム１５０を実現するプログラムコードで具現化されてもよく、ここで、そのようなプログラムコードは、１つ以上の処理部によって実行可能である。たとえば、ＧＡＮ１５５のセマンティックパーサ１１４、識別器２５０、誤差最小化モジュール２６０、および他の局面は各々、１つ以上のソフトウェア機能または専用ハードウェアデバイスとして実現されてもよく、ここに説明されるような訓練システム１５０を実現するためにともに動作してもよい。セマンティックパーサ１１４および識別器２５０は各々、ニューラルネットワークといった、それぞれの機械学習モデルとして実現されてもよい。

【0032】

図２に示すように、訓練システム１５０はＧＡＮ１５５を含んでいてもよく、それは、ともに訓練される生成器および識別器２５０を含む。具体的には、生成器は、対話システム１００のセマンティックパーサ１１４であってもよく、このため、セマンティックパーサ１１４は、対話システム１００に統合される前に、または統合されている間に、ＧＡＮ１５５内で訓練される。具体的には、訓練システム１５０は、発話２２０を論理形式２３０にマッピングするようにセマンティックパーサ１１４を訓練してもよく、訓練システム１５０は、論理形式２３０が真正である（すなわち、１組のシードデータ２１０において、シードタプルを、その対応する発話２２０と共有する）かどうかを判断するように識別器２５０を訓練してもよい。また、誤差最小化モジュール２６０は、予想される予測とＧＡＮ１５５において行なわれた実際の予測との間の誤差を最小化するように、セマンティックパーサ１１４および識別器２５０を更新する。いくつかの実施形態では、ＧＡＮ１５５の一部として、セマンティックパーサ１１４および識別器２５０は、セマンティックパーサ１１４および識別器２５０の一方が改良されると他方も改良されるように、ともに訓練される。その結果、セマンティックパーサ１１４は、ＮＥＲサブシステム１１２によってタグ付けされた発話２２０などの発話２２０を、ＤＭサブシステム１１６によって使用可能な論理形式２３０にマッピングすることを学習する。

【0033】

いくつかの実施形態では、セマンティックパーサ１１４は、発話２２０に基づいて論理形式２３０を決定するための、シーケンス間（sequence-to-sequence：seq2seq）モデルなどのニューラルネットワークである。従来、セマンティックパーサは、１組のタプルを含む訓練データを用いて訓練され、各タプルは、発話と、対応する論理形式とを有する。しかしながら、ここに説明されるように、いくつかの実施形態では、セマンティックパーサ１１４は、ＧＡＮ１５５の一部として訓練される。ここにさらに説明されるように、訓練は、シードタプルを含むシードデータ２１０を利用し、各シードタプルは、発話２２０と、対応する論理形式２３０とを含む。しかしながら、訓練は、識別器２５０からの出力も取り入れる。

【0034】

識別器２５０は、タプルをクラスにマッピングするバイナリ分類器であってもよく、たとえば、識別器２５０は、ニューラルネットワークとして実現されてもよい。識別器２５０は、発話２２０と論理形式１３６とを含むタプルを入力として受信してもよく、識別器２５０は、論理形式２３０が発話２２０の真正表現であるかどうかの指標を出力してもよい。たとえば、識別器２５０は、論理形式２３０が真正であり（すなわち、シードデータ２１０において発話２２０と対になっており）、したがって正確である確率を出力してもよい。いくつかの実施形態では、これを達成するために、識別器２５０は、ここに説明されるように、ＧＡＮ１５５においてセマンティックパーサ１１４とともに訓練されてもよい。

【0035】

誤差最小化モジュール２６０は、識別器２５０を訓練するために、および、逆伝搬によってセマンティックパーサ１１４を訓練するために、訓練信号を提供してもよい。たとえば、識別器２５０を訓練するために、誤差最小化モジュール２６０は、受信された論理形式２３０が真正であるかどうかのしるしである識別器２５０からの出力を、それらの論理形式２３０の真正性のしるしの正確な分布と比較するために、第１の目的関数２６５を利用してもよい。誤差最小化モジュール２６０は、真正性のより良好な予測を行なうように識別器２５０を訓練するために、第１の目的関数２６５の結果を使用してもよい。

【0036】

セマンティックパーサ１１４を訓練するために、誤差最小化モジュール２６０は、セマンティックパーサ１１４の出力された論理形式２３０の真正性の予測を示す識別器２５０からの出力を、それらの論理形式２３０の真正性のしるしの選択された分布（すなわち所望の分布）と比較するために、第１の目的関数２６５と同じであり得る第２の目的関数２６５を利用してもよい。その選択された分布は、セマンティックパーサ１１４によって出力された論理形式２３０がすべて真正であることを示す分布であってもよい。これは、いくつかの実施形態では、訓練システム１５０は、その出力が常に真正であると考えられるセマンティックパーサ１１４を提供しようとするためである。当業者であれば、そのような目的関数２６５をどのように構成するかを理解するであろう。いくつかの実施形態では、セマンティックパーサ１１４および識別器２５０はＧＡＮ１５５内でともに訓練されるが、セマンティックパーサ１１４および生成器のうちの１つだけが、誤差最小化モジュール２６０からの訓練信号に基づいて所与の時間にアクティブに更新されている。

【0037】

図３は、ここに説明されるある実施形態に従った、ＧＡＮ１５５において識別器２５０とともにセマンティックパーサ１１４を訓練する方法３００の図である。いくつかの実施形態では、この方法３００または同様の方法は、セマンティックパーサ１１４が対話システム１００において使用される前に行なわれる。ここに説明される訓練を通して、セマンティックパーサ１１４は、発話２２０を、そのような発話２２０を表わす論理形式２３０に変換する（すなわちマッピングする）ことを学習してもよく、それは、対話システム１００の一部としてセマンティックパーサ１１４によって行なわれるタスクである。

【0038】

図３に表わされる方法３００、および、ここに説明される他の方法は、１つ以上の処理部（たとえばプロセッサまたはプロセッサコア）によって実行される（たとえばコード、命令、またはプログラムとしての）ソフトウェアにおいて、ハードウェアにおいて、またはそれらの組合せにおいて実現されてもよい。ソフトウェアは、非一時的記憶媒体上に、たとえばメモリデバイス上に格納されてもよい。この方法３００は、例示的および非限定的であるよう意図されている。図３はある特定のシーケンスまたは順序で生じるさまざまな活動を表わすが、これは限定的であるよう意図されていない。ある実施形態では、たとえば、これらの活動は異なる順序で行なわれてもよく、または、方法３００の１つ以上の活動は並行して行なわれてもよい。ある実施形態では、方法３００は、訓練システム１５０によって行なわれてもよい。

【0039】

図３に示すように、ブロック３０５で、訓練システム１５０のデータ入力サブシステム２４０は、シードデータ２１０を取得する。シードデータ２１０は１組のシードタプルを含んでいてもよく、各シードタプルは、発話２２０と、対応する論理形式２３０とを含む。各シードタプルにおいて、論理形式２３０は、発話２２０の正確で真正な表現または変換である。シードデータ２１０を取得するためにさまざまな手法が存在することが理解されるであろう。たとえば、シードデータ２１０は、クラウドソーシングなどを通して手動で決定され、次に、データ入力サブシステム２４０によってアクセス可能なメモリデバイスに格納されてもよい。

【0040】

ブロック３１０で、訓練システム１５０は、訓練の新たなラウンドを開始する。ブロック３１０は、反復するループの始まりである。いくつかの実施形態では、ループの各反復中、訓練システム１５０は、訓練のラウンドを行なう。訓練の各ラウンドは、ラウンドの一部分中に識別器２５０を訓練することと、ラウンドの別の部分中にセマンティックパーサ１１４を訓練することとを含んでいてもよい。ラウンドのこれら２つの部分は並行して行なわれてもよいが、いくつかの実施形態では、これら２つの部分は、第２の部分におけるセマンティックパーサ１１４の訓練が第１の部分における識別器２５０の訓練から利益を得ることができるように、順次行なわれる。また、訓練システム１５０は、識別器２５０およびセマンティックパーサ１１４を訓練するラウンドごとに、よって、ループの反復ごとに、シードデータ２１０の異なる部分集合を利用してもよい。

【0041】

ブロック３１５で、訓練システム１５０は、ブロック３０５で取得されたシードデータ２１０の第１の部分に基づいて識別器２５０の訓練を行なう。いくつかの実施形態では、シードデータ２１０のこの第１の部分は、以前のラウンドにおいて訓練のためにまだ使用されていない。識別器２５０のこの訓練中、セマンティックパーサ１１４は、セマンティックパーサ１１４からの出力の真正性に関する識別器の予測に基づく識別器２５０の更新を、セマンティックパーサ１１４がその出力をどのように判断するかを変更することなく可能にするように、固定されてもよい。訓練のラウンド中に識別器２５０を訓練することに関与する活動は、図４を参照して以下により詳細に説明される。

【0042】

ブロック３２０で、訓練システム１５０は、ブロック３０５で取得されたシードデータ２１０の第２の部分に基づいてセマンティックパーサ１１４の訓練を行なう。いくつかの実施形態では、シードデータ２１０のこの第２の部分は、ブロック３１０で使用された第１の部分とは異なっており（たとえば、シードタプルにおける重複がない）、以前のラウンドにおいて訓練のためにまだ使用されていない。セマンティックパーサ１１４のこの訓練中、識別器２５０は、セマンティックパーサ１１４からの出力の真正性に関する識別器の予測に基づくセマンティックパーサ１１４の更新を、識別器２５０がその真正性をどのように判断するかを変更することなく可能にするように、固定されてもよい。訓練のラウンド中にセマンティックパーサ１１４を訓練することに関与する活動は、図５を参照して以下により詳細に説明される。

【0043】

決定ブロック３２５で、訓練システム１５０は、ブロック３０５で取得されたシードデータ２１０がすべて、上述のような訓練の何らかのラウンド（すなわち、ループの何らかの反復）のために選択され使用されたかどうかを判断する。シードデータ２１０がすべて使用されたわけではない場合、方法３００はブロック３１０に戻ってもよく、そこで、訓練の別のラウンドが始まる。しかしながら、シードデータ２１０がすべて訓練において使用された場合、方法３００はブロック３３０で終了してもよく、その時点で、セマンティックパーサ１１４はすでに訓練されており、対話システム１００において使用できる状態であってもよい。

【0044】

図４は、ここに説明されるある実施形態に従った、ＧＡＮ１５５における訓練のラウンドの一部分として識別器２５０を訓練する方法４００の図である。具体的には、訓練システム１５０は、訓練の単一のラウンド内で識別器２５０を訓練するために、この方法４００または同様の方法を、上述の方法３００のブロック３１５で行なってもよい。このため、いくつかの実施形態によれば、この方法４００または同様の方法は、反復ごとに１回行なわれてもよい。

【0045】

図４に表わされる方法４００、および、ここに説明される他の方法は、１つ以上の処理部（たとえばプロセッサまたはプロセッサコア）によって実行される（たとえばコード、命令、またはプログラムとしての）ソフトウェアにおいて、ハードウェアにおいて、またはそれらの組合せにおいて実現されてもよい。ソフトウェアは、非一時的記憶媒体上に、たとえばメモリデバイス上に格納されてもよい。この方法４００は、例示的および非限定的であるよう意図されている。図４はある特定のシーケンスまたは順序で生じるさまざまな活動を表わすが、これは限定的であるよう意図されていない。ある実施形態では、たとえば、これらの活動は異なる順序で行なわれてもよく、または、方法４００の１つ以上の活動は並行して行なわれてもよい。ある実施形態では、方法４００は、訓練システム１５０によって行なわれてもよい。

【0046】

ブロック４０５で、訓練システム１５０のデータ入力サブシステム２４０は、シードデータ２１０の第１の部分を選択し、ここで、第１の部分は、訓練の以前のラウンドにおいてまだ使用されていない。いくつかの実施形態では、シードデータ２１０のこの第１の部分は、シードデータ２１０におけるシードタプルの部分集合である。たとえば、シードデータ２１０の第１の部分は、シードデータ２１０のシードタプルがすべて第１の部分に含まれるわけではないように、シードデータ２１０におけるシードタプルの真部分集合であってもよい。

【0047】

ブロック４１０で、識別器２５０が更新のために開いている間、セマンティックパーサ１１４は固定される。言い換えれば、いくつかの実施形態では、セマンティックパーサ１１４は、識別器２５０がセマンティックパーサ１１４の現在の状態に基づいて訓練されることを可能にするように、当分の間、静的なままであろう。

【0048】

いくつかの実施形態では、ブロック４１５およびブロック４２０は、並行して行なわれる。ブロック４１５で、訓練システム１５０のデータ入力サブシステム２４０は、発話２２０のストリームをセマンティックパーサ１１４に入力し、セマンティックパーサ１１４は、セマンティックパーサ１１４に入力された発話２２０のストリームに基づいて論理形式２３０を生成する。発話２２０のストリームにおける発話２２０は、シードデータ２１０からのものではなく、たとえば、データ入力サブシステム２４０によって、またはいくつかの他のコンポーネントによってランダムに生成されたかまたはランダムに選択された発話２２０であってもよい。限定のためではなく例示のために、発話２２０は、自然言語で書かれたコーパス（たとえば、１つ以上の本または記事）から選択されてもよい。受信されたそのような発話２２０ごとに、セマンティックパーサ１１４は、論理形式２３０を生成してもよい。訓練初期では、セマンティックパーサの論理形式２３０の出力は、劣っているかもしれない。たとえば、生成された論理形式２３０は、ランダム（たとえば、単語および記号のランダム配置）であるかもしれない。しかしながら、ラウンド全体を通して、または複数のラウンドにわたって訓練が進むにつれて、セマンティックパーサ１１４は改良され得る。

【0049】

ブロック４１５と並行して行なわれ得るブロック４２０で、訓練システム１５０のデータ入力サブシステム２４０は、タプルのストリームを識別器２５０に入力してもよく、識別器２５０は、それらのタプルについての真正性の予測を生成してもよい。タプルのストリームにおける各タプルは、発話２２０と論理形式２３０とを含んでいてもよい。データ入力サブシステム２４０は、タプルのこのストリームを、（１）ブロック４０５で選択されたシードデータ２１０の第１の部分からのシードタプルと、（２）ブロック４１５でセマンティックパーサ１１４によって生成された論理形式２３０を有するタプルとの組合せ（たとえば、ランダムな組合せ、または任意の組合せ）として提供してもよい。タプルのストリームに基づいて、識別器２５０は、タプルに対応する真正性の予測を出力してもよい。言い換えれば、タプルを与えられると、識別器２５０は、タプルにおける論理形式２３０が、タプルにおける発話２２０の真正表現であるかどうかを予測してもよく、または、言い換えれば、識別器２５０は、タプルが、セマンティックパーサ１１４によって生成された論理形式２３０ではなく、シードデータ２１０の一部であるかどうかを推測してもよい。識別器２５０によって受信されたタプルは、シードデータ２１０の第１の部分にあるシードタプル、および、セマンティックパーサ１１４によって受信された発話２２０とブロック４１５でセマンティックパーサ１１４によって生成された対応する論理形式２３０とを各々含む生成されたタプルの双方を含んでいてもよい。

【0050】

いくつかの実施形態では、識別器２５０は、どのタプルがシードデータ２１０からのもので、したがって真正であるか、および、どのタプルがセマンティックパーサ１１４からのもので、したがって生成されたものであるかを通知されない。タプルごとに、識別器２５０は、考えられる真正性に基づいてタプルを分類してもよい。この目的のために、識別器２５０は、論理形式２３０がタプルにおける対応する発話２２０の真正表現である可能性の判断（すなわち予測）を示すスコアを出力してもよい。たとえば、スコアは、論理形式２３０がタプルにおける対応する発話２２０の真正表現であり、したがって、タプルがシードデータ２１０からのものである確率である。理想的には、識別器２５０は、真正タプル（すなわちシードタプル）については、１などの高い確率を出力し、生成されたタプルについては、０などの低い確率を出力する。訓練初期では、識別器の出力は、劣っているかもしれない。たとえば、出力される確率は、一定範囲（たとえば、０～１（０と１とを含む））内の乱数であってもよい。しかしながら、ラウンド全体を通して、または複数のラウンドにわたって訓練が進むにつれて、識別器２５０は改良され得る。

【0051】

ブロック４２５で、訓練システム１５０の誤差最小化モジュール２６０は、ブロック４１５およびブロック４２０で決定されたようなセマンティックパーサ１１４および識別器２５０の出力に基づいて識別器２５０を訓練するための訓練信号を生成する。いくつかの実施形態では、訓練システム１５０のデータ入力サブシステム２４０は、誤差最小化モジュール２６０が訓練信号を決定することを可能にするように、ブロック４０５でアクセスされるようなシードデータ２１０の第１の部分を誤差最小化モジュール２６０に提供する。

【0052】

たとえば、誤差最小化モジュール２６０は、予測の正確な分布（すなわち、値の正確なシーケンス）を、識別器２５０からの予測の実際の分布（すなわち、値の実際のシーケンス）と比較する第１の目的関数２６５を適用し、それら２つの分布間の相違、すなわち違いの程度を判断してもよい。誤差最小化モジュール２６０は、シードデータ２１０の第１の部分へのアクセスを有していてもよく、したがって、識別器２５０によって受信されたどのタプルが真正であるか、および、どのタプルが生成されたかを知っていてもよい。そのため、誤差最小化モジュール２６０は、正確な分布が、１の値（すなわち１００パーセントの確率）をシードタプルに割り当て、０の値（すなわち０パーセントの確率）を真正でない生成されたタプルに割り当てることを知っている。このため、誤差最小化モジュール２６０は、訓練信号を識別器２５０に提供するように、この正確な分布を識別器２５０の実際の出力と比較するために、第１の目的関数２６５を使用してもよい。訓練信号は、識別器２５０によって行なわれた予測における誤差を表わす。訓練信号に基づいて、訓練システム１５０は、正確な分布と実際の分布との間の誤差を減少させるように識別器２５０を更新してもよい。たとえば、識別器２５０として作用するニューラルネットワークのノードが、訓練信号に基づいて更新されてもよい。

【0053】

いくつかの実施形態では、図４に示すように、ブロック４１５およびブロック４２０に続いて、ブロック４２５が行なわれる。その場合、識別器２５０が訓練のこのラウンドにおいて識別器２５０を訓練するために使用されているタプルをすべて受信して初めて、誤差最小化モジュール２６０は訓練信号を提供してもよい。そのため、識別器２５０は、上述のシードデータ２１０の第１の部分全体と生成されたタプルとを含むバッチに基づいて、いったん更新されてもよい。しかしながら、それに代えて、識別器２５０が入力を評価している間に訓練信号が識別器２５０に送り返されるように、シードデータ２１０の第１の部分と生成されたタプルとが依然として提供されている間に識別器２５０が更新されるように、ブロック４２５は、ブロック４１５およびブロック４２０と並行して行なわれてもよい。

【0054】

ブロック４３０で、訓練システム１５０は、訓練の現在のラウンドにおける識別器２５０の訓練を終了する。そのため、ブロック４１０で固定されたセマンティックパーサ１１４は、訓練が進むにつれてロック解除され、固定されたままである必要はない。

【0055】

図５は、ここに説明されるある実施形態に従った、ＧＡＮ１５５における訓練のラウンドの一部分としてセマンティックパーサを訓練する方法の図である。具体的には、訓練システム１５０は、訓練の単一のラウンド内でセマンティックパーサ１１４を訓練するために、この方法５００または同様の方法を、上述の方法３００のブロック３２０で行なってもよい。このため、いくつかの実施形態によれば、この方法５００または同様の方法は、反復ごとに１回行なわれてもよい。

【0056】

図５に表わされる方法５００、および、ここに説明される他の方法は、１つ以上の処理部（たとえばプロセッサまたはプロセッサコア）によって実行される（たとえばコード、命令、またはプログラムとしての）ソフトウェアにおいて、ハードウェアにおいて、またはそれらの組合せにおいて実現されてもよい。ソフトウェアは、非一時的記憶媒体上に、たとえばメモリデバイス上に格納されてもよい。この方法５００は、例示的および非限定的であるよう意図されている。図５はある特定のシーケンスまたは順序で生じるさまざまな活動を表わすが、これは限定的であるよう意図されていない。ある実施形態では、たとえば、これらの活動は異なる順序で行なわれてもよく、または、方法５００の１つ以上の活動は並行して行なわれてもよい。ある実施形態では、方法５００は、訓練システム１５０によって行なわれてもよい。

【0057】

ブロック５０５で、訓練システム１５０のデータ入力サブシステム２４０は、シードデータ２１０の第２の部分を選択し、ここで、第２の部分は、訓練の以前のラウンドにおいてまだ使用されていない。いくつかの実施形態では、シードデータ２１０のこの第２の部分は、シードデータ２１０におけるシードタプルの部分集合である。たとえば、シードデータ２１０の第２の部分は、シードデータ２１０のシードタプルがすべて第２の部分に含まれるわけではないように、シードデータ２１０におけるシードタプルの真部分集合であってもよい。加えて、いくつかの実施形態では、シードデータ２１０の第２の部分は、第１の部分とは異なっている。しかしながら、それに代えて、第２の部分は、シードデータ２１０の第１の部分と同じであってもよい。いずれの場合も、第１の部分および第２の部分以外のシードデータ２１０の残りは、訓練方法３００全体のその後の反復において使用されてもよい。

【0058】

ブロック５１０で、セマンティックパーサ１１４が更新のために開いている間、識別器２５０は固定される。言い換えれば、いくつかの実施形態では、識別器２５０は、セマンティックパーサ１１４が識別器２５０の現在の状態に基づいて訓練されることを可能にするように、当分の間、静的なままであろう。

【0059】

いくつかの実施形態では、ブロック５１５およびブロック５２０は、並行して行なわれる。ブロック５１５で、訓練システム１５０のデータ入力サブシステム２４０は、ブロック５０５で選択されたシードデータ２１０の第２の部分からの発話２２０をセマンティックパーサ１１４に入力し、セマンティックパーサ１１４は、そのような発話２２０に基づいて論理形式２３０を生成する。訓練初期では、セマンティックパーサの論理形式２３０の出力は、劣っているかもしれない。たとえば、生成された論理形式２３０は、ランダム（たとえば、単語および記号のランダム配置）であるかもしれない。しかしながら、ラウンド全体を通して、または複数のラウンドにわたって訓練が進むにつれて、セマンティックパーサ１１４は改良され得る。

【0060】

ブロック５１５と並行して行なわれ得るブロック５２０で、訓練システム１５０のデータ入力サブシステム２４０は、タプルのストリームを識別器２５０に入力してもよく、識別器２５０は、ストリームにおける各タプルについての真正性の予測を行なってもよい。タプルのストリームにおける各タプルは、発話２２０と、対応する論理形式２３０とを含んでいてもよい。より具体的には、受信された各タプルは、ブロック５０５で選択されるようなシードデータ２１０の第２の部分から選択されたそれぞれのシードタプルからの発話２２０を、ブロック５１５でセマンティックパーサ１１４への入力として提供されているその発話２２０に基づいてセマンティックパーサ１１４によって出力された、生成された論理形式２３０とともに含んでいてもよい。受信されたタプルごとに、識別器２５０は、考えられる真正性に基づいてタプルを分類してもよい。具体的には、識別器２５０は、真正性の可能性を示すスコアを出力してもよい。たとえば、タプルについて識別器２５０によって決定されたスコアは、論理形式２３０がタプルにおける対応する発話２２０の真正な、ひいては正確な表現である確率であってもよく、または、言い換えれば、タプルがシードデータ２１０からのシードタプルである確率であってもよい。この点で、識別器２５０は、図４を参照して説明されるような何らかの訓練をすでに受けているため、その出力が依然として改良を必要とする間、識別器２５０は、訓練のその後のラウンド中に引き続き改良され得る。

【0061】

ブロック５２５で、訓練システム１５０の誤差最小化モジュール２６０は、ブロック５１５およびブロック５２０で決定されたようなセマンティックパーサ１１４および識別器２５０の出力に基づいて、逆伝搬を介してセマンティックパーサ１１４を訓練するための訓練信号を生成する。この目的のために、たとえば、誤差最小化モジュール２６０は、識別器２５０からの予測の選択された分布と識別器２５０からの予測の実際の分布との間の相違を判断する第２の目的関数２６５を適用する。第２の目的関数２６５は、識別器２５０を訓練する際に使用される第１の目的関数２６５と同じであってもよいが、同じである必要はない。いくつかの実施形態では、訓練システム１５０は、セマンティックパーサ１１４が識別器２５０をだまして、セマンティックパーサ１１４の出力がすべて真正であると予測させることを可能にするように、セマンティックパーサ１１４を改良しようとするため、予測の選択された分布は、一連の予測である。いくつかの実施形態では、予測のそのような分布は、セマンティックパーサ１１４によって生成された論理形式２３０はすべて真正であるということを示すであろう。このため、第２の目的関数２６５は、（たとえば一連の予測の）この選択された分布を、ブロック５２０での識別器２５０からの出力の実際の分布と比較して、これらの分布間の違いの程度を判断してもよい。

【0062】

誤差最小化モジュール２６０は、訓練信号をセマンティックパーサ１１４に提供するように、この選択された分布を識別器２５０の実際の予測と比較するために、第２の目的関数２６５を使用してもよい。訓練信号は、選択された（すなわち所望された）ものと比較して行なわれた予測における誤差を表わす。訓練信号に基づいて、セマンティックパーサ１１４は、選択された分布と実際の分布との間の誤差を減少させるように更新されてもよい。たとえば、セマンティックパーサ１１４として作用するニューラルネットワークのノードが、訓練信号に基づいて更新されてもよい。

【0063】

いくつかの実施形態では、図５に示すように、ブロック５１５およびブロック５２０に続いて、ブロック５２５が行なわれる。この場合、セマンティックパーサ１１４がシードデータ２１０の第２の部分における発話２２０をすべて受信して初めて、誤差最小化モジュール２６０は訓練信号を提供してもよい。そのため、セマンティックパーサ１１４は、シードデータ２１０の第２の部分全体を含むバッチに基づいて更新される。しかしながら、それに代えて、セマンティックパーサ１１４が入力を評価している間に訓練信号がセマンティックパーサ１１４に送り返されるように、シードデータ２１０の第２の部分からの発話２２０が提供されている間にセマンティックパーサ１１４が更新されるように、ブロック５２５は、ブロック５１５およびブロック５２０と並行して行なわれてもよい。

【0064】

このため、上述のように、ＧＡＮ１５５は、対話システム１００での使用のためにセマンティックパーサ１１４を訓練するために使用され得る。さまざまな修正が上述の手法に加えられてもよく、そのような修正はこの開示の範囲内にある。たとえば、教師付き識別器、教師なし識別器、およびセマンティックパーサ１１４をともに訓練するために、半教師付きＧＡＮ（semi-supervised GAN：ＳＧＡＮ）がＧＡＮ１５５として使用されてもよい。ＧＡＮ訓練のためであっても、シードデータ２１０が比較的小さい１組である場合、ＳＧＡＮは特に有用であり得る。それに加えて、またはそれに代えて、識別器２５０は、論理形式２３０が準拠しなければならない文法についての情報を取り入れてもよい。この文法を参照して、識別器２５０は、論理形式２３０が真正であるかどうかをより正確に判断してもよく、それは、セマンティックパーサ１１４を、より迅速に改良されるよう促し得る。

【0065】

図６は、ある実施形態を実現するための分散型システム６００の図である。図示された実施形態では、分散型システム６００は、１つ以上の通信ネットワーク６１０を介してサーバ６１２に結合された１つ以上のクライアントコンピューティングデバイス６０２、６０４、６０６、および６０８を含む。クライアントコンピューティングデバイス６０２、６０４、６０６、および６０８は、１つ以上のアプリケーションを実行するように構成されてもよい。

【0066】

さまざまな実施形態では、サーバ６１２は、ここに説明されるように対話システム１００のセマンティックパーサ１１４を訓練するためにＧＡＮ１５５において逆伝搬を使用することを可能にする１つ以上のサービスまたはソフトウェアアプリケーションを実行するように適合されてもよい。たとえば、サーバ６１２は、訓練システム１５０のいくつかまたはすべての局面、もしくは、対話システム１００のいくつかまたはすべての局面を実行してもよい。

【0067】

ある実施形態では、サーバ６１２はまた、非仮想環境および仮想環境を含み得る他のサービスまたはソフトウェアアプリケーションを提供してもよい。いくつかの実施形態では、これらのサービスは、ソフトウェア・アズ・ア・サービス（Software as a Service：ＳａａＳ）モデル下などのウェブベースのサービスまたはクラウドサービスとして、クライアントコンピューティングデバイス６０２、６０４、６０６、および／または６０８のユーザに提供されてもよい。クライアントコンピューティングデバイス６０２、６０４、６０６、および／または６０８を操作するユーザは次に、１つ以上のクライアントアプリケーションを利用してサーバ６１２と相互作用し、これらのコンポーネントによって提供されるサービスを利用してもよい。より具体的には、たとえば、クライアントコンピューティングデバイス６０２、６０４、６０６、および／または６０８の各々は、対話システム１００を実行するように構成され、さらに、サーバ６１２がここに説明されるようにＧＡＮ１５５において対話システム１００のセマンティックパーサ１１４を逆伝搬を通して訓練することを可能にするようにサーバ６１２と通信するように構成された、埋込み型デバイスであってもよい。

【0068】

図６に表わされる構成では、サーバ６１２は、サーバ６１２によって行なわれる機能を実現する１つ以上のコンポーネント６１８、６２０、および６２２を含んでいてもよい。これらのコンポーネントは、１つ以上のプロセッサによって実行され得るソフトウェアコンポーネント、ハードウェアコンポーネント、またはそれらの組合せを含んでいてもよい。分散型システム６００とは異なり得るさまざまな異なるシステム構成が可能であることが理解されるべきである。図６に示す実施形態はこのため、実施形態のシステムを実現するための分散型システムの一例であり、限定的であるよう意図されていない。

【0069】

ユーザは、この開示の教示に従ってサーバ６１２によって提供される対話システム１００の局面と相互作用するために、クライアントコンピューティングデバイス６０２、６０４、６０６、および／または６０８を使用してもよい。クライアントデバイスは、クライアントデバイスのユーザがクライアントデバイスと相互作用することを可能にするインターフェイス（たとえば音声インターフェイス）を提供してもよい。図６はクライアントコンピューティングデバイスを４つだけ表わしているが、任意の数のクライアントコンピューティングデバイスがサポートされてもよい。

【0070】

クライアントデバイスは、ＰＡデバイス、携帯型ハンドヘルドデバイス、パーソナルコンピュータおよびラップトップなどの汎用コンピュータ、ワークステーションコンピュータ、ウェアラブルデバイス、ゲーミングシステム、シンクライアント、さまざまなメッセージングデバイス、センサまたは他の感知デバイスなどといった、さまざまなタイプのコンピューティングシステムを含んでいてもよい。これらのコンピューティングデバイスは、さまざまなタイプおよびバージョンのソフトウェアアプリケーションおよびオペレーティングシステム（たとえば、マイクロソフト・ウィンドウズ（登録商標）、アップル・マッキントッシュ（登録商標）、ＵＮＩＸ（登録商標）またはＵＮＩＸ系オペレーティングシステム、リナックス（登録商標）またはリナックス系オペレーティングシステム、たとえばグーグル・クローム（商標）ＯＳ）を実行してもよく、これらは、さまざまなモバイルオペレーティングシステム（たとえば、マイクロソフト・ウィンドウズ・モバイル（登録商標）、ｉＯＳ（登録商標）、ウィンドウズ・フォン（登録商標）、アンドロイド（商標）、ブラックベリー（登録商標）、パームＯＳ（登録商標））を含む。携帯型ハンドヘルドデバイスは、携帯電話、スマートフォン（たとえばｉＰｈｏｎｅ（登録商標））、タブレット（たとえばｉＰａｄ（登録商標））、携帯情報端末（personal digital assistant：ＰＤＡ）などを含んでいてもよい。ウェアラブルデバイスは、グーグル・グラス（登録商標）頭部装着型ディスプレイ、および他のデバイスを含んでいてもよい。ゲーミングシステムは、さまざまな携帯型ゲーミングデバイス、インターネット対応ゲーミングデバイス（たとえば、Ｋｉｎｅｃｔ（登録商標）ジェスチャー入力デバイスを有する、または有さない、マイクロソフトＸｂｏｘ（登録商標）ゲーミングコンソール、ソニー・プレイステーション（登録商標）システム、任天堂（登録商標）によって提供されるさまざまなゲーミングシステム、その他）などを含んでいてもよい。クライアントデバイスは、さまざまなインターネット関連アプリ、通信アプリケーション（たとえば電子メールアプリケーション、ショート・メッセージ・サービス（short message service：ＳＭＳ）アプリケーション）などのさまざまな異なるアプリケーションを実行可能であってもよく、さまざまな通信プロトコルを使用してもよい。

【0071】

ネットワーク６１０は、ＴＣＰ／ＩＰ（transmission control protocol/Internet protocol：伝送制御プロトコル／インターネットプロトコル）、ＳＮＡ（systems network architecture：システムネットワークアーキテクチャ）、ＩＰＸ（Internet packet exchange：インターネットパケット交換）、アップル・トーク（登録商標）などを何ら限定されることなく含む、入手可能なさまざまなプロトコルのうちのいずれかを使用してデータ通信をサポートできる、当業者にはよく知られた任意のタイプのネットワークであってもよい。単なる例として、ネットワーク６１０は、ローカルエリアネットワーク（local area network：ＬＡＮ）、イーサネット（登録商標）やトークンリングに基づくネットワーク、ワイドエリアネットワーク（wide-area network：ＷＡＮ）、インターネット、仮想ネットワーク、仮想プライベートネットワーク（virtual private network：ＶＰＮ）、イントラネット、エクストラネット、公衆交換電話網（public switched telephone network：ＰＳＴＮ）、赤外線ネットワーク、無線ネットワーク（たとえば、米国電気電子学会（the Institute of Electrical and Electronics：ＩＥＥＥ）８０２．１１プロトコルスイート、Bluetooth（登録商標）、および／または任意の他の無線プロトコルのうちのいずれかの下で動作するネットワーク）、ならびに／もしくは、これらのおよび／または他のネットワークの任意の組合せであり得る。

【0072】

サーバ６１２は、１つ以上の汎用コンピュータ、専用サーバコンピュータ（例として、ＰＣ（パーソナルコンピュータ）サーバ、ＵＮＩＸ（登録商標）サーバ、ミッドレンジサーバ、メインフレームコンピュータ、ラックマウントサーバなどを含む）、サーバファーム、サーバクラスタ、もしくは任意の他の適切な構成および／または組合せで構成されてもよい。サーバ６１２は、仮想オペレーティングシステムを実行する１つ以上の仮想機械か、または、仮想化に関与する他のコンピューティングアーキテクチャ、たとえば、サーバのために仮想記憶デバイスを維持するように仮想化され得る論理記憶デバイスの１つ以上のフレキシブルプールを含み得る。さまざまな実施形態では、サーバ６１２は、前述の開示で説明された機能性を提供する１つ以上のサービスまたはソフトウェアアプリケーションを実行するように適合されてもよい。

【0073】

サーバ６１２におけるコンピューティングシステムは、上述のもののうちのいずれかを含む１つ以上のオペレーティングシステム、および商業的に入手可能な任意のサーバオペレーティングシステムを実行してもよい。サーバ６１２はまた、さまざまな追加のサーバアプリケーションおよび／または中間層アプリケーションのうちのいずれかを実行してもよく、これらは、ＨＴＴＰ（hypertext transport protocol：ハイパーテキスト伝送プロトコル）サーバ、ＦＴＰ（file transfer protocol：ファイル転送プロトコル）サーバ、ＣＧＩ（common gateway interface：コモンゲートウェイインターフェイス）サーバ、ＪＡＶＡ（登録商標）サーバ、データベースサーバなどを含む。例示的なデータベースサーバは、オラクル（登録商標）、マイクロソフト（登録商標）、サイベース（Sybase）（登録商標）、ＩＢＭ（International Business Machines：インターナショナル・ビジネス・マシーンズ）などから商業的に入手可能なものを何ら限定されることなく含む。

【0074】

いくつかの実現化例では、サーバ６１２は、クライアントコンピューティングデバイス６０２、６０４、６０６、および６０８のユーザから受信されたデータフィードおよび／またはイベント更新を分析して統合するための１つ以上のアプリケーションを含んでいてもよい。一例として、データフィードおよび／またはイベント更新は、センサデータアプリケーション、金融ティッカー、ネットワーク性能測定ツール（たとえば、ネットワーク監視およびトラフィック管理アプリケーション）、クリックストリーム分析ツール、自動車交通監視などに関連するリアルタイムイベントを含み得る、１つ以上の第三者情報源および連続データストリームから受信されたツイッター（登録商標）フィード、フェースブック（登録商標）更新またはリアルタイム更新を含んでいてもよいが、それらに限定されない。サーバ６１２はまた、クライアントコンピューティングデバイス６０２、６０４、６０６、および６０８の１つ以上の表示デバイスを介してデータフィードおよび／またはリアルタイムイベントを表示するための１つ以上のアプリケーションを含んでいてもよい。

【0075】

分散型システム６００はまた、１つ以上のデータリポジトリ６１４、６１６を含んでいてもよい。ある実施形態では、これらのデータリポジトリは、データおよび他の情報を格納するために使用されてもよい。たとえば、ここに説明されるようにＧＡＮ１５５において対話システム１００のセマンティックパーサ１１４を逆伝搬によって訓練するために必要とされるシードデータ２１０または他のデータを格納するために、データリポジトリ６１４、６１６のうちの１つ以上が使用されてもよい。データリポジトリ６１４、６１６は、さまざまな位置に存在していてもよい。たとえば、サーバ６１２によって使用されるデータリポジトリは、サーバ６１２に対してローカルであってもよく、または、サーバ６１２からリモートであり、ネットワークベースの接続または専用接続を介してサーバ６１２と通信していてもよい。データリポジトリ６１４、６１６は、異なるタイプのものであってもよい。ある実施形態では、サーバ６１２によって使用されるデータリポジトリは、データベース、たとえばリレーショナルデータベース、たとえばオラクル・コーポレイション（登録商標）および他のベンダーによって提供されるデータベースであってもよい。これらのデータベースのうちの１つ以上が、ＳＱＬフォーマットのコマンドに応答してデータベースとの間でデータを格納し、更新し、検索することを可能にするように適合されてもよい。

【0076】

ある実施形態では、データリポジトリ６１４、６１６のうちの１つ以上はまた、アプリケーションデータを格納するためにアプリケーションによって使用されてもよい。アプリケーションによって使用されるデータリポジトリは、たとえば、ファイルシステムによってサポートされるキー値ストアリポジトリ、オブジェクトストアリポジトリ、または一般的な記憶リポジトリといった、異なるタイプのものであってもよい。

【0077】

ある実施形態では、ここに説明されるようにＧＡＮ１５５において対話システム１００のセマンティックパーサ１１４を逆伝搬によって訓練することのすべてまたは一部が、クラウド環境を介してサービスとして提供されてもよい。図７は、ここに説明されるある実施形態に従った、ここに説明されるようにセマンティックパーサ１１４を訓練することが少なくとも部分的にクラウドサービスとして提供され得る、クラウドベースのシステム環境のブロック図である。図７に表わされる実施形態では、クラウドインフラストラクチャシステム７０２は、１つ以上のクライアントコンピューティングデバイス７０４、７０６、および７０８を使用するユーザによって要求され得る１つ以上のクラウドサービスを提供してもよい。クラウドインフラストラクチャシステム７０２は、サーバ６１２について上述したものを含み得る１つ以上のコンピュータおよび／またはサーバを含んでいてもよい。クラウドインフラストラクチャシステム７０２におけるコンピュータは、汎用コンピュータ、専用サーバコンピュータ、サーバファーム、サーバクラスタ、もしくは任意の他の適切な構成および／または組合せとして編成されてもよい。

【0078】

ネットワーク７１０は、クライアントコンピューティングデバイス７０４、７０６、および７０８とクラウドインフラストラクチャシステム７０２との間のデータの通信および交換を容易にしてもよい。ネットワーク７１０は、１つ以上のネットワークを含んでいてもよい。これらのネットワークは、同じタイプのものであっても、異なるタイプのものであってもよい。ネットワーク７１０は、通信を容易にするために、有線および／または無線プロトコルを含む１つ以上の通信プロトコルをサポートしてもよい。

【0079】

図７に表わされる実施形態は、クラウドインフラストラクチャシステムの一例に過ぎず、限定的であるよう意図されていない。いくつかの他の実施形態では、クラウドインフラストラクチャシステム７０２は、図７に表わされるものよりも多い、または少ないコンポーネントを有していてもよく、２つ以上のコンポーネントを組合せてもよく、もしくは、異なる構成または配置のコンポーネントを有していてもよいということが理解されるべきである。たとえば、図７は３つのクライアントコンピューティングデバイスを表わしているが、代替的な実施形態では、任意の数のクライアントコンピューティングデバイスがサポートされてもよい。

【0080】

クラウドサービスという用語は一般に、サービスプロバイダのシステム（たとえばクラウドインフラストラクチャシステム７０２）によって、インターネットなどの通信ネットワークを介して、ユーザがオンデマンドで利用できるようになるサービスを指すために使用される。典型的には、パブリッククラウド環境では、クラウドサービスプロバイダのシステムを作り上げるサーバおよびシステムは、顧客自身の構内サーバおよびシステムとは異なっている。クラウドサービスプロバイダのシステムは、クラウドサービスプロバイダによって管理される。顧客はこのため、クラウドサービスプロバイダによって提供されるクラウドサービスを、当該サービスのための別々のライセンス、サポート、またはハードウェアおよびソフトウェアリソースを購入する必要なく、利用することができる。たとえば、クラウドサービスプロバイダのシステムはアプリケーションをホストしてもよく、ユーザは、ユーザが当該アプリケーションを実行するためのインフラストラクチャリソースを購入する必要なく、インターネットを介してオンデマンドで当該アプリケーションをオーダーし、使用してもよい。クラウドサービスは、アプリケーション、リソースおよびサービスへの容易でスケーラブルなアクセスを提供するように設計されている。いくつかのプロバイダはクラウドサービスを提供する。たとえば、ミドルウェアサービス、データベースサービス、Ｊａｖａクラウドサービスなどといったいくつかのクラウドサービスが、カリフォルニア州レッドウッド・ショアズ（Redwood Shores）のオラクル・コーポレイション（登録商標）によって提供される。

【0081】

ある実施形態では、クラウドインフラストラクチャシステム７０２は、ハイブリッドサービスモデルを含む、ソフトウェア・アズ・ア・サービス（ＳａａＳ）モデル、プラットフォーム・アズ・ア・サービス（Platform as a Service：ＰａａＳ）モデル、インフラストラクチャ・アズ・ア・サービス（Infrastructure as a Service：ＩａａＳ）モデルなどの下にある異なるモデルを使用して、１つ以上のクラウドサービスを提供してもよい。クラウドインフラストラクチャシステム７０２は、さまざまなクラウドサービスの提供を可能にするアプリケーション、ミドルウェア、データベース、および他のリソース一式を含んでいてもよい。

【0082】

ＳａａＳモデルは、顧客が基本アプリケーションのためのハードウェアまたはソフトウェアを購入する必要なく、アプリケーションまたはソフトウェアがインターネットなどの通信ネットワークを通してサービスとして顧客に送られることを可能にする。たとえば、ＳａａＳモデルは、クラウドインフラストラクチャシステム７０２によってホストされるオンデマンドアプリケーションへのアクセスを顧客に提供するために使用されてもよい。オラクル・コーポレイション（登録商標）によって提供されるＳａａＳサービスの例は、人材／資本管理、顧客関係管理（customer relationship management：ＣＲＭ）、企業資源計画（enterprise resource planning：ＥＲＰ）、サプライチェーン管理（supply chain management：ＳＣＭ）、企業業績管理（enterprise performance management：ＥＰＭ）、分析サービス、ソーシャルアプリケーションなどのためのさまざまなサービスを、何ら限定されることなく含む。

【0083】

ＩａａＳモデルは一般に、インフラストラクチャリソース（たとえば、サーバ、ストレージ、ハードウェアおよびネットワーキングリソース）をクラウドサービスとして顧客に提供して、弾力的な計算および記憶能力を提供するために使用される。さまざまなＩａａＳサービスが、オラクル・コーポレイション（登録商標）によって提供される。

【0084】

ＰａａＳモデルは一般に、顧客がアプリケーションおよびサービスを開発し、実行し、管理することを可能にするプラットフォームおよび環境リソースを、顧客がそのようなリソースを入手し、構築し、または維持する必要なく、サービスとして提供するために使用される。オラクル・コーポレイション（登録商標）によって提供されるＰａａＳサービスの例は、オラクルＪａｖａクラウドサービス（Java Cloud Service：ＪＣＳ）、オラクル・データベース・クラウド・サービス（Database Cloud Service：ＤＢＣＳ）、データ管理クラウドサービス、さまざまなアプリケーション開発ソリューションサービスなどを、何ら限定されることなく含む。

【0085】

クラウドサービスは一般に、オンデマンドのセルフサービスベースで、サブスクリプションベースで、弾力的にスケーラブルで、信頼性があり、高可用性で、セキュアな態様で提供される。たとえば、顧客は、クラウドインフラストラクチャシステム７０２によって提供される１つ以上のサービスを、サブスクリプションオーダーを介してオーダーしてもよい。クラウドインフラストラクチャシステム７０２は次に、顧客のサブスクリプションオーダーにおいて要求されたサービスを提供するために処理を行なう。たとえば、顧客は、会話形式で対話システム１００によって提供される情報サービスまたは他のサービスをサブスクライブしてもよい。クラウドインフラストラクチャシステム７０２は、１つまたは複数のクラウドサービスを提供するように構成されてもよい。

【0086】

クラウドインフラストラクチャシステム７０２は、異なるデプロイメントモデルを介してクラウドサービスを提供してもよい。パブリッククラウドモデルでは、クラウドインフラストラクチャシステム７０２は第三者クラウドサービスプロバイダによって所有されてもよく、クラウドサービスは任意の一般大衆顧客に提供され、ここで顧客は個人または企業であり得る。ある他の実施形態では、プライベートクラウドモデルの下で、クラウドインフラストラクチャシステム７０２はある組織内で（たとえば、ある企業組織内で）動作されてもよく、当該組織内の顧客のためにサービスが提供されてもよい。たとえば、顧客は、人事部、給与課などといった、企業のさまざまな部門であってもよく、または、当該企業内の個人であってもよい。ある他の実施形態では、コミュニティクラウドモデルの下で、クラウドインフラストラクチャシステム７０２および提供されるサービスは、関連するコミュニティにおけるいくつかの組織によって共有されてもよい。上述のモデルのハイブリッドといったさまざまな他のモデルも、使用されてもよい。

【0087】

クライアントコンピューティングデバイス７０４、７０６、および７０８は、異なるタイプのもの（図６に表わされるクライアントコンピューティングデバイス６０２、６０４、６０６、および６０８など）であってもよく、１つ以上のクライアントアプリケーションを動作可能であってもよい。ユーザは、クラウドインフラストラクチャシステム７０２によって提供されるサービスを要求するなどのために、クライアントコンピューティングデバイスを使用してクラウドインフラストラクチャシステム７０２と相互作用してもよい。攻撃者は、悪意のある要求を送信するためにクライアントデバイスを使用する場合がある。

【0088】

いくつかの実施形態では、クラウドインフラストラクチャシステム７０２によって行なわれる処理は、ビッグデータ分析を要する場合がある。この分析は、大きいデータセットを使用し、分析し、操作して、データ内のさまざまな傾向、挙動、関係などを検出し、視覚化することを要する場合がある。この分析は、１つ以上のプロセッサが、おそらくはデータを並列処理し、データを使用してシミュレーションを行なうことなどによって行なわれてもよい。たとえば、ビッグデータ分析は、ここに説明されるようなＧＡＮ１５５における逆伝搬によるセマンティックパーサ１１４の訓練を提供するために、クラウドインフラストラクチャシステム７０２によって行なわれてもよい。この分析のために使用されるデータは、構造化データ（たとえば、データベースに格納されたデータ、または構造化モデルに従って構造化されたデータ）および／または非構造化データ（たとえば、データブロブ（blob：binary large object：バイナリラージオブジェクト））を含んでいてもよい。

【0089】

図７の実施形態において表わされるように、クラウドインフラストラクチャシステム７０２は、クラウドインフラストラクチャシステム７０２によって提供されるさまざまなクラウドサービスの提供を容易にするために利用されるインフラストラクチャリソース７３０を含んでいてもよい。インフラストラクチャリソース７３０は、たとえば、処理リソース、ストレージまたはメモリリソース、ネットワーキングリソースなどを含んでいてもよい。

【0090】

ある実施形態では、クラウドインフラストラクチャシステム７０２によって異なる顧客に提供されるさまざまなクラウドサービスをサポートするためのこれらのリソースの効率的なプロビジョニングを容易にするために、インフラストラクチャリソース７３０は、複数の組のリソースまたはリソースモジュール（「ポッド」とも呼ばれる）へと束ねられてもよい。各リソースモジュールまたはポッドは、１つ以上のタイプのリソースの予め統合され最適化された組合せを含んでいてもよい。ある実施形態では、異なるタイプのクラウドサービスのために、異なるポッドが予めプロビジョニングされてもよい。たとえば、第１の組のポッドは、データベースサービスのためにプロビジョニングされてもよく、第１の組のポッドにおけるポッドとは異なる組合せのリソースを含み得る第２の組のポッドは、Ｊａｖａサービスのためにプロビジョニングされてもよい、などとなっている。いくつかのサービスについては、当該サービスをプロビジョニングするために割り当てられたリソースが、当該サービス間で共有されてもよい。

【0091】

クラウドインフラストラクチャシステム７０２自体が、クラウドインフラストラクチャシステム７０２の異なるコンポーネントによって共有され、クラウドインフラストラクチャシステム７０２によるサービスのプロビジョニングを容易にするサービス７３２を、内部で使用してもよい。これらの内部共有サービスは、セキュリティおよびアイデンティティサービス、統合サービス、企業リポジトリサービス、企業マネージャサービス、ウィルススキャニングおよびホワイトリストサービス、高可用性、バックアップおよび復旧サービス、クラウドサポートを可能にするためのサービス、電子メールサービス、通知サービス、ファイル転送サービスなどを、何ら限定されることなく含んでいてもよい。

【0092】

クラウドインフラストラクチャシステム７０２は、複数のサブシステムを含んでいてもよい。これらのサブシステムは、ソフトウェア、またはハードウェア、またはそれらの組合せにおいて実現されてもよい。図７に表わされるように、サブシステムは、クラウドインフラストラクチャシステム７０２のユーザまたは顧客がクラウドインフラストラクチャシステム７０２と相互作用することを可能にするユーザインターフェイスサブシステム７１２を含んでいてもよい。ユーザインターフェイスサブシステム７１２は、ウェブインターフェイス７１４と、クラウドインフラストラクチャシステム７０２によって提供されるクラウドサービスが宣伝されて消費者によって購入可能であるオンラインストアインターフェイス７１６と、他のインターフェイス７１８といった、さまざまな異なるインターフェイスを含んでいてもよい。たとえば、顧客は、インターフェイス７１４、７１６、および７１８のうちの１つ以上を使用してクラウドインフラストラクチャシステム７０２によって提供される１つ以上のサービスを、クライアントデバイスを使用して要求してもよい（サービス要求７３４）。たとえば、顧客は、オンラインストアにアクセスし、クラウドインフラストラクチャシステム７０２によって提供されるクラウドサービスを閲覧し、顧客がサブスクリプションしたい、クラウドインフラストラクチャシステム７０２によって提供される１つ以上のサービスについてのサブスクリプションオーダーを出してもよい。サービス要求は、顧客と、顧客がサブスクリプションしたい１つ以上のサービスとを識別する情報を含んでいてもよい。

【0093】

図７に表わされる実施形態などのある実施形態では、クラウドインフラストラクチャシステム７０２は、新たなオーダーを処理するように構成されたオーダー管理サブシステム（order management subsystem：ＯＭＳ）７２０を含んでいてもよい。この処理の一部として、ＯＭＳ７２０は、まだ作成されていなければ顧客のためのアカウントを作成し、要求されたサービスを顧客に提供することについて顧客に請求するために使用される請求および／または課金情報を顧客から受信し、顧客情報を検証し、検証時に顧客のためのオーダーを予約し、さまざまなワークフローをオーケストレーションしてプロビジョニングのためにオーダーを準備するように構成されてもよい。

【0094】

いったん適切に検証されると、ＯＭＳ７２０は次に、処理、メモリおよびネットワーキングリソースを含むオーダー用リソースをプロビジョニングするように構成されたオーダープロビジョニングサブシステム（order provisioning subsystem：ＯＰＳ）７２４を呼び出してもよい。プロビジョニングは、オーダー用リソースを割り当て、顧客オーダーによって要求されたサービスを容易にするようにリソースを構成することを含んでいてもよい。リソースがオーダーのためにプロビジョニングされる態様と、プロビジョニングされたリソースのタイプとは、顧客によってオーダーされたクラウドサービスのタイプに依存してもよい。たとえば、１つのワークフローに従って、ＯＰＳ７２４は、要求されている特定のクラウドサービスを判断し、その特定のクラウドサービスのために予め構成されていたであろうポッドの数を識別するように構成されてもよい。オーダーのために割り当てられるポッドの数は、要求されたサービスのサイズ／量／レベル／範囲に依存してもよい。たとえば、割り当てられるポッドの数は、サービスによってサポートされるユーザの数、サービスが要求されている持続時間などに基づいて判断されてもよい。割り当てられたポッドは次に、要求されたサービスを提供するために、要求する特定の顧客のためにカスタマイズされてもよい。

【0095】

クラウドインフラストラクチャシステム７０２は、要求されたサービスがいつ使える状態になるかを示すために、要求する顧客に応答または通知７４４を送信してもよい。いくつかの事例では、顧客が要求されたサービスを使用しその利益を利用し始めることを可能にする情報（たとえばリンク）が、顧客に送信されてもよい。

【0096】

クラウドインフラストラクチャシステム７０２は、複数の顧客にサービスを提供してもよい。顧客ごとに、クラウドインフラストラクチャシステム７０２は、顧客から受信された１つ以上のサブスクリプションオーダーに関連する情報を管理し、オーダーに関連する顧客データを維持し、要求されたサービスを顧客に提供することを担当する。クラウドインフラストラクチャシステム７０２はまた、顧客のサブスクライブされたサービスの使用に関する使用統計を収集してもよい。たとえば、統計は、使用されたストレージの量、転送されたデータの量、ユーザの数、システムアップタイムおよびシステムダウンタイムの量などについて収集されてもよい。この使用情報は、顧客に請求するために使用されてもよい。請求は、たとえば月に１回の周期で行なわれてもよい。

【0097】

クラウドインフラストラクチャシステム７０２は、複数の顧客に並行してサービスを提供してもよい。クラウドインフラストラクチャシステム７０２は、これらの顧客のために、おそらくは機密情報を含む情報を格納してもよい。ある実施形態では、クラウドインフラストラクチャシステム７０２は、顧客情報を管理し、ある顧客に関連する情報が別の顧客によってアクセスできないように、管理された情報の分離を提供するように構成されたアイデンティティ管理サブシステム（identity management subsystem：ＩＭＳ）７２８を含む。ＩＭＳ７２８は、さまざまなセキュリティ関連サービス、たとえばアイデンティティサービス、たとえば情報アクセス管理、認証および認可サービス、顧客アイデンティティおよび役割と関連する能力とを管理するためのサービスなどを提供するように構成されてもよい。

【0098】

図８は、ある実施形態を実現するために使用され得る例示的なコンピュータシステム８００のブロック図である。たとえば、いくつかの実施形態では、コンピュータシステム８００は、ここに説明されるシステム、サブシステム、およびコンポーネントのうちのいずれかを実現するために使用されてもよい。たとえば、複数のホストマシンが、ここに説明されるようなＧＡＮ１５５における対話システム１００のセマンティックパーサ１１４の訓練を提供し、実現してもよい。コンピュータシステム８００などのコンピュータシステムは、ホストマシンとして使用されてもよい。図８に示すように、コンピュータシステム８００は、バスサブシステム８０２を介して多くの他のサブシステムと通信する処理サブシステム８０４を含むさまざまなサブシステムを含む。これらの他のサブシステムは、処理加速部８０６と、Ｉ／Ｏサブシステム８０８と、記憶サブシステム８１８と、通信サブシステム８２４とを含んでいてもよい。記憶サブシステム８１８は、記憶媒体８２２とシステムメモリ８１０とを含む非一時的コンピュータ読取可能記憶媒体を含んでいてもよい。

【0099】

バスサブシステム８０２は、コンピュータシステム８００のさまざまなコンポーネントおよびサブシステムを意図されるように互いに通信させるためのメカニズムを提供する。バスサブシステム８０２は単一のバスとして概略的に示されているが、バスサブシステムの代替的な実施形態は複数のバスを利用してもよい。バスサブシステム８０２は、さまざまなバスアーキテクチャのうちのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスなどを含む、いくつかのタイプのバス構造のうちのいずれかであってもよい。たとえば、そのようなアーキテクチャは、業界標準アーキテクチャ（Industry Standard Architecture：ＩＳＡ）バス、マイクロチャネルアーキテクチャ（Micro Channel Architecture：ＭＣＡ）バス、強化ＩＳＡ（ＥＩＳＡ）バス、ビデオエレクトロニクス標準組織（Video Electronics Standards Association：ＶＥＳＡ）ローカルバス、および周辺コンポーネント相互接続（Peripheral Component Interconnect：ＰＣＩ）バスを含んでいてもよく、それは、ＩＥＥＥ Ｐ１３８６．１規格で製造されるメザニンバスなどとして実現可能である。

【0100】

処理サブシステム８０４はコンピュータシステム８００の動作を制御し、１つ以上のプロセッサ、特定用途向け集積回路（application specific integrated circuit：ＡＳＩＣ）、またはフィールドプログラマブルゲートアレイ（field programmable gate array：ＦＰＧＡ）を含んでいてもよい。これらのプロセッサは、シングルコアまたはマルチコアプロセッサを含んでいてもよい。コンピュータシステム８００の処理リソースは、１つ以上の処理部８３２、８３４などへと編成され得る。処理部は、１つ以上のプロセッサ、同じかまたは異なるプロセッサからの１つ以上のコア、コアおよびプロセッサの組合せ、またはコアおよびプロセッサの他の組合せを含んでいてもよい。いくつかの実施形態では、処理サブシステム８０４は、グラフィックスプロセッサ、デジタル信号プロセッサ（digital signal processor：ＤＳＰ）などといった、１つ以上の特殊用途コプロセッサを含み得る。いくつかの実施形態では、処理サブシステム８０４の処理部のうちのいくつかまたはすべては、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）といった、カスタマイズされた回路を使用して実現され得る。

【0101】

いくつかの実施形態では、処理サブシステム８０４における処理部は、システムメモリ８１０に、またはコンピュータ読取可能記憶媒体８２２上に格納された命令を実行できる。さまざまな実施形態では、処理部は、さまざまなプログラムまたはコード命令を実行でき、同時に実行される複数のプログラムまたはプロセスを維持できる。任意の所与の時間において、実行されるべきプログラムコードのうちのいくつかまたはすべては、システムメモリ８１０に、および／またはコンピュータ読取可能記憶媒体８２２上に、おそらくは１つ以上の記憶デバイス上に存在し得る。好適なプログラミングを通して、処理サブシステム８０４は、上述のさまざまな機能性を提供できる。コンピュータシステム８００が１つ以上の仮想機械を実行している事例では、１つ以上の処理部が各仮想機械に割り当てられてもよい。

【0102】

ある実施形態では、処理加速部８０６は、コンピュータシステム８００によって行なわれる処理全体を加速するように、カスタマイズされた処理を行なうために、または処理サブシステム８０４によって行なわれる処理の一部の負担を軽減するために、オプションで提供されてもよい。

【0103】

Ｉ／Ｏサブシステム８０８は、情報をコンピュータシステム８００に入力するための、および／または、情報をコンピュータシステム８００から、あるいはコンピュータシステム８００を介して出力するためのデバイスおよびメカニズムを含んでいてもよい。一般に、入力デバイスという用語の使用は、情報をコンピュータシステム８００に入力するためのあらゆる可能なタイプのデバイスおよびメカニズムを含むよう意図される。ユーザインターフェイス入力デバイスは、キーボード、マウスまたはトラックボールなどのポインティングデバイス、ディスプレイに組込まれたタッチパッドまたはタッチスクリーン、スクロールホイール、クリックホイール、ダイヤル、ボタン、スイッチ、キーパッド、音声コマンド認識システム付き音声入力デバイス、マイク、および他のタイプの入力デバイスを含んでいてもよい。ユーザインターフェイス入力デバイスはまた、ユーザが入力デバイスを制御し、それと相互作用することを可能にするマイクロソフトＫｉｎｅｃｔ（登録商標）運動センサ、マイクロソフトＸｂｏｘ（登録商標）３６０ゲームコントローラ、ジェスチャーおよび話されたコマンドを使用した入力を受信するためのインターフェイスを提供するデバイスといった、運動感知および／またはジェスチャー認識デバイスを含んでいてもよい。ユーザインターフェイス入力デバイスはまた、ユーザから目の活動（たとえば、写真撮影中および／またはメニュー選択中の「まばたき」）を検出し、アイジェスチャーを入力デバイス（たとえば、グーグル・グラス（登録商標））への入力として変換する、グーグル・グラス（登録商標）まばたき検出器などのアイジェスチャー認識デバイスを含んでいてもよい。加えて、ユーザインターフェイス入力デバイスは、ユーザが音声コマンドを通して音声認識システム（たとえば、Ｓｉｒｉ（登録商標）ナビゲータ）と相互作用できるようにする音声認識感知デバイスを含んでいてもよい。

【0104】

ユーザインターフェイス入力デバイスの他の例は、３次元（３Ｄ）マウス、ジョイスティックまたはポインティングスティック、ゲームパッドおよびグラフィックタブレット、ならびに、スピーカ、デジタルカメラ、デジタルビデオカメラ、携帯型メディアプレイヤー、ウェブカメラ、画像スキャナ、指紋スキャナ、バーコードリーダ３Ｄスキャナ、３Ｄプリンタ、レーザー測距器、および視線追跡デバイスなどの音声／視覚デバイスを、何ら限定されることなく含む。加えて、ユーザインターフェイス入力デバイスは、たとえば、コンピュータ断層撮影装置、磁気共鳴撮像装置、ポジトロン放出断層撮影装置、医療用超音波検査装置などの医療用撮像入力デバイスを含んでいてもよい。ユーザインターフェイス入力デバイスはまた、たとえば、ＭＩＤＩキーボード、デジタル楽器などの音声入力デバイスを含んでいてもよい。

【0105】

一般に、出力デバイスという用語の使用は、コンピュータシステム８００からユーザまたは他のコンピュータへ情報を出力するためのあらゆる可能なタイプのデバイスおよびメカニズムを含むよう意図されている。ユーザインターフェイス出力デバイスは、表示サブシステム、表示灯、または、音声出力デバイスなどの非視覚的ディスプレイを含んでいてもよい。表示サブシステムは、陰極線管（cathode ray tube：ＣＲＴ）、液晶ディスプレイ（liquid crystal display：ＬＣＤ）またはプラズマディスプレイを使用するものといったフラットパネルデバイス、投影デバイス、タッチスクリーンなどであってもよい。たとえば、ユーザインターフェイス出力デバイスは、モニタ、プリンタ、スピーカ、ヘッドホン、自動車ナビゲーションシステム、プロッタ、音声出力デバイス、およびモデムといった、テキスト、グラフィックスおよび音声／映像情報を視覚的に伝えるさまざまな表示デバイスを、何ら限定されることなく含んでいてもよい。

【0106】

記憶サブシステム８１８は、コンピュータシステム８００によって使用される情報およびデータを格納するためのリポジトリまたはデータストアを提供する。記憶サブシステム８１８は、いくつかの実施形態の機能性を提供するデータ構造および基本プログラミングを格納するための有形の非一時的コンピュータ読取可能記憶媒体を提供する。記憶サブシステム８１８は、処理サブシステム８０４によって実行されると上述の機能性を提供するソフトウェア（たとえばプログラム、コードモジュール、命令）を格納してもよい。ソフトウェアは、処理サブシステム８０４の１つ以上の処理部によって実行されてもよい。記憶サブシステム８１８はまた、この開示の教示に従って使用されるデータを格納するためのリポジトリを提供してもよい。

【0107】

記憶サブシステム８１８は、揮発性および不揮発性メモリデバイスを含む、１つ以上の非一時的メモリデバイスを含んでいてもよい。図８に示すように、記憶サブシステム８１８は、システムメモリ８１０とコンピュータ読取可能記憶媒体８２２とを含む。システムメモリ８１０は、プログラム実行中の命令およびデータの格納のための揮発性のメインランダムアクセスメモリ（random access memory：ＲＡＭ）と、固定された命令が格納される不揮発性の読出専用メモリ（read only memory：ＲＯＭ）またはフラッシュメモリとを含む、複数のメモリを含んでいてもよい。いくつかの実現化例では、起動中などにコンピュータシステム８００内の要素間で情報を転送するのに役立つ基本ルーチンを含む基本入力／出力システム（basic input/output system：ＢＩＯＳ）が、典型的にはＲＯＭに格納されてもよい。ＲＡＭは典型的には、処理サブシステム８０４によって現在動作され実行されているデータおよび／またはプログラムモジュールを含む。いくつかの実現化例では、システムメモリ８１０は、スタティックランダムアクセスメモリ（static random access memory：ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（dynamic random access memory：ＤＲＡＭ）などといった、複数の異なるタイプのメモリを含んでいてもよい。

【0108】

限定のためではなく例として、図８に表わされるように、システムメモリ８１０は、ウェブブラウザ、中間層アプリケーション、リレーショナルデータベース管理システム（relational database management system：ＲＤＢＭＳ）などといったさまざまなアプリケーションを含み得る、実行中のアプリケーションプログラム８１２と、プログラムデータ８１４と、オペレーティングシステム８１６とをロードしてもよい。例として、オペレーティングシステム８１６は、さまざまなバージョンのマイクロソフト・ウィンドウズ（登録商標）、アップル・マッキントッシュ（登録商標）、および／またはリナックスオペレーティングシステム、商業的に入手可能なさまざまなＵＮＩＸ（登録商標）またはＵＮＩＸ系オペレーティングシステム（さまざまなＧＮＵ／リナックスオペレーティングシステム、グーグル・クローム（登録商標）ＯＳなどを何ら限定されることなく含む）、および／または、ｉＯＳ、ウィンドウズ（登録商標）フォン、アンドロイド（登録商標）ＯＳ、ブラックベリー（登録商標）ＯＳ、パーム（登録商標）ＯＳオペレーティングシステムなどのモバイルオペレーティングシステムなどを含んでいてもよい。

【0109】

ある実施形態では、ここに説明されるようなＧＡＮ１５５における対話システム１００のセマンティックパーサ１１４の訓練を実現するソフトウェア命令またはコードは、システムメモリ８１０において実行されてもよい。

【0110】

コンピュータ読取可能記憶媒体８２２は、いくつかの実施形態の機能性を提供するプログラミングおよびデータ構造を格納してもよい。コンピュータ読取可能記憶媒体８２２は、コンピュータ読取可能命令、データ構造、プログラムモジュール、およびコンピュータシステム８００のための他のデータの格納を提供してもよい。処理サブシステム８０４によって実行されると上述の機能性を提供するソフトウェア（プログラム、コードモジュール、命令）は、記憶サブシステム８１８に格納されてもよい。例として、コンピュータ読取可能記憶媒体８２２は、ハードディスクドライブ、磁気ディスクドライブ、ＣＤ ＲＯＭ、ＤＶＤ、Ｂｌｕ－Ｒａｙ（登録商標）ディスク、または他の光学媒体などの光ディスクドライブといった不揮発性メモリを含んでいてもよい。コンピュータ読取可能記憶媒体８２２は、Ｚｉｐ（登録商標）ドライブ、フラッシュメモリカード、ユニバーサルシリアルバス（universal serial bus：ＵＳＢ）フラッシュドライブ、セキュアデジタル（secure digital：ＳＤ）カード、ＤＶＤディスク、デジタルビデオテープなどを含んでいてもよいが、それらに限定されない。コンピュータ読取可能記憶媒体８２２はまた、フラッシュメモリベースのソリッドステートドライブ（solid-state drive：ＳＳＤ）、企業フラッシュドライブ、ソリッドステートＲＯＭといった、不揮発性メモリに基づいたＳＳＤ、ソリッドステートＲＡＭ、ダイナミックＲＡＭ、スタティックＲＡＭ、ＤＲＡＭベースのＳＳＤ、磁気抵抗ＲＡＭ（ＭＲＡＭ）ＳＳＤといった、揮発性メモリに基づいたＳＳＤ、および、ＤＲＡＭベースのＳＳＤとフラッシュメモリベースのＳＳＤとの組合せを使用するハイブリッドＳＳＤを含んでいてもよい。

【0111】

ある実施形態では、記憶サブシステム８１８はまた、コンピュータ読取可能記憶媒体８２２にさらに接続され得るコンピュータ読取可能記憶媒体リーダ８２０を含んでいてもよい。リーダ８２０は、ディスク、フラッシュドライブなどのメモリデバイスからデータを受信して、読取るように構成されてもよい。

【0112】

ある実施形態では、コンピュータシステム８００は、処理およびメモリリソースの仮想化を含むもののこれに限定されない仮想化技術をサポートしてもよい。たとえば、コンピュータシステム８００は、１つ以上の仮想機械を実行するためのサポートを提供してもよい。ある実施形態では、コンピュータシステム８００は、仮想機械を構成し管理することを容易にするハイパーバイザなどのプログラムを実行してもよい。各仮想機械は、メモリ、計算（たとえばプロセッサ、コア）、Ｉ／Ｏ、およびネットワーキングリソースを割り当てられてもよい。各仮想機械は一般に、他の仮想機械とは独立して動く。仮想機械は典型的には、それ自体のオペレーティングシステムを実行し、それは、コンピュータシステム８００によって実行される他の仮想機械によって実行されるオペレーティングシステムと同じであっても、または異なっていてもよい。したがって、複数のオペレーティングシステムが、コンピュータシステム８００によっておそらくは同時に実行されてもよい。

【0113】

通信サブシステム８２４は、他のコンピュータシステムおよびネットワークへのインターフェイスを提供する。通信サブシステム８２４は、コンピュータシステム８００とは別のシステムからデータを受信し、別のシステムにデータを送信するためのインターフェイスとして機能する。たとえば、通信サブシステム８２４は、コンピュータシステム８００が、１つ以上のクライアントデバイスとの間で情報を受信および送信するために、インターネットを介してクライアントデバイスへの通信チャネルを確立することを可能にしてもよい。

【0114】

通信サブシステム８２４は、有線および／または無線通信プロトコル双方をサポートしてもよい。たとえば、ある実施形態では、通信サブシステム８２４は、（たとえば、携帯電話技術、先進データネットワーク技術（３Ｇ、４Ｇ、またはＥＤＧＥ（enhanced data rates for global evolution：エンハンスト・データレート・フォー・グローバル・エボリューション）、ＷｉＦｉ（ＩＥＥＥ８０２．ＸＸファミリー規格））、または他のモバイル通信技術、またはそれらの任意の組合せを使用して）無線音声および／またはデータネットワークにアクセスするための無線周波数（radio frequency：ＲＦ）送受信機コンポーネント、全地球測位システム（global positioning system：ＧＰＳ）受信機コンポーネント、および／または他のコンポーネントを含んでいてもよい。いくつかの実施形態では、通信サブシステム８２４は、無線インターフェイスに加えて、またはその代わりに、有線ネットワーク接続（たとえば、イーサネット）を提供できる。

【0115】

通信サブシステム８２４は、さまざまな形式のデータを受信し送信することができる。たとえば、いくつかの実施形態では、他の形式に加えて、通信サブシステム８２４は、構造化および／または非構造化データフィード８２６、イベントストリーム８２８、イベント更新８３０などの形をした入力通信を受信してもよい。たとえば、通信サブシステム８２４は、ツイッター（登録商標）フィード、フェースブック（登録商標）更新、リッチ・サイト・サマリー（Rich Site Summary：ＲＳＳ）フィードなどのウェブフィード、および／または１つ以上の第三者情報源からのリアルタイム更新といった、ソーシャルネットワークおよび／または他の通信サービスのユーザからのデータフィード８２６をリアルタイムで受信（または送信）するように構成されてもよい。

【0116】

ある実施形態では、通信サブシステム８２４は、リアルタイムイベントのイベントストリーム８２８および／またはイベント更新８３０を含み得る、明確な終わりがなく本質的に連続的または無限であり得る連続データストリームの形をしたデータを受信するように構成されてもよい。連続データを生成するアプリケーションの例は、たとえば、センサデータアプリケーション、金融ティッカー、ネットワーク性能測定ツール（たとえば、ネットワーク監視およびトラフィック管理アプリケーション）、クリックストリーム分析ツール、自動車交通監視などを含んでいてもよい。

【0117】

通信サブシステム８２４はまた、コンピュータシステム８００からのデータを他のコンピュータシステムまたはネットワークへ通信するように構成されてもよい。データは、構造化および／または非構造化データフィード８２６、イベントストリーム８２８、イベント更新８３０などといったさまざまな異なる形式で、コンピュータシステム８００に結合された１つ以上のストリーミングデータソースコンピュータと通信し得る１つ以上のデータベースへ通信されてもよい。

【0118】

コンピュータシステム８００は、ハンドヘルド携帯デバイス（たとえば、ｉＰｈｏｎｅ（登録商標）携帯電話、ｉＰａｄ（登録商標）コンピューティングタブレット、ＰＤＡ）、ウェアラブルデバイス（たとえば、グーグル・グラス（登録商標）頭部装着型ディスプレイ）、パーソナルコンピュータ、ワークステーション、メインフレーム、キオスク、サーバラック、または任意の他のデータ処理システムを含む、さまざまなタイプのうちの１つであり得る。コンピュータおよびネットワークの絶えず変化する性質により、図８に表わされるコンピュータシステム８００の説明は、単なる具体例として意図される。図８に表わされるシステムよりも多い、または少ないコンポーネントを有する多くの他の構成が可能である。ここに提供される開示および教示に基づいて、当業者であれば、さまざまな実施形態を実現するための他のやり方および／または方法を理解するであろう。

【0119】

特定の実施形態を説明してきたが、さまざまな修正、変更、代替的構造、および均等物が可能である。実施形態は、ある特定のデータ処理環境内での動作に制限されず、複数のデータ処理環境内で自由に動作する。加えて、ある特定の一連のトランザクションおよびステップを使用して、ある実施形態を説明してきたが、これが限定的であるよう意図されていないことは、当業者には明らかであるはずである。いくつかのフローチャートは動作を順次プロセスとして説明しているが、動作の多くは並行してまたは同時に行なわれ得る。加えて、動作の順序は並べ替えられてもよい。プロセスは、図に含まれない追加のステップを有していてもよい。上述の実施形態のさまざまな特徴および局面は、個々にまたはともに使用されてもよい。

【0120】

また、ハードウェアとソフトウェアとのある特定の組合せを使用して、ある実施形態を説明してきたが、ハードウェアとソフトウェアとの他の組合せも可能であるということが認識されるべきである。ある実施形態はハードウェアのみにおいて、またはソフトウェアのみにおいて、またはそれらの組合せを使用して実現されてもよい。ここに説明されたさまざまなプロセスは、同じプロセッサ上で、または任意の組合せの異なるプロセッサ上で実現され得る。

【0121】

デバイス、システム、コンポーネントまたはモジュールがある動作または機能を行なうように構成されるとして説明される場合、そのような構成は、たとえば、動作を行なうように電子回路を設計することによって、動作を行なうようにプログラマブル電子回路（マイクロプロセッサなど）をプログラミングすることによって、たとえば、コンピュータ命令またはコード、もしくは非一時的記憶媒体上に格納されたコードまたは命令を実行するようにプログラムされたプロセッサまたはコア、もしくはそれらの任意の組合せを実行することによって、遂行され得る。プロセスは、プロセス間通信のための従来の手法を含むもののそれらに限定されないさまざまな手法を使用して通信可能であり、異なる対のプロセスが異なる手法を使用してもよく、または、同じ対のプロセスが異なる時間に異なる手法を使用してもよい。

【0122】

この開示では、実施形態の完全な理解を提供するために、具体的な詳細が与えられている。しかしながら、実施形態は、これらの具体的な詳細がなくても実践され得る。たとえば、周知の回路、プロセス、アルゴリズム、構造、および手法は、実施形態を不明瞭にしないように、不必要な詳細なしで示されてきた。この説明は例示的な実施形態を提供するに過ぎず、他の実施形態の範囲、利用可能性、または構成を限定するよう意図されていない。むしろ、実施形態の上述の説明は、さまざまな実施形態を実現するための実施可能な説明を当業者に提供するであろう。要素の機能および構成においてさまざまな変更が加えられてもよい。

【0123】

明細書および図面はしたがって、限定的な意味ではなく例示的な意味で考えられるべきである。しかしながら、請求項で述べられるようなより広範な精神および範囲から逸脱することなく、加減、削除、ならびに他の修正および変更をそれに行なってもよい、ということは明らかであろう。このため、特定の実施形態を説明してきたが、これらは限定的であるよう意図されていない。さまざまな修正および均等物が、特許請求の範囲内にある。修正および／または変更は、開示された特徴のあらゆる関連する組合せを含む。

【0124】

一実施形態によれば、開示された特徴は、以下のように概説される。
例１：対話システムのセマンティックパーサを訓練するための方法が提供され、方法は、シードタプルを含むシードデータにアクセスするステップを含み、シードデータの各シードタプルは、それぞれのシード発話と、それぞれのシード発話に対応するそれぞれのシード論理形式とを含み、方法はさらに、敵対的生成ネットワーク（ＧＡＮ）においてセマンティックパーサおよび識別器を訓練するステップを含み、ＧＡＮにおいて、セマンティックパーサは、発話を論理形式にマッピングすることを学習し、識別器は、真正な論理形式を認識することを学習し、セマンティックパーサは、対話システムの一部として使用可能である。

【0125】

例２：ＧＡＮにおいてセマンティックパーサおよび識別器を訓練するステップは、ランダムな発話をセマンティックパーサに入力するステップと、セマンティックパーサが、ランダムな発話に基づいて、生成された論理形式を決定するステップと、生成されたタプルとシードデータから選択されたシードタプルの部分集合とを含むタプルを識別器に入力するステップとを含み、生成されたタプルは、ランダムな発話と生成された論理形式とを含み、ＧＡＮにおいてセマンティックパーサおよび識別器を訓練するステップはさらに、識別器が、タプルの予測される真正性を決定するステップを含む、例１に記載の方法。

【0126】

例３：ＧＡＮにおいてセマンティックパーサおよび識別器を訓練するステップはさらに、予測される真正性をタプルの実際の真正性と比較するステップと、予測される真正性をタプルの実際の真正性と比較するステップに基づいて、識別器を更新するステップとを含む、例２に記載の方法。

【0127】

例４：タプルにおける１つのタプルの実際の真正性は、１つのタプルがシードデータにおける１つのシードタプルであることに基づいている、例３に記載の方法。

【0128】

例５：ＧＡＮにおいてセマンティックパーサおよび識別器を訓練するステップはさらに、シード発話をセマンティックパーサに入力するステップを含み、シード発話はシードタプルから選択され、ＧＡＮにおいてセマンティックパーサおよび識別器を訓練するステップはさらに、セマンティックパーサが、シード発話に基づいて、追加の生成された論理形式を決定するステップと、シードデータからのシード発話と追加の生成された論理形式とを含む追加の生成されたタプルを識別器に入力するステップと、識別器が、追加の生成されたタプルの追加の予測される真正性を決定するステップとを含む、例３に記載の方法。

【0129】

例６：ＧＡＮにおいてセマンティックパーサおよび識別器を訓練するステップはさらに、追加の予測される真正性を追加の生成されたタプルの選択された真正性と比較するステップと、追加の予測される真正性を追加の生成されたタプルの選択された真正性と比較するステップに基づいて、セマンティックパーサを更新するステップとを含む、例５に記載の方法。

【0130】

例７：追加の生成されたタプルの選択された真正性は、追加の生成されたタプルが真正であることを示す、例６に記載の方法。

【0131】

例８：ＧＡＮにおいてセマンティックパーサおよび識別器を訓練するステップは、更新された識別器を決定するために、セマンティックパーサが静的である間にセマンティックパーサからの出力に基づいてシードデータの第１の部分を用いて識別器を訓練するステップと、更新されたセマンティックパーサを決定するために、更新された識別器が静的である間に更新された識別器からの出力に基づいてシードデータの第２の部分を用いてセマンティックパーサを訓練するステップとを含む、例１に記載の方法。

【0132】

例９：セマンティックパーサはシーケンス間ニューラルネットワークであり、識別器はバイナリ分類器である、例８に記載の方法。

【0133】

例１０：対話システムが音声入力を受信するステップと、発話を決定するために自動音声認識サブシステムを音声入力に適用するステップと、論理形式を決定するためにセマンティックパーサを発話に適用するステップと、音声入力に応答して応答テキストを生成するために論理形式を分析するステップと、対話システムのための音響出力を決定するためにテキスト読み上げサブシステムを応答テキストに適用するステップとをさらに含む、例１に記載の方法。

【0134】

例１１：訓練システムであって、シードタプルを含むシードデータにアクセスするように構成されたデータ入力サブシステムを含み、シードデータの各シードタプルは、それぞれのシード発話と、それぞれのシード発話に対応するそれぞれのシード論理形式とを含み、訓練システムはさらに、敵対的生成ネットワーク（ＧＡＮ）を含み、ＧＡＮは、真正な論理形式を認識することを学習するように構成された識別器と、発話を論理形式にマッピングすることを学習するように構成されたセマンティックパーサと、セマンティックパーサの出力の真正性を分類する識別器からの出力に基づいてセマンティックパーサを訓練するように構成された誤差最小化モジュールとを含み、セマンティックパーサは、対話システムの一部として使用可能である、訓練システム。

【0135】

例１２：データ入力サブシステムは、ランダムな発話をセマンティックパーサに入力するように構成され、セマンティックパーサは、ランダムな発話に基づいて論理形式を生成するように構成され、データ入力サブシステムは、生成されたタプルとシードデータから選択されたシードタプルの部分集合とを含むタプルを識別器に入力するように構成され、生成されたタプルは、ランダムな発話と生成された論理形式とを含み、識別器は、タプルの真正性を予測するように構成される、例１１に記載の訓練システム。

【0136】

例１３：誤差最小化モジュールはさらに、予測される真正性をタプルの実際の真正性と比較し、予測される真正性をタプルの実際の真正性と比較することに基づいて、識別器を更新するように構成される、例１２に記載の訓練システム。

【0137】

例１４：タプルにおける１つのタプルの実際の真正性は、１つのタプルがシードデータにおける１つのシードタプルであることに基づいている、例１３に記載の方法。

【0138】

例１５：データ入力サブシステムはさらに、シード発話をセマンティックパーサに入力するように構成され、シード発話はシードタプルから選択され、セマンティックパーサは、シード発話に基づいて、追加の生成された論理形式を決定するように構成され、データ入力サブシステムは、シードデータからのシード発話と追加の生成された論理形式とを含む追加の生成されたタプルを識別器に入力するように構成され、識別器は、追加の生成されたタプルの追加の予測される真正性を決定するように構成される、例１３に記載の訓練システム。

【0139】

例１６：誤差最小化モジュールはさらに、追加の予測される真正性を追加の生成されたタプルの選択された真正性と比較し、追加の予測される真正性を追加の生成されたタプルの選択された真正性と比較することに基づいて、セマンティックパーサを更新するように構成される、例１５に記載の訓練システム。

【0140】

例１７：追加の生成されたタプルの選択された真正性は、追加の生成されたタプルが真正であることを示す、例１６に記載の訓練システム。

【0141】

例１８：セマンティックパーサはシーケンス間ニューラルネットワークであり、識別器はバイナリ分類器である、例１１に記載の訓練システム。

【0142】

例１９：対話システムのセマンティックパーサを訓練するためのコンピュータプログラム製品であって、コンピュータプログラム製品は、プログラム命令が具現化されたコンピュータ読取可能記憶媒体を含み、プログラム命令は、１つ以上のプロセッサに方法を行なわせるように１つ以上のプロセッサによって実行可能であり、方法は、シードタプルを含むシードデータにアクセスするステップを含み、シードデータの各シードタプルは、それぞれのシード発話と、それぞれのシード発話に対応するそれぞれのシード論理形式とを含み、方法はさらに、敵対的生成ネットワーク（ＧＡＮ）の識別器を、ＧＡＮのセマンティックパーサに基づいて訓練するステップを含み、識別器を訓練するステップは、ランダムな発話をセマンティックパーサに入力するステップと、セマンティックパーサが、ランダムな発話に基づいて、生成された論理形式を決定するステップと、生成されたタプルとシードデータから選択されたシードタプルの部分集合とを含むタプルを識別器に入力するステップとを含み、生成されたタプルは、ランダムな発話と生成された論理形式とを含み、識別器を訓練するステップはさらに、識別器が、タプルの予測される真正性を決定するステップと、予測される真正性をタプルの実際の真正性と比較するステップと、予測される真正性をタプルの実際の真正性と比較するステップに基づいて、識別器を更新するステップと含み、方法はさらに、ＧＡＮのセマンティックパーサを、ＧＡＮの識別器に基づいて訓練するステップを含み、セマンティックパーサを訓練するステップは、シード発話をセマンティックパーサに入力するステップを含み、シード発話はシードタプルから選択され、セマンティックパーサを訓練するステップはさらに、セマンティックパーサが、シード発話に基づいて、追加の生成された論理形式を決定するステップと、シードデータからのシード発話と追加の生成された論理形式とを含む追加の生成されたタプルを識別器に入力するステップと、識別器が、追加の生成されたタプルの追加の予測される真正性を決定するステップと、追加の予測される真正性を追加の生成されたタプルの選択された真正性と比較するステップと、追加の予測される真正性を追加の生成されたタプルの選択された真正性と比較するステップに基づいて、セマンティックパーサを更新するステップとを含み、セマンティックパーサは、対話システムにおいて発話を論理形式にマッピングするために使用可能である、コンピュータプログラム製品。

【0143】

例２０：タプルにおける１つのタプルの実際の真正性は、１つのタプルがシードデータにおける１つのシードタプルであることに基づいており、追加の生成されたタプルの選択された真正性は、追加の生成されたタプルが真正であることを示す、例１９に記載のコンピュータプログラム製品。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】