▶ オラクル・インターナショナル・コーポレイションの特許一覧
特表2024-541762事前トレーニングされた言語モデルのための長いテキストを処理するシステムおよび技術
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-12
(54)【発明の名称】事前トレーニングされた言語モデルのための長いテキストを処理するシステムおよび技術
(51)【国際特許分類】
G06F 16/68 20190101AFI20241105BHJP
【ＦＩ】
G06F16/68
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024530007
(86)(22)【出願日】2022-11-16
(85)【翻訳文提出日】2024-06-20
(86)【国際出願番号】 US2022050024
(87)【国際公開番号】W WO2023091436
(87)【国際公開日】2023-05-25
(31)【優先権主張番号】63/282,146
(32)【優先日】2021-11-22
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/750,240
(32)【優先日】2022-05-20
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】502303739
【氏名又は名称】オラクル・インターナショナル・コーポレイション
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ブー，タン・ティエン
(72)【発明者】
【氏名】ファム，トゥエン・クアン
(72)【発明者】
【氏名】ジョンソン，マーク・エドワード
(72)【発明者】
【氏名】ドゥオング，タン・ロング
(72)【発明者】
【氏名】シュ，イン
(72)【発明者】
【氏名】ザレムーディ，ポーヤ
(72)【発明者】
【氏名】ネザミ，オミッド・モハマド
(72)【発明者】
【氏名】サハ，ブッダディティヤ
(72)【発明者】
【氏名】ホアン，コン・ズイ・ブー
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175DA05
5B175FB02
(57)【要約】
いくつかの態様では、コンピューティング装置は、データ処理システムで発話のセットを受信し、名前付きエンティティ認識装置を使用してトレーニングまたは推論し、発話のセットからの各トークンピースにラベルを割り当てることができる。コンピューティング装置は、セット内の各発話の長さを決定し、発話の長さがトークンピースの所定の閾値を超えると、発話をトークンピースの複数の重複チャンクに分割し、チャンク内の各トークンピースに信頼スコアとともにラベルを割り当て、２つの信頼スコアを統合することによってトークンピースのチャンクごとに最終ラベルおよび関連する信頼スコアを決定し、少なくとも２つの信頼スコアの統合に基づいて発話の最終的な注釈付きラベルを決定し、最終的な注釈付きラベルをメモリに記憶できる。
【特許請求の範囲】
【請求項1】
データ処理システムで、発話のセットを受信し、名前付きエンティティ認識装置を使用してトレーニングまたはインターフェースして、発話の前記セットからの各トークンピースにラベルを割り当てることと、発話の前記セットの長さを決定することと、
発話の前記セットの前記長さがトークンピースの所定の閾値を超えた場合
発話の前記セットをトークンピースの複数の重複チャンクに分割することと、
チャンク内の各トークンピースに信頼スコアとともにラベルを割り当てることと、
第１のチャンクからの信頼スコアと第２のチャンクからの信頼スコアの２つの信頼スコアを統合することによって、トークンピースの前記複数の重複チャンクの各チャンクの最終ラベルおよび関連する信頼スコアを決定することと、
少なくとも前記２つの信頼スコアの前記統合に基づいて発話の前記セットの最終的な注釈付きラベルを決定することと、
前記最終的な注釈付きラベルをメモリに記憶することと、を含む、方法。
【請求項2】
各チャンクおよびそれに対応するラベルのシーケンスは、トレーニング時に別個の例として扱われる、請求項１に記載の方法。
【請求項3】
サイズＮの発話の前記セットを前記分割することは、前記サイズＮの発話の前記セットを（ＮＬ）／（ＫＬ）の重複チャンクに分割することであり、Ｋはチャンクサイズであり、Ｌは重複サイズである、請求項１および請求項２のいずれか１項に記載の方法。
【請求項4】
トークンピースの全体のスコアおよび最終的な注釈付きラベルを前記決定することは、前記複数の重複チャンクのうち最初に選択されるチャンクからの信頼スコアに少なくとも部分的に基づく、請求項１～３のいずれか１項に記載の方法。
【請求項5】
トークンピースの全体のスコアの前記決定は、トークンピースの前記複数の重複チャンクにおける前記トークンピースの位置に基づいて行われ、前記全体のスコアは、第１のチャンクがトークンピースの前記複数の重複チャンクの前半にある場合は前記第１のチャンクからの第１の信頼スコアであり、第２のチャンクがトークンピースの前記複数の重複チャンクの後半にある場合は前記第２のチャンクからの第２の信頼スコアである、請求項１～３のいずれか１項に記載の方法。
【請求項6】
全体のスコアの前記決定は、前記複数の重複チャンクの最大信頼スコアに基づいて行われる、請求項１～３のいずれか１項に記載の方法。
【請求項7】
トークンピースの前記所定の閾値は５１２個のトークンであり、重複トークンピースの所定の数は１２８個のトークンである、請求項１～６のいずれか１項に記載の方法。
【請求項8】
１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサに結合されるメモリと、を含み、前記メモリには前記１つまたは複数のプロセッサによって実行可能な複数の命令が記憶され、前記複数の命令は、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
データ処理システムで、発話のセットを受信し、名前付きエンティティ認識装置を使用してトレーニングまたはインターフェースして、発話の前記セットからの各トークンピースにラベルを割り当てることと、
発話の前記セットの長さを決定することと、
発話の前記セットの前記長さがトークンピースの所定の閾値を超えた場合、
発話の前記セットをトークンピースの複数の重複チャンクに分割することと、
チャンク内の各トークンピースに信頼スコアとともにラベルを割り当てることと、
第１のチャンクからの信頼スコアと第２のチャンクからの信頼スコアの２つの信頼スコアを統合することによって、トークンピースの前記重複チャンクの各チャンクの最終ラベルおよび関連する信頼スコアを決定することと、
少なくとも前記２つの信頼スコアの前記統合に基づいて発話の前記セットの最終的な注釈付きラベルを決定することと、
前記最終的な注釈付きラベルをメモリに記憶することと、を含む動作を実行させる、システム。
【請求項9】
各チャンクおよびそれに対応するラベルのシーケンスは、トレーニング時に別個の例として扱われる、請求項８に記載のシステム。
【請求項10】
サイズＮの発話の前記セットを前記分割することは、前記サイズＮの発話の前記セット（ＮＬ）／（ＫＬ）の重複チャンクに分割することであり、Ｋはチャンクサイズであり、Ｌは重複サイズである、請求項８および９のいずれか１項に記載のシステム。
【請求項11】
トークンピースの全体のスコアおよび最終的な注釈付きラベルを前記決定することは、前記複数の重複チャンクのうち最初に選択されるチャンクからの信頼スコアに少なくとも部分的に基づく、請求項８～１０のいずれか１項に記載のシステム。
【請求項12】
トークンピースの全体のスコアの前記決定は、トークンピースの前記重複チャンクにおける前記トークンピースの位置に基づいて行われ、前記全体のスコアは、第１のチャンクがトークンピースの前記重複チャンクの前半にある場合は前記第１のチャンクからの第１の信頼スコアであり、第２のチャンクがトークンピースの前記重複チャンクの後半にある場合は前記第２のチャンクから第２の信頼スコアである、請求項８～１０のいずれか１項に記載のシステム。
【請求項13】
全体のスコアの前記決定は、前記複数の重複チャンクの最大信頼スコアに基づいて行われる、請求項８～１０のいずれか１項に記載のシステム。
【請求項14】
トークンピースの前記所定の閾値は５１２個のトークンであり、重複トークンピースの所定の数は１２８個のトークンである、請求項８～１２のいずれか１項に記載のシステム。
【請求項15】
１つまたは複数のプロセッサによって実行可能であり、前記１つまたは複数のプロセッサに、データ処理システムで、発話のセットを受信し、名前付きエンティティ認識装置を使用してトレーニングまたはインターフェースして、発話の前記セットからの各トークンピースにラベルを割り当てることと、
発話の前記セットの長さを決定することと、
発話の前記セットの前記長さがトークンピースの所定の閾値を超えた場合、
発話の前記セットをトークンピースの複数の重複チャンクに分割することと、
チャンク内の各トークンピースに信頼スコアとともにラベルを割り当てることと、
第１のチャンクからの信頼スコアと第２のチャンクからの信頼スコアの２つの信頼スコアを統合することによって、トークンピースの前記重複チャンクの各チャンクの最終ラベルおよび関連する信頼スコアを決定することと、
少なくとも前記２つの信頼スコアの前記統合に基づいて発話の前記セットの最終的な注釈付きラベルを決定することと、
前記最終的な注釈付きラベルをメモリに記憶することと、を含む、動作を実行させる複数の命令を記憶する非一時的なコンピュータ可読媒体。
【請求項16】
各チャンクおよびそれに対応するラベルのシーケンスは、トレーニング時に別個の例として扱われる、請求項１５に記載の非一時的なコンピュータ可読媒体。
【請求項17】
サイズＮの発話の前記セットを前記分割することは、前記サイズＮの発話の前記セットを（ＮＬ）／（ＫＬ）個の重複チャンクに分割することであり、Ｋはチャンクサイズ、Ｌは重複サイズである、請求項１５～１６のいずれか１項に記載の非一時的なコンピュータ可読媒体。
【請求項18】
トークンピースの全体のスコアおよび最終的な注釈付きラベルを前記決定することは、前記複数の重複チャンクのうち最初に選択されるチャンクからの信頼スコアに少なくとも部分的に基づく、請求項１５～１７のいずれか１項に記載の非一時的なコンピュータ可読媒体。
【請求項19】
トークンピースの全体のスコアの前記決定は、トークンピースの前記重複チャンクにおける前記トークンピースの位置に基づいて行われ、前記全体のスコアは、第１のチャンクがトークンピースの前記重複チャンクの前半にある場合は前記第１のチャンクからの第１の信頼スコアであり、第２のチャンクがトークンピースの前記重複チャンクの後半にある場合は前記第２のチャンクからの第２の信頼スコアである、請求項１５～１７のいずれか１項に記載の非一時的なコンピュータ可読媒体。
【請求項20】
全体のスコアの前記決定は、前記複数の重複チャンクの最大信頼スコアに基づいて行われる、請求項１５～１７のいずれか１項に記載の非一時的なコンピュータ可読媒体。【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２２年５月２０日に出願された「SYSTEM AND TECHNIQUES FOR HANDLING LONG TEXT FOR PRE-TRAINED LANGUAGE MODELS」と題される米国特許出願第１７／７５０，２４０号の優先権を主張し、その出願は２０２１年１１月２２日に出願された「SYSTEM AND TECHNIQUES FOR HANDLING LONG TEXT FOR PRE-TRAINED LANGUAGE MODELS」と題される本願の譲受人が所有する米国仮特許出願第６３／２８２，１４６号の優先権を主張し、その全体およびすべての目的において、参照により組み込む。
本出願は、２０２２年５月２０日に出願された「SYSTEM AND TECHNIQUES FOR HANDLING LONG TEXT FOR PRE-TRAINED LANGUAGE MODELS」と題される米国特許出願第１７／７５０，２４０号の優先権を主張し、その出願は２０２１年１１月２２日に出願された「SYSTEM AND TECHNIQUES FOR HANDLING LONG TEXT FOR PRE-TRAINED LANGUAGE MODELS」と題される本願の譲受人が所有する米国仮特許出願第６３／２８２，１４６号の優先権を主張し、その全体およびすべての目的において、参照により組み込む。
【0002】
発明の分野
本開示は、一般的にはチャボットシステムに関し、より具体的には、自然言語処理におけるチャボットシステム用の事前トレーニングされた言語モデルの長いテキストを処理する技術に関する。
本開示は、一般的にはチャボットシステムに関し、より具体的には、自然言語処理におけるチャボットシステム用の事前トレーニングされた言語モデルの長いテキストを処理する技術に関する。
【背景技術】
【0003】
背景
世界中の多くのユーザが、即座に反応を得るためにインスタントメッセージングやチャットプラットフォームを利用している。組織は多くの場合、これらのインスタントメッセージングプラットフォームやチャットプラットフォームを使用して、顧客（またはエンドユーザ）とライブの会話を交わす。しかし、組織が顧客やエンドユーザとのライブ通信に従事するサービス担当者を雇用すると、非常にコストがかかる可能性がある。特にインターネット上でエンドユーザとの会話をシミュレートするために、チャットボットまたはボットの開発が始まっている。エンドユーザは、すでにインストールして使用しているメッセージングアプリを通じてボットと通信できる。インテリジェントボットは一般に人工知能（ＡＩ）を活用しており、ライブ会話においてよりインテリジェントかつコンテキストに応じた通信を行うことができるため、ボットとエンドユーザの間でより自然な会話が可能になり、会話エクスペリエンスが向上し得る。エンドユーザが、ボットが応答方法を知っている固定のキーワードやコマンドのセットを学習する代わりに、インテリジェントボットは、自然言語でのユーザの発話に基づいてエンドユーザの意図を理解し、それに応じて応答できる可能性がある。
世界中の多くのユーザが、即座に反応を得るためにインスタントメッセージングやチャットプラットフォームを利用している。組織は多くの場合、これらのインスタントメッセージングプラットフォームやチャットプラットフォームを使用して、顧客（またはエンドユーザ）とライブの会話を交わす。しかし、組織が顧客やエンドユーザとのライブ通信に従事するサービス担当者を雇用すると、非常にコストがかかる可能性がある。特にインターネット上でエンドユーザとの会話をシミュレートするために、チャットボットまたはボットの開発が始まっている。エンドユーザは、すでにインストールして使用しているメッセージングアプリを通じてボットと通信できる。インテリジェントボットは一般に人工知能（ＡＩ）を活用しており、ライブ会話においてよりインテリジェントかつコンテキストに応じた通信を行うことができるため、ボットとエンドユーザの間でより自然な会話が可能になり、会話エクスペリエンスが向上し得る。エンドユーザが、ボットが応答方法を知っている固定のキーワードやコマンドのセットを学習する代わりに、インテリジェントボットは、自然言語でのユーザの発話に基づいてエンドユーザの意図を理解し、それに応じて応答できる可能性がある。
【0004】
自然言語処理で使用される事前トレーニングされた言語モデルは、テキストの最大長をサポートするように設計することができる。例えば、さまざまなモデルでは、テキストの最大長を５１２個のトークンピース（例えば、５１２個のサブワード）に制限できる。以前のソリューションでは、テキストの最大長を超えたチャボットエントリは、テキストの最大長未満に切り捨てられていた。このソリューションでは、切り捨てられるデータからの情報が失われ、結果の精度が低下し得る。これにより、チャボットの性能が低下し、顧客エクスペリエンスが悪くなる。
【発明の概要】
【0005】
概要
本明細書に開示される技術は、一般的にはキャットボートに関する。より具体的には、限定するものではないが、本明細書に開示される技術は、事前トレーニングされた言語モデル用の長いテキストを処理する技術に関する。さまざまな態様において、事前トレーニングされた言語モデルは通常、所定の最大数のトークンピースをサポートする。長いテキストは、事前に定義されるチャンクサイズと重複トークンピースの数を使用して、重複チャンクに分割できる。チャンクは、名前付きエンティティ認識（ＮＥＲ）によって個別にタグ付けできる。重複トークンピースごとに注釈付きラベルの２つのスコア（１つは第１のチャンクから、もう１つは第２のチャンクから）を組み合わせて、長いテキスト内の各トークンピースの最終的なラベルを決定できる。これにより、チャットボットの高い性能を維持しながら、トレーニングと推論の時間を短縮できる。
本明細書に開示される技術は、一般的にはキャットボートに関する。より具体的には、限定するものではないが、本明細書に開示される技術は、事前トレーニングされた言語モデル用の長いテキストを処理する技術に関する。さまざまな態様において、事前トレーニングされた言語モデルは通常、所定の最大数のトークンピースをサポートする。長いテキストは、事前に定義されるチャンクサイズと重複トークンピースの数を使用して、重複チャンクに分割できる。チャンクは、名前付きエンティティ認識（ＮＥＲ）によって個別にタグ付けできる。重複トークンピースごとに注釈付きラベルの２つのスコア（１つは第１のチャンクから、もう１つは第２のチャンクから）を組み合わせて、長いテキスト内の各トークンピースの最終的なラベルを決定できる。これにより、チャットボットの高い性能を維持しながら、トレーニングと推論の時間を短縮できる。
【0006】
いくつかの態様では、方法は、データ処理システムで、発話のセットを受信し、名前付きエンティティ認識装置を使用してトレーニングまたはインターフェースして、１つまたは複数の発話からの各トークンピースにラベルを割り当てることと、発話のセットの長さを決定することと、発話のセットの長さがトークンピースの所定の閾値（すなわち、チャンクサイズ）を超える場合、発話のセットをトークンピースの複数の重複チャンクに分割することと、チャンク内の各トークンピースに信頼スコアとともにラベルを割り当てることと、第１のチャンクからの信頼スコアと第２のチャンクからの信頼スコアの２つの信頼スコアを統合することによって、重複トークンピースの最終的なラベルおよび関連する信頼スコアを決定することと、元のテキスト入力の最終的な注釈付きラベルを決定することと、ラベルをメモリに記憶することと、を含む。
【0007】
いくつかの態様では、各チャンクおよびそれに対応するラベルのシーケンスは、トレーニングおよび推論の際に別個の例として扱われる。
【0008】
いくつかの態様では、サイズＮの発話のセットを分割することは、サイズＮの発話のセットを（ＮＬ）／（ＫＬ）の重複チャンクに分割することである。ここで、Ｋはチャンクサイズ、Ｌは重複サイズである（Ｋ＞Ｌ）。
【0009】
いくつかの態様では、トークンピースの全体的なスコアおよびラベルの決定は、複数のチャンクのうち最初に選択されるチャンクからの信頼スコアに基づく。
【0010】
いくつかの態様では、トークンピースの全体のスコアの決定は、重複テキスト内のトークンピースの位置に基づいて行われる。重複スコアは、重複テキストの前半にある場合は第１のチャンクからの第１の信頼スコアであり、重複テキストの後半にある場合は第２のチャンクから第２の信頼スコアである。
【0011】
いくつかの態様では、全体のスコアの決定は、複数のチャンクの最大信頼スコアに基づいて行われる。
【0012】
いくつかの態様では、トークンピースの所定数（すなわち、チャンクサイズ）は５１２個のトークンであり、重複トークンの所定数は１２８である。いくつかの態様では、トークンピースの所定数は３２であり、重複トークンの所定数は８である。
【0013】
さまざまな態様において、１つまたは複数のデータプロセッサと、１つまたは複数のデータプロセッサ上で実行されると、１つまたは複数のデータプロセッサに本明細書に開示される１つまたは複数の方法の一部または全部を実行させる命令を含む非一時的なコンピュータ可読記憶媒体とを含むシステムが提供される。
【0014】
さまざまな態様において、非一時的な機械可読記憶媒体に有形に具体化され、１つまたは複数のデータプロセッサに本明細書に開示される１つまたは複数の方法の一部または全部を実行させるように構成される命令を含むコンピュータプログラム製品が提供される。
【0015】
上記および下記に説明する技術は、多くの方法および多くのコンテキストで実装することができる。下記により詳細に説明するように、いくつかの実装例およびコンテキストが、以下の図を参照して提供される。しかし、次に挙げる実装とコンテキストは、数多くある実装とコンテキストのほんの一部にすぎない。
【図面の簡単な説明】
【0016】
【図1】ある態様によるチャボットシステムの例示的な実施形態を組み込んだ環境の簡略化されるブロック図である。
【図2】ある態様に従ってマスターボットを実装するコンピューティングシステムの簡略化されるブロック図である。
【図3】ある態様に従ってスキルボットを実装するコンピューティングシステムの簡略化されるブロック図である。
【図4】事前トレーニングされた言語モデル用の長いテキストを処理するシステムを示す図である。
【図5】例示的な発話を複数のチャンクに変換することを示す図である。
【図6】予測を統合する技術を示す図である。
【図7】事前トレーニングされた言語モデル用の長いテキストを処理する技術のフロー図である。
【図8】ある態様を実装するための分散システムの簡略化される図を示す図である。
【図9】実施形態のシステムの１つまたは複数の構成要素によって提供されるサービスが、ある態様に従ってクラウドサービスとして提供され得るシステム環境の１つまたは複数の構成要素の簡略化されるブロック図である。
【図10】ある態様を実装するために使用できる例示的なコンピュータシステムを示す図である。
【発明を実施するための形態】
【0017】
詳細な説明
以下の説明では、説明の目的で、ある態様を完全に理解できるように具体的な詳細が記載されている。しかし、これらの具体的な詳細がなくても、さまざまな態様を実践できることは明らかである。図および説明は制限的なものではない。本明細書で使用されている「例示的な」という語は、「例、事例、または説明として役立つ」という意味である。本明細書で「例示的」として説明される実施形態または設計は、必ずしも他の態様または設計よりも好ましいまたは有利であると解釈されるものではない。
以下の説明では、説明の目的で、ある態様を完全に理解できるように具体的な詳細が記載されている。しかし、これらの具体的な詳細がなくても、さまざまな態様を実践できることは明らかである。図および説明は制限的なものではない。本明細書で使用されている「例示的な」という語は、「例、事例、または説明として役立つ」という意味である。本明細書で「例示的」として説明される実施形態または設計は、必ずしも他の態様または設計よりも好ましいまたは有利であると解釈されるものではない。
【0018】
ボットと分析システム
ボット（スキル、チャボット、チャッターボット、またはトークボットとも呼ばれる）は、エンドユーザとの会話を実行できるコンピュータプログラムである。ボットは通常、自然言語メッセージを使用するメッセージングアプリケーションを通じて自然言語メッセージ（例えば、質問やコメント）に応答できる。企業は１つまたは複数のボットシステムを使用して、メッセージングアプリケーションを通じてエンドユーザと通信し得る。チャネルと呼ばれ得るメッセージングアプリケーションは、エンドユーザがすでにインストールして使い慣れている、エンドユーザが好むメッセージングアプリケーションである場合がある。したがって、エンドユーザは、ボットシステムとチャットするために新しいアプリケーションをダウンロードしてインストールする必要はない。メッセージングアプリケーションには、例えば、オーバーザトップ（ＯＴＴ）メッセージングチャネル（例えば、Facebook（登録商標） Messenger、Facebook（登録商標） WhatsApp（登録商標）、WeChat（登録商標）、Line、Kik（登録商標）、Telegram（登録商標）、Talk、Skype（登録商標）、Slack（登録商標）、またはショートメッセージサービス（ＳＭＳ）、仮想プライベートアシスタント（例えば、Amazon（登録商標） Dot、Echo、またはShow、Google Home（登録商標）、Apple HomePod（登録商標）、ネイティブまたはハイブリッド／レスポンシブモバイルアプリやＷｅｂアプリケーションをチャット機能で拡張するモバイルアプリやＷｅｂアプリの拡張機能、または音声ベースの入力（例えば、対話にSiri（登録商標）、Cortana（登録商標）、Google（登録商標） Voice、またはその他の音声入力を使用するインターフェースを備えた装置やアプリ）が含まれ得る。
ボット（スキル、チャボット、チャッターボット、またはトークボットとも呼ばれる）は、エンドユーザとの会話を実行できるコンピュータプログラムである。ボットは通常、自然言語メッセージを使用するメッセージングアプリケーションを通じて自然言語メッセージ（例えば、質問やコメント）に応答できる。企業は１つまたは複数のボットシステムを使用して、メッセージングアプリケーションを通じてエンドユーザと通信し得る。チャネルと呼ばれ得るメッセージングアプリケーションは、エンドユーザがすでにインストールして使い慣れている、エンドユーザが好むメッセージングアプリケーションである場合がある。したがって、エンドユーザは、ボットシステムとチャットするために新しいアプリケーションをダウンロードしてインストールする必要はない。メッセージングアプリケーションには、例えば、オーバーザトップ（ＯＴＴ）メッセージングチャネル（例えば、Facebook（登録商標） Messenger、Facebook（登録商標） WhatsApp（登録商標）、WeChat（登録商標）、Line、Kik（登録商標）、Telegram（登録商標）、Talk、Skype（登録商標）、Slack（登録商標）、またはショートメッセージサービス（ＳＭＳ）、仮想プライベートアシスタント（例えば、Amazon（登録商標） Dot、Echo、またはShow、Google Home（登録商標）、Apple HomePod（登録商標）、ネイティブまたはハイブリッド／レスポンシブモバイルアプリやＷｅｂアプリケーションをチャット機能で拡張するモバイルアプリやＷｅｂアプリの拡張機能、または音声ベースの入力（例えば、対話にSiri（登録商標）、Cortana（登録商標）、Google（登録商標） Voice、またはその他の音声入力を使用するインターフェースを備えた装置やアプリ）が含まれ得る。
【0019】
いくつかの例では、ボットシステムは、Uniform Resource Identifier（ＵＲＩ）に関連付けられ得る。ＵＲＩは文字列を使用してボットシステムを識別し得る。ＵＲＩは、１つまたは複数のメッセージングアプリケーションシステムのＷｅｂｈｏｏｋとして使用できる。ＵＲＩには、例えば、ＵＲＬ（Uniform Resource Locator）またはＵＲＮ（Uniform Resource Name）が含まれ得る。ボットシステムは、メッセージングアプリケーションシステムからメッセージ（例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ）の呼び出し後メッセージ）を受信するように設計され得る。ＨＴＴＰポスト呼び出しメッセージは、メッセージングアプリケーションシステムからＵＲＩに送信され得る。いくつかの態様では、メッセージはＨＴＴＰポスト呼び出しメッセージとは異なる場合がある。例えば、ボットシステムはＳＭＳからメッセージを受信し得る。本明細書での説明は、ボットシステムがメッセージとして受信する通信に言及し得るが、メッセージは、ＨＴＴＰポスト呼び出しメッセージ、ＳＭＳメッセージ、または２つのシステム間の他の任意のタイプの通信であり得ることを理解されたい。
【0020】
エンドユーザは、ちょうど人間間の対話と同様に、会話型対話（会話型ユーザインターフェース（ＵＩ）と呼ばれることもある）を通じてボットシステムと対話することができる。場合によっては、対話には、エンドユーザがボットに「こんにちは」と言うと、ボットが「こんにちは」と応答して、どのように役立ち得るかをエンドユーザに尋ねることが含まれ得る。場合によっては、この対話は、例えば、ある口座から別の口座への送金など、銀行ボットとの取引上の対話、例えば、休暇残日数の確認など、人事ボットとの情報対話、または、例えば、購入した商品の返品について話し合ったり、技術サポートを求めたりするなど、小売ボットとの対話である場合もある。
【0021】
いくつかの態様では、ボットシステムは、ボットシステムの管理者または開発者と対話することなく、エンドユーザの対話をインテリジェントに処理することができる。例えば、エンドユーザは、所望の目標を達成するために、ボットシステムに１つまたは複数のメッセージを送信し得る。メッセージには、テキスト、絵文字、音声、画像、ビデオ、またはその他のメッセージ伝達方法などのあるコンテンツが含まれ得る。いくつかの態様では、ボットシステムは、コンテンツを標準化される形式（例えば、適切なパラメータを備えた企業サービスに対する表現状態転送（ＲＥＳＴ）呼び出し）に変換し、自然言語応答を生成することができる。ボットシステムは、エンドユーザに追加の入力パラメータを促したり、他の追加情報を要求したりすることもできる。いくつかの態様では、ボットシステムは、エンドユーザの発話に受動的に応答するのではなく、エンドユーザとの通信を開始することもできる。本明細書では、ボットシステムの明示的な呼び出しを識別し、呼び出されるボットシステムへの入力を決定するためのさまざまな技術について説明する。ある態様では、明示的な呼び出し分析は、発話内の呼び出し名の検出に基づいてマスターボットによって実行される。呼び出し名の検出に応答して、その呼び出し名に関連付けられるスキルボットへの入力のために発話を改良することができる。
【0022】
ボットとの会話は、複数の状態を含む特定の会話フローに従うことができる。フローは、入力に基づいて次に何が起こるかを定義できる。いくつかの態様では、ユーザ定義の状態（例えば、エンドユーザの意図）と、その状態において、または状態から状態へと実行するアクションを含む状態機械を使用して、ボットシステムを実装することができる。会話はエンドユーザの入力に基づいて異なるパスをたどる場合があり、それがボットによるフローの決定に影響を与える可能性がある。例えば、各状態で、エンドユーザの入力または発話に基づいて、ボットはエンドユーザの意図を決定し、次に実行する適切なアクションを決定できる。本明細書および発話のコンテキストにおいて使用される場合、「意図」という用語は、発話を提供したユーザの意図を指す。例えば、ユーザはピザを注文するためにボットと会話することを意図している場合があり、その結果、ユーザの意図は「ピザを注文する」という発話を通じて表現され得る。ユーザの意図は、ユーザが代わりにチャボットに実行してほしい特定のタスクに向けることができる。したがって、発話は、ユーザの意図を反映した質問、コマンド、要求などの表現にすることができる。意図には、エンドユーザが達成したい目標が含まれ得る。
【0023】
チャボットの構成に関連して、「意図」という用語は、本明細書では、ユーザの発話を、チャボットが実行できる特定のタスク／アクション、またはタスク／アクションのカテゴリにマッピングするための構成情報を指すために使用される。発話の意図（つまり、ユーザの意図）とチャボットの意図を区別するために、後者を本明細書では「ボットの意図」と呼ぶことがある。ボットの意図には、その意図に関連付けられる１つまたは複数の発話のセットが含まれ得る。例えば、ピザを注文するという意図には、ピザを注文したいという願望を表す発話のさまざまな並べ換えが含まれ得る。これらの関連する発話を使用して、チャボットの意図分類子をトレーニングし、その後、ユーザからの入力発話がピザの注文の意図と一致するかどうかを意図分類子が決定できるようにすることができる。ボットの意図は、ユーザとある状態で会話を開始するための１つまたは複数のダイアログフローに関連付けることができる。例えば、ピザの注文意図の第１のメッセージは、「どのような種類のピザが好きであるか？」という質問にすることができる。関連する発話に加えて、ボットの意図には、意図に関連する名前付きエンティティがさらに含まれ得る。例えば、ピザの注文意図には、ピザを注文するタスクを実行するために使用される変数またはパラメータ、例えば、トッピング１、トッピング２、ピザのタイプ、ピザのサイズ、ピザの量などを含めることができる。エンティティの値は通常、ユーザとの会話を通じて取得される。
【0024】
図１は、ある態様によるチャボットシステムを組み込んだ環境１００の簡略化されるブロック図である。環境１００は、ＤＡＢＰ１０２のユーザがデジタルアシスタントまたはチャボットシステムを作成および展開できるようにするデジタルアシスタントビルダプラットフォーム（ＤＡＢＰ）１０２を備える。ＤＡＢＰ１０２を使用して、１つまたは複数のデジタルアシスタント（またはＤＡ）またはチャボットシステムを作成できる。例えば、図１に示されるように、特定の企業を代表するユーザ１０４は、ＤＡＢＰ１０２を使用して、特定の企業のユーザのためにデジタルアシスタント１０６を作成し展開することができる。例えば、銀行はＤＡＢＰ１０２を使用して、銀行の顧客が使用する１つまたは複数のデジタルアシスタントを作成できる。同じＤＡＢＰ１０２プラットフォームを複数の企業が使用してデジタルアシスタントを作成できる。別の例として、レストラン（例えば、ピザ店）のオーナーは、ＤＡＢＰ１０２を使用して、レストランの顧客が食べ物を注文（例えば、ピザを注文）できるようにするデジタルアシスタントを作成して展開することができる。
【0025】
本開示の目的上、「デジタルアシスタント」は、デジタルアシスタントのユーザが自然言語会話を通じてさまざまなタスクを達成するのを支援するエンティティである。デジタルアシスタントは、ソフトウェアのみを使用して（例えば、デジタルアシスタントは、１つまたは複数のプロセッサによって実行可能なプログラム、コード、または命令を使用して実装されるデジタルエンティティである）、ハードウェアを使用して、またはハードウェアとソフトウェアの組み合わせを使用して実装することができる。デジタルアシスタントは、コンピュータ、携帯電話、時計、電化製品、車両などのさまざまな物理システムまたは装置で具体化または実装することができる。デジタルアシスタントは、チャボットシステムと呼ばれることもある。したがって、本開示の目的上、デジタルアシスタントとチャボットシステムという用語は交換可能である。
【0026】
ＤＡＢＰ１０２を使用して構築されるデジタルアシスタント１０６などのデジタルアシスタントを使用して、デジタルアシスタントとそのユーザ１０８との間の自然言語ベースの会話を介してさまざまなタスクを実行することができる。会話の一部として、ユーザは、デジタルアシスタント１０６に１つまたは複数のユーザ入力１１０を提供し、デジタルアシスタント１０６から応答１１２を得ることができる。会話には、入力１１０と応答１１２の１つまたは複数を含めることができる。これらの会話を介して、ユーザは、デジタルアシスタントによって実行される１つまたは複数のタスクを要求することができ、これに応じて、デジタルアシスタントは、ユーザが要求したタスクを実行し、ユーザに適切な応答で応答するように構成される。
【0027】
ユーザ入力は、一般に自然言語形式であり、発話と呼ばれる。ユーザ発話１１０は、ユーザが文、質問、テキストの断片、または単一の単語を入力し、それを入力としてデジタルアシスタント１０６に提供する場合など、テキスト形式とすることができる。いくつかの態様では、ユーザ発話１１０は、デジタルアシスタント１０６への入力として提供される何かをユーザが言うか話すときなど、音声入力または音声形式であり得る。発話は通常、ユーザ１０８が話す言語で行われる。例えば、発話は英語または他の言語で行われ得る。発話が音声形式である場合、音声入力はその特定の言語のテキスト形式の発話に変換され、テキスト発話はデジタルアシスタント１０６によって処理される。さまざまな音声からテキストへの処理技術を使用して、音声または音声入力をテキスト発話に変換することができ、その後デジタルアシスタント１０６によって処理される。いくつかの態様では、音声からテキストへの変換は、デジタルアシスタント１０６自体によって行われてもよい。
【0028】
発話は、テキスト発話または音声発話であり得、断片、文、複数の文、１つまたは複数の単語、１つまたは複数の質問、前述のタイプの組み合わせなどであることができる。デジタルアシスタント１０６は、発話に自然言語理解（ＮＬＵ）技術を適用して、ユーザ入力の意味を理解するように構成されている。発話に対するＮＬＵ処理の一環として、デジタルアシスタント１０６は、発話の意味を理解するための処理を実行するように構成されており、これには、発話に対応する１つまたは複数の意図と１つまたは複数のエンティティを識別することが含まれる。発話の意味を理解すると、デジタルアシスタント１０６は、理解した意味または意図に応じて１つまたは複数のアクションまたは動作を実行することができる。本開示の目的上、発話は、デジタルアシスタント１０６のユーザ１０８によって直接提供されるテキスト発話であるか、または入力音声発話をテキスト形式に変換した結果であると仮定する。しかし、これはいかなる形でも限定または制限することを意図したものではない。
【0029】
例えば、ユーザ１０８の入力は、「ピザを注文したい」などの発話を提供することによって、ピザの注文を要求することができる。このような発話を受信すると、デジタルアシスタント１０６は、発話の意味を理解し、適切なアクションを実行するように構成される。適切なアクションには、例えば、ユーザが注文したいピザのタイプ、ピザのサイズ、ピザのトッピングなどについてのユーザ入力を求める質問でユーザに応答することが含まれ得る。デジタルアシスタント１０６によって提供される応答はまた、自然言語形式であってもよく、通常は入力発話と同じ言語であってもよい。これらの応答を生成する一環として、デジタルアシスタント１０６は自然言語生成（ＮＬＧ）を実行することができる。ピザを注文するユーザの場合、ユーザとデジタルアシスタント１０６との間の会話を介して、デジタルアシスタントは、ピザの注文に必要な情報をすべて提供するようにユーザを誘導し、その後、会話の終わりにピザを注文させることができる。デジタルアシスタント１０６は、ピザが注文されることを示す情報をユーザに出力することによって会話を終了することができる。
【0030】
概念的なレベルでは、デジタルアシスタント１０６は、ユーザから受信した発話に応じてさまざまな処理を実行する。いくつかの態様では、この処理には、一連の処理ステップまたはパイプラインの処理ステップが含まれ、例えば、入力発話の意味を理解（自然言語理解（ＮＬＵ）とも呼ばれる）することと、発話に応じて実行されるアクションを決定することと、そこでアクションの実行を適切に引き起こすことと、ユーザの発話に応答してユーザに出力される応答を生成すること、応答をユーザに出力することなどを含む。ＮＬＵ処理は、受信した入力発話を解析して発話の構造および意味を理解すること、発話を改良および再形成して発話のより理解しやすい形式（例えば、論理形式）または構造を開発することを含むことができる。応答の生成には、ＮＬＧ技術の使用が含まれ得る。
【0031】
デジタルアシスタント１０６などのデジタルアシスタントによって実行されるＮＬＵ処理には、文解析などのさまざまなＮＬＰ関連処理が含まれ得る（例えば、トークン化、見出し語化、文の品詞タグの識別、文内の名前付きエンティティの識別、文構造を表す依存関係ツリーの生成、文を文節に分割、個々の文節の分析、照応の解決、チャンキングの実行、など）。ある態様では、ＮＬＵ処理またはその一部はデジタルアシスタント１０６自体によって実行される。いくつかの他の態様では、デジタルアシスタント１０６は、他のリソースを使用してＮＬＵ処理の一部を実行することができる。例えば、入力発話文の構文および構造は、パーサ、品詞タガー、および／または名前付きエンティティ認識装置を使用して文を処理することによって識別され得る。一実装では、英語の場合、パーサ、品詞タガー、およびスタンフォード自然言語処理（ＮＬＰ）グループによって提供されるものなどの名前付きエンティティ認識装置が、文の構造および構文を分析するために使用される。これらは、Stanford CoreNLPツールキットの一部として提供される。
【0032】
本開示で提供されるさまざまな例は英語での発話を示しているが、これは例としてのみ意味されている。ある態様では、デジタルアシスタント１０６は、英語以外の言語での発話を処理することもできる。デジタルアシスタント１０６は、異なる言語の処理を実行するように構成されるサブシステム（例えば、ＮＬＵ機能を実装する構成要素）を提供することができる。これらのサブシステムは、ＮＬＵコアサーバからのサービス呼び出しを使用して呼び出すことができるプラグイン可能な装置として実装できる。これにより、異なる処理順序が可能になるなど、ＮＬＵ処理が言語ごとに柔軟かつ拡張可能になる。言語パックは個別の言語に対して提供され得、言語パックはＮＬＵコアサーバから提供できるサブシステムのリストを登録できる。
【0033】
図１に示すデジタルアシスタント１０６などのデジタルアシスタントは、さまざまな異なるチャネルを通じてそのユーザ１０８が利用可能またはアクセスできるようにすることができ、あるアプリケーション経由、ソーシャルメディアプラットフォーム経由、さまざまなメッセージングサービスやアプリケーション経由、その他のアプリケーションやチャネル経由などであるが、これらに限定されない。１つのデジタルアシスタントに複数のチャネルを構成して、異なるサービス上で実行したり、同時にアクセスしたりできるようにすることができる。
【0034】
デジタルアシスタントまたはチャボットシステムは、一般に、１つまたは複数のスキルを含むか、またはそれに関連付けられている。ある態様では、これらのスキルは、ユーザと対話し、特定のタイプのタスクを実行するように構成される個別のキャットボート（スキルボットと呼ばれる）であり、例えば、在庫の追跡、タイムカードの提出、経費報告書の作成、食品の注文、銀行口座の確認、予約、ウィジェットの購入などである。例えば、図１に示す実施形態では、デジタルアシスタント１０６またはチャボットシステムには、第１のスキルボット１１６－１、第２のスキルボット１１６－２などが含まれる。この開示の目的上、「スキル（skill)」および「スキル(skills)」という用語は、それぞれ「スキルボット(skill bot)」および「スキルボット(skill bots)」という用語と同義語として使用される。
【0035】
デジタルアシスタントに関連付けられる各スキルは、デジタルアシスタントのユーザがユーザとの会話を通じてタスクを完了するのに役立ち、その会話には、ユーザによって提供されるテキストまたは音声入力と、スキルボットによって提供される応答との組み合わせが含まれ得る。これらの応答は、ユーザへのテキストまたは音声メッセージの形式、および／またはユーザが選択できるようにユーザに提示される単純なユーザインターフェース要素（例えば、選択リスト）を使用し得る。
【0036】
スキルまたはスキルボットをデジタルアシスタントに関連付けたり追加したりできるさまざまな方法がある。場合によっては、スキルボットを企業が開発し、次いで、ＤＡＢＰ１０２を使用してデジタルアシスタントに追加することができる。他の例では、スキルボットはＤＡＢＰ１０２を使用して開発および作成され、その後ＤＡＢＰ１０２を使用して作成されるデジタルアシスタントに追加され得る。さらに他の例では、ＤＡＢＰ１０２は、広範囲のタスクに向けられる複数のスキルを提供するオンラインデジタルストア（「スキルストア」と呼ばれる）を提供する。スキルストアを通じて提供されるスキルは、さまざまなクラウドサービスを公開することもできる。ＤＡＢＰ１０２を使用して生成されているデジタルアシスタントにスキルを追加するには、ＤＡＢＰ１０２のユーザは、ＤＡＢＰ１０２を介してスキルストアにアクセスし、所望のスキルを選択し、選択されるスキルがＤＡＢＰ１０２を使用して作成されるデジタルアシスタントに追加されることを示すことができる。スキルストアのスキルは、そのまままたは変更される形式でデジタルアシスタントに追加できる（例えば、ＤＡＢＰ１０２のユーザは、スキルストアによって提供される特定のスキルボットを選択して複製し、選択されるスキルボットにカスタマイズまたは変更を加え、次いで、変更されるスキルボットを、ＤＡＢＰ１０２を使用して作成されるデジタルアシスタントに追加することができる）。
【0037】
デジタルアシスタントまたはチャボットシステムを実装するために、さまざまな異なるアーキテクチャを使用することができる。例えば、ある態様では、ＤＡＢＰ１０２を使用して作成および展開されるデジタルアシスタントは、マスターボット／子（またはサブ）ボットのパラダイムまたはアーキテクチャを使用して実装され得る。このパラダイムによれば、デジタルアシスタントは、スキルボットである１つまたは複数の子ボットと対話するマスターボットとして実装される。例えば、図１に示す実施形態では、デジタルアシスタント１０６は、マスターボット１１４と、マスターボット１１４の子ボットである第１のスキルボット１１６－１、第２のスキルボット１１６－２などを含む。ある態様では、デジタルアシスタント１０６自体がマスターボットとして機能するとみなされる。
【0038】
マスター子ボットアーキテクチャに従って実装されるデジタルアシスタントにより、デジタルアシスタントのユーザは、統一されるユーザインターフェース、すなわち、マスターボットを介して複数のスキルと対話できるようになる。ユーザがデジタルアシスタントを動作すると、ユーザ入力はマスターボットによって受信される。次に、マスターボットは、ユーザ入力の発話の意味を決定する処理を実行する。次に、マスターボットは、発話内でユーザによって要求されるタスクがマスターボット自体で処理できるかどうかを決定する。そうでない場合、マスターボットは、ユーザの要求を処理するための適切なスキルボットを選択し、選択したスキルボットに会話をルーティングする。これにより、ユーザは共通の単一インターフェースを介してデジタルアシスタントと会話できるようになり、特定のタスクを実行するように構成される複数のスキルボットを使用する機能も提供される。例えば、企業向けに開発されるデジタルアシスタントの場合、デジタルアシスタントのマスターボットは、特定の機能を備えたスキルボットと連携することができ、例えば、顧客関係管理（ＣＲＭ）に関連する機能を実行するＣＲＭボット、企業リソースプランニング（ＥＲＰ）に関連する機能を実行するＥＲＰボット、人的資本管理（ＨＣＭ）に関連する機能を実行するＨＣＭボットなどである。このようにして、デジタルアシスタントのエンドユーザまたは消費者は、共通のマスターボットインターフェースを介してデジタルアシスタントへアクセスする方法を知るだけで済み、ユーザの要求を処理するために陰で複数のスキルボットが提供される。
【0039】
ある態様では、マスターボット／子ボットのインフラストラクチャにおいて、マスターボットは、利用可能なスキルボットのリストを認識するように構成される。マスターボットは、利用可能なさまざまなスキルボットを識別するメタデータ、およびスキルボットごとに、スキルボットによって実行できるタスクを含むスキルボットの機能にアクセスできる。マスターボットは、発話の形式でユーザ要求を受信すると、複数の利用可能なスキルボットの中から、ユーザ要求に最もよく応えまたは処理することができる特定のスキルボットを特定または予測するように構成されている。次に、マスターボットは、発話（または発話の一部）をその特定のスキルボットにルーティングして、さらに処理する。したがって、制御はマスターボットからスキルボットに流れる。マスターボットは複数の入出力チャネルをサポートできる。ある態様では、ルーティングは、１つまたは複数の利用可能なスキルボットによって実行される処理を利用して実行され得る。例えば、以下で説明するように、スキルボットは、発話の意図を推測し、推測される意図がスキルボットに構成されている意図と一致するかどうかを決定するようにトレーニングできる。したがって、マスターボットによって実行されるルーティングには、スキルボットが発話の処理に適した意図を使用して構成されているかどうかの指示をマスターボットに通信することが含まれ得る。
【0040】
図１の実施形態では、マスターボット１１４と、第１のスキルボット１１６－１、第２のスキルボット１１６－２、および第３のスキルボット１１６－３とを含むデジタルアシスタント１０６が示されているが、これは限定を意図するものではない。デジタルアシスタントは、デジタルアシスタントの機能を提供する他のさまざまな構成要素（例えば、他のシステムおよびサブシステム）を含むことができる。これらのシステムおよびサブシステムは、ソフトウェア（例えば、コンピュータ可読媒体に記憶され、１つまたは複数のプロセッサによって実行可能なコード、命令）のみで、ハードウェアのみで、またはソフトウェアとハードウェアの組み合わせを使用する実装で実装され得る。
【0041】
ＤＡＢＰ１０２は、ＤＡＢＰ１０２のユーザがデジタルアシスタントに関連付けられる１つまたは複数のスキルボットを含むデジタルアシスタントを作成できるようにするインフラストラクチャおよびさまざまなサービスおよび機能を提供する。場合によっては、スキルボットは、既存のスキルボットを複製することによって、例えば、スキルストアによって提供されるスキルボットを複製することによって作成できる。前に示したように、ＤＡＢＰ１０２は、さまざまなタスクを実行するための複数のスキルボットを提供するスキルストアまたはスキルカタログを提供する。ＤＡＢＰ１０２のユーザは、スキルストアからスキルボットを複製できる。必要に応じて、複製されるスキルボットに変更やカスタマイズを加えることができる。他の例では、ＤＡＢＰ１０２のユーザが、ＤＡＢＰ１０２が提供するツールとサービスを使用して、スキルボットをゼロから作成した。前に示したように、ＤＡＢＰ１０２によって提供されるスキルストアまたはスキルカタログは、さまざまなタスクを実行するための複数のスキルボットを提供することができる。
【0042】
ある態様では、高レベルで、スキルボットの作成またはカスタマイズには次のステップが含まれる。
【0043】
（１）新しいスキルボットの設定の構成
（２）スキルボットの１つまたは複数の意図を構成する
（３）１つまたは複数の意図に対する１つまたは複数のエンティティの構成
（４）スキルボットのトレーニング
（５）スキルボットのダイアログフローの作成
（６）必要に応じてスキルボットにカスタム構成要素を追加する
（７）スキルボットのテストと展開
上記の各ステップについて、以下に簡単に説明する。
（２）スキルボットの１つまたは複数の意図を構成する
（３）１つまたは複数の意図に対する１つまたは複数のエンティティの構成
（４）スキルボットのトレーニング
（５）スキルボットのダイアログフローの作成
（６）必要に応じてスキルボットにカスタム構成要素を追加する
（７）スキルボットのテストと展開
上記の各ステップについて、以下に簡単に説明する。
【0044】
（１）新しいスキルボットの設定の構成－スキルボットに対してさまざまな設定を構成することができる。例えば、スキルボットの設計者は、作成するスキルボットの１つまたは複数の呼び出し名を指定できる。これらの呼び出し名は、次いで、デジタルアシスタントのユーザがスキルボットを明示的に呼び出すために使用できる。例えば、ユーザはユーザの発話に呼び出し名を入力して、対応するスキルボットを明示的に呼び出すことができる。
【0045】
（２）スキルボットの１つまたは複数の意図および関連する発話例の構成－スキルボット設計者は、作成されるスキルボットの１つまたは複数の意図（ボットの意図とも呼ばれる）を指定する。次に、スキルボットは、これらの指定される意図に基づいてトレーニングされる。これらの意図は、スキルボットが入力発話を推測するようにトレーニングされるカテゴリまたはクラスを表す。発話を受信すると、トレーニングされるスキルボットは発話の意図を推測する。推測される意図は、スキルボットのトレーニングに使用される定義済みの意図のセットから選択される。次に、スキルボットは、発話に対して推定される意図に基づいて、発話に応じて適切なアクションを実行する。場合によっては、スキルボットの意図は、スキルボットがデジタルアシスタントのユーザに対して実行できるタスクを表す。各意図には、意図識別子または意図名が与えられる。例えば、銀行用にトレーニングされるスキルボットの場合、スキルボットに指定される意図には、「ＣｈｅｃｋＢａｌａｎｃｅ」、「ＴｒａｎｓｆｅｒＭｏｎｅｙ」、「ＤｅｐｏｓｉｔＣｈｅｃｋ」などが含まれ得る。
【0046】
スキルボットに対して定義される各意図に対して、スキルボット設計者は、その意図を表し説明する１つまたは複数の発話例を提供することもできる。これらの発話例は、ユーザがその意図のためにスキルボットに入力できる発話を表すことを目的としている。例えば、ＣｈｅｃｋＢａｌａｎｃｅ意図の場合、発話の例には、「普通預金口座の残高はいくらであるか？」、「当座預金口座にはいくらあるか？」、「口座にはいくらお金があるか？」などが含まれ得る。したがって、典型的なユーザ発話のさまざまな並べ換えを、意図に対する発話例として指定することができる。
【0047】
意図とそれに関連する例の発話は、スキルボットをトレーニングするためのトレーニングデータとして使用される。さまざまな異なるトレーニング技術が使用されてもよい。このトレーニングの結果、発話を入力として受信し、予測モデルによって発話に対して推測される意図を出力するように構成される予測モデルが生成される。場合によっては、入力発話は意図分析エンジンに提供され、トレーニングされるモデルを使用して入力発話の意図を予測または推論するように構成される。スキルボットは、推測される意図に基づいて１つまたは複数のアクションを実行できる。
【0048】
（３）スキルボットの１つまたは複数の意図のためのエンティティの構成－場合によっては、スキルボットがユーザの発話に適切に応答できるようにするために追加のコンテキストが必要になることがある。例えば、ユーザ入力の発話がスキルボット内の同じ意図として解決される状況が考えられる。例えば、上記の例では、「私の普通預金口座の残高はいくらであるか？」、「私の当座預金口座にはいくらあるか？」という発話は、どちらも同じＣｈｅｃｋＢａｌａｎｃｅ意図に解決されるが、これらの発話は異なるものを要求する異なる要求である。このような要求を明確にするために、１つまたは複数のエンティティが意図に追加される。銀行スキルボットの例を使用すると、「ｃｈｅｃｋｉｎｇ」および「ｓａｖｉｎｇ」という値を定義するＡｃｃｏｕｎｔＴｙｐｅというエンティティにより、スキルボットがユーザ要求を解析し、適切に応答できるようになる。上の例では、発話は同じ意図に解決されるが、ＡｃｃｏｕｎｔＴｙｐｅエンティティに関連付けられる値は２つの発話で異なる。これにより、スキルボットは、２つの発話が同じ意図を解決しているにもかかわらず、それらの発話に対して異なるアクションを実行できる可能性がある。スキルボット用に構成されるある意図に対して１つまたは複数のエンティティを指定できる。したがって、エンティティは、意図自体にコンテキストを追加するために使用される。エンティティは、意図をより完全に記述するのに役立ち、スキルボットがユーザ要求を完了できるようにする。
【0049】
ある態様では、（ａ）ＤＡＢＰ１０２によって提供される組み込みエンティティ、および（２）スキルボット設計者によって指定できるカスタムエンティティの２つのタイプのエンティティが存在する。組み込みエンティティは、さまざまなボットで使用できる汎用エンティティである。組み込みエンティティの例には、時間、日付、住所、番号、電子メールアドレス、期間、定期的な期間、通貨、電話番号、ＵＲＬなどに関連するエンティティが含まれるが、これらに限定されない。カスタムエンティティは、よりカスタマイズされるアプリケーションに使用される。例えば、銀行スキルの場合、小切手、貯蓄、クレジットカードなどのキーワードに対するユーザ入力をチェックすることにより、さまざまな銀行取引を可能にするスキルボット設計者によってＡｃｃｏｕｎｔＴｙｐｅエンティティが定義され得る。
【0050】
（４）スキルボットのトレーニング－スキルボットは、発話の形式でユーザ入力を受信し、受信した入力を解析または処理し、受信したユーザ入力に関連する意図を識別または選択するように構成される。上で示したように、スキルボットはこのためにトレーニングされる必要がある。ある態様では、スキルボットは、スキルボット用に構成される意図およびその意図に関連付けられる発話例（集合的にトレーニングデータ）に基づいてトレーニングされるため、スキルボットは、ユーザ入力発話をその構成される意図の１つに解決できる。ある態様では、スキルボットは、トレーニングデータを使用してトレーニングされる予測モデルを使用し、スキルボットがユーザは何を言っているか（または、場合によっては言おうとしているか）を識別できるようにする。ＤＡＢＰ１０２は、さまざまな機械学習ベースのトレーニング技術、ルールベースのトレーニング技術、および／またはそれらの組み合わせなど、スキルボット設計者がスキルボットをトレーニングするために使用できるさまざまなトレーニング技術を提供する。ある態様では、トレーニングデータの一部（例えば、８０％）がスキルボットモデルのトレーニングに使用され、別の部分（例えば、残りの２０％）がモデルのテストまたは検証に使用される。トレーニングが完了すると、トレーニングされるモデル（トレーニングされるスキルボットとも呼ばれる）を使用して、ユーザの発話を処理および応答できるようになる。ある場合、ユーザの発話が１つの回答のみを必要とし、それ以上の会話を必要としない質問である場合がある。このような状況に対処するために、スキルボットにＱ＆Ａ（質問と回答）意図を定義することができる。これにより、スキルボットは、ダイアログ定義を更新せずに、ユーザの要求に対する応答を出力できるようになる。Ｑ＆Ａ意図は、通常の意図と同様の方法で作成される。Ｑ＆Ａ意図のダイアログフローは、通常の意図のダイアログフローとは異なる場合がある。
【0051】
（５）スキルボット用のダイアログフローの作成－－スキルボット用に指定されるダイアログフローは、受信したユーザ入力に応じてスキルボットの異なる意図が解決されるときにスキルボットがどのように反応するかを記述する。ダイアログフローは、例えば、スキルボットがユーザの発話に応答する方法、スキルボットがユーザに入力を促す方法、スキルボットがデータを返す方法など、スキルボットが実行する動作またはアクションを定義する。ダイアログフローは、スキルボットが従うフローチャートのようなものである。スキルボット設計者は、マークダウン言語などの言語を使用してダイアログフローを指定する。ある態様では、ＯＢｏｔＭＬと呼ばれるＹＡＭＬのバージョンを使用して、スキルボットのダイアログフローを指定できる。スキルボットのダイアログフロー定義は、会話自体のモデルとして機能し、スキルボットの設計者がスキルボットと、スキルボットがサービスを提供するユーザとの間の対話を振り付けできるようにする。
【0052】
ある態様では、スキルボットのダイアログフロー定義には、次の３つのセクションが含まれる。
【0053】
（ａ）コンテキストセクション
（ｂ）デフォルトの遷移セクション
（ｃ）状態のセクション
コンテキストセクション－スキルボット設計者は、コンテキストセクション内の会話フローで使用される変数を定義することができる。コンテキストセクションで名前を付けることができるその他の変数には、エラー処理用の変数、組み込みエンティティまたはカスタムエンティティ用の変数、スキルボットがユーザ設定を認識して保持できるようにするユーザ変数などが含まれるが、これらに限定されない。
（ｂ）デフォルトの遷移セクション
（ｃ）状態のセクション
コンテキストセクション－スキルボット設計者は、コンテキストセクション内の会話フローで使用される変数を定義することができる。コンテキストセクションで名前を付けることができるその他の変数には、エラー処理用の変数、組み込みエンティティまたはカスタムエンティティ用の変数、スキルボットがユーザ設定を認識して保持できるようにするユーザ変数などが含まれるが、これらに限定されない。
【0054】
デフォルト遷移セクション－スキルボットの遷移は、ダイアログフロー状態セクションまたはデフォルト遷移セクションで定義することができる。デフォルト遷移セクションで定義される遷移はフォールバックとして機能し、状態内に定義される該当する遷移がない場合、または状態遷移をトリガーするために必要な条件が満たされない場合にトリガーされる。デフォルトの遷移セクションを使用すると、スキルボットが予期しないユーザクションを適切に処理できるようにするルーティングを定義できる。
【0055】
状態セクション－ダイアログフローおよびその関連動作は、ダイアログフロー内の論理を管理する一連の一時的な状態として定義される。ダイアログフロー定義内の各状態ノードは、ダイアログのその時点で必要な機能を提供する構成要素に名前を付ける。したがって、状態は構成要素を中心に構築される。状態には構成要素固有のプロパティが含まれており、構成要素の実行後にトリガーされる他の状態への遷移を定義する。
【0056】
特殊な場合のシナリオは、状態セクションを使用して処理することができる。例えば、デジタルアシスタント内の第２のスキルで何かを行うために、使用している第１のスキルを一時的に離れる選択肢をユーザに提供したい場合がある。例えば、ユーザがショッピングスキルとの会話に参加している場合（例えば、ユーザが購入についていくつかの選択を行っている場合）、ユーザは銀行スキルにジャンプし（例えば、ユーザは購入に十分なお金があることを確認したい場合がある）、その後ショッピングスキルに戻ってユーザの注文を完了したい場合がある。これに対処するには、第１のスキルのアクションを構成して、同じデジタルアシスタント内の第２の異なるスキルとの対話を開始し、元のフローに戻ることができる。
【0057】
（６）カスタム構成要素をスキルボットに追加する－上述したように、スキルボットのダイアログフローで指定される状態は、その状態に対応して必要な機能を提供する構成要素に名前を付ける。構成要素を使用すると、スキルボットが機能を実行できるようになる。ある態様では、ＤＡＢＰ１０２は、広範囲の機能を実行するための事前構成される構成要素のセットを提供する。スキルボット設計者は、これらの事前構成される構成要素を１つまたは複数選択し、それらをスキルボットのダイアログフローの状態に関連付けることができる。スキルボット設計者は、ＤＡＢＰ１０２によって提供されるツールを使用してカスタム構成要素または新しい構成要素を作成し、そのカスタム構成要素をスキルボットのダイアログフロー内の１つまたは複数の状態に関連付けることもできる。
【0058】
（７）スキルボットのテストおよび展開－ＤＡＢＰ１０２は、スキルボット設計者が開発中のスキルボットをテストできるようにするいくつかの機能を提供する。その後、スキルボットを展開してデジタルアシスタントに含めることができる。
【0059】
上記の説明はスキルボットの作成方法を説明しているが、同様の技術を使用してデジタルアシスタント（またはマスターボット）を作成することもできる。マスターボットまたはデジタルアシスタントレベルで、組み込みシステム意図をデジタルアシスタント用に構成できる。これらの組み込みシステム意図は、デジタルアシスタントに関連付けられるスキルボットを呼び出すことなくデジタルアシスタント自体（つまり、マスターボット）が処理できる一般的なタスクを識別するために使用される。マスターボットに対して定義されるシステム意図の例は次のとおりである。（１）終了：ユーザがデジタルアシスタントの現在の会話またはコンテキストを終了したいという信号を送ったときに適用される。（２）ヘルプ：ユーザがヘルプや方向性を求めた場合に適用される。（３）ＵｎｒｅｓｏｌｖｅｄＩｎｔｅｎｔ：終了およびヘルプ意図とよく一致しないユーザ入力に適用される。デジタルアシスタントは、デジタルアシスタントに関連付けられる１つまたは複数のスキルボットに関する情報も記憶する。この情報により、マスターボットは発話を処理するための特定のスキルボットを選択できる。
【0060】
マスターボットまたはデジタルアシスタントレベルでは、ユーザがフレーズまたは発話をデジタルアシスタントに入力すると、デジタルアシスタントは、発話および関連する会話をルーティングする方法を決定する処理を実行するように構成される。デジタルアシスタントは、ルールベース、ＡＩベース、またはそれらの組み合わせであり得るルーティングモデルを使用してこれを決定する。デジタルアシスタントはルーティングモデルを使用して、ユーザ入力発話に対応する会話が処理のために特定のスキルにルーティングされるべきか、組み込みシステム意図に従ってデジタルアシスタントまたはマスターボット自体によって処理されるべきか、あるいは現在の会話フローでは別の状態として扱われるべきかを決定する。
【0061】
ある態様では、この処理の一部として、デジタルアシスタントは、ユーザ入力発話がその呼び出し名を使用してスキルボットを明示的に識別するかどうかを決定する。ユーザ入力に呼び出し名が存在する場合、その呼び出し名に対応するスキルボットの明示的な呼び出しとして扱われる。このようなシナリオでは、デジタルアシスタントは、さらなる処理のために明示的に呼び出されるスキルボットにユーザ入力をルーティングし得る。特定のまたは明示的な呼び出しがない場合、ある態様では、デジタルアシスタントは、受信したユーザ入力発話を評価し、システム意図およびデジタルアシスタントに関連付けられるスキルボットの信頼スコアを計算する。スキルボットまたはシステム意図に対して計算されるスコアは、ユーザ入力はスキルボットが実行するように構成されているタスクを表している可能性、または、ユーザ入力はシステム意図を表している可能性を示す。関連する計算される信頼スコアが閾値（例えば、信頼閾値ルーティングパラメータ）を超えるシステム意図またはスキルボットが、さらなる評価の候補として選択される。次に、デジタルアシスタントは、識別される候補から、ユーザ入力発話をさらに処理するための特定のシステム意図またはスキルボットを選択する。ある態様では、１つまたは複数のスキルボットが候補として識別される後、それらの候補スキルに関連付けられる意図が（各スキルの意図モデルに従って）評価され、各意図について信頼スコアが決定される。一般に、信頼スコアが閾値（例えば７０％）を超える意図は、候補意図として扱われる。特定のスキルボットが選択されている場合、ユーザの発話はさらなる処理のためにそのスキルボットにルーティングされる。システム意図が選択されている場合、選択されるシステム意図に従ってマスターボット自体によって１つまたは複数のアクションが実行される。
【0062】
図２は、ある態様によるマスターボット（ＭＢ）システム２００の簡略化されるブロック図である。ＭＢシステム２００は、ソフトウェアのみ、ハードウェアのみ、またはハードウェアとソフトウェアの組み合わせで実装できる。ＭＢシステム２００は、前処理サブシステム２１０、マルチ意図サブシステム（ＭＩＳ）２２０、明示的呼び出しサブシステム（ＥＩＳ）２３０、スキルボット呼び出し部２４０、およびデータストア２５０を含む。図２に示されるＭＢシステム２００は、マスターボット内の構成要素の配置の一例にすぎない。当業者であれば、多くの可能な変形例、代替例、および修正例を認識するであろう。例えば、いくつかの実装では、ＭＢシステム２００は、図２に示されるものよりも多いまたは少ないシステムまたは構成要素を有してもよく、２つ以上のサブシステムを組み合わせてもよく、またはサブシステムの異なる構成または配置を有してもよい。
【0063】
前処理サブシステム２１０は、ユーザからの発話「Ａ」２０２を受信し、言語検出器２１２および言語パーサ２１４を介して発話を処理する。上で示したように、発話は音声やテキストなどのさまざまな方法で提供できる。発話２０２は、文の断片、完全な文、複数の文などであり得る。発話２０２には句読点を含めることができる。例えば、発話２０２が音声として提供される場合、前処理サブシステム２１０は、結果として得られるテキストに句読点（例えば、カンマ、セミコロン、ピリオドなど）を挿入する音声テキストコンバータ（図示せず）を使用して音声をテキストに変換することができる。
【0064】
言語検出器２１２は、発話２０２のテキストに基づいて発話２０２の言語を検出する。各言語は独自の文法および意味論を有するため、発話２０２が処理される方法は言語に依存する。発話の構文と構造を分析する際には、言語間の違いが考慮される。
【0065】
言語パーサ２１４は、発話２０２を解析して、発話２０２内の個々の言語単位（例えば、単語）の品詞（ＰＯＳ）タグを抽出する。ＰＯＳタグには、例えば、名詞（ＮＮ）、代名詞（ＰＮ）、動詞（ＶＢ）などが含まれる。言語パーサ２１４は、発話２０２の言語単位をトークン化し（例えば、各単語を別個のトークンに変換するために）、単語を見出し語化することもできる。補題は、辞書で表される単語セットの主な形式である（例えば、「ｒｕｎ」は、ｒｕｎ、ｒｕｎｓ、ｒａｎ、ｒｕｎｎｉｎｇなどの補題である）。言語パーサ２１４が実行できる他のタイプの前処理には、複合表現のチャンク化、例えば、「ｃｒｅｄｉｔ」と「ｃａｒｄ」を単一の表現「ｃｒｅｄｉｔ＿ｃａｒｄ」に組み合わせることが含まれる。言語パーサ２１４は、発話２０２内の単語間の関係を識別することもできる。例えば、いくつかの態様では、言語パーサ２１４は、発話のどの部分（例えば、特定の名詞）が直接目的語であるか、発話のどの部分が前置詞であるかなどを示す依存関係ツリーを生成する。言語パーサ２１４によって実行される処理の結果は、抽出される情報２０５を形成し、発話２０２自体とともに入力としてＭＩＳ２２０に提供される。前処理システム２１０には、ある発話２０２またはその一部を認識するために使用できる名前付きエンティティ認識装置２１６が含まれ得る。
【0066】
上で示したように、発話２０２は複数の文を含むことができる。複数の意図と明示的な呼び出しを検出する目的で、発話２０２は、複数の文が含まれている場合でも単一の単位として扱うことができる。しかし、ある態様では、例えば前処理サブシステム２１０によって前処理を実行して、複数の意図分析および明示的呼び出し分析のために複数の文の中から単一の文を識別することができる。一般に、ＭＩＳ２２０およびＥＩＳ２３０によって生成される結果は、発話２０２が個々の文のレベルで処理されるか、または複数の文を含む単一の単位として処理されるかに関係なく、実質的に同じである。
【0067】
ＭＩＳ２２０は、発話２０２が複数の意図を表すかどうかを決定する。ＭＩＳ２２０は発話２０２内の複数の意図の存在を検出できるが、ＭＩＳ２２０によって実行される処理には、発話２０２の意図がボット用に構成される任意の意図と一致するかどうかを決定することは含まれない。代わりに、発話２０２の意図がボットの意図と一致するかどうかを決定するための処理は、ＭＢシステム２００の意図分類器２４２によって、またはスキルボットの意図分類器によって実行され得る（例えば、図３の実施形態に示されるように）。ＭＩＳ２２０によって実行される処理では、発話２０２を処理できるボット（例えば、特定のスキルボットまたはマスターボット自体）が存在することを仮定している。したがって、ＭＩＳ２２０によって実行される処理では、チャボットシステム内のボットに関する知識（例えば、マスターボットに登録されているスキルボットのＩＤ）や、特定のボットに対して構成されている意図に関する知識は必要ない。
【0068】
発話２０２が複数の意図を含むことを決定するために、ＭＩＳ２２０は、データストア２５０内のルールセット２５２から１つまたは複数のルールを適用する。発話２０２に適用されるルールは、発話２０２の言語に依存し、複数の意図の存在を示す文パターンを含み得る。例えば、文パターンは、文の２つの部分（例えば接続詞）を結合する等位接続詞を含むことができ、両方の部分は別個の意図に対応する。発話２０２が文パターンと一致する場合、発話２０２は複数の意図を表していると推測できる。複数の意図を含む発話は、必ずしも異なる意図を持っているわけではないことに留意されたい（例えば、異なるボットに向けられる意図、または同じボット内の異なる意図に向けられる意図）。代わりに、発話には同じ意図の個別のインスタンスが含まれ得る。例えば、「支払い口座Ｘを使用してピザを注文し、次に支払い口座Ｙを使用してピザを注文する」などである。
【0069】
発話２０２が複数の意図を表していることを決定する一環として、ＭＩＳ２２０はまた、発話２０２のどの部分が各意図に関連付けられているかを決定する。ＭＩＳ２２０は、複数の意図を含む発話で表現される各意図に対して、図２に示すように、元の発話の代わりに別々に処理するための新しい発話、例えば発話「Ｂ」２０６と発話「Ｃ」２０８を構築する。したがって、元の発話２０２は、一度に１つずつ処理される２つ以上の別個の発話に分割することができる。ＭＩＳ２２０は、抽出される情報２０５を使用して、および／または発話２０２自体の分析から、２つ以上の発話のうちどれを最初に処理すべきかを決定する。例えば、ＭＩＳ２２０は、発話２０２が、特定の意図が最初に処理されるべきであることを示す標識語を含むと決定することができる。この特定の意図に対応する新しく形成される発話（例えば、発話２０６または発話２０８の１つ）は、ＥＩＳ２３０によるさらなる処理のために最初に送信されることになる。第１の発話によって引き起こされる会話が終了した（または一時的に中断される）後、次に優先度の高い発話（例えば発話２０６または発話２０８の他方）を処理のためにＥＩＳ２３０に送信することができる。
【0070】
ＥＩＳ２３０は、受信した発話（例えば、発話２０６または発話２０８）がスキルボットの呼び出し名を含むかどうかを決定する。ある態様では、チャボットシステム内の各スキルボットには、そのスキルボットをチャボットシステム内の他のスキルボットから区別する固有の呼び出し名が割り当てられる。呼び出し名のリストは、データストア２５０内のスキルボット情報２５４の一部として維持することができる。発話に呼び出し名と一致する単語が含まれている場合、その発話は明示的な呼び出しであるとみなされる。ボットが明示的に呼び出されない場合、ＥＩＳ２３０によって受信される発話は、非明示的に呼び出している発話２３４とみなされ、マスターボットの意図分類器（例えば、意図分類器２４２）に入力されて、発話を処理するためにどのボットを使用するかを決定する。場合によっては、意図分類器２４２は、マスターボットが非明示的に呼び出す発話を処理すべきであると決定することになる。他の例では、意図分類器２４２は、発話を処理のためにルーティングするスキルボットを決定する。
【0071】
ＥＩＳ２３０によって提供される明示的呼び出し機能には、いくつかの利点がある。マスターボットが実行する必要がある処理の量を削減できる。例えば、明示的な呼び出しがある場合、マスターボットは、意図分類分析（例えば、意図分類器２４２を使用）を行う必要がない場合もあり、スキルボットを選択するために縮小される意図分類分析を行う必要がある場合もある。したがって、明示的呼び出し分析により、意図分類分析に頼ることなく、特定のスキルボットの選択が可能になる場合がある。
【0072】
また、複数のスキルボット間で機能が重複する状況もあり得る。これは、例えば２つのスキルボットによって処理される意図が重複している場合、または互いに非常に近い場合に発生し得る。このような状況では、マスターボットが意図分類分析のみに基づいて複数のスキルボットのうちどれを選択するかを識別することが困難な場合がある。このようなシナリオでは、明示的な呼び出しにより、使用される特定のスキルボットが明確になる。
【0073】
発話が明示的な呼び出しであることを決定することに加えて、ＥＩＳ２３０は、発話のいずれかの部分が、明示的に呼び出されるスキルボットへの入力として使用されるべきかどうかを決定する役割を担う。特に、ＥＩＳ２３０は、発話の一部が呼び出しに関連していないかどうかを決定することができる。ＥＩＳ２３０は、発話の分析および／または抽出される情報２０５の分析を通じてこの決定を実行することができる。ＥＩＳ２３０は、ＥＩＳ２３０が受信した発話全体を送信する代わりに、呼び出しに関連付けられていない発話の一部を、呼び出されるスキルボットに送信できる。場合によっては、呼び出されるスキルボットへの入力は、呼び出しに関連付けられる発話の一部を削除するだけで形成される。例えば、「ピザボットを使用してピザを注文したい」は、「ピザボットの使用」はピザボットの呼び出しには関連するが、ピザボットによって実行される処理とは無関係であるため、「ピザを注文したいである」と短縮できる。場合によっては、ＥＩＳ２３０は、例えば完全な文を形成するために、呼び出されるボットに送信される部分を再フォーマットしてもよい。したがって、ＥＩＳ２３０は、明示的な呼び出しがあることを決定するだけでなく、明示的な呼び出しがあった場合にスキルボットに何を送信するかも決定する。場合によっては、呼び出されるボットに入力するテキストがない場合がある。例えば、発話が「ピザボット」であった場合、ＥＩＳ２３０は、ピザボットが呼び出されていると決定することができるが、ピザボットによって処理されるテキストが存在しない。このようなシナリオでは、ＥＩＳ２３０は、送信するものが何もないことをスキルボット呼び出し部２４０に示すことができる。
【0074】
スキルボット呼び出し部２４０は、さまざまな方法でスキルボットを呼び出す。例えば、スキルボット呼び出し部２４０は、明示的な呼び出しの結果として特定のスキルボットが選択されるという指示２３５の受信に応答して、ボットを呼び出すことができる。指示２３５は、明示的に呼び出されるスキルボットの入力とともにＥＩＳ２３０によって送信できる。このシナリオでは、スキルボット呼び出し部２４０は、会話の制御を明示的に呼び出されるスキルボットに引き渡す。明示的に呼び出されるスキルボットは、ＥＩＳ２３０からの入力をスタンドアロンの発話として扱うことによって、入力に対する適切な応答を決定する。例えば、応答は、特定のアクションを実行すること、または特定の状態で新しい会話を開始することなどであり得、新しい会話の初期状態はＥＩＳ２３０から送信される入力に依存する。
【0075】
スキルボット呼び出し部２４０がスキルボットを呼び出すことができる別の方法は、意図分類子２４２を使用する暗黙的呼び出しを介することである。意図分類器２４２は、機械学習および／またはルールベースのトレーニング技術を使用してトレーニングされ、発話が特定のスキルボットが実行するように構成されるタスクを表す可能性を決定することができる。意図分類器２４２は、スキルボットごとに１つのクラス、異なるクラスでトレーニングされる。例えば、新しいスキルボットがマスターボットに登録されるたびに、新しいスキルボットに関連付けられる発話例のリストを使用して、意図分類器２４２をトレーニングして、特定の発話が新しいスキルボットが実行できるタスクを表す可能性を決定することができる。このトレーニングの結果として生成されるパラメータ（例えば、機械学習モデルのパラメータの値のセット）は、スキルボット情報２５４の一部として記憶することができる。
【0076】
ある態様では、意図分類器２４２は、本明細書でさらに詳細に説明するように、機械学習モデルを使用して実装される。機械学習モデルのトレーニングは、さまざまなスキルボットに関連付けられる発話例から発話の少なくともサブセットを入力して、機械学習モデルの出力として、どのボットが特定のトレーニング発話を処理するための正しいボットであるかについての推論を生成することを含んでもよい。各トレーニング発話について、トレーニング発話に使用する正しいボットの指示がグラウンドトゥルース情報として提供され得る。機械学習モデルの動作は、次いで、生成される推論とグランドトゥルース情報の間の差異を最小限に抑えるために（例えば、逆伝播を通じて）適応させることができる。
【0077】
ある態様では、意図分類器２４２は、マスターボットに登録されるスキルボットごとに、スキルボットが発話（例えば、ＥＩＳ２３０から受信した非明示的に呼び出す発話２３４）を処理できる可能性を示す信頼スコアを決定する。意図分類器２４２はまた、構成される各システムレベルの意図（例えば、ヘルプ、終了）の信頼スコアを決定することもできる。特定の信頼スコアが１つまたは複数の条件を満たす場合、スキルボット呼び出し部２４０は、特定の信頼スコアに関連付けられるボットを呼び出す。例えば、信頼スコアの閾値を満たす必要がある場合がある。したがって、意図分類器２４２の出力２４５は、システム意図の識別または特定のスキルボットの識別のいずれかである。いくつかの態様では、信頼スコア閾値を満たすことに加えて、信頼スコアは、次に高い信頼スコアを一定の勝率だけ超えなければならない。このような条件を課すと、複数のスキルボットの信頼スコアが各々信頼スコア閾値を超えた場合に、特定のスキルボットにルーティングできるようになる。
【0078】
信頼スコアの評価に基づいてボットを識別した後、スキルボット呼び出し部２４０は、識別されるボットに処理を引き渡す。システム意図の場合、識別されるボットがマスターボットになる。それ以外の場合、識別されるボットはスキルボットである。さらに、スキルボット呼び出し部２４０は、識別されるボットに対する入力２４７として何を提供するかを決定する。上で示したように、明示的な呼び出しの場合、入力２４７は、呼び出しに関連付けられていない発話の一部に基づくか、または入力２４７が何もない（例えば、空の文字列）場合がある。暗黙的な呼び出しの場合、入力２４７は発話全体になる可能性がある。
【0079】
データストア２５０は、マスターボットシステム２００のさまざまなサブシステムによって使用されるデータを記憶する１つまたは複数のコンピューティング装置を備える。上で説明したように、データストア２５０は、ルール２５２およびスキルボット情報２５４を含む。ルール２５２は、例えば、発話が複数の意図を表すとき、および複数の意図を表す発話をどのように分割するかをＭＩＳ２２０によって決定するためのルールを含む。ルール２５２はさらに、スキルボットを明示的に呼び出す発話のどの部分をスキルボットに送信するかをＥＩＳ２３０によって決定するためのルールを含む。スキルボット情報２５４は、チャボットシステムにおけるスキルボットの呼び出し名、例えば、特定のマスターボットに登録されているすべてのスキルボットの呼び出し名のリストを含む。スキルボット情報２５４は、チャボットシステム内の各スキルボットの信頼スコアを決定するために意図分類器２４２によって使用される情報、例えば機械学習モデルのパラメータを含むこともできる。
【0080】
図３は、ある態様によるスキルボットシステム３００の簡略化されるブロック図である。スキルボットシステム３００は、ソフトウェアのみ、ハードウェアのみ、またはハードウェアとソフトウェアの組み合わせで実装できるコンピューティングシステムである。図１に示される実施形態などのある態様では、スキルボットシステム３００を使用して、デジタルアシスタント内に１つまたは複数のスキルボットを実装することができる。
【0081】
スキルボットシステム３００は、ＭＩＳ３１０、意図分類器３２０、および会話マネージャ３３０を含む。ＭＩＳ３１０は、図２のＭＩＳ２２０に類似しており、データストア３５０内のルール３５２を使用して以下を決定するように動作可能であることを含む同様の機能を提供する。（１）発話が複数の意図を表しているかどうか、またそうであれば、（２）複数の意図の意図ごとに発話を別の発話に分割する方法。ある態様では、複数の意図を検出し、発話を分割するためにＭＩＳ３１０によって適用されるルールは、ＭＩＳ２２０によって適用されるルールと同じである。ＭＩＳ３１０は発話３０２と抽出される情報３０４を受信する。抽出される情報３０４は、図１の抽出される情報２０５に類似しており、言語パーサ２１４またはスキルボットシステム３００にローカルな言語パーサを使用して生成することができる。
【0082】
意図分類器３２０は、図２の実施形態に関連して上述し、本明細書でさらに詳細に説明した意図分類器２４２と同様の方法でトレーニングすることができる。例えば、ある態様では、意図分類器３２０は、機械学習モデルを使用して実装される。意図分類器３２０の機械学習モデルは、特定のスキルボットに関連付けられる発話例の少なくともサブセットをトレーニング発話として使用して、特定のスキルボット用にトレーニングされる。各トレーニング発話のグラウンドトゥルースは、トレーニング発話に関連付けられる特定のボットの意図になる。
【0083】
発話３０２は、ユーザから直接受信することも、マスターボットを介して提供することもできる。例えば、図２に示される実施形態におけるＭＩＳ２２０およびＥＩＳ２３０を介した処理の結果として、発話３０２がマスターボットを介して供給される場合、ＭＩＳ２２０によってすでに実行される処理の繰り返しを避けるために、ＭＩＳ３１０をバイパスすることができる。しかし、発話３０２が、例えば、スキルボットへのルーティング後に生じる会話中に、ユーザから直接受信される場合、ＭＩＳ３１０は、発話３０２を処理して、発話３０２が複数の意図を表すかどうかを決定することができる。そうである場合、ＭＩＳ３１０は１つまたは複数のルールを適用して、発話３０２を意図ごとに個別の発話、例えば発話「Ｄ」３０６と発話「Ｅ」３０８に分割する。発話３０２が複数の意図を表さない場合、ＭＩＳ３１０は、発話３０２を分割することなく、意図分類のために発話３０２を意図分類器３２０に転送する。
【0084】
意図分類器３２０は、受信した発話（例えば、発話３０６または３０８）をスキルボットシステム３００に関連付けられる意図と一致するように構成されている。上で説明したように、スキルボットは１つまたは複数の意図で構成でき、各意図には、その意図に関連付けられ、分類器のトレーニングに使用される少なくとも１つの発話例が含まれる。図２の実施形態では、マスターボットシステム２００の意図分類器２４２は、個々のスキルボットの信頼スコアおよびシステム意図に対する信頼スコアを決定するようにトレーニングされる。同様に、意図分類器３２０は、スキルボットシステム３００に関連付けられる各意図の信頼スコアを決定するようにトレーニングすることができる。意図分類器２４２によって実行される分類はボットレベルであるのに対し、意図分類器３２０によって実行される分類は意図レベルであり、したがってより粒度が細かい。意図分類器３２０は、意図情報３５４にアクセスできる。意図情報３５４は、スキルボットシステム３００に関連付けられる意図ごとに、その意図の意味を表し図示し、通常、その意図によって実行可能なタスクに関連付けられる発話のリストを含む。意図情報３５４は、この発話リストに関するトレーニングの結果として生成されるパラメータをさらに含むことができる。
【0085】
会話マネージャ３３０は、意図分類器３２０の出力として、意図分類器３２０に入力される発話に最もよく一致するものとして意図分類器３２０によって識別される特定の意図の指示３２２を受信する。場合によっては、意図分類器３２０は一致を決定できないことがある。例えば、発話がシステム意図または異なるスキルボットの意図に向けられている場合、意図分類器３２０によって計算される信頼スコアは信頼スコア閾値を下回る可能性がある。これが発生すると、スキルボットシステム３００は、処理のために、例えば、別のスキルボットにルーティングするために、発話をマスターボットに参照することができる。しかし、意図分類器３２０がスキルボット内の意図を識別することに成功した場合、会話マネージャ３３０はユーザとの会話を開始することになる。
【0086】
会話マネージャ３３０によって開始される会話は、意図分類器３２０によって識別される意図に固有の会話である。例えば、会話マネージャ３３０は、識別される意図に対するダイアログフローを実行するように構成される状態機械を使用して実装され得る。状態機械には、デフォルトの開始状態（例えば、追加の入力なしで意図が呼び出される場合）と１つまたは複数の追加の状態を含めることができ、各状態には、スキルボットによって実行されるアクション（例えば、購入トランザクションの実行）および／またはユーザに提示されるダイアログ（例えば、質問、応答）が関連付けられている。したがって、会話マネージャ３３０は、意図を識別する指示３２２を受信するとアクション／ダイアログ３３５を決定することができ、会話中に受信した後続の発話に応じて追加のアクションまたはダイアログを決定することができる。
【0087】
データストア３５０は、スキルボットシステム３００のさまざまなサブシステムによって使用されるデータを記憶する１つまたは複数のコンピューティング装置を備える。図３に示すように、データストア３５０は、ルール３５２および意図情報３５４を含む。ある態様では、データストア３５０は、マスターボットまたはデジタルアシスタントのデータストア、例えば図２のデータストア２５０に統合することができる。
【0088】
チャボットは、名前付きエンティティ認識（ＮＥＲ）のタスクを実行できる。ＮＥＲは、固有名詞エンティティを構成するテキストの範囲を見つけ、エンティティのタイプをタグ付けするタスクを指す場合がある。人物、場所、組織、および地政学的エンティティの４つが、よく使われる名前付きエンティティである。しかし、「名前付きエンティティ」という用語は、日付、時刻、数値、通貨などを指す場合がある。以下は、ＮＥＲシステムの出力例である。
［人デビッド・スミス］は、［日付９月１２日］に［場所ニューヨーク］における［販売者パームコートレストラン］において［通貨９５ドル］を支払った。
［人デビッド・スミス］は、［日付９月１２日］に［場所ニューヨーク］における［販売者パームコートレストラン］において［通貨９５ドル］を支払った。
【0089】
ＮＥＲは、相対的な意味と感情を理解するためにテキスト分析を必要とする重要なＮＬＰタスクである。例えば、「シドニー」のような名前付きエンティティが場所、人、大学の名前であるかどうかを知ることは、多くの自然言語理解タスクにとって重要である。ＮＥＲの恩恵を受ける重要なタスクのいくつかを以下に説明する。質問応答では、ＮＥＲを使用して回答を構成するテキストの範囲を識別できる。例えば、上記の例に基づくと、次の質問の回答は「９５ドル」になる。デビッド・スミスさんはレストランにおいていくら支払ったか？態様ベースの感情分析では、ＮＥＲはエンティティに対する顧客の感情を知るための最初のステップとしてエンティティを識別できる。例えば、次の例文では、「ニコンのカメラ」と「キヤノンのカメラ」というエンティティについて肯定的な意見と否定的な意見の両方が存在し得る。
【0090】
ニコンのカメラは素晴らしい。キヤノンのカメラよりも優れている。
ＮＥＲは、デジタルアシスタントで使用される技術の１つである。ＮＥＲはデジタルアシスタントで使用して、ユーザの単語をＰＥＲ（ＰＥＲＳＯＮの略称であり得る）、ＤＡＴＥ、ＴＩＭＥなどの定義済みカテゴリに検索して分類することができる。これらのタイプの情報は、デジタルアシスタントがユーザの要求を処理するために使用できる。例えば、次の文から経費報告書を生成するために、デジタルアシスタントはＮＥＲモデルを使用して、ＳＦＯ、１０ドル、５月２１日をＭＥＲ（ＭＥＲＣＨＡＮＴの略称であり得る）、ＣＵＲ（ＣＵＲＲＥＮＣＹでの略称であり得る）、ＤＡＴＥエンティティとして識別できる。ＬＯＣは、ＬＯＣＡＴＩＯＮの略称であるカテゴリ識別子である。
ＮＥＲは、デジタルアシスタントで使用される技術の１つである。ＮＥＲはデジタルアシスタントで使用して、ユーザの単語をＰＥＲ（ＰＥＲＳＯＮの略称であり得る）、ＤＡＴＥ、ＴＩＭＥなどの定義済みカテゴリに検索して分類することができる。これらのタイプの情報は、デジタルアシスタントがユーザの要求を処理するために使用できる。例えば、次の文から経費報告書を生成するために、デジタルアシスタントはＮＥＲモデルを使用して、ＳＦＯ、１０ドル、５月２１日をＭＥＲ（ＭＥＲＣＨＡＮＴの略称であり得る）、ＣＵＲ（ＣＵＲＲＥＮＣＹでの略称であり得る）、ＤＡＴＥエンティティとして識別できる。ＬＯＣは、ＬＯＣＡＴＩＯＮの略称であるカテゴリ識別子である。
【0091】
［ＭＥＲＳＦＯ］は［日付５月２１日］に駐車料金として［ＣＵＲ１０ドル］を請求した。
【0092】
ＮＥＲは、セグメンテーションとタイプ曖昧さによって引き起こされる困難さのため、簡単なタスクではない。セグメンテーションの曖昧さは、文中のエンティティとその境界を見つけることの複雑さから生じる。例えば、文中の複数の単語が１つのエンティティを表す場合がある。以下に示すように、「Ｎｅｗ Ｙｏｒｋ Ｔｉｍｅｓ」は３つの単語で構成される単一のエンティティ（ＭＥＲタグ付き）である。
【0093】
［ＭＥＲＮｅｗ Ｙｏｒｋ Ｔｉｍｅｓ］の今年の取引額を２０ドルに変更する。
さらに、同じ単語が複数のエンティティタイプを指す場合があり、ＮＥＲはコンテキストに応じてこのタイプの曖昧さを解決する必要がある。例えば、「シドニー」は次の文の中の人物または場所を指すことができる。
さらに、同じ単語が複数のエンティティタイプを指す場合があり、ＮＥＲはコンテキストに応じてこのタイプの曖昧さを解決する必要がある。例えば、「シドニー」は次の文の中の人物または場所を指すことができる。
【0094】
月曜日の午後遅く、［ＰＥＲシドニー］からテキストメッセージが届いた。
［ＬＯＣシドニー］で最高の景色である。
［ＬＯＣシドニー］で最高の景色である。
【0095】
分類器を理解することは、ＮＥＲアルゴリズムがどのように機能するかを理解する上で役立ち得る。分類器は、入力のセットを与えられる場合に、事前に定義される有限のカテゴリセットの中からクラスまたはラベルを決定する機能を学習するシステムであり得る。テキスト分類器の一般的な例として、感情分析を使用すると、文章（例えば、製品のレビュー）で表現される意見の感情と方向性を、肯定的、否定的、または中立的として識別できる。
【0096】
比較すると、シーケンスラベル付けは、テキスト内のすべての単語を分類（すなわち、ラベルを割り当てる）し、シーケンスラベル付けタスクとしてのＮＥＲは、単語のサブシーケンスを識別してラベル付けすることを含むことができる。これを行うには、Ｂｅｇｉｎｓ、Ｉｎｓｉｄｅ、Ｏｕｔｓｉｄｅ（ＢＩＯ）ラベルスキームは、シーケンスラベラーを使用してサブシーケンスを識別する方法であり得る。ラベルは、名前付きエンティティの境界とタイプの両方を保持（capture）する。この技術では、対象範囲を開始するトークンにはラベルＢをタグ付けし得、範囲内に出現するトークンにはラベルＩをタグ付けし、対象範囲外にあるトークンにはラベルＯをタグ付けする。Ｏタグは１つだけの場合もあるが、名前付きエンティティクラスごとに異なるＢタグとＩタグが存在し得る（例えば、Ｉ－ＤＡＴＥとＩ－ＭＥＲ）。次の例は、ＢＩＯ符号化が同じタイプの２つの隣接する名前付きエンティティ（つまり、［ＭＥＲＰｌａｚａ Ｈｏｔｅｌ’ｓ］と［ＭＥＲパームコートレストラン］）間の境界を定義する方法を示している。表１は発話の分類例を示している。
【0097】
【表1】
【0098】
インテリジェントアシスタントＮＥＲには、以下の最先端技術を組み込むことができる。
【0099】
深層学習とは、異なるレベルのデータ表現を自動的に学習する複数の処理層で構成されるニューラルネットワークを指す。各層は、入力データを少し抽象的で複雑な表現に変換することを学習する。これにより、特徴の学習が可能になり、手作業で作成される豊富な特徴が不要になる。このため、深層ニューラルネットワークは、十分なデータを提供する複雑な問題を解決するのに適したツールとなり得る。深層学習は、大規模なデータセット内の複雑な構造を発見し、入力に長距離情報を統合することで、ＮＥＲタスクを含む自然言語処理の最先端技術を大幅に向上させた。
【0100】
事前トレーニングとは、ウィキペディアやコモン・クロール（ウェブをクロールして自由に提供されるデータのオープンリポジトリ）などの大規模な外部データセットでネットワークをトレーニングするプロセスを指す。事前トレーニングの背後にある直感は、ネットワークが十分に大規模で一般的なデータセットでトレーニングされると、テキスト世界の汎用モデルとして効果的に機能するということである。事前トレーニングされたネットワークを使用すると、１つの問題（例えば、言語モデリング）を解決する際に得られる知識を活用して、ゼロから始めることなく（転移学習とも呼ばれる）、異なるが関連する問題（例えば、テキスト分類）を解決するための新しいネットワークのバックボーンを初期化できる。
【0101】
シーケンスラベル付けモデル（例えば、ＮＥＲ）は、隣接するラベル間の不一致につながり得る。例えば、次の文では、モデルは「シドニー」をＢ－ＰＥＲとしてラベル付けし、「ハーバー」をＩ－ＬＯＣとしてラベル付けしているが、ラベル境界はＩタグで始まることができないため、これは有効なシーケンスではない。したがって、正しいシーケンスはＢ－ＬＯＣとＩ－ＬＯＣになる。このため、隣接するラベルが一貫していることを強制するために条件付きランダムフィールド（ＣＲＦ）が使用される。表３は、文の一部のラベル付けの例を示している。
【0102】
【表2】
【0103】
そのために、ＣＲＦはトレーニング中にタグ－タグの重みを学習し、それらのシーケンスに非常に負の重み（例えば、次の表３のＸ値）を割り当てることによって、不可能なＢＩＯタグシーケンスの生成を回避する。
【0104】
【表3】
【0105】
多数のパラメータを持つ深層学習モデルは、トレーニングデータに過剰適合しやすくなり得る。これにより、モデルがトレーニングデータ内のノイズを学習するようになり、新しいデータでモデルを評価するときに性能が低下する。ドロップアウトは、この問題に対処するための計算コストが低く、非常に効果的な技術であり得る。重要なアイデアは、装置が過度に共適応（つまり、過剰適合）することを防ぐために、トレーニング中にモデルから一部の層出力装置をランダムに無視または削除することである。
【0106】
深層学習モデルでは、さまざまなデータパターンを適切に一般化するために、さまざまな制約と能力が必要である。これらの制約は、モデルが問題を最適に解決できるように調整する必要があるハイパーパラメータと呼ばれるいくつかの尺度によって制御される。ハイパーパラメータの調整とは、学習アルゴリズムに最適なハイパーパラメータのセットを見つけるプロセスを指す。
【0107】
開示されるＮＥＲシステムには、いくつかのモデルの改善、トレーニングの改善、およびデータの改善が含まれ得る。
【0108】
モデルの改善のために、開示されるＮＥＲシステムは、コンテキストと地名辞典の機能を組み合わせることができる。開示されるＮＥＲモデルは、コンテキスト機能と地名辞典機能を組み合わせたハイブリッドモデルになり得る。新しい方法では、コンテキスト機能と地名辞典と呼ばれる外部知識リソースを組み合わせて、モデルの性能を向上させる。地名辞典は、組織、国、都市、人名などの名前付きエンティティのリストであり得、非構造化テキストと照合されてモデルに追加機能を提供する。例えば：
【0109】
【表4】
【0110】
外部知識を活用することで、開示されるＮＥＲモデルは、収集に非常に費用がかかり、労力がかかり得る注釈付きデータへの依存度が低くなる。
【0111】
開示されるＮＥＲシステムは、小さなトレーニングデータセット上の固定ＣＲＦタグ－タグ遷移を含むことができる。大規模なトレーニングデータセットでは、ＣＲＦはＯＩ－ＬＯＣＩ－ＰＥＲのような一貫性のないタグペアがトレーニングデータに出現しないことを学習し、そのためこれらのタグ間の遷移に非常に負の重みを割り当てる。しかし、トレーニングデータセットが小さい場合、ＣＲＦはこれらの一貫性のないタグ間遷移を生成するモデルを学習することがある。したがって、開示されるＮＥＲシステムは、一貫性のない遷移の重みを非常に負の値に設定してトレーニング後に対応する重みを変更することにより、ＣＲＦが一貫性のないタグ間遷移を見つけるのを阻止する新しい技術を導入できる。この技術により、トレーニングデータが少ない場合でも一貫したタグ間遷移が生成されるようになる。
【0112】
トレーニングを改善するために、開示されるＮＥＲシステムは選択的ドロップアウトを含むことができる。選択的ドロップアウトと呼ばれる新しい技術では、非エンティティトークンと比較して、エンティティトークンに高いドロップアウトレートを適用できる。これにより、モデルはトレーニング中にコンテキスト情報に重点を置くことができ、エンティティタイプごとに異なる値に対してモデルの信頼度と堅牢性が向上する。例：（青い部分はエンティティ値である。）
トレーニング例：私の普通預金口座に１００ドルを振り込んでください。
トレーニング例：私の普通預金口座に１００ドルを振り込んでください。
【0113】
テスト例：私の銀行口座に２５０ポンドを振り込んでいただけるか？
開示されるＮＥＲシステムは、広範なハイパーパラメータ調整を含むことができる。ハイパー調整フレームワークは、幅広い範囲の値をカバーできる。これにより、開示されるＮＥＲシステムは、広範囲にわたるハイパーパラメータの調整を実行し、高品質の結果を達成するための最適なハイパーパラメータの選択を識別できるようになる。
開示されるＮＥＲシステムは、広範なハイパーパラメータ調整を含むことができる。ハイパー調整フレームワークは、幅広い範囲の値をカバーできる。これにより、開示されるＮＥＲシステムは、広範囲にわたるハイパーパラメータの調整を実行し、高品質の結果を達成するための最適なハイパーパラメータの選択を識別できるようになる。
【0114】
開示されるＮＥＲシステムは、データの改善を含むことができる。データの改善の１つとして、重複チャンク機構が含まれ得る。既存の最先端モデルの制限は、メモリと計算要件が入力シーケンスの長さの２乗で増加することである。一般的に利用可能なハードウェアの制限を考慮すると、現在の事前トレーニングされた言語モデルは最大５１２個のトークンの入力シーケンスしか処理できない。この制限を緩和するために、開示されるシステムは、長いテキストを重複チャンクに分割する機構を使用することができ、各チャンクとそれに対応するラベルは、トレーニング時に個別の例として扱われる。評価／推論のために、同じ入力テキストのチャンクからの予測を統合する必要がある。この機構により、モデルはより大きなシーケンスを処理できるようになり、高い性能を維持しながらトレーニングと推論の時間を大幅に短縮できる。
【0115】
図４は、事前トレーニングされた言語モデル用の長いテキストを処理するシステム４００を示す。長さ決定エンジン４１０は発話４０２を受信することができる。長さ決定エンジンは、長さがトークンの所定の閾値を超えているかどうかを決定できる。トークンは単語、単語の一部、または句読点になり得る。
【0116】
長さがトークンピースの所定の閾値を超える場合、チャンク化エンジン４２０は発話を複数の重複チャンクに分割することができる。例えば、チャンク化エンジン４２０は、発話４０２をチャンクＡ４２２、チャンクＢ４２４、およびチャンクＣ４２６に分割できる。３つのチャンクが図示されているが、開示される技術はこれに限定されず、任意の数のチャンクに適用可能である。例えば、処理システムの機能に応じて、わずか２つのチャンクを処理できる。
【0117】
名前付きエンティティ認識装置４３０は、各チャンクの分類器またはラベルを決定することができる。例えば、名前付きエンティティ認識装置４３０は、チャンクＡ４２２に対してラベルＡ４３２を決定し、チャンクＢ４２４に対してラベルＢ４３４を決定し、チャンクＣ４２６に対してラベルＣ４３６を決定できる。上で説明したように、名前付きエンティティ認識装置４３０は、チャンク内の各トークンにラベルを割り当てることができる。名前付きエンティティ認識装置は、複数のチャンクの各チャンクにラベルを割り当てることもできる。スコアエンジン４４０は、チャンクＡ４２２のラベルＡ４３２、チャンクＢ４２４のラベルＢ４３４、およびチャンクＣ４２６のラベルＣ４３６を受信できる。各ラベルにはチャンクスコアを付加できる。スコアエンジン４４０は、第１のチャンクからの信頼スコアと第２のチャンクからの信頼スコアの２つの信頼スコアを統合することによって、トークンピースの重複チャンクの各チャンクの最終ラベルおよび関連する信頼スコアを計算できる。スコアエンジン４４０は、少なくとも２つの信頼スコアの統合に基づいて、発話のセットの最終的な注釈付きラベルを決定できる。スコアエンジン４４０は、最終的な注釈付きスコア４４２をメモリに記憶できる。
【0118】
図５は、例示的な発話５０２を複数のチャンクに変換することを示している。例示的な発話５０２は複数のチャンクに分割することができ、各チャンクは一定数の単語である。図５に示すように、例示的な発話５０２は、いくつかの単語を含む所定の長さのセグメントに分割できる。いくつかの態様では、所定の長さは３２語になり得る。一例として、発話５０２はチャンクＡ５０４に分割することができ、チャンクＡ５０４には、１０トークンの例示的なチャンクサイズに対してインデックス１から１０までを含めることができる。チャンクＢには、１０トークンの例示的なチャンクサイズに対して、インデックス６から１５を含めることができる。図４に示すように、名前付きエンティティ認識装置４３０は、より小さなチャンクをより効率的に処理できる。例えば、エンティティ認識装置４３０が１０語のセグメントを処理する方が、例示的な発話５０２全体を処理するよりも高速になる。
【0119】
名前付きエンティティ認識装置４３０は発話５０２を分析し、各トークンのタグまたはラベルを決定することができる。例えば、発話５０２の第１のトークン（インデックス１）は単語「Ｍｙ」であり、名前付きエンティティ認識装置４３０は、そのトークンに「Ｏ」のタグを割り当てることができる。これは、そのトークンが対象範囲外であることを意味する。同様に、名前付きエンティティ認識装置４３０は、「ｎａｍｅ」、「ｉｓ」、「ｌｉｖｉｎｇ」、「ｉｎ」、「ａｎｄ」、「ｗｏｒｋｉｎｇ」、「ｆｏｒ」というトークンに「Ｏ」のタグを割り当てることができる。名前付きエンティティ認識装置４３０は、インデックス４のトークン「デイビス」に、人の名前の始まりを意味する「Ｂ－ＰＥＲ」のタグを割り当てることができる。名前付きエンティティ認識装置４３０は、インデックス８のトークン「ブリスベン」に、場所の始まりを意味する「Ｂ－ＬＯＣ」のタグを割り当てることができる。名前付きエンティティ認識装置４３０は、インデックス１０のトークン「オーストラリア」に、場所の始まりを意味する「Ｂ－ＬＯＣ」のタグを割り当てることができる。名前付きエンティティ認識装置４３０は、インデックス１４のトークン「オラクル」に、組織の始まりを意味する「Ｂ－ＯＲＧ」のタグを割り当てることができる。名前付きエンティティ認識装置４３０は、インデックス１５のトークン「コープ」に組織名の範囲内のタグを割り当てることができる。
【0120】
一例として、図５は、チャンクサイズが１０トークンで、重複サイズが５チャンクであることを示す。例えば、第１の重複部分５０８は、チャンクＡ５０４の後半部分を含むことができる。第２の重複部分５１０には、チャンクＢ５０６の前半を含めることができる。
【0121】
図５は、チャンクからの予測を統合する技術をさらに示す。例えば、名前付きエンティティ認識装置４３０は、チャンクＡの分析中にインデックス８で「ブリスベン」を適切にラベル付けできるが、インデックス１０で「オーストラリア」を見逃す。チャンクＢの分析中に、名前付きエンティティ認識装置４３０はインデックス１０の「オーストラリア」を適切にラベル付けできたが、インデックス８の「ブリスベン」を見逃した。チャンクＡとチャンクＢからの分析の出力が統合されるが、「ブリスベン」と「オーストラリア」が適切にラベル付けされる。
【0122】
図６は予測を統合する技術を示す。図４に示すスコアエンジン４４０は、名前付きエンティティ認識装置４３０からの各ラベルの信頼スコアを決定できる。例えば、スコアエンジン４４０は、インデックス６、７、８、および９の信頼スコアを決定できる。信頼スコアは、割り当てられるラベルの信頼度が０．９であり、ラベルが正しいという信頼度が９０％であることを示す。チャンクＡのインデックス１０の場合、スコアエンジン４４０は、割り当てられるラベル「Ｏ」の信頼スコアを０．５と決定でき、ラベルが正しいという信頼度が５０％であることを示す。
【0123】
チャンクＢの場合、スコアエンジン４４０は、インデックス６、７、９、および１０の信頼スコアを決定でき、信頼スコアは、割り当てられるラベルの信頼度が０．９であり、ラベルが正しいという信頼度が９０％であることを示す。チャンクＢのインデックス８の場合、スコアエンジン４４０は、割り当てられるレベル「Ｏ」の信頼スコアを０．５と決定でき、ラベルが正しいという信頼度が５０％であることを示す。
【0124】
統合される出力には、いくつかの結果が考えられる。例えば、出力戦略には「半分」、「第１」、「第２」、「最大」が含まれ得る。「半分」戦略の場合、スコアエンジン４４０は、第１のチャンクからの１／２予測と、第２のチャンクからの１／２予測を使用できる。「第１の」戦略では、スコアエンジン４４０は第１のチャンクからの予測を使用できる。「第２の」戦略では、スコアエンジン４４０は第２のチャンクからの予測を使用できる。「最大」戦略の場合、スコアエンジン４４０は最大信頼スコアに基づいて予測を決定できる。
【0125】
図６に示すように、「ブリスベン」のインデックス８のラベルと「オーストラリア」のラベルインデックス１０のラベルは両方とも正確であるため、「半分」戦略は正確な結果を提供することができる。「第１の」戦略では、「ブリスベン」のインデックス８のラベルを正しく識別するが、「オーストラリア」のトークンピースのラベルを誤って識別する。「第２の」戦略では、インデックス８の「ブリスベン」のラベルを誤って識別するが、「オーストラリア」のトークンピースには正しくラベルを付ける。「ブリスベン」のインデックス８のラベルと「オーストラリア」のラベルインデックス１０のラベルは両方とも正確であるため、「Ｍａｘ」戦略は正確な結果を提供できる。
【0126】
いくつかの態様では、所定の長さは３２個のトークンピースであってもよい。図６に示すように、各チャンクは複数の要素に分割できる。例えば、各チャンクはチャンク間の重複（ｌと省略可能）を提供できる。チャンク間の重複の量は事前に決定できる。例えば、３２個のトークンピースのチャンクの場合、重複は１６個のトークンピース（サブワード）になり得る。
【0127】
図７は、事前トレーニングされた言語モデル用の長いテキストを処理するためのシステムおよび技術に関連する例示的なプロセス７００のフローチャートである。いくつかの実装では、図７の１つまたは複数のプロセスブロックは、コンピューティング装置（例えば、コンピューティング装置１０００）によって実行され得る。いくつかの実装では、図７の１つまたは複数のプロセスブロックは、別の装置、またはコンピューティング装置とは別の、またはコンピューティング装置を含む装置グループによって実行され得る。さらに、または代わりに、図７の１つまたは複数のプロセスブロックは、処理サブシステム１００４、記憶サブシステム１０１８、Ｉ／Ｏサブシステム１００８、通信サブシステム１０２４、および／またはバスサブシステム１００２などの装置１０００の１つまたは複数の構成要素によって実行され得る。
【0128】
図７に示すように、プロセス７００は、データ処理システムで発話のセットを受信し、名前付きエンティティ認識装置を使用してトレーニングまたはインターフェースして、発話のセットからの各トークンピースにラベルを割り当てること（ブロック７１０）を含むことができる。例えば、コンピューティング装置は、データ処理システムで発話のセットを受信し、名前付きエンティティ認識装置を使用してトレーニングまたはインターフェースして、上記のように、発話のセットから各トークンピースにラベルを割り当てることができる。さまざまな態様において、発話のセットは、キーボードを使用したチャボットを介したユーザ入力を通じて受信できる。さまざまな態様において、発話のセットは、マイクを使用してチャボットを介して聴覚的にユーザから受信できる。システムは、口頭の発話をテキスト入力に変換できる。
【0129】
図７にさらに示すように、プロセス７００は、発話のセットの長さを決定すること（ブロック７２０）を含み得る。例えば、コンピューティング装置は、前述のように、発話のセットの長さを決定できる。プロセス７００は、発話を複数のトークンピースに分割することによって、発話のセットの長さを決定できる。トークンピースは、単語、単語の一部、または句読点になり得る。複雑な単語は、１つまたは複数のトークンピースに分解できる。長さは、発話内のトークンピースの数になり得る。
【0130】
図７にさらに示すように、プロセス７００は、発話のセットの長さがトークンピースの所定の閾値を超える場合を含み得、発話のセットをトークンピースの複数の重複チャンクに分割すること（ブロック７３０）を含むことができる。発話の長さを所定の閾値と比較することができる。所定の閾値は必要に応じて変更できる。さまざまな態様において、所定の閾値は５１２個のトークンピースであり得る。当業者であれば、他の閾値も本開示の範囲内であることを理解するであろう。
【0131】
図７にさらに示すように、プロセス７００は、チャンク内の各トークンピースに信頼スコアとともにラベルを割り当てること（ブロック７４０）を含むことができる。上で説明したように、発話内の各トークンピースにラベルを割り当てることができる。名前付きエンティティ認識装置４３０は、単語のサブシーケンスを識別してラベル付けすることができる。さまざまな態様で、開始、内部、および外部（ＢＩＯ）ラベルスキームを使用できる。ＢＩＯラベルスキームはサブシーケンスを識別でき、ラベルは名前付きエンティティの境界とタイプの両方を保持（capture）する。この技術では、対象範囲を開始するトークンにはラベルＢをタグ付けことができ、範囲内に出現するトークンにはラベルＩを、対象範囲外にあるトークンにはラベルＯをそれぞれタグ付ける。Ｏタグは１つしか存在しない場合もあるが、名前付きエンティティクラスごとに異なるＢタグとＩタグが存在し得る（例えば、Ｉ－ＤＡＴＥとＩ－ＭＥＲＣＨＡＮＴ）。各ラベルには、ラベルが正しいという信頼度を示す信頼スコアを割り当てることができる。
【0132】
図７にさらに示すように、プロセス７００は、第１のチャンクからの信頼スコアと第２のチャンクからの信頼スコアの２つの信頼スコアを統合することによって、トークンピースの重複チャンクの各チャンクの最終ラベルおよび関連する信頼スコアを決定することを含むことができる（ブロック７５０）。
【0133】
図７にさらに示すように、プロセス７００は、少なくとも２つの信頼スコアの統合に基づいて、発話のセットの最終的な注釈付きラベルを決定すること（ブロック７６０）を含み得る。
【0134】
図７にさらに示すように、プロセス７００は、最終的な注釈付きラベルをメモリに記憶すること（ブロック７７０）を含み得る。プロセス７００は、最終的な注釈付きラベルを決定するためにいくつかの異なる戦略を利用できる。例えば、出力戦略には「半分」、「第１」、「第２」、「最大」が含まれ得る。「半分」戦略の場合、スコアエンジン４４０は、第１のチャンクからの１／２予測と、第２のチャンクからの１／２予測を使用できる。「第１の」戦略では、スコアエンジン４４０は第１のチャンクからの予測を使用できる。「第２の」戦略では、スコアエンジン４４０は第２のチャンクからの予測を使用できる。「最大」戦略の場合、スコアエンジン４４０は最大信頼スコアに基づいて予測を決定できる。
【0135】
プロセス７００には、以下で説明する単一の実装または実装の任意の組み合わせ、および／または本明細書の他の箇所で説明する１つまたは複数の他のプロセスと関連した実装などの追加の実装が含まれ得る。
【0136】
第１の実装では、各チャンクとそれに対応するラベルのシーケンスは、トレーニング時に別個の例として扱われる。
【0137】
第２の実装では、単独で、または第１の実装と組み合わせて、長さＮの発話が、Ｋがチャンクサイズであり、Ｌが重複サイズである、「（ＮＬ）／（ＫＬ）」の重複チャンクに分割される。
【0138】
第３の実装では、単独で、または第１および第２の実装の１つまたは複数と組み合わせて、複数の重複チャンクのうちの第１の選択されるチャンクからの信頼スコアに少なくとも部分的に基づいて、トークンピースの全体のスコアおよび最終的な注釈付きラベルを決定する。
【0139】
第４の実装では、単独で、または第１から第３の実装の１つまたは複数と組み合わせて、トークンピースの全体のスコアの決定は、トークンピースの重複チャンク内のトークンピースの位置に基づいて行われ、全体のスコアは、第１のチャンクがトークンピースの重複チャンクの前半にある場合は第１のチャンクからの第１の信頼スコアであり、第２のチャンクがトークンピースの重複チャンクの後半にある場合は第２のチャンクからの第２の信頼スコアである。
【0140】
第５の実装では、単独で、または第１から第４の実装の１つまたは複数と組み合わせて、全体のスコアの決定は、複数の重複チャンクの最大信頼スコアに基づいて行われる。
【0141】
第６の実装では、単独で、または第１から第５の実装の１つまたは複数と組み合わせて、トークンピースの所定の閾値は５１２個のトークンピースであり、重複トークンピースの所定の数は１２８個のトークンピースである。
【0142】
図７はプロセス７００の例示的なブロックを示しているが、いくつかの実装では、プロセス７００には、図７に示されているものよりも多くのブロック、より少ないブロック、異なるブロック、または異なる配置のブロックが含まれ得る。さらに、または代わりに、プロセス７００の２つ以上のブロックを並行して実行することもできる。
【0143】
図８は、実施形態を実装するための分散システム８００の簡略化される図を示す。図示の実施形態では、分散システム８００には、１つまたは複数の通信ネットワーク８１０を介してサーバ８１２に結合される１つまたは複数のクライアントコンピューティング装置８０２、８０４、８０６、および８０８が含まれる。クライアントコンピューティング装置８０２、８０４、８０６、および８０８は、１つまたは複数のアプリケーションを実行するように構成できる。
【0144】
さまざまな態様において、サーバ８１２は、事前トレーニングされた言語モデルの長いテキストを処理する技術を可能にする１つまたは複数のサービスまたはソフトウェアアプリケーションを実行するように適合されてもよい。
【0145】
ある態様では、サーバ８１２は、非仮想環境および仮想環境を含むことができる他のサービスまたはソフトウェアアプリケーションも提供することができる。いくつかの態様では、これらのサービスは、クライアントコンピューティング装置８０２、８０４、８０６、および／または８０８のユーザに、サービスとしてのソフトウェア（ＳａａＳ）モデルなどの下で、ウェブベースまたはクラウドサービスとして提供され得る。クライアントコンピューティング装置８０２、８０４、８０６、および／または８０８を動作するユーザは、順に１つまたは複数のクライアントアプリケーションを利用してサーバ８１２と対話し、これらの構成要素によって提供されるサービスを利用することができる。
【0146】
図８に示される構成では、サーバ８１２は、サーバ８１２によって実行される機能を実装する１つまたは複数の構成要素８１８、８２０、および８２２を含み得る。これらの構成要素には、１つまたは複数のプロセッサ、ハードウェア構成要素、またはそれらの組み合わせによって実行できるソフトウェア構成要素が含まれ得る。分散システム８００とは異なり得る、さまざまな異なるシステム構成が可能であることを理解されたい。したがって、図８に示される実施形態は、実施形態のシステムを実装するための分散システムの一例であり、限定することを意図したものではない。
【0147】
ユーザは、本開示の教示に従って、事前トレーニングされた言語モデルの長いテキストを処理する技術のために、クライアントコンピューティング装置８０２、８０４、８０６、および／または８０８を使用することができる。クライアント装置は、クライアント装置のユーザがクライアント装置と対話できるようにするインターフェースを提供することができる。クライアント装置は、このインターフェースを介してユーザに情報を出力することもできる。図８には４つのクライアントコンピューティング装置のみが示されているが、任意の数のクライアントコンピューティング装置がサポートされ得る。
【0148】
クライアント装置には、ポータブルハンドヘルド装置、パーソナルコンピュータやラップトップなどの汎用コンピュータ、ワークステーションコンピュータ、ウェアラブル装置、ゲームシステム、シンクライアント、さまざまなメッセージング装置、センサまたは他の感知装置などのさまざまなタイプのコンピューティングシステムなどが含まれ得る。これらのコンピューティング装置は、さまざまなタイプとバージョンのソフトウェアアプリケーションとオペレーティングシステムを実行し得（例えば、Microsoft Windows（登録商標）、Apple Macintosh（登録商標）、ＵＮＩＸ（登録商標）またはＵＮＩＸ系オペレーティングシステム、Ｌｉｎｕｘ（登録商標）またはGoogle Chrome（商標）OSなどのＬｉｎｕｘ系オペレーティングシステム）、これには、さまざまなモバイルオペレーティングシステム（例えば、Microsoft Windows Mobile（登録商標）、iOS（登録商標）、Windows Phone（登録商標）、Android（商標）、BlackBerry（登録商標）、Palm OS（登録商標））が含まれる。ポータブルハンドヘルド装置には、携帯電話、スマートフォン（例えば、iPhone（登録商標））、タブレット（例えば、iPad（登録商標））、携帯情報端末（ＰＤＡ）などが含まれ得る。ウェアラブル装置には、Google Glass（登録商標）ヘッドマウントディスプレイおよびその他の装置が含まれ得る。ゲームシステムには、さまざまなハンドヘルドゲーム装置、インターネット対応ゲーム装置（例えば、Kinect（登録商標）ジェスチャ入力装置を備えたまたは備えていないMicrosoft Xbox（登録商標）ゲームコンソール、Sony Play Station（登録商標）システム、Nintendo（登録商標）が提供するさまざまなゲームシステムなど）、などが含まれ得る。クライアント装置は、さまざまなインターネット関連アプリ、通信アプリケーション（例えば、電子メールアプリケーション、ショートメッセージサービス（ＳＭＳ）アプリケーション）などのさまざまな異なるアプリケーションを実行することができ、さまざまな通信プロトコルを使用することができる。
【0149】
ネットワーク８１０は、当業者によく知られている任意のタイプのネットワークであり、ＴＣＰ／ＩＰ（伝送制御プロトコル／インターネットプロトコル）、ＳＮＡ（システムネットワークアーキテクチャ）、ＩＰＸ（インターネットパケット交換）、Apple Talk（登録商標）などを含むがこれらに限定されない、さまざまな利用可能なプロトコルのいずれかを使用してデータ通信をサポートできる。単なる例として、ネットワーク８１０は、ローカルエリアネットワーク（ＬＡＮ）、イーサネット（登録商標）に基づくネットワーク、トークンリング、ワイドエリアネットワーク（ＷＡＮ）、インターネット、仮想ネットワーク、仮想プライベートネットワーク（ＶＰＮ）、イントラネット、エクストラネット、公衆交換電話網（ＰＳＴＮ）、赤外線ネットワーク、無線ネットワーク（例えば、電気電子学会（ＩＥＥＥ）１００２．１１プロトコルスイートのいずれかで動作するネットワーク）、Bluetooth（登録商標）、および／または他の無線プロトコル）、ならびに／またはこれらおよび／もしくは他のネットワークの任意の組み合わせであり得る。
【0150】
サーバ８１２は、１つまたは複数の汎用コンピュータ、専用サーバコンピュータ（例として、ＰＣ（パーソナルコンピュータ）サーバ、ＵＮＩＸ（登録商標）サーバ、ミッドレンジサーバ、メインフレームコンピュータ、ラックマウントサーバなどを含む）、サーバファーム、サーバクラスタ、またはその他の適切な配置および／または組み合わせから構成され得る。サーバ８１２は、仮想オペレーティングシステムを実行する１つもしくは複数の仮想機械、またはサーバの仮想記憶装置を維持するために仮想化され得る論理記憶装置の１つもしくは複数の柔軟なプールなどの仮想化を伴う他のコンピューティングアーキテクチャを含み得る。さまざまな態様において、サーバ８１２は、前述の開示で説明される機能を提供する１つまたは複数のサービスまたはソフトウェアアプリケーションを実行するように適合され得る。
【0151】
サーバ８１２のコンピューティングシステムは、上述したもののいずれかを含む１つまたは複数のオペレーティングシステム、ならびに任意の市販のサーバオペレーティングシステムを実行することができる。サーバ８１２は、さまざまな追加のサーバプリケーションおよび／または中間層アプリケーションのいずれかを実行することもでき、これには、ＨＴＴＰ（ハイパーテキストトランスポートプロトコル）サーバ、ＦＴＰ（ファイル転送プロトコル）サーバ、ＣＧＩ（共通ゲートウェイインターフェース）サーバ、ＪＡＶＡ（登録商標）サーバ、データベースサーバなどが含まれる。例示的なデータベースサーバには、Oracle（登録商標）、Microsoft（登録商標）、Sybase（登録商標）、ＩＢＭ（登録商標）（International Business Machines）などから市販されているものが含まれるが、これらに限定されない。
【0152】
いくつかの実装では、サーバ８１２には、クライアントコンピューティング装置８０２、８０４、８０６、および８０８のユーザから受信したデータフィードおよび／またはイベント更新を分析および統合するための１つまたは複数のアプリケーションが含まれ得る。例として、データフィードおよび／またはイベント更新には、Twitter（登録商標）フィード、Facebook（登録商標）更新、または１つまたは複数のサードパーティ情報ソースおよび継続的なデータストリームから受信したリアルタイム更新が含まれ得るが、これらに限定されず、これには、センサーデータアプリケーション、金融ティッカー、ネットワーク性能測定ツール（例えば、ネットワーク監視およびトラフィック管理アプリケーション）、クリックストリーム分析ツール、自動車交通監視などに関連するリアルタイムイベントが含まれ得る。サーバ８１２はまた、クライアントコンピューティング装置８０２、８０４、８０６、および８０８の１つまたは複数の表示装置を介してデータフィードおよび／またはリアルタイムイベントを表示するための１つまたは複数のアプリケーションを含み得る。
【0153】
分散システム８００には、１つまたは複数のデータリポジトリ８１４、８１６も含まれ得る。これらのデータリポジトリは、ある態様ではデータやその他の情報を記憶するために使用され得る。例えば、データリポジトリ８１４、８１６の１つまたは複数は、事前トレーニングされた言語モデルの長いテキストを処理するための技術に関する情報（例えば、意図スコア、全体のスコア）を記憶するために使用されてもよい。データリポジトリ８１４、８１６は、さまざまな場所に存在することができる。例えば、サーバ８１２によって使用されるデータリポジトリは、サーバ８１２に対してローカルであってもよいし、サーバ８１２からリモートであってもよく、ネットワークベースまたは専用接続を介してサーバ８１２と通信してもよい。データリポジトリ８１４、８１６は異なるタイプであってもよい。ある態様では、サーバ８１２によって使用されるデータリポジトリは、例えば、Oracle Corporation（登録商標）や他のベンダーによって提供されるデータベースなどのリレーショナルデータベースなどのデータベースである場合がある。これらのデータベースの１つまたは複数は、構造化照会言語（ＳＱＬ）形式のコマンドに応答して、データベースへのデータの記憶、更新、およびデータベースからのデータの取得を可能にするように適応され得る。
【0154】
ある態様では、データリポジトリ８１４、８１６のうちの１つまたは複数は、アプリケーションデータを記憶するためにアプリケーションによって使用されてもよい。アプリケーションによって使用されるデータリポジトリは、例えば、キー／値ストアリポジトリ、オブジェクトストアリポジトリ、またはファイルシステムによってサポートされる一般的な記憶リポジトリなど、さまざまなタイプの場合がある。
【0155】
ある態様では、本開示で説明されている事前トレーニングされた言語モデル機能のための長いテキストを処理する技術は、クラウド環境を介したサービスとして提供され得る。図６は、ある態様に従って、さまざまなテキスト処理関連サービスがクラウドサービスとして提供され得るクラウドベースのシステム環境の簡略化されるブロック図である。図６に示す実施形態では、クラウドインフラストラクチャシステム６０２は、１つまたは複数のクライアントコンピューティング装置６０４、６０６、および６０８を使用するユーザによって要求される可能性のある１つまたは複数のクラウドサービスを提供することができる。クラウドインフラストラクチャシステム６０２は、サーバ８１２について上述したものを含むことができる１つまたは複数のコンピュータおよび／またはサーバを備えることができる。クラウドインフラストラクチャシステム６０２内のコンピュータは、汎用コンピュータ、専用サーバコンピュータ、サーバファーム、サーバクラスタ、または任意の他の適切な配置および／または組み合わせとして編成され得る。
【0156】
ネットワーク６１０は、クライアント６０４、６０６、および６０８とクラウドインフラストラクチャシステム６０２との間のデータの通信および交換を容易にすることができる。ネットワーク６１０は、１つまたは複数のネットワークを含むことができる。ネットワークは同じタイプであっても、異なるタイプであってもよい。ネットワーク６１０は、通信を容易にするために、有線および／または無線プロトコルを含む１つまたは複数の通信プロトコルをサポートすることができる。
【0157】
図９に示す実施形態は、クラウドインフラストラクチャシステムの一例にすぎず、限定することを意図したものではない。いくつかの他の態様では、クラウドインフラストラクチャシステム９０２は、図９に示されるものより多いまたは少ない構成要素を有してもよく、２つ以上の構成要素を組み合わせてもよく、または構成要素の異なる構成または配置を有してもよいことを理解されたい。例えば、図９は３つのクライアントコンピューティング装置を示しているが、代替態様では任意の数のクライアントコンピューティング装置がサポートされ得る。
【0158】
クラウドサービスという用語は、一般的に、サービスプロバイダのシステム（例えば、クラウドインフラストラクチャシステム９０２）によって、インターネットなどの通信ネットワークを介して、オンデマンドでユーザに提供されるサービスを指すために使用される。通常、パブリッククラウド環境では、クラウドサービスプロバイダのシステムを構成するサーバやシステムは、顧客自身のオンプレミスのサーバやシステムとは異なる。クラウドサービスプロバイダのシステムは、クラウドサービスプロバイダによって管理される。したがって、顧客は、サービス用のライセンス、サポート、またはハードウェアおよびソフトウェアリソースを別途購入することなく、クラウドサービスプロバイダが提供するクラウドサービスを利用できる。例えば、クラウドサービスプロバイダのシステムがアプリケーションをホストでき、ユーザはアプリケーションを実行するためのインフラストラクチャリソースを購入することなく、ネットワーク９１０（例えば、インターネット）経由でオンデマンドによりアプリケーションを注文して使用できる。クラウドサービスは、アプリケーション、リソース、サービスへの簡単かつスケーラブルなアクセスを提供するように設計されている。いくつかのプロバイダがクラウドサービスを提供している。例えば、ミドルウェアサービス、データベースサービス、Ｊａｖａクラウドサービスなど、いくつかのクラウドサービスがカリフォルニア州レッドウッドショアーズのOracle Corporation（登録商標）によって提供されている。
【0159】
ある態様では、クラウドインフラストラクチャシステム９０２は、異なるモデルを使用して１つまたは複数のクラウドサービスを提供することができ、例えば、Software as a Service(ＳａａＳ）モデル、Platform as a Service（ＰａａＳ）モデル、Infrastructure as a Service（ＩａａＳ）モデル、およびハイブリッドサービスモデルを含むその他のモデルなどである。クラウドインフラストラクチャシステム９０２は、さまざまなクラウドサービスの提供を可能にする一連のアプリケーション、ミドルウェア、データベース、および他のリソースを含むことができる。
【0160】
ＳａａＳモデルでは、顧客が基礎となるアプリケーションのハードウェアやソフトウェアを購入することなく、アプリケーションまたはソフトウェアをインターネットなどの通信ネットワークを介してサービスとして顧客に提供できる。例えば、ＳａａＳモデルを使用して、クラウドインフラストラクチャシステム９０２によってホストされるオンデマンドアプリケーションへのアクセスを顧客に提供できる。Oracle Corporation（登録商標）が提供するＳａａＳサービスの例には、人事／資本管理のためのさまざまなサービス、顧客関係管理（ＣＲＭ）、企業リソースプランニング（ＥＲＰ）、サプライチェーン管理（ＳＣＭ）、企業性能管理（ＥＰＭ）、分析サービス、ソーシャルアプリケーションなどが含まれるが、これらに限定されない。
【0161】
ＩａａＳモデルは、一般に、インフラストラクチャリソース（例えば、サーバ、記憶装置、ハードウェアおよびネットワーキングリソース）をクラウドサービスとして顧客に提供し、弾性なコンピューティングおよび記憶機能を提供するために使用される。さまざまなＩａａＳサービスがOracle Corporation（登録商標）によって提供されている。
【0162】
ＰａａＳモデルは、一般に、顧客がそのようなリソースを調達、構築、または維持する必要なく、顧客がアプリケーションおよびサービスを開発、実行、および管理できるようにするプラットフォームおよび環境リソースをサービスとして提供するために使用される。Oracle Corporation（登録商標）が提供するＰａａＳサービスの例には、Oracle Java Cloud Service（ＪＣＳ）、Oracle Database Cloud Service（ＤＢＣＳ）、データ管理クラウドサービス、さまざまなアプリケーション開発ソリューションサービスなどが含まれるが、これらに限定されない。
【0163】
クラウドサービスは、一般に、オンデマンド自己サービスベース、サブスクリプションベース、弾力的に拡張可能、信頼性が高く、可用性が高く、安全な方法で提供される。例えば、顧客は、サブスクリプション注文を介して、クラウドインフラストラクチャシステム９０２によって提供される１つまたは複数のサービスを注文することができる。次に、クラウドインフラストラクチャシステム９０２は、顧客のサブスクリプション注文で要求されるサービスを提供するための処理を実行する。クラウドインフラストラクチャシステム９０２は、１つまたは複数のクラウドサービスを提供するように構成され得る。
【0164】
クラウドインフラストラクチャシステム９０２は、異なる展開モデルを介してクラウドサービスを提供することができる。パブリッククラウドモデルでは、クラウドインフラストラクチャシステム９０２はサードパーティのクラウドサービスプロバイダによって所有され得、クラウドサービスは個人または企業であり得る一般の顧客に提供される。ある他の態様では、プライベートクラウドモデルの下で、クラウドインフラストラクチャシステム９０２は組織内（例えば、企業組織内）で動作され、組織内の顧客にサービスが提供され得る。例えば、顧客は人事部、給与部などの企業のさまざまな部門、あるいは企業内の個人である場合もある。他のある態様では、コミュニティクラウドモデルでは、クラウドインフラストラクチャシステム９０２および提供されるサービスは、関連するコミュニティ内の複数の組織によって共有され得る。上記モデルのハイブリッドなど、他のさまざまなモデルも使用可能である。
【0165】
クライアントコンピューティング装置９０４、９０６、および９０８は、異なるタイプ（例えば、図８に示される装置８０２、８０４、８０６、および８０８）であってもよく、１つまたは複数のクライアントアプリケーションを動作させることができてもよい。ユーザは、クライアント装置を使用して、クラウドインフラストラクチャシステム９０２によって提供されるサービスを要求するなど、クラウドインフラストラクチャシステム９０２と対話することができる。例えば、ユーザはクライアント装置を使用して、本開示で説明されているチャットボットサービスを要求することができる。
【0166】
いくつかの態様では、チャボットサービスを提供するためにクラウドインフラストラクチャシステム９０２によって実行される処理には、ビッグデータ分析が含まれ得る。この分析には、大規模なデータセットを使用、分析、操作して、データ内のさまざまな傾向、動作、関係性などを検出し、視覚化することが含まれ得る。この分析は１つまたは複数のプロセッサによって実行され、データの並列処理、データを使用したシミュレーションの実行などが行われ得る。例えば、クラウドインフラストラクチャシステム９０２によってビッグデータ分析が実行され、発話の意図が決定され得る。この分析に使用されるデータには、構造化データ（例えば、データベースに記憶されているデータ、または構造化モデルに従って構造化されるデータ）および／または非構造化データ（例えば、データブロブ（バイナリラージオブジェクト））が含まれ得る。
【0167】
図９の実施形態に示されるように、クラウドインフラストラクチャシステム９０２は、クラウドインフラストラクチャシステム９０２によって提供されるさまざまなクラウドサービスの提供を容易にするために利用されるインフラストラクチャリソース９３０を含むことができる。インフラストラクチャリソース９３０には、例えば、処理リソース、記憶またはメモリリソース、ネットワーキングリソースなどが含まれ得る。
【0168】
ある態様では、さまざまな顧客向けにクラウドインフラストラクチャシステム９０２によって提供されるさまざまなクラウドサービスをサポートするためのこれらのリソースの効率的なプロビジョニングを促進するために、リソースは、リソースのセットまたはリソースモジュール（「ポッド」とも呼ばれる）にバンドルされ得る。各リソースモジュールまたはポッドは、１つまたは複数のタイプのリソースの事前に統合および最適化される組み合わせを含み得る。ある態様では、異なるタイプのクラウドサービスに対して異なるポッドが事前にプロビジョニングされ得る。例えば、第１セットのポッドはデータベースサービス用にプロビジョニングでき、第２セットのポッドは、第１セットのポッド内のポッドとは異なるリソースの組み合わせを含むことができ、Ｊａｖａサービスなど用にプロビジョニングできる。一部のサービスでは、サービスをプロビジョニングするために割り当てられるリソースがサービス間で共有され得る。
【0169】
クラウドインフラストラクチャシステム９０２は、それ自体、クラウドインフラストラクチャシステム９０２の異なる構成要素によって共有され、クラウドインフラストラクチャシステム９０２によるサービスのプロビジョニングを容易にするサービス９３２を内部的に使用することができる。これらの内部共有サービスには、セキュリティおよびＩＤサービス、統合サービス、企業リポジトリサービス、企業マネージャーサービス、ウイルススキャンおよびホワイトリストサービス、高可用性、バックアップおよびリカバリサービス、クラウドサポートを可能にするサービス、電子メールサービス、通知サービス、ファイル転送サービスなどが含まれ得るが、これらに限定されない。
【0170】
クラウドインフラストラクチャシステム９０２は、複数のサブシステムを備えることができる。これらのサブシステムは、ソフトウェアやハードウェア、またはそれらの組み合わせで実装できる。図９に示すように、サブシステムは、クラウドインフラストラクチャシステム９０２のユーザまたは顧客がクラウドインフラストラクチャシステム９０２と対話できるようにするユーザインターフェースサブシステム９１２を含んでもよい。ユーザインターフェースサブシステム９１２は、ウェブインターフェース９１４、オンラインストアインターフェース９１６などのさまざまな異なるインターフェースを含むことができ、クラウドインフラストラクチャシステム９０２によって提供されるクラウドサービスは宣伝され、消費者および他のインターフェース９１８によって購入可能である。例えば、顧客は、クライアント装置を使用して、インターフェース９１４、９１６、および９１８の１つまたは複数を使用して、クラウドインフラストラクチャシステム９０２によって提供される１つまたは複数のサービスを要求する（サービス要求９３４）場合がある。例えば、顧客はオンラインストアにアクセスし、クラウドインフラストラクチャシステム９０２によって提供されるクラウドサービスを閲覧し、顧客がサブスクライブを希望するクラウドインフラストラクチャシステム９０２によって提供される１つまたは複数のサービスのサブスクリプション注文を行うことができる。サービス要求には、顧客を識別する情報と、顧客がサブスクリプションを希望する１つまたは複数のサービスが含まれ得る。例えば、顧客はクラウドインフラストラクチャシステム９０２によって提供されるチャボット関連サービスのサブスクリプション注文を行うことができる。注文の一部として、顧客は入力を識別する情報（例えば、発話）を提供し得る。
【0171】
図９に示される実施形態などのある態様では、クラウドインフラストラクチャシステム９０２は、新しい注文を処理するように構成される注文管理サブシステム（ＯＭＳ）９２０を備えることができる。この処理の一部として、まだ作成していない場合は、ＯＭＳ９２０は顧客の口座を作成し、要求されるサービスを顧客に提供するために顧客に請求するために使用される請求情報および／または会計情報を顧客から受信し、顧客情報を確認し、確認後、顧客の注文を予約する。さまざまなワークフローを調整して、プロビジョニングの注文を準備するように構成できる（まだ作成していない場合）。
【0172】
適切に検証されると、ＯＭＳ９２０は、処理、メモリ、およびネットワーキングリソースを含む注文のためのリソースをプロビジョニングするように構成される注文プロビジョニングサブシステム（ＯＰＳ）９２４を呼び出し得る。プロビジョニングには、注文に対してリソースを割り当て、顧客の注文によって要求されるサービスを容易にするためにリソースを構成することが含まれ得る。注文に対してリソースがプロビジョニングされる方法およびプロビジョニングされるリソースのタイプは、顧客が注文したクラウドサービスのタイプによって異なる場合がある。例えば、１つのワークフローによれば、ＯＰＳ９２４は、要求されている特定のクラウドサービスを決定し、その特定のクラウドサービスに対して事前構成されている可能性のあるポッドの数を識別するように構成され得る。注文に対して割り当てられるポッドの数は、要求されるサービスのサイズ／量／レベル／範囲によって異なる場合がある。例えば、割り当てられるポッドの数は、サービスによってサポートされるユーザの数、サービスが要求されている期間などに基づいて決定され得る。割り当てられるポッドは、次いで、要求されるサービスを提供するために、特定の要求顧客向けにカスタマイズできる。
【0173】
クラウドインフラストラクチャシステム９０２は、要求したサービスがいつ使用できるようになったかを示すために、要求している顧客に応答または通知９４４を送信することができる。場合によっては、顧客が要求されるサービスの使用および利点の利用を開始できるようにする情報（例えば、リンク）が顧客に送信され得る。
【0174】
クラウドインフラストラクチャシステム９０２は、複数の顧客にサービスを提供することができる。各顧客に対して、クラウドインフラストラクチャシステム９０２は、顧客から受信した１つまたは複数のサブスクリプション注文に関連する情報を管理し、注文に関連する顧客データを維持し、要求されるサービスを顧客に提供する責任を負う。クラウドインフラストラクチャシステム９０２はまた、顧客によるサブスクリプションサービスの使用に関する使用統計を収集することもできる。例えば、使用される記憶の量、転送されるデータの量、ユーザ数、システムの稼働時間と停止時間などの統計が収集され得る。この使用情報は、顧客への請求に使用され得る。請求は、例えば、月次サイクルで行うことができる。
【0175】
クラウドインフラストラクチャシステム９０２は、複数の顧客に並行してサービスを提供することができる。クラウドインフラストラクチャシステム９０２は、おそらく専有情報を含む、これらの顧客のための情報を記憶することができる。ある態様では、クラウドインフラストラクチャシステム９０２は、顧客情報を管理し、ある顧客に関連する情報が別の顧客によってアクセスできないように管理情報の分離を提供するように構成されるＩＤ管理サブシステム（ＩＭＳ）９２８を備える。ＩＭＳ９２８は、情報アクセス管理、認証および承認サービス、顧客ＩＤとロールおよび関連機能の管理サービスなどのＩＤサービスなど、さまざまなセキュリティ関連サービスを提供するように構成できる。
【0176】
図１０は、特定の態様を実装するために使用できる例示的なコンピュータシステム１０００を示している。例えば、いくつかの態様では、コンピュータシステム１０００は、図４に示すように、事前トレーニングされた言語モデルの長いテキストを処理するためのシステム４００や、上述のさまざまなサーバおよびコンピュータシステムのいずれかを実装するために使用できる。図１０に示すように、コンピュータシステム１０００は、バスサブシステム１００２を介して他の多くのサブシステムと通信する処理サブシステム１００４を含むさまざまなサブシステムを含む。これらの他のサブシステムには、処理加速ユニット１００６、Ｉ／Ｏサブシステム１００８、記憶サブシステム１０１８、および通信サブシステム１０２４が含まれ得る。記憶サブシステム１０１８は、記憶媒体１０２２およびシステムメモリ１０１０を含む非一時的なコンピュータ可読記憶媒体を含み得る。
【0177】
バスサブシステム１００２は、コンピュータシステム１０００のさまざまな構成要素およびサブシステムが意図したとおりに相互に通信できるようにする機構を提供する。バスサブシステム１００２は単一のバスとして概略的に示されているが、バスサブシステムの代替態様では複数のバスを利用することもできる。バスサブシステム１００２は、メモリバスまたはメモリコントローラ、周辺バス、さまざまなバスアーキテクチャのいずれかを使用するローカルバスなどを含むいくつかのタイプのバス構造のいずれであってもよい。例えば、そのようなアーキテクチャには、Industry Standard Architecture（ＩＳＡ）バス、Micro Channel Architecture（ＭＣＡ）バス、Enhanced ISA（ＥＩＳＡ）バス、Video Electronics Standards Association（ＶＥＳＡ）ローカルバス、およびPeripheral Component Interconnect（ＰＣＩ）バスが含まれ得る。これは、ＩＥＥＥＰ１３８６．１規格などに従って製造されるメザニンバスとして実装され得る。
【0178】
処理サブシステム１００４は、コンピュータシステム１０００の動作を制御し、１つまたは複数のプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含み得る。プロセッサには、単一コアまたはマルチコアプロセッサが含まれ得る。コンピュータシステム１０００の処理リソースは、１つまたは複数の処理ユニット１０３２、１０３４などに編成され得る。処理ユニットには、１つもしくは複数のプロセッサ、同じもしくは異なるプロセッサからの１つもしくは複数のコア、コアとプロセッサの組み合わせ、またはコアとプロセッサのその他の組み合わせが含まれ得る。いくつかの態様では、処理サブシステム１００４は、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数の専用コプロセッサを含み得る。いくつかの態様では、処理サブシステム１００４の処理ユニットの一部またはすべてが、特定用途向け集積回路（ＡＳＩＣ）やフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのカスタマイズされる回路を使用して実装され得る。
【0179】
いくつかの態様では、処理サブシステム１００４内の処理ユニットは、システムメモリ１０１０またはコンピュータ可読記憶媒体１０２２に記憶される命令を実行することができる。さまざまな態様において、処理ユニットは、さまざまなプログラムまたはコード命令を実行し、複数の同時実行プログラムまたはプロセスを維持することができる。いつでも、実行されるプログラムコードの一部またはすべては、システムメモリ１０１０および／または潜在的に１つもしくは複数の記憶装置を含むコンピュータ可読記憶媒体１０２２に載置することができる。適切なプログラミングを通じて、処理サブシステム１００４は、上述のさまざまな機能を提供することができる。コンピュータシステム１０００が１つまたは複数の仮想機械を実行している場合、１つまたは複数の処理ユニットが各仮想機械に割り当てられ得る。
【0180】
ある態様では、コンピュータシステム１０００によって実行される全体の処理を加速するために、カスタマイズされる処理を実行するため、または処理サブシステム１００４によって実行される処理の一部をオフロードするために、処理加速ユニット１００６が任意で提供されてもよい。
【0181】
Ｉ／Ｏサブシステム１００８は、コンピュータシステム１０００に情報を入力するための、および／またはコンピュータシステム１０００からもしくはコンピュータシステム１０００を介して情報を出力するための装置および機構を含み得る。一般に、入力装置という用語の使用は、コンピュータシステム８００に情報を入力するためのあらゆる可能なタイプの装置および機構を含むことを意図している。ユーザインターフェース入力装置には、例えば、キーボード、マウスやトラックボールなどのポインティング装置、ディスプレイに組み込まれたタッチパッドやタッチスクリーン、スクロールホイール、クリックホイール、ダイヤル、ボタン、スイッチ、キーパッド、音声コマンド認識システムを備えた音声入力装置、マイク、およびその他のタイプの入力装置が含まれ得る。ユーザインターフェース入力装置には、モーションセンシング装置および／またはジェスチャ認識装置も含まれ得、例えば、ユーザが入力装置を制御および動作できるようにするMicrosoft Kinect（登録商標）モーションセンサー、Microsoft Xbox（登録商標）３６０ゲームコントローラー、ジェスチャや音声コマンドを使用して入力を受信するためのインターフェースを提供する装置などである。ユーザインターフェース入力装置には、ユーザの目の動き（例えば、写真を撮影しているときやメニューを選択しているときの「まばたき」）を検出し、その目のジェスチャを入力装置（例えば、Google Glass（登録商標））への入力として変換するGoogle Glass（登録商標）まばたき検出器などの目のジェスチャ認識装置も含まれ得る。さらに、ユーザインターフェース入力装置は、ユーザが音声コマンドを通じて音声認識システム（例えば、Siri（登録商標）ナビゲータ）と対話できるようにする音声認識センシング装置を含んでもよい。
【0182】
ユーザインターフェース入力装置の他の例には、限定されないが、三次元（３Ｄ）マウス、ジョイスティックまたはポインティングスティック、ゲームパッドおよびグラフィックタブレット、およびスピーカー、デジタルカメラ、デジタルビデオカメラ、ポータブルメディアプレーヤ、ウェブカメラ、画像スキャナ、指紋スキャナ、バーコードリーダ３Ｄスキャナ、３Ｄプリンタ、レーザー距離計、視線追跡装置などの音声／ビジュアル装置が含まれ得る。さらに、ユーザインターフェース入力装置には、例えば、コンピュータ断層撮影法、磁気共鳴画像化、位置放射断層撮影法、および医療用超音波検査装置などの医療用画像化入力装置が含まれ得る。ユーザインターフェース入力装置には、例えば、ＭＩＤＩキーボード、デジタル楽器などの音声入力装置も含まれ得る。
【0183】
一般に、出力装置という用語の使用は、コンピュータシステム１０００からユーザまたは他のコンピュータに情報を出力するためのあらゆる可能なタイプの装置および機構を含むことを意図している。ユーザインターフェース出力装置には、ディスプレイサブシステム、インジケータライト、または音声出力装置などの非視覚的ディスプレイが含まれ得る。ディスプレイサブシステムは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）またはプラズマディスプレイを使用するものなどのフラットパネル装置、投影装置、タッチスクリーンなどであってもよい。例えば、ユーザインターフェース出力装置には、モニター、プリンタ、スピーカー、ヘッドフォン、自動車ナビゲーションシステム、プロッター、音声出力装置、モデムなど、テキスト、グラフィック、音声／ビデオ情報を視覚的に伝えるさまざまなディスプレイ装置が含まれるが、これらに限定されない。
【0184】
記憶サブシステム１０１８は、コンピュータシステム１０００によって使用される情報およびデータを記憶するためのリポジトリまたはデータストアを提供する。記憶サブシステム１０１８は、いくつかの態様の機能を提供する基本的なプログラミングおよびデータ構造を記憶するための、有形の非一時的なコンピュータ可読記憶媒体を提供する。記憶サブシステム１０１８は、処理サブシステム１００４によって実行されると上述の機能を提供するソフトウェア（例えば、プログラム、コードモジュール、命令）を記憶することができる。ソフトウェアは、処理サブシステム１００４の１つまたは複数の処理ユニットによって実行され得る。記憶サブシステム１０１８は、本開示の教示に従って使用されるデータを記憶するためのリポジトリも提供することができる。
【0185】
記憶サブシステム１０１８は、揮発性メモリ装置および不揮発性メモリ装置を含む、１つまたは複数の非一時的メモリ装置を含み得る。図１０に示されるように、記憶サブシステム１０１８は、システムメモリ１０１０およびコンピュータ可読記憶媒体１０２２を含む。システムメモリ１０１０には、プログラム実行中に命令とデータを記憶するための揮発性メインランダムアクセスメモリ（ＲＡＭ）と、固定命令が記憶される不揮発性読み取り専用メモリ（ＲＯＭ）またはフラッシュメモリを含む、複数のメモリが含まれ得る。いくつかの実装では、起動中など、コンピュータシステム１０００内の要素間で情報を転送するのに役立つ基本ルーチンを含む基本入出力システム（BIOS）は、通常、ＲＯＭに記憶され得る。ＲＡＭは通常、処理サブシステム１００４によって現在動作および実行されているデータおよび／またはプログラムモジュールを含む。いくつかの実装では、システムメモリ１０１０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの複数の異なるタイプのメモリを含み得る。
【0186】
限定ではなく一例として、図１０に示すように、システムメモリ１０１０は、実行中のアプリケーションプログラム１０１２をロードすることができ、これには、ウェブブラウザ、中間層アプリケーション、リレーショナルデータベース管理システム（ＲＤＢＭＳ）などのさまざまなアプリケーション、プログラムデータ１０１４、およびオペレーティングシステム１０１６が含まれ得る。一例として、オペレーティングシステム１０１６は、Microsoft Windows（登録商標）、Apple Macintosh（登録商標）、および／またはＬｉｎｕｘオペレーティングシステム、さまざまな市販のＵＮＩＸ（登録商標）またはＵＮＩＸ類似オペレーティングシステム（さまざまなＧＮＵ／Ｌｉｎｕｘオペレーティングシステム、Google Chrome（登録商標）OSなどを含むがこれらに限定されない）、および／またはモバイルオペレーティングシステム、例えば、iOS、Windows（登録商標）Phone、Android（登録商標）OS、BlackBerry（登録商標）OS、Palm（登録商標）OSオペレーティングシステムなどのさまざまなバージョンを含み得る。
【0187】
コンピュータ可読記憶媒体１０２２は、いくつかの態様の機能を提供するプログラミングおよびデータ構造を記憶することができる。コンピュータ可読媒体１０２２は、コンピュータシステム１０００用のコンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータの記憶を提供し得る。処理サブシステム１００４によって実行されると、上述の機能を提供するソフトウェア（プログラム、コードモジュール、命令）は、記憶サブシステム１０１８に記憶され得る。一例として、コンピュータ可読記憶媒体１０２２は、ハードディスクドライブ、磁気ディスクドライブ、ＣＤＲＯＭ、デジタルビデオディスク（ＤＶＤ）、Ｂｌｕ－Ｒａｙ（登録商標）ディスクなどの光ディスクドライブ、またはその他の光媒体などの不揮発性メモリが含まれ得る。コンピュータ可読記憶媒体１０２２としては、Ｚｉｐ（登録商標）ドライブ、フラッシュメモリカード、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ、セキュアデジタル（ＳＤ）カード、ＤＶＤディスク、デジタルビデオテープなどが含まれ得る、これらに限定されない。コンピュータ可読記憶媒体１０２２には、フラッシュメモリベースのＳＳＤなどの不揮発性メモリに基づくソリッド状態ドライブ（ＳＳＤ）、企業フラッシュドライブ、ソリッド状態ＲＯＭなど、ソリッド状態ＲＡＭ、ダイナミックＲＡＭ、スタティックＲＡＭ、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）ベースのＳＳＤ、磁気抵抗ＲＡＭ（ＭＲＡＭ）ＳＳＤ、ＤＲＡＭとフラッシュメモリベースのＳＳＤを組み合わせて使用するハイブリッドＳＳＤなどの揮発性メモリをベースとするＳＳＤも含まれ得る。
【0188】
ある態様では、記憶サブシステム１０１８はまた、コンピュータ可読記憶媒体１０２２にさらに接続され得るコンピュータ可読記憶媒体リーダ１０２０を含み得る。リーダ１０２０は、ディスク、フラッシュドライブなどのメモリ装置からデータを受信して読み取るように構成され得る。
【0189】
ある態様では、コンピュータシステム１０００は、処理リソースおよびメモリリソースの仮想化を含むがこれに限定されない仮想化技術をサポートすることができる。例えば、コンピュータシステム１０００は、１つまたは複数の仮想機械を実行するためのサポートを提供することができる。ある態様では、コンピュータシステム１０００は、仮想機械の構成および管理を容易にするハイパーバイザなどのプログラムを実行することができる。各仮想機械には、メモリ、コンピューティング（例えば、プロセッサ、コア）、Ｉ／Ｏ、およびネットワークリソースが割り当てられ得る。各仮想機械は通常、他の仮想機械とは独立して実行される。仮想機械は通常、独自のオペレーティングシステムを実行し、それは、コンピュータシステム１０００によって実行される他の仮想機械によって実行されるオペレーティングシステムと同じであっても、異なっていてもよい。したがって、複数のオペレーティングシステムがコンピュータシステム１０００によって同時に潜在的に実行され得る。
【0190】
通信サブシステム１０２４は、他のコンピュータシステムおよびネットワークへのインターフェースを提供する。通信サブシステム１０２４は、コンピュータシステム１０００から他のシステムとの間でデータを送受信するためのインターフェースとして機能する。例えば、通信サブシステム１０２４により、コンピュータシステム１０００は、インターネットを介して１つまたは複数のクライアント装置との通信チャネルを確立し、クライアント装置との間で情報を送受信できるようになる。例えば、通信サブシステムは、チャボットの問い合わせに関してユーザに応答を送信するために使用することができる。
【0191】
通信サブシステム１０２４は、有線通信プロトコルおよび／または無線通信プロトコルの両方をサポートすることができる。例えば、ある態様では、通信サブシステム１０２４は、無線音声および／またはデータネットワーク（例えば、携帯電話技術、３Ｇ、４Ｇ、またはＥＤＧＥ（世界的な進化のための強化されるデータ速度）などの高度なデータネットワーク技術の使用）へアクセスするための無線周波数（ＲＦ）トランシーバ構成要素、Ｗｉ－Ｆｉ（ＩＥＥＥ８０２．ＸＸファミリ規格、その他のモバイル通信技術、またはそれらの組み合わせ）、全地球測位システム（ＧＰＳ）受信機構成要素、および／または他の構成要素を含んでもよい。いくつかの態様では、通信サブシステム１０２４は、無線インターフェースに加えて、または無線インターフェースの代わりに、有線ネットワーク接続（例えば、イーサネット）を提供することができる。
【0192】
通信サブシステム１０２４は、さまざまな形式でデータを送受信することができる。例えば、いくつかの態様では、他の形式に加えて、通信サブシステム１０２４は、構造化および／または非構造化データフィード１０２６、イベントストリーム１０２８、イベント更新１０３０などの形式で入力通信を受信することができる。例えば、通信サブシステム１０２４は、ソーシャルメディアネットワークおよび／または他の通信サービスのユーザからリアルタイムでデータフィード１０２６を受信（または送信）するように構成され得、例えば、Twitter（登録商標）フィード、Facebook（登録商標）更新、リッチサイトサマリー（ＲＳＳ）フィードなどのＷｅｂフィード、および／または１つまたは複数のサードパーティ情報ソースからのリアルタイム更新などである。
【0193】
ある態様では、通信サブシステム１０２４は、連続データストリームの形式でデータを受信するように構成され、これには、明示的な終了がなく、本質的に連続的または無制限である可能性がある、リアルタイムイベントおよび／またはイベント更新１０３０のイベントストリーム１０２８が含まれ得る。連続データを生成するアプリケーションの例としては、センサーデータアプリケーション、金融ティッカー、ネットワーク性能測定ツール（例えば、ネットワーク監視およびトラフィック管理アプリケーション）、クリックストリーム分析ツール、自動車交通監視などが挙げられ得る。
【0194】
通信サブシステム１０２４は、コンピュータシステム１０００から他のコンピュータシステムまたはネットワークにデータを通信するように構成することもできる。データは、構造化データフィードおよび／または非構造化データフィード１０２６、イベントストリーム１０２８、イベント更新１０３０などのさまざまな形式で、コンピュータシステム１０００に結合される１つまたは複数のストリーミングデータソースコンピュータと通信している可能性のある１つまたは複数のデータベースに通信され得る。
【0195】
コンピュータシステム１０００は、さまざまなタイプのうちの１つであり得、これには、ハンドヘルドポータブル装置（例えば、iPhone（登録商標）携帯電話、ｉＰａｄ（登録商標）コンピューティングタブレット、携帯情報端末（ＰＤＡ））、ウェアラブル装置（例えば、Google Glass（登録商標）ヘッドマウントディスプレイ）、パーソナルコンピュータ、ワークステーション、メインフレーム、キオスク、サーバラック、またはその他のデータ処理システムが含まれる。コンピュータおよびネットワークの絶え間なく変化する性質のため、図１０に示されるコンピュータシステム１０００の説明は、具体的な実施例としてのみ意図されている。図１０に示されるシステムよりも多いまたは少ない構成要素を有する他の多くの構成が可能である。本明細書で提供される開示および教示に基づいて、当業者は、さまざまな態様を実装するための他の方法および／または技術を理解するであろう。
【0196】
具体的な態様を説明したが、さまざまな修正、変更、代替構成、および均等物が可能である。実施形態は、ある具体的なデータ処理環境内での動作に限定されず、複数のデータ処理環境内で自由に動作することができる。さらに、特定の一連のトランザクションおよびステップを使用してある態様を説明したが、これが限定を意図するものではないことは当業者には明らかである。一部のフローチャートでは動作が逐次的なプロセスとして説明されているが、動作の多くは並列または同時に実行できる。さらに、動作の順序は並べ替えることができる。プロセスには、図に含まれていない追加のステップが含まれ得る。上記の態様のさまざまな特徴および態様は、個別にまたは組み合わせて使用できる。
【0197】
さらに、ハードウェアとソフトウェアの特定の組み合わせを使用してある態様を説明したが、ハードウェアとソフトウェアの他の組み合わせも可能であることを認識されたい。ある態様は、ハードウェアのみで、もしくはソフトウェアのみで、またはそれらの組み合わせを使用して実装することができる。本明細書で説明されるさまざまなプロセスは、同じプロセッサ上で実装することもできるし、異なるプロセッサ上で任意の組み合わせで実装することもできる。
【0198】
装置、システム、構成要素、またはモジュールがある動作または機能を実行するように構成されていると説明されている場合、このような構成は、例えば、動作を実行する電子回路を設計することによって、コンピュータ命令もしくはコード、または非一時的メモリ媒体に記憶されるコードもしくは命令を実行するようにプログラムされるプロセッサもしくはコア、またはそれらの任意の組み合わせを実行することなどによって動作を実行するプログラマブル電子回路（例えば、マイクロプロセッサ）をプログラムすることによって達成され得る。プロセスは、プロセス間通信のための従来の技術を含むがこれに限定されないさまざまな技術を使用して通信することができ、プロセスの異なる対が異なる技術を使用することも、同じプロセスの対が異なる時点で異なる技術を使用することもできる。
【0199】
態様の完全な理解を提供するために、本開示では具体的な詳細が与えられる。しかし、これらの具体的な詳細なしで態様を実施することもできる。例えば、よく知られている回路、プロセス、アルゴリズム、構造、および技術は、態様を分かりにくくすることを避けるために不必要な詳細を省略して示されている。この説明は、例示的な態様のみを提供するものであり、他の態様の範囲、適用性、または構成を制限することを意図するものではない。むしろ、前述の態様の説明は、当業者に、さまざまな態様を実装するための有効な説明を提供するものである。要素の機能や配置にはさまざまな変更を加えることができる。
【0200】
したがって、本明細書および図面は、限定的な意味ではなく、例示的な意味としてみなされるべきである。しかし、特許請求の範囲に記載のより広い趣旨および範囲から逸脱することなく、追加、減算、削除、ならびにその他の修正および変更を行うことができることは明らかである。したがって、具体的な態様を説明したが、これらは限定することを意図したものではない。さまざまな修正および均等物は、以下の特許請求の範囲内に含まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【国際調査報告】