▶ オラクル・インターナショナル・コーポレイションの特許一覧
特表2024-540387ハッシュ埋め込みを用いた言語検出のための広範な深層ネットワーク
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-31
(54)【発明の名称】ハッシュ埋め込みを用いた言語検出のための広範な深層ネットワーク
(51)【国際特許分類】
G06F 40/216 20200101AFI20241024BHJP
G06N 3/04 20230101ALI20241024BHJP
【ＦＩ】
G06F40/216
G06N3/04
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024526927
(86)(22)【出願日】2022-11-07
(85)【翻訳文提出日】2024-06-11
(86)【国際出願番号】 US2022049164
(87)【国際公開番号】W WO2023081483
(87)【国際公開日】2023-05-11
(31)【優先権主張番号】63/263,728
(32)【優先日】2021-11-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/052,694
(32)【優先日】2022-11-04
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】502303739
【氏名又は名称】オラクル・インターナショナル・コーポレイション
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ブー，タン・ティエン
(72)【発明者】
【氏名】ザレムーディ，ポーヤ
(72)【発明者】
【氏名】ブー，ズイ
(72)【発明者】
【氏名】ジョンソン，マーク・エドワード
(72)【発明者】
【氏名】ジョン，シュ
(72)【発明者】
【氏名】ブリノフ，ブラディスラフ
(72)【発明者】
【氏名】ホアン，コン・ズイ・ブー
(72)【発明者】
【氏名】ホン，ユ－ヘン
(72)【発明者】
【氏名】ゴエル，ビナムル
(72)【発明者】
【氏名】オグレン，フィリップ・ビクター
(72)【発明者】
【氏名】ガッデ，シュリニバーサ・ファニ・クマール
(72)【発明者】
【氏名】ビシュノイ，ビシャル
(72)【発明者】
【氏名】ドゥオン，タン・ロン
(57)【要約】
本明細書に開示される技術は、一般的に言語検出に関する。特定の一態様では、テキスト単位のｎグラムのシーケンスを取得することと、埋め込み層を使用してｎグラムのシーケンスの順序付けられる複数の埋め込みベクトルを取得することと、深層ネットワークを使用して順序付けられる複数の埋め込みベクトルに基づく符号化ベクトルを取得することと、分類器を使用して符号化ベクトルに基づくテキスト単位の言語予測を取得することと、を含む方法が提供される。深層ネットワークには注意機構が含まれており、埋め込み層を使用して順序付けられる複数の埋め込みベクトルを取得することは、ｎグラムのシーケンス内の各ｎグラムについて、ｎグラムのハッシュ値を取得することと、ハッシュ値に基づいて、複数の成分ベクトルの中から成分ベクトルを選択することと、成分ベクトルに基づいてｎグラムの埋め込みベクトルを取得することと、を含む。
【特許請求の範囲】
【請求項1】
テキスト単位のｎグラムのシーケンスを取得することと、埋め込み層を使用して、ｎグラムの前記シーケンスに対して順序付けられる複数の埋め込みベクトルを取得することと、
深層ネットワークを使用して、前記順序付けられる複数の埋め込みベクトルに基づく符号化ベクトルを取得することと、
分類器を使用して、前記符号化ベクトルに基づく前記テキスト単位の言語予測を取得することと、を含み、
前記埋め込み層は、複数の成分ベクトルを有するトレーニングされるモデルを含み、
前記深層ネットワークは注意機構を含み、
前記埋め込み層を使用して前記順序付けられる複数の埋め込みベクトルを取得することは、ｎグラムの前記シーケンス内の各ｎグラムに対して、
前記ｎグラムの第１のハッシュ値と前記ｎグラムの第２のハッシュ値を取得することと、
前記第１のハッシュ値に基づいて、前記複数の成分ベクトルの中から第１の成分ベクトルを選択することと、
前記第２のハッシュ値に基づいて、前記複数の成分ベクトルの中から第２の成分ベクトルを選択することと、
前記第１の成分ベクトルと前記第２の成分ベクトルに基づいて、前記ｎグラムの埋め込みベクトルを取得することと、を含む、言語検出方法。
【請求項2】
ｎグラムの前記シーケンスは、複数の文字レベルのｎグラムと複数の単語レベルのｎグラムとを含む、請求項１に記載の方法。
【請求項3】
前記複数の文字レベルのｎグラムのｎの値は、前記複数の単語レベルのｎグラムのｎの値とは異なる、請求項２に記載の方法。
【請求項4】
前記深層ネットワークは、トレーニングされる畳み込みニューラルネットワークを含む、請求項１に記載の方法。
【請求項5】
ｎグラムの前記シーケンス内の各ｎグラムについて、前記ｎグラムの前記第１のハッシュ値を取得することは、第１のシード値を有するハッシュ関数を前記ｎグラムに適用することを含み、
前記ｎグラムの前記第２のハッシュ値を取得することは、第２のシード値を有する前記ハッシュ関数を前記ｎグラムに適用することを含み、前記第２のシード値は前記第１のシード値とは異なる、請求項１に記載の方法。
【請求項6】
前記埋め込み層を使用して前記順序付けられる複数の埋め込みベクトルを取得することは、ｎグラムの前記シーケンス内の各ｎグラムについて、前記第１のハッシュ値にモジュロ関数を適用して第１のインデックスを取得し、前記第２のハッシュ値に前記モジュロ関数を適用して第２のインデックスを取得することを含み、前記第１の成分ベクトルの選択は前記第１のインデックスに基づき、前記第２の成分ベクトルの選択は前記第２のインデックスに基づく、請求項１に記載の方法。
【請求項7】
ｎグラムの前記シーケンス内の各ｎグラムについて、前記ｎグラムの前記埋め込みベクトルを取得することは、前記第１の成分ベクトルと前記第２の成分ベクトルとを連結することを含む、請求項１～請求項６のいずれか１項に記載の方法。
【請求項8】
ｎグラムの前記シーケンス内の各ｎグラムについて、前記ｎグラムの前記埋め込みベクトルを取得することは、前記第１の成分ベクトルに第１の重み値を適用して第１の重み付けベクトルを取得することと、
前記第２の成分ベクトルに第２の重み値を適用して第２の重み付けベクトルを取得することと、を含み、前記埋め込みベクトルは前記第１の重み付けベクトルと前記第２の重み付けベクトルに基づく、請求項１～請求項６のいずれか１項に記載の方法。
【請求項9】
前記分類器はフィードフォワードニューラルネットワークを含む、請求項１～請求項６のいずれか１項に記載の方法。
【請求項10】
前記分類器を使用することは、前記フィードフォワードニューラルネットワークの最終層の出力にソフトマックス関数を適用することを含む、請求項９に記載の方法。
【請求項11】
１つまたは複数のデータプロセッサと、前記１つまたは複数のデータプロセッサによって実行されると、前記１つまたは複数のデータプロセッサに
テキスト単位のｎグラムのシーケンスを取得することと、
埋め込み層を使用して、ｎグラムの前記シーケンスに対して順序付けられる複数の埋め込みベクトルを取得することと、
深層ネットワークを使用して、前記順序付けられる複数の埋め込みベクトルに基づく符号化ベクトルを取得することと、
分類器を使用して、前記符号化ベクトルに基づく前記テキスト単位の言語予測を取得することと、を含む、処理を実行させる命令を記憶する、１つまたは複数の非一時的なコンピュータ可読媒体と、を含み、
前記埋め込み層は、複数の成分ベクトルを有するトレーニングされるモデルを含み、
前記深層ネットワークは注意機構を含み、
前記埋め込み層を使用して前記順序付けられる複数の埋め込みベクトルを取得することは、ｎグラムの前記シーケンス内の各ｎグラムに対して、
前記ｎグラムの第１のハッシュ値と前記ｎグラムの第２のハッシュ値を取得することと、
前記第１のハッシュ値に基づいて、前記複数の成分ベクトルの中から第１の成分ベクトルを選択することと、
前記第２のハッシュ値に基づいて、前記複数の成分ベクトルの中から第２の成分ベクトルを選択することと、
前記第１の成分ベクトルと前記第２の成分ベクトルに基づいて、前記ｎグラムの埋め込みベクトルを取得することと、を含む、システム。
【請求項12】
前記ｎグラムの前記シーケンス内の各ｎグラムについて、前記ｎグラムの前記第１のハッシュ値を取得することは、第１のシード値を有するハッシュ関数を前記ｎグラムに適用することを含み、
前記ｎグラムの前記第２のハッシュ値を取得することは、第２のシード値を有する前記ハッシュ関数を前記ｎグラムに適用することを含み、前記第２のシード値は前記第１のシード値とは異なる、請求項１１に記載のシステム。
【請求項13】
前記埋め込み層を使用して前記順序付けられる複数の埋め込みベクトルを取得することは、ｎグラムの前記シーケンス内の各ｎグラムについて、前記第１のハッシュ値にモジュロ関数を適用して第１のインデックスを取得し、前記第２のハッシュ値に前記モジュロ関数を適用して第２のインデックスを取得することを含み、前記第１の成分ベクトルの選択は前記第１のインデックスに基づき、前記第２の成分ベクトルの選択は前記第２のインデックスに基づく、請求項１１に記載のシステム。
【請求項14】
ｎグラムの前記シーケンス内の各ｎグラムについて、前記ｎグラムの前記埋め込みベクトルを取得することは、前記第１の成分ベクトルに第１の重み値を適用して第１の重み付けベクトルを取得することと、
前記第２の成分ベクトルに第２の重み値を適用して第２の重み付けベクトルを取得することと、を含み、前記埋め込みベクトルは前記第１の重み付けベクトルと前記第２の重み付けベクトルに基づく、請求項１１に記載のシステム。
【請求項15】
前記深層ネットワークのトレーニングは、対応する入力テキスト単位のスクリプト情報に従って言語予測を制限することを含む、請求項１１～１４のいずれか１項に記載のシステム。
【請求項16】
１つまたは複数の非一時的な機械可読媒体に有形に具体化されるコンピュータプログラム製品であって、１つまたは複数のデータプロセッサに、テキスト単位のｎグラムのシーケンスを取得することと、
埋め込み層を使用して、ｎグラムの前記シーケンスに対して順序付けられる複数の埋め込みベクトルを取得することと、
深層ネットワークを使用して、前記順序付けられる複数の埋め込みベクトルに基づく符号化ベクトルを取得することと、
分類器を使用して、前記符号化ベクトルに基づく前記テキスト単位の言語予測を取得することと、を含む、処理を実行させるように構成される命令を含み、
前記埋め込み層は、複数の成分ベクトルを有するトレーニングされるモデルを含み、
前記深層ネットワークは注意機構を含み、
前記埋め込み層を使用して前記順序付けられる複数の埋め込みベクトルを取得することは、ｎグラムの前記シーケンス内の各ｎグラムに対して、
前記ｎグラムの第１のハッシュ値と前記ｎグラムの第２のハッシュ値を取得することと、
前記第１のハッシュ値に基づいて、前記複数の成分ベクトルの中から第１の成分ベクトルを選択することと、
前記第２のハッシュ値に基づいて、前記複数の成分ベクトルの中から第２の成分ベクトルを選択することと、
前記第１の成分ベクトルと前記第２の成分ベクトルに基づいて、前記ｎグラムの埋め込みベクトルを取得することと、を含む、コンピュータプログラム製品。
【請求項17】
ｎグラムの前記シーケンス内の各ｎグラムについて、前記ｎグラムの前記第１のハッシュ値を取得することは、第１のシード値を有するハッシュ関数を前記ｎグラムに適用することを含み、
前記ｎグラムの前記第２のハッシュ値を取得することは、第２のシード値を有する前記ハッシュ関数を前記ｎグラムに適用することを含み、前記第２のシード値は前記第１のシード値とは異なる、請求項１６に記載のコンピュータプログラム製品。
【請求項18】
前記埋め込み層を使用して前記順序付けられる複数の埋め込みベクトルを取得することは、ｎグラムの前記シーケンス内の各ｎグラムについて、前記第１のハッシュ値にモジュロ関数を適用して第１のインデックスを取得し、前記第２のハッシュ値に前記モジュロ関数を適用して第２のインデックスを取得することを含み、前記第１の成分ベクトルの選択は前記第１のインデックスに基づき、前記第２の成分ベクトルの選択は前記第２のインデックスに基づく、請求項１６に記載のコンピュータプログラム製品。
【請求項19】
ｎグラムの前記シーケンス内の各ｎグラムについて、前記ｎグラムの前記埋め込みベクトルを取得することは、前記第１の成分ベクトルに第１の重み値を適用して第１の重み付けベクトルを取得することと、
前記第２の成分ベクトルに第２の重み値を適用して第２の重み付けベクトルを取得することと、を含み、前記埋め込みベクトルは前記第１の重み付けベクトルと前記第２の重み付けベクトルに基づく、請求項１６に記載のコンピュータプログラム製品。
【請求項20】
前記深層ネットワークの使用は、ｎグラムの前記シーケンスのうち第１のｎグラムに対応する第１の特徴値に第１の注意重みを適用することと、
ｎグラムの前記シーケンス内の第２のｎグラムに対応する第２の特徴値に、前記第１の注意重みとは異なる第２の注意重みを適用することと、を含む、請求項１６～１９のいずれか１項に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本出願は、２０２１年１１月８日に出願された米国仮特許出願第６３／２６３，７２８号、発明の名称「WIDE AND DEEP NETWORK FOR LANGUAGE DETECTION USING HASHED EMBEDDINGS」、および２０２２年１１月４日に出願された米国非仮出願第１８／０５２，６９４号、「WIDE AND DEEP NETWORK FOR LANGUAGE DETECTION USING HASH EMBEDDINGS」に対する優先権を主張し、これらの出願は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
本出願は、２０２１年１１月８日に出願された米国仮特許出願第６３／２６３，７２８号、発明の名称「WIDE AND DEEP NETWORK FOR LANGUAGE DETECTION USING HASHED EMBEDDINGS」、および２０２２年１１月４日に出願された米国非仮出願第１８／０５２，６９４号、「WIDE AND DEEP NETWORK FOR LANGUAGE DETECTION USING HASH EMBEDDINGS」に対する優先権を主張し、これらの出願は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
【0002】
発明の分野
本開示は、一般的には自然言語処理に関し、より具体的には言語検出の技術に関する。
本開示は、一般的には自然言語処理に関し、より具体的には言語検出の技術に関する。
【背景技術】
【0003】
背景
世界中の多くのユーザが、即座に反応を得るためにインスタントメッセージングやチャットプラットフォームを利用している。組織は多くの場合、これらのインスタントメッセージングプラットフォームやチャットプラットフォームを使用して、顧客（またはエンドユーザ）とライブの会話を交わす。しかし、組織が顧客やエンドユーザとのライブ通信に従事するサービス担当者を雇用すると、非常にコストがかかる可能性がある。特にインターネット上でエンドユーザとの会話をシミュレートするために、チャットボット（または「ボット」）の開発が始まっている。エンドユーザは、すでにインストールして使用しているメッセージングアプリを通じてボットと通信できる。インテリジェントボットは一般に人工知能（ＡＩ）を活用しており、ライブ会話においてよりインテリジェントかつコンテキストに応じた通信を行うことができるため、ボットとエンドユーザの間でより自然な会話が可能になり、会話エクスペリエンスが向上し得る。エンドユーザが、ボットが応答方法を知っている固定のキーワードやコマンドのセットを学習する代わりに、インテリジェントボットは、自然言語でのユーザの発話に基づいてエンドユーザの意図を理解し、それに応じて応答できる可能性がある。
世界中の多くのユーザが、即座に反応を得るためにインスタントメッセージングやチャットプラットフォームを利用している。組織は多くの場合、これらのインスタントメッセージングプラットフォームやチャットプラットフォームを使用して、顧客（またはエンドユーザ）とライブの会話を交わす。しかし、組織が顧客やエンドユーザとのライブ通信に従事するサービス担当者を雇用すると、非常にコストがかかる可能性がある。特にインターネット上でエンドユーザとの会話をシミュレートするために、チャットボット（または「ボット」）の開発が始まっている。エンドユーザは、すでにインストールして使用しているメッセージングアプリを通じてボットと通信できる。インテリジェントボットは一般に人工知能（ＡＩ）を活用しており、ライブ会話においてよりインテリジェントかつコンテキストに応じた通信を行うことができるため、ボットとエンドユーザの間でより自然な会話が可能になり、会話エクスペリエンスが向上し得る。エンドユーザが、ボットが応答方法を知っている固定のキーワードやコマンドのセットを学習する代わりに、インテリジェントボットは、自然言語でのユーザの発話に基づいてエンドユーザの意図を理解し、それに応じて応答できる可能性がある。
【0004】
言語検出は、テキスト単位の言語を識別するタスクである。テキスト単位の例としては、文、電子メール、投稿、テキストメッセージ、製品レビュー、段落、または文書などが挙げられる。テキスト単位は、発話に応じて音声テキスト変換モジュールによって生成され得る。言語検出は、機械翻訳、テキスト分類など、多くのテキスト処理タスクの最初のステップの１つである。例えば、多言語ボットの展開を成功させるには、正確な言語検出が重要になり得る。
【発明の概要】
【課題を解決するための手段】
【0005】
概要
本明細書に開示される技術は、一般的には言語検出（例えば、自然言語処理）に関する。言語検出を実行するために使用できる機械学習（ＭＬ）モデルの例には、ワイドネットワークが含まれる。例えば、言語検出に対する機械学習のアプローチには、入力テキストを文字列として、またはｎグラムやサブワードのシーケンスとして、ワイドネットワークに提示することが含まれ得る。本明細書に開示される技術は、テキスト単位の言語検出を提供することができる。
本明細書に開示される技術は、一般的には言語検出（例えば、自然言語処理）に関する。言語検出を実行するために使用できる機械学習（ＭＬ）モデルの例には、ワイドネットワークが含まれる。例えば、言語検出に対する機械学習のアプローチには、入力テキストを文字列として、またはｎグラムやサブワードのシーケンスとして、ワイドネットワークに提示することが含まれ得る。本明細書に開示される技術は、テキスト単位の言語検出を提供することができる。
【0006】
さまざまな実施形態において、言語検出のためのコンピュータが実装する方法は、テキスト単位のｎグラムのシーケンスを取得することと、埋め込み層を使用してｎグラムのシーケンスの順序付けられる複数の埋め込みベクトルを取得することと、深層ネットワークを使用して順序付けられる複数の埋め込みベクトルに基づく符号化ベクトルを取得することと、分類器を使用して符号化ベクトルに基づくテキスト単位の言語予測を取得することと、を含む。埋め込み層には、複数の成分ベクトルを有するトレーニングされるモデルが含まれ、深層ネットワークには、注意機構（例えば、１つまたは複数の注意層）を備えたトレーニングされる畳み込みニューラルネットワークが含まれる。この方法では、埋め込み層を使用して順序付けられる複数の埋め込みベクトルを取得することは、ｎグラムのシーケンス内の各ｎグラムについて、ｎグラムの第１のハッシュ値とｎグラムの第２のハッシュ値を取得することと、第１のハッシュ値に基づいて、複数の成分ベクトルの中から第１の成分ベクトルを選択することと、第２のハッシュ値に基づいて、複数の成分ベクトルの中から第２の成分ベクトルを選択することと、第１の成分ベクトルと第２の成分ベクトルを連結することによってｎグラムの埋め込みベクトルを取得することと、を含む。いくつかの実施形態では、深層ネットワークは、注意機構を備えたトレーニングされる畳み込みニューラルネットワークを含む。
【0007】
いくつかの実施形態では、ｎグラムのシーケンスには、複数の文字レベルのｎグラムと複数の単語レベルのｎグラムが含まれる。いくつかの実施形態では、複数の文字レベルのｎグラムのｎの値は、複数の単語レベルのｎグラムのｎの値と異なる。
【0008】
いくつかの実施形態では、ｎグラムのシーケンス内の各ｎグラムについて、ｎグラムの第１のハッシュ値を取得することは、第１のランダムシード値を有するハッシュ関数をｎグラムに適用することを含み、ｎグラムの第２のハッシュ値を取得することは、第２のランダムシード値を有するハッシュ関数をｎグラムに適用することを含み、第２のシード値は第１のシード値とは異なる。
【0009】
いくつかの実施形態では、埋め込み層を使用して順序付けられる複数の埋め込みベクトルを取得することは、ｎグラムのシーケンス内の各ｎグラムについて、第１のハッシュ値にモジュロ関数を適用して第１のインデックスを取得し、第２のハッシュ値にモジュロ関数を適用して第２のインデックスを取得することを含み、第１の成分ベクトルの選択は第１のインデックスに基づいており、第２の成分ベクトルの選択は第２のインデックスに基づいている。
【0010】
いくつかの実施形態では、ｎグラムのシーケンス内の各ｎグラムについて、ｎグラムの埋め込みベクトルを取得することは、第１の成分ベクトルと第２の成分ベクトルを連結することを含む。
【0011】
いくつかの実施形態では、注意機構を備えたトレーニングされる畳み込みニューラルネットワークを含む深層ネットワークが、テキスト単位に現れるｎグラムの順序を考慮して、テキスト単位を表す最終的な符号化ベクトルを生成するために、ｎグラム埋め込みベクトルのシーケンスに使用される。
【0012】
いくつかの実施形態では、分類器はフィードフォワードニューラルネットワークを含む。いくつかの実施形態では、テキスト単位の符号化ベクトルの場合、分類器を使用することは、フィードフォワードニューラルネットワークの最終層の出力にソフトマックス関数を適用することを含む。
【0013】
さまざまな実施形態において、本明細書に開示される１つまたは複数の方法の一部または全部を実行するための処理回路と、処理回路に結合され、ｎグラムのシーケンスを記憶するためのメモリとを含む装置が提供される。
【0014】
さまざまな実施形態において、１つまたは複数のデータプロセッサと、１つまたは複数のデータプロセッサによって実行されると、１つまたは複数のデータプロセッサに本明細書に開示される１つまたは複数の方法の一部または全部を実行させる命令を記憶する１つまたは複数の非一時的なコンピュータ可読媒体とを含むシステムが提供される。
【0015】
さまざまな実施形態において、１つまたは複数の非一時的な機械可読媒体に有形に具体化されるコンピュータプログラム製品は、１つまたは複数のデータプロセッサに本明細書に開示される１つまたは複数の方法の一部または全部を実行させるように構成される命令を含む。
【0016】
上記および下記に説明する技術は、多くの方法および多くのコンテキストで実装することができる。下記により詳細に説明するように、いくつかの実装例およびコンテキストが、以下の図を参照して提供される。しかし、次に挙げる実装とコンテキストは、数多くある実装とコンテキストのほんの一部にすぎない。
【図面の簡単な説明】
【0017】
【図1】例示的な実施形態を組み込んだ分散環境の簡略化されるブロック図である。
【図2】とある実施形態によるマスターボットを実装するコンピューティングシステムの簡略化されるブロック図である。
【図3】とある実施形態によるスキルボットを実装するコンピューティングシステムの簡略化されるブロック図である。
【図4】さまざまな実施形態に従ったモデルアーキテクチャの一例を示す図である。
【図5】さまざまな実施形態に従ったモデルアーキテクチャの別の例を示す図である。
【図7】さまざまな実施形態に従ったＡＰＩへの要求の例を示す図である。
【図8】さまざまな実施形態に従ったＡＰＩからの応答の例を示す図である。
【図9】ＯＰＵＳソースデータセットを説明する表を示す図である。
【図10】さまざまな実施形態に従った言語検出テストの結果を示す図である。
【図11】さまざまな実施形態に従った装置のブロック図を示す図である。
【図12】さまざまな実施形態に従った装置に含まれ得る注意機構を備えた深層ネットワークの例を示す図である。
【図13】さまざまな実施形態に従って埋め込み層によって実行され得る演算の例を示す図である。
【図14】さまざまな実施形態に従った言語検出のプロセスフローを示す図である。
【図15】さまざまな実施形態に従った言語検出のプロセスフローを示す図である。
【図16】さまざまな実施形態を実装するための分散システムの簡略図を示す図である。
【図17】さまざまな実施形態による、実施形態のシステムの１つまたは複数の構成要素によって提供されるサービスがクラウドサービスとして提供され得るシステム環境の１つまたは複数の構成要素の簡略化されるブロック図である。
【図18】さまざまな実施形態を実装するために使用され得る例示的なコンピュータシステムを示す図である。
【発明を実施するための形態】
【0018】
詳細な説明
以下の説明では、説明の目的で、とある実施形態の完全な理解を提供するために具体的な詳細が記載される。しかし、これらの具体的な詳細がなくても、さまざまな実施形態を実施できることは明らかであろう。図および説明は制限的なものではない。「例示的な」という言葉は、本明細書では「例、実例、または説明として機能する」という意味で使用される。本明細書で「例示的」として説明される実施形態または設計は、必ずしも他の実施形態または設計よりも好ましいまたは有利であると解釈されるべきではない。
以下の説明では、説明の目的で、とある実施形態の完全な理解を提供するために具体的な詳細が記載される。しかし、これらの具体的な詳細がなくても、さまざまな実施形態を実施できることは明らかであろう。図および説明は制限的なものではない。「例示的な」という言葉は、本明細書では「例、実例、または説明として機能する」という意味で使用される。本明細書で「例示的」として説明される実施形態または設計は、必ずしも他の実施形態または設計よりも好ましいまたは有利であると解釈されるべきではない。
【0019】
本明細書において使用されるように、あるアクションが何かに「基づいている」場合、これは、そのアクションが少なくとも部分的に、その何かの少なくとも一部に基づいていることを意味する。「に基づく」の使用は、オープンかつ包括的であることを意味し、１つまたは複数の記載される条件、項目、または値に「基づく」プロセス、ステップ、計算、またはその他のアクションは、実際には、記載されるもの以外の追加の条件、項目、または値に基づく場合がある。本明細書で使用される「実質的に」、「およそ」および「約」という用語は、当業者によって理解されるように、大部分は指定されているが必ずしも完全に指定されているとは限らない（指定されているものを完全に含む）ものとして定義される。開示されるいずれの実施形態においても、「実質的に」、「およそ」、または「約」という用語は、指定されるものの「［パーセンテージ］以内」に置き換えられ得、ここで、パーセンテージには、０．１、１、５、および１０パーセントが含まれる。
【0020】
導入
これまでの研究では、言語検出タスクをテキスト分類タスクとして定式化してきた。そのようなアプローチの１つは、従来の特徴ベースの機械学習（例えば、ｎグラム特徴を使用したＮａｉｖｅ Ｂａｙｅｓ）を利用してタスクを処理することである。別のそのようなアプローチでは、タスクを処理するために深層学習（例えば、畳み込みニューラルネットワーク（ＣＮＮ）や長短期記憶（ＬＳＴＭ）ネットワーク）が利用されている。
これまでの研究では、言語検出タスクをテキスト分類タスクとして定式化してきた。そのようなアプローチの１つは、従来の特徴ベースの機械学習（例えば、ｎグラム特徴を使用したＮａｉｖｅ Ｂａｙｅｓ）を利用してタスクを処理することである。別のそのようなアプローチでは、タスクを処理するために深層学習（例えば、畳み込みニューラルネットワーク（ＣＮＮ）や長短期記憶（ＬＳＴＭ）ネットワーク）が利用されている。
【0021】
本明細書に記載の技術には、言語検出のタスクを処理するために、ｎグラム特徴を備えた注意ＣＮＮ（つまり、注意機構を備えたＣＮＮ）を利用することが含まれる。例えば、深層学習を使用して１３５の言語の言語検出アプリケーションプログラミングインターフェイス（ＡＰＩ）を構築するアプローチについて説明する。公開されているデータセットでの実験では、このようなモデルがfastText、Google（登録商標）、Microsoftの言語検出ＡＰＩと同等かそれ以上に機能することが示されている。
【0022】
自然言語処理には多くの用途がある。例えば、デジタルアシスタントは、自然言語による会話を使用してユーザがさまざまなタスクを実行できるように支援する人工知能駆動型インターフェースである。各デジタルアシスタントごとに、顧客は１つまたは複数のスキルを組み立てることができる。スキル（本明細書ではチャットボット、ボット、またはスキルボットとも呼ばれる）は、在庫の追跡、タイムカードの送信、ピザの注文、銀行情報の取得、経費報告書の作成など、特定の種類のタスクに重点を置いた個別のコンピュータプログラムである。タスクを実行するために、ボットはエンドユーザと会話を行うことができる。ボットは通常、自然言語メッセージを使用するメッセージングアプリケーションを通じて自然言語メッセージ（例えば、質問やコメント）に応答できる。企業は１つまたは複数のボットシステムを使用して、メッセージングアプリケーションを通じてエンドユーザと通信し得る。チャネルと呼ばれ得るメッセージングアプリケーションは、エンドユーザがすでにインストールして使い慣れている、エンドユーザが好むメッセージングアプリケーションである場合がある。したがって、エンドユーザは、ボットシステムとチャットするために新しいアプリケーションをダウンロードしてインストールする必要はない。メッセージングアプリケーションには、例えば、オーバーザトップ（ＯＴＴ）メッセージングチャネル（例えば、Facebook Messenger、Facebook WhatsApp、WeChat、Line、Kik、Telegram、Talk、Skype、Slack、またはSMS）、仮想プライベートアシスタント（例えば、Amazon Dot、Echo、またはShow、Google Home、Apple HomePod）、ネイティブまたはハイブリッド／レスポンシブモバイルアプリやＷｅｂアプリケーションをチャット機能で拡張するモバイルアプリやＷｅｂアプリの拡張機能、または音声ベースの入力（例えば、対話にSiri、Cortana、Google Voice、またはその他の音声入力を使用するインターフェースを備えた装置やアプリ）が含まれ得る。
【0023】
いくつかの例では、ボットシステムは、Uniform Resource Identifier（ＵＲＩ）に関連付けられ得る。ＵＲＩは文字列を使用してボットシステムを識別し得る。ＵＲＩは、１つまたは複数のメッセージングアプリケーションシステムのＷｅｂｈｏｏｋとして使用できる。ＵＲＩには、例えば、ＵＲＬ（Uniform Resource Locator）またはＵＲＮ（Uniform Resource Name）が含まれ得る。ボットシステムは、メッセージングアプリケーションシステムからメッセージ（例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ）の呼び出し後メッセージ）を受信するように設計され得る。ＨＴＴＰポスト呼び出しメッセージは、メッセージングアプリケーションシステムからＵＲＩに送信され得る。いくつかの実施形態では、メッセージはＨＴＴＰポスト呼び出しメッセージとは異なる場合がある。例えば、ボットシステムはショートメッセージサービス（ＳＭＳ）からメッセージを受信し得る。本明細書での説明は、ボットシステムがメッセージとして受信する通信に言及し得るが、メッセージは、ＨＴＴＰポスト呼び出しメッセージ、ＳＭＳメッセージ、または２つのシステム間の他の任意のタイプの通信であり得ることを理解されたい。
【0024】
エンドユーザは、ちょうど人間間の対話と同様に、会話型対話（会話型ユーザインターフェース（ＵＩ）と呼ばれることもある）を通じてボットシステムと対話することができる。場合によっては、対話には、エンドユーザがボットに「こんにちは」と言うと、ボットが「こんにちは」と応答して、どのように役立ち得るかをエンドユーザに尋ねることが含まれ得る。場合によっては、この対話は、例えば、ある口座から別の口座への送金など、銀行ボットとの取引上の対話、例えば、休暇残高の確認など、人事ボットとの情報対話、または、例えば、購入した商品の返品について話し合ったり、技術サポートを求めたりするなど、小売ボットとの対話である場合もある。
【0025】
いくつかの実施形態では、ボットシステムは、ボットシステムの管理者または開発者と対話することなく、エンドユーザの対話をインテリジェントに処理することができる。例えば、エンドユーザは、所望の目標を達成するために、ボットシステムに１つまたは複数のメッセージを送信し得る。メッセージには、テキスト、絵文字、音声、画像、ビデオ、またはその他のメッセージ伝達方法などのとあるコンテンツが含まれ得る。いくつかの実施形態では、ボットシステムは、コンテンツを標準化される形式（例えば、適切なパラメータを備えた企業サービスに対する表現状態転送（ＲＥＳＴ）呼び出し）に変換し、自然言語応答を生成することができる。ボットシステムは、エンドユーザに追加の入力パラメータを促したり、他の追加情報を要求したりすることもできる。いくつかの実施形態では、ボットシステムは、エンドユーザの発話に受動的に応答するのではなく、エンドユーザとの通信を開始することもできる。本明細書では、ボットシステムの明示的な呼び出しを識別し、呼び出されるボットシステムへの入力を決定するためのさまざまな技術について説明する。とある実施形態では、明示的な呼び出し分析は、発話内の呼び出し名の検出に基づいてマスターボットによって実行される。呼び出し名の検出に応答して、その呼び出し名に関連付けられるスキルボットへの入力のために発話を改良することができる。
【0026】
ボットとの会話は、複数の状態を含む特定の会話フローに従うことができる。フローは、入力に基づいて次に何が起こるかを定義できる。いくつかの実施形態では、ユーザ定義の状態（例えば、エンドユーザの意図）と、その状態において、または状態から状態へと実行するアクションを含む状態機械を使用して、ボットシステムを実装することができる。会話はエンドユーザの入力に基づいて異なるパスをたどる場合があり、それがボットによるフローの決定に影響を与える可能性がある。例えば、各状態で、エンドユーザの入力または発話に基づいて、ボットはエンドユーザの意図を決定し、次に実行する適切なアクションを決定できる。本明細書および発話のコンテキストにおいて使用される場合、「意図」という用語は、発話を提供したユーザの意図を指す。例えば、ユーザはピザを注文するためにボットと会話することを意図している場合があり、その結果、ユーザの意図は「ピザを注文する」という発話を通じて表現され得る。ユーザの意図は、ユーザが代わりにチャットボットに実行してほしい特定のタスクに向けることができる。したがって、発話は、ユーザの意図を反映した質問、コマンド、要求などの表現にすることができる。意図には、エンドユーザが達成したい目標が含まれ得る。
【0027】
チャットボットの構成に関連して、「意図」という用語は、本明細書では、ユーザの発話を、チャットボットが実行できる特定のタスク／アクション、またはタスク／アクションのカテゴリにマッピングするための構成情報を指すために使用される。発話の意図（つまり、ユーザの意図）とチャットボットの意図を区別するために、後者を本明細書では「ボットの意図」と呼ぶことがある。ボットの意図には、その意図に関連付けられる１つまたは複数の発話のセットが含まれ得る。例えば、ピザを注文するという意図には、ピザを注文したいという願望を表す発話のさまざまな並べ換えが含まれ得る。これらの関連する発話を使用して、チャットボットの意図分類子をトレーニングし、その後、ユーザからの入力発話がピザの注文の意図と一致するかどうかを意図分類子が決定できるようにすることができる。ボットの意図は、ユーザととある状態で会話を開始するための１つまたは複数のダイアログフローに関連付けることができる。例えば、ピザの注文意図の第１のメッセージは、「どのような種類のピザが好きであるか？」という質問にすることができる。関連する発話に加えて、ボットの意図には、意図に関連する名前付きエンティティがさらに含まれ得る。例えば、ピザの注文意図には、ピザを注文するタスクを実行するために使用される変数またはパラメータ、例えば、トッピング１、トッピング２、ピザのタイプ、ピザのサイズ、ピザの量などを含めることができる。エンティティの値は通常、ユーザとの会話を通じて取得される。
【0028】
図１は、とある実施形態によるチャットボットシステムを組み込んだ環境１００の簡略化されるブロック図である。環境１００は、ＤＡＢＰ１０２のユーザがデジタルアシスタントまたはチャットボットシステムを作成および展開できるようにするデジタルアシスタントビルダプラットフォーム（ＤＡＢＰ）１０２を備える。ＤＡＢＰ１０２を使用して、１つまたは複数のデジタルアシスタント（またはＤＡ）またはチャットボットシステムを作成できる。例えば、図１に示されるように、特定の企業を代表するユーザ１０４は、ＤＡＢＰ１０２を使用して、特定の企業のユーザのためにデジタルアシスタント１０６を作成し展開することができる。例えば、銀行はＤＡＢＰ１０２を使用して、銀行の顧客が使用する１つまたは複数のデジタルアシスタントを作成できる。同じＤＡＢＰ１０２プラットフォームを複数の企業が使用してデジタルアシスタントを作成できる。別の例として、レストラン（例えば、ピザ店）のオーナーは、ＤＡＢＰ１０２を使用して、レストランの顧客が食べ物を注文（例えば、ピザを注文）できるようにするデジタルアシスタントを作成して展開することができる。
【0029】
本開示の目的上、「デジタルアシスタント」は、デジタルアシスタントのユーザが自然言語会話を通じてさまざまなタスクを達成するのを支援するエンティティである。デジタルアシスタントは、ソフトウェアのみを使用して（例えば、デジタルアシスタントは、１つまたは複数のプロセッサによって実行可能なプログラム、コード、または命令を使用して実装されるデジタルエンティティである）、ハードウェアを使用して、またはハードウェアとソフトウェアの組み合わせを使用して実装することができる。デジタルアシスタントは、コンピュータ、携帯電話、時計、電化製品、車両などのさまざまな物理システムまたは装置で具体化または実装することができる。デジタルアシスタントは、チャットボットシステムと呼ばれることもある。したがって、本開示の目的上、デジタルアシスタントとチャットボットシステムという用語は交換可能である。
【0030】
ＤＡＢＰ１０２を使用して構築されるデジタルアシスタント１０６などのデジタルアシスタントを使用して、デジタルアシスタントとそのユーザ１０８との間の自然言語ベースの会話を介してさまざまなタスクを実行することができる。会話の一部として、ユーザは、デジタルアシスタント１０６に１つまたは複数のユーザ入力１１０を提供し、デジタルアシスタント１０６から応答１１２を得ることができる。会話には、入力１１０と応答１１２の１つまたは複数を含めることができる。これらの会話を介して、ユーザは、デジタルアシスタントによって実行される１つまたは複数のタスクを要求することができ、これに応じて、デジタルアシスタントは、ユーザが要求したタスクを実行し、ユーザに適切な応答で応答するように構成される。
【0031】
ユーザ入力１１０は、一般に自然言語形式であり、発話と呼ばれる。ユーザ発話１１０は、ユーザが文、質問、テキストの断片、または単一の単語を入力し、それを入力としてデジタルアシスタント１０６に提供する場合など、テキスト形式とすることができる。いくつかの実施形態では、ユーザ発話１１０は、デジタルアシスタント１０６への入力として提供される何かをユーザが言うか話すときなど、音声入力または音声形式であり得る。発話は通常、ユーザ１０８が話す言語で行われる。例えば、発話は英語または他の言語で行われ得る。発話が音声形式である場合、音声入力はその特定の言語のテキスト形式の発話に変換され、テキスト発話はデジタルアシスタント１０６によって処理される。さまざまな音声からテキストへの処理技術を使用して、音声または音声入力をテキスト発話に変換することができ、その後デジタルアシスタント１０６によって処理される。いくつかの実施形態では、音声からテキストへの変換は、デジタルアシスタント１０６自体によって行われてもよい。
【0032】
発話は、テキスト発話または音声発話であり得、断片、文、複数の文、１つまたは複数の単語、１つまたは複数の質問、前述のタイプの組み合わせなどであることができる。デジタルアシスタント１０６は、発話に自然言語理解（ＮＬＵ）技術を適用して、ユーザ入力の意味を理解するように構成されている。発話に対するＮＬＵ処理の一環として、デジタルアシスタント１０６は、発話の意味を理解するための処理を実行するように構成されており、これには、発話に対応する１つまたは複数の意図と１つまたは複数のエンティティを識別することが含まれる。発話の意味を理解すると、デジタルアシスタント１０６は、理解した意味または意図に応じて１つまたは複数のアクションまたは動作を実行することができる。本開示の目的上、発話は、デジタルアシスタント１０６のユーザ１０８によって直接提供されるテキスト発話であるか、または入力音声発話をテキスト形式に変換した結果であると仮定する。しかし、これはいかなる形でも限定または制限することを意図したものではない。
【0033】
例えば、ユーザ１０８の入力は、「ピザを注文したい」などの発話を提供することによって、ピザの注文を要求することができる。このような発話を受信すると、デジタルアシスタント１０６は、発話の意味を理解し、適切なアクションを実行するように構成される。適切なアクションには、例えば、ユーザが注文したいピザのタイプ、ピザのサイズ、ピザのトッピングなどについてのユーザ入力を求める質問でユーザに応答することが含まれ得る。デジタルアシスタント１０６によって提供される応答はまた、自然言語形式であってもよく、通常は入力発話と同じ言語であってもよい。これらの応答を生成する一環として、デジタルアシスタント１０６は自然言語生成（ＮＬＧ）を実行することができる。ピザを注文するユーザの場合、ユーザとデジタルアシスタント１０６との間の会話を介して、デジタルアシスタントは、ピザの注文に必要な情報をすべて提供するようにユーザを誘導し、その後、会話の終わりにピザを注文させることができる。デジタルアシスタント１０６は、ピザが注文されることを示す情報をユーザに出力することによって会話を終了することができる。
【0034】
概念的なレベルでは、デジタルアシスタント１０６は、ユーザから受信した発話に応じてさまざまな処理を実行する。いくつかの実施形態では、この処理には、一連の処理ステップまたはパイプラインの処理ステップが含まれ、例えば、入力発話の意味を理解（自然言語理解（ＮＬＵ）とも呼ばれる）することと、発話に応じて実行されるアクションを決定することと、そこでアクションの実行を適切に引き起こすことと、ユーザの発話に応答してユーザに出力される応答を生成すること、応答をユーザに出力することなどを含む。ＮＬＵ処理は、受信した入力発話を解析して発話の構造および意味を理解すること、発話を改良および再形成して発話のより理解しやすい形式（例えば、論理形式）または構造を開発することを含むことができる。応答の生成には、ＮＬＧ技術の使用が含まれ得る。
【0035】
デジタルアシスタント１０６などのデジタルアシスタントによって実行されるＮＬＵ処理には、文解析などのさまざまなＮＬＰ関連処理が含まれ得る（例えば、トークン化、見出語化、文の品詞タグの識別、文内の名前付きエンティティの識別、文構造を表す依存関係ツリーの生成、文を文節に分割、個々の文節の分析、照応の解決、チャンキングの実行、など）。とある実施形態では、ＮＬＵ処理またはその一部はデジタルアシスタント１０６自体によって実行される。いくつかの他の実施形態では、デジタルアシスタント１０６は、他のリソースを使用してＮＬＵ処理の一部を実行することができる。例えば、入力発話文の構文および構造は、パーサ、品詞タガー、および／または名前付きエンティティ認識装置を使用して文を処理することによって識別され得る。一実装では、英語の場合、パーサ、品詞タガー、およびスタンフォード自然言語処理（ＮＬＰ）グループによって提供されるものなどの名前付きエンティティ認識装置が、文の構造および構文を分析するために使用される。これらは、Stanford CoreNLPツールキットの一部として提供される。
【0036】
本開示で提供されるさまざまな例は英語での発話を示しているが、これは例としてのみ意味されている。とある実施形態では、デジタルアシスタント１０６は、英語以外の言語での発話を処理することもできる。デジタルアシスタント１０６は、異なる言語の処理を実行するように構成されるサブシステム（例えば、ＮＬＵ機能を実装する構成要素）を提供することができる。これらのサブシステムは、ＮＬＵコアサーバからのサービス呼び出しを使用して呼び出すことができるプラグイン可能な装置として実装できる。これにより、異なる処理順序が可能になるなど、ＮＬＵ処理が言語ごとに柔軟かつ拡張可能になる。言語パックは個別の言語に対して提供され得、言語パックはＮＬＵコアサーバから提供できるサブシステムのリストを登録できる。
【0037】
図１に示すデジタルアシスタント１０６などのデジタルアシスタントは、さまざまな異なるチャネルを通じてそのユーザ１０８が利用可能またはアクセスできるようにすることができ、とあるアプリケーション経由、ソーシャルメディアプラットフォーム経由、さまざまなメッセージングサービスやアプリケーション経由、その他のアプリケーションやチャネル経由などであるが、これらに限定されない。１つのデジタルアシスタントに複数のチャネルを構成して、異なるサービス上で実行したり、同時にアクセスしたりできるようにすることができる。
【0038】
デジタルアシスタントまたはチャットボットシステムは、一般に、１つまたは複数のスキルを含むか、またはそれに関連付けられている。とある実施形態では、これらのスキルは、ユーザと対話し、特定のタイプのタスクを実行するように構成される個別のチャットボット（スキルボットと呼ばれる）であり、例えば、在庫の追跡、タイムカードの提出、経費報告書の作成、食品の注文、銀行口座の確認、予約、ウィジェットの購入などである。例えば、図１に示される実施形態の場合、デジタルアシスタントまたはチャットボットシステム１０６は、スキル１１６－１、１１６－２などを含む。本開示の目的上、「スキル」および「スキル（複数）」という用語は、それぞれ「スキルボット」および「スキルボット（複数）」という用語と同義的に使用される。
【0039】
デジタルアシスタントに関連付けられる各スキルは、デジタルアシスタントのユーザがユーザとの会話を通じてタスクを完了するのに役立ち、その会話には、ユーザによって提供されるテキストまたは音声入力と、スキルボットによって提供される応答との組み合わせが含まれ得る。これらの応答は、ユーザへのテキストまたは音声メッセージの形式、および／またはユーザが選択できるようにユーザに提示される単純なユーザインターフェース要素（例えば、選択リスト）を使用し得る。
【0040】
スキルまたはスキルボットをデジタルアシスタントに関連付けたり追加したりできるさまざまな方法がある。場合によっては、スキルボットを企業が開発し、次いで、ＤＡＢＰ１０２を使用してデジタルアシスタントに追加することができる。他の例では、スキルボットはＤＡＢＰ１０２を使用して開発および作成され、その後ＤＡＢＰ１０２を使用して作成されるデジタルアシスタントに追加され得る。さらに他の例では、ＤＡＢＰ１０２は、広範囲のタスクに向けられる複数のスキルを提供するオンラインデジタルストア（「スキルストア」と呼ばれる）を提供する。スキルストアを通じて提供されるスキルは、さまざまなクラウドサービスを公開することもできる。ＤＡＢＰ１０２を使用して生成されているデジタルアシスタントにスキルを追加するには、ＤＡＢＰ１０２のユーザは、ＤＡＢＰ１０２を介してスキルストアにアクセスし、所望のスキルを選択し、選択されるスキルがＤＡＢＰ１０２を使用して作成されるデジタルアシスタントに追加されることを示すことができる。スキルストアのスキルは、そのまままたは変更される形式でデジタルアシスタントに追加できる（例えば、ＤＡＢＰ１０２のユーザは、スキルストアによって提供される特定のスキルボットを選択して複製し、選択されるスキルボットにカスタマイズまたは変更を加え、次いで、変更されるスキルボットを、ＤＡＢＰ１０２を使用して作成されるデジタルアシスタントに追加することができる）。
【0041】
デジタルアシスタントまたはチャットボットシステムを実装するために、さまざまな異なるアーキテクチャを使用することができる。例えば、とある実施形態では、ＤＡＢＰ１０２を使用して作成および展開されるデジタルアシスタントは、マスターボット／子（またはサブ）ボットのパラダイムまたはアーキテクチャを使用して実装され得る。このパラダイムによれば、デジタルアシスタントは、スキルボットである１つまたは複数の子ボットと対話するマスターボットとして実装される。例えば、図１に示される実施形態では、デジタルアシスタント１０６は、マスターボット１１４と、マスターボット１１４の子ボットであるスキルボット１１６－１、１１６－２などを備える。とある実施形態では、デジタルアシスタント１０６自体がマスターボットとして機能するとみなされる。
【0042】
マスター子ボットアーキテクチャに従って実装されるデジタルアシスタントにより、デジタルアシスタントのユーザは、統一されるユーザインターフェース、すなわち、マスターボットを介して複数のスキルと対話できるようになる。ユーザがデジタルアシスタントを動作すると、ユーザ入力はマスターボットによって受信される。次に、マスターボットは、ユーザ入力の発話の意味を決定する処理を実行する。次に、マスターボットは、発話内でユーザによって要求されるタスクがマスターボット自体で処理できるかどうかを決定する。そうでない場合、マスターボットは、ユーザの要求を処理するための適切なスキルボットを選択し、選択したスキルボットに会話をルーティングする。これにより、ユーザは共通の単一インターフェースを介してデジタルアシスタントと会話できるようになり、特定のタスクを実行するように構成される複数のスキルボットを使用する機能も提供される。例えば、企業向けに開発されるデジタルアシスタントの場合、デジタルアシスタントのマスターボットは、特定の機能を備えたスキルボットと連携することができ、例えば、顧客関係管理（ＣＲＭ）に関連する機能を実行するＣＲＭボット、企業リソースプランニング（ＥＲＰ）に関連する機能を実行するＥＲＰボット、人的資本管理（ＨＣＭ）に関連する機能を実行するＨＣＭボットなどである。このようにして、デジタルアシスタントのエンドユーザまたは消費者は、共通のマスターボットインターフェースを介してデジタルアシスタントへアクセスする方法を知るだけで済み、ユーザの要求を処理するために陰で複数のスキルボットが提供される。
【0043】
とある実施形態では、マスターボット／子ボットのインフラストラクチャにおいて、マスターボットは、利用可能なスキルボットのリストを認識するように構成される。マスターボットは、利用可能なさまざまなスキルボットを識別するメタデータ、およびスキルボットごとに、スキルボットによって実行できるタスクを含むスキルボットの機能にアクセスできる。マスターボットは、発話の形式でユーザ要求を受信すると、複数の利用可能なスキルボットの中から、ユーザ要求に最もよく応えまたは処理することができる特定のスキルボットを特定または予測するように構成されている。次に、マスターボットは、発話（または発話の一部）をその特定のスキルボットにルーティングして、さらに処理する。したがって、制御はマスターボットからスキルボットに流れる。マスターボットは複数の入出力チャネルをサポートできる。とある実施形態では、ルーティングは、１つまたは複数の利用可能なスキルボットによって実行される処理を利用して実行され得る。例えば、以下で説明するように、スキルボットは、発話の意図を推測し、推測される意図がスキルボットに構成されている意図と一致するかどうかを決定するようにトレーニングできる。したがって、マスターボットによって実行されるルーティングには、スキルボットが発話の処理に適した意図を使用して構成されているかどうかの指示をマスターボットに通信することが含まれ得る。
【0044】
図１の実施形態は、マスターボット１１４とスキルボット１１６－１、１１６－２、および１１６－３を備えるデジタルアシスタント１０６を示しているが、これに限定されるものではない。デジタルアシスタントは、デジタルアシスタントの機能を提供する他のさまざまな構成要素（例えば、他のシステムおよびサブシステム）を含むことができる。これらのシステムおよびサブシステムは、ソフトウェア（例えば、コンピュータ可読媒体に記憶され、１つまたは複数のプロセッサによって実行可能なコード、命令）のみで、ハードウェアのみで、またはソフトウェアとハードウェアの組み合わせを使用する実装で実装され得る。
【0045】
ＤＡＢＰ１０２は、ＤＡＢＰ１０２のユーザがデジタルアシスタントに関連付けられる１つまたは複数のスキルボットを含むデジタルアシスタントを作成できるようにするインフラストラクチャおよびさまざまなサービスおよび機能を提供する。場合によっては、スキルボットは、既存のスキルボットを複製することによって、例えば、スキルストアによって提供されるスキルボットを複製することによって作成できる。前に示したように、ＤＡＢＰ１０２は、さまざまなタスクを実行するための複数のスキルボットを提供するスキルストアまたはスキルカタログを提供する。ＤＡＢＰ１０２のユーザは、スキルストアからスキルボットを複製できる。必要に応じて、複製されるスキルボットに変更やカスタマイズを加えることができる。他の例では、ＤＡＢＰ１０２のユーザが、ＤＡＢＰ１０２が提供するツールとサービスを使用して、スキルボットをゼロから作成した。前に示したように、ＤＡＢＰ１０２によって提供されるスキルストアまたはスキルカタログは、さまざまなタスクを実行するための複数のスキルボットを提供することができる。
【0046】
とある実施形態では、高レベルで、スキルボットの作成またはカスタマイズには次のステップが含まれる。
【0047】
（１）新しいスキルボットの設定の構成
（２）スキルボットの１つまたは複数の意図を構成する
（３）１つまたは複数の意図に対する１つまたは複数のエンティティの構成
（４）スキルボットのトレーニング
（５）スキルボットのダイアログフローの作成
（６）必要に応じてスキルボットにカスタム構成要素を追加する
（７）スキルボットのテストと展開
上記の各ステップについて、以下に簡単に説明する。
（２）スキルボットの１つまたは複数の意図を構成する
（３）１つまたは複数の意図に対する１つまたは複数のエンティティの構成
（４）スキルボットのトレーニング
（５）スキルボットのダイアログフローの作成
（６）必要に応じてスキルボットにカスタム構成要素を追加する
（７）スキルボットのテストと展開
上記の各ステップについて、以下に簡単に説明する。
【0048】
（１）新しいスキルボットの設定の構成－スキルボットに対してさまざまな設定を構成することができる。例えば、スキルボットの設計者は、作成するスキルボットの１つまたは複数の呼び出し名を指定できる。これらの呼び出し名は、次いで、デジタルアシスタントのユーザがスキルボットを明示的に呼び出すために使用できる。例えば、ユーザはユーザの発話に呼び出し名を入力して、対応するスキルボットを明示的に呼び出すことができる。
【0049】
（２）スキルボットの１つまたは複数の意図および関連する発話例の構成－スキルボット設計者は、作成されるスキルボットの１つまたは複数の意図（ボットの意図とも呼ばれる）を指定する。次に、スキルボットは、これらの指定される意図に基づいてトレーニングされる。これらの意図は、スキルボットが入力発話を推測するようにトレーニングされるカテゴリまたはクラスを表す。発話を受信すると、トレーニングされるスキルボットは発話の意図を推測する。推測される意図は、スキルボットのトレーニングに使用される定義済みの意図のセットから選択される。次に、スキルボットは、発話に対して推定される意図に基づいて、発話に応じて適切なアクションを実行する。場合によっては、スキルボットの意図は、スキルボットがデジタルアシスタントのユーザに対して実行できるタスクを表す。各意図には、意図識別子または意図名が与えられる。例えば、銀行用にトレーニングされるスキルボットの場合、スキルボットに指定される意図には、「ＣｈｅｃｋＢａｌａｎｃｅ」、「ＴｒａｎｓｆｅｒＭｏｎｅｙ」、「ＤｅｐｏｓｉｔＣｈｅｃｋ」などが含まれ得る。
【0050】
スキルボットに対して定義される各意図に対して、スキルボット設計者は、その意図を表し説明する１つまたは複数の発話例を提供することもできる。これらの発話例は、ユーザがその意図のためにスキルボットに入力できる発話を表すことを目的としている。例えば、ＣｈｅｃｋＢａｌａｎｃｅ意図の場合、発話の例には、「普通預金口座の残高はいくらであるか？」、「当座預金口座にはいくらあるか？」、「口座にはいくらお金があるか？」などが含まれ得る。したがって、典型的なユーザ発話のさまざまな並べ換えを、意図に対する発話例として指定することができる。
【0051】
意図とそれに関連する例の発話は、スキルボットをトレーニングするためのトレーニングデータとして使用される。さまざまな異なるトレーニング技術が使用されてもよい。このトレーニングの結果、発話を入力として受信し、予測モデルによって発話に対して推測される意図を出力するように構成される予測モデルが生成される。場合によっては、入力発話は意図分析エンジンに提供され、トレーニングされるモデルを使用して入力発話の意図を予測または推論するように構成される。スキルボットは、推測される意図に基づいて１つまたは複数のアクションを実行できる。
【0052】
（３）スキルボットの１つまたは複数の意図のためのエンティティの構成－場合によっては、スキルボットがユーザの発話に適切に応答できるようにするために追加のコンテキストが必要になることがある。例えば、ユーザ入力の発話がスキルボット内の同じ意図として解決される状況が考えられる。例えば、上記の例では、「私の普通預金口座の残高はいくらであるか？」、「私の当座預金口座にはいくらあるか？」という発話は、どちらも同じＣｈｅｃｋＢａｌａｎｃｅ意図に解決されるが、これらの発話は異なるものを要求する異なる要求である。このような要求を明確にするために、１つまたは複数のエンティティが意図に追加される。銀行スキルボットの例を使用すると、「ｃｈｅｃｋｉｎｇ」および「ｓａｖｉｎｇ」という値を定義するＡｃｃｏｕｎｔＴｙｐｅというエンティティにより、スキルボットがユーザ要求を解析し、適切に応答できるようになる。上の例では、発話は同じ意図に解決されるが、ＡｃｃｏｕｎｔＴｙｐｅエンティティに関連付けられる値は２つの発話で異なる。これにより、スキルボットは、２つの発話が同じ意図を解決しているにもかかわらず、それらの発話に対して異なるアクションを実行できる可能性がある。スキルボット用に構成されるとある意図に対して１つまたは複数のエンティティを指定できる。したがって、エンティティは、意図自体にコンテキストを追加するために使用される。エンティティは、意図をより完全に記述するのに役立ち、スキルボットがユーザ要求を完了できるようにする。
【0053】
とある実施形態では、（ａ）ＤＡＢＰ１０２によって提供される組み込みエンティティ、および（２）スキルボット設計者によって指定できるカスタムエンティティの２つのタイプのエンティティが存在する。組み込みエンティティは、さまざまなボットで使用できる汎用エンティティである。組み込みエンティティの例には、時間、日付、住所、番号、電子メールアドレス、期間、定期的な期間、通貨、電話番号、ＵＲＬなどに関連するエンティティが含まれるが、これらに限定されない。カスタムエンティティは、よりカスタマイズされるアプリケーションに使用される。例えば、銀行スキルの場合、小切手、貯蓄、クレジットカードなどのキーワードに対するユーザ入力をチェックすることにより、さまざまな銀行取引を可能にするスキルボット設計者によってＡｃｃｏｕｎｔＴｙｐｅエンティティが定義され得る。
【0054】
（４）スキルボットのトレーニング－スキルボットは、発話の形式でユーザ入力を受信し、受信した入力を解析または処理し、受信したユーザ入力に関連する意図を識別または選択するように構成される。上で示したように、スキルボットはこのためにトレーニングされる必要がある。とある実施形態では、スキルボットは、スキルボット用に構成される意図およびその意図に関連付けられる発話例（集合的にトレーニングデータ）に基づいてトレーニングされるため、スキルボットは、ユーザ入力発話をその構成される意図の１つに解決できる。とある実施形態では、スキルボットは、トレーニングデータを使用してトレーニングされる予測モデルを使用し、スキルボットがユーザが何を言っているか（または、場合によっては言おうとしているか）を識別できるようにする。ＤＡＢＰ１０２は、さまざまな機械学習ベースのトレーニング技術、ルールベースのトレーニング技術、および／またはそれらの組み合わせなど、スキルボット設計者がスキルボットをトレーニングするために使用できるさまざまなトレーニング技術を提供する。とある実施形態では、トレーニングデータの一部（例えば、８０％）がスキルボットモデルのトレーニングに使用され、別の部分（例えば、残りの２０％）がモデルのテストまたは検証に使用される。トレーニングが完了すると、トレーニングされるモデル（トレーニングされるスキルボットとも呼ばれる）を使用して、ユーザの発話を処理および応答できるようになる。とある場合、ユーザの発話が１つの回答のみを必要とし、それ以上の会話を必要としない質問である場合がある。このような状況に対処するために、スキルボットにＱ＆Ａ（質問と回答）意図を定義することができる。これにより、スキルボットは、ダイアログ定義を更新せずに、ユーザの要求に対する応答を出力できるようになる。Ｑ＆Ａ意図は、通常の意図と同様の方法で作成される。Ｑ＆Ａ意図のダイアログフローは、通常の意図のダイアログフローとは異なる場合がある。
【0055】
（５）スキルボット用のダイアログフローの作成－－スキルボット用に指定されるダイアログフローは、受信したユーザ入力に応じてスキルボットの異なる意図が解決されるときにスキルボットがどのように反応するかを記述する。ダイアログフローは、例えば、スキルボットがユーザの発話に応答する方法、スキルボットがユーザに入力を促す方法、スキルボットがデータを返す方法など、スキルボットが実行する動作またはアクションを定義する。ダイアログフローは、スキルボットが従うフローチャートのようなものである。スキルボット設計者は、マークダウン言語などの言語を使用してダイアログフローを指定する。とある実施形態では、ＯＢｏｔＭＬと呼ばれるＹＡＭＬのバージョンを使用して、スキルボットのダイアログフローを指定できる。スキルボットのダイアログフロー定義は、会話自体のモデルとして機能し、スキルボットの設計者がスキルボットと、スキルボットがサービスを提供するユーザとの間の対話を振り付けできるようにする。
【0056】
とある実施形態では、スキルボットのダイアログフロー定義には、次の３つのセクションが含まれる。
【0057】
（ａ）コンテキストセクション
（ｂ）デフォルトの遷移セクション
（ｃ）状態セクション
コンテキストセクション－スキルボット設計者は、コンテキストセクション内の会話フローで使用される変数を定義することができる。コンテキストセクションで名前を付けることができるその他の変数には、エラー処理用の変数、組み込みエンティティまたはカスタムエンティティ用の変数、スキルボットがユーザ設定を認識して保持できるようにするユーザ変数などが含まれるが、これらに限定されない。
（ｂ）デフォルトの遷移セクション
（ｃ）状態セクション
コンテキストセクション－スキルボット設計者は、コンテキストセクション内の会話フローで使用される変数を定義することができる。コンテキストセクションで名前を付けることができるその他の変数には、エラー処理用の変数、組み込みエンティティまたはカスタムエンティティ用の変数、スキルボットがユーザ設定を認識して保持できるようにするユーザ変数などが含まれるが、これらに限定されない。
【0058】
デフォルト遷移セクション－スキルボットの遷移は、ダイアログフロー状態セクションまたはデフォルト遷移セクションで定義することができる。デフォルト遷移セクションで定義される遷移はフォールバックとして機能し、状態内に定義される該当する遷移がない場合、または状態遷移をトリガーするために必要な条件が満たされない場合にトリガーされる。デフォルトの遷移セクションを使用すると、スキルボットが予期しないユーザクションを適切に処理できるようにするルーティングを定義できる。
【0059】
状態セクション－ダイアログフローおよびその関連動作は、ダイアログフロー内の論理を管理する一連の一時的な状態として定義される。ダイアログフロー定義内の各状態ノードは、ダイアログのその時点で必要な機能を提供する構成要素に名前を付ける。したがって、状態は構成要素を中心に構築される。状態には構成要素固有のプロパティが含まれており、構成要素の実行後にトリガーされる他の状態への遷移を定義する。
【0060】
特殊な場合のシナリオは、状態セクションを使用して処理することができる。例えば、デジタルアシスタント内の第２のスキルで何かを行うために、使用している第１のスキルを一時的に離れる選択肢をユーザに提供したい場合がある。例えば、ユーザがショッピングスキルとの会話に参加している場合（例えば、ユーザが購入についていくつかの選択を行っている場合）、ユーザは銀行スキルにジャンプし（例えば、ユーザは購入に十分なお金があることを確認したい場合がある）、その後ショッピングスキルに戻ってユーザの注文を完了したい場合がある。これに対処するには、第１のスキルのアクションを構成して、同じデジタルアシスタント内の第２の異なるスキルとの対話を開始し、元のフローに戻ることができる。
【0061】
（６）カスタム構成要素をスキルボットに追加する－上述したように、スキルボットのダイアログフローで指定される状態は、その状態に対応して必要な機能を提供する構成要素に名前を付ける。構成要素を使用すると、スキルボットが機能を実行できるようになる。とある実施形態では、ＤＡＢＰ１０２は、広範囲の機能を実行するための事前構成される構成要素のセットを提供する。スキルボット設計者は、これらの事前構成される構成要素を１つまたは複数選択し、それらをスキルボットのダイアログフローの状態に関連付けることができる。スキルボット設計者は、ＤＡＢＰ１０２によって提供されるツールを使用してカスタム構成要素または新しい構成要素を作成し、そのカスタム構成要素をスキルボットのダイアログフロー内の１つまたは複数の状態に関連付けることもできる。
【0062】
（７）スキルボットのテストおよび展開－ＤＡＢＰ１０２は、スキルボット設計者が開発中のスキルボットをテストできるようにするいくつかの機能を提供する。その後、スキルボットを展開してデジタルアシスタントに含めることができる。
【0063】
上記の説明はスキルボットの作成方法を説明しているが、同様の技術を使用してデジタルアシスタント（またはマスターボット）を作成することもできる。マスターボットまたはデジタルアシスタントレベルで、組み込みシステム意図をデジタルアシスタント用に構成できる。これらの組み込みシステム意図は、デジタルアシスタントに関連付けられるスキルボットを呼び出すことなくデジタルアシスタント自体（つまり、マスターボット）が処理できる一般的なタスクを識別するために使用される。マスターボットに対して定義されるシステム意図の例は次のとおりである。（１）終了：ユーザがデジタルアシスタントの現在の会話またはコンテキストを終了したいという信号を送ったときに適用される。（２）ヘルプ：ユーザがヘルプや方向性を求めた場合に適用される。（３）ＵｎｒｅｓｏｌｖｅｄＩｎｔｅｎｔ：終了およびヘルプ意図とよく一致しないユーザ入力に適用される。デジタルアシスタントは、デジタルアシスタントに関連付けられる１つまたは複数のスキルボットに関する情報も記憶する。この情報により、マスターボットは発話を処理するための特定のスキルボットを選択できる。
【0064】
マスターボットまたはデジタルアシスタントレベルでは、ユーザがフレーズまたは発話をデジタルアシスタントに入力すると、デジタルアシスタントは、発話および関連する会話をルーティングする方法を決定する処理を実行するように構成される。デジタルアシスタントは、ルールベース、ＡＩベース、またはそれらの組み合わせであり得るルーティングモデルを使用してこれを決定する。デジタルアシスタントはルーティングモデルを使用して、ユーザ入力発話に対応する会話が処理のために特定のスキルにルーティングされるべきか、組み込みシステム意図に従ってデジタルアシスタントまたはマスターボット自体によって処理されるべきか、あるいは現在の会話フローでは別の状態として扱われるべきかを決定する。
【0065】
とある実施形態では、この処理の一部として、デジタルアシスタントは、ユーザ入力発話がその呼び出し名を使用してスキルボットを明示的に識別するかどうかを決定する。ユーザ入力に呼び出し名が存在する場合、その呼び出し名に対応するスキルボットの明示的な呼び出しとして扱われる。このようなシナリオでは、デジタルアシスタントは、さらなる処理のために明示的に呼び出されるスキルボットにユーザ入力をルーティングし得る。特定のまたは明示的な呼び出しがない場合、とある実施形態では、デジタルアシスタントは、受信したユーザ入力発話を評価し、システム意図およびデジタルアシスタントに関連付けられるスキルボットの信頼スコアを計算する。スキルボットまたはシステム意図に対して計算されるスコアは、ユーザ入力がスキルボットが実行するように構成されているタスクを表す可能性、またはシステム意図を表す可能性を表す。関連する計算される信頼スコアが閾値（例えば、信頼閾値ルーティングパラメータ）を超えるシステム意図またはスキルボットが、さらなる評価の候補として選択される。次に、デジタルアシスタントは、識別される候補から、ユーザ入力発話をさらに処理するための特定のシステム意図またはスキルボットを選択する。とある実施形態では、１つまたは複数のスキルボットが候補として識別される後、それらの候補スキルに関連付けられる意図が（各スキルの意図モデルに従って）評価され、各意図について信頼スコアが決定される。一般に、信頼スコアが閾値（例えば７０％）を超える意図は、候補意図として扱われる。特定のスキルボットが選択されている場合、ユーザの発話はさらなる処理のためにそのスキルボットにルーティングされる。システム意図が選択されている場合、選択されるシステム意図に従ってマスターボット自体によって１つまたは複数のアクションが実行される。
【0066】
図２は、とある実施形態によるマスターボット（ＭＢ）システム２０１の簡略化されるブロック図である。ＭＢシステム２０１は、ソフトウェアのみ、ハードウェアのみ、またはハードウェアとソフトウェアの組み合わせで実装できる。ＭＢシステム２０１は、前処理サブシステム２１０、マルチ意図サブシステム（ＭＩＳ）２２０、明示的呼び出しサブシステム（ＥＩＳ）２３０、スキルボット呼び出し部２４０、およびデータストア２５０を含む。図２に示されるＭＢシステム２０１は、マスターボット内の構成要素の配置の一例にすぎない。当業者であれば、多くの可能な変形例、代替例、および修正例を認識するであろう。例えば、いくつかの実装では、ＭＢシステム２０１は、図２に示されるものよりも多いまたは少ないシステムまたは構成要素を有してもよく、２つ以上のサブシステムを組み合わせてもよく、またはサブシステムの異なる構成または配置を有してもよい。
【0067】
前処理サブシステム２１０は、ユーザからの発話「Ａ」２０２を受信し、言語検出器２１２および言語パーサ２１４を介して発話を処理する。上で示したように、発話は音声やテキストなどのさまざまな方法で提供できる。発話２０２は、文の断片、完全な文、複数の文などであり得る。発話２０２には句読点を含めることができる。例えば、発話２０２が音声として提供される場合、前処理サブシステム２１０は、結果として得られるテキストに句読点（例えば、カンマ、セミコロン、ピリオドなど）を挿入する音声テキストコンバータ（図示せず）を使用して音声をテキストに変換することができる。
【0068】
言語検出器２１２は、発話２０２のテキストに基づいて発話２０２の言語を検出する。各言語は独自の文法および意味論を有するため、発話２０２が処理される方法は言語に依存する。発話の構文と構造を分析する際には、言語間の違いが考慮される。
【0069】
言語パーサ２１４は、発話２０２を解析して、発話２０２内の個々の言語単位（例えば、単語）の品詞（ＰＯＳ）タグを抽出する。ＰＯＳタグには、例えば、名詞（ＮＮ）、代名詞（ＰＮ）、動詞（ＶＢ）などが含まれる。言語パーサ２１４は、発話２０２の言語単位をトークン化し（例えば、各単語を別個のトークンに変換するために）、単語を見出し語化することもできる。補題は、辞書で表される単語セットの主な形式である（例えば、「ｒｕｎ」は、ｒｕｎ、ｒｕｎｓ、ｒａｎ、ｒｕｎｎｉｎｇなどの補題である）。言語パーサ２１４が実行できる他のタイプの前処理には、複合表現のチャンク化、例えば、「ｃｒｅｄｉｔ」と「ｃａｒｄ」を単一の表現「ｃｒｅｄｉｔ＿ｃａｒｄ」に組み合わせることが含まれる。言語パーサ２１４は、発話２０２内の単語間の関係を識別することもできる。例えば、いくつかの実施形態では、言語パーサ２１４は、発話のどの部分（例えば、特定の名詞）が直接目的語であるか、発話のどの部分が前置詞であるかなどを示す依存関係ツリーを生成する。言語パーサ２１４によって実行される処理の結果は、抽出される情報２０５を形成し、発話２０２自体とともに入力としてＭＩＳ２２０に提供される。
【0070】
上で示したように、発話２０２は複数の文を含むことができる。複数の意図と明示的な呼び出しを検出する目的で、発話２０２は、複数の文が含まれている場合でも単一の単位として扱うことができる。しかし、とある実施形態では、例えば前処理サブシステム２１０によって前処理を実行して、複数の意図分析および明示的呼び出し分析のために複数の文の中から単一の文を識別することができる。一般に、ＭＩＳ２２０およびＥＩＳ２３０によって生成される結果は、発話２０２が個々の文のレベルで処理されるか、または複数の文を含む単一の単位として処理されるかに関係なく、実質的に同じである。
【0071】
ＭＩＳ２２０は、発話２０２が複数の意図を表すかどうかを決定する。ＭＩＳ２２０は発話２０２内の複数の意図の存在を検出できるが、ＭＩＳ２２０によって実行される処理には、発話２０２の意図がボット用に構成される任意の意図と一致するかどうかを決定することは含まれない。代わりに、発話２０２の意図がボットの意図と一致するかどうかを決定するための処理は、ＭＢシステム２０１の意図分類器２４２によって、またはスキルボットの意図分類器によって実行され得る（例えば、図３の実施形態に示されるように）。ＭＩＳ２２０によって実行される処理では、発話２０２を処理できるボット（例えば、特定のスキルボットまたはマスターボット自体）が存在することを仮定している。したがって、ＭＩＳ２２０によって実行される処理では、チャットボットシステム内のボットに関する知識（例えば、マスターボットに登録されているスキルボットのＩＤ）や、特定のボットに対して構成されている意図に関する知識は必要ない。
【0072】
発話２０２が複数の意図を含むことを決定するために、ＭＩＳ２２０は、データストア２５０内のルールセット２５２から１つまたは複数のルールを適用する。発話２０２に適用されるルールは、発話２０２の言語に依存し、複数の意図の存在を示す文パターンを含み得る。例えば、文パターンは、文の２つの部分（例えば接続詞）を結合する等位接続詞を含むことができ、両方の部分は別個の意図に対応する。発話２０２が文パターンと一致する場合、発話２０２は複数の意図を表していると推測できる。複数の意図を含む発話は、必ずしも異なる意図を持っているわけではないことに留意されたい（例えば、異なるボットに向けられる意図、または同じボット内の異なる意図に向けられる意図）。代わりに、発話には同じ意図の個別のインスタンスが含まれ得る。例えば、「支払い口座Ｘを使用してピザを注文し、次に支払い口座Ｙを使用してピザを注文する」などである。
【0073】
発話２０２が複数の意図を表していることを決定する一環として、ＭＩＳ２２０はまた、発話２０２のどの部分が各意図に関連付けられているかを決定する。ＭＩＳ２２０は、複数の意図を含む発話で表現される各意図に対して、図２に示すように、元の発話の代わりに別々に処理するための新しい発話、例えば発話「Ｂ」２０６と発話「Ｃ」２０８を構築する。したがって、元の発話２０２は、一度に１つずつ処理される２つ以上の別個の発話に分割することができる。ＭＩＳ２２０は、抽出される情報２０５を使用して、および／または発話２０２自体の分析から、２つ以上の発話のうちどれを最初に処理すべきかを決定する。例えば、ＭＩＳ２２０は、発話２０２が、特定の意図が最初に処理されるべきであることを示す標識語を含むと決定することができる。この特定の意図に対応する新しく形成される発話（例えば、発話２０６または発話２０８の１つ）は、ＥＩＳ２３０によるさらなる処理のために最初に送信されることになる。第１の発話によって引き起こされる会話が終了した（または一時的に中断される）後、次に優先度の高い発話（例えば発話２０６または発話２０８の他方）を処理のためにＥＩＳ２３０に送信することができる。
【0074】
ＥＩＳ２３０は、受信した発話（例えば、発話２０６または発話２０８）がスキルボットの呼び出し名を含むかどうかを決定する。とある実施形態では、チャットボットシステム内の各スキルボットには、そのスキルボットをチャットボットシステム内の他のスキルボットから区別する固有の呼び出し名が割り当てられる。呼び出し名のリストは、データストア２５０内のスキルボット情報２５４の一部として維持することができる。発話に呼び出し名と一致する単語が含まれている場合、その発話は明示的な呼び出しであるとみなされる。ボットが明示的に呼び出されない場合、ＥＩＳ２３０によって受信される発話は、非明示的に呼び出している発話２３４とみなされ、マスターボットの意図分類器（例えば、意図分類器２４２）に入力されて、発話を処理するためにどのボットを使用するかを決定する。場合によっては、意図分類器２４２は、マスターボットが非明示的に呼び出す発話を処理すべきであると決定することになる。他の例では、意図分類器２４２は、発話を処理のためにルーティングするスキルボットを決定する。
【0075】
ＥＩＳ２３０によって提供される明示的呼び出し機能には、いくつかの利点がある。マスターボットが実行する必要がある処理の量を削減できる。例えば、明示的な呼び出しがある場合、マスターボットは、意図分類分析（例えば、意図分類器２４２を使用）を行う必要がない場合もあり、スキルボットを選択するために縮小される意図分類分析を行う必要がある場合もある。したがって、明示的呼び出し分析により、意図分類分析に頼ることなく、特定のスキルボットの選択が可能になる場合がある。
【0076】
また、複数のスキルボット間で機能が重複する状況もあり得る。これは、例えば２つのスキルボットによって処理される意図が重複している場合、または互いに非常に近い場合に発生し得る。このような状況では、マスターボットが意図分類分析のみに基づいて複数のスキルボットのうちどれを選択するかを識別することが困難な場合がある。このようなシナリオでは、明示的な呼び出しにより、使用される特定のスキルボットが明確になる。
【0077】
発話が明示的な呼び出しであることを決定することに加えて、ＥＩＳ２３０は、発話のいずれかの部分が、明示的に呼び出されるスキルボットへの入力として使用されるべきかどうかを決定する役割を担う。特に、ＥＩＳ２３０は、発話の一部が呼び出しに関連していないかどうかを決定することができる。ＥＩＳ２３０は、発話の分析および／または抽出される情報２０５の分析を通じてこの決定を実行することができる。ＥＩＳ２３０は、ＥＩＳ２３０が受信した発話全体を送信する代わりに、呼び出しに関連付けられていない発話の一部を、呼び出されるスキルボットに送信できる。場合によっては、呼び出されるスキルボットへの入力は、呼び出しに関連付けられる発話の一部を削除するだけで形成される。例えば、「ピザボットを使用してピザを注文したい」は、「ピザボットの使用」はピザボットの呼び出しには関連するが、ピザボットによって実行される処理とは無関係であるため、「ピザを注文したいである」と短縮できる。場合によっては、ＥＩＳ２３０は、例えば完全な文を形成するために、呼び出されるボットに送信される部分を再フォーマットしてもよい。したがって、ＥＩＳ２３０は、明示的な呼び出しがあることを決定するだけでなく、明示的な呼び出しがあった場合にスキルボットに何を送信するかも決定する。場合によっては、呼び出されるボットに入力するテキストがない場合がある。例えば、発話が「ピザボット」であった場合、ＥＩＳ２３０は、ピザボットが呼び出されていると決定することができるが、ピザボットによって処理されるテキストが存在しない。このようなシナリオでは、ＥＩＳ２３０は、送信するものが何もないことをスキルボット呼び出し部２４０に示すことができる。
【0078】
スキルボット呼び出し部２４０は、さまざまな方法でスキルボットを呼び出す。例えば、スキルボット呼び出し部２４０は、明示的な呼び出しの結果として特定のスキルボットが選択されるという指示２３５の受信に応答して、ボットを呼び出すことができる。指示２３５は、明示的に呼び出されるスキルボットの入力とともにＥＩＳ２３０によって送信できる。このシナリオでは、スキルボット呼び出し部２４０は、会話の制御を明示的に呼び出されるスキルボットに引き渡す。明示的に呼び出されるスキルボットは、ＥＩＳ２３０からの入力をスタンドアロンの発話として扱うことによって、入力に対する適切な応答を決定する。例えば、応答は、特定のアクションを実行すること、または特定の状態で新しい会話を開始することなどであり得、新しい会話の初期状態はＥＩＳ２３０から送信される入力に依存する。
【0079】
スキルボット呼び出し部２４０がスキルボットを呼び出すことができる別の方法は、意図分類子２４２を使用する暗黙的呼び出しを介することである。意図分類器２４２は、機械学習および／またはルールベースのトレーニング技術を使用してトレーニングされ、発話が特定のスキルボットが実行するように構成されるタスクを表す可能性を決定することができる。意図分類器２４２は、スキルボットごとに１つのクラス、異なるクラスでトレーニングされる。例えば、新しいスキルボットがマスターボットに登録されるたびに、新しいスキルボットに関連付けられる発話例のリストを使用して、意図分類器２４２をトレーニングして、特定の発話が新しいスキルボットが実行できるタスクを表す可能性を決定することができる。このトレーニングの結果として生成されるパラメータ（例えば、機械学習モデルのパラメータの値のセット）は、スキルボット情報２５４の一部として記憶することができる。
【0080】
とある実施形態では、意図分類器２４２は、本明細書でさらに詳細に説明するように、機械学習モデルを使用して実装される。機械学習モデルのトレーニングは、さまざまなスキルボットに関連付けられる発話例から発話の少なくともサブセットを入力して、機械学習モデルの出力として、どのボットが特定のトレーニング発話を処理するための正しいボットであるかについての推論を生成することを含んでもよい。各トレーニング発話について、トレーニング発話に使用する正しいボットの指示がグラウンドトゥルース情報として提供され得る。機械学習モデルの動作は、次いで、生成される推論とグランドトゥルース情報の間の差異を最小限に抑えるために（例えば、逆伝播を通じて）適応させることができる。
【0081】
とある実施形態では、意図分類器２４２は、マスターボットに登録されるスキルボットごとに、スキルボットが発話（例えば、ＥＩＳ２３０から受信した非明示的に呼び出す発話２３４）を処理できる可能性を示す信頼スコアを決定する。意図分類器２４２はまた、構成される各システムレベルの意図（例えば、ヘルプ、終了）の信頼スコアを決定することもできる。特定の信頼スコアが１つまたは複数の条件を満たす場合、スキルボット呼び出し部２４０は、特定の信頼スコアに関連付けられるボットを呼び出す。例えば、信頼スコアの閾値を満たす必要がある場合がある。したがって、意図分類器２４２の出力２４５は、システム意図の識別または特定のスキルボットの識別のいずれかである。いくつかの実施形態では、信頼スコア閾値を満たすことに加えて、信頼スコアは、次に高い信頼スコアを一定の勝率だけ超えなければならない。このような条件を課すと、複数のスキルボットの信頼スコアが各々信頼スコア閾値を超えた場合に、特定のスキルボットにルーティングできるようになる。
【0082】
信頼スコアの評価に基づいてボットを識別した後、スキルボット呼び出し部２４０は、識別されるボットに処理を引き渡す。システム意図の場合、識別されるボットがマスターボットになる。それ以外の場合、識別されるボットはスキルボットである。さらに、スキルボット呼び出し部２４０は、識別されるボットに対する入力２４７として何を提供するかを決定する。上で示したように、明示的な呼び出しの場合、入力２４７は、呼び出しに関連付けられていない発話の一部に基づくか、または入力２４７が何もない（例えば、空の文字列）場合がある。暗黙的な呼び出しの場合、入力２４７は発話全体になる可能性がある。
【0083】
データストア２５０は、マスターボットシステム２０１のさまざまなサブシステムによって使用されるデータを記憶する１つまたは複数のコンピューティング装置を備える。上で説明したように、データストア２５０は、ルール２５２およびスキルボット情報２５４を含む。ルール２５２は、例えば、発話が複数の意図を表すとき、および複数の意図を表す発話をどのように分割するかをＭＩＳ２２０によって決定するためのルールを含む。ルール２５２はさらに、スキルボットを明示的に呼び出す発話のどの部分をスキルボットに送信するかをＥＩＳ２３０によって決定するためのルールを含む。スキルボット情報２５４は、チャットボットシステムにおけるスキルボットの呼び出し名、例えば、特定のマスターボットに登録されているすべてのスキルボットの呼び出し名のリストを含む。スキルボット情報２５４は、チャットボットシステム内の各スキルボットの信頼スコアを決定するために意図分類器２４２によって使用される情報、例えば機械学習モデルのパラメータを含むこともできる。
【0084】
図３は、とある実施形態によるスキルボットシステム３００の簡略化されるブロック図である。スキルボットシステム３００は、ソフトウェアのみ、ハードウェアのみ、またはハードウェアとソフトウェアの組み合わせで実装できるコンピューティングシステムである。図１に示される実施形態などのとある実施形態では、スキルボットシステム３００を使用して、デジタルアシスタント内に１つまたは複数のスキルボットを実装することができる。
【0085】
スキルボットシステム３００は、ＭＩＳ３１０、意図分類器３２０、および会話マネージャ３３０を含む。ＭＩＳ３１０は、図２のＭＩＳ２２０に類似しており、データストア３５０内のルール３５２を使用して以下を決定するように動作可能であることを含む同様の機能を提供する。（１）発話が複数の意図を表しているかどうか、またそうであれば、（２）複数の意図の各々に発話を別の発話に分割する方法。とある実施形態では、複数の意図を検出し、発話を分割するためにＭＩＳ３１０によって適用されるルールは、ＭＩＳ２２０によって適用されるルールと同じである。ＭＩＳ３１０は発話３０２と抽出される情報３０４を受信する。抽出される情報３０４は、図１の抽出される情報２０５に類似しており、言語パーサ２１４またはスキルボットシステム３００にローカルな言語パーサを使用して生成することができる。
【0086】
意図分類器３２０は、図２の実施形態に関連して上述し、本明細書でさらに詳細に説明した意図分類器２４２と同様の方法でトレーニングすることができる。例えば、とある実施形態では、意図分類器３２０は、機械学習モデルを使用して実装される。意図分類器３２０の機械学習モデルは、特定のスキルボットに関連付けられる発話例の少なくともサブセットをトレーニング発話として使用して、特定のスキルボット用にトレーニングされる。各トレーニング発話のグラウンドトゥルースは、トレーニング発話に関連付けられる特定のボットの意図になる。
【0087】
発話３０２は、ユーザから直接受信することも、マスターボットを介して提供することもできる。例えば、図２に示される実施形態におけるＭＩＳ２２０およびＥＩＳ２３０を介した処理の結果として、発話３０２がマスターボットを介して供給される場合、ＭＩＳ２２０によってすでに実行される処理の繰り返しを避けるために、ＭＩＳ３１０をバイパスすることができる。しかし、発話３０２が、例えば、スキルボットへのルーティング後に生じる会話中に、ユーザから直接受信される場合、ＭＩＳ３１０は、発話３０２を処理して、発話３０２が複数の意図を表すかどうかを決定することができる。そうである場合、ＭＩＳ３１０は１つまたは複数のルールを適用して、発話３０２を意図ごとに個別の発話、例えば発話「Ｄ」３０６と発話「Ｅ」３０８に分割する。発話３０２が複数の意図を表さない場合、ＭＩＳ３１０は、発話３０２を分割することなく、意図分類のために発話３０２を意図分類器３２０に転送する。
【0088】
意図分類器３２０は、受信した発話（例えば、発話３０６または３０８）をスキルボットシステム３００に関連付けられる意図と一致するように構成されている。上で説明したように、スキルボットは１つまたは複数の意図で構成でき、各意図には、その意図に関連付けられ、分類器のトレーニングに使用される少なくとも１つの発話例が含まれる。図２の実施形態では、マスターボットシステム２０１の意図分類器２４２は、個々のスキルボットの信頼スコアおよびシステム意図に対する信頼スコアを決定するようにトレーニングされる。同様に、意図分類器３２０は、スキルボットシステム３００に関連付けられる各意図の信頼スコアを決定するようにトレーニングすることができる。意図分類器２４２によって実行される分類はボットレベルであるのに対し、意図分類器３２０によって実行される分類は意図レベルであり、したがってより粒度が細かい。意図分類器３２０は、意図情報３５４にアクセスできる。意図情報３５４は、スキルボットシステム３００に関連付けられる意図ごとに、その意図の意味を表し図示し、通常、その意図によって実行可能なタスクに関連付けられる発話のリストを含む。意図情報３５４は、この発話リストに関するトレーニングの結果として生成されるパラメータをさらに含むことができる。
【0089】
会話マネージャ３３０は、意図分類器３２０の出力として、意図分類器３２０に入力される発話に最もよく一致するものとして意図分類器３２０によって識別される特定の意図の指示３２２を受信する。場合によっては、意図分類器３２０は一致を決定できないことがある。例えば、発話がシステム意図または異なるスキルボットの意図に向けられている場合、意図分類器３２０によって計算される信頼スコアは信頼スコア閾値を下回る可能性がある。これが発生すると、スキルボットシステム３００は、処理のために、例えば、別のスキルボットにルーティングするために、発話をマスターボットに参照することができる。しかし、意図分類器３２０がスキルボット内の意図を識別することに成功した場合、会話マネージャ３３０はユーザとの会話を開始することになる。
【0090】
会話マネージャ３３０によって開始される会話は、意図分類器３２０によって識別される意図に固有の会話である。例えば、会話マネージャ３３０は、識別される意図に対するダイアログフローを実行するように構成される状態機械を使用して実装され得る。状態機械には、デフォルトの開始状態（例えば、追加の入力なしで意図が呼び出される場合）と１つまたは複数の追加の状態を含めることができ、各状態には、スキルボットによって実行されるアクション（例えば、購入トランザクションの実行）および／またはユーザに提示されるダイアログ（例えば、質問、応答）が関連付けられている。したがって、会話マネージャ３３０は、意図を識別する指示３２２を受信するとアクション／ダイアログ３３５を決定することができ、会話中に受信した後続の発話に応じて追加のアクションまたはダイアログを決定することができる。
【0091】
データストア３５０は、スキルボットシステム３００のさまざまなサブシステムによって使用されるデータを記憶する１つまたは複数のコンピューティング装置を備える。図３に示すように、データストア３５０は、ルール３５２および意図情報３５４を含む。とある実施形態では、データストア３５０は、マスターボットまたはデジタルアシスタントのデータストア、例えば図２のデータストア２５０に統合することができる。
【0092】
言語検出のためのモデルアーキテクチャ
図４は、さまざまな実施形態に従ったモデルアーキテクチャの一例４００を示す。この例では、入力テキスト単位は単語レベルでｎグラムに分割され、テキスト単位内の各単語も文字ベースのｎグラムに分割され、テキスト単位のｎグラムのシーケンスが生成される（例えば、入力テキスト単位内でｎグラムが出現する順序に従って）。テキスト単位を単語レベルでｎグラムに分割する演算と、テキスト単位を文字レベルでｎグラムに分割する演算は、シリアル（例えば、単語レベルの分割の後に文字レベルの分割）または並列で実行できる。
図４は、さまざまな実施形態に従ったモデルアーキテクチャの一例４００を示す。この例では、入力テキスト単位は単語レベルでｎグラムに分割され、テキスト単位内の各単語も文字ベースのｎグラムに分割され、テキスト単位のｎグラムのシーケンスが生成される（例えば、入力テキスト単位内でｎグラムが出現する順序に従って）。テキスト単位を単語レベルでｎグラムに分割する演算と、テキスト単位を文字レベルでｎグラムに分割する演算は、シリアル（例えば、単語レベルの分割の後に文字レベルの分割）または並列で実行できる。
【0093】
単語レベルのｎグラムのｎの値は、文字レベルのｎグラムのｎの値と同じであっても異なっていてもよい。図４の例４００では、単語レベルのｎグラムのｎの値は１（単語ベースのユニグラム）であり、文字レベルのｎグラムのｎの値は２（文字ベースのバイグラム）である。この方式を使用すると、テキスト単位「ｈｅｌｌｏ ｔｈｅｒｅ」は（パーサ４１０で）ｎグラムのシーケンス［ｈｅｌｌｏ、＿ｈ、ｈｅ、ｅｌ、ｌｌ、ｌｏ、ｏ＿、ｔｈｅｒｅ、＿ｔ、ｔｈ、ｈｅ、ｅｒ、ｒｅ、ｅ＿］（または、ｎグラムのシーケンス［＿ｈ、ｈｅ、ｅｌ、ｌｌ、ｌｏ、ｏ＿、ｈｅｌｌｏ、＿ｔ、ｔｈ、ｈｅ、ｅｒ、ｒｅ、ｅ＿、ｔｈｅｒｅ］）に変換される。この例では、単語の境界を示すために、単語が文字レベルのｎグラムに分割される前に、テキスト単位の各単語の先頭と末尾に特殊文字（例えば、アンダースコア文字「＿」）が追加されていることに留意されたい。
【0094】
ｎグラムのシーケンス内の各ｎグラムは、埋め込み層４２０に送られ、ｎグラムに対応する表現（例えば、特徴ベクトルまたは「埋め込みベクトル」）を生成する。埋め込み層４２０には、トレーニングされる埋め込みモデル（例えば、各ｎグラムを対応する埋め込みベクトルに関連付ける埋め込み行列）が含まれる。注意機構４３０を備えたＣＮＮは、ｎグラム特徴間の関係（例えば、シーケンス内のｎグラムの相対的な順序および／または相対的な重みなどの側面によって示され得る）を捕捉して、テキスト単位の符号化ベクトルを生成するために使用される。符号化ベクトルは、フィードフォワードネットワーク（ＦＦＮ）４４０とソフトマックス活性化関数を使用して分類され、出力予測（例えば、入力テキスト単位の予測される主要言語の識別）が生成される。
【0095】
図４を参照して上述した例４００では、語彙サイズは１３であり、単語レベルのユニグラムが２つ（「ｈｅｌｌｏ」、「ｔｈｅｒｅ」）と、文字レベルのバイグラムが１１個（「＿ｈ」、「ｈｅ」、「ｅｌ」、「ｌｌ」、「ｌｏ」、「ｏ＿」、「＿ｔ」、「ｔｈ」、「ｅｒ」、「ｒｅ」、「ｅ＿」）である。実際には、言語検出タスクのトレーニングデータセットは大きく、１００を超える利用可能な言語が表現され得るため、語彙は通常膨大になる（例えば、１億５００万文の内部データセットの場合は３，０００万以上）。例えば、語彙には、日本語または中国語の完全なｎグラムセット、ベトナム語の別のｎグラムセット、英語の別のｎグラムセットなどが含まれ得る。埋め込みベクトル空間の次元が比較的小さい場合でも（例えば、数十または数百次元）、埋め込みモデル内のパラメータの数が非常に多くなり得、検索が非常に遅くなり得る。
【0096】
ハッシュ埋め込みは語彙のサイズを縮小し、それによって埋め込みモデル内のパラメータの数を減らすために使用することができる。図５は、図４のモデルアーキテクチャの実施形態５００を示しており、埋め込み層５２０は、パーサ４１０からの各ｎグラムを（ハッシュ演算５１５で）対応するハッシュ識別子（ＩＤ）に変換することによってハッシュ埋め込みを採用し、その後、埋め込みモデル５２５に入力して、対応するｎグラム表現（例えば、埋め込みベクトル）を取得する。この例のハッシュＩＤの範囲は０から９であるため、語彙のサイズは図４の１３から、この場合は固定数の１０に削減される。図４に示す例４００のように、注意モデル５３０を備えたＣＮＮを使用してｎグラム特徴間の関係を捕捉し、テキスト単位の符号化ベクトルを生成することができ、符号化ベクトルはＦＦＮ５４０とソフトマックス活性化関数を使用して分類され、出力（言語）予測を生成することができる。
【0097】
一例では、ハッシュ関数の出力範囲のサイズは所望の語彙サイズに等しく、ハッシュ関数をｎグラムに適用することにより、各ハッシュＩＤが対応するｎグラムから直接取得される。つまり、ｎグラムのハッシュＩＤは、ｎグラムにハッシュ関数を適用して生成されるハッシュ値である。別の例では、ハッシュＩＤの各々は、ハッシュ関数をｎグラムに適用し、次いで、結果のハッシュ値にモジュロＢ関数を適用することによって取得される。ここで、Ｂは語彙の必要なサイズである。例えば、図５では、ハッシュ演算５１５は、ＭｕｒｍｕｒＨａｓｈアルゴリズムのバージョン（例えば、ＭｕｒｍｕｒＨａｓｈ１、ＭｕｒｍｕｒＨａｓｈ２、またはＭｕｒｍｕｒＨａｓｈ３）をｎグラムに適用して対応するハッシュ値（例えば、３２ビットハッシュ値）を取得し、次にハッシュ値にモジュロ１０関数を適用して対応するハッシュＩＤを取得することにより、各ハッシュＩＤを取得することができる。
【0098】
語彙サイズが一意のｎグラムの数よりも小さいため、ハッシュ埋め込みによって衝突が発生する。例えば、図５に示すように、ｎグラム「ｈｅｌｌｏ」と「ｌｌ」は同じハッシュＩＤ１を有する。ブルーム埋め込みアルゴリズムを使用すると、衝突の発生率を大幅に減らすことができる。具体的には、ｎグラムを単一のハッシュＩＤにマッピングする代わりに、各ｎグラムを２つ（またはそれ以上）のハッシュＩＤにマッピングすることができる。任意の２つのｎグラムの両方（またはすべて）のハッシュＩＤが同じになる確率は、２つのｎグラムが同じハッシュＩＤにマッピングされる確率よりもはるかに低くなる。
【0099】
図６は、図５のモデルアーキテクチャのハッシュ演算５１５の実装６１５がブルーム埋め込みを実行して各ｎグラムに対して２つのハッシュＩＤを生成する例６００を示す。埋め込み層５２０のこの実装６２０には、２つのハッシュＩＤの各々に対して埋め込みベクトルを生成する埋め込みモデル５２５の実装６２５も含まれている。ハッシュＩＤの埋め込みベクトルを組み合わせてｎグラムの埋め込みベクトルを取得し、これを深層学習エンコーダ６３０に入力する。図５のように、語彙サイズは語彙の所望サイズＢ（この例では１０）に設定されているが、この場合、ハッシュバケットに衝突は発生しない。図４に示す例４００のように、注意モデル６３０を備えたＣＮＮを使用してｎグラム特徴間の関係を捕捉し、テキスト単位の符号化ベクトルを生成することができ、符号化ベクトルはＦＦＮ６４０とソフトマックス活性化関数を使用して分類され、出力（言語）予測を生成することができる。
【0100】
図４～図６を参照して上で説明したｎグラムベースのワイドモデルは、文字ベースのワイドモデル（これもはるかに大きなＣＮＮを必要とする）よりも優れた性能を発揮することがわかった。ｎグラムモデルは、深層ネットワーク４３０（５３０、６３０）への入力にルックアップ層（例えば、ｌｏｇ（ｎ）時間で実行）、次いで、その上に小さなＣＮＮ層を含めるように実装できる。その結果、深層ネットワーク４３０（５３０、６３０）の上に非常に大きなＣＮＮ層がある文字ベースのモデルよりも実行時間が大幅に短縮される。
【0101】
図５または図６に示すモデルアーキテクチャには、いくつかの調整可能なハイパーパラメータが含まれ得る。例えば、単語ベースのｎグラムのｎの値を１（ユニグラム）に設定し、文字ベースのｎグラムのｎの値を２、３、４の３つに選択することが望ましい場合がある。ハッシュ埋め込みの場合、衝突の問題を処理するために、バケット数（Ｂ）を３００万（３Ｍ）に設定し、ハッシュ数を２に設定することが望ましい場合がある。グリッド検索を実行して、ＣＮＮウィンドウサイズとドロップアウト確率の値を決定することができる。ハイパーパラメータ設定間の違いはそれほど大きくないことがわかり得る。トレーニングを高速化するために、各文のｎグラムの最大数（例えば、５１２）を設定することが望ましい場合がある。
【0102】
トレーニング中に、入力文字のスクリプト情報（例えば、ラテン語、デーヴァナーガリー文字）を適用して、予測の候補を制限することができる。例えば、入力テキスト単位のコーディングがＣＪＫ（中国語、日本語、韓国語）スクリプトのみである場合（例えば、テキスト単位のＵｎｉｃｏｄｅ符号化によって示される場合）、そのテキスト単位のラテン語ベースの言語の予測はすべてブロックされ得る。さらに、または代わりに、単語は多くの言語で使用され得るため（例えば、「ｅｓｔａｓ」という単語はスペイン語とエスペラント語で使用され得る）、言語の相対的な人気をモデル予測に統合することが望ましい場合がある。例えば、より人気のある言語の予測には、より高い重みが適用され得る。
【0103】
比較のために、図５および図６を参照して上で説明したモデルアーキテクチャは、それぞれ「ＯＤＡ単一ＡＰＩ」および「ＯＤＡ ＡＰＩ」と指定される。これらのモデルアーキテクチャのデモンストレーションと評価のために、ＦａｓｔＡＰＩウェブフレームワークを使用して、ＲＥＳＴｆｕｌなサービス提供アプリケーションプログラミングインターフェイス（ＡＰＩ）（つまり、表現状態転送（ＲＥＳＴ）制約に準拠したＡＰＩ）を構築した。図７はＡＰＩへの要求の例を示し、図８はＡＰＩからの対応する応答の例を示す。
【0104】
トレーニングおよび評価
上述のモデルアーキテクチャのトレーニングデータは、Open Parallel Corpus Project（ＯＰＵＳ）、Common Crawlデータ、およびWikipediaからエクスポートされた。図９は、ＯＰＵＳソースデータセットを説明する表を示している。クリーンアップされるCommon Crawlデータから取得されたデータセットは、１６５言語の各々から１，０００個を超える（１Ｋ＋）トークン、１２７言語の各々から１００万個を超える（１Ｍ＋）トークン、４０言語の各々から１０億個を超える（１Ｂ＋）トークンを含む、１７６言語のテキストを含む。
上述のモデルアーキテクチャのトレーニングデータは、Open Parallel Corpus Project（ＯＰＵＳ）、Common Crawlデータ、およびWikipediaからエクスポートされた。図９は、ＯＰＵＳソースデータセットを説明する表を示している。クリーンアップされるCommon Crawlデータから取得されたデータセットは、１６５言語の各々から１，０００個を超える（１Ｋ＋）トークン、１２７言語の各々から１００万個を超える（１Ｍ＋）トークン、４０言語の各々から１０億個を超える（１Ｂ＋）トークンを含む、１７６言語のテキストを含む。
【0105】
モデルが短いテキスト単位でうまく機能するのであれば、長いテキスト単位でもうまく機能する傾向があると考えられる。トレーニング用に、最大１，０００万の短い文（＜１５語）と最大１００万の長い文（＞＝１５語、＜３０語）を含む短いテキスト単位がＯＰＵＳデータセットから抽出された。Common Crawlデータセットが大きいため、最初に数字や特殊文字を含まないすべてのページタイトルを抽出し、次に本文から文章を抽出した。言語ごとに１５０万文という制限がある。結果として得られるトレーニングデータセットには、１３５の言語のテキストが含まれた。トレーニングデータが不足していたため、最終的に１３５言語のうち３５言語が削除されたため、この例では合計１００言語がサポートされた。
【0106】
比較のために以下のシステムを選択した。
１）FastTextは１７０以上の言語をサポートし、無料でアクセスでき、他の無料の言語検出ツールキット（例えば、langdetect、langid、Google’s Compact Language Detector 2（ｃｌｄ２）、Google’s Compact Language Detector 3（ｃｌｄ３））よりも優れた性能を発揮することが確認されていた。
２）Google言語検出ＡＰＩ（１０９言語をサポートするバージョン）。
３）Microsoft言語検出ＡＰＩ（９２言語をサポートするバージョン）。
４）Amazon言語検出ＡＰＩ（１０４言語をサポートするバージョン）。
１）FastTextは１７０以上の言語をサポートし、無料でアクセスでき、他の無料の言語検出ツールキット（例えば、langdetect、langid、Google’s Compact Language Detector 2（ｃｌｄ２）、Google’s Compact Language Detector 3（ｃｌｄ３））よりも優れた性能を発揮することが確認されていた。
２）Google言語検出ＡＰＩ（１０９言語をサポートするバージョン）。
３）Microsoft言語検出ＡＰＩ（９２言語をサポートするバージョン）。
４）Amazon言語検出ＡＰＩ（１０４言語をサポートするバージョン）。
【0107】
図６に示すモデルアーキテクチャの２つのバリアント（「ＯＤＡ ＡＰＩ」と指定）がベースラインとして使用された。第１のバリアント（「ＣＮＮ ＡＰＩ」と指定）は、注意機構なしでＣＮＮのみを使用する。第２のバリアント（「ＡＶＧ ＡＰＩ」と指定）では、ＣＮＮ層が省略され、代わりに平均プーリング層が使用される（例えば、fastTextの場合）。文字ベースのＣＮＮモデル（「Ｃｈａｒ－ＣＮＮ」）も、純粋な深層学習ベースラインとして使用された（例えば、幅広い特徴を有する深層ニューラルネットワーク（ＤＮＮ）の組み合わせが純粋なＤＮＮよりも優れているかどうかを決定するため）。幅広い特徴を模倣するために、マルチカーネルウィンドウサイズを有するＣＮＮが使用された。すべての比較システム（fastText、Google API、およびMicrosoft APIを含む）でサポートされている６９の重複言語のセットが選択された。
【0108】
図１０は、検証および早期停止のためにＯＤＡデータセット（３３５０５１（３３５Ｋ）の発話を含む）を使用した言語検出テストの結果を示している。この実験はアブレーション研究（例えば、システムの構成要素が除去される研究）とみなされる。ＣＮＮおよびＯＤＡ ＡＰＩはＡＧＶ ＡＰＩよりも優れた性能を達成することが判明しており、これはＣＮＮ層がモデルの成功に重要であることを示し得る。ＯＤＡ ＡＰＩ（注意層を有する）は、検証セットでＣＮＮ ＡＰＩよりも高い性能を発揮することがわかった。ＯＤＡ ＡＰＩ（図６に示すブルーム埋め込みを含む）は、ＯＤＡ単一ＡＰＩ（図５に示す）よりも検証セットで優れた性能を発揮することがわかった。モデル間のパラメータ数に関しては大きな違いがないことに留意されたい。
【0109】
Chatterbotデータセットの結果では、ＡＰＩの性能がGoogle、Microsoft、Amazon APIの性能に匹敵することが示された。また、EuroParlデータセット（欧州議会の議事録から抽出され、２１のヨーロッパ言語の文が揃えられるテキストを含む）、ｗｉＬＩ－２０１８データセット（Wikipediaから抽出した短いテキストのデータセットで、２３５の言語の２３５，０００段落を含む）、LanideNNデータセット、第１の簡単な英語テスト（ＯＤＡ－１０Ｋの例）、および第２の簡単な英語テスト（３３６の例）でも結果が得られた。fastTextは無料の言語検出ツールの中で最高の性能を発揮することがわかったが、公開されているデータセットではすべての商用ＡＰＩよりも性能が劣ることがわかった。当社のＡＰＩ（ＯＤＡ、ＣＮＮ、ＡＶＧ）の中で、ＣＮＮと注意層を組み合わせたＯＤＡは、単純な英語テストを除くすべてのデータセットで最高の性能を発揮する。Ｃｈａｔｔｅｒｂｏｔデータセットおよび社内の簡単な英語テストでＯＤＡ ＡＰＩが生成した性能も、Google、Microsoft、Amazon APIが生成したものに匹敵する。その他のデータセット（例えば、LanideNN、EuroParl）については、当社のＯＤＡ ＡＰＩがGoogle APIやMicrosoft APIよりも優れた性能を発揮することがわかった。幅広い特徴とＤＮＮを組み合わせると、純粋なＤＮＮよりも優れた性能が得られることもわかった。
【0110】
言語検出の技術
図１１は、さまざまな実施形態に従った装置１１００のブロック図を示す。図１１に示されている要素は、それぞれのシステム、ハードウェア、またはそれらの組み合わせの処理回路（例えば、プロセッサやコアなどの１つまたは複数の処理装置）によって実行されるソフトウェア（例えば、コード、命令、モジュール、プログラム）で実装され、メモリに結合される（例えば、テキスト単位、ｎグラムのシーケンス、および／またはトレーニングされるネットワークのパラメータを記憶するため）。装置１１００には、テキスト単位を入力として受信し、そのテキスト単位の対応するｎグラムのシーケンスを生成するパーサ１１１０が含まれている（例えば、分割４１０を参照して上で説明したように）。対応するｎグラムのシーケンスには、単語レベルのｎグラムおよび／または文字レベルのｎグラムが含まれ得、複数の文字レベルのｎグラムのｎの値は、複数の単語レベルのｎグラムのｎの値と同じでも異なっていてもよい。一例では、対応するｎグラムのシーケンスには、単語レベルのユニグラムと文字レベルのバイグラムが含まれる。
図１１は、さまざまな実施形態に従った装置１１００のブロック図を示す。図１１に示されている要素は、それぞれのシステム、ハードウェア、またはそれらの組み合わせの処理回路（例えば、プロセッサやコアなどの１つまたは複数の処理装置）によって実行されるソフトウェア（例えば、コード、命令、モジュール、プログラム）で実装され、メモリに結合される（例えば、テキスト単位、ｎグラムのシーケンス、および／またはトレーニングされるネットワークのパラメータを記憶するため）。装置１１００には、テキスト単位を入力として受信し、そのテキスト単位の対応するｎグラムのシーケンスを生成するパーサ１１１０が含まれている（例えば、分割４１０を参照して上で説明したように）。対応するｎグラムのシーケンスには、単語レベルのｎグラムおよび／または文字レベルのｎグラムが含まれ得、複数の文字レベルのｎグラムのｎの値は、複数の単語レベルのｎグラムのｎの値と同じでも異なっていてもよい。一例では、対応するｎグラムのシーケンスには、単語レベルのユニグラムと文字レベルのバイグラムが含まれる。
【0111】
装置１１００には、ｎグラムのシーケンスを受信し、ｎグラムのシーケンスに対応する順序付けられる複数の埋め込みベクトルを生成する埋め込み層１１２０も含まれる。順序付けられる複数の埋め込みベクトルは、複数の成分ベクトル（例えば、トレーニングされる埋め込み行列などの埋め込みモデル）に基づいていてもよい。順序付けられる複数の埋め込みベクトルの順序は、テキスト単位内の対応するｎグラムの発生順序を示すか、またはそれに対応し得る。
【0112】
装置１１００には、順序付けられる複数の埋め込みベクトルを受信し、テキスト単位の符号化ベクトルを生成する深層ネットワーク１１３０も含まれる。深層ネットワークは、入力層と出力層の間に少なくとも１つの隠し層を含み、トレーニングされるＣＮＮを含み得る。深層ネットワークには、予測を実行するときに、例えば、どのｎグラムにもっと注意を払う必要があるか（例えば、どのｎグラムにもっと重み付けする必要があるか）を示す注意重みを生成する注意機構（例えば、１つまたは複数の注意層）が含まれ得る。
【0113】
図１２は、注意機構を含む深層ネットワーク１１３０の別の例１２１０を示す。この機構には、ＣＮＮ層１２２０の出力に注意重み（太い破線で示される）を割り当てるように構成される注意層１２３０が含まれる。入力テキストの最終的な符号化ベクトルは、ＣＮＮ出力の加重合計である（例えば、注意重みを使用して重み付けされる）。
【0114】
装置１１００には、符号化ベクトルを受信し、テキスト単位の言語予測を生成する分類器１１４０も含まれる。分類器にはフィードフォワードニューラルネットワークが含まれ得る。このような場合、分類器は、フィードフォワードニューラルネットワークの最終層の出力にソフトマックス関数を適用するように構成されてもよい（例えば、図１２を参照して説明したように、注意層を使用して重み付けされる）。
【0115】
上述のように、入力テキスト単位は、単語レベルのｎグラムおよび／または文字レベルのｎグラムを含み得るｎグラムのシーケンスに解析され得、各ケースのｎの値は調整可能なパラメータであり得る。図１３は、埋め込み層１１２０の実装１３２５によって実行され、ｎグラムのシーケンス内の各ｎグラムについて、順序付けられる複数の埋め込みベクトル内の対応する埋め込みベクトルを取得できる演算の例を示す。この例では、ｎグラムに対して第１のハッシュを実行して第１のハッシュ値を取得し、第１のハッシュ値にモジュロＢ演算を適用して第１のインデックスを取得する。ここで、Ｂはトレーニングされる複数の成分ベクトル（例えば、トレーニングされる埋め込みモデル）内の成分ベクトルの数である。同様に、ｎグラムに対して第２のハッシュを実行して第２のハッシュ値を取得し、第２のハッシュ値にモジュロＢ演算を適用して第２のインデックスを取得する。第１のインデックスと第２のインデックスで示される成分ベクトルは、ｎグラムの埋め込みベクトルを取得するために結合（例えば、連結、重み付け、および／または追加）される。結合演算の構成には、１つまたは複数の調整可能なパラメータ（例えば、成分ベクトルが連結／重み付け／追加されるかどうか、重みがどのように決定されるかなど）が含まれ得る。
【0116】
図１４は、とある実施形態による言語検出のプロセス１４００を示すフローチャートである。図１４に示される処理は、それぞれのシステムの１つまたは複数の処理装置（例えば、プロセッサ、コア）、ハードウェア、またはそれらの組み合わせによって実行されるソフトウェア（例えば、コード、命令、プログラム）で実装され得る。ソフトウェアは、非一時的な記憶媒体（例えば、メモリ装置）に記憶されてもよい。図１４に示され、以下で説明される方法は、例示を目的としており、限定するものではない。図１４は、特定のシーケンスまたは順序で行われるさまざまな処理ステップを示しているが、これに限定することを意図したものではない。とある代替実施形態では、ステップは何らかの異なる順序で実行されてもよいし、一部のステップは並行して実行されてもよい。図１～図３に示す実施形態のようなとある実施形態では、図１４に示す処理は、前処理サブシステム（例えば、言語検出器２１２）によって実行され、１つまたは複数の他のサブシステム（例えば、複数の意図サブシステム２２０または３１０および／または明示的な呼び出しサブシステム１１０または意図分類器３２０）によって使用される抽出される情報を生成することができる。
【0117】
ブロック１４０４では、データ処理システム（例えば、図１～図３に関してそれぞれ説明したチャットボットシステム１０６、２０１、および／または３００）によって、テキスト単位のｎグラムのシーケンスが取得される。ｎグラムのシーケンスを取得するには、テキスト単位を入力として受信し、テキスト単位を解析してｎグラムのシーケンスを生成することが含まれ得る。ｎグラムのシーケンスには、単語レベルのｎグラムおよび／または文字レベルのｎグラムが含まれ得、複数の文字レベルのｎグラムのｎの値は、複数の単語レベルのｎグラムのｎの値と同じでも異なっていてもよい。一例では、ｎグラムのシーケンスには、単語レベルのユニグラムと文字レベルのバイグラムが含まれる。
【0118】
ブロック１４０８では、埋め込み層を使用して、ｎグラムのシーケンスの順序付けられる複数の埋め込みベクトルを取得する。埋め込み層には、複数の成分ベクトルを有するトレーニングされるモデルが含まれる。
【0119】
ブロック１４１２では、深層ネットワークを使用して、順序付けられる複数の埋め込みベクトルに基づく符号化ベクトルを取得する。深層ネットワークには、注意機構（例えば、１つまたは複数の注意層）が含まれる。さまざまな実施形態において、深層ネットワークはトレーニングされるＣＮＮを含み得る。
【0120】
ブロック１４１６では、分類器を使用して、符号化ベクトルに基づいてテキスト単位の言語予測を取得する。さまざまな実施形態において、分類器はフィードフォワードニューラルネットワークを含むことができる。このような場合、分類器の使用には、フィードフォワードニューラルネットワークの最終層の出力にソフトマックス関数を適用することが含まれ得る。
【0121】
図１５は、とある実施形態による言語検出のプロセス１５００を示すフローチャートである。図１５に示されている処理は、それぞれのシステム、ハードウェア、またはそれらの組み合わせの１つまたは複数の処理装置（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）で実装され得る。ソフトウェアは、非一時的な記憶媒体（例えば、メモリ装置）に記憶され得る。図１５に示され、以下で説明される方法は、例示を目的としており、制限を意図したものではない。図１５は、特定のシーケンスまたは順序で発生するさまざまな処理ステップを示しているが、これは制限を意図したものではない。とある代替実施形態では、ステップは異なる順序で実行され得、または、一部のステップも並行して実行され得る。図１～３に示す実施形態のようなとある実施形態では、図１５に示す処理は、前処理サブシステム（例えば、言語検出器２１２）によって実行され、１つまたは複数の他のサブシステム（例えば、複数の意図サブシステム２２０または３１０および／または明示的な呼び出しサブシステム１１０または意図分類器３２０）によって使用される抽出される情報を生成することができる。
【0122】
ブロック１５０４、１５１２、および１５１６は、図１４を参照して上記のブロック１４０４、１４１２、および１４１６の説明に従って実装することができる。ブロック１５０８では、埋め込み層を使用して、ｎグラムのシーケンスに対して順序付けられる複数の埋め込みベクトルを取得する。埋め込み層には、複数の成分ベクトルを有するトレーニングされるモデルが含まれる。ブロック１５０８には、ｎグラムのシーケンス内の各ｎグラムに対して順序付けられる複数の埋め込みベクトルのうち対応する１つを取得するために実行できるブロック１５０８ａ～１５０８ｄが含まれる。ブロック１５０８ａでは、ｎグラムの第１のハッシュ値とｎグラムの第２のハッシュ値が取得される。例えば、ｎグラムの第１のハッシュ値を取得するには、第１のシード値を有するハッシュ関数をｎグラムに適用することが含まれ得、ｎグラムの第２のハッシュ値を取得するには、第１のシード値とは異なる第２のシード値を有するハッシュ関数をｎグラムに適用することが含まれ得る。ブロック１５０８ｂでは、第１のハッシュ値に基づいて、複数の成分ベクトルの中から第１の成分ベクトルが選択される。ブロック１５０８ｃでは、第２のハッシュ値に基づいて、複数の成分ベクトルの中から第２の成分ベクトルが選択される。例えば、プロセス１５００には、第１のハッシュ値にモジュロ関数を適用して第１のインデックスを取得し、第２のハッシュ値にモジュロ関数を適用して第２のインデックスを取得することが含まれ得、第１の成分ベクトルの選択は第１のインデックスに基づいて行われ得、第２の成分ベクトルの選択は第２のインデックスに基づいて行われ得る。ブロック１５０８ｄでは、第１の成分ベクトルと第２の成分ベクトルに基づくｎグラムの埋め込みベクトルが取得される。例えば、埋め込みベクトルは、第１の成分ベクトルと第２の成分ベクトルの連結として取得され得る。さらに、または代替的に、ｎグラムの埋め込みベクトルを取得することは、第１の重み値を第１の成分ベクトルに適用して第１の重み付けベクトルを取得し、第２の重み値を第２の成分ベクトルに適用して第２の重み付けベクトルを取得することを含み得、埋め込みベクトルは第１の重み付けベクトルと第２の重み付けベクトルとに基づく。
【0123】
説明システム
図１６は、分散システム１６００の簡略図を示す。図示の例では、分散システム１６００は、１つまたは複数の通信ネットワーク１６１０を介してサーバ１６１２に結合される１つまたは複数のクライアントコンピューティング装置１６０２、１６０４、１６０６、および１６０８を含む。クライアントコンピューティング装置１６０２、１６０４、１６０６、および１６０８は、１つまたは複数のアプリケーションを実行するように構成され得る。
図１６は、分散システム１６００の簡略図を示す。図示の例では、分散システム１６００は、１つまたは複数の通信ネットワーク１６１０を介してサーバ１６１２に結合される１つまたは複数のクライアントコンピューティング装置１６０２、１６０４、１６０６、および１６０８を含む。クライアントコンピューティング装置１６０２、１６０４、１６０６、および１６０８は、１つまたは複数のアプリケーションを実行するように構成され得る。
【0124】
さまざまな例において、サーバ１６１２は、本開示で説明される１つまたは複数の実施形態を可能にする１つまたは複数のサービスまたはソフトウェアアプリケーションを実行するように適合され得る。とある例では、サーバ１６１２は、非仮想環境および仮想環境を含み得る他のサービスまたはソフトウェアアプリケーションも提供することができる。いくつかの例では、これらのサービスは、クライアントコンピューティング装置１６０２、１６０４、１６０６、および／または１６０８のユーザに、サービスとしてのソフトウェア（ＳａａＳ）モデルなどの下で、ウェブベースまたはクラウドサービスとして提供され得る。クライアントコンピューティング装置１６０２、１６０４、１６０６、および／または１６０８を動作するユーザは、順に１つまたは複数のクライアントアプリケーションを利用してサーバ１６１２と対話し、これらの構成要素によって提供されるサービスを利用することができる。
【0125】
図１６に示される構成では、サーバ１６１２は、サーバ１６１２によって実行される機能を実装する１つまたは複数の構成要素１６１８、１６２０、および１６２２を含み得る。これらの構成要素には、１つまたは複数のプロセッサ、ハードウェア構成要素、またはそれらの組み合わせによって実行できるソフトウェア構成要素が含まれ得る。分散システム１６００とは異なり得る、さまざまな異なるシステム構成が可能であることを理解されたい。したがって、図１６に示される例は、例示的なシステムを実装するための分散システムの一例であり、限定することを意図したものではない。
【0126】
ユーザは、クライアントコンピューティング装置１６０２、１６０４、１６０６、および／または１６０８を使用して、１つまたは複数のアプリケーション、モデル、またはチャットボットを実行することができ、これは、本開示の教示に従って実装またはサービスされ得る１つまたは複数のイベントまたはモデルを生成し得る。クライアント装置は、クライアント装置のユーザがクライアント装置と対話できるようにするインターフェースを提供することができる。クライアント装置は、このインターフェースを介してユーザに情報を出力することもできる。図１６には４つのクライアントコンピューティング装置のみが示されているが、任意の数のクライアントコンピューティング装置がサポートされ得る。
【0127】
クライアント装置には、ポータブルハンドヘルド装置、パーソナルコンピュータやラップトップなどの汎用コンピュータ、ワークステーションコンピュータ、ウェアラブル装置、ゲームシステム、シンクライアント、さまざまなメッセージング装置、センサまたは他の感知装置などのさまざまなタイプのコンピューティングシステムなどが含まれ得る。これらのコンピューティング装置は、さまざまなタイプとバージョンのソフトウェアアプリケーションとオペレーティングシステムを実行し得（例えば、Microsoft Windows（登録商標）、Apple Macintosh（登録商標）、ＵＮＩＸ（登録商標）またはＵＮＩＸ系オペレーティングシステム、Ｌｉｎｕｘ（登録商標）またはGoogle Chrome（商標）OSなどのＬｉｎｕｘ系オペレーティングシステム）、これには、さまざまなモバイルオペレーティングシステム（例えば、Microsoft Windows Mobile（登録商標）、iOS（登録商標）、Windows Phone（登録商標）、Android（商標）、BlackBerry（登録商標）、Palm OS（登録商標））が含まれる。ポータブルハンドヘルド装置には、携帯電話、スマートフォン（例えば、iPhone（登録商標））、タブレット（例えば、iPad（登録商標））、携帯情報端末（ＰＤＡ）などが含まれ得る。ウェアラブル装置には、Google Glass（登録商標）ヘッドマウントディスプレイおよびその他の装置が含まれ得る。ゲームシステムには、さまざまなハンドヘルドゲーム装置、インターネット対応ゲーム装置（例えば、Kinect（登録商標）ジェスチャ入力装置を備えたまたは備えていないMicrosoft Xbox（登録商標）ゲームコンソール、Sony Play Station（登録商標）システム、Nintendo（登録商標）が提供するさまざまなゲームシステムなど）、などが含まれ得る。クライアント装置は、さまざまなインターネット関連アプリ、通信アプリケーション（例えば、電子メールアプリケーション、ショートメッセージサービス（ＳＭＳ）アプリケーション）などのさまざまな異なるアプリケーションを実行することができ、さまざまな通信プロトコルを使用することができる。
【0128】
ネットワーク１６１０は、当業者によく知られている任意のタイプのネットワークであり、ＴＣＰ／ＩＰ（伝送制御プロトコル／インターネットプロトコル）、ＳＮＡ（システムネットワークアーキテクチャ）、ＩＰＸ（インターネットパケット交換）、Apple Talk（登録商標）などを含むがこれらに限定されない、さまざまな利用可能なプロトコルのいずれかを使用してデータ通信をサポートできる。単なる例として、ネットワーク１６１０は、ローカルエリアネットワーク（ＬＡＮ）、イーサネット（登録商標）に基づくネットワーク、トークンリング、ワイドエリアネットワーク（ＷＡＮ）、インターネット、仮想ネットワーク、仮想プライベートネットワーク（ＶＰＮ）、イントラネット、エクストラネット、公衆交換電話網（ＰＳＴＮ）、赤外線ネットワーク、無線ネットワーク（例えば、電気電子学会（ＩＥＥＥ）１００２．１１プロトコルスイートのいずれかで動作するネットワーク）、Bluetooth（登録商標）、および／または他の無線プロトコル）、ならびに／またはこれらおよび／もしくは他のネットワークの任意の組み合わせであり得る。
【0129】
サーバ１６１２は、１つまたは複数の汎用コンピュータ、専用サーバコンピュータ（例として、ＰＣ（パーソナルコンピュータ）サーバ、ＵＮＩＸ（登録商標）サーバ、ミッドレンジサーバ、メインフレームコンピュータ、ラックマウントサーバなどを含む）、サーバファーム、サーバクラスタ、またはその他の適切な配置および／または組み合わせから構成され得る。サーバ１６１２は、仮想オペレーティングシステムを実行する１つもしくは複数の仮想機械、またはサーバの仮想記憶装置を維持するために仮想化され得る論理記憶装置の１つもしくは複数の柔軟なプールなどの仮想化を伴う他のコンピューティングアーキテクチャを含み得る。さまざまな例において、サーバ１６１２は、前述の開示で説明される機能を提供する１つまたは複数のサービスまたはソフトウェアアプリケーションを実行するように適合され得る。
【0130】
サーバ１６１２のコンピューティングシステムは、上述したもののいずれかを含む１つまたは複数のオペレーティングシステム、ならびに任意の市販のサーバオペレーティングシステムを実行することができる。サーバ１６１２は、さまざまな追加のサーバプリケーションおよび／または中間層アプリケーションのいずれかを実行することもでき、これには、ＨＴＴＰ（ハイパーテキストトランスポートプロトコル）サーバ、ＦＴＰ（ファイル転送プロトコル）サーバ、ＣＧＩ（共通ゲートウェイインターフェース）サーバ、ＪＡＶＡ（登録商標）サーバ、データベースサーバなどが含まれる。例示的なデータベースサーバには、Oracle（登録商標）、Microsoft（登録商標）、Sybase（登録商標）、ＩＢＭ（登録商標）（International Business Machines）などから市販されているものが含まれるが、これらに限定されない。
【0131】
いくつかの実装では、サーバ１６１２には、クライアントコンピューティング装置１６０２、１６０４、１６０６、および１６０８のユーザから受信したデータフィードおよび／またはイベント更新を分析および統合するための１つまたは複数のアプリケーションが含まれ得る。例として、データフィードおよび／またはイベント更新には、Twitter（登録商標）フィード、Facebook（登録商標）更新、または１つまたは複数のサードパーティ情報ソースおよび継続的なデータストリームから受信したリアルタイム更新が含まれ得るが、これらに限定されず、これには、センサーデータアプリケーション、金融ティッカー、ネットワーク性能測定ツール（例えば、ネットワーク監視およびトラフィック管理アプリケーション）、クリックストリーム分析ツール、自動車交通監視などに関連するリアルタイムイベントが含まれ得る。サーバ１６１２はまた、クライアントコンピューティング装置１６０２、１６０４、１６０６、および１６０８の１つまたは複数の表示装置を介してデータフィードおよび／またはリアルタイムイベントを表示するための１つまたは複数のアプリケーションを含み得る。
【0132】
分散システム１６００には、１つまたは複数のデータリポジトリ１６１４、１６１６も含まれ得る。これらのデータリポジトリは、とある例ではデータやその他の情報を記憶するために使用され得る。例えば、データリポジトリ１６１４、１６１６の１つまたは複数は、さまざまな実施形態によるさまざまな機能を実行するときにサーバ１６１２によって使用されるチャットボットが使用するための、チャットボットの性能に関連する情報や生成されるモデルなどの情報を記憶するために使用できる。データリポジトリ１６１４、１６１６は、さまざまな場所に存在することができる。例えば、サーバ１６１２によって使用されるデータリポジトリは、サーバ１６１２に対してローカルであってもよいし、サーバ１６１２からリモートであってもよく、ネットワークベースまたは専用接続を介してサーバ１６１２と通信してもよい。データリポジトリ１６１４、１６１６は異なるタイプであってもよい。とある例では、サーバ１６１２によって使用されるデータリポジトリは、例えば、Oracle Corporation（登録商標）や他のベンダーによって提供されるデータベースなどのリレーショナルデータベースなどのデータベースである場合がある。これらのデータベースの１つまたは複数は、ＳＱＬ形式のコマンドに応答してデータベース間のデータの記憶、更新、および取得を可能にするように適合させることができる。
【0133】
とある例では、データリポジトリ１６１４、１６１６のうちの１つまたは複数は、アプリケーションデータを記憶するためにアプリケーションによって使用されてもよい。アプリケーションによって使用されるデータリポジトリは、例えば、キー／値ストアリポジトリ、オブジェクトストアリポジトリ、またはファイルシステムによってサポートされる一般的な記憶リポジトリなど、さまざまなタイプの場合がある。
【0134】
とある例では、本開示で説明される機能は、クラウド環境を介してサービスとして提供され得る。図１７は、とある例に従って、さまざまなサービスがクラウドサービスとして提供され得るクラウドベースのシステム環境の簡略化されるブロック図である。図１７に示される例では、クラウドインフラストラクチャシステム１７０２は、１つまたは複数のクライアントコンピューティング装置１７０４、１７０６、および１７０８を使用するユーザによって要求され得る１つまたは複数のクラウドサービスを提供し得る。クラウドインフラストラクチャシステム１７０２は、サーバ１６１２について上述したものを含むことができる１つまたは複数のコンピュータおよび／またはサーバを備えることができる。クラウドインフラストラクチャシステム１７０２内のコンピュータは、汎用コンピュータ、専用サーバコンピュータ、サーバファーム、サーバクラスタ、または任意の他の適切な配置および／または組み合わせとして編成され得る。
【0135】
ネットワーク１７１０は、クライアント１７０４、１７０６、および１７０８とクラウドインフラストラクチャシステム１７０２との間のデータの通信および交換を容易にすることができる。ネットワーク１７１０は、１つまたは複数のネットワークを含むことができる。ネットワークは同じタイプであっても、異なるタイプであってもよい。ネットワーク１７１０は、通信を容易にするために、有線および／または無線プロトコルを含む１つまたは複数の通信プロトコルをサポートすることができる。
【0136】
図１７に示す例は、クラウドインフラストラクチャシステムの一例にすぎず、限定することを意図したものではない。いくつかの他の例では、クラウドインフラストラクチャシステム１７０２は、図１７に示されるものより多いまたは少ない構成要素を有してもよく、２つ以上の構成要素を組み合わせてもよく、または構成要素の異なる構成または配置を有してもよいことを理解されたい。例えば、図１７は３つのクライアントコンピューティング装置を示しているが、代替例では任意の数のクライアントコンピューティング装置がサポートされ得る。
【0137】
クラウドサービスという用語は、一般的に、サービスプロバイダのシステム（例えば、クラウドインフラストラクチャシステム１７０２）によって、インターネットなどの通信ネットワークを介して、オンデマンドでユーザに提供されるサービスを指すために使用される。通常、パブリッククラウド環境では、クラウドサービスプロバイダのシステムを構成するサーバやシステムは、顧客自身のオンプレミスのサーバやシステムとは異なる。クラウドサービスプロバイダのシステムは、クラウドサービスプロバイダによって管理される。したがって、顧客は、サービス用のライセンス、サポート、またはハードウェアおよびソフトウェアリソースを別途購入することなく、クラウドサービスプロバイダが提供するクラウドサービスを利用できる。例えば、クラウドサービスプロバイダのシステムがアプリケーションをホストでき、ユーザはアプリケーションを実行するためのインフラストラクチャリソースを購入することなく、インターネット経由でオンデマンドでアプリケーションを注文して使用できる。クラウドサービスは、アプリケーション、リソース、サービスへの簡単かつスケーラブルなアクセスを提供するように設計されている。いくつかのプロバイダがクラウドサービスを提供している。例えば、ミドルウェアサービス、データベースサービス、Ｊａｖａクラウドサービスなど、いくつかのクラウドサービスがカリフォルニア州レッドウッドショアーズのOracle Corporation（登録商標）によって提供されている。
【0138】
とある例では、クラウドインフラストラクチャシステム１７０２は、異なるモデルを使用して１つまたは複数のクラウドサービスを提供することができ、例えば、Software as a Service(ＳａａＳ）モデル、Platform as a Service（ＰａａＳ）モデル、Infrastructure as a Service（ＩａａＳ）モデル、およびハイブリッドサービスモデルを含むその他のモデルなどである。クラウドインフラストラクチャシステム１７０２は、さまざまなクラウドサービスの提供を可能にする一連のアプリケーション、ミドルウェア、データベース、および他のリソースを含むことができる。
【0139】
ＳａａＳモデルでは、顧客が基礎となるアプリケーションのハードウェアやソフトウェアを購入することなく、アプリケーションまたはソフトウェアをインターネットなどの通信ネットワークを介してサービスとして顧客に提供できる。例えば、ＳａａＳモデルを使用して、クラウドインフラストラクチャシステム１７０２によってホストされるオンデマンドアプリケーションへのアクセスを顧客に提供できる。Oracle Corporation（登録商標）が提供するＳａａＳサービスの例には、人事／資本管理のためのさまざまなサービス、顧客関係管理（ＣＲＭ）、企業リソースプランニング（ＥＲＰ）、サプライチェーン管理（ＳＣＭ）、企業性能管理（ＥＰＭ）、分析サービス、ソーシャルアプリケーションなどが含まれるが、これらに限定されない。
【0140】
ＩａａＳモデルは、一般に、インフラストラクチャリソース（例えば、サーバ、記憶装置、ハードウェアおよびネットワーキングリソース）をクラウドサービスとして顧客に提供し、弾性なコンピューティングおよび記憶機能を提供するために使用される。さまざまなＩａａＳサービスがOracle Corporation（登録商標）によって提供されている。
【0141】
ＰａａＳモデルは、一般に、顧客がそのようなリソースを調達、構築、または維持する必要なく、顧客がアプリケーションおよびサービスを開発、実行、および管理できるようにするプラットフォームおよび環境リソースをサービスとして提供するために使用される。Oracle Corporation（登録商標）が提供するＰａａＳサービスの例には、Oracle Java Cloud Service（ＪＣＳ）、Oracle Database Cloud Service（ＤＢＣＳ）、データ管理クラウドサービス、さまざまなアプリケーション開発ソリューションサービスなどが含まれるが、これらに限定されない。
【0142】
クラウドサービスは、一般に、オンデマンド自己サービスベース、サブスクリプションベース、弾力的に拡張可能、信頼性が高く、可用性が高く、安全な方法で提供される。例えば、顧客は、サブスクリプション注文を介して、クラウドインフラストラクチャシステム１７０２によって提供される１つまたは複数のサービスを注文することができる。次に、クラウドインフラストラクチャシステム１７０２は、顧客のサブスクリプション注文で要求されるサービスを提供するための処理を実行する。例えば、ユーザは、発話を使用して、上述したように、クラウドインフラストラクチャシステムにとあるアクション（例えば、意図）を実行するように要求し、および／または本明細書で説明するようにチャットボットシステムにサービスを提供することができる。クラウドインフラストラクチャシステム１７０２は、１つまたは複数のクラウドサービスを提供するように構成され得る。
【0143】
クラウドインフラストラクチャシステム１７０２は、異なる展開モデルを介してクラウドサービスを提供することができる。パブリッククラウドモデルでは、クラウドインフラストラクチャシステム１７０２はサードパーティのクラウドサービスプロバイダによって所有され得、クラウドサービスは個人または企業であり得る一般の顧客に提供される。とある他の例では、プライベートクラウドモデルの下で、クラウドインフラストラクチャシステム１７０２は組織内（例えば、企業組織内）で動作され、組織内の顧客にサービスが提供され得る。例えば、顧客は人事部、給与部などの企業のさまざまな部門、あるいは企業内の個人である場合もある。他のとある例では、コミュニティクラウドモデルでは、クラウドインフラストラクチャシステム１７０２および提供されるサービスは、関連するコミュニティ内の複数の組織によって共有され得る。上記モデルのハイブリッドなど、他のさまざまなモデルも使用可能である。
【0144】
クライアントコンピューティング装置１７０４、１７０６、および１７０８は、異なるタイプ（例えば、図１６に示されるクライアントコンピューティング装置１６０２、１６０４、１６０６、および１６０８）であってもよく、１つまたは複数のクライアントアプリケーションを動作させることができてもよい。ユーザは、クライアント装置を使用して、クラウドインフラストラクチャシステム１７０２によって提供されるサービスを要求するなど、クラウドインフラストラクチャシステム１７０２と対話することができる。例えば、ユーザは、本開示で説明されるように、クライアント装置を使用して、チャットボットからの情報またはアクションを要求することができる。
【0145】
いくつかの例では、サービスを提供するためにクラウドインフラストラクチャシステム１７０２によって実行される処理には、モデルのトレーニングおよび展開が含まれ得る。この分析には、データセットの使用、分析、操作を行って、１つまたは複数のモデルをトレーニングおよび展開することが含まれ得る。この分析は、場合によってはデータを並行して処理したり、データを使用してシミュレーションを実行したりするなど、１つまたは複数のプロセッサによって実行することができる。例えば、ビッグデータ分析は、チャットボットシステム用の１つまたは複数のモデルを生成およびトレーニングするために、クラウドインフラストラクチャシステム１７０２によって実行され得る。この分析に使用されるデータには、構造化データ（例えば、データベースに記憶されているデータ、または構造化モデルに従って構造化されるデータ）および／または非構造化データ（例えば、データブロブ（バイナリラージオブジェクト））が含まれ得る。
【0146】
図１７の例に示されるように、クラウドインフラストラクチャシステム１７０２は、クラウドインフラストラクチャシステム１７０２によって提供されるさまざまなクラウドサービスの提供を容易にするために利用されるインフラストラクチャリソース１７３０を含むことができる。インフラストラクチャリソース１７３０には、例えば、処理リソース、記憶またはメモリリソース、ネットワーキングリソースなどが含まれ得る。とある例では、アプリケーションから要求される記憶を提供するために利用可能な記憶仮想機械は、クラウドインフラストラクチャシステム１７０２の一部であってもよい。他の例では、記憶仮想機械は異なるシステムの一部であってもよい。
【0147】
とある例では、さまざまな顧客向けにクラウドインフラストラクチャシステム１７０２によって提供されるさまざまなクラウドサービスをサポートするためのこれらのリソースの効率的なプロビジョニングを促進するために、リソースは、リソースのセットまたはリソースモジュール（「ポッド」とも呼ばれる）にバンドルされ得る。各リソースモジュールまたはポッドは、１つまたは複数のタイプのリソースの事前に統合および最適化される組み合わせを含み得る。とある例では、異なるタイプのクラウドサービスに対して異なるポッドが事前にプロビジョニングされ得る。例えば、第１セットのポッドはデータベースサービス用にプロビジョニングでき、第２セットのポッドは、第１セットのポッド内のポッドとは異なるリソースの組み合わせを含むことができ、Ｊａｖａサービスなど用にプロビジョニングできる。一部のサービスでは、サービスをプロビジョニングするために割り当てられるリソースがサービス間で共有され得る。
【0148】
クラウドインフラストラクチャシステム１７０２は、それ自体、クラウドインフラストラクチャシステム１７０２の異なる構成要素によって共有され、クラウドインフラストラクチャシステム１７０２によるサービスのプロビジョニングを容易にするサービス１７３２を内部的に使用することができる。これらの内部共有サービスには、セキュリティおよびＩＤサービス、統合サービス、企業リポジトリサービス、企業マネージャーサービス、ウイルススキャンおよびホワイトリストサービス、高可用性、バックアップおよびリカバリサービス、クラウドサポートを可能にするサービス、電子メールサービス、通知サービス、ファイル転送サービスなどが含まれ得るが、これらに限定されない。
【0149】
クラウドインフラストラクチャシステム１７０２は、複数のサブシステムを備えることができる。これらのサブシステムは、ソフトウェアやハードウェア、またはそれらの組み合わせで実装できる。図１７に示すように、サブシステムは、クラウドインフラストラクチャシステム１７０２のユーザまたは顧客がクラウドインフラストラクチャシステム１７０２と対話できるようにするユーザインターフェースサブシステム１７１２を含んでもよい。ユーザインターフェースサブシステム１７１２は、ウェブインターフェース１７１４、オンラインストアインターフェース１７１６などのさまざまな異なるインターフェースを含むことができ、クラウドインフラストラクチャシステム１７０２によって提供されるクラウドサービスは宣伝され、消費者および他のインターフェース１７１８によって購入可能である。例えば、顧客は、クライアント装置を使用して、インターフェース１７１４、１７１６、および１７１８の１つまたは複数を使用して、クラウドインフラストラクチャシステム１７０２によって提供される１つまたは複数のサービスを要求する（サービス要求１７３４）場合がある。例えば、顧客はオンラインストアにアクセスし、クラウドインフラストラクチャシステム１７０２によって提供されるクラウドサービスを閲覧し、顧客がサブスクライブを希望するクラウドインフラストラクチャシステム１７０２によって提供される１つまたは複数のサービスのサブスクリプション注文を行うことができる。サービス要求には、顧客を識別する情報と、顧客がサブスクリプションを希望する１つまたは複数のサービスが含まれ得る。例えば、顧客は、クラウドインフラストラクチャシステム１７０２によって提供されるサービスのサブスクリプション注文を行うことができる。注文の一部として、顧客は、サービスが提供されるチャットボットシステムを識別する情報と、任意でチャットボットシステムの１つまたは複数の資格情報を提供できる。
【0150】
図１７に示される例などのとある例では、クラウドインフラストラクチャシステム１７０２は、新しい注文を処理するように構成される注文管理サブシステム（ＯＭＳ）１７２０を備えることができる。この処理の一部として、まだ作成していない場合は、ＯＭＳ１７２０は顧客の口座を作成し、要求されるサービスを顧客に提供するために顧客に請求するために使用される請求情報および／または会計情報を顧客から受信し、顧客情報を確認し、確認後、顧客の注文を予約する。さまざまなワークフローを調整して、プロビジョニングの注文を準備するように構成できる（まだ作成していない場合）。
【0151】
適切に検証されると、ＯＭＳ１７２０は、処理、メモリ、およびネットワーキングリソースを含む注文のためのリソースをプロビジョニングするように構成される注文プロビジョニングサブシステム（ＯＰＳ）１７２４を呼び出し得る。プロビジョニングには、注文に対してリソースを割り当て、顧客の注文によって要求されるサービスを容易にするためにリソースを構成することが含まれ得る。注文に対してリソースがプロビジョニングされる方法およびプロビジョニングされるリソースのタイプは、顧客が注文したクラウドサービスのタイプによって異なる場合がある。例えば、１つのワークフローによれば、ＯＰＳ１７２４は、要求されている特定のクラウドサービスを決定し、その特定のクラウドサービスに対して事前構成されている可能性のあるポッドの数を識別するように構成され得る。注文に対して割り当てられるポッドの数は、要求されるサービスのサイズ／量／レベル／範囲によって異なる場合がある。例えば、割り当てられるポッドの数は、サービスによってサポートされるユーザの数、サービスが要求されている期間などに基づいて決定され得る。割り当てられるポッドは、次いで、要求されるサービスを提供するために、特定の要求顧客向けにカスタマイズできる。
【0152】
とある例では、セットアップフェーズ処理は、上で説明したように、プロビジョニングプロセスの一部としてクラウドインフラストラクチャシステム１７０２によって実行され得る。クラウドインフラストラクチャシステム１７０２はアプリケーションＩＤを生成し、クラウドインフラストラクチャシステム１７０２自体によって提供される記憶仮想機械の中から、またはクラウドインフラストラクチャシステム１７０２以外の他のシステムによって提供される記憶仮想機械の中から、アプリケーションのための記憶仮想機械を選択できる。
【0153】
クラウドインフラストラクチャシステム１７０２は、要求したサービスがいつ使用できるようになったかを示すために、要求している顧客に応答または通知１７４４を送信することができる。場合によっては、顧客が要求されるサービスの使用および利点の利用を開始できるようにする情報（例えば、リンク）が顧客に送信され得る。とある例では、サービスを要求する顧客の場合、応答は、クラウドインフラストラクチャシステム１７０２によって生成されるチャットボットシステムＩＤと、チャットボットシステムＩＤに対応するチャットボットシステムについてクラウドインフラストラクチャシステム１７０２によって選択されるチャットボットシステムを識別する情報とを含み得る。
【0154】
クラウドインフラストラクチャシステム１７０２は、複数の顧客にサービスを提供することができる。各顧客に対して、クラウドインフラストラクチャシステム１７０２は、顧客から受信した１つまたは複数のサブスクリプション注文に関連する情報を管理し、注文に関連する顧客データを維持し、要求されるサービスを顧客に提供する責任を負う。クラウドインフラストラクチャシステム１７０２はまた、顧客によるサブスクリプションサービスの使用に関する使用統計を収集することもできる。例えば、使用される記憶の量、転送されるデータの量、ユーザ数、システムの稼働時間と停止時間などの統計が収集され得る。この使用情報は、顧客への請求に使用され得る。請求は、例えば、月次サイクルで行うことができる。
【0155】
クラウドインフラストラクチャシステム１７０２は、複数の顧客に並行してサービスを提供することができる。クラウドインフラストラクチャシステム１７０２は、おそらく専有情報を含む、これらの顧客のための情報を記憶することができる。とある例では、クラウドインフラストラクチャシステム１７０２は、顧客情報を管理し、ある顧客に関連する情報が別の顧客によってアクセスできないように管理情報の分離を提供するように構成されるＩＤ管理サブシステム（ＩＭＳ）１７２８を備える。ＩＭＳ１７２８は、情報アクセス管理、認証および承認サービス、顧客ＩＤとロールおよび関連機能の管理サービスなどのＩＤサービスなど、さまざまなセキュリティ関連サービスを提供するように構成できる。
【0156】
図１８は、コンピュータシステム１８００の一例を示す。いくつかの例では、コンピュータシステム１８００は、分散環境内のデジタルアシスタントまたはチャットボットシステムのいずれか、および上述のさまざまなサーバおよびコンピュータシステムを実装するために使用され得る。図１８に示すように、コンピュータシステム１８００は、バスサブシステム１８０２を介して他の多くのサブシステムと通信する処理サブシステム１８０４を含むさまざまなサブシステムを含む。これらの他のサブシステムには、処理加速装置１８０６、Ｉ／Ｏサブシステム１８０８、記憶サブシステム１８１８、および通信サブシステム１８２４が含まれ得る。記憶サブシステム１８１８は、記憶媒体１８２２およびシステムメモリ１８１０を含む非一時的なコンピュータ可読記憶媒体を含み得る。
【0157】
バスサブシステム１８０２は、コンピュータシステム１８００のさまざまな構成要素およびサブシステムが意図したとおりに相互に通信できるようにする機構を提供する。バスサブシステム１８０２は単一のバスとして概略的に示されているが、バスサブシステムの代替例では複数のバスを利用することもできる。バスサブシステム１８０２は、メモリバスまたはメモリコントローラ、周辺バス、さまざまなバスアーキテクチャのいずれかを使用するローカルバスなどを含むいくつかのタイプのバス構造のいずれであってもよい。例えば、そのようなアーキテクチャには、Industry Standard Architecture（ＩＳＡ）バス、Micro Channel Architecture（ＭＣＡ）バス、Enhanced ISA（ＥＩＳＡ）バス、Video Electronics Standards Association（ＶＥＳＡ）ローカルバス、およびPeripheral Component Interconnect（ＰＣＩ）バスが含まれ得る。これは、ＩＥＥＥＰ１３１５６．１規格などに従って製造されるメザニンバスとして実装され得る。
【0158】
処理サブシステム１８０４は、コンピュータシステム１８００の動作を制御し、１つまたは複数のプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含み得る。プロセッサには、単一コアまたはマルチコアプロセッサが含まれ得る。コンピュータシステム１８００の処理リソースは、１つまたは複数の処理装置１８３２、１８３４などに編成され得る。処理装置には、１つもしくは複数のプロセッサ、同じもしくは異なるプロセッサからの１つもしくは複数のコア、コアとプロセッサの組み合わせ、またはコアとプロセッサのその他の組み合わせが含まれ得る。いくつかの例では、処理サブシステム１８０４は、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数の専用コプロセッサを含み得る。いくつかの例では、処理サブシステム１８０４の処理装置の一部またはすべてが、特定用途向け集積回路（ＡＳＩＣ）やフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのカスタマイズされる回路を使用して実装され得る。
【0159】
いくつかの例では、処理サブシステム１８０４内の処理装置は、システムメモリ１８１０またはコンピュータ可読記憶媒体１８２２に記憶される命令を実行することができる。さまざまな例において、処理装置は、さまざまなプログラムまたはコード命令を実行し、複数の同時実行プログラムまたはプロセスを維持することができる。いつでも、実行されるプログラムコードの一部またはすべては、システムメモリ１８１０および／または潜在的に１つもしくは複数の記憶装置を含むコンピュータ可読記憶媒体１８２２に載置することができる。適切なプログラミングを通じて、処理サブシステム１８０４は、上述のさまざまな機能を提供することができる。コンピュータシステム１８００が１つまたは複数の仮想機械を実行している場合、１つまたは複数の処理装置が各仮想機械に割り当てられ得る。
【0160】
とある例では、コンピュータシステム１８００によって実行される全体の処理を加速するために、カスタマイズされる処理を実行するため、または処理サブシステム１８０４によって実行される処理の一部をオフロードするために、処理加速装置１８０６が任意で提供されてもよい。
【0161】
Ｉ／Ｏサブシステム１８０８は、コンピュータシステム１８００に情報を入力するための、および／またはコンピュータシステム１８００からもしくはコンピュータシステム１８００を介して情報を出力するための装置および機構を含み得る。一般に、入力装置という用語の使用は、コンピュータシステム８００に情報を入力するためのあらゆる可能なタイプの装置および機構を含むことを意図している。ユーザインターフェース入力装置には、例えば、キーボード、マウスやトラックボールなどのポインティング装置、ディスプレイに組み込まれたタッチパッドやタッチスクリーン、スクロールホイール、クリックホイール、ダイヤル、ボタン、スイッチ、キーパッド、音声コマンド認識システムを備えた音声入力装置、マイク、およびその他のタイプの入力装置が含まれ得る。ユーザインターフェース入力装置には、モーションセンシング装置および／またはジェスチャ認識装置も含まれ得、例えば、ユーザが入力装置を制御および動作できるようにするMicrosoft Kinect（登録商標）モーションセンサー、Microsoft Xbox（登録商標）３６０ゲームコントローラー、ジェスチャや音声コマンドを使用して入力を受信するためのインターフェースを提供する装置などである。ユーザインターフェース入力装置には、ユーザの目の動き（例えば、写真を撮影しているときやメニューを選択しているときの「まばたき」）を検出し、その目のジェスチャを入力装置（例えば、Google Glass（登録商標））への入力として変換するGoogle Glass（登録商標）まばたき検出器などの目のジェスチャ認識装置も含まれ得る。さらに、ユーザインターフェース入力装置は、ユーザが音声コマンドを通じて音声認識システム（例えば、Siri（登録商標）ナビゲータ）と対話できるようにする音声認識センシング装置を含んでもよい。
【0162】
ユーザインターフェース入力装置の他の例には、限定されないが、三次元（３Ｄ）マウス、ジョイスティックまたはポインティングスティック、ゲームパッドおよびグラフィックタブレット、およびスピーカー、デジタルカメラ、デジタルビデオカメラ、ポータブルメディアプレーヤ、ウェブカメラ、画像スキャナ、指紋スキャナ、バーコードリーダ３Ｄスキャナ、３Ｄプリンタ、レーザー距離計、視線追跡装置などの音声／ビジュアル装置が含まれ得る。さらに、ユーザインターフェース入力装置には、例えば、コンピュータ断層撮影法、磁気共鳴画像化、位置放射断層撮影法、および医療用超音波検査装置などの医療用画像化入力装置が含まれ得る。ユーザインターフェース入力装置には、例えば、ＭＩＤＩキーボード、デジタル楽器などの音声入力装置も含まれ得る。
【0163】
一般に、出力装置という用語の使用は、コンピュータシステム１８００からユーザまたは他のコンピュータに情報を出力するためのあらゆる可能なタイプの装置および機構を含むことを意図している。ユーザインターフェース出力装置には、ディスプレイサブシステム、インジケータライト、または音声出力装置などの非視覚的ディスプレイが含まれ得る。ディスプレイサブシステムは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）またはプラズマディスプレイを使用するものなどのフラットパネル装置、投影装置、タッチスクリーンなどであってもよい。例えば、ユーザインターフェース出力装置には、モニター、プリンタ、スピーカー、ヘッドフォン、自動車ナビゲーションシステム、プロッター、音声出力装置、モデムなど、テキスト、グラフィック、音声／ビデオ情報を視覚的に伝えるさまざまなディスプレイ装置が含まれるが、これらに限定されない。
【0164】
記憶サブシステム１８１８は、コンピュータシステム１８００によって使用される情報およびデータを記憶するためのリポジトリまたはデータストアを提供する。記憶サブシステム１８１８は、いくつかの例の機能を提供する基本的なプログラミングおよびデータ構造を記憶するための、有形の非一時的なコンピュータ可読記憶媒体（例えば、非一時的なコンピュータ可読メモリ）を提供する。記憶サブシステム１８１８は、処理サブシステム１８０４によって実行されると上述の機能を提供するソフトウェア（例えば、プログラム、コードモジュール、命令）を記憶することができる。ソフトウェアは、処理サブシステム１８０４の１つまたは複数の処理装置によって実行され得る。記憶サブシステム１８１８は、本開示の教示に従って認証を提供することもできる。
【0165】
記憶サブシステム１８１８は、揮発性メモリ装置および不揮発性メモリ装置を含む、１つまたは複数の非一時的メモリ装置を含み得る。図１８に示されるように、記憶サブシステム１８１８は、システムメモリ１８１０およびコンピュータ可読記憶媒体１８２２を含む。システムメモリ１８１０には、プログラム実行中に命令とデータを記憶するための揮発性メインランダムアクセスメモリ（ＲＡＭ）と、固定命令が記憶される不揮発性読み取り専用メモリ（ＲＯＭ）またはフラッシュメモリを含む、複数のメモリが含まれ得る。いくつかの実装では、起動中など、コンピュータシステム１８００内の要素間で情報を転送するのに役立つ基本ルーチンを含む基本入出力システム（BIOS）は、通常、ＲＯＭに記憶され得る。ＲＡＭは通常、処理サブシステム１８０４によって現在動作および実行されているデータおよび／またはプログラムモジュールを含む。いくつかの実装では、システムメモリ１８１０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの複数の異なるタイプのメモリを含み得る。
【0166】
限定ではなく一例として、図１８に示すように、システムメモリ１８１０は、実行中のアプリケーションプログラム１８１２をロードすることができ、これには、ウェブブラウザ、中間層アプリケーション、リレーショナルデータベース管理システム（ＲＤＢＭＳ）などのさまざまなアプリケーション、プログラムデータ１８１４、およびオペレーティングシステム１８１６が含まれ得る。一例として、オペレーティングシステム１８１６は、Microsoft Windows（登録商標）、Apple Macintosh（登録商標）、および／またはＬｉｎｕｘオペレーティングシステム、さまざまな市販のＵＮＩＸ（登録商標）またはＵＮＩＸ類似オペレーティングシステム（さまざまなＧＮＵ／Ｌｉｎｕｘオペレーティングシステム、Google Chrome（登録商標）OSなどを含むがこれらに限定されない）、および／またはモバイルオペレーティングシステム、例えば、iOS、Windows（登録商標）Phone、Android（登録商標）OS、BlackBerry（登録商標）OS、Palm（登録商標）OSオペレーティングシステムなどのさまざまなバージョンを含み得る。
【0167】
コンピュータ可読記憶媒体１８２２は、いくつかの例の機能を提供するプログラミングおよびデータ構造を記憶することができる。コンピュータ可読媒体１８２２は、コンピュータシステム１８００用のコンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータの記憶を提供し得る。処理サブシステム１８０４によって実行されると、上述の機能を提供するソフトウェア（プログラム、コードモジュール、命令）は、記憶サブシステム１８１８に記憶され得る。一例として、コンピュータ可読記憶媒体１８２２は、ハードディスクドライブ、磁気ディスクドライブ、ＣＤＲＯＭ、ＤＶＤ、Ｂｌｕ－Ｒａｙ（登録商標）ディスクなどの光ディスクドライブ、またはその他の光媒体などの不揮発性メモリが含まれ得る。コンピュータ可読記憶媒体１８２２としては、Ｚｉｐ（登録商標）ドライブ、フラッシュメモリカード、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ、セキュアデジタル（ＳＤ）カード、ＤＶＤディスク、デジタルビデオテープなどが含まれ得る、これらに限定されない。コンピュータ可読記憶媒体８２２には、フラッシュメモリベースのＳＳＤなどの不揮発性メモリに基づくソリッド状態ドライブ（ＳＳＤ）、企業フラッシュドライブ、ソリッド状態ＲＯＭなど、ソリッド状態ＲＡＭ、ダイナミックＲＡＭ、スタティックＲＡＭ、ＤＲＡＭベースのＳＳＤ、磁気抵抗ＲＡＭ（ＭＲＡＭ）ＳＳＤ、ＤＲＡＭとフラッシュメモリベースのＳＳＤを組み合わせて使用するハイブリッドＳＳＤなどの揮発性メモリをベースとするＳＳＤも含まれ得る。
【0168】
とある例では、記憶サブシステム１８１８はまた、コンピュータ可読記憶媒体１８２２にさらに接続され得るコンピュータ可読記憶媒体リーダ１８２０を含み得る。リーダ１８２０は、ディスク、フラッシュドライブなどのメモリ装置からデータを受信して読み取るように構成され得る。
【0169】
とある例では、コンピュータシステム１８００は、処理リソースおよびメモリリソースの仮想化を含むがこれに限定されない仮想化技術をサポートすることができる。例えば、コンピュータシステム１８００は、１つまたは複数の仮想機械を実行するためのサポートを提供することができる。とある例では、コンピュータシステム１８００は、仮想機械の構成および管理を容易にするハイパーバイザなどのプログラムを実行することができる。各仮想機械には、メモリ、コンピューティング（例えば、プロセッサ、コア）、Ｉ／Ｏ、およびネットワークリソースが割り当てられ得る。各仮想機械は通常、他の仮想機械とは独立して実行される。仮想機械は通常、独自のオペレーティングシステムを実行し、それは、コンピュータシステム１８００によって実行される他の仮想機械によって実行されるオペレーティングシステムと同じであっても、異なっていてもよい。したがって、複数のオペレーティングシステムがコンピュータシステム１８００によって同時に潜在的に実行され得る。
【0170】
通信サブシステム１８２４は、他のコンピュータシステムおよびネットワークへのインターフェースを提供する。通信サブシステム１８２４は、コンピュータシステム１８００から他のシステムとの間でデータを送受信するためのインターフェースとして機能する。例えば、通信サブシステム１８２４により、コンピュータシステム１８００は、インターネットを介して１つまたは複数のクライアント装置との通信チャネルを確立し、クライアント装置との間で情報を送受信できるようになる。例えば、コンピュータシステム１８００を使用して図１に示すボットシステム１２０を実装する場合、通信サブシステムを使用して、アプリケーション用に選択されるチャットボットシステムと通信することができる。
【0171】
通信サブシステム１８２４は、有線通信プロトコルおよび／または無線通信プロトコルの両方をサポートすることができる。とある例では、通信サブシステム１８２４は、無線音声および／またはデータネットワーク（例えば、携帯電話技術、３Ｇ、４Ｇ、またはＥＤＧＥ（世界的な進化のための強化されるデータ速度）などの高度なデータネットワーク技術の使用）へアクセスするための無線周波数（ＲＦ）トランシーバ構成要素、ＷｉＦｉ（ＩＥＥＥ１５０２．ＸＸファミリ規格、その他のモバイル通信技術、またはそれらの組み合わせ）、全地球測位システム（ＧＰＳ）受信機構成要素、および／または他の構成要素を含んでもよい。いくつかの例では、通信サブシステム１８２４は、無線インターフェースに加えて、または無線インターフェースの代わりに、有線ネットワーク接続（例えば、イーサネット）を提供することができる。
【0172】
通信サブシステム１８２４は、さまざまな形式でデータを送受信することができる。いくつかの例では、他の形式に加えて、通信サブシステム１８２４は、構造化および／または非構造化データフィード１８２６、イベントストリーム１８２８、イベント更新１８３０などの形式で入力通信を受信することができる。例えば、通信サブシステム１８２４は、ソーシャルメディアネットワークおよび／または他の通信サービスのユーザからリアルタイムでデータフィード１８２６を受信（または送信）するように構成され得、例えば、Twitter（登録商標）フィード、Facebook（登録商標）更新、リッチサイトサマリー（ＲＳＳ）フィードなどのＷｅｂフィード、および／または１つまたは複数のサードパーティ情報ソースからのリアルタイム更新などである。
【0173】
とある例では、通信サブシステム１８２４は、連続データストリームの形式でデータを受信するように構成され、これには、明示的な終了がなく、本質的に連続的または無制限である可能性がある、リアルタイムイベントおよび／またはイベント更新１８３０のイベントストリーム１８２８が含まれ得る。連続データを生成するアプリケーションの例としては、センサーデータアプリケーション、金融ティッカー、ネットワーク性能測定ツール（例えば、ネットワーク監視およびトラフィック管理アプリケーション）、クリックストリーム分析ツール、自動車交通監視などが挙げられ得る。
【0174】
通信サブシステム１８２４は、コンピュータシステム１８００から他のコンピュータシステムまたはネットワークにデータを通信するように構成することもできる。データは、構造化データフィードおよび／または非構造化データフィード１８２６、イベントストリーム１８２８、イベント更新１８３０などのさまざまな形式で、コンピュータシステム１８００に結合される１つまたは複数のストリーミングデータソースコンピュータと通信している可能性のある１つまたは複数のデータベースに通信され得る。
【0175】
コンピュータシステム１８００は、さまざまなタイプのうちの１つであり得、これには、ハンドヘルドポータブル装置（例えば、iPhone（登録商標）携帯電話、ｉＰａｄ（登録商標）コンピューティングタブレット、ＰＤＡ）、ウェアラブル装置（例えば、Google Glass（登録商標）ヘッドマウントディスプレイ）、パーソナルコンピュータ、ワークステーション、メインフレーム、キオスク、サーバラック、またはその他のデータ処理システムが含まれる。コンピュータおよびネットワークの絶え間なく変化する性質のため、図１８に示されるコンピュータシステム１８００の説明は、具体的な実施例としてのみ意図されている。図１８に示されるシステムよりも多いまたは少ない構成要素を有する他の多くの構成が可能である。本明細書で提供される開示および教示に基づいて、さまざまな例を実装するための他の方法および／または方法があることを理解されたい。
【0176】
具体的な実施例を説明したが、さまざまな修正、変更、代替構成、および均等物が可能である。例は、とある具体的なデータ処理環境内での動作に限定されず、複数のデータ処理環境内で自由に動作することができる。さらに、特定の一連のトランザクションおよびステップを使用してとある例を説明したが、これが限定を意図するものではないことは当業者には明らかである。一部のフローチャートでは動作が逐次的なプロセスとして説明されているが、動作の多くは並列または同時に実行できる。さらに、動作の順序は並べ替えることができる。プロセスには、図に含まれていない追加のステップが含まれ得る。上記の例のさまざまな特徴および態様は、個別にまたは組み合わせて使用できる。
【0177】
さらに、ハードウェアとソフトウェアの特定の組み合わせを使用してとある例を説明したが、ハードウェアとソフトウェアの他の組み合わせも可能であることを認識されたい。とある例は、ハードウェアのみで、もしくはソフトウェアのみで、またはそれらの組み合わせを使用して実装することができる。本明細書で説明されるさまざまなプロセスは、同じプロセッサ上で実装されてもよいし、異なるプロセッサ上で任意の組み合わせで実装されてもよい。
【0178】
装置、システム、構成要素、またはモジュールがとある動作または機能を実行するように構成されていると説明されている場合、このような構成は、例えば、動作を実行する電子回路を設計することによって、コンピュータ命令もしくはコード、または非一時的メモリ媒体に記憶されるコードもしくは命令を実行するようにプログラムされるプロセッサもしくはコア、またはそれらの任意の組み合わせを実行することなどによって動作を実行するプログラマブル電子回路（例えば、マイクロプロセッサ）をプログラムすることによって達成され得る。プロセスは、プロセス間通信のための従来の技術を含むがこれに限定されないさまざまな技術を使用して通信することができ、プロセスの異なる対が異なる技術を使用することも、同じプロセスの対が異なる時点で異なる技術を使用することもできる。
【0179】
実施例の完全な理解を提供するために、本開示では具体的な詳細が与えられる。しかし、これらの具体的な詳細なしで例を実施することもできる。例えば、よく知られている回路、プロセス、アルゴリズム、構造、および技術は、例を分かりにくくすることを避けるために不必要な詳細を省略して示されている。この説明は、例示的な例のみを提供するものであり、他の例の範囲、適用性、または構成を制限することを意図するものではない。むしろ、前述の例の説明は、当業者に、さまざまな例を実装するための有効な説明を提供するものである。要素の機能や配置にはさまざまな変更を加えることができる。
【0180】
したがって、本明細書および図面は、限定的な意味ではなく、例示的な意味としてみなされるべきである。しかし、特許請求の範囲に記載のより広い趣旨および範囲から逸脱することなく、追加、減算、削除、ならびにその他の修正および変更を行うことができることは明らかである。したがって、具体的な実施例を説明したが、これらは限定することを意図したものではない。さまざまな修正および均等物は、以下の特許請求の範囲内に含まれる。
【0181】
前述の明細書では、本開示の態様を具体的な実施例を参照して説明したが、当業者であれば、本開示はこれらに限定されないことは理解できるであろう。上述の開示のさまざまな特徴および態様は、個別にまたは組み合わせて使用することができる。さらに、例は、本明細書のより広い趣旨および範囲から逸脱することなく、本明細書に記載されているものを超えて、任意の数の環境および用途で利用することができる。したがって、明細書および図面は、限定的なものではなく、例示的なものとみなされるべきである。
【0182】
前述の説明では、例示の目的で、方法を特定の順序で説明した。代替例では、方法は説明した順序とは異なる順序で実行されてもよいことを理解されたい。また、上述の方法は、ハードウェア構成要素によって実行されてもよいし、機械実行可能命令のシーケンスで具体化されてもよく、命令でプログラムされる汎用もしくは専用のプロセッサまたは論理回路などの機械に方法を実行させるために使用することができることを理解されたい。これらの機械実行可能命令は、ＣＤ－ＲＯＭまたはその他のタイプの光ディスク、フロッピー（登録商標）ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カードもしくは光カード、フラッシュメモリ、または電子命令を記憶するのに適したその他のタイプの機械可読媒体など、１つまたは複数の機械可読媒体に記憶され得る。あるいは、これらの方法は、ハードウェアとソフトウェアの組み合わせによって実行されてもよい。
【0183】
構成要素がとある動作を実行するように構成されていると説明されている場合、このような構成は、例えば、動作を実行する電子回路または他のハードウェアを設計することによって、動作を実行するプログラマブル電子回路（例えば、マイクロプロセッサまたは他の適切な電子回路）をプログラムすることによってまたはそれらの組み合わせによって達成され得る。
【0184】
本明細書では、本出願の例示的な実施例について詳細に説明したが、本発明の概念は、他のさまざまな形で具体化および採用され得ること、および、添付の請求項は、先行技術によって制限されない限り、そのような変形を含むように解釈されることが意図されていることを理解されたい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【国際調査報告】