特表2022-540784自然言語理解フレームワークでの発言についての複数意味表現の導出
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-20
(54)【発明の名称】自然言語理解フレームワークでの発言についての複数意味表現の導出
(51)【国際特許分類】
G06F 16/90 20190101AFI20220912BHJP
G06F 40/205 20200101ALI20220912BHJP
G06F 16/383 20190101ALI20220912BHJP
G06F 16/901 20190101ALI20220912BHJP
【ＦＩ】
G06F16/90 100
G06F40/205
G06F16/383
G06F16/901
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021577217
(86)(22)【出願日】2020-07-01
(85)【翻訳文提出日】2022-02-28
(86)【国際出願番号】 US2020040573
(87)【国際公開番号】W WO2021003313
(87)【国際公開日】2021-01-07
(31)【優先権主張番号】62/869,826
(32)【優先日】2019-07-02
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/552,493
(32)【優先日】2019-08-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＭＡＴＬＡＢ
２．ＪＡＶＡＳＣＲＩＰＴ
３．ＪＡＶＡ
(71)【出願人】
【識別番号】518249328
【氏名又は名称】サービスナウ， インコーポレイテッド
【氏名又は名称原語表記】ＳｅｒｖｉｃｅＮｏｗ， Ｉｎｃ．
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(72)【発明者】
【氏名】サプガイ エドウィン
(72)【発明者】
【氏名】サルダ ゴパル
【テーマコード（参考）】
5B091
5B175
【Ｆターム（参考）】
5B091CA12
5B175DA01
5B175EA01
5B175FB02
(57)【要約】
本手法は、一般には、仮想エージェント（たとえば、チャット・エージェント）が受け取る要求などのユーザ発話から意味を抽出し、これらのユーザ発話に適宜応答することが可能なエージェント・オートメーション・フレームワークに関する。特定の態様では、エージェント・オートメーション・フレームワークは、ＮＬＵフレームワークと、サンプル発話に関連付けられる定義付けされた意図およびエンティティを有する意図－エンティティ・モデルとを含む。ＮＬＵフレームワークは、意図－エンティティ・モデルのサンプル発話について意味表現を生成して、理解モデルを構築し、かつ、受け取ったユーザ発話について意味表現を生成して、発話意味モデルを構築するように設計される意味抽出サブシステムを含んでもよい。本開示のＮＬＵフレームワークは、理解モデルの意味表現を検索して、発話意味モデルの意味表現についてマッチするものを特定するように設計される意味検索サブシステムを含んでもよい。
【特許請求の範囲】
【請求項1】
エージェント・オートメーション・システムであって、自然言語理解（ＮＬＵ）フレームワークを記憶するように構成されるメモリであって、前記ＮＬＵフレームワークが、品詞（ＰＯＳ）コンポーネント、修正コンポーネント、多様性フィルタ・コンポーネント、パーサ・コンポーネント、ならびに、最終スコアリングおよびフィルタリング・コンポーネントを含む、メモリと、
前記エージェント・オートメーション・システムにアクションを実行させるために、前記ＮＬＵフレームワークの命令を実行するように構成されるプロセッサと
を備え、
前記アクションが、
前記ＰＯＳタグ付けを使用することであって、前記ＰＯＳタグ付けを使用して、１組の発話の品詞（ＰＯＳ）タグ付けを実行することで、前記１組の発話から１組の潜在的ＰＯＳタグ付けを生成する、前記ＰＯＳタグ付けを使用することと、
前記多様性フィルタ・コンポーネントを使用することであって、前記多様性フィルタ・コンポーネントを使用して、前記１組の潜在的ＰＯＳタグ付け内の他のＰＯＳタグ付けと実質的に類似する１つまたは複数のＰＯＳタグ付けを、前記１組のＰＯＳタグ付けから除去する、前記多様性フィルタ・コンポーネントを使用することと、
前記パーサ・コンポーネントを使用することであって、前記パーサ・コンポーネントを使用して、前記１組の潜在的ＰＯＳタグ付けから１組の潜在的意味表現を生成する、前記パーサ・コンポーネントを使用することと、
前記最終スコアリングおよびフィルタリング・コンポーネントを使用することであって、前記最終スコアリングおよびフィルタリング・コンポーネントを使用して、前記１組の潜在的意味表現内の各潜在的意味表現について、それぞれの最終スコアを計算し、前記１組の潜在的意味表現から、潜在的意味表現を、それら潜在的意味表現のそれぞれの最終スコアに基づいて除去することで、最終組の意味表現を生成する、前記最終スコアリングおよびフィルタリング・コンポーネントを使用することと
を含む、エージェント・オートメーション・システム。
【請求項2】
前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、前記１組の発話を当初の発話に基づいて生成するために、ボキャブラリ注入を実行することであって、前記１組の発話が、前記当初の発話と、異なる言い回し、異なる専門用語、または、異なる言い回しと異なる専門用語との組合せを有する、前記当初の発話の１つまたは複数の再発現とを含む、ボキャブラリ注入を実行することを含む、
請求項１に記載のシステム。
【請求項3】
前記当初の発話が、ユーザ発話であり、前記最終組の意味表現が、意味検索について検索キーを規定する発話意味モデルの一部分を形成する、請求項２に記載のシステム。
【請求項4】
前記当初の発話が、前記メモリに記憶される意図－エンティティ・モデルのサンプル発話であり、前記最終組の意味表現が、意味検索について検索空間を規定する理解モデルの一部分を形成する、請求項２に記載のシステム。
【請求項5】
前記ＰＯＳコンポーネント、前記修正コンポーネント、前記多様性フィルタ・コンポーネント、前記パーサ・コンポーネント、ならびに、前記最終スコアリングおよびフィルタリング・コンポーネントが、前記ＮＬＵフレームワークのプラグインとして、それぞれ実装される、請求項１に記載のシステム。
【請求項6】
前記ＰＯＳコンポーネント、前記パーサ・コンポーネント、または、前記ＰＯＳコンポーネントと前記パーサ・コンポーネントとの組合せが、フィードフォワード人工ニューラル・ネットワークである機械学習（ＭＬ）ベースのコンポーネントを含む、請求項１に記載のシステム。
【請求項7】
前記１組の潜在的意味表現の各潜在的意味表現が、発話木である、請求項１に記載のシステム。
【請求項8】
前記ＰＯＳコンポーネントを使用してＰＯＳタグ付けを実行するために、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、前記１組の発話の各発話について、
前記発話の少なくとも１つの潜在的ＰＯＳタグ付けを生成することと、
前記少なくとも１つの潜在的ＰＯＳタグ付けについて、それぞれの信頼スコアを求めることと、
前記それぞれの信頼スコアが、予め規定されたＰＯＳ閾値以上であると判定することに応答して、前記少なくとも１つの潜在的ＰＯＳタグ付けを、前記１組の潜在的ＰＯＳタグ付けに含めることと
を含む、請求項１に記載のシステム。
【請求項9】
前記多様性フィルタ・コンポーネントを使用して、前記１つまたは複数のＰＯＳタグ付けを除去するために、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、前記１組の潜在的ＰＯＳタグ付けのうちの、第１の潜在的ＰＯＳタグ付けと第２の潜在的ＰＯＳタグ付けとの間で多様性スコアを計算することと、
前記多様性スコアが、予め規定されたバリエーション閾値未満であることに応答して、前記１組の潜在的ＰＯＳタグ付けから前記第２の潜在的ＰＯＳタグ付けを除去することと
を含む、請求項１に記載のシステム。
【請求項10】
前記多様性フィルタ・コンポーネントを使用して、前記１つまたは複数のＰＯＳタグ付けを除去するために、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、前記１組の潜在的ＰＯＳタグ付けのうちの各潜在的ＰＯＳタグ付け間のタグ付け距離を計算することと、
前記タグ付け距離、および、予め規定されたバリエーション閾値に基づいて、前記１組の潜在的ＰＯＳタグ付けを、潜在的ＰＯＳタグ付けのグループにクラスタ分けすることと、
前記潜在的ＰＯＳタグ付けのグループのそれぞれについて、代表となる潜在的ＰＯＳタグ付けを選択することと、
前記１組の潜在的ＰＯＳタグ付けから、代表となる潜在的ＰＯＳタグ付けではない潜在的ＰＯＳタグ付けを除去することと
を含む、請求項１に記載のシステム。
【請求項11】
前記パーサ・コンポーネントを使用して、前記１組の潜在的意味表現を生成するために、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、前記１組の潜在的ＰＯＳタグ付けのうちの各潜在的ＰＯＳタグ付けについて、
前記潜在的ＰＯＳタグ付けの、少なくとも１つの潜在的意味表現を生成することと、
前記少なくとも１つの潜在的意味表現について、それぞれの信頼スコアを求めることと、
前記それぞれの信頼スコアが、予め規定されたパーサ閾値以上であると判定することに応答して、前記少なくとも１つの潜在的意味表現を、前記１組の潜在的意味表現に含めることと
を含む、請求項１に記載のシステム。
【請求項12】
前記最終スコアリングおよびフィルタリング・コンポーネントを使用するために、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、前記１組の潜在的意味表現のうちの各潜在的意味表現について、
前記潜在的意味表現の前記それぞれの最終スコアを計算するために、前記潜在的意味表現のＰＯＳタグ付け信頼スコアとパーシング信頼スコアとを組み合わせることと、
前記潜在的意味表現の前記それぞれの最終スコアが、最終スコアリングおよびフィルタリング閾値未満であると判断することに応答して、前記１組の潜在的意味表現から、前記潜在的意味表現を除去することと
を含む、請求項１に記載のシステム。
【請求項13】
自然言語理解（ＮＬＵ）フレームワークを動作する方法であって、当初の発話に基づいて１組の発話を生成するために、ボキャブラリ注入を実行することであって、前記１組の発話が、前記当初の発話と、前記当初の発話の１つまたは複数の再発言とを含む、ボキャブラリ注入を実行することと、
前記１組の発話について１組の潜在的ＰＯＳタグ付けを生成するために、前記１組の発話の品詞（ＰＯＳ）タグ付けを実行することと、
前記１組の潜在的ＰＯＳタグ付け内の他のＰＯＳタグ付けと実質的に類似するＰＯＳタグ付けを、前記１組の潜在的ＰＯＳタグ付けから除去するために多様性フィルタリングを実行することと、
１組の潜在的意味表現を生成するために、前記１組の潜在的ＰＯＳタグ付けをパースすることと、
前記１組の潜在的意味表現内の各潜在的意味表現について、それぞれの最終スコアを計算し、前記１組の潜在的意味表現内の各潜在的意味表現の前記それぞれの最終スコアに基づいて、前記１組の潜在的意味表現から、前記当初の発話について最終組の意味表現を選択することと
を含む方法。
【請求項14】
ボキャブラリ注入を実行する前に前記当初の発話をクレンジングすることを含み、クレンジングが、前記当初の発話の１つまたは複数のトークンを置き換えること、または、除去することを含む、請求項１３に記載の方法。
【請求項15】
ボキャブラリ注入を実行することが、ボキャブラリ・モデル内に存在する、前記当初の発話の１つまたは複数のトークンを識別することと、
前記１つまたは複数のトークンについて、前記ボキャブラリ・モデルから１つまたは複数の代替的トークンを選択することと、
前記当初の発話の前記１つまたは複数の再発現を生成するために、前記当初の発話の前記１つまたは複数のトークンを、前記１つまたは複数の代替的トークンに置き換えることと
を含む、請求項１３に記載の方法。
【請求項16】
品詞（ＰＯＳ）タグ付けを実行することが、前記１組の発話の各発話について、
前記発話の少なくとも１つの潜在的ＰＯＳタグ付けを生成することと、
前記少なくとも１つの潜在的ＰＯＳタグ付けについて、それぞれの信頼スコアを求めることと、
前記それぞれの信頼スコアが、予め規定されたＰＯＳ閾値以上であると判定することに応答して、前記少なくとも１つの潜在的ＰＯＳタグ付けを、前記１組の潜在的ＰＯＳタグ付けに含めることと
を含む、請求項１３に記載の方法。
【請求項17】
多様性フィルタリングを実行することが、前記１組の潜在的ＰＯＳタグ付けのうちの２つの潜在的ＰＯＳタグ付けの間で多様性スコアを計算することと、
前記多様性スコアが、予め規定されたバリエーション閾値未満であることに応答して、前記１組の潜在的ＰＯＳタグ付けから、前記２つの潜在的ＰＯＳタグ付けのうちの１つを除去することと
を含む、請求項１３に記載の方法。
【請求項18】
それぞれの最終スコアを計算し、前記最終組の意味表現を選択することが、前記１組の潜在的意味表現のうちの各潜在的意味表現について、
前記潜在的意味表現について前記それぞれの最終スコアを計算するために、前記潜在的意味表現のＰＯＳタグ付け信頼スコアとパーシング信頼スコアとを組み合わせることと、
前記最終スコアが、予め規定された最終スコアリングおよびフィルタリング閾値以上であると判定すること応答して、前記最終組の意味表現に前記潜在的意味表現を含めることと
を含む、請求項１３に記載の方法。
【請求項19】
前記最終組の意味表現を使用して意味検索を実行することであって、前記最終組の意味表現が、前記意味検索の検索キーを規定する発話意味モデルの一部分を形成するか、または、前記意味検索について検索空間を規定する理解モデルの一部分を形成する、意味検索を実行することを含む、請求項１３に記載の方法。
【請求項20】
コンピューティング・システムの１つまたは複数のプロセッサにより実行可能な自然言語理解（ＮＬＵ）フレームワークの命令を記憶する非一時的コンピュータ可読媒体であって、前記命令が、当初の発話を受け取る命令であって、前記当初の発話が、ユーザ発話または意図－エンティティ・モデルのサンプル発話である、命令と、
前記当初の発話の１つまたは複数のトークンを置き換えること、または、除去することにより、前記当初の発話をクレンジングする命令と、
前記当初の発話に基づいて１組の発話を生成するために、ボキャブラリ注入を実行する命令あって、前記１組の発話が、前記当初の発話と、前記当初の発話の１つまたは複数の再発言とを含む、命令と、
前記１組の発話について１組の潜在的ＰＯＳタグ付けを生成するために、前記１組の発話の品詞（ＰＯＳ）タグ付けを実行する命令と、
前記１組の潜在的ＰＯＳタグ付け内の他のＰＯＳタグ付けと実質的に類似するＰＯＳタグ付けを、前記１組の潜在的ＰＯＳタグ付けから除去するために多様性フィルタリングを実行する命令と、
１組の潜在的意味表現を生成するために、前記１組の潜在的ＰＯＳタグ付けをパースする命令と、
前記１組の潜在的意味表現内の各潜在的意味表現について、それぞれの最終スコアを計算し、前記１組の潜在的意味表現内の各潜在的意味表現の前記それぞれの最終スコアに基づいて、前記１組の潜在的意味表現から、前記当初の発話について最終組の意味表現を選択する命令と、
前記最終組の意味表現を使用して意味検索を実行する命令であって、前記最終組の意味表現が、前記意味検索の検索キーを規定する発話意味モデルの一部分を形成するか、または、前記意味検索について検索空間を規定する理解モデルの一部分を形成する、命令と
を含む、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
相互参照
本願は、出願日２０１９年７月２日、米国仮出願第６２／８６９，８２６号、名称「DERIVING MULTIPLE MEANING REPRESENTATIONS FOR AN UTTERANCE IN A NATURAL LANGUAGE UNDERSTANDING (NLU) FRAMEWORK」に対する優先権および利益を主張する。同仮米国出願全体を、あらゆる目的のために、本明細書に参照により組み入れる。
本願は、出願日２０１９年７月２日、米国仮出願第６２／８６９，８２６号、名称「DERIVING MULTIPLE MEANING REPRESENTATIONS FOR AN UTTERANCE IN A NATURAL LANGUAGE UNDERSTANDING (NLU) FRAMEWORK」に対する優先権および利益を主張する。同仮米国出願全体を、あらゆる目的のために、本明細書に参照により組み入れる。
【背景技術】
【0002】
本開示内容は、一般には、自然言語理解（ＮＬＵ）および人工知能（ＡＩ）の分野に関し、より詳細には、ＮＬＵのためのハイブリッド学習システムに関する。
【0003】
このセクションは、後に説明および／または特許請求を行う本開示内容の様々な態様に関連し得る様々な技術態様を読者に紹介することを意図している。ここでの議論は、本開示内容の様々な態様をより良く理解し易くする背景情報を読者に提供するのに役立つと考えられる。したがって、この観点で、これらの文言は読み取られるべきであり、従来技術を承認するものではないことを理解されたい。
【0004】
クラウド・コンピューティングは、一般にはインターネットを介してアクセスされるコンピューティング資源の共用に関する。具体的には、クラウド・コンピューティング・インフラストラクチャは、サーバ、ストレージ・デバイス、ネットワーク、アプリケーション、他のコンピューティングをベースとするサービスなどのコンピューティング資源の共用プールに、個人や企業などのユーザがアクセスすることを可能にする。そうすることで、ユーザは、必要に応じて、離れた場所に位置するコンピューティング資源にアクセスすることが可能であり、これらの資源を使用して、多様なコンピューティング機能（たとえば、多量なコンピューティング・データの記憶および／または処理）を実行することができる。企業および他の組織ユーザにとっては、クラウド・コンピューティングは、クラウド・コンピューティング資源へのアクセスにおいて柔軟性を提供し、高価なネットワーク機器を購入することや、プライベート・ネットワーク・インフラストラクチャを確立するのに多くの時間を費やすことなど、大きな先行コストを生じることはない。むしろ、クラウド・コンピューティング資源を利用することにより、ユーザは、自身の資源の方向修正を行って、自身の企業のコアな機能に集中することが可能である。
【0005】
こうしたクラウド・コンピューティング・サービスは、クライアント・インスタンスのユーザからの自然言語要求に基づいて、そのクライアント・インスタンスに関する問題に自動的に応答するように設計された、チャット・エージェントなどの仮想エージェントのホストとして働くことができる。たとえば、自然言語処理（ＮＬＰ）または自然言語理解（ＮＬＵ）システムの一部分である仮想エージェントに、ユーザが、パスワードの問題についての支援を要求するかもしれない。ＮＬＰは、自然言語入力の何らかの形態の処理を含むコンピュータ・サイエンスおよびＡＩの概念である。ＮＬＰが扱う分野の例には、言語翻訳、発語生成、パース木抽出、品詞識別などが含まれる。ＮＬＵは、ユーザ発話の理解に特に焦点を当てたＮＬＰの副分野である。ＮＬＵが扱う分野の例には、質問応答（たとえば、読解力問題）、記事要約などが含まれる。たとえば、ＮＬＵは、人間の言語（たとえば、話されたもの、または記載されたもの）を、下流の仮想エージェントが使用する１組の既知のシンボルに還元するためのアルゴリズムを使用することができる。ＮＬＰは、一般に、自由なテキスト（文面）を解釈して、更に解析するのに使用される。ＮＬＰへの現在の手法は、一般に、深層学習に基づいており、深層学習とは、データ内のパターンを調べ、それを使用して、プログラムの理解を改善するＡＩの一種である。
【0006】
特定のＮＬＵシステムは、認知構造文法の言語原理に基づいている。これらの原理のうちの１つは、発話の形状または形態が、その発話の意味に密接に関連しているということである。したがって、ＮＬＵシステムが、自体の動作を改善するために、確度の高い複数の発話理解方法の抽出または決定が可能であることが重要であると現在理解されている。
【発明の概要】
【0007】
本明細書で開示する特定の実施形態の概要を以下で述べる。これらの態様は、こうした特定の実施形態の簡単な概要を読者に提供するだけのために提示されるものであり、これらの態様は、本開示内容の範囲を限定することは意図しないことを理解されたい。実際に、本開示内容は、以下では述べられないかもしれない多様な態様を包含し得る。
【0008】
本実施形態は、仮想エージェント（たとえば、チャット・エージェント）が受け取る要求などのユーザ発話から意味を抽出し、これらのユーザ発話に適宜応答することが可能なエージェント・オートメーション・フレームワークを対象とする。このために、エージェント・オートメーション・フレームワークは、ＮＬＵフレームワークと、サンプル発話に関連付けられる定義づけされた意図およびエンティティを有する意図－エンティティ・モデルとを含む。ＮＬＵフレームワークは、意図－エンティティ・モデルのサンプル発話について意味表現を生成して、理解モデルを構築し、かつ、受け取ったユーザ発話について意味表現を生成して、発話意味モデルを構築するように設計される意味抽出サブシステムを含む。さらに、開示するＮＬＵフレームワークは、理解モデル（検索空間とも称する）の意味表現を検索して、発話意味モデル（検索キーとも称する）の意味表現について、マッチするものを特定するように設計される意味検索サブシステムを含む。したがって、本実施形態は、概ね、ＮＬＵによりもたらされる難問を、管理可能な検索問題に変換することにより、こうした難問を扱う。
【0009】
さらに、発話意味モデル内でのユーザ発話の複数の意味表現、ならびに、理解モデル内でのサンプル発話の複数の意味表現（各表現は、比較のために、基礎となる発話の異なる理解または解釈を表現している）を有することで、意味検索の性能が高まることが現在認識されている。さらに、特定の代替的意味表現により、意味検索中にマッチするものを識別する可能性が改善されるが、明らかに誤った、または実質的に冗長な意味表現を検索する追加のコンピューティング資源も、意味検索では消費され得ることも現在認識されている。したがって、発話の高価値な特定の代替的意味表現（たとえば、高確率な意味表現、および／または、十分にそれぞれ意味が異なる意味表現）を追求して、意味検索を高めるべきであり、他の代替的意味表現を廃棄して、コンピューティング資源の使用を制限し、ＮＬＵフレームワークの効率を改善するべきであることが認識されている。
【0010】
上記を考慮して、本実施形態は、意図－エンティティ・モデル中のサンプル発話およびユーザからの受け取る発話を含めた、発話についての複数の意味表現を生成することが可能な意味抽出サブシステムを含むＮＬＵフレームワークを対象にする。開示する意味抽出サブシステムは、異なるいくつかのコンポーネントを含む。これらのコンポーネントは、プラグインとして実装して柔軟性を高めることができる。特定の実施形態では、これらは、品詞（ＰＯＳ）プラグイン、修正プラグイン、バリエーション・フィルタ（ＶＦ）プラグイン、パーサ・プラグイン、ならびに、最終スコアリングおよびフィルタリング（ＦＳＦ）プラグインを含む。たとえば、ＰＯＳプラグインは、発話およびＰＯＳ閾値を受け取り、ＰＯＳ閾値に基づいて、その発話についての１組の潜在的ＰＯＳタグ付けを、これらのＰＯＳタグ付けに対する対応信頼スコアとともに生成する機械学習（ＭＬ）ベースのコンポーネントを含み得る。修正プラグインは、１組の潜在的ＰＯＳタグ付けを受け取り、規則ベースまたはＭＬベースの技術を適用して、１組の潜在的ＰＯＳタグ付け内のエントリを改変または除去することができる。ＶＦプラグインは、１組の潜在的ＰＯＳタグ付けおよびバリエーション閾値を受け取り、バリエーション閾値に基づいて、他のエントリと十分に異なっていない特定のエントリを１組の潜在的ＰＯＳタグ付けから除去することができる。パーサ・プラグインは、１組の潜在的ＰＯＳタグ付けを受け取り（たとえば、修正および／または多様性フィルタリングの後で）、１組の潜在的ＰＯＳタグ付け内の各エントリについて、それぞれの意味表現（たとえば、発話木）および対応する信頼スコアを生成するＭＬベースまたは規則ベースのコンポーネントを含むことができる。ＦＳＦプラグインは、１組の意味表現、ＰＯＳのタグ付けおよびパーシングからの信頼スコア、ならびに、ＦＳＦ閾値を受け取り、ＦＳＦ閾値に基づいて、発話についての最終的な１組の意味表現を決定することができる。
【図面の簡単な説明】
【0011】
以下の詳細な説明を読むことにより、また、図面を参照することにより、本開示内容の様々な態様をより良好に理解することができる。
【図1】本技術の実施形態が動作することができるクラウド・コンピューティング・システムの一実施形態のブロック図である。
【図2】本技術の実施形態が動作することができるマルチインスタンス・クラウド・アーキテクチャの一実施形態のブロック図である。
【図4A】本技術の態様によるエージェント・オートメーション・フレームワークであって、クラウド・コンピューティング・システムがホストとして働くクライアント・インスタンスの一部分であるＮＬＵフレームワークを含むエージェント・オートメーション・フレームワークの一実施形態を示す模式図である。
【図4B】本技術の態様によるエージェント・オートメーション・フレームワークであって、ＮＬＵフレームワークの一部分が、クラウド・コンピューティング・システムがホストとして働く企業インスタンスの一部分であるエージェント・オートメーション・フレームワークの一代替的実施形態を示す模式図である。
【図5】本技術の態様によるプロセスであって、ＮＬＵフレームワークおよび挙動エンジン・フレームワークを含めたエージェント・オートメーション・フレームワークが、意図および／またはエンティティをユーザ発話から抽出し、ユーザ発話に応答するプロセスの一実施形態を示すフロー図である。
【図6】本技術の態様による、意味抽出サブシステムおよび意味検索サブシステムを含んだＮＬＵフレームワークであって、意味抽出サブシステムが、受け取ったユーザ発話から意味表現を生成して、発話意味モデルを作り、理解モデルのサンプル発話から意味表現を生成して、理解モデルを作り、意味検索サブシステムが、発話意味モデルの意味表現を、理解モデルの意味表現と比較して、受け取ったユーザ発話からアーチファクト（たとえば、意図およびエンティティ）を抽出する、ＮＬＵフレームワークの一実施形態を示すブロック図である。
【図7】本技術の態様による意味抽出サブシステムであって、規則ベースの方法と機械学習（ＭＬ）ベースの方法との組合せを、ＮＬＵフレームワークのボキャブラリ・サブシステム、構造サブシステム、および韻律サブシステム内で使用して、発話について意味表現を生成する意味抽出サブシステムの一実施形態を示すブロック図である。
【図8】本技術の態様による、発話について生成された発話木の例を示す図である。
【図9】本技術の態様によるプロセスであって、ボキャブラリ・サブシステムおよび構造サブシステムを含んだＮＬＵフレームワークの意味抽出サブシステムが、発話の再発現および意味表現を生成するプロセスの一実施形態を示すフロー図である。
【図10】本技術の態様によるプロセスであって、ＮＬＵフレームワークの構造サブシステムが、発話について、それぞれ異なる意味表現を生成するプロセスの一実施形態を示すフロー図である。
【図11】本技術の態様によるプロセスであって、当初の発話が、ボキャブラリ・サブシステムおよび構造サブシステムにより再発現されて、１組の最終指名ＰＯＳタグ付けになるプロセスの一実施形態を示すフロー図である。
【発明を実施するための形態】
【0012】
１つまたは複数の具体的実施形態を以下で説明する。これらの実施形態の簡潔な説明を提供するために、実際の実装形態の全ての特徴を本明細書中で説明しているわけではない。任意の工学プロジェクトまたは設計プロジェクトなどでの、そのような実際の任意の実装形態の開発においては、実装形態に特有の非常に多くの決定を行って、実装形態ごとに変わり得る開発者の具体的目標（システム関連および事業関連の制約の準拠など）が達成されなければならないことを理解されたい。さらに、こうした開発努力は複雑で、時間を消費し得るものであるが、本開示内容に恩恵を受ける当業者にとっては、設計、作製、および製造を請け負う日常業務であるはずであることを理解されたい。
【0013】
本明細書では、「コンピューティング・システム」または「コンピューティング・デバイス」という用語は、単一のコンピュータ、単一の仮想機械、単一の仮想コンテナ、単一のホスト、単一のサーバ、単一のラップトップ、単一のモバイル・デバイスなどの（ただし、これらに限定されない）電子コンピューティング・デバイス、または、コンピューティング・システム上で、もしくはコンピューティング・システムにより実行されるものとして説明を行う機能を実行するために、ともに動作する複数の電子コンピューティング・デバイスを指す。本明細書では、「機械可読媒体」という用語は、１つまたは複数の命令またはデータ構造を記憶する単一または複数の媒体（たとえば、集中もしくは分散データベース、ならびに／または、それに関連するキャッシュおよびサーバ）を含み得る。「非一時的機械可読媒体」という用語は、コンピューティング・システムにより実行される命令を記憶すること、符号化すること、または伝えることが可能であり、本主題の方法論のうちの任意の１つまたは複数を、コンピューティング・システムに実行させる、あるいは、こうした命令により利用される、またはこうした命令に関連するデータ構造を記憶すること、符号化すること、または伝えることが可能な任意の有形媒体も含むものとする。したがって、「非一時的機械可読媒体」という用語は、ソリッドステート・メモリ、光学媒体、および磁気媒体を含むものとするが、これらに限定されない。非一時的機械可読媒体の具体的例には、不揮発性メモリが含まれるが、これに限定されない。この不揮発性メモリには、例として、半導体メモリ・デバイス（たとえば、消去およびプログラム可能読取り専用メモリ（ＥＰＲＯＭ）、電気的消去およびプログラム可能読取り専用メモリ（ＥＥＰＲＯＭ）、ならびにフラッシュ・メモリ・デバイス）、内部ハード・ディスクやリムーバブル・ディスクなどの磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭディスク、およびＤＶＤ－ＲＯＭディスクが含まれるが、これらに限定されない。
【0014】
本明細書では、「アプリケーション」、「エンジン」、および「プラグイン」という用語は、特定の機能を提供するために、コンピューティング・システムの１つまたは複数のプロセッサが実行可能な１つまたは複数組のコンピュータ・ソフトウェア命令（たとえば、コンピュータ・プログラムおよび／またはスクリプト）を指す。コンピュータ・ソフトウェア命令は、Ｃ、Ｃ＋＋、Ｃ＃、Ｐａｓｃａｌ、Ｆｏｒｔｒａｎ、Ｐｅｒｌ、ＭＡＴＬＡＢ、ＳＡＳ、ＳＰＳＳ、ＪａｖａＳｃｒｉｐｔ、ＡＪＡＸ、およびＪＡＶＡなどの任意の適当なプログラミング言語で書くことが可能である。こうしたコンピュータ・ソフトウェア命令は、データ入力モジュールおよびデータ表示モジュールを伴う独立したアプリケーションを含むことができる。あるいは、開示するコンピュータ・ソフトウェア命令は、分散オブジェクトとしてインスタンス化される分類にすることもできる。開示するコンピュータ・ソフトウェア命令は、たとえば、ＪＡＶＡＢＥＡＮＳやＥＮＴＥＲＰＲＩＳＥ ＪＡＶＡＢＥＡＮＳなどのコンポーネント・ソフトウェアとすることもできる。さらに、開示するアプリケーションまたはエンジンは、コンピュータ・ソフトウェア、コンピュータ・ハードウェア、またはこれらの組合せで実装することが可能である。
【0015】
本明細書では、「フレームワーク」という用語は、１つまたは複数の総括的機能を実行するために協働する、アプリケーションおよび／またはエンジンのシステム、ならびに、サポートとなる他の任意のデータ構造、ライブラリ、モジュール、および他の任意のサポートとなる機能を指す。具体的には、「自然言語理解フレームワーク」または「ＮＬＵフレームワーク」は、理解モデルに基づいて、自然言語発話から意味（たとえば、意図、エンティティ、アーチファクト）を処理および導出するように設計されたコンピュータ・プログラムの集合を含む。本明細書では、「挙動エンジン」または「ＢＥ」（推論エージェントまたはＲＡ／ＢＥとしても知られている）は、会話モデルに基づいてユーザと対話するように設計された、仮想エージェントなどの規則ベースのエージェントを指す。たとえば、「仮想エージェント」は、自然言語要求を介して、特定の会話チャネルまたはコミュニケーション・チャネルでユーザと対話するように設計されたＢＥの特定例を指す場合がある。これを考慮すると、「仮想エージェント」および「ＢＥ」という用語は、本明細書中では互いに入れ替え可能に使用される。具体的例として、仮想エージェントは、自然言語要求を介してユーザと対話し、チャット・ルーム環境で応答するチャット・エージェントであってもよく、または、こうしたチャット・エージェントを含んでもよい。仮想エージェントの他の例は、電子メール・エージェント、フォーラム・エージェント、チケッティング・エージェント、電話通話エージェントなどを含むことができ、これらエージェントは、電子メール、フォーラム投稿、サービス・チケットへの自動返信、電話通話などのコンテキストでユーザと対話する。
【0016】
本明細書では、「意図」は、ユーザの要望または目標を指し、これらは、発話などのコミュニケーションの基礎的な目的に関連し得る。本明細書では、「エンティティ」は、目的語、主語、または、意図の何らかの他のパラメータ表現を指す。本実施形態については、特定のエンティティが、対応する意図のパラメータとして扱われることに留意されたい。より具体的には、特定のエンティティ（たとえば、時間および場所）は、全ての意図について全体的に認識および抽出することができるが、他のエンティティは、意図に特有のものであり（たとえば、購入する意図に関連する商品エンティティ）、それらエンティティを規定する意図の中に見つかった場合のみ大まかに抽出される。本明細書では、「アーチファクト」は、まとめて、発話の意図およびエンティティの両方を指す。本明細書では、「理解モデル」とは、自然言語発話の意味を推測するために、ＮＬＵフレームワークにより使用されるモデルの集合である。理解モデルは、特定のトークン（たとえば、単語またはフレーズ）を、特定の単語ベクトル、意図－エンティティ・モデル、エンティティ・モデル、またはこれらの組合せに関連付けるボキャブラリ・モデルを含み得る。本明細書では、「意図－エンティティ・モデル」は、特定の意図を、特定のサンプル発話に関連付けるモデルを指し、意図に関連付けられるエンティティは、そのモデルのサンプル発話内で、意図のパラメータとして符号化することができる。本明細書では、「エージェント」という用語は、会話チャネル内で互いに対話するコンピュータ生成されたペルソナ（たとえば、チャット・エージェントまたは他の仮想エージェント）を指すこともある。本明細書では、「コーパス」は、様々なユーザと様々な仮想エージェントとの間での対話を含む、取り込んだソース・データのボディを指し、この対話には、１つまたは複数の適当な種類の媒体（たとえば、ヘルプ・ライン、チャット・ルームまたはメッセージ列、電子メール列）内でのコミュニケーションまたは会話が含まれる。本明細書では、「発話木」は、発話の意味表現を記憶するデータ構造を指す。議論するように、発話木は、発話の構文構造を表現する木構造（たとえば、係り受けパース木構造）を有し、木構造のノードが、発話の意味論的意味を符号化するベクトル（たとえば、単語ベクトル、部分木ベクトル）を記憶する。
【0017】
本明細書では、「ソース・データ」または「会話ログ」は、様々なエージェント間での任意の適当な対話を取り込んだものを含んでもよく、これら対話には、チャット・ログ、電子メール列、ドキュメント、ヘルプ・ドキュメンテーション、ＦＡＱ（頻繁にされる質問）、フォーラム・エントリ、サポート・チケッティングでのアイテム、ヘルプ・ライン・コールの記録などが含まれるが、これらに限定されない。本明細書では、「発話」は、ユーザまたはエージェントによりもたらされ、１つまたは複数の意図を含み得る単一の自然言語ステートメントを指す。したがって、発話は、予め取り込まれたソース・データのコーパスの一部分である場合があり、また、発話は、仮想エージェントとの対話の一部分としてユーザから受け取る新たなステートメントである場合もある。本明細書では、「機械学習」または「ＭＬ」は、機械学習技術を使用して訓練することが可能な任意の適当な統計的形態の人工知能を指すのに使用される場合があり、これらの機械学習技術には、教師あり学習技術、教師なし学習技術、半教師あり学習技術が含まれる。たとえば、特定の実施形態では、人工ニューラル・ネットワーク（ＡＮＮ）（たとえば、ディープ・ニューラル・ネットワーク（ＤＮＮ）、リカレント・ニューラル・ネットワーク（ＲＮＮ）、リカーシブ・ニューラル・ネットワーク、フィードフォワード・ニューラル・ネットワーク）を使用することで、ＭＬベースの技術を実装することができる。対して、「規則ベース」の方法および技術は、言語構造の厳密な裁定および意味論的理解を可能にして、発話から意味表現を導出する規則の組およびオントロジ（たとえば、マニュアル的に作られたオントロジ、統計的に導出されたオントロジ）の使用を指す。本明細書では、「ベクトル」（たとえば、単語ベクトル、意図ベクトル、主語ベクトル、部分木ベクトル）は、発話の一部分（たとえば、単語またはフレーズ、意図、エンティティ、トークン）の意味論的意味の数学的表現を提供する浮動小数点値（たとえば、１×Ｎ行列またはＮ×１行列）の規則化ｎ次元リスト（たとえば、３００次元リスト）である線形代数ベクトルを指す。本明細書では、「分野固有性」は、所与の分野および／または会話チャネルでの実際の会話内で表現される意図およびエンティティを正確に抽出するためにシステムをどのように調和させるかを指す。本明細書では、発話の「理解」とは、ＮＬＵフレームワークによる発話の解釈または構築を指す。したがって、それぞれ異なる発話理解は、それぞれ異なる構造（たとえば、それぞれ異なるノード、ノード間でのそれぞれ異なる関係）、それぞれ異なる品詞タグ付けなどを有するそれぞれ異なる意味表現に関連し得ることを理解することができる。
【0018】
上記のように、コンピューティング・プラットフォームは、ユーザ要求に自動的に応答して、機能を実行するか、またはプラットフォーム上の問題を扱うように設計されたチャット・エージェントまたは他の同様の仮想エージェントを含み得る。自然言語発話からユーザ意図を導出しようとする場合には、単一の発話が、その発話のトークンについて、それぞれ異なる潜在的品詞（ＰＯＳ）タグ付けを有することがあり、また、これらのそれぞれ異なるＰＯＳタグ付けは、それぞれ異なる発話形態導出を表現することが現在のところ認識されている。この結果、いくつかの異なる意味表現（例、発話木）を、単一の発話について生成することが可能であり、これらの意味表現は、それぞれ、特異な発話形態導出を表現する。考えられる全ての発話形態導出を十分に考慮することで、ＮＬＵフレームワークの意図推測能力が改善されることが現在認識されている。しかし、特定の発話形態導出が、誤り、または、既に考慮されている他の形態に対して実質的に冗長なものであり得ることも現在認識されており、こうした発話形態導出は、ＮＬＵフレームワークの意図推測能力を実質的に改善することなく、処理およびメモリ資源消費を実質的に増やすことがある。
【0019】
したがって、本実施形態は、ＭＬベースの技術および規則ベースの技術を適用して、自然言語発話について、複数の意味表現を生成する意味抽出サブシステムを含むＮＬＵフレームワークを対象とする。意味抽出サブシステムは、理解モデルのサンプル発話の複数の意味表現を生成して、検索空間を増大することが可能であり、かつ／または、受け取ったユーザ発話の複数の意味表現を生成して、検索キーを増大することが可能な構造サブシステムを含む。開示する構造サブシステムは、ＭＬベースの技術を使用して、発話について、複数の潜在的品詞（ＰＯＳ）タグ付けを生成し、予め規定された閾値よりも大きい、対応信頼スコアを有する潜在的ＰＯＳタグ付けのみが進展される。開示する構造サブシステムは、規則ベースの修正技術および／またはＭＬベースの修正技術を適用して、誤った潜在的ＰＯＳタグ付けを改変または排除することができる。開示する構造サブシステムは、多様性フィルタを適用して、予め規定されたバリエーション閾値に基づいて、十分には互いに異なっていない潜在的ＰＯＳタグ付けを排除することもできる。修正および／または多様性フィルタリングの後、開示する構造サブシステムは、ＭＬベースの技術または規則ベースの技術を使用して、残りの各潜在的ＰＯＳタグ付けについて、それぞれの意味表現（たとえば、発話木）を生成するが、予め規定された閾値よりも大きな対応信頼スコアを有する意味表現のみが進展される。最後に、開示する構造サブシステムは、最終スコアリング－フィルタリング・ステップを適用し、ここでは、進展された意味表現の信頼スコア、ならびに、対応するＰＯＳタグ付けの基礎的信頼スコアを考慮して、最終スコアを生成し、予め規定された閾値よりも低い最終スコアを有する意味表現を除去する。こうして、開示する構造サブシステムは、意味検索の検索キーおよび／または検索空間について生成される形態導出の数を効果的に増大することで、ＮＬＵフレームワークの意図推測能力を改善し、誤った形態導出または実質的に冗長な形態導出を排除して、資源消費を低減し、ＮＬＵフレームワークの効率を改善する。
【0020】
上記を考慮して、以下の図面は、マルチインスタンス・フレームワーク内で組織にサービスを提供するのに用いることができる様々な種類の汎用システム・アーキテクチャまたは構成であって、これらの汎用システム・アーキテクチャまたは構成において本手法を用いることができる、様々な種類の汎用システム・アーキテクチャまたは構成に関する。これに応じて、これらのシステムおよびプラットフォームの例は、本明細書で議論する技術を実装または利用することができるシステムおよびプラットフォームにも関する。図１を見ると、本開示内容の実施形態を動作することができるクラウド・コンピューティング・システム１０の一実施形態の模式図が示してある。クラウド・コンピューティング・システム１０は、クライアント・ネットワーク１２、ネットワーク１８（たとえば、インターネット）、およびクラウド・ベースのプラットフォーム２０を含むことができる。いくつかの実装形態では、クラウド・ベースのプラットフォーム２０は、構成管理データベース（ＣＭＤＢ）プラットフォームであってもよい。一実施形態では、クライアント・ネットワーク１２は、スイッチ、サーバ、およびルータを含む（ただし、これらに限定されない）多様なネットワーク・デバイスを有するローカル・エリア・ネットワーク（ＬＡＮ）などのローカル・プライベート・ネットワークであってもよい。他の実施形態では、クライアント・ネットワーク１２は、１つまたは複数のＬＡＮ、仮想ネットワーク、データ・センタ２２、および／または他のリモート・ネットワークを含むことができる企業ネットワークを表す。図１に示すように、クライアント・ネットワーク１２は、１つまたは複数のクライアント・デバイス１４Ａ、１４Ｂ、および１４Ｃに接続することが可能であり、これにより、これらクライアント・デバイスは、互いに通信すること、および／または、プラットフォーム２０のホストとして働くネットワークと通信することが可能である。クライアント・デバイス１４は、たとえば、ウェブ・ブラウザ・アプリケーションを介して、または、クライアント・デバイス１４とプラットフォーム２０との間のゲートウェイとして働くことができるエッジ・デバイス１６を介してクラウド・コンピューティング・サービスにアクセスする、コンピューティング・システム、および／または、一般にはインターネット・オブ・シングス（ＩｏＴ）・デバイスと称される他の種類のコンピューティング・デバイスであってもよい。また、図１は、プラットフォーム２０のホストとして働くネットワークと、他の外部アプリケーションと、データ・ソースと、サービスと、クライアント・ネットワーク１２との間のデータ通信を円滑化する、マネジメント・インストルメンテーション・ディスカバリ（ＭＩＤ）サーバ１７など、運営または管理を行うデバイス、エージェント、またはサーバが、クライアント・ネットワーク１２に含まれることを示す。図１には具体的には示していないが、クライアント・ネットワーク１２は、接続ネットワーク・デバイス（たとえば、ゲートウェイもしくはルータ）、または、カスタマ・ファイアウォール・システムもしくは進入防止システムを実装するデバイスの組合せを含むこともできる。
【0021】
図示の実施形態について、図１は、クライアント・ネットワーク１２がネットワーク１８に結合されていることを示す。ネットワーク１８は、クライアント・デバイス１４Ａ～１４Ｃとプラットフォーム２０のホストとして働くネットワークとの間でデータを転送するために１つまたは複数のコンピューティング・ネットワーク（他のＬＡＮ、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、他のリモート・ネットワークなど）を含んでもよい。ネットワーク１８内のコンピューティング・ネットワークのそれぞれは、電気分野および／または光学分野内で動作する有線プログラマブル・デバイスおよび／またはワイヤレス・プログラマブル・デバイスを含んでもよい。たとえば、ネットワーク１８は、セルラ・ネットワーク（たとえば、汎欧州デジタル移動体通信システム（ＧＳＭ）ベースのセルラ・ネットワーク）、ＩＥＥＥ８０２．１１ネットワーク、他の適当な無線ベースのネットワークなどのワイヤレス・ネットワークを含んでもよい。ネットワーク１８は、伝送制御プロトコル（ＴＣＰ）やインターネット・プロトコル（ＩＰ）など、任意数のネットワーク通信プロトコルを用いてもよい。図１には明確に示していないが、ネットワーク１８は、サーバ、ネットワーク・スイッチ、ネットワーク１８を介してデータをトランスポートするように構成された他のネットワーク・ハードウェア・デバイスなど、多様なネットワーク・デバイスを含むことができる。
【0022】
図１では、プラットフォーム２０のホストとして働くネットワークは、クライアント・ネットワーク１２およびネットワーク１８を介してクライアント・デバイス１４と通信することが可能なリモート・ネットワーク（たとえば、クライアント・ネットワーク）であり得る。プラットフォーム２０のホストとして働くネットワークは、クライアント・デバイス１４および／またはクライアント・ネットワーク１２に追加のコンピューティング資源を提供する。たとえば、プラットフォーム２０のホストとして働くネットワークを利用することにより、クライアント・デバイス１４のユーザは、様々な企業関連の機能、ＩＴ関連の機能、および／または他の組織関連の機能のためのアプリケーションを構築し、実行することが可能である。一実施形態では、プラットフォーム２０のホストとして働くネットワークは、１つまたは複数のデータ・センタ２２上で実装され、各データ・センタは、異なる地理的位置に対応し得る。データ・センタ２２のそれぞれは、複数の仮想サーバ２４（本明細書では、アプリケーション・ノード、アプリケーション・サーバ、仮想サーバ・インスタンス、アプリケーション・インスタンス、またはアプリケーション・サーバ・インスタンスとも称する）を含み、各仮想サーバ２４は、単一の電子コンピューティング・システム（たとえば、単一の物理的ハードウェア・サーバ）上での実装や、複数コンピューティング・デバイス（たとえば、複数の物理的ハードウェア・サーバ）に渡っての実装など、物理的コンピューティング・システム上に実装することが可能である。仮想サーバ２４の例には、ウェブ・サーバ（たとえば、単体としてのＡｐａｃｈｅインストール）、アプリケーション・サーバ（たとえば、単体としてのＪＡＶＡ仮想マシン）、および／またはデータベース・サーバ（たとえば、単体としての関係データベース管理システム（ＲＤＢＭＳ）カタログ）が含まれるが、これらに限定されない。
【0023】
プラットフォーム２０内でコンピューティング資源を利用するために、ネットワーク・オペレータは、多様なコンピューティング・インフラストラクチャを使用することによりデータ・センタ２２を構成することを選択することができる。一実施形態では、データ・センタ２２のうちの１つまたは複数が、マルチテナント型クラウド・アーキテクチャを使用して構成され、これにより、サーバ・インスタンス２４のうちの１つが、複数のカスタマからの要求を扱い、複数のカスタマに仕えるようになる。マルチテナント型クラウド・アーキテクチャを伴うデータ・センタ２２は、複数のカスタマからのデータを混合、記憶し、複数のカスタマ・インスタンスが、仮想サーバ２４のうちの１つに割り当てられる。マルチテナント型クラウド・アーキテクチャでは、特定の仮想サーバ２４が、様々なカスタマのデータおよび他の情報を区別および分離する。たとえば、マルチテナント型クラウド・アーキテクチャは、各カスタマからのデータを識別および分離するために、各カスタマについて特定の識別子を割り当てることができる。一般には、マルチテナント型クラウド・アーキテクチャを実装することは、サーバ・インスタンス２４のうちの特定の１つのサーバ・インスタンス２４が故障して、この特定のサーバ・インスタンスに割り当てられた全てのカスタマについて運転休止をもたらすなど、様々な欠点を被る場合がある。
【0024】
他の実施形態では、データ・センタ２２のうちの１つまたは複数が、マルチインスタンス型クラウド・アーキテクチャを使用して構成されて、全てのカスタマそれぞれに、１つまたは複数の独特なカスタマ・インスタンスが提供される。たとえば、マルチインスタンス型クラウド・アーキテクチャは、各カスタマ・インスタンスに、専用のアプリケーション・サーバまたは専用のデータベース・サーバを提供することが可能である。他の例では、マルチインスタンス型クラウド・アーキテクチャは、各カスタマ・インスタンスについて、単一の物理サーバ２４もしくは仮想サーバ２４、ならびに／または、物理サーバ２４および／もしくは仮想サーバ２４の他の組合せ（１つまたは複数の専用ウェブ・サーバ、１つまたは複数の専用アプリケーション・サーバ、１つまたは複数のデータベース・サーバなど）を配備することが可能である。マルチインスタンス型クラウド・アーキテクチャでは、複数のカスタマ・インスタンスを１つまたは複数のハードウェア・サーバ上それぞれにインストールすることが可能であり、各カスタマ・インスタンスには、コンピューティング・メモリ、ストレージ、処理パワーなど、物理サーバ資源のうちの特定部分が割り当てられる。こうすることで、各カスタマ・インスタンスは、データ分離の恩恵をもたらし、カスタマがプラットフォーム２０にアクセスする際のダウンタイムを相対的に短くし、カスタマ駆動によるアップグレード・スケジュールを提供する、それ独特のソフトウェア・スタックを有するようになる。以下では、図２を参照して、マルチインスタンス型クラウド・アーキテクチャ内にカスタマ・インスタンスを実装する例について、より詳細に議論する。
【0025】
図２は、本開示内容の実施形態が動作することができるマルチインスタンス型クラウド・アーキテクチャ４０の一実施形態の模式図である。図２は、マルチインスタンス型クラウド・アーキテクチャ４０が、クライアント・ネットワーク１２と、地理的に互いから切り離され得る２つの（たとえば、対になった）データ・センタ２２Ａおよび２２Ｂに接続するネットワーク１８とを含むことを示す。図２を例として使用すると、ネットワーク環境およびサービス・プロバイダ・クラウド・インフラストラクチャ・クライアント・インスタンス４２（本明細書では、クライアント・インスタンス４２とも称する）が、専用仮想サーバ（たとえば、仮想サーバ２４Ａ、２４Ｂ、２４Ｃ、２４Ｄ）および専用データベース・サーバ（たとえば、仮想データベース・サーバ４４Ａ、４４Ｂ）に関連付けられる（たとえば、これらによりサポートおよびイネーブルされる）。言い方を変えれば、仮想サーバ２４Ａ～２４Ｄならびに仮想データベース・サーバ４４Ａおよび４４Ｂは、他のクライアント・インスタンスと共用されることはなく、それぞれのクライアント・インスタンス４２に特有のものである。図示の例では、クライアント・インスタンス４２の可用性を促進するために、仮想サーバ２４Ａ～２４Ｄならびに仮想データベース・サーバ４４Ａおよび４４Ｂが、異なる２つのデータ・センタ２２Ａおよび２２Ｂに割り当てられ、これにより、データ・センタ２２のうちの１つがバックアップ・データ・センタとして働く。マルチインスタンス型クラウド・アーキテクチャ４０の他の実施形態は、ウェブ・サーバなどの他の種類の専用仮想サーバを含むことができる。たとえば、クライアント・インスタンス４２は、専用仮想サーバ２４Ａ～２４Ｄ、専用仮想データベース・サーバ４４Ａおよび４４Ｂ、ならびに、追加の専用仮想ウェブ・サーバ（図２には示していない）に関連付けることができる（たとえば、これらによりサポートおよびイネーブルすることできる）。
【0026】
図１および図２は、クラウド・コンピューティング・システム１０およびマルチインスタンス型クラウド・アーキテクチャ４０それぞれの具体的実施形態を示すが、本開示内容は、図１および図２に示す具体的実施形態に限定されない。たとえば、図１は、プラットフォーム２０がデータ・センタを使用して実装されることを示すが、プラットフォーム２０の他の実施形態はデータ・センタに限定されず、他の種類のリモート・ネットワーク・インフラストラクチャを利用することも可能である。さらに、本開示内容の他の実施形態は、１つまたは複数の異なる仮想サーバを組み合わせて、単一の仮想サーバにすること、反対に、複数の仮想サーバを使用して、単一の仮想サーバに由来する動作を実行することができる。たとえば、図２を例とすると、仮想サーバ２４Ａ、２４Ｂ、２４Ｃ、２４Ｄおよび仮想データベース・サーバ４４Ａ、４４Ｂを組み合わせて、単一の仮想サーバにすることができる。さらに、本手法は、他のアーキテクチャまたは構成で実装することができ、これらのアーキテクチャまたは構成には、マルチテナント型アーキテクチャ、汎用クライアント／サーバ実装形態、および／または、本明細書で議論する動作のいくつか、もしくは全てを実行するように構成された単一のプロセッサ・ベースの物理的デバイス上のものさえも含まれるが、これらに限定されない。同様に、実装形態の議論を容易にするために仮想サーバまたは仮想機械を参照することがあるが、代わりに物理サーバを適宜用いることもできる。図１および図２の使用および議論は、説明および解説を容易にするための例に過ぎず、開示内容を本明細書で説明する具体例に限定しようとするものではない。
【0027】
理解されるように、図１および図２について議論したそれぞれのアーキテクチャおよびフレームワークは、全体にわたって、様々な種類のコンピューティング・システム（たとえば、サーバ、ワークステーション、クライアント・デバイス、ラップトップ、タブレット・コンピュータ、セルラ電話機など）を組み入れる。完全を期すために、こうしたシステム内で一般に見られるコンポーネントの簡潔で高度な概説を提供する。理解されるように、本概説は、こうしたコンピューティング・システム内で典型的なコンポーネントの一般化した高度な概要を単に提供することを意図しており、議論するコンポーネント、または議論から省略されたコンポーネントについて限定を行うものとみなされるべきではない。
【0028】
背景として、本手法は、図３に示すような１つまたは複数のプロセッサ・ベースのシステムを使用して実装され得ることを理解することができる。同様に、本手法で利用されるアプリケーションおよび／またはデータベースは、こうしたプロセッサ・ベースのシステム上で記憶すること、用いること、および／または維持することができる。理解されるように、図３に示すようなシステムは、分散コンピューティング環境、ネットワーク化された環境、または他のマルチコンピュータ・プラットフォームもしくはアーキテクチャ内に存在し得る。同様に、図３に示すようなシステムは、本手法を実装することができる１つもしくは複数の仮想環境もしくはコンピュータ型インスタンスをサポートする際、または、それらと通信する際に使用され得る。
【0029】
これを考慮して、例示的コンピュータ・システムは、図３に示すコンピュータ・コンポーネントのうちのいくつか、または全てを含み得る。図３は、コンピューティング・システム８０の例示的コンポーネントと、それらの潜在的な相互接続または通信路（１つまたは複数のバスに沿ったものなど）とのブロック図を大まかに示す。図示のように、コンピューティング・システム８０は、１つまたは複数のプロセッサ８２、１つまたは複数のバス８４、メモリ８６、入力デバイス８８、電源９０、ネットワーク・インタフェース９２、ユーザ・インタフェース９４、本明細書で説明する機能を実行するのに役立つ他のコンピュータ・コンポーネントなどの（ただし、これらに限定されない）様々なハードウェア・コンポーネントを含むことができる。
【0030】
１つまたは複数のプロセッサ８２は、メモリ８６に記憶された命令を実行可能な１つまたは複数のマイクロプロセッサを含むことができる。これに加えて、または、そうする代わりに、１つまたは複数のプロセッサ８２は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、および／または、メモリ８６から命令を呼び出すことなく、本明細書で議論する機能のうちのいくつか、または全てを実行するように設計された他のデバイスを含むこともできる。
【0031】
他のコンポーネントについて、１つまたは複数のバス８４は、コンピューティング・システム８０の様々なコンポーネント間にデータおよび／または電力を提供するための適当な電気的チャネルを含む。メモリ８６は、任意の有形の非一時的コンピュータ可読記憶媒体を含んでよい。図１では単一ブロックとして示しているが、メモリ８６は、１つまたは複数の物理的位置で、同一種類、または、それぞれ異なる種類の複数の物理ユニットを使用することより実装することもできる。入力デバイス８８は、１つまたは複数のプロセッサ８２にデータおよび／またはコマンドを入力するための構造に相当する。たとえば、入力デバイス８８は、マウス、タッチパッド、タッチスクリーン、キーボードなどを含んでもよい。電源９０は、ライン電力やバッテリ・ソースなど、コンピューティング・デバイス８０の様々なコンポーネントの電力のための任意の適当なソースになることが可能である。ネットワーク・インタフェース９２は、１つまたは複数のネットワーク（たとえば、通信チャネル）を介して、他のデバイスと通信可能な１つまたは複数のトランシーバを含む。ネットワーク・インタフェース９２は、有線ネットワーク・インタフェースまたはワイヤレス・ネットワーク・インタフェースを提供することができる。ユーザ・インタフェース９４は、１つまたは複数のプロセッサ８２から転送されるテキストまたは画像を表示するように構成されたディスプレイを含んでもよい。ディスプレイに加えて、かつ／または、ディスプレイの代わりに、ユーザ・インタフェース９４は、照明（たとえば、ＬＥＤ）、スピーカなど、ユーザとのインタフェースとなる他のデバイスを含むこともできる。
【0032】
先で議論したクラウド・ベースのプラットフォーム２０は、ＮＬＵ技術を利用することができるアーキテクチャの例を提供することを理解されたい。具体的には、クラウド・ベースのプラットフォーム２０は、いくつかの出力の生成を容易にするために、意図－エンティティ・モデルを含めた、マイニングすることの可能な大きなソース・データのコーパスを含むこと、または、記憶することができる。たとえば、クラウド・ベースのプラットフォーム２０は、特定のシステムの変更または修復、要求者と、問題を扱おうとするサービス技術者または運営者との対話、および、チケットが最終的にどのように解決されたかの説明などの要求を有するチケッティング・ソース・データを含むことができる。そして、生成される意図－エンティティ・モデルが、将来の要求にて、意図を分類するためのベースとして働くことが可能であり、このモデルを使用して、会話モデルを生成、改良して、将来起こる問題を、クラウド・ベースのプラットフォーム２０内でユーザからの自然言語要求に基づいて自動的に対処することができる仮想エージェントをサポートすることが可能である。したがって、本明細書で説明する特定の実施形態では、開示するエージェント・オートメーション・フレームワークが、クラウド・ベースのプラットフォーム２０に組み入れられ、他の実施形態では、エージェント・オートメーション・フレームワークを、以下で議論するように発話を処理するために、クラウド・ベースのプラットフォーム２０に通信可能に結合された適当なシステムによりホストすること、（クラウド・ベースのプラットフォーム２０とは別に）実行することができる。
【0033】
上記を考慮して、図４Ａは、クライアント・インスタンス４２に関連付けられるエージェント・オートメーション・フレームワーク１００（本明細書では、エージェント・オートメーション・システム１００とも称する）を示す。より具体的には、図４Ａは、先で議論したクラウド・ベースのプラットフォーム２０を含めた、サービス・プロバイダ・クラウド・インフラストラクチャの一部分の例を示す。クラウド・ベースのプラットフォーム２０は、ネットワーク１８を介してクライアント・デバイス１４Ｄに接続されて、クライアント・インスタンス４２内で実行するネットワーク・アプリケーションへのユーザ・インタフェースを提供する（たとえば、クライアント・デバイス１４Ｄのウェブ・ブラウザを介して）。クライアント・インスタンス４２は、図２で説明したものと同様の仮想サーバによりサポートされ、クライアント・インスタンス４２内での、本明細書に記載の開示する機能へのサポートを示すようにここでは図示している。このクラウド・プロバイダ・インフラストラクチャは、クライアント・デバイス４２などの複数のエンドユーザ・デバイスを同時にサポートするように一般に構成され、各エンドユーザ・デバイスは、単一のクライアント・インスタンス４２と通信する。また、クラウド・プロバイダ・インフラストラクチャは、クライアント・インスタンス４２などの任意数のクライアント・インスタンスを同時にサポートするように構成することもでき、インスタンスのそれぞれは、１つまたは複数のエンドユーザ・デバイスと通信する。上記のように、エンドユーザは、ウェブ・ブラウザ内で実行されるアプリケーションを使用して、クライアント・インスタンス４２とインタフェースを取ることもできる。
【0034】
図４Ａに示すエージェント・オートメーション・フレームワーク１００の実施形態は、挙動エンジン（ＢＥ）１０２、ＮＬＵフレームワーク１０４、およびデータベース１０６を含み、これらは、クライアント・インスタンス４２内で通信可能に結合される。ＢＥ１０２は、自然言語ユーザ要求１２２（本明細書では、ユーザ発話１２２または発話１２２とも称する）およびエージェント応答１２４（本明細書では、エージェント発話１２４とも称する）を介して、クライアント・デバイス１４Ｄのユーザと対話する任意の適当な数の仮想エージェントまたはペルソナのホストとして働くこと、または、それらを含むことができる。実際の実装形態では、エージェント・オートメーション・フレームワーク１００は、本開示内容に従って、意味抽出サブシステム、意味検索サブシステムなどを含めた、いくつかの他の適当なコンポーネントを含み得るが分かる。
【0035】
図４Ａに示す実施形態については、データベース１０６は、データベース・サーバ・インスタンス（たとえば、図２で議論したデータベース・サーバ・インスタンス４４Ａもしくは４４Ｂ）、または、データベース・サーバ・インスタンスの集合であってもよい。図示のデータベース１０６は、データベース１０６の１つまたは複数のテーブル（たとえば、関係データベース・テーブル）内に、意図－エンティティ・モデル１０８、会話モデル１１０、発話１１２のコーパス、および、規則１１４の集合を記憶する。意図－エンティティ・モデル１０８は、特定のサンプル発話を介して、特定の意図と、特定のエンティティとの関連または関係を記憶する。特定の実施形態では、意図－エンティティ・モデル１０８は、適当なオーサリング・ツールを使用して、設計者によりオーサリングされ得る。他の実施形態では、エージェント・オートメーション・フレームワーク１００が、データベース１０６の１つまたは複数のテーブルに記憶された発話１１２のコーパスおよび規則１１４の集合から意図－エンティティ・モデル１０８を生成する。いくつかの実施形態では、意図－エンティティ・モデル１０８は、オーサリングされた技術と、ＭＬ技術との組合せに基づいて決定することもできる。いずれにせよ、開示する意図－エンティティ・モデル１０８は、意図および／またはエンティティの任意の適当な組合せを、発話１１２のコーパスそれぞれに関連付けることができることを理解されたい。以下で議論する実施形態については、意図－エンティティ・モデル１０８のサンプル発話を使用して、意味検索のための検索空間を規定するために、理解モデルの意味表現を生成する。
【0036】
図４Ａに示す実施形態については、会話モデル１１０が、意図－エンティティ・モデル１０８の意図と、特定の応答および／またはアクションとの関連を記憶し、これら関連は、ＢＥ１０２の挙動を概ね規定する。特定の実施形態では、会話モデル内の関連の少なくとも一部分が、処理される発話内の特定の識別されるアーチファクトに、どのようにＢＥ１０２が応答することをＢＥ１０２の設計者が望むか基づいて、設計者によりマニュアル的に作成されるか、または、予め規定される。様々な実施形態で、データベース１０６は、コンピレーション・モデル・テンプレート・データ（たとえば、分類適合性規則、分類レベル・スコアリング係数、木モデル比較アルゴリズム、木基礎構造ベクトル化アルゴリズム）、意味表現などについての情報を記憶するテーブルなど、意図分類に関する他の情報を記憶する他のデータベース・テーブルを含むことができることに留意されたい。
【0037】
図示の実施形態については、ＮＬＵフレームワーク１０４は、ＮＬＵエンジン１１６およびボキャブラリ・マネジャ１１８を含む。ＮＬＵフレームワーク１０４は任意の適当な数の他のコンポーネントを含むこともできることを理解することができる。特定の実施形態では、ＮＬＵエンジン１１６は、ＮＬＵフレームワーク１０４のいくつかの機能を実行するように設計され、これらの機能には、発話の単語またはフレーズから単語ベクトル（たとえば、意図ベクトル、主語ベクトルまたはエンティティ・ベクトル、部分木ベクトル）を生成すること、ならびに、これらのベクトル間の距離（たとえば、ユークリッド距離）を求めることが含まれる。たとえば、ＮＬＵエンジン１１６は、解析される発話の各意図について、それぞれ意図ベクトルを作成することが一般に可能である。したがって、異なる２つの発話間の類似性測度または距離を、ＮＬＵエンジン１１６により２つの意図について作成されるそれぞれの意図ベクトルを使用して計算することが可能であり、類似性測度は、２つの意図の意味の類似性の指標となる。
【0038】
ボキャブラリ・マネジャ１１８（以下で議論するボキャブラリ・サブシステムの一部分にすることができる）は、ＮＬＵフレームワーク１０４が訓練中に遭遇しなかった、ボキャブラリ外の単語およびシンボルに対処する。たとえば、特定の実施形態では、ボキャブラリ・マネジャ１１８は、エージェント・オートメーション・フレームワーク１００により（たとえば、規則１１４の集合に基づいて）解析される発話内で、単語および頭字語の同義語および分野特有の意味を識別し、それらを置き換えることが可能であり、これにより、ＮＬＵフレームワーク１０４の性能を改善して、コンテキスト特有の発話内での意図およびエンティティを適切に識別することができる。さらに、自然言語が、既存の単語について新しい用法を採用する傾向にあることに適応するために、特定の実施形態では、ボキャブラリ・マネジャ１１８は、コンテキストの変化に基づいて、他の意図またはエンティティに予め関連付けられた単語の別目的での使用に対処する。たとえば、ボキャブラリ・マネジャ１１８は、特定のクライアント・インスタンスおよび／または会話チャネルからの発話のコンテキストにおいて、「bike（バイク）」という単語が、bicycle（自転車）ではなく、motorcycle（二輪自動車）を実際には指すような状況に対処することが可能である。
【0039】
意図－エンティティ・モデル１０８および会話モデル１１０が作成されると、エージェント・オートメーション・フレームワーク１００は、ユーザ発話１２２を（自然言語要求の形態で）受け取り、要求に対処するために適宜アクションを行うように設計される。たとえば、図４Ａに示す実施形態では、ＢＥ１０２は、クライアント・ネットワーク１２に配置されるクライアント・デバイス１４Ｄにより送り出される発話１２２（たとえば、チャット・コミュニケーションでの自然言語要求）を、ネットワーク１８を介して受け取る仮想エージェントである。ＢＥ１０２が、発話１２２をＮＬＵフレームワーク１０４に提供し、ＮＬＵエンジン１１６が、以下で議論するＮＬＵフレームワークの様々なサブシステムとともに、意図－エンティティ・モデル１０８に基づいて発話１２２を処理して、発話内のアーチファクト（たとえば、意図および／またはエンティティ）を導出する。ＮＬＵエンジン１１６により導出されたアーチファクト、ならびに、会話モデル１１０内の関連性に基づいて、ＢＥ１０２は、予め規定された１つまたは複数の特定のアクションを実行する。図示の実施形態については、ＢＥ１０２は、また、ネットワーク１８を介して、クライアント・デバイス１４Ｄに応答１２４（たとえば、仮想エージェント発話１２４またはコンファメーション）を提供し、たとえば、この応答は、受け取ったユーザ発話１２２に応答してＢＥ１０２が実行したアクションを示す。さらに、特定の実施形態では、ＮＬＵフレームワーク１０４内での学習の継続のために、データベース１０６内に記憶される発話１１２に発話１２２を加えることもできる。
【0040】
他の実施形態では、性能を改善するために、別のやり方で、エージェント・オートメーション・フレームワーク１００および／またはＮＬＵフレームワーク１０４の１つまたは複数のコンポーネントを配置すること、それらの位置を定めること、またはそれらのホストを行うこともできることを理解することができる。たとえば、特定の実施形態では、クライアント・インスタンス４２から切り離され、クライアント・インスタンス４２と通信可能に結合されたインスタンス（たとえば、共用インスタンス、企業インスタンス）が、ＮＬＵフレームワーク１０４の１つまたは複数の部分のホストとして働くことができる。こうした実施形態は、有利なことに、クライアント・インスタンス４２のサイズを低減することができ、これにより、クラウド・ベースのプラットフォーム２０の効率が改善されることが現在認識されている。具体的には、特定の実施形態では、以下で議論する類似性スコアリング・サブシステムの１つまたは複数のコンポーネントを、クライアント・インスタンス４２に通信可能に結合された切り離されたインスタンス（たとえば、企業インスタンス）、ならびに他のクライアント・インスタンスがホストして、改善された意味検索を可能にすることができることで、検索空間内での意味表現の適当なマッチングが行われ、これにより、発話１２２についてのアーチファクトがマッチするものの識別が可能になる。
【0041】
上記を考慮して、図４Ｂは、ＮＬＵフレームワーク１０４の一部分が、クラウド・ベースのプラットフォーム２０がホストとして働く分離した共用インスタンス（たとえば、企業インスタンス１２５）により代わりに実行されるエージェント・オートメーション・フレームワーク１００の一代替的実施形態を示す。図示の企業インスタンス１２５は、適当なプロトコルを介して（たとえば、適当なＲｅｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ（ＲＥＳＴ）要求／応答を介して）、任意の適当な数のクライアント・インスタンスと、アーチファクト・マイニングおよびアーチファクト分類に関するデータを交換するように通信可能に結合される。したがって、図４Ｂに示す設計については、複数のクライアント・インスタンス４２がアクセス可能な共用資源として、ＮＬＵフレームワークの一部分をホストすることにより、クライアント・インスタンス４２のサイズを（たとえば、図４Ａに示すエージェント・オートメーション・フレームワーク１００の実施形態と比較して）実質的に低減することが可能であり、エージェント・オートメーション・フレームワーク１００の総合効率を改善することが可能である。
【0042】
具体的には、図４Ｂに示すＮＬＵフレームワーク１０４は、ＮＬＵフレームワーク１０４内で、それぞれ特異な処理を実行する３つの特異なコンポーネントに分けられる。これらのコンポーネントは、企業インスタンス１２５がホストとして働く共用ＮＬＵトレーナ１２６と、企業インスタンス１２５がホストとして働く共用ＮＬＵアノテータ１２７と、クライアント・インスタンス４２がホストとして働くＮＬＵプレディクタ１２８とを含む。図４Ａおよび図４Ｂに示す組織は単なる例であり、他の実施形態では、ＮＬＵフレームワーク１０４および／またはエージェント・オートメーション・フレームワーク１００の他の組織が本開示内容に従って使用され得ることを理解することができる。
【0043】
図４Ｂに示すエージェント・オートメーション・フレームワーク１００の実施形態については、共用ＮＬＵトレーナ１２６は、クライアント・インスタンス４２から発話１１２のコーパスを受け取り、意味論的マイニング（たとえば、意味論的パーシング、文法エンジニアリングなどを含む）を実行して、意図－エンティティ・モデル１０８の生成を促進するように設計される。意図－エンティティ・モデル１０８が生成されると、クライアント・デバイス１４Ｄにより提供されるユーザ発話１２２をＢＥ１０２が受け取った場合、ＮＬＵプレディクタ１２８が、発話１２２のパーシング、およびそれへのアノテーション付与のために、発話１２２および意図－エンティティ・モデル１０８を共用ＮＬＵアノテータ１２７に渡す。共用ＮＬＵアノテータ１２７は、意図－エンティティ・モデル１０８に基づいて、発話１２２の意味論的パーシングおよび文法エンジニアリングなどを実行し、発話１２２の意味表現をクライアント・インスタンス４２のＮＬＵプレディクタ１２８に戻す。次いで、ＮＬＵプレディクタ１２８は、発話１２２のこれらアノテーション付き構造（以下でより詳細に議論する）を使用して、意図－エンティティ・モデル１０８からマッチする意図を識別し、これにより、ＢＥ１０２は、識別された意図に基づいて１つまたは複数のアクションを実行することができる。以下で議論するように、共用ＮＬＵアノテータ１２７が、ＮＬＵフレームワーク１０４の意味抽出サブシステム１５０に対応し得、ＮＬＵプレディクタが、ＮＬＵフレームワーク１０４の意味検索サブシステム１５２に対応し得ることを理解することができる。
【0044】
図５は、挙動エンジン（ＢＥ）１０２およびＮＬＵフレームワーク１０４が、エージェント・オートメーション・フレームワーク１００の一実施形態内でそれぞれの役割を実行するプロセス１４５を示すフロー図である。図示の実施形態については、ＮＬＵフレームワーク１０４は、受け取ったユーザ発話１２２を処理して、意図－エンティティ・モデル１０８に基づいてアーチファクト１４０（たとえば、意図および／またはエンティティ）を抽出する。抽出されたアーチファクト１４０は、ＢＥ１０２が消費可能な形態でユーザ発話１２２の意図およびエンティティを表現するシンボルの集合として実装することができる。こうして、これら抽出されたアーチファクト１４０は、ＢＥ１０２に提供され、ＢＥ１０２は、会話モデル１１０に基づいて、受け取ったアーチファクト１４０を処理して、受け取ったユーザ発話１２２に応答して、適当なアクション１４２（たとえば、パスワードの変更、記録の作成、品物の購入、アカウントのクローズ）および／または仮想エージェント発話１２４を決定する。矢印１４４が示すように、エージェント・オートメーション・フレームワーク１００が、同一のユーザおよび／または他のユーザから会話フォーマットで追加のユーザ発話１２２を受け取り、処理する時には、プロセス１４５を間断なく繰り返すことが可能である。
【0045】
図５に示すように、特定の状況では、適当なアクション１４２が実行されると、更なるアクションまたはコミュニケーションが発生しないこともあることを理解することができる。さらに、ユーザ発話１２２およびエージェント発話１２４は、書かれた会話媒体または会話チャネル（たとえば、チャット、電子メール、チケッティング・システム、テキスト・メッセージ、フォーラム投稿）を使用して伝えられるものと本明細書では議論しているが、他の実施形態では、音声－テキストおよび／またはテキスト－音声のモジュールまたはプラグインを含み入れて、話されたユーザ発話１２２をテキストに翻訳するように、かつ／または、テキスト・ベースのエージェント発話１２４を発語に翻訳するように、本開示内容に従って音声対話システムをイネーブルすることも可能であることに留意されたい。さらに、特定の実施形態では、ユーザ発話１２２および仮想エージェント発話１２４の両方をデータベース１０６に（たとえば、発話１１２のコーパス内に）記憶して、エージェント・オートメーション・フレームワーク１００内で、新たな構造およびボキャブラリの継続した学習を可能にすることもできる。
【0046】
上記のように、ＮＬＵフレームワーク１０４は、ＮＬＵの難問を管理可能な検索問題に変換するために協働する２つの主要なサブシステム、すなわち、意味抽出サブシステムおよび意味検索サブシステムを含む。たとえば、図６は、エージェント・オートメーション・フレームワーク１００の一実施形態での、ＮＬＵフレームワーク１０４の意味抽出サブシステム１５０および意味検索サブシステム１５２の役割を示すブロック図である。図示の実施形態については、図６の右側部分１５４は、ＮＬＵフレームワーク１０４の意味抽出サブシステム１５０が意図－エンティティ・モデル１０８を受け取る様を示し、この意図－エンティティ・モデル１０８は、そのモデルの様々なアーチファクトそれぞれについて、サンプル発話１５５を含んでいる。意味抽出サブシステム１５０は、意図－エンティティ・モデル１０８のサンプル発話１５５の意味表現１５８（たとえば、パーサ木構造）を含む理解モデル１５７を生成する。換言すれば、理解モデル１５７は、以下でより詳細に議論するように、意味検索サブシステム１５２による検索（たとえば、比較およびマッチング）を可能にするための意味表現１５８を含んだ意図－エンティティ・モデル１０８の翻訳バージョンまたは増大バージョンである。したがって、図６の右側部分１５４は、日常的スケジュール化ベースでの実行、意図－エンティティ・モデル１０８のアップデートに応答しての実行など、一般には発話１２２を受け取る前に実行されることを理解することができる。
【0047】
図６に示す実施形態については、左側部分１５６が、意味抽出サブシステム１５０がやはりユーザ発話１２２を受け取り、処理して、少なくとも１つの意味表現１６２を有する発話意味モデル１６０を生成する様を示す。以下でより詳細に議論するように、これらの意味表現１５８および１６２は、発話の文法的構文構造を取り込む形態を有するデータ構造であり、これらデータ構造の部分木が、発話の一部分の意味論的意味を符号化する部分木ベクトルを含む。よって、以下でより詳細に議論するように、所与の発話について、対応する意味表現が、意味検索サブシステム１５２による検索、比較、およびマッチングを可能にする共通の意味表現フォーマット内に、構文上の意味および意味論上の意味の両方を取り込む。したがって、発話意味モデル１６０の意味表現１６２は、検索キーのようなものと概ね考えることが可能であり、理解モデル１５７の意味表現１５８は、検索キーを捜すことが可能な検索空間を規定する。こうして、意味検索サブシステム１５２は、理解モデル１５７の意味表現１５８を検索して、以下で議論するように、発話意味モデル１６０の意味表現１６２とマッチする１つまたは複数のアーチファクトを特定することで、抽出アーチファクト１４０を生成する。
【0048】
図６の意味抽出サブシステム自体は、意味表現１５８および１６２を生成するように協働する、ＮＬＵフレームワーク１０４のいくつかのサブシステムを使用する。たとえば、図７は、エージェント・オートメーション・フレームワーク１００のＮＬＵフレームワーク１０４の意味抽出サブシステム１５０の一実施形態を示すブロック図である。意味抽出サブシステム１５０の図示の実施形態は、ＭＬベースの方法とインターリーブされた規則ベースの方法を使用して、発話１６８について、アノテーションが付された発話木１６６を生成し、発話１６８は、図６について先に議論したような、ユーザ発話１２２、または、意図－エンティティ・モデル１０８のサンプル発話１５５のうちの１つであってもよい。より具体的には、図７は、意味抽出サブシステム１５０の実施形態が、ＮＬＵフレームワーク１０４全体にプラグイン可能ないくつかの最善のモデル（規則ベースおよびＭＬベースの（たとえば、統計的な）モデルおよびプログラムの組合せを含む）をどのように利用することができるかを示す。たとえば、図示の意味抽出サブシステム１５０のプラガブル設計により、ボキャブラリ・サブシステム１７０は、様々な単語またはフレーズについて単語ベクトルを規定する、任意の適当な単語ベクトル分布モデルを含むことが可能である。すなわち、様々な単語分布モデルが、所与の会話チャネル、言語、コンテキストなどの中の他の単語分布モデルよりも優れることが可能であると認識されるので、開示するプラガブル設計により、意味抽出サブシステム１５０を特定の環境およびアプリケーションに対してカスタマイズすることが可能になる。図７に示す実施形態については、意味抽出サブシステム１５０は、ＮＬＵフレームワーク１０４のプラグイン・サポートされた３つのサブシステム、すなわち、ボキャブラリ・サブシステム１７０、構造サブシステム１７２、および韻律サブシステム１７４を使用し、これらのサブシステムの様々な出力を、記憶された規則１１４に従って組み合わせて、発話１６８から発話木１６６を生成する。
【0049】
図７に示す意味抽出サブシステム１５０の実施形態については、ボキャブラリ・サブシステム１７０が、一般に、意味抽出サブシステム１５０のボキャブラリを扱う。よって、図示の意味抽出サブシステム１５０は、発話のボキャブラリの解析および抽出を可能にするいくつかのボキャブラリ・プラグイン１７６を含む。図示の実施形態については、ボキャブラリ・プラグイン１７６は、学習済多峰形単語ベクトル分布モデル１７８、学習済単峰形単語ベクトル分布モデル１８０、および、他の任意の適当な単語ベクトル分布モデル１８２を含む。このコンテキストでは、「単峰形」とは、各単語について単一のベクトルを有する単語ベクトル分布モデルを指し、「多峰形」とは、異なるコンテキスト（たとえば、「bank」は、金銭を蓄える場所、金銭自体、飛行機の操縦、または川の近くの場所を指すことができる）において異なる意味を有することがある特定の単語（たとえば、同音語、多義語）に対する複数のベクトルをサポートする単語ベクトル分布モデルを指す。モデル１７８、１８０および１８２は、言語、会話スタイル、会話チャネルなどの適当なパラメータに基づいて選択可能なプラガブルな単語ベクトル集合を提供する。
【0050】
たとえば、学習済多峰形分布モデル１７８および学習済単峰形分布モデル１８０は、図１２について下記で議論するように、教師なし学習または他の一般的なクラスタリング・アルゴリズムを使用して生成される単語分布（たとえば、単語ベクトルの規定ベクトル空間）を提供可能である。すなわち、発話内で一般的に互いに近接して使用される単語同士は、関係し合う意味をしばしば有するということを理解すれば、発話の統計解析を（たとえば、発話１１２のコーパスから）実行し、次いで、これらの発話内で、一般的にどのようにして単語が、他の単語に関連して使用されているかに基づいて、それら単語についてベクトルを規定することにより、学習済多峰形分布モデル１７８および学習済単峰形分布モデル１８０を生成することが可能である。よって、これらのボキャブラリ・プラグイン１７６は、ユーザ発話１２２およびサンプル発話１５５を処理する際に、ボキャブラリ・サブシステム１７０が、同義語、つづりを間違えた単語、符号化されたシンボル（たとえば、ウェブ・アドレス、 ネットワーク・パス、エモティコン、絵文字）、および、ボキャブラリ外の用語などを認識し、対処することを可能にする。特定の実施形態では、ボキャブラリ・サブシステム１７０は、記憶された規則１１４に基づいて、様々なボキャブラリ・プラグイン１７６が出力する単語ベクトルを組み合わせること、または、それらからの選択を行うことで、以下で議論するように、発話木１６６のノードについて単語ベクトルを生成することが可能である。さらに、図１２について下記で議論するように、受け取るユーザ発話１２２に対して実行される教師なし学習に基づいて、単語ベクトル分布モデル１７８、１８０および／または１８２を継続してアップデートすることが可能である。
【0051】
図７に示す実施形態については、意味抽出サブシステム１５０の構造サブシステム１７２は、規則ベースの構造パーシング・プラグイン１８４とＭＬベースの構造パーシング・プラグイン１８４との組合せを使用して、発話１６８の言語形状を解析する。換言すると、図示の構造プラグイン１８４は、発話１２２および１５５の構文的および文法的構造の解析および抽出を可能にする。図示の実施形態については、構造プラグイン１８４は、規則ベースのパーサ１８６、ＭＬベースのパーサ１８８（たとえば、ＤＮＮベースのパーサ、ＲＮＮベースのパーサなど）、および他の適当なパーサ・モデル１９０を含む。たとえば、これら構造プラグイン１８４のうちの１つまたは複数が、発話の各単語またはフレーズについて、（たとえば、動詞、主語またはエンティティ、直接目的語、修飾語などとしての）分類アノテーション付与または分類タグ付けを可能にする。特定の実施形態では、構造サブシステム１７２は、データベース１０６に記憶された１つまたは複数の規則１１４に基づいて、様々な構造プラグイン１８４が出力するパーサ構造を組み合わせること、または、それらからの選択を行うことが可能であり、それらの１つまたは複数の規則１１４は、以下で議論するように、発話木１６６の構造または形状を規定するのに使用される。
【0052】
図７に示す実施形態については、意味抽出サブシステム１５０の韻律サブシステム１７４は、規則ベースの韻律プラグイン１９６とＭＬベースの韻律プラグイン１９６との組合せを使用して、発話１６８の韻律を解析する。図示の韻律プラグイン１９２は、規則ベースの韻律システム１９４、ＭＬベースの韻律システム１９６、および他の適当な韻律システム１９８を含む。これらのプラグインを使用することにより、韻律サブシステム１７４は、リズム（たとえば、発話の突発性、パンクチュエーションまたはポーズが示すセグメント区分などのチャット・リズム）、強調（たとえば、大文字の使用、太字にすること、下線を付すこと、アスタリスク）、焦点または興味（たとえば、特定の用語またはスタイルの繰り返し）などの記載された韻律キューを含めた韻律キューについて発話１６８を解析し、これらの韻律キューを使用して、たとえば、意図同志の間の境界、緊急度または異なる意図に対する相対的重要度などを決定することが可能である。よって、特定の実施形態では、韻律サブシステム１７４は、データベース１０６に記憶された規則１１４に基づいて、様々な韻律プラグイン１９２が出力する韻律パーサ構造を組み合わせること、または、それらからの選択を行うことで、以下で議論するように、発話木１６６を生成することが可能である。
【0053】
したがって、図７に示す意味抽出サブシステム１５０の実施形態については、ＮＬＵフレームワーク１０４のボキャブラリ・サブシステム１７０、構造サブシステム１７２、および韻律サブシステム１７４が、１つまたは複数の規則１１４に基づいて、発話１６８から発話木１６６を生成するために協働する。特定の実施形態では、発話１６８から発話木１６６を生成する際に、１つのサブシステム（たとえば、韻律サブシステム１７４）の出力の一部分が、他のサブシステム（たとえば、構造サブシステム１７２）への入力として提供され得ることを理解することができる。意味抽出サブシステム１５０により生成される、結果として得られる発話木１６６データ構造は、いくつかのノードを含み、各ノードは、ボキャブラリ・サブシステム１７０に提供される、それぞれの単語ベクトルに関連付けられる。さらに、記憶された規則１１４に従って、構造サブシステム１７２および韻律サブシステム１７４の出力に基づいて木構造を形成するように、これらのノードを配置し、互いに結合する。
【0054】
たとえば、図８は、本手法の一実施形態による、発話１６８について生成された発話木１６６の例を示す図である。上記のように、発話木１６６は、発話１６８に基づいて、意味抽出サブシステム１５０が生成したデータ構造である。特定の実施形態では、発話意味モデル１６０の意味表現１６２および理解モデル１５７の意味表現１５８が、発話木であり（または、発話木から導出され）、他の実施形態では、他のパーサ構造を使用することが可能である。図８に示す例については、発話木１６６が、例示的発話である「I want to go to the store by the mall today to buy a blue, collared shirt and black pants and also to return some defective batteries.（私は、今日、青色の襟のあるシャツおよび黒色のズボンを買うために、また、いくつかの不良品の電池を返品するために、モールのそばにあるお店に行きたい）」に基づく。図示の発話木１６６は、木構造に配置された１組のノード２０２（たとえば、ノード２０２Ａ、２０２Ｂ、２０２Ｃ、２０２Ｄ、２０２Ｅ、２０２Ｆ、２０２Ｇ、２０２Ｈ、２０２Ｉ、２０２Ｊ、２０２Ｋ、２０２Ｌ、２０２Ｍ、２０２Ｎ、および２０２０Ｐ）を含み、各ノードは、発話１６８の特定の単語またはフレーズを表現する。ノード２０２のそれぞれが、発話木１６６の特定の部分木を表現していると述べることもできることが分かり、１つの部分木は１つまたは複数のノード２０２を含むことができる。
【0055】
上記のように、図８に示す発話木１６６の形態または形状は、韻律サブシステム１７４および構造サブシステム１７２により決定され、例示的発話の構文上の文法的意味を表現する。より具体的には、韻律サブシステム１７４が、発話を意図セグメントに分解し、構造サブシステム１７２が、これらの意図セグメントから発話木１６６を構築する。ノード２０２のそれぞれは、発話の特定の単語またはフレーズの意味論的意味を示すためにボキャブラリ・サブシステム１７０により決定された、それぞれの単語ベクトルを記憶または参照する。上記のように、各単語ベクトルは、発話の一部分の意味論的意味の数学的表現を提供する浮動小数点値（たとえば、１×Ｎ行列またはＮ×１行列）の規則化ｎ次元リスト（たとえば、３００次元リスト）である。
【0056】
さらに、ノード２０２のそれぞれは、構造サブシステム１７２により、そのノードにより表現される単語またはフレーズについての追加の情報でアノテーションが付される。たとえば、図８では、ノード２０２のそれぞれが、分類アノテーションまたは品詞（ＰＯＳ）アノテーションを有する。具体的には、図８に示す例示的発話木については、特定の部分木またはノード（たとえば、ノード２０２Ａ、２０２Ｂ、２０２Ｃ、および２０２Ｄ）が、構造サブシステム１７２により、動詞ノードであるとアノテーションを付され、特定の部分木またはノード（たとえば、ノード２０２Ｅ、２０２Ｆ、２０２Ｇ、２０２Ｈ、２０２Ｉ、および２０２Ｊ）が、構造サブシステム１７２により、主語ノードまたは目的語ノードであるとアノテーションを付され、特定の部分木またはノード（たとえば、ノード２０２Ｋ、２０２Ｌ、２０２Ｍ、２０２Ｎ、および２０２Ｐ）が、構造サブシステム１７２により、修飾語ノード（たとえば、主語修飾ノード、目的語修飾ノード、動詞修飾ノード）であるとアノテーションを付さる。これらの分類アノテーションは、図８に示す例示的発話木１６６のような発話木から生成される意味表現を比較する際に、意味検索サブシステム１５２により使用される。したがって、意味表現を生成する発話木１６６が、意図および／またはエンティティの抽出のためのベース（たとえば、最初のベース）として働くことを理解することができる。
【0057】
図６を簡単に参照して分かるように、ＮＬＵフレームワーク１０４による意味検索の性能は、ＮＬＵフレームワークが、受け取ったユーザ発話１２２の複数の代替的形態を導出し、これらを、意図－エンティティ・モデル１０８のサンプル発話１５５の複数の代替的形態と比較することを可能にすることで改善することができる。たとえば、特定の実施形態では、意味検索サブシステム１５２により実行される意味検索中に、理解モデル１５７の意味表現１５８と、場合によっては、追加の理解モデルの意味表現とを含む検索空間が規定され得る。さらに、特定の実施形態では、検索されているユーザ発話１２２のＣＣＧ形態に基づいて、この検索空間を反復的に枝刈りすることもでき、このＣＣＧ形態は、発話意味モデル１６０の意味表現１６２の構造に取り込まれる。具体的には、ユーザ発話１２２から導出される複数の代替的意味表現を使用して、どのような他の同等の意味表現１５８が検索空間内に存在するかを求めることが可能であり、同等ではない意味表現を考慮から排除して、検索レイテンシおよび全体的なコンピューティング資源使用を改善することが可能である。こうして、様々なＣＣＧ形態を伴ってユーザ発話１２２の複数の代替的意味表現１６２を発話意味モデル１６０内に有する結果、意味検索中に検索空間の劇的に異なる枝刈りを行うことができるようになり、これにより、検索空間のより包括的な意味検索が可能になる。
【0058】
さらに、意味検索サブシステム１５２が発話意味モデル１６０の意味表現１６２を、理解モデル１５７の意味表現１５８と比較している際にも、意味表現１６２および１５８の複数の代替的形態を有することは有利であり得る。たとえば、特定の実施形態では、ＣＣＧ形態分類データベース（たとえば、データベース１０６の一部分）が、異なるいくつかのＣＣＧ形態（たとえば、動詞主導のＣＣＧ形態、名詞主導のＣＣＧ形態）を記憶することができる。各ＣＣＧ形態は、そのＣＣＧ形態を有する、発話意味モデル１６０の意味表現１６２と、それと同じＣＣＧ形態（または、異なるＣＣＧ形態もしくは同等のＣＣＧ形態）を有する、理解モデル１５７の意味表現１５８との間の類似性スコアを、意味検索サブシステム１５２が計算することを可能にする数学関数の集合に関連付けられる。さらに、特定の実施形態では、意味検索サブシステム１５２が、これらの数学関数を使用して、同等な２つの意味表現の増大する数のノードを反復的に比較することができ、これらノードを考慮する順番も、意味表現の形態または形状に依存する。したがって、様々なＣＣＧ形態を伴う複数の代替的意味表現１６２を発話意味モデル１６０内に有することで、様々な数学関数を使用して、理解モデル１５７の様々な意味表現１５８との様々な比較が可能になり、これによっても、より包括的な意味検索が可能になる。
【0059】
上記を考慮して、図９は、ＮＬＵフレームワーク１０４の意味抽出サブシステム１５０が、当初の発話２５２の再発現（re-expression）を生成し、次いで、これらの再発現および当初の発話２５２に基づいて、意味表現の組２５４を生成するプロセス２５０の一実施形態を示すフロー図である。特定のケースでは、当初の発話２５２が、受け取ったユーザ発話１２２である場合があり、結果として得られる意味表現の組２５４が、発話意味モデル１６０の意味表現１６２になる場合があることを理解することができる。他のケースでは、当初の発話２５２が、意図－エンティティ・モデル１０８のサンプル発話１５５のうちの１つである場合もある。図９に示す実施形態については、プロセス２５０の一部分が、ＮＬＵフレームワーク１０４の意味抽出サブシステム１５０のボキャブラリ・サブシステム１７０により実行され、他の部分が、意味抽出サブシステム１５０の構造サブシステム１７２により実行される。他の実施形態では、プロセス２５０のステップが、ＮＬＵフレームワーク１０４の他の適当なコンポーネントにより実行されることもある。さらに、プロセス２５０を適当なメモリ（たとえば、メモリ８６）に記憶し、図３、図４Ａ、および図４Ｂについて先に議論したように、クライアント・インスタンス４２または企業インスタンス１２５に関連付けられた適当なプロセッサ（たとえば、プロセッサ８２（１つまたは複数のプロセッサ８２））により実行することもできる。
【0060】
図９に示す実施形態については、ＮＬＵフレームワーク１０４のボキャブラリ・サブシステム１７０が当初の発話２５２をクレンジングする（ブロック２５６）ことでプロセス２５０が始まる。たとえば、ボキャブラリ・サブシステム１７０は、データベース１０６に記憶された規則１１４にアクセスし、これを適用して、発話の特定のトークン（たとえば、単語、フレーズ、パンクチュエーション、絵文字）を改変することができる。たとえば、特定の実施形態では、クレンジングは、当初の発話２５２から非テキストの要素（たとえば、エモティコン、絵文字、パンクチュエーション）を取除する規則を適用することを含んでもよい。特定の実施形態では、クレンジングは、発話内のつづりの間違いまたは誤字を修正することを含んでもよい。さらに、特定の実施形態では、クレンジングは、特定のトークンを、他のトークンに置換することを含んでもよい。たとえば、ボキャブラリ・サブシステム１７０は、time（時間）またはcolor（色）に関する全てのエンティティを、一般的または包括的エンティティ（たとえば、「TIME」、「COLOR」）に置き換えるという規則を適用してもよい。
【0061】
図９に示す実施形態については、プロセス２５０は、ボキャブラリ・サブシステム１７０が当初の発話２５２に対してボキャブラリ注入（ブロック２５８）を実行することで継続する。ボキャブラリ注入は、当初の発話２５２の複数の再レンダリングを導入することを一般に含む。たとえば、理解モデル１５７のボキャブラリ・モデル２６０の求めるところに従って、言い回しおよび／または専門用語を、より会話に適したフレーズおよび／または用語に置き換えることができる。特定の実施形態では、複数のフレーズおよび／または用語を置き換えることができ、こうした置換えの様々な配列を使用して、当初の発話２５２に基づいて発話の組２６２を生成する。たとえば、特定の実施形態では、ボキャブラリ・サブシステム１７０は、理解モデル１５７のボキャブラリ・モデル２６２にアクセスして、それぞれ異なるトークンを有する発話の再発現を生成するのに使用することが可能な代替的ボキャブラリを識別することができる。具体的例として、一実施形態では、ボキャブラリ・サブシステム１７０は、「employee（従業員）」を「developer（開発者）」の同義語と決定することがあり、用語「developer（開発者）」を、用語「employee（従業員）」で置換した新たな発話を生成してもよい。
【0062】
図９に示す実施形態については、クレンジングおよびボキャブラリ注入の後、ＰＯＳタグ付けおよびパーシングのために、発話の組２６２を構造サブシステム１７２に提供する。発話の組２６２は、当初の発話２５２または当初の発話をクレンジングしたバージョンを含んでもよく、ブロック２５８のボキャブラリ注入を通して生成された任意の適当な数の代替的な再発現発話を含んでもよいことを理解することができる。特定の環境では、ブロック２５８のボキャブラリ注入で、当初の発話２５２の再発現が生成されないこともあり、したがって、発話の組２６２が、当初の発話２５２、または、それをクレンジングしたバージョンのみを含むこともあることが分かる。他の実施形態では、ブロック２５６のクレンジングまたはブロック２５８のボキャブラリ注入なしで、当初の発話２５２が、構造サブシステム１７２に直接的に提供されることもある。
【0063】
発話の組２６１を受け取ると、構造サブシステム１７２は、プラグイン２６４の組を使用して、当初の発話２５２を表現する１つまたは複数の意味表現の組２５４を生成する（ブロック２６６）。他の実施形態では、代わりに、プラグイン２６４の組を、非プラガブルなアプリケーション、または、意味抽出サブシステム１５０もしくはＮＬＵフレームワーク１０４のモジュールとして実装することもできる。ただし、図示の構造サブシステム１７２の開示するプラガブル設計は、ＮＬＵフレームワーク１０４がより高い柔軟性を有することを可能にすることが現在認識されている。たとえば、プラグイン２６４の組を、異なる言語または異なる分野のために設計（たとえば、プログラム、訓練）された他の組に切り替えることにより、ＮＬＵフレームワーク１０４に追加の言語へのサポートを加えることが可能である。
【0064】
図９に示す実施形態については、構造サブシステム１７２のプラグイン２６４の組は、品詞（ＰＯＳ）プラグイン２６８、修正プラグイン２７０、バリエーション・フィルタ（ＶＦ）プラグイン２７２、パーサ・プラグイン２７４、ならびに、最終スコアリングおよびフィルタリング（ＦＳＦ）プラグイン２７６を含む。プラグイン２６４の機能については、図１０に関連してより詳細に議論する。一般には、ＰＯＳプラグイン２６８は、発話の各トークンのＰＯＳタグ付けを、関連する品詞（たとえば、動詞、名詞、形容詞、代名詞、副詞）で実行するように訓練されるＭＬベースのコンポーネント（たとえば、フィードフォワード人工ニューラル・ネットワーク）を含む。ＰＯＳプラグイン２６８は、発話の複数の潜在的ＰＯＳタグ付け、ならびに、発話の各潜在的ＰＯＳタグ付けについての、対応する信頼スコアを出力するように設計される。修正プラグイン２７０（１つまた複数の修正プラグイン２７０）は、ＭＬベースの技術を適用するか、または、ＰＯＳプラグイン２６８により生成され、誤りであることが分かっている潜在的ＰＯＳタグ付けを改変または除去するための規則（たとえば、データベース１０６に記憶されている）を適用するＰＯＳ修正プラグインを含む。ＶＦプラグイン２７２は、ＰＯＳプラグイン２６８により生成される潜在的ＰＯＳタグ付けの数学的比較を適用し、十分に互いに異ならないＰＯＳタグ付けを除去する。パーサ・プラグイン２７４は、残っている候補ＰＯＳタグ付けのそれぞれについてのそれぞれの意味表現、ならびに、パーシング動作についての、対応する信頼スコアを生成するように設計および／または訓練された規則ベースまたはＭＬベースのコンポーネント（たとえば、フィードフォワード人工ニューラル・ネットワーク）を含むことができる。また、修正プラグイン２７０（１つまた複数の修正プラグイン２７０）は、ＭＬベースの技術を適用するか、または、パーサ・プラグイン２７４により生成され、誤りであることが分かっている潜在的意味表現を改変または除去するための規則（たとえば、データベース１０６に記憶されている）を適用するパーサ修正プラグインを含む。ＦＳＦプラグイン２７６は、生成された各意味表現について、最終信頼スコアを決定し、次いで、予め規定された閾値よりも大きな対応する最終信頼スコアを有する意味表現の最終組２５４を出力する。
【0065】
図１０は、ＮＬＵフレームワーク１０４の構造サブシステム１７２が、発話２８４について複数の代替的意味表現２８２を生成することができるプロセス２８０の一実施形態を示すフロー図である。よって、図１０のプロセス２８０は、図９のブロック２６６に対応する。図９について、発話２８４が、受け取ったユーザ発話１２２、意図－エンティティ・モデル１０８のサンプル発話１５５のうちの１つ、クレンジング（ブロック２５６）から生成された発話、ボキャブラリ注入（ブロック２５８）から生成された発話など、発話の組２６２のうちの1つの発話であり得ること、結果として得られる意味表現２８２が、当初の発話２５２の意味表現の組２５４のうちの一部分の意味表現または全ての意味表現であり得ることを理解することができる。図１０に示す実施形態については、プロセス２８０を適当なメモリ（たとえば、メモリ８６）に記憶し、図３、図４Ａ、および図４Ｂについて先に議論したように、クライアント・インスタンス４２または企業インスタンス１２５に関連付けられた適当なプロセッサ（たとえば、プロセッサ８２（１つまたは複数のプロセッサ８２））により実行することもできる。
【0066】
図１０に示す実施形態については、プロセス２８０が、２つのステージ、ＰＯＳタグ付けステージ２８６およびパーサ・ステージ２８８に分けられる。ＰＯＳタグ付けステージ２８６は、構造サブシステム１７２が発話２８４のＰＯＳタグ付けを実行（ブロック２９０）して、潜在的ＰＯＳタグ付けの組２９２、ならびに、各潜在的ＰＯＳタグ付けについて、対応する信頼スコア２９４を生成することで始まる。発話２８４に加えて、ＰＯＳプラグイン２６８は、ＰＯＳ閾値も受け取る。たとえば、ＰＯＳプラグイン２６８には、特定の信頼レベル（たとえば、８０％）を表現するＰＯＳ閾値２９６を提供することができ、よって、潜在的ＰＯＳタグ付けの組２９２は、ＰＯＳ閾値２９６以上の対応する信頼スコアを有するタグ付けのみを含むことになる。他の実施形態では、これに加えて、または、そうする代わりに、ＰＯＳプラグイン２６８は、ＰＯＳタグ付けリミット値（たとえば、１０）を受け取ることができ、よって、ＰＯＳプラグイン２６８により生成される潜在的ＰＯＳタグ付けの数は、ＰＯＳタグ付けリミット値に限定されることになる。特定の状況では、潜在的ＰＯＳタグ付けの組２９２が単一のＰＯＳタグ付けのみを含むこともあることが分かる。
【0067】
図１０に示す実施形態については、プロセス２８０が継続し、構造サブシステム１７２が、修正プラグイン２７０を使用して、潜在的ＰＯＳタグ付けの組２９２の自動修正（ブロック２９８）を実行することで、修正された潜在的ＰＯＳタグ付けの組３００を生成する。たとえば、上記のように、ＰＯＳプラグイン２６８は、ＭＬベースのコンポーネントを含み得る。よって、ＰＯＳプラグイン２８６は、たとえば、欠陥のある訓練データに起因して、訓練中にいつの間にか、不正確なＰＯＳタグ付けの学習を受ける場合がある。したがって、修正プラグイン２７０は、欠陥のあるＰＯＳタグ付けが、プロセス２８０の残りのステップに進むのを妨げるために、潜在的ＰＯＳタグ付けの改変、または、組２９２からの潜在的ＰＯＳタグ付けの除去を行うように設計される。特定の実施形態では、修正プラグイン２７０は、トークンの表層形態（たとえば、単語の表層形態）が、そのトークンについての選択されたＰＯＳタグにマッチすることを確実にするために、外部の語彙データベース（たとえば、データベース１０６に記憶、理解モデル１５７の一部分として記憶されている）を照会することができる。この種類の修正は、サブの単語学習モデル（たとえば、文字埋込みベースのモデル、形態素モデルなど）に基づいてＰＯＳプラグイン２６８が学習される場合に特に効果的になり得ることを理解することができる。他の実施形態では、修正プラグイン２７０が、特定のトークンを特定のＰＯＳタグに関連付けるように訓練されるＭＬベースのコンポーネント（たとえば、人工ニューラル・ネットワーク）を含むことができる。こうした実施形態については、修正プラグイン２７０は、組２９２内の潜在的ＰＯＳタグ付けの各タグについてタグ付けスコアを求め、予め決めたタグ付け閾値（たとえば、データベース１０６に記憶されている）未満のタグ付けスコアを有する全ての潜在的ＰＯＳタグ付けを排除することができる。
【0068】
たとえば、特定の実施形態では、修正プラグイン２７０が、規則ベースの修正技術を実装することができる。こうした実施形態については、修正プラグイン２７０は、開発者が規定し、データベース１０６に記憶された規則１１４にアクセスし、これを適用して、潜在的ＰＯＳタグ付けの組２９２を修正することができる。たとえば、ＰＯＳプラグイン２６８のＭＬベースのコンポーネントが、訓練中に、「stop（止まる、停止）」のトークンが、動詞または名詞ではなく、パンクチュエーションを表すと誤って学習するかもしれない。よって、開発者は、この不正確なＰＯＳタグ付けを含む、組２９２から得られる潜在的ＰＯＳタグ付けを除去するために、または、誤ったＰＯＳタグ付けを正しいＰＯＳタグ付けと置き換えるように、組２９２から得られる潜在的ＰＯＳタグ付けを改変するために、修正プラグイン２７０により適用されるべき１つまたは複数の規則１１４を規定することができる。こうする代わりに、特定の実施形態では、修正プラグイン２７０は、これらの技術の組合せを使用して、潜在的ＰＯＳタグ付けの組２９２内のエントリを排除または改変することもできる。
【0069】
図１０に示す実施形態については、構造サブシステム１７２が、ＶＦプラグイン２７２を使用して、修正された潜在的ＰＯＳタグ付けの組３００の多様性フィルタリング（ブロック３０２）を実行することで、潜在的ＰＯＳタグ付けの最終指名組３０６を生成して、プロセス２８０のＰＯＳタグ付けステージ２８６が終了する。修正された潜在的ＰＯＳタグ付けの組３００に加えて、ＶＦプラグイン２７２が、バリエーション閾値３０４を受け取るが、このバリエーション閾値３０４は、修正された組３００内の潜在的ＰＯＳタグ付けが、どの程度互いに異なるべきかを規定する。多様性フィルタリングの目的は、修正された組３００内の他のＰＯＳタグ付けと類似し過ぎると考えられる潜在的ＰＯＳタグ付けを排除することで、プロセス２８０ならびに後続の意味検索の効率を改善することなので、追及するコンピューティング資源消費の根拠となる十分に特異な方針を表すものではない。
【0070】
多様性フィルタリングは、異なるいくつかの方法で達成することができる。一般には、タグ付け距離または多様性機能を使用して、修正された組３００内の異なる２つの潜在的ＰＯＳタグ付けがどの程度互いに異なるかを求める。多様性フィルタリングは、極小の差および／または表面上の差のみを有する意味表現となる、潜在的ＰＯＳタグ付け間の「上辺だけの（shallow）」違いを調べるために、追加のコンピューティング資源が意味検索で消費されるのを妨げるか、または、それを阻止する。たとえば、修正された潜在的ＰＯＳタグ付けの組３００内の任意の２つのエントリについて多様性スコアを計算してもよく、多様性スコアがバリエーション閾値３０４未満の場合には、潜在的ＰＯＳタグ付けのうちの１つが十分に冗長であるとみなされ、潜在的ＰＯＳタグ付けの最終指名組３０６には含められない。よって、潜在的ＰＯＳタグ付けの数が相対的に小さい（たとえば、１０以下）の場合には、修正された組３００内の各潜在的ＰＯＳタグ付けを、このようにして比較してもよい。しかし、より多数の潜在的ＰＯＳタグ付けが、修正されたＰＯＳタグ付けの組３００内に存在する実施形態については、クラスタリング技術を適用してもよい。たとえば、タグ付け距離機能を使用して、潜在的ＰＯＳタグ付け間のタグ付け距離を決定することができ、これにより、これらのタグ付け距離に基づいて、潜在的ＰＯＳタグ付けをグループにクラスタ分けすることが可能である（たとえば、予め規定された数のクラスタを形成することで、クラスタ間の距離を最大にすることにより）。次に、各クラスタから代表となる潜在的ＰＯＳタグ付けが選択され（たとえば、各クラスタの重心となる潜在的ＰＯＳタグ付け）、プロセス２８０の次のステップに進展する。本開示内容従って、他の多様性フィルタリング技術も使用することができることを理解することができる。
【0071】
相対的に小さな修正ＰＯＳタグ付けの組３００を伴う一例では、ＶＦプラグイン２７２は、ダイバシティ・ベースの組込み技術を使用することができる。この例については、発話２８４を、「Change my password（私のパスワードを変更してください）」としてもよい。ブロック２９０では、ＰＯＳプラグイン２６８が、発話２８４のトークンは順番に（１）命令形態の動詞、形容詞、および名詞、または（２）動詞、形容詞、および名詞、または（３）名詞、形容詞、および名詞、または（４）動詞、代名詞、および名詞であることを示す潜在的ＰＯＳタグ付けの組２９２を決定することができる。ブロック２９８での修正の後、ＶＦプラグイン２７２は、修正された潜在的ＰＯＳタグ付けの組３００を受け取り、多様性機能を適用して、潜在的ＰＯＳタグ付けがどの程度互いに異なっているかを求める。この例については、ＶＦプラグイン２７２は、修正された潜在的ＰＯＳタグ付けの組３００内の第１のエントリを考慮することで始まる。ＶＦプラグイン２７２は、比較のベースが存在しないので、第１のエントリが十分に異なり、潜在的ＰＯＳタグ付けの最終指名組３０６に含めるべきであると決定する。次に、ＶＦプラグイン２７２は、修正された潜在的ＰＯＳタグ付けの組３００内の第２のエントリを、多様性機能を使用して第１のエントリと比較することにより、第２のエントリを考慮することができる。例示的な多様性機能は、重み付け平均であってもよい。この例については、第１のエントリと、第２のエントリとが比較される際に、第１のエントリの第１のタグ（たとえば、命令形態の動詞）と、第２のエントリの第１のタグ（たとえば、動詞）とが比較される。それぞれ異なるタグ比較のための差値を、データベース１０６内に規則１１４の一部分として記憶することができる。たとえば、データベース１０６内で、動詞－動詞の比較、名詞－名詞の比較、形容詞－形容詞などに割り当てる差値を０にすること、命令形態の動詞－動詞の比較に割り当てる差値を、０をわずかに上回る（たとえば、０．１）ようにすること、動詞－名詞の比較、動詞－形容詞、名詞－形容詞などに割り当てる差値を１にすることなどができる。特定の実施形態では、データベース１０６は、それぞれ異なるＰＯＳタグについて重み付け値を更に記憶することができ、これにより、特定のＰＯＳタグ（たとえば、動詞）が、他のＰＯＳタグ（たとえば、名詞、代名詞）よりも、多様性機能の出力に大きく寄与することになる。この例については、各ＰＯＳタグの重みは等価である。よって、多様性機能は、第１および第２エントリ間の多様性スコアを計算することができ（たとえば、（第１のタグの間の差０．１＋第２のタグの間の差０＋第３のタグ間の差０）／（比較される３つのタグ）＝０．０３）、この多様性スコアをバリエーション閾値３０４（たとえば、０．３）と比較する。多様性スコアがバリエーション閾値３０４を下回るので、第２のエントリは、ＰＯＳタグ付けの最終指名組３０６には含められない。修正された潜在的ＰＯＳタグ付けの組３００内の第３のエントリを第１のエントリと比較することで（たとえば、（第１のタグ間の差１＋第２のタグ間の差０＋第３のタグ間の差０）／（比較される３つのタグ）＝０．３、これは、バリエーション閾値の０．３と等しい）、このプロセスは継続し、第３のエントリは、潜在的ＰＯＳタグ付けの最終指名組３０６に含められる。次に、修正された潜在的ＰＯＳタグ付けの組３００内の第４のエントリが、第１のエントリと比較され（たとえば、（第１のタグ間の差０．１＋第２のタグ間の差１＋第３のタグ間の差０）／（比較される３つのタグ）＝０．３３、これは、バリエーション閾値の０．３よりも大きい）、また、第３のエントリと比較され（たとえば、（第１のタグ間の差１＋第２のタグ間の差１＋第３のタグ間の差０）／（比較される３つのタグ）＝０．６６、これは、バリエーション閾値の０．３よりも大きい）、プロセス２８０内で進められる潜在的ＰＯＳタグ付けの最終指名組３０６に含められる。
【0072】
図１０に示す実施形態については、構造サブシステム１７２が、パーサ・プラグイン２７４を使用することでパーサ推測を実行（ブロック３０８）して、潜在的ＰＯＳタグ付けの最終指名組３０６から潜在的意味表現の組３１０を生成し、組３６０内の各潜在的意味表現のパーシングについての対応信頼スコア３１２を生成することで、パーサ・ステージ２８８が始まる。潜在的ＰＯＳタグ付けの最終指名組３０６に加えて、ＰＯＳプラグイン２６８は、データベース１０６に記憶することができるパーサ閾値３１４も受け取る。たとえば、パーサ・プラグイン２７４には、特定の信頼レベル（たとえば、８０％）を表すパーサ閾値３１４を提供することができ、よって、潜在的意味表現の組３１０は、パーサ閾値３１４以上の対応する信頼スコアを有する意味表現のみを含むことになる。特定のケースでは、パーサ・プラグイン２７４が、特定の潜在的ＰＯＳタグ付けについて意味表現を生成可能でないこともあることが分かる。
【0073】
特定の実施形態では、プロセス２８０が、最終スコアリングおよびフィルタリングが実行される前に、潜在的意味表現の組３１０内のエントリを改変または除去するための第２の自動修正ステップ（ブロック３１５）を含むことがあることを理解することができる。たとえば、上記のように、パーサ・プラグイン２７４は、ＭＬベースのコンポーネントを含み得る。よって、パーサ・プラグイン２７４は、たとえば、欠陥のある訓練データに起因して、訓練中にいつの間にか、不正確なパーサ木構造生成の学習を受ける場合がある。したがって、特定の実施形態では、構造サブシステム１７２は、欠陥のある意味表現が、プロセス２８０の残りのステップに進むのを妨げるために、組３１０からの潜在的意味表現を改変するように、または、組３１０から潜在的意味表現を除去するように設計されたパーサ修正プラグインを含むことがある。特定の実施形態では、このパーサ修正プラグインは、特定のＰＯＳタグ付けを特定のパーサ木構造に関連付けるように訓練されるＭＬベースのコンポーネント（たとえば、人工ニューラル・ネットワーク）を含むことがある。他の実施形態では、修正プラグイン２７０について議論したように、パーサ修正プラグインは、規則ベースの修正技術、または、規則ベースの技術と、ＭＬベースの技術との組合せを実装することもできる。
【0074】
図１０に示す実施形態については、構造サブシステム１７２が、ＦＳＦプラグイン２７６を使用して、ブロック３０８でパーサ・プラグイン２７４により生成された潜在的意味表現の組３１０の最終スコアリングおよびフィルタリング（ブロック３１６）を実行することで、潜在的ＰＯＳタグ付けの最終指名組３０６を生成して、プロセス２８０のパーサ・ステージ２８８が終了する。たとえば、図１０に示すように、特定の実施形態では、ＦＳＦプラグイン２７６は、パーサ・プラグイン２７４が生成した潜在意味表現の組３１０、潜在的意味表現のそれぞれについての対応する信頼スコア３１２、および、潜在的意味表現の組３１０を生成するのに使用された潜在的ＰＯＳタグ付けについての対応する信頼スコア２９４を受け取る。さらに、ＦＳＦプラグイン２７６は、データベース１０６に記憶することができるＦＳＦ閾値３１８も受け取る。ＦＳＦプラグイン２７６は、潜在的意味表現の組３１０内の各エントリについて、最終的なスコア（たとえば、総合スコア、累積スコア）を、これらの信頼値に基づいて計算する最終スコアリング機能を規定し、ＦＳＦ閾値３１８以上の最終スコアを有する意味表現のみを進展させる。
【0075】
様々な実施形態で、ＦＳＦプラグイン２７６の最終スコアリング機能は、様々なやり方で、ＰＯＳタグ付けから得られる信頼スコア２９４と、パーシングから得られる信頼スコア３１２とを組み合わせることができる。たとえば、特定の実施形態では、最終スコアリング機能は、信頼スコア２９４と、信頼スコア３１２との乗算および／または加算を行うことができる。特定の実施形態では、この乗算プロセスおよび／または加算プロセスに重み付けをして、最終スコアに対する、ＰＯＳタグ付けから得られる信頼スコア２９４またはパーシングから得られる信頼スコア３１２の影響を増大させることができる。具体的例として、一実施形態では、潜在的意味表現の組３１０内の意味表現の対応する最終スコアが、ＰＯＳタグ付けから得られる信頼スコア２９４に、パーシングから得られる信頼スコア３１２を足したものの５倍であることがある。他の実施形態では、信頼スコア２９４と信頼スコア３１２とを重み付け平均として組み合わせることができ、各信頼スコアについての相対的重みを、データベース１０６内で予め規定してもよい。
【0076】
図１１は、図９および図１０について先に議論したように、当初の発話２５２が、ボキャブラリ・サブシステム１７０および構造サブシステム１７２により再発現されて、最終指名ＰＯＳタグ付けの組３０６になるプロセス３０２の一実施形態を示すフロー図である。先に記載したように、当初の発話２５２は、受け取ったユーザ発話１２２、または、意図－エンティティ・モデル１０８のサンプル発話１５５のうちの１つであってもよく、ボキャブラリ注入２５８のために、ボキャブラリ・サブシステム１７０に提供される。特定の実施形態では、始めに、当初の発話２５２は、ボキャブラリ注入２５８に先だって、クレンジング・ステップを経てもよい。ボキャブラリ注入２５８の結果、当初の発話２５２と、当初の発話２５２の再発現であり、代替的な言い回しおよび／または専門用語を有する追加の発話（たとえば、発話３２４）とを含む発話の組２６２が生成される。
【0077】
図１１に示す実施形態を継続することで、発話の組２６２の各発話は、ＰＯＳタグ付け２９０のためにＰＯＳプラグイン２６８に提供されて、各発話について潜在的ＰＯＳタグ付けの組２９２が生成される。図示のように、ＰＯＳプラグイン２６８は、発話の組２６２の各発話について、０個、１個、または複数個のＰＯＳタグ付けを生成することができる。次に、潜在的ＰＯＳタグ付けの組２９２の潜在的ＰＯＳタグ付けのそれぞれが、自動修正２９８のために、ＰＯＳ修正プラグイン２７０Ａに提供される。この例については、自動修正２９８中に、ＰＯＳ修正プラグイン２７０Ａが、潜在的ＰＯＳタグ付けの組２９２から、誤りであると分かっている特定の潜在的ＰＯＳタグ付けを除去して、修正された潜在的ＰＯＳタグ付けの組３００を生成する。
【0078】
図１１に示す実施形態を継続すると、自動修正２９８の後、潜在的ＰＯＳタグ付けの組２９２が、多様性フィルタリング３０２のために、ＶＦプラグイン２７２に提供される。括弧３２２が示すように、ＶＦプラグイン２７２は、修正された潜在的ＰＯＳタグ付けの組３００の全ての組に渡り、潜在的ＰＯＳタグ付け同士を比較する。この設計は、第１の発話（たとえば、当初の発話２５２）について生成される潜在的ＰＯＳタグ付けが、発話の組２６２の第２の発話３２４について生成される潜在的ＰＯＳタグ付けと実質的に類似し得るという現在の認識に基づく。よって、特定の実施形態では、ＶＦプラグイン２７２が、先で議論したように、多様性機能またはタグ付け距離機能を適用して、修正された潜在的ＰＯＳタグ付けの組３００の全てに渡り、潜在的ＰＯＳタグ付けを除去することで、最終指名ＰＯＳタグ付けの組３０６を生成することを理解することができる。
【0079】
図１２は、図１０について先に議論したように、図１１のプロセス３２０により生成された最終指名ＰＯＳタグ付けの組３０６が、構造サブシステム１７２により、当初の発話２５２の意味表現の組２５４に変換されるプロセス３３０の一実施形態を示すフロー図である。最終指名ＰＯＳタグ付けの組３０６内の各エントリが、パーサ推測３０８のために、パーサ・プラグイン２７４に提供され、パーサ・プラグイン２７４は、組３０６内の各エントリについて、それぞれの潜在的意味表現３３２を生成する。次に、意味表現３３２のそれぞれが、自動修正３１５のために、パーサ修正プラグイン２７０Ｂに提供される。この例については、パーサ自動修正３１５中に、パーサ修正プラグイン２７０Ｂは、誤りであると分かっている特定の潜在的意味表現３３２を改変または除去して、修正された潜在的意味表現３３４を生成する。たとえば、パーサ自動修正３１５中に、パーサ修正プラグイン２７０Ｂは、不正確なノード間パーサ・リンク（たとえば、主語ノードに誤ってリンクしている直接目的語ノード）、および、不正確なノードＰＯＳ／リンク型の組み合わせ（たとえば、動詞であるとＰＯＳタグ付けされたノードを指す直接目的語リンク型）などを潜在的意味表現３３２内で検出し、修正された潜在的意味表現３３４に反映されるように、これらの不正確な構造を除去または改変することができる。
【0080】
議論したように、各潜在的意味表現３３４が、パーサ推測３０８中にパーサ・プラグイン２７４により求められた対応する信頼スコア、ならびに、ＰＯＳタグ付け２９０中に、ＰＯＳプラグイン２６８により各潜在的意味表現３３４について求められた対応する信頼スコアとともに、ＦＳＦプラグイン２７６に提供される。ＦＳＦプラグイン２７６は、先で議論したように、これらの信頼スコアを組み合わせて、各潜在的意味表現３３４について、それぞれの最終スコアを求める。次いで、ＦＳＦプラグイン２７６は、最終スコア・フィルタ動作３１６を実行し、この動作では、ＦＳＦ閾値３１８未満の最終スコアを有する各潜在的意味表現３３４が、意味表現の最終組２５４に含められない。よって、最終出力は、当初の発話２５２を表現する意味表現の組２５４である。上記のように、当初の発話２５２が、受け取ったユーザ発話１２２であっても、意図－エンティティ・モデル１０８のサンプル発話１５５であっても、意味表現の最終組２５４が、当初の発話２５２の複数の再発現および形態を含むので、意味検索（意図推測）中にマッチするものを特定する可能性が高まる。さらに、意味表現の最終組２５４を生成する際に、当初の発話２５２のうち潜在的に誤りであり、実質的に冗長な形態は考慮から除かれるので、これらの形態は意味検索に組み入れられず、これにより、意味検索の効率およびＮＬＵフレームワークの動作が改善される。
【0081】
本開示内容の技術的効果は、仮想エージェント（たとえば、チャット・エージェント）が受け取る要求などのユーザ発話から意味を抽出し、これらのユーザ発話に適宜応答することが可能なエージェント・オートメーション・フレームワークを提供することを含む。さらに、本実施形態は、所与の自然言語発話について、複数の代替的意味表現（たとえば、発話木）を検出することが可能な構造サブシステムを有するＮＬＵフレームワークを提供する。開示を行った構造サブシステムは、発話の形態または形状のそれぞれ異なる側面を検出するＭＬベースの技術および規則ベースの技術の結果に、一連の改良を適用することで、これら複数の意味表現を生成する。開示を行った構造サブシステムは、意味検索中に十分考慮されるべき複数の潜在的形態導出を考慮し、誤ったまたは事実上冗長な形態導出を考慮から効果的に枝刈りすることで、自然言語要求の改善された意図推測を可能にする。したがって、開示を行った構造サブシステムは、ＮＬＵフレームワークの性能、分野固有性、および／または効率を改善する。
【0082】
先で説明した具体的実施形態は、例として示しており、これらの実施形態には、様々な改変形態および代替形態の余地があることを理解されたい。特許請求の範囲は、開示した特定の形態に限定することを意図しておらず、むしろ、本開示内容の趣旨および範囲に含まれる全ての改変形態、均等物、および代替形態を対象とすることを意図していることを更に理解されたい。
【0083】
本明細書で提示および特許請求を行う技術は、有形物と、本技術分野を実証可能に改善し、よって、抽象的、無形、または純粋に理論的ではない実際的性質の具体例とにより参照され、これらに適用される。さらに、本明細書の最後に添付された請求項が、「～する［機能]を[実行]する手段（means for [perform]ing [a function]...）」、または、「～する[機能]を[実行]するステップ（step for [perform]ing [a function] ...）」として指定された１つまたは複数の要素を含む場合、こうした要素が、米国特許法第１１２（ｆ）に基づいて解釈されることを意図する。ただし、他のやり方で指定された要素を含む請求項については、こうした要素が米国特許法第１１２（ｆ）に基づいては解釈されないことを意図する。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【手続補正書】
【提出日】2022-02-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
エージェント・オートメーション・システムであって、自然言語理解（ＮＬＵ）フレームワークを記憶するように構成されるメモリであって、前記ＮＬＵフレームワークが、品詞（ＰＯＳ）コンポーネント、修正コンポーネント、多様性フィルタ・コンポーネント、パーサ・コンポーネント、ならびに、最終スコアリングおよびフィルタリング・コンポーネントを含む、メモリと、
前記エージェント・オートメーション・システムにアクションを実行させるために、前記ＮＬＵフレームワークの命令を実行するように構成されるプロセッサと
を備え、
前記アクションが、
前記ＰＯＳタグ付けを使用することであって、前記ＰＯＳタグ付けを使用して、１組の発話の品詞（ＰＯＳ）タグ付けを実行することで、前記１組の発話から１組の潜在的ＰＯＳタグ付けを生成する、前記ＰＯＳタグ付けを使用することと、
前記多様性フィルタ・コンポーネントを使用することであって、前記多様性フィルタ・コンポーネントを使用して、前記１組の潜在的ＰＯＳタグ付け内の他のＰＯＳタグ付けと実質的に類似する１つまたは複数のＰＯＳタグ付けを、前記１組のＰＯＳタグ付けから除去する、前記多様性フィルタ・コンポーネントを使用することと、
前記パーサ・コンポーネントを使用することであって、前記パーサ・コンポーネントを使用して、前記１組の潜在的ＰＯＳタグ付けから１組の潜在的意味表現を生成する、前記パーサ・コンポーネントを使用することと、
前記最終スコアリングおよびフィルタリング・コンポーネントを使用することであって、前記最終スコアリングおよびフィルタリング・コンポーネントを使用して、前記１組の潜在的意味表現内の各潜在的意味表現について、それぞれの最終スコアを計算し、前記１組の潜在的意味表現から、潜在的意味表現を、それら潜在的意味表現のそれぞれの最終スコアに基づいて除去することで、最終組の意味表現を生成する、前記最終スコアリングおよびフィルタリング・コンポーネントを使用することと
を含む、エージェント・オートメーション・システム。
【請求項2】
前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、前記１組の発話を当初の発話に基づいて生成するために、ボキャブラリ注入を実行することであって、前記１組の発話が、前記当初の発話と、異なる言い回し、異なる専門用語、または、異なる言い回しと異なる専門用語との組合せを有する、前記当初の発話の１つまたは複数の再発現とを含む、ボキャブラリ注入を実行することを含む、
請求項１に記載のシステム。
【請求項3】
前記当初の発話が、ユーザ発話であり、前記最終組の意味表現が、意味検索について検索キーを規定する発話意味モデルの一部分を形成する、請求項２に記載のシステム。
【請求項4】
前記当初の発話が、前記メモリに記憶される意図－エンティティ・モデルのサンプル発話であり、前記最終組の意味表現が、意味検索について検索空間を規定する理解モデルの一部分を形成する、請求項２に記載のシステム。
【請求項5】
前記ＰＯＳコンポーネント、前記修正コンポーネント、前記多様性フィルタ・コンポーネント、前記パーサ・コンポーネント、ならびに、前記最終スコアリングおよびフィルタリング・コンポーネントが、前記ＮＬＵフレームワークのプラグインとして、それぞれ実装される、請求項１に記載のシステム。
【請求項6】
前記ＰＯＳコンポーネント、前記パーサ・コンポーネント、または、前記ＰＯＳコンポーネントと前記パーサ・コンポーネントとの組合せが、フィードフォワード人工ニューラル・ネットワークである機械学習（ＭＬ）ベースのコンポーネントを含む、請求項１に記載のシステム。
【請求項7】
前記１組の潜在的意味表現の各潜在的意味表現が、発話木である、請求項１に記載のシステム。
【請求項8】
前記ＰＯＳコンポーネントを使用してＰＯＳタグ付けを実行するために、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、前記１組の発話の各発話について、
前記発話の少なくとも１つの潜在的ＰＯＳタグ付けを生成することと、
前記少なくとも１つの潜在的ＰＯＳタグ付けについて、それぞれの信頼スコアを求めることと、
前記それぞれの信頼スコアが、予め規定されたＰＯＳ閾値以上であると判定することに応答して、前記少なくとも１つの潜在的ＰＯＳタグ付けを、前記１組の潜在的ＰＯＳタグ付けに含めることと
を含む、請求項１に記載のシステム。
【請求項9】
前記多様性フィルタ・コンポーネントを使用して、前記１つまたは複数のＰＯＳタグ付けを除去するために、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、前記１組の潜在的ＰＯＳタグ付けのうちの、第１の潜在的ＰＯＳタグ付けと第２の潜在的ＰＯＳタグ付けとの間で多様性スコアを計算することと、
前記多様性スコアが、予め規定されたバリエーション閾値未満であることに応答して、前記１組の潜在的ＰＯＳタグ付けから前記第２の潜在的ＰＯＳタグ付けを除去することと
を含む、請求項１に記載のシステム。
【請求項10】
前記多様性フィルタ・コンポーネントを使用して、前記１つまたは複数のＰＯＳタグ付けを除去するために、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、前記１組の潜在的ＰＯＳタグ付けのうちの各潜在的ＰＯＳタグ付け間のタグ付け距離を計算することと、
前記タグ付け距離、および、予め規定されたバリエーション閾値に基づいて、前記１組の潜在的ＰＯＳタグ付けを、潜在的ＰＯＳタグ付けのグループにクラスタ分けすることと、
前記潜在的ＰＯＳタグ付けのグループのそれぞれについて、代表となる潜在的ＰＯＳタグ付けを選択することと、
前記１組の潜在的ＰＯＳタグ付けから、代表となる潜在的ＰＯＳタグ付けではない潜在的ＰＯＳタグ付けを除去することと
を含む、請求項１に記載のシステム。
【請求項11】
前記パーサ・コンポーネントを使用して、前記１組の潜在的意味表現を生成するために、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、前記１組の潜在的ＰＯＳタグ付けのうちの各潜在的ＰＯＳタグ付けについて、
前記潜在的ＰＯＳタグ付けの、少なくとも１つの潜在的意味表現を生成することと、
前記少なくとも１つの潜在的意味表現について、それぞれの信頼スコアを求めることと、
前記それぞれの信頼スコアが、予め規定されたパーサ閾値以上であると判定することに応答して、前記少なくとも１つの潜在的意味表現を、前記１組の潜在的意味表現に含めることと
を含む、請求項１に記載のシステム。
【請求項12】
前記最終スコアリングおよびフィルタリング・コンポーネントを使用するために、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、前記１組の潜在的意味表現のうちの各潜在的意味表現について、
前記潜在的意味表現の前記それぞれの最終スコアを計算するために、前記潜在的意味表現のＰＯＳタグ付け信頼スコアとパーシング信頼スコアとを組み合わせることと、
前記潜在的意味表現の前記それぞれの最終スコアが、最終スコアリングおよびフィルタリング閾値未満であると判断することに応答して、前記１組の潜在的意味表現から、前記潜在的意味表現を除去することと
を含む、請求項１に記載のシステム。
【請求項13】
自然言語理解（ＮＬＵ）フレームワークを動作する方法であって、当初の発話に基づいて１組の発話を生成するために、ボキャブラリ注入を実行することであって、前記１組の発話が、前記当初の発話と、前記当初の発話の１つまたは複数の再発言とを含む、ボキャブラリ注入を実行することと、
前記１組の発話について１組の潜在的ＰＯＳタグ付けを生成するために、前記１組の発話の品詞（ＰＯＳ）タグ付けを実行することと、
前記１組の潜在的ＰＯＳタグ付け内の他のＰＯＳタグ付けと実質的に類似するＰＯＳタグ付けを、前記１組の潜在的ＰＯＳタグ付けから除去するために多様性フィルタリングを実行することと、
１組の潜在的意味表現を生成するために、前記１組の潜在的ＰＯＳタグ付けをパースすることと、
前記１組の潜在的意味表現内の各潜在的意味表現について、それぞれの最終スコアを計算し、前記１組の潜在的意味表現内の各潜在的意味表現の前記それぞれの最終スコアに基づいて、前記１組の潜在的意味表現から、前記当初の発話について最終組の意味表現を選択することと
を含む方法。
【請求項14】
ボキャブラリ注入を実行する前に前記当初の発話をクレンジングすることを含み、クレンジングが、前記当初の発話の１つまたは複数のトークンを置き換えること、または、除去することを含む、請求項１３に記載の方法。
【請求項15】
ボキャブラリ注入を実行することが、ボキャブラリ・モデル内に存在する、前記当初の発話の１つまたは複数のトークンを識別することと、
前記１つまたは複数のトークンについて、前記ボキャブラリ・モデルから１つまたは複数の代替的トークンを選択することと、
前記当初の発話の前記１つまたは複数の再発現を生成するために、前記当初の発話の前記１つまたは複数のトークンを、前記１つまたは複数の代替的トークンに置き換えることと
を含む、請求項１３に記載の方法。
【請求項16】
品詞（ＰＯＳ）タグ付けを実行することが、前記１組の発話の各発話について、
前記発話の少なくとも１つの潜在的ＰＯＳタグ付けを生成することと、
前記少なくとも１つの潜在的ＰＯＳタグ付けについて、それぞれの信頼スコアを求めることと、
前記それぞれの信頼スコアが、予め規定されたＰＯＳ閾値以上であると判定することに応答して、前記少なくとも１つの潜在的ＰＯＳタグ付けを、前記１組の潜在的ＰＯＳタグ付けに含めることと
を含む、請求項１３に記載の方法。
【請求項17】
多様性フィルタリングを実行することが、前記１組の潜在的ＰＯＳタグ付けのうちの２つの潜在的ＰＯＳタグ付けの間で多様性スコアを計算することと、
前記多様性スコアが、予め規定されたバリエーション閾値未満であることに応答して、前記１組の潜在的ＰＯＳタグ付けから、前記２つの潜在的ＰＯＳタグ付けのうちの１つを除去することと
を含む、請求項１３に記載の方法。
【請求項18】
それぞれの最終スコアを計算し、前記最終組の意味表現を選択することが、前記１組の潜在的意味表現のうちの各潜在的意味表現について、
前記潜在的意味表現について前記それぞれの最終スコアを計算するために、前記潜在的意味表現のＰＯＳタグ付け信頼スコアとパーシング信頼スコアとを組み合わせることと、
前記最終スコアが、予め規定された最終スコアリングおよびフィルタリング閾値以上であると判定すること応答して、前記最終組の意味表現に前記潜在的意味表現を含めることと
を含む、請求項１３に記載の方法。
【請求項19】
前記最終組の意味表現を使用して意味検索を実行することであって、前記最終組の意味表現が、前記意味検索の検索キーを規定する発話意味モデルの一部分を形成するか、または、前記意味検索について検索空間を規定する理解モデルの一部分を形成する、意味検索を実行することを含む、請求項１３に記載の方法。
【請求項20】
コンピューティング・システムの１つまたは複数のプロセッサにより実行可能な自然言語理解（ＮＬＵ）フレームワークの命令を記憶する非一時的コンピュータ可読媒体であって、前記命令が、当初の発話を受け取る命令であって、前記当初の発話が、ユーザ発話または意図－エンティティ・モデルのサンプル発話である、命令と、
前記当初の発話の１つまたは複数のトークンを置き換えること、または、除去することにより、前記当初の発話をクレンジングする命令と、
前記当初の発話に基づいて１組の発話を生成するために、ボキャブラリ注入を実行する命令あって、前記１組の発話が、前記当初の発話と、前記当初の発話の１つまたは複数の再発言とを含む、命令と、
前記１組の発話について１組の潜在的ＰＯＳタグ付けを生成するために、前記１組の発話の品詞（ＰＯＳ）タグ付けを実行する命令と、
前記１組の潜在的ＰＯＳタグ付け内の他のＰＯＳタグ付けと実質的に類似するＰＯＳタグ付けを、前記１組の潜在的ＰＯＳタグ付けから除去するために多様性フィルタリングを実行する命令と、
１組の潜在的意味表現を生成するために、前記１組の潜在的ＰＯＳタグ付けをパースする命令と、
前記１組の潜在的意味表現内の各潜在的意味表現について、それぞれの最終スコアを計算し、前記１組の潜在的意味表現内の各潜在的意味表現の前記それぞれの最終スコアに基づいて、前記１組の潜在的意味表現から、前記当初の発話について最終組の意味表現を選択する命令と、
前記最終組の意味表現を使用して意味検索を実行する命令であって、前記最終組の意味表現が、前記意味検索の検索キーを規定する発話意味モデルの一部分を形成するか、または、前記意味検索について検索空間を規定する理解モデルの一部分を形成する、命令と
を含む、非一時的コンピュータ可読媒体。
【請求項21】
エージェント・オートメーション・システムであって、
自然言語理解（ＮＬＵ）フレームワークを記憶するように構成されるメモリであって、前記ＮＬＵフレームワークが、品詞（ＰＯＳ）コンポーネント、多様性フィルタ・コンポーネント、パーサ・コンポーネント、ならびに、最終スコアリングおよびフィルタリング・コンポーネントを含む、メモリと、
前記エージェント・オートメーション・システムにアクションを実行させるために、前記ＮＬＵフレームワークの命令を実行するように構成されるプロセッサと
を備え、
前記アクションが、
１組の発話について１組の潜在的ＰＯＳタグ付けを生成するために、前記ＰＯＳコンポーネントによって、品詞（ＰＯＳ）タグ付けを実行することと、
１組の最終指名ＰＯＳタグ付けを生成するために、前記多様性フィルタ・コンポーネントによって、前記１組の潜在的ＰＯＳタグ付けの多様性フィルタリングを実行することであって、前記１組の最終指名ＰＯＳタグ付けの各最終指名ＰＯＳタグ付けが、互いに対して特異である、多様性フィルタリングを実行することと、
前記１組の最終指名ＰＯＳタグ付けについて、１組の潜在的意味表現を生成するために、前記パーシング・コンポーネントによって、前記１組の最終指名ＰＯＳタグ付けをパースすることと、
前記最終スコアリングおよびフィルタリング・コンポーネントにより、前記１組の潜在的意味表現から、前記１組の発話についての最終組の意味表現を選択することと
を含む、エージェント・オートメーション・システム。
【請求項22】
前記ＮＬＵフレームワークが、ボキャブラリ・サブシステムを含み、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、
前記１組の発話を当初の発話に基づいて生成するために、前記ボキャブラリ・サブシステムによって、ボキャブラリ注入を実行することであって、前記１組の発話が、前記当初の発話と、異なる言い回し、異なる専門用語、または、異なる言い回しと異なる専門用語との組合せを有する、前記当初の発話の１つまたは複数の再発現とを含む、ボキャブラリ注入を実行することを含む、
請求項２１に記載のエージェント・オートメーション・システム。
【請求項23】
前記当初の発話が、ユーザ発話であり、前記最終組の意味表現が、意味検索について検索キーを規定する発話意味モデルの一部分を形成する、
請求項２２に記載のエージェント・オートメーション・システム。
【請求項24】
前記当初の発話が、前記メモリに記憶される意図－エンティティ・モデルのサンプル発話であり、前記最終組の意味表現が、意味検索について検索空間を規定する理解モデルの一部分を形成する、
請求項２２に記載のエージェント・オートメーション・システム。
【請求項25】
前記ＰＯＳコンポーネント、前記多様性フィルタ・コンポーネント、前記パーサ・コンポーネント、ならびに、前記最終スコアリングおよびフィルタリング・コンポーネントが、前記ＮＬＵフレームワークのプラグインとして、それぞれ実装される、
請求項２１に記載のエージェント・オートメーション・システム。
【請求項26】
前記ＰＯＳコンポーネント、前記パーサ・コンポーネント、または、前記ＰＯＳコンポーネントと前記パーサ・コンポーネントとの組合せが、人工ニューラル・ネットワークを含む機械学習（ＭＬ）ベースのコンポーネントとして実装される、
請求項２１に記載のエージェント・オートメーション・システム。
【請求項27】
ＰＯＳタグ付けを実行するために、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、
前記１組の発話の各発話について、
前記発話の少なくとも１つの潜在的ＰＯＳタグ付けを生成することと、
前記少なくとも１つの潜在的ＰＯＳタグ付けについて、それぞれの信頼スコアを求めることと、
前記それぞれの信頼スコアが、予め規定されたＰＯＳ閾値以上であると判定することに応答して、前記少なくとも１つの潜在的ＰＯＳタグ付けを、前記１組の潜在的ＰＯＳタグ付けに含み入れるために選択することと
を含む、請求項２１に記載のエージェント・オートメーション・システム。
【請求項28】
多様性フィルタリングを実行するために、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、
前記１組の潜在的ＰＯＳタグ付けのうちの、第１の潜在的ＰＯＳタグ付けと第２の潜在的ＰＯＳタグ付けとの間で多様性スコアを計算することと、
前記多様性スコアが、予め規定されたバリエーション閾値未満であることに応答して、前記第１の潜在的ＰＯＳタグ付けおよび前記第２の潜在的ＰＯＳタグ付けのうちの１つのみを、前記１組の最終指名ＰＯＳタグ付けに含み入れるために選択することと
を含む、請求項２１に記載のエージェント・オートメーション・システム。
【請求項29】
多様性フィルタリングを実行するために、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、
前記１組の潜在的ＰＯＳタグ付けのうちの各潜在的ＰＯＳタグ付け間のタグ付け距離を計算することと、
前記タグ付け距離、および、予め規定されたバリエーション閾値に基づいて、前記１組の潜在的ＰＯＳタグ付けを、潜在的ＰＯＳタグ付けのグループにクラスタ分けすることと、
前記潜在的ＰＯＳタグ付けのグループのそれぞれについて、代表となる潜在的ＰＯＳタグ付けを、前記１組の最終指名ＰＯＳタグ付けに含み入れるために選択することと
を含む、請求項２１に記載のエージェント・オートメーション・システム。
【請求項30】
前記１組の最終指名ＰＯＳタグ付けをパースするために、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、
前記１組の最終指名ＰＯＳタグ付けの各ＰＯＳタグ付けについて、
前記ＰＯＳタグ付けに基づいて、少なくとも１つの潜在的意味表現を生成することと、
前記少なくとも１つの潜在的意味表現について、それぞれの信頼スコアを求めることと、
前記それぞれの信頼スコアが、予め規定されたパーサ閾値以上であると判定することに応答して、前記少なくとも１つの潜在的意味表現を、前記１組の潜在的意味表現に含み入れるために選択することと
を含む、請求項２１に記載のエージェント・オートメーション・システム。
【請求項31】
前記最終組の意味表現を選択するために、前記プロセッサが、前記ＮＬＵフレームワークの前記命令を実行して、前記エージェント・オートメーション・システムにアクションを実行させるように構成され、前記アクションが、
前記１組の潜在的意味表現のうちの各潜在的意味表現について、
前記潜在的意味表現のそれぞれの最終スコアを計算するために、前記潜在的意味表現のＰＯＳタグ付け信頼スコアと、前記潜在的意味表現に関連付けられたパーシング信頼スコアとを組み合わせることと、
前記潜在的意味表現の前記それぞれの最終スコアが、最終スコアリングおよびフィルタリング閾値以上であると判断することに応答して、前記潜在的意味表現を、前記最終組の意味表現に含み入れるために選択することと
を含む、請求項２１に記載のエージェント・オートメーション・システム。
【請求項32】
自然言語理解（ＮＬＵ）フレームワークを動作する方法であって、
１組の発話について１組の潜在的ＰＯＳタグ付けを生成するために、品詞（ＰＯＳ）タグ付けを実行することと、
１組の最終指名ＰＯＳタグ付けを生成するために、前記１組の潜在的ＰＯＳタグ付けの多様性フィルタリングを実行することであって、前記１組の最終指名ＰＯＳタグ付けの各最終指名ＰＯＳタグ付けが、互いに対して特異である、多様性フィルタリングを実行することと、
前記１組の最終指名ＰＯＳタグ付けについて、１組の潜在的意味表現を生成するために、前記１組の最終指名ＰＯＳタグ付けをパースすることと、
前記１組の潜在的意味表現から、前記１組の発話についての最終組の意味表現を選択することと
を含む方法。
【請求項33】
前記１組の潜在的意味表現の各潜在的意味表現が、木データ構造であり、前記木データ構造が、
前記１組の潜在的ＰＯＳタグ付けから得られる、前記１組の発話の特定の発話について生成された特定の潜在的ＰＯＳタグ付けと、
前記特定の発話の少なくとも１つの部分の意味論的意味を表現する少なくとも１つのベクトルと
を含む、請求項３２に記載の方法。
【請求項34】
ＰＯＳタグ付けを実行する前に、前記１組の発話を当初の発話に基づいて生成するためにボキャブラリ注入を実行することであって、前記ボキャブラリ注入が、
ボキャブラリ・モデル内に存在する、前記当初の発話の１つまたは複数のトークンを識別することと、
前記１つまたは複数のトークンについて、前記ボキャブラリ・モデルから１つまたは複数の代替的トークンを選択することと、
前記当初の発話の１つまたは複数の再発現を生成することであって、前記１つまたは複数の再発現が、前記当初の発話の前記１つまたは複数のトークンの少なくとも一部分であって、前記１つまたは複数の代替的トークンに置き換えられた部分を有する、１つまたは複数の再発現を生成することと、
前記当初の発話と、前記当初の発話の前記１つまたは複数の再発現とを、前記１組の発話に含み入れるために選択することと
により実行される、請求項３２に記載の方法。
【請求項35】
品詞（ＰＯＳ）タグ付けを実行することが、
前記１組の発話の各発話について、
前記発話の少なくとも１つの潜在的ＰＯＳタグ付けを生成することと、
前記少なくとも１つの潜在的ＰＯＳタグ付けについて、それぞれの信頼スコアを求めることと、
前記それぞれの信頼スコアが、予め規定されたＰＯＳ閾値以上であると判定することに応答して、前記少なくとも１つの潜在的ＰＯＳタグ付けを、前記１組の潜在的ＰＯＳタグ付けに含み入れるために選択することと
を含む、請求項３２に記載の方法。
【請求項36】
多様性フィルタリングを実行することが、
前記１組の潜在的ＰＯＳタグ付けのうちの２つの潜在的ＰＯＳタグ付けの間で多様性スコアを計算することと、
前記多様性スコアが、予め規定されたバリエーション閾値未満であることに応答して、前記２つのＰＯＳタグ付けのうちの１つのみを、前記１組の最終指名ＰＯＳタグ付けに含み入れるために選択することと
を含む、請求項３２に記載の方法。
【請求項37】
前記１組の潜在的意味表現内の各潜在的意味表現について、それぞれの最終スコアを計算することであって、前記最終組の意味表現が、各潜在的意味表現の前記それぞれの最終スコアに基づいて選択される、最終スコアを計算すること
を含む、請求項３２に記載の方法。
【請求項38】
前記それぞれの最終スコアを計算し、前記最終組の意味表現を選択することが、
前記１組の潜在的意味表現のうちの各潜在的意味表現について、
前記潜在的意味表現について前記それぞれの最終スコアを計算するために、前記潜在的意味表現のＰＯＳタグ付け信頼スコアとパーシング信頼スコアとを組み合わせることと、
前記最終スコアが、予め規定された最終スコアリングおよびフィルタリング閾値以上であると判定すること応答して、前記潜在的意味表現を、前記最終組の意味表現に含み入れるために選択することと
を含む、請求項３７に記載の方法。
【請求項39】
前記最終組の意味表現を使用して意味検索を実行することであって、前記最終組の意味表現が、前記意味検索の検索キーを規定する発話意味モデルの一部分を形成するか、または、前記意味検索について検索空間を規定する理解モデルの一部分を形成する、意味検索を実行すること
を含む、請求項３２に記載の方法。
【請求項40】
コンピューティング・システムの１つまたは複数のプロセッサにより実行可能な自然言語理解（ＮＬＵ）フレームワークの命令を記憶する非一時的コンピュータ可読媒体であって、前記命令が、
１組の発話について１組の潜在的ＰＯＳタグ付けを生成するために、１組の発話の品詞（ＰＯＳ）タグ付けを実行する命令と、
１組の最終指名ＰＯＳタグ付けを生成するために、前記１組の潜在的ＰＯＳタグ付けの多様性フィルタリングを実行する命令であって、前記１組の最終指名ＰＯＳタグ付けの各最終指名ＰＯＳタグ付けが、互いに対して特異である、命令と、
前記１組の最終指名ＰＯＳタグ付けについて、１組の潜在的意味表現を生成するために、前記１組の最終指名ＰＯＳタグ付けをパースする命令と、
前記１組の潜在的意味表現内の各潜在的意味表現について、それぞれの最終スコアを計算する命令と、
前記１組の潜在的意味表現内の各潜在的意味表現の前記それぞれの最終スコアに基づいて、前記１組の潜在的意味表現から、前記１組の発話について最終組の意味表現を選択する命令と
を含む、非一時的コンピュータ可読媒体。
【国際調査報告】