知財求人 - 知財ポータルサイト「IP Force」
▶ エヌイーシー ラボラトリーズ アメリカ インクの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-10
(54)【発明の名称】マルチホップ統合構文グラフを用いたインテント検出
(51)【国際特許分類】
G06F 40/30 20200101AFI20240403BHJP
G06F 40/279 20200101ALI20240403BHJP
【ＦＩ】
G06F40/30
G06F40/279
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023562848
(86)(22)【出願日】2022-04-13
(85)【翻訳文提出日】2023-12-12
(86)【国際出願番号】 US2022024567
(87)【国際公開番号】W WO2022221379
(87)【国際公開日】2022-10-20
(31)【優先権主張番号】63/174,716
(32)【優先日】2021-04-14
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/718,856
(32)【優先日】2022-04-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＦＡＣＥＢＯＯＫ
２．ＪＡＶＡ
(71)【出願人】
【識別番号】504080663
【氏名又は名称】エヌイーシー ラボラトリーズ アメリカ インク
【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．
(74)【代理人】
【識別番号】100123788
【弁理士】
【氏名又は名称】宮崎 昭夫
(74)【代理人】
【識別番号】100127454
【弁理士】
【氏名又は名称】緒方 雅昭
(72)【発明者】
【氏名】ジャン、 シュチャオ
(72)【発明者】
【氏名】リウ、 ヤンチ
(72)【発明者】
【氏名】チェン、 ハイフォン
(57)【要約】
マルチホップ統合構文グラフ（ＩＤＭＧ）を用いたインテント検出を使用することで、ビジネスインテントコーパスからビジネスインテントを検出するための方法が提示される。本方法は、ビジネスニーズの記述を表す各テキストサンプルを解析し、少なくともトークン及び単語を含む構文情報を抽出し、多言語の事前訓練された言語モデルを用いることで、構文情報の単語をトークナイズし、単語それぞれのサブワードを生成し、生成されたサブワードを構文情報のトークンにアライメントを実施し、グラウンドトゥルースのインテントのアクション及びオブジェクトをトークナイズされたサブワードに一致させ、統合構文グラフを生成し、マルチホップ統合構文グラフエンコーダを用いて統合構文グラフをエンコードして出力を生成し、出力からインテントのアクション及びオブジェクトを予測することを含む。
【選択図】図８
【選択図】図８
【特許請求の範囲】
【請求項1】
マルチホップ統合構文グラフ（ＩＤＭＧ）を用いたインテント検出を使用することで、ビジネスインテントコーパスからビジネスインテントを検出するための方法であって、ビジネスニーズの記述を表す各テキストサンプルを解析し、少なくともトークン及び単語を含む構文情報を抽出し（１００１）、
多言語の事前訓練された言語モデルを用いることで、前記構文情報の前記単語をトークナイズし、前記単語それぞれのサブワードを生成し（１００３）、
前記生成されたサブワードを構文情報のトークンにアライメントを実施し、グラウンドトゥルースのインテントのアクション及びオブジェクトを前記トークナイズされたサブワードに一致させ（１００５）、
統合構文グラフを生成し（１００７）、
マルチホップ統合構文グラフエンコーダを用いて前記統合構文グラフをエンコードして出力を生成し（１００９）、
前記出力からインテントのアクション及びオブジェクトを予測する（１０１１）、方法。
【請求項2】
前記構文情報は、少なくとも前記単語それぞれの品詞、従属関係、抽象的な意味関係をさらに含む、請求項１に記載の方法。
【請求項3】
前記統合構文グラフの生成は、トークンノードの構築、ノード関係の構築及びセンテンス間関係の構築を含む、請求項１に記載の方法。
【請求項4】
前記マルチホップ統合構文グラフエンコーダは、構文構造アテンションコンポーネント及びマルチヘッドセマンティックアテンションコンポーネントを含む、請求項１に記載の方法。
【請求項5】
前記構文構造アテンションコンポーネントは、前記統合構文グラフから入力としてエッジ関係及びノード属性を受信し、前記マルチヘッドセマンティックアテンションコンポーネントは入力としてシーケンシャル埋め込みを受信する、請求項４に記載の方法。
【請求項6】
第１のノードと第２のノードとが直接接続されている場合、エッジ埋め込みは従属関係のタイプとして初期化され、訓練プロセス中に微調整される、請求項５に記載の方法。
【請求項7】
第１のノードと第２のノードとが直接接続されていない場合、エッジ埋め込みは全てのエッジセグメントの合計である、請求項５に記載の方法。
【請求項8】
マルチホップ統合構文グラフ（ＩＤＭＧ）を用いたインテント検出を使用することで、ビジネスインテントコーパスからビジネスインテントを検出するための、コンピュータで読み取り可能なプログラムを含む非一時的なコンピュータで読み取り可能な記録媒体であって、前記コンピュータで読み取り可能なプログラムがコンピュータで実行されると、前記コンピュータに、
ビジネスニーズの記述を表す各テキストサンプルを解析し、少なくともトークン及び単語を含む構文情報を抽出し（１００１）、
多言語の事前訓練された言語モデルを用いることで、前記構文情報の前記単語をトークナイズし、前記単語それぞれのサブワードを生成し（１００３）、
前記生成されたサブワードを構文情報のトークンにアライメントを実施し、グラウンドトゥルースのインテントのアクション及びオブジェクトを前記トークナイズされたサブワードに一致させ（１００５）、
統合構文グラフを生成し（１００７）、
マルチホップ統合構文グラフエンコーダを用いて前記統合構文グラフをエンコードして出力を生成し（１００９）、
前記出力からインテントのアクション及びオブジェクトを予測する（１０１１）ことを実行させる、非一時的なコンピュータで読み取り可能な記録媒体。
【請求項9】
前記構文情報は、少なくとも前記単語それぞれの品詞、従属関係、抽象的な意味関係をさらに含む、請求項８に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項10】
前記統合構文グラフの生成は、トークンノードの構築、ノード関係の構築及びセンテンス間関係の構築を含む、請求項８に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項11】
前記マルチホップ統合構文グラフエンコーダは、構文構造アテンションコンポーネント及びマルチヘッドセマンティックアテンションコンポーネントを含む、請求項８に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項12】
前記構文構造アテンションコンポーネントは、前記統合構文グラフから入力としてエッジ関係及びノード属性を受信し、前記マルチヘッドセマンティックアテンションコンポーネントは入力としてシーケンシャル埋め込みを受信する、請求項１１に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項13】
第１のノードと第２のノードとが直接接続されている場合、エッジ埋め込みは従属関係のタイプとして初期化され、訓練プロセス中に微調整される、請求項１２に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項14】
第１のノードと第２のノードとが直接接続されていない場合、エッジ埋め込みは全てのエッジセグメントの合計である、請求項１２に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項15】
マルチホップ統合構文グラフ（ＩＤＭＧ）を用いたインテント検出を使用することで、ビジネスインテントコーパスからビジネスインテントを検出するためのシステムであって、メモリと、
ビジネスニーズの記述を表す各テキストサンプルを解析し、少なくともトークン及び単語を含む構文情報を抽出し（１００１）、
多言語の事前訓練された言語モデルを用いることで、構文情報の前記単語をトークナイズし、前記単語それぞれのサブワードを生成し（１００３）、
前記生成されたサブワードを構文情報のトークンにアライメントを実施し、グラウンドトゥルースのインテントのアクション及びオブジェクトを前記トークナイズされたサブワードに一致させ（１００５）、
統合構文グラフを生成し（１００７）、
マルチホップ統合構文グラフエンコーダを用いて前記統合構文グラフをエンコードして出力を生成し（１００９）、
前記出力からインテントのアクション及びオブジェクトを予測する（１０１１）ように構成された、前記メモリと通信する１つまたは複数のプロセッサと、
を有するシステム。
【請求項16】
前記構文情報は、少なくとも前記単語それぞれの品詞、従属関係、抽象的な意味関係をさらに含む、請求項１５に記載のシステム。
【請求項17】
前記統合構文グラフの生成は、トークンノードの構築、ノード関係の構築及びセンテンス間関係の構築を含む、請求項１５に記載のシステム。
【請求項18】
前記マルチホップ統合構文グラフエンコーダは、構文構造アテンションコンポーネント及びマルチヘッドセマンティックアテンションコンポーネントを含む、請求項１５に記載のシステム。
【請求項19】
前記構文構造アテンションコンポーネントは、前記統合構文グラフから入力としてエッジ関係及びノード属性を受信し、前記マルチヘッドセマンティックアテンションコンポーネントは入力としてシーケンシャル埋め込みを受信する、請求項１８に記載のシステム。
【請求項20】
第１のノードと第２のノードとが直接接続されている場合、エッジ埋め込みは従属関係のタイプとして初期化され、訓練プロセス中に微調整され、前記第１のノードと前記第２のノードとが直接接続されていない場合、エッジ埋め込みは全てのエッジセグメントの合計である、請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０２１年４月１４日に出願された米国仮特許出願第６３／１７４，７１６号及び２０２２年４月１２日に出願された米国特許出願第１７／７１８，８５６号を基礎とする優先権を主張し、それぞれの開示の全てをここに取り込む。
【0002】
本発明は、インテント検出に関し、より詳細にはマルチホップ統合構文グラフを用いたインテント検出に関する。
【背景技術】
【0003】
インテント検出は、チャットボット及び知的対話システムで使用されるテキスト分類タスクである。その目的は、ユーザのメッセージの背後にあるセマンティックを捕捉し、それを適切なラベルに割り当てることである。このようなシステムは、ほんの数例が与えられただけで、訓練されたテキストと同じカテゴリに属する新規のテキストを認識することを学習しなければならない。ユーザは、リクエストを曖昧に表現する傾向があるため、これは思考作業になることがよくある。インテント検出は、多くの自然言語理解（ＮＬＵ：Natural Language Understanding）システムの重要な要素である。インテント検出が無ければ、信頼性の高いダイアロググラフを構築できないため、インテント検出はチャットボットにとって有益である。ユーザの意味を検出することは、知的対話システムの主要な機能である。これにより、システムは対話を正しい方向に導き、ユーザの質問に答え、ユーザが達成したいアクションを実行できるようになる。
【発明の概要】
【0004】
マルチホップ統合構文グラフ（ＩＤＭＧ：Multi-hop Unified Syntactic Graph）を用いたインテント検出を使用することで、ビジネスインテントコーパスからビジネスインテントを検出するための方法が提示される。本方法は、ビジネスニーズの記述を表す各テキストサンプルを解析し、少なくともトークン及び単語を含む構文情報を抽出し、多言語の事前訓練された言語モデルを用いることで、構文情報の単語をトークナイズし、単語それぞれのサブワードを生成し、生成されたサブワードを構文情報のトークンにアライメントを実施し、グラウンドトゥルースのインテントのアクション及びオブジェクトをトークナイズされたサブワードに一致させ、統合構文グラフを生成し（１００７）、マルチホップ統合構文グラフエンコーダを用いて統合構文グラフをエンコードして出力を生成し、出力からインテントのアクション及びオブジェクトを予測することを含む。
【0005】
マルチホップ統合構文グラフ（ＩＤＭＧ）を用いたインテント検出を使用することで、ビジネスインテントコーパスからビジネスインテントを検出するための、コンピュータで読み取り可能なプログラムを含む非一時的なコンピュータで読み取り可能な記録媒体が提示される。コンピュータで読み取り可能なプログラムがコンピュータで実行されると、コンピュータに、ビジネスニーズの記述を表す各テキストサンプルを解析し、少なくともトークン及び単語を含む構文情報を抽出し、多言語の事前訓練された言語モデルを用いることで、構文情報の単語をトークナイズし、単語それぞれのサブワードを生成し、生成されたサブワードを構文情報のトークンにアライメントを実施し、グラウンドトゥルースのインテントのアクション及びオブジェクトをトークナイズされたサブワードに一致させ、統合構文グラフを生成し、マルチホップ統合構文グラフエンコーダを用いて統合構文グラフをエンコードして出力を生成し、出力からインテントのアクション及びオブジェクトを予測することを実行させる。
【0006】
マルチホップ統合構文グラフ（ＩＤＭＧ）を用いたインテント検出を使用することで、ビジネスインテントコーパスからビジネスインテントを検出するためのシステムが提示される。本システムは、メモリと、ビジネスニーズの記述を表す各テキストサンプルを解析し、少なくともトークン及び単語を含む構文情報を抽出し、多言語の事前訓練された言語モデルを用いることで、構文情報の単語をトークナイズし、単語それぞれのサブワードを生成し、生成されたサブワードを構文情報のトークンにアライメントを実施し、グラウンドトゥルースのインテントのアクション及びオブジェクトをトークナイズされたサブワードに一致させ、統合構文グラフを生成し、マルチホップ統合構文グラフエンコーダを用いて統合構文グラフをエンコードして出力を生成し、出力からインテントのアクション及びオブジェクトを予測するように構成された、メモリと通信する１つまたは複数のプロセッサとを有する。
【0007】
これら及び他の特徴並びに利点は、以下の典型的な実施形態の詳細な説明を添付の図面と併せて読むことで明らかになるであろう。
【0008】
本開示では、後述するように、以下の図面を参照しながら好ましい実施形態について詳細に説明する。
【図面の簡単な説明】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【発明を実施するための形態】
【0017】
インテント認識は、インテント分類とも呼ばれ、書面または口頭による入力を受け取り、それをユーザが達成したいことに基づいて分類するタスクである。インテント認識は、チャットボットの重要な要素を形成し、売上高変換、顧客サポート、その他多くの分野で使用されている。インテント認識は、人工知能のサブフィールドである自然言語処理（ＮＬＰ）の一種である。ＮＬＰは、自然言語、つまりコンピュータコーディング言語のように人工的ではなく、自然に発達した言語をコンピュータで処理及び分析することに関連する。
【0018】
本発明の例示的な実施形態は、各テキストサンプルがビジネスニーズの記述であるか、またはそれを表すビジネスニーズコーパスを提示する。
【0019】
目的は、インテントのアクション及びオブジェクトを用いてビジネスニーズのインテントを検出することである。
【0020】
本発明の例示的な実施形態は、ビジネスニーズのインテント検出問題に対処するために、マルチホップ統合構文グラフ（ＩＤＭＧ）を用いたインテント検出方法を提案する。本発明の例示的な実施形態には以下が含まれる。
【0021】
構文解析では、ビジネスニーズの記述が解析され、例えば、品詞、従属関係及び抽象的な意味関係を含む構文情報が抽出される。
【0022】
事前訓練モデルのトークナイズでは、従属関係の解析から抽出された単語がトークナイズされ、各単語のサブワードが多言語の事前訓練された言語モデルによって生成される。
【0023】
トークンサブワードアラインメントでは、生成されたサブワードがサブワードに対するグラウンドトゥルース回答スパンと一致するようにアライメントが実施される。
【0024】
ビジネスニーズグラフの生成では、生成されたトークン及び従属関係に基づいて、各文章のビジネスニーズのグラフが生成される。
【0025】
グラフエンコードでは、生成されたビジネスニーズのグラフがニーズの記述のためにエンコードされる。
【0026】
インテント予測では、グラフエンコードの出力が、インテントのアクション及びオブジェクトを予測するために使用される。
【0027】
ビジネスインテントの検出モデルの本発明の特徴には、少なくとも以下が含まれる。
【0028】
新規なビジネスニーズは、ビジネスインテントを抽出するために構文情報が利用できるように、インテント検出のためのグラフ表現を必要とする。
【0029】
新規なマルチホップグラフエンコード方法が、複数のホップにわたって累積された統合構文グラフにおける単語間のセマンティックな関係及び構文関係をモデル化するために提案される。
【0030】
図１は、本発明の一実施形態による、マルチホップ統合構文グラフ（ＩＤＭＧ）を用いたインテント検出の例示的な手順のブロック／フロー図である。
【0031】
ＩＤＭＧプロセス５は、ビジネスニーズコーパス１０、構文解析を可能にする構文解析器（parser）１２、トークンアライメントを可能にするトークンアライナ（tokenaligner）１４、ビジネスニーズグラフ生成器１６及びグラフエンコーダ１８を含む。事前訓練された言語モデル（ＬＭ）トークナイザ２０及び事前訓練された言語モデル（ＬＭ）エンコーダ２２がさらに使用される。出力２４は、インテントのアクション及びオブジェクトの予測である。ＩＤＭＧプロセス５については、以下でさらに詳細に説明する。
【0032】
図２は、本発明の一実施形態による、ＩＤＭＧ２５の例示的なアーキテクチャグラフのブロック／フロー図である。
【0033】
テキストコーパスデータ３０は、シーケンシャルエンコーダ３２に供給され、構文解析３１及びトークンアライメント３４を可能にする。次に、データは統合構文グラフ３６に供給され、その後、統合構文エンコーダ３８に提供される。さらなる処理４０は、インテント出力４２を取得するために行われる。インテント出力４２は、インテントオブジェクト（Ｂ－ＯＢＪ、Ｉ－ＯＢＪ）及びアクション（Ｂ－ＡＣＴ）を含む。ＩＤＭＧアーキテクチャ２５については、以下でさらに詳細に説明する。
【0034】
ビジネスニーズコーパスデータに関して、テキストコーパスデータはビジネスニーズのセットを含む。通常、ビジネスニーズ毎に、対応する記述が複数の文章で提供される。
【0035】
構文解析に関して、構文情報がビジネスニーズデータから解析される。具体的には、次の情報を抽出できる。
【0036】
コンテキストと質問の両方に対するトークンと単語のリスト。
【0037】
各単語の品詞（ＰＯＳ：Part-of Speech）。
【0038】
文中の単語間の関係。
【0039】
事前訓練モデルのトークナイズに関して、抽出された単語がトークナイズされ、英語に関するＢＥＲＴ等の事前訓練された言語モデルによって各単語のサブワードが生成される。ビジネスニーズがフランス語や日本語等の他の言語で記述されている場合、ｍＢＥＲＴやＸＬＭＲ等の事前訓練済みの多言語言語モデルが使用される。特に、事前訓練されたモデルのトークナイザは、サブワードを生成するために使用される。
【0040】
トランスフォーマからの双方向エンコーダ表現（ＢＥＲＴ：BidirectionalEncoder Representations from Transformers）は、Ｇｏｏｇｌｅ社によって開発された自然言語処理（ＮＬＰ）の事前訓練のためのトランスフォーマベースの機械学習技術である。ＢＥＲＴは２０１８年に作成され、公開された。２０１９年、Ｇｏｏｇｌｅ社は、検索エンジンでＢＥＲＴの活用を開始したと発表し、２０２０年後半までにほぼ全ての英語のクエリでＢＥＲＴを使用するようになった。
【0041】
ｍＢＥＲＴは、多言語ＢＥＲＴ（multilingual BERT）を表し、コンテキストにおける単語の意味を理解するモデルを作成する際の次のステップである。ＭＢＥＲＴは、１０４の言語で同時に訓練された深層学習モデルであり、１０４の言語の知識をまとめてエンコードする。
【0042】
ＸＬＭＲは、ＸＬＭ ロバータ（XLM-Roberta）を表す。ＦａｃｅｂｏｏｋのＡＩチームは、オリジナルのＸＬＭ－１００モデルのアップデートとして、２０１９年１１月にＸＬＭ－ＲｏＢＥＲＴａをリリースした。どちらもトランスフォーマに基づく言語モデルであり、マスクされた言語モデルの目的に依存しており、どちらも１００種類の異なる言語のテキストを処理できる。ＸＬＭ－Ｒｏｂｅｒｔａがオリジナルと比較して提供する最大のアップデートは、訓練データの量が大幅に増加したことである。「ＲｏＢＥＲＴａ」パートは、その訓練ルーチンが単一言語のＲｏＢＥＲＴａモデルと同じであるという事実、特に唯一の訓練目的がマスクされた言語モデル（Masked Language Model）であるという事実に由来している。
【0043】
トークンアラインメントに関して、生成されたサブワードは、構文解析器によって生成されたトークンにアライメントが実施される。トークンとサブワードのアライメントの目的は、事前訓練された言語モデルによって、グラウンドトゥルースのインテントのアクション及びオブジェクトをトークナイズされたサブワードと一致させることである。
【0044】
事前訓練モデルのエンコードに関して、文章における単語は事前訓練言語モデルを用いてエンコードされ、グラフエンコードステップのために低次元表現が抽出される。
【0045】
統合構文グラフの生成に関して、生成されたトークン及び従属関係に基づいて、統合構文グラフは以下のステップで生成される。
【0046】
ノード構築。
【0047】
ノード関係の構築。
【0048】
センテンス間関係の構築。
【0049】
マルチホップ統合構文グラフエンコードに関して、生成された統合構文グラフは、インテント検出のためにエンコードされる。マルチホップ統合構文グラフエンコーダの全体的なアーキテクチャを図３に示す。
【0050】
図３は、本発明の一実施形態による、例示的なマルチホップ統合構文グラフエンコーダ５０のブロック／フロー図である。
【0051】
構文グラフ５２は、ａｄｊ行列データ、エッジ関係データ及びノード属性（ＰＯＳ）データを構文構造アテンションコンポーネント５６に供給する。シーケンシャル埋め込み５４は、マルチヘッドセマンティックアテンションコンポーネント５８に供給される。構文構造アテンションコンポーネント５６（例えば、構文情報埋め込み６２）とマルチヘッドセマンティックアテンションコンポーネント５８からのデータは連結されて内積６０を形成する。出力６４は、出力６８を生成するために全結合層６６に供給される。
【0052】
まず、ノードｉとノードｊとの間の関係は次のように表される。
【数1】
【0053】
ここで、ｐi及びｐjは、ｉ番目及びｊ番目のトークンのノード属性埋め込みであり、ｒijはエッジ関係の埋め込みである。ｐi及びｐjのノード埋め込みは、事前訓練された言語モデルの埋め込みとその品詞の埋め込みを連結したものである。
【0054】
ノードｉとノードｊとが直接接続されている場合、エッジ埋め込みｒijは従属関係のタイプとして初期化され、訓練プロセス中に微調整される。ノードｉとノードｊとが直接接続されていない場合、エッジ埋め込みｒijは全てのエッジセグメントの合計になる。
【0055】
図４は、１つの中間ノードによって接続された２つのノードの例８０を示す。
【0056】
マルチホップ埋め込み８２は、次のように表すことができる。
【数2】
【0057】
ここで、ｋはマルチホップ数、ｊは次元のインデックス、ｄは時間エンコードの次元サイズである。
【0058】
次に、そのマルチホップパス関係８４に基づくノードｉの表現は、次のように定義できる。
【数3】
【0059】
ここで、
は、マルチホップ強化グラフ
におけるノードｉの隣接ノードを表す。
は、ｔ番目の層のノード表現である。
【数4】
【数5】
【数6】
【0060】
その後、ｚt及びノード埋め込みｎiは、インテント検出層の入力として連結される。
【0061】
インテント検出予測に関して、全結合層への出力は、次の３つのカテゴリ、すなわち、Ｎｏｎｅ、ＡＣＴ及びＯＢＪにおけるインテントのシーケンシャルラベルを予測するために個別に使用される。ここで、「ＡＣＴ」はインテントのアクションを表し、「ＯＢＪ」はインテントのオブジェクトを表す。トークンがインテントのアクションにもオブジェクトにも属さない場合、それらはラベル「Ｎｏｎｅ」として分類される。
【0062】
図５は、本発明の一実施形態による、統合構文グラフ生成１００の手順を示すブロック／フロー図である。
【0063】
トークンノード構築１０２に関して、例示的な方法は、生成されたサブワードを用いることで統合構文グラフ内にノードを構築する。具体的には、初期のノードの埋め込みは、事前訓練された言語モデルとＰＯＳのタグ付けとによって連結される。
【0064】
従属関係構築１０４に関して、例示的な方法は、以下の２つの関係を用いてノードを接続する。
【0065】
従属関係を有するノード（サブワード）。エッジのタイプは、従属構文解析器によって生成された関係として使用される。
【0066】
サブワードは、従属構文解析器によって生成された同じ単語に属する。例示的な方法は、これら全てのタイプのサブワードを接続するためのサブワード関係等の新しいタイプの関係を作成する。
【0067】
センテンス間関係構築１０６に関して、例示的な方法は、各センテンスのルートノードを一緒に接続し、「センテンス間」関係と呼ばれる新規のタイプの関係を割り当てる。
【0068】
結論として、ＩＤＭＧ２５は、ユーザのクエリに対するより速く、より正確な応答を可能にする。したがって、ＩＤＭＧにより計算と処理が削減され、チャットボットがユーザのクエリに対してより正確な応答を提供できるため、チャットボット通信または対話型ロボット通信を大幅に改善できる。
【0069】
図６は、本発明の一実施形態による、マルチホップ統合構文グラフ（ＩＤＭＧ）を用いたインテント検出を使用することで、ビジネスインテントコーパスからビジネスインテントを検出する実際のアプリケーションのブロック／フロー図８００である。
【0070】
実際的な一例において、チャットボット８０２が「どのようなご用件ですか？」と質問する。第１の人物８１０はクエリ８１２を有する。クエリ８１２は「お金を引き出したいのですが」である。第２の人物８２０はクエリ８２２を有する。クエリ８２２は「今、現金が必要です」である。第３の人物８３０はクエリ８３２を有する。クエリ８３２は「Ｘｕｃｈａｏに送金して下さい」である。クエリ８１２、８２２、８３２は、インテント検出モデル（ＩＤＭＧ ２５）に入力される。ＩＤＭＧ２５は、上述の構文解析１２、トークンアライメント１４、ビジネスニーズ生成グラフ１６及びグラフエンコード１８を適用することで、クエリまたはリクエストを処理する。ＩＤＭＧ２５は、予測結果である出力８４０、８５０を生成する。出力８４０は、ユーザ８１０、８２０、８３０のクエリ８１２、８２２、８３２に基づいてお金の引き出しを開始し、出力８５０は送金を開始する。
【0071】
したがって、例示的な実施形態は、多くの異なるタイプの実際の用途に適用できる。インテント分類はインテント認識とも呼ばれ、理解し易くするためにテキストを様々なグループに分類することに焦点を当てたＮＬＰの一分野である。本質的に、インテント分類は、事前に定義されたインテンションのセットから自然言語音声を正しく検出する行為である。
【0072】
顧客サービスは多くの企業によって高く評価されている。組織の代表者とクライアントとの間の対話は、より良いサービスを提供するために自動化できる（図６の実際の応用例のように）。顧客の大多数は、会社に連絡するときに特定のリクエストや質問を念頭に置いている。顧客にサービスを提供するには、顧客の目的を分類する必要がある。
【0073】
インテント認識または分類の目的は、顧客がなぜ会社に連絡したのか、並びに顧客が何を達成しようとしているのかを判断することである。インテントの分類を利用して対話を自動化する対話システムは、部分的または全体的に対話を自動化できる。
【0074】
人の表現は、例えば、受信メッセージを必要な専門知識を有する担当者に送信することで、インテントの分類から恩恵を受けることがある。
【0075】
ＮＬＰは、対話を開始するユーザのインテントまたは動機を理解するためにチャットボット８０２で使用される。機械学習分類アルゴリズムは、それを分類し、訓練データに応じて適切に応答する。これは、チャットボット８０２がユーザによる販売、マーケティングまたは顧客サービスの目的を達成するために効果的であるか否かを判定する重要な機能である。例示的な実施形態のＩＤＭＧ２５は、顧客サービスの目的の達成を支援できる。
【0076】
図７は、本発明の一実施形態による、マルチホップ統合構文グラフ（ＩＤＭＧ）を用いたインテント検出を使用することで、ビジネスインテントコーパスからビジネスインテントを検出するための例示的な処理システムである。
【0077】
処理システムは、システムバス９０２を介して他のコンポーネントに動作可能に接続された少なくとも１つのプロセッサ（ＣＰＵ）９０４を含む。システムバス９０２には、ＧＰＵ９０５、キャッシュ９０６、読み取り専用メモリ（ＲＯＭ）９０８、ランダムアクセスメモリ（ＲＡＭ）９１０、入出力（Ｉ／Ｏ）アダプタ９２０、ネットワークアダプタ９３０、ユーザインタフェースアダプタ９４０及び／またはディスプレイアダプタ９５０もまた動作可能に接続されている。さらに、ＩＤＭＧ２５は、上述の構文解析１２、トークンアライメント１４、ビジネスニーズ生成グラフ１６及びグラフエンコード１８を適用することによってクエリまたはリクエストを処理する。
【0078】
記憶装置９２２は、Ｉ／Ｏアダプタ９２０によってシステムバス９０２に動作可能に接続されている。記憶装置９２２は、ディスク記憶装置（例えば、磁気ディスク記憶装置または光ディスク記憶装置）、固体磁気装置等のいずれであってもよい。
【0079】
トランシーバ９３２は、ネットワークアダプタ９３０によってシステムバス９０２に動作可能に接続されている。
【0080】
ユーザ入力装置９４２は、ユーザインタフェースアダプタ９４０によってシステムバス９０２に動作可能に接続されている。ユーザ入力装置９４２は、キーボード、マウス、キーパッド、画像キャプチャ装置、モーション感知装置、マイクロフォン、あるいはこれらの装置のうちの少なくとも２つの装置の機能を組み込んだ装置等のいずれであってもよい。もちろん、本発明の原理の主旨を維持しながら、他のタイプの入力装置を使用することもできる。もちろん、本発明の精神を維持しながら、他のタイプの入力装置も使用することができる。ユーザ入力装置９４２は、同じタイプのユーザ入力装置であってもよく、異なるタイプのユーザ入力装置であってもよい。ユーザ入力装置９４２は、処理システムに情報を入力し、処理システムから情報を出力するために使用される。
【0081】
ディスプレイ装置９５２は、ディスプレイアダプタ９５０によってシステムバス９０２に動作可能に接続されている。
【0082】
もちろん、処理システムは、当業者であれば容易に思いつくような他の要素（図示せず）を含んでもよく、特定の要素を省略することも可能である。例えば、当業者であれば容易に理解できるが、処理システムには、その詳細な実施に応じて他の様々なタイプの入力装置及び／または出力装置を含むことができる。例えば、無線及び／または有線による様々な入力装置及び／または出力装置を使用できる。さらに、当業者であれば容易に理解できるが、様々な構成の追加プロセッサ、コントローラ、メモリ等を使用することも可能である。処理システムの上記及び他の変形例は、本明細書で提供される本原理の教示によって当業者であれば容易に考えられるであろう。
【0083】
図８は、本発明の一実施形態による、マルチホップ統合構文グラフ（ＩＤＭＧ）を用いたインテント検出を使用することで、ビジネスインテントコーパスからビジネスインテントを検出する例示的な方法のブロック／フロー図である。
【0084】
ブロック１００１において、ビジネスニーズの記述を表す各テキストサンプルを解析し、少なくともトークン及び単語を含む構文情報を抽出する。
【0085】
ブロック１００３において、多言語の事前訓練された言語モデルを用いることで構文情報の単語をトークナイズし、単語それぞれのサブワードを生成する。
【0086】
ブロック１００５において、生成されたサブワードを構文情報のトークンにアライメントを実施し、グラウンドトゥルースのインテントのアクション及びオブジェクトをトークナイズされたサブワードに一致させる。
【0087】
ブロック１００７において、統合構文グラフを生成する。
【0088】
ブロック１００９において、マルチホップ統合構文グラフエンコーダを用いて統合構文グラフをエンコードして出力を生成する。
【0089】
ブロック１０１１において、出力からインテントのアクション及びオブジェクトを予測する。
【0090】
本明細書で用いる「データ」、「コンテンツ」、「情報」及び同様の用語は、様々な例示的な実施形態によって取得され、送信され、受信され、表示され、及び／または保存可能なデータを示すために、交換可能に使用できる。したがって、これらの用語の使用は、開示の主旨及び範囲を制限するものと解釈されるべきではない。さらに、本明細書に別の計算デバイスからデータを受信するための計算デバイスが記載されている場合、データは、別の計算デバイスから直接受信してもよく、１つまたは複数の中間計算デバイス、例えば１つまたは複数のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局等を介して間接的に受信してもよい。同様に、本明細書にデータを別の計算デバイスに送信するための計算デバイスが記載されている場合、データは、別の計算データに直接送信してもよく、例えば、１つまたは複数のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局及び／または同様のもの等の１つまたは複数の中間計算デバイスを介して間接的に送信してもよい。
【0091】
当業者であれば理解するように、本発明の態様は、システム、方法またはコンピュータプログラムプロダクトとして実現してもよい。したがって、本発明の態様は、全体としてハードウェアの実施形態であってもよく、全体としてソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）であってもよく、本明細書において、一般に「回路」、「モジュール」、「計算機」、「装置」または「システム」と呼ぶことができる、ソフトウェアとハードウェアの態様を組み合わせた実施の形態を採用してもよい。さらに、本発明の態様は、コンピュータで読み取り可能なプログラムコードを有する、１つまたは複数のコンピュータで読み取り可能な媒体で具現化された、コンピュータプログラムプロダクトの形態を採用してもよい。
【0092】
１つまたは複数のコンピュータで読み取り可能な媒体の任意の組合せを用いてもよい。コンピュータで読み取り可能な媒体は、コンピュータで読み取り可能な信号媒体またはコンピュータで読み取り可能な記録媒体であってもよい。コンピュータで読み取り可能な記録媒体は、例えば、電子、磁気、光学、電磁気、赤外線または半導体システム、装置またはデバイス、あるいは前述の任意の適切な組合せとすることができるが、これらに限定されない。コンピュータで読み取り可能な記録媒体のより具体的な例（以下に限定されない）は、１つまたは複数のワイヤ、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、携帯用コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光データ記憶装置、磁気データ記憶装置または前述した任意の適切な組み合わせを含む。本文書のコンテキストにおいて、コンピュータで読み取り可能な記録媒体は、命令実行システム、装置またはデバイスによって、またはそれに関連して使用するためのプログラムを含む、またはそれを記憶できる、任意の有形媒体であってもよい。
【0093】
コンピュータで読み取り可能な信号媒体には、例えば、ベースバンドで、または搬送波の一部として、コンピュータで読み取り可能なプログラムコードが具現化された伝搬データ信号を含むことができる。そのような伝播信号は、電磁、光学またはそれらの任意の適切な組み合わせを含むが、それらに限定されない、任意の様々な形態がある。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記録媒体ではなく、命令実行システム、装置または装置によって、またはそれに関連して使用するためにプログラムを通信、伝播、または移送できる、任意のコンピュータ読み取り可能な媒体であってもよい。
【0094】
コンピュータで読み取り可能な媒体で具現化されるプログラムコードは、無線、有線、光ファイバケーブル、ＲＦ等、あるいは前述した任意の適切な組合せを含むが、これらに限定されない、任意の適切な媒体を用いて送信される。
【0095】
本発明の態様に関する処理を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋等のオブジェクト指向プログラミング言語及び「Ｃ」プログラミング言語または類似のプログラミング言語等の従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組み合わせで書くことができる。プログラムコードは、全体的にユーザのコンピュータで実行されてもよく、スタンドアロンソフトウェアパッケージとして部分的にユーザのコンピュータで実行されてもよく、部分的にユーザのコンピュータで実行され、かつ部分的にリモートコンピュータで実行されてもよく、全体的にリモートコンピュータまたはサーバで実行されてもよい。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータと接続されてもよく、（例えば、インターネットサービスプロバイダを利用したインターネットを介して）外部コンピュータと接続されてもよい。
【0096】
本発明の態様について、本発明の実施形態による方法、装置（システム）、並びにコンピュータプログラムプロダクトのフローチャート及び／またはブロック図を参照して以下で説明する。フローチャート及び／またはブロック図の各ブロック、並びにフローチャート及び／またはブロック図のブロックにおける組合せは、コンピュータプログラム命令によって実施できることを理解されたい。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを通して実行される命令が、フローチャート及び／またはブロック図の１つまたは複数のブロックまたはモジュールに指定される機能／動作を実施するための手段を作り出すようなマシンを生成するために、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供される。
【0097】
これらのコンピュータプログラム命令は、コンピュータで読み取り可能な媒体に保存された命令が、フローチャート及び／またはブロック図の１つまたは複数のブロックまたはモジュールに指定された機能／動作を実施するための命令を含むプロダクトを生成するように、コンピュータ、他のプログラマブルデータ処理装置または他のデバイスに、特定の方法で機能するように指示できるコンピュータで読み取り可能な媒体に保存できる。
【0098】
コンピュータプログラム命令は、またコンピュータ、他のプログラマブルデータ処理装置または他のデバイスにロードされて、一連の動作ステップがコンピュータ、他のプログラマブル装置または他のデバイスで実行され、コンピュータまたは他のプログラマブル装置で実行される命令が、フローチャート及び／またはブロック図のブロックまたはモジュールに指定された機能／動作を実施するためのプロセスを提供するように、コンピュータで実施されるプロセスを生成できる。
【0099】
本明細書で使用する「プロセッサ」という用語は、例えばＣＰＵ（central processing unit）及び／または他の処理回路を含むもの等、任意の処理装置を含むことを意図している。また、「プロセッサ」という用語は１つまたは複数の処理装置を指すことが可能であり、処理装置に関連する様々な要素は、他の処理装置によって共有されることも理解されたい。
【0100】
本明細書で使用する「メモリ」という用語は、例えば、ＲＡＭ、ＲＯＭ、固定メモリデバイス（例えば、ハードドライブ）、リムーバブルメモリデバイス（例えば、ディスケット）、フラッシュメモリ等、プロセッサまたはＣＰＵに関連するメモリを含むことを意図している。このようなメモリは、コンピュータで読み取り可能な記録媒体と考えることができる。
【0101】
さらに、本明細書で使用する「入力／出力装置」または「Ｉ／Ｏ装置」という用語は、例えば、処理ユニットにデータを入力するための１つまたは複数の入力装置（例えば、キーボード、マウス、スキャナ等）及び／または処理ユニットに関連する、結果を提示するための１つまたは複数の出力装置（例えば、スピーカ、ディスプレイ、プリンタ等）を含むことを意図する。
【0102】
上記は、あらゆる観点において説明的かつ典型的であって限定的でないものと理解されるべきであり、本明細書で開示する本発明の範囲は、詳細な説明から決定されるべきではなく、特許法で認められた最大限の広さに基づいて解釈される特許請求の範囲から決定されるべきである。本明細書中に図示及び記載されている実施形態は、本発明の原理を説明するものにすぎず、本発明の範囲及び主旨から逸脱することなく当業者は様々な変更を実施することができることを理解されたい。当業者は、本発明の範囲及び精神から逸脱することなく、様々な他の特徴の組み合わせを実施できる。以上、本発明の態様について、特許法で要求される細部及び詳細な事項と共に説明したが、特許証で保護されることを要求する特許請求の範囲は、添付の特許請求の範囲に示されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】