▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
特開2024-102021言語モデルを含む知識ベースを動作させるための装置、及び、コンピュータ実装された方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024102021
(43)【公開日】2024-07-30
(54)【発明の名称】言語モデルを含む知識ベースを動作させるための装置、及び、コンピュータ実装された方法
(51)【国際特許分類】
G06N 5/04 20230101AFI20240723BHJP
【ＦＩ】
G06N5/04
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024005420
(22)【出願日】2024-01-17
(31)【優先権主張番号】10 2023 200 347.3
(32)【優先日】2023-01-18
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ハイケ アーデル－ヴー
(72)【発明者】
【氏名】荒木 淳
(72)【発明者】
【氏名】コウスタファ ゴスワミ
(72)【発明者】
【氏名】ルーカス ランゲ
(57)【要約】 （修正有）
【課題】言語モデルを含む知識ベースを動作させるための装置及びコンピュータ実装される方法を提供する。
【解決手段】方法は、言語モデル１０８を含む知識ベース１０６に第２のドメインの入力文ｓを提供し、トークナイザ２０２を用いて入力文ｓをトークンｔへとトークン化し、変換器２０４を用いてトークンｔを文埋め込みＳｓに変換し、第１のドメインのプロンプトを表している第１の埋め込みの集合ｐｇを提供し、第２の埋め込みの集合ｐｄを提供する。第２の埋め込みの集合は、第１の埋め込みの集合ｐｇと、第２のドメインのキーワードを表している埋め込みの集合ｋ１・・・ｋｎとを含み、第１の埋め込みの集合ｐｇ及び第２の埋め込みの集合ｐｄに依存してプロンプトｐを決定し、変換器２０４を用いてトークンｔ及びプロンプトｐのうちの少なくとも１つを知識ベース１０６の出力ｏに変換する。
【選択図】図２
【解決手段】方法は、言語モデル１０８を含む知識ベース１０６に第２のドメインの入力文ｓを提供し、トークナイザ２０２を用いて入力文ｓをトークンｔへとトークン化し、変換器２０４を用いてトークンｔを文埋め込みＳｓに変換し、第１のドメインのプロンプトを表している第１の埋め込みの集合ｐｇを提供し、第２の埋め込みの集合ｐｄを提供する。第２の埋め込みの集合は、第１の埋め込みの集合ｐｇと、第２のドメインのキーワードを表している埋め込みの集合ｋ１・・・ｋｎとを含み、第１の埋め込みの集合ｐｇ及び第２の埋め込みの集合ｐｄに依存してプロンプトｐを決定し、変換器２０４を用いてトークンｔ及びプロンプトｐのうちの少なくとも１つを知識ベース１０６の出力ｏに変換する。
【選択図】図２
【特許請求の範囲】
【請求項1】
言語モデル（１０８）を含む知識ベース（１０６）を動作させるためのコンピュータ実装された方法であって、
前記言語モデル（１０８）は、第１のドメインのために事前訓練されており、かつ、トークナイザ（２０２）及び変換器（２０４）を含む、
方法において、当該方法は、
第２のドメインの入力文（ｓ）を提供すること（３０２）と、
前記トークナイザ（２０２）を用いて前記入力文（ｓ）をトークン（ｔ）へとトークン化すること（３０４）と、
前記変換器（２０４）を用いて前記トークン（ｔ）を文埋め込み（Ｓｓ）に変換すること（３０６）と、
前記第１のドメインのプロンプトを表している第１の埋め込みの集合（ｐｇ）を提供すること（３０８）と、
第２の埋め込みの集合（ｐｄ）を提供すること（３１０）であって、前記第２の埋め込みの集合は、前記第１の埋め込みの集合（ｐｇ）と、前記第２のドメインのキーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）とを含む、こと（３１０）と、
前記第１の埋め込みの集合（ｐｇ）及び前記第２の埋め込みの集合（ｐｄ）に依存してプロンプト（ｐ）を決定すること（３１２）と、
前記変換器（２０４）を用いて前記トークン（ｔ）及び前記プロンプト（ｐ）のうちの少なくとも１つを前記知識ベース（１０６）の出力（ｏ）に変換すること（３１４）と、
を含む、ことを特徴とする方法。
前記言語モデル（１０８）は、第１のドメインのために事前訓練されており、かつ、トークナイザ（２０２）及び変換器（２０４）を含む、
方法において、当該方法は、
第２のドメインの入力文（ｓ）を提供すること（３０２）と、
前記トークナイザ（２０２）を用いて前記入力文（ｓ）をトークン（ｔ）へとトークン化すること（３０４）と、
前記変換器（２０４）を用いて前記トークン（ｔ）を文埋め込み（Ｓｓ）に変換すること（３０６）と、
前記第１のドメインのプロンプトを表している第１の埋め込みの集合（ｐｇ）を提供すること（３０８）と、
第２の埋め込みの集合（ｐｄ）を提供すること（３１０）であって、前記第２の埋め込みの集合は、前記第１の埋め込みの集合（ｐｇ）と、前記第２のドメインのキーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）とを含む、こと（３１０）と、
前記第１の埋め込みの集合（ｐｇ）及び前記第２の埋め込みの集合（ｐｄ）に依存してプロンプト（ｐ）を決定すること（３１２）と、
前記変換器（２０４）を用いて前記トークン（ｔ）及び前記プロンプト（ｐ）のうちの少なくとも１つを前記知識ベース（１０６）の出力（ｏ）に変換すること（３１４）と、
を含む、ことを特徴とする方法。
【請求項2】
前記知識ベース（１０６）は、分類器（２０６）を含み、
当該方法は、
前記分類器（２０６）を用いて前記出力の分類（ｃ）を決定すること（３１６）と、
前記分類に依存して、前記トークンのうちの少なくとも１つのためのラベルを決定すること（３１８）、又は、
前記分類（ｃ）に依存して、特に前記トークン（ｔ）のうちの少なくとも１つのための前記ラベルに依存して、前記トークン（ｔ）のうちの前記少なくとも１つに対応する前記知識ベース（１０６）の、特に知識グラフのエントリを決定すること（３１８）、又は、
前記分類（ｃ）に依存して、前記トークン（ｔ）のうちの少なくとも２つのトークンの関係を決定すること（３１８）と、
を含む、請求項１に記載の方法。
当該方法は、
前記分類器（２０６）を用いて前記出力の分類（ｃ）を決定すること（３１６）と、
前記分類に依存して、前記トークンのうちの少なくとも１つのためのラベルを決定すること（３１８）、又は、
前記分類（ｃ）に依存して、特に前記トークン（ｔ）のうちの少なくとも１つのための前記ラベルに依存して、前記トークン（ｔ）のうちの前記少なくとも１つに対応する前記知識ベース（１０６）の、特に知識グラフのエントリを決定すること（３１８）、又は、
前記分類（ｃ）に依存して、前記トークン（ｔ）のうちの少なくとも２つのトークンの関係を決定すること（３１８）と、
を含む、請求項１に記載の方法。
【請求項3】
前記プロンプト（ｐ）を決定すること（３１２）は、前記第１の埋め込みの集合（ｐｇ）と前記第２の埋め込みの集合（ｐｄ）との和を決定することを含む、
請求項１又は２に記載の方法。
請求項１又は２に記載の方法。
【請求項4】
前記和を決定することは、第１の重み（ｇ１）を用いて前記第１の埋め込みの集合（ｐｇ）を重み付けすること、及び／又は、第２の重み（１－ｇ１）を用いて前記第２の埋め込みの集合（ｐｄ）を重み付けすることを含む、
請求項３に記載の方法。
請求項３に記載の方法。
【請求項5】
当該方法は、
前記文埋め込み（Ｓｓ）に依存して前記第１の重み（ｇ１）を決定すること、及び／又は、
前記文埋め込み（Ｓｓ）に依存して前記第２の重み（１－ｇ１）を決定すること
を含む、請求項４に記載の方法。
前記文埋め込み（Ｓｓ）に依存して前記第１の重み（ｇ１）を決定すること、及び／又は、
前記文埋め込み（Ｓｓ）に依存して前記第２の重み（１－ｇ１）を決定すること
を含む、請求項４に記載の方法。
【請求項6】
前記第１の重み（ｇ１）を決定することは、第１の重み付け係数（Ｗｇ）を用いて前記文埋め込み（Ｓｓ）を重み付けすることを含む、
請求項５に記載の方法。
請求項５に記載の方法。
【請求項7】
前記第２の埋め込みの集合（ｐｄ）を提供すること（３１０）は、前記第１の埋め込みの集合（ｐｇ）と、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）との順序を決定することを含む、
請求項１乃至６のいずれか一項に記載の方法。
請求項１乃至６のいずれか一項に記載の方法。
【請求項8】
前記順序を決定することは、
前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の前に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置すること、及び／又は、
前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の後に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置すること
を含む、請求項７に記載の方法。
前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の前に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置すること、及び／又は、
前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の後に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置すること
を含む、請求項７に記載の方法。
【請求項9】
前記第２の埋め込みの集合（ｐｄ）を決定することは、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の前に配置された前記第１の埋め込みの集合（ｐｇ）と、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の後に配置された前記第１の埋め込みの集合（ｐｇ）との重み付き和を決定することを含む、
又は
前記順序を決定することは、
前記文埋め込み（Ｓｓ）に依存して第２の重み（ｇ２）を決定することと、
前記第２の重み（ｇ２）が条件を満たしているかどうかを決定することと、
前記第２の重み（ｇ２）が前記条件を満たしている場合に、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の前に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置すること、若しくは、
前記第２の重み（ｇ２）が前記条件を満たしていない場合に、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の後に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置することと、
を含む、請求項７又は８に記載の方法。
又は
前記順序を決定することは、
前記文埋め込み（Ｓｓ）に依存して第２の重み（ｇ２）を決定することと、
前記第２の重み（ｇ２）が条件を満たしているかどうかを決定することと、
前記第２の重み（ｇ２）が前記条件を満たしている場合に、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の前に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置すること、若しくは、
前記第２の重み（ｇ２）が前記条件を満たしていない場合に、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の後に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置することと、
を含む、請求項７又は８に記載の方法。
【請求項10】
前記第２の重み（ｇ２）を決定することは、第２の重み付け係数（Ｗｄ）を用いて前記文埋め込み（Ｓｓ）を重み付けすることを含む、
請求項９に記載の方法。
請求項９に記載の方法。
【請求項11】
当該方法は、
前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）、前記第１の重み付け係数（Ｗｇ）、及び／又は、前記第２の重み付け係数（Ｗｄ）を、特に一様分布からランダムに初期化すること（４０２）と、
前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）、前記第１の重み付け係数（Ｗｇ）、及び／又は、前記第２の重み付け係数（Ｗｄ）を訓練するための訓練データを提供すること（４０４）と、
特に前記言語モデルを静的に保持しながら、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）、前記第１の重み付け係数（Ｗｇ）、及び／又は、前記第２の重み付け係数（Ｗｄ）を訓練すること（４０６）と、
を含む、請求項６又は１０に記載の方法。
前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）、前記第１の重み付け係数（Ｗｇ）、及び／又は、前記第２の重み付け係数（Ｗｄ）を、特に一様分布からランダムに初期化すること（４０２）と、
前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）、前記第１の重み付け係数（Ｗｇ）、及び／又は、前記第２の重み付け係数（Ｗｄ）を訓練するための訓練データを提供すること（４０４）と、
特に前記言語モデルを静的に保持しながら、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）、前記第１の重み付け係数（Ｗｇ）、及び／又は、前記第２の重み付け係数（Ｗｄ）を訓練すること（４０６）と、
を含む、請求項６又は１０に記載の方法。
【請求項12】
前記第２の埋め込みの集合（（ｖ１，・・・，ｖｍ，ｋ１，・・・，ｋｎ）；（ｋ１，・・・，ｋｎ，ｖ１，・・・，ｖｍ））を提供すること（３１０）は、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）を、前記第２のドメインの文書における各々の単語頻度、及び／又は、前記第２のドメインの文書の集合における各々の逆単語頻度、及び／又は、前記第１のドメインの文書における各々の単語頻度に依存して決定することを含む、
請求項１乃至１１のいずれか一項に記載の方法。
請求項１乃至１１のいずれか一項に記載の方法。
【請求項13】
言語モデル（１０８）を含む知識ベース（１０６）を動作させるための装置（１００）であって、
前記言語モデル（１０８）は、第１のドメインのために事前訓練されており、かつ、トークナイザ（２０２）及び変換器（２０４）を含む、
装置（１００）において、
当該装置（１００）は、少なくとも１つのプロセッサ（１０２）と、少なくとも１つの非一時的なストレージ（１０４）とを含み、
前記少なくとも１つのプロセッサ（１０２）は、前記少なくとも１つのプロセッサ（１０２）によって実行された場合に、請求項１乃至１２のいずれか一項に記載の方法のステップを前記少なくとも１つのプロセッサ（１０２）に実行させるための命令を処理するように構成されており、
前記少なくとも１つのストレージ（１０４）は、前記命令及び前記知識ベース（１０６）を格納するように構成されている、
ことを特徴とする装置（１００）。
前記言語モデル（１０８）は、第１のドメインのために事前訓練されており、かつ、トークナイザ（２０２）及び変換器（２０４）を含む、
装置（１００）において、
当該装置（１００）は、少なくとも１つのプロセッサ（１０２）と、少なくとも１つの非一時的なストレージ（１０４）とを含み、
前記少なくとも１つのプロセッサ（１０２）は、前記少なくとも１つのプロセッサ（１０２）によって実行された場合に、請求項１乃至１２のいずれか一項に記載の方法のステップを前記少なくとも１つのプロセッサ（１０２）に実行させるための命令を処理するように構成されており、
前記少なくとも１つのストレージ（１０４）は、前記命令及び前記知識ベース（１０６）を格納するように構成されている、
ことを特徴とする装置（１００）。
【請求項14】
第１のドメインのために事前訓練された言語モデル（１０８）を含む知識ベース（１０６）を動作させるためのコンピュータプログラムにおいて、
当該コンピュータプログラムは、コンピュータによって実行された場合に、請求項１乃至１２のいずれか一項に記載の方法を前記コンピュータに実施させるためのコンピュータ可読命令を含む、
ことを特徴とするコンピュータプログラム。
当該コンピュータプログラムは、コンピュータによって実行された場合に、請求項１乃至１２のいずれか一項に記載の方法を前記コンピュータに実施させるためのコンピュータ可読命令を含む、
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
背景
本発明は、言語モデルを含む知識ベースを動作させるための装置、及び、コンピュータ実装された方法に関する。
本発明は、言語モデルを含む知識ベースを動作させるための装置、及び、コンピュータ実装された方法に関する。
【背景技術】
【0002】
事前訓練済みの言語モデルは、プロンプトとともに使用されて、プロンプトに対する応答を提供することができる。
【0003】
「Gao, Tianyu, Adam Fisch, and Danqi Chen著、“Making Pre-trained Language Models Better Few-shot Learners.” Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). 2021」及び「Liu, Xiao等著、“P-Tuning: Prompt Tuning Can Be Comparable to Fine-tuning Across Scales and Tasks.” Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 2022」は、この目的のためにハードプロンプト又はソフトプロンプトを使用することを開示している。
【0004】
しかしながら、これらの方法は、双方ともドメイン固有の状況に合わせて調整されておらず、したがって、ドメイン固有のテキスト及び情報抽出タスクに対して十分に機能するためには、ドメイン固有の事前訓練済み言語モデル（pre-trained language model：ＰＬＭ）を必要とする。しかしながら、そのようなドメイン固有のＰＬＭは、このようなドメイン固有のＰＬＭを事前訓練するための十分なドメイン固有のデータを見出すことが困難である場合があるので、入手が困難である可能性がある。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Gao, Tianyu, Adam Fisch, and Danqi Chen著、“Making Pre-trained Language Models Better Few-shot Learners.” Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). 2021
【非特許文献2】Liu, Xiao等著、“P-Tuning: Prompt Tuning Can Be Comparable to Fine-tuning Across Scales and Tasks.” Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 2022
【発明の概要】
【発明が解決しようとする課題】
【0006】
発明の開示
言語モデルを含む知識ベースを動作させるための独立請求項に記載された装置、及び、コンピュータ実装された方法は、一般ドメインＰＬＭを、特定のドメインに動的に適応させることが可能である。
言語モデルを含む知識ベースを動作させるための独立請求項に記載された装置、及び、コンピュータ実装された方法は、一般ドメインＰＬＭを、特定のドメインに動的に適応させることが可能である。
【課題を解決するための手段】
【0007】
言語モデルを含む知識ベースを動作させるための本方法において、言語モデルは、第１のドメインのために事前訓練されており、かつ、トークナイザ及び変換器を含む。本方法は、第２のドメインの入力文を提供することと、トークナイザを用いて入力文をトークンへとトークン化することと、変換器を用いてトークンを文埋め込みに変換することと、第１のドメインのプロンプトを表している第１の埋め込みの集合を提供することと、第２の埋め込みの集合を提供することであって、第２の埋め込みの集合は、第１の埋め込みの集合と、第２のドメインのキーワードを表している埋め込みの集合とを含む、ことと、第１の埋め込みの集合及び第２の埋め込みの集合に依存してプロンプトを決定することと、変換器を用いてトークン及びプロンプトのうちの少なくとも１つを知識ベースの出力に変換することと、を含む。プロンプトは、ソフトプロンプト、例えば、ベクトルのシーケンスである。本方法は、ドメイン固有のキーワードに関連するベクトルのシーケンスを用いてソフトプロンプトを拡張する。これにより、ドメイン固有の知識が得られるように一般ドメインＰＬＭをより効果的にプロンプトすることが可能となる。このようにして知識ベースを動作させることにより、リソース消費が削減される。なぜなら、この知識ベースは、第２のドメインのための追加的な事前訓練済みの言語モデルのためのストレージを必要としないからである。このことにより、第１のドメインのために事前学習された言語モデルを、如何なる追加的な事前学習済みの言語モデルも用いることなく、第２のドメイン又はさらなるドメインのために使用することが可能となる。
【0008】
１つの実施形態においては、知識ベースは、分類器を含み、本方法は、分類器を用いて出力の分類を決定することと、分類に依存して、トークンのうちの少なくとも１つのためのラベルを決定すること、又は、分類に依存して、特にトークンのうちの少なくとも１つのためのラベルに依存して、トークンのうちの少なくとも１つに対応する知識ベースの、特に知識グラフのエントリを決定すること、又は、分類に依存して、トークンのうちの少なくとも２つのトークンの関係を決定することと、を含む。このことは、第２のドメインに対する知識ベース拡充又は関係分類を目的としたトークン分類又はエンティティ抽出を、第１のドメインのための事前訓練済みの言語モデルに基づいて、第２のドメインの追加的な言語モデルを必要とすることなく実行することに相当する。
【0009】
プロンプトを決定することは、第１の埋め込みの集合と第２の埋め込みの集合との和を決定することを含み得る。このことにより、キーワードを表している埋め込みを効率的に考慮することが可能となる。
【0010】
和を決定することは、第１の重みを用いて第１の埋め込みの集合を重み付けすること、及び／又は、第２の重みを用いて第２の埋め込みの集合を重み付けすることを含み得る。このことにより、第１のドメインの埋め込みの影響力に関連して、第２のドメインのためのキーワードの影響力に影響を及ぼすことが可能となる。
【0011】
本方法は、文埋め込みに依存して第１の重みを決定すること、及び／又は、文埋め込みに依存して第２の重みを決定することを含み得る。このことは、入力文に対するこれらの重みの深さを調整し、第２のドメインに関する出力の結果をより良好にする。
【0012】
第１の重みを決定することは、第１の重み付け係数を用いて文埋め込みを重み付けすることを含み得る。第１の重み付け係数により、重み付けを調整することが可能となる。
【0013】
第２の埋め込みの集合を提供することは、第１の埋め込みの集合と、キーワードを表している埋め込みの集合との順序を決定することを含み得る。このことにより、第２のドメインに関する出力の結果を改善するために順序を調整することが可能となる。
【0014】
順序を決定することは、キーワードを表している埋め込みの集合の前に、第１の埋め込みの集合を配置すること、及び／又は、キーワードを表している埋め込みの集合の後に、第１の埋め込みの集合を配置することを含み得る。計算上、このことは、第２のドメインに関する出力の結果を改善するために順序を調整する非常に効率的な手法である。このことにより、計算リソースが節約され、計算リソースが制限されている装置において、例えば組み込み装置において、言語モデルを使用することが可能となる。
【0015】
第２の埋め込みの集合を決定することは、キーワードを表している埋め込みの集合の前に配置された第１の埋め込みの集合と、キーワードを表している埋め込みの集合の後に配置された第１の埋め込みの集合との重み付き和を決定することを含み得る。順序を決定することは、文埋め込みに依存して第２の重みを決定することと、第２の重みが条件を満たしているかどうかを決定することと、第２の重みが条件を満たしている場合に、キーワードを表している埋め込みの集合の前に、第１の埋め込みの集合を配置すること、又は、第２の重みが条件を満たしていない場合に、キーワードを表している埋め込みの集合の後に、第１の埋め込みの集合を配置することと、を含み得る。このことは、入力文に依存して順序を調整し、第２のドメインに関する出力の結果をより良好にする。
【0016】
第２の重みを決定することは、第２の重み付け係数を用いて文埋め込みを重み付けすることを含み得る。第２の重み付け係数により、重み付けを調整することが可能となる。
【0017】
訓練のために、本方法は、第１の埋め込みの集合、キーワードを表している埋め込みの集合、第１の重み付け係数、及び／又は、第２の重み付け係数を、特に一様分布からランダムに初期化することと、第１の埋め込みの集合、キーワードを表している埋め込みの集合、第１の重み付け係数、及び／又は、第２の重み付け係数を訓練するための訓練データを提供することと、特に言語モデルを静的に保持しながら、第１の埋め込みの集合、キーワードを表している埋め込みの集合、第１の重み付け係数、及び／又は、第２の重み付け係数を訓練することと、を含み得る。このことは、非常にリソース効率的な訓練である。
【0018】
第２の埋め込みの集合を提供することは、キーワードを表している埋め込みの集合を、第２のドメインの文書における各々の単語頻度、及び／又は、第２のドメインの文書の集合における各々の逆単語頻度、及び／又は、第１のドメインの文書における各々の単語頻度に依存して決定することを含み得る。
【0019】
言語モデルを含む知識ベースを動作させるための装置であって、言語モデルは、第１のドメインのために事前訓練されており、かつ、トークナイザ及び変換器を含む、本装置は、少なくとも１つのプロセッサと、少なくとも１つの、特に非一時的なストレージとを含み、少なくとも１つのプロセッサは、少なくとも１つのプロセッサによって実行された場合に、本方法のステップを少なくとも１つのプロセッサに実施させるための命令を処理するように構成されており、少なくとも１つのストレージは、命令及び知識ベースを格納するように構成されている。本装置は、本方法の利点に対応する利点を有する。
【0020】
第１のドメインのために事前訓練された言語モデルを含む知識ベースを動作させるためのコンピュータプログラムは、コンピュータによって実行された場合に、本方法をコンピュータに実施させるためのコンピュータ可読命令を含む。本プログラムは、本方法の利点に対応する利点を有する。
【0021】
さらなる実施形態は、以下の説明及び図面から導出される。
【図面の簡単な説明】
【0022】
【図1】言語モデルを含む知識ベースを動作させるための装置の概略図である。
【図2】知識ベースの概略図である。
【図3】知識ベースを動作させるための方法のステップを含むフローチャートである。
【図4】知識ベースを訓練するための方法のステップを含むフローチャートである。
【発明を実施するための形態】
【0023】
図１は、装置１００を概略的に示している。装置１００は、少なくとも１つのプロセッサ１０２と、少なくとも１つのメモリ１０４とを含む。装置１００は、知識ベース１０６を含む。知識ベース１０６は、言語モデル１０８を含む。言語モデル１０８は、第１のドメインのために事前訓練されている。本例においては、第１のドメインは、一般ドメインである。この文脈における一般とは、一般ドメインのテキストの内容が、ある一定の特定のトピックに限定されていないということを意味し得る。この文脈における特定のトピックとは、この特定のトピックに関するテキストの内容が、技術的分野内のテキストであるということを意味し得る。特定のトピックの１つの例は、材料科学である。
【0024】
少なくとも１つのプロセッサ１０２は、命令を処理するように構成されている。少なくとも１つのストレージ１０４は、命令を格納するように構成されている。少なくとも１つのストレージ１０４は、知識ベース１０６及び言語モデル１０８を格納するように構成されている。
【0025】
言語モデル１０８は、変換器に基づく、ベースのマスクされた言語モデルであるものとしてよく、例えば、「Devlin等著: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019」に記載されているようなＢＥＲＴであるものとしてよい。
【0026】
図２は、知識ベース１０６を概略的に示している。
【0027】
言語モデル１０８は、トークナイザ２０２及び変換器２０４を含む。
【0028】
トークナイザ２０２は、トークンｔを決定するように構成されている。トークンｔは、分類トークンＣＬＳを含み得る。
【0029】
変換器２０４は、トークンｔ及びプロンプトｐのうちの少なくとも１つに依存して、知識ベース１０６の出力ｏを決定するように構成されている。変換器２０４は、分類トークンＣＬＳに依存して出力を決定するように構成可能である。
【0030】
知識ベース１０６は、任意選択肢として分類器２０６を含む。分類器２０６は、出力ｏのための分類ｃを決定するように構成されている。
【0031】
知識ベース１０６は、第１のゲート２０８及び第２のゲート２１０を含む。
【0032】
第１のゲート２０８は、一般ドメインのプロンプトｐｇを表している第１の埋め込みの集合
ｐｇ＝ｖ１，・・・，ｖｍ
を受け取るように構成されている。
ｐｇ＝ｖ１，・・・，ｖｍ
を受け取るように構成されている。
【0033】
第１のゲート２０８は、第２の埋め込みの集合ｐｄを受け取るように構成されている。
【0034】
第１のゲート２０８は、プロンプトｐを出力するように構成されている。
【0035】
１つの実施形態においては、第１のゲート２０８は、第１の埋め込みの集合ｐｇの出力、すなわち、ｐ＝ｐｇと、第２の埋め込みの集合ｐｄの出力、すなわち、ｐ＝ｐｄとの間でスイッチングを行うように構成されている。
【0036】
１つの実施形態においては、第１のゲート２０８は、ｐ＝ｐｇ又はｐ＝ｐｄのいずれかを出力するために、第１の重みｇ１に依存してスイッチングを行うように構成されている。
【0037】
１つの実施形態においては、第１のゲート２０８は、第１の埋め込みの集合ｐｇ及び第２の埋め込みの集合ｐｄに依存して出力プロンプトｐを決定するように構成されている。
【0038】
第１のゲート２０８は、例えば第１の重みｇ１に依存してプロンプトｐ：
ｐ＝ｇ１ ｐｇ＋（１－ｇ１）ｐｄ
を決定するように構成されている。
ｐ＝ｇ１ ｐｇ＋（１－ｇ１）ｐｄ
を決定するように構成されている。
【0039】
第２のゲート２１０は、第２の重みｇ２に依存して第２の埋め込みの集合ｐｄを提供するように構成されている。
【0040】
１つの実施形態においては、第２のゲート２１０は、
ｐｄ＝ｖ１，・・・，ｖｍ，ｋ１，・・・，ｋｎ
又は
ｐｄ＝ｋ１，・・・，ｋｎ，ｖ１，・・・，ｖｍ
のいずれかを出力するために、第２の重みｇ２に依存してスイッチングを行うように構成されている。
ｐｄ＝ｖ１，・・・，ｖｍ，ｋ１，・・・，ｋｎ
又は
ｐｄ＝ｋ１，・・・，ｋｎ，ｖ１，・・・，ｖｍ
のいずれかを出力するために、第２の重みｇ２に依存してスイッチングを行うように構成されている。
【0041】
第２のゲート２１０は、例えば第２の重みｇ２に依存して第２の埋め込みの集合ｐｄ：
ｐｄ＝ｇ２（ｖ１，・・・，ｖｍ，ｋ１，・・・，ｋｎ）＋（１－ｇ２）（ｋ１，・・・，ｋｎ，ｖ１，・・・，ｖｍ）
を決定するように構成されている。
ｐｄ＝ｇ２（ｖ１，・・・，ｖｍ，ｋ１，・・・，ｋｎ）＋（１－ｇ２）（ｋ１，・・・，ｋｎ，ｖ１，・・・，ｖｍ）
を決定するように構成されている。
【0042】
１つの例によれば、知識ベース１０６は、知識グラフを含む。
【0043】
知識グラフは、例えば互いに素の集合Ｎ＿Ｃ，Ｎ＿Ｐ，Ｎ＿Ｅに基づいており、ここで、Ｎ＿Ｃは、クラス名を含む集合であり、Ｎ＿Ｐは、プロパティ名を含む集合であり、Ｎ＿Ｅは、エンティティ名を含む集合である。知識グラフは、例えば事実（fact）を含む。事実は、例えば、Ｃ（ｓ）及びｐ（ｓ，ｏ）の形式の二値の三つ組（binary triple）であり、ここで、Ｃ∈Ｎ＿Ｃ、ｐ（ｓ，ｏ）∈Ｎ＿Ｐ、かつ、ｓ，ｏ∈Ｎ＿Ｅである。
【0044】
集合Ｎ＿Ｃは、例えば、１００超、１０００超、１００００超、又は、１０００００超のクラス名を含む。集合Ｎ＿Ｐは、例えば、１００超、１０００超、１００００超、又は、１０００００超のプロパティ名を含む。集合Ｎ＿Ｅは、例えば、１００超、１０００超、１００００超、又は、１０００００超のエンティティ名を含む。集合Ｎ＿Ｃ、Ｎ＿Ｐ、Ｎ＿Ｅは、それぞれ数千又は数百万のクラス名、プロパティ名及びエンティティ名を含み得る。
【0045】
少なくとも１つのプロセッサ１０２は、少なくとも１つのプロセッサ１０２によって実行された場合に、知識ベース１０６を動作させるためのコンピュータ実装された方法のステップを少なくとも１つのプロセッサ１０２に実施させるための命令を処理するように構成されている。
【0046】
少なくとも１つのストレージ１０４は、命令及び知識ベース１０６を格納するように構成されている。
【0047】
知識ベース１０６を動作させるためのコンピュータプログラムは、例えば、少なくとも１つのプロセッサ１０２を含むコンピュータによって実行された場合に、本方法をコンピュータに実施させるためのコンピュータ可読命令を含む。
【0048】
図３は、本方法のステップを示している。
【0049】
コンピュータ実装された方法は、ステップ３０２を含む。
【0050】
ステップ３０２は、第２のドメインの入力文ｓを提供することを含む。第２のドメインは、第１のドメインとは異なる。本例においては、第２のドメインは、特定のドメインであり、すなわち、特定のトピック、例えば材料科学に関連する特定のドメインである。
【0051】
本方法は、ステップ３０４を含む。
【0052】
ステップ３０４は、トークナイザ２０２を用いて入力文ｓをトークンｔへとトークン化することを含む。
【0053】
本方法は、ステップ３０６を含む。
【0054】
ステップ３０６は、変換器２０４を用いてトークンｔを文埋め込みＳｓに変換することを含む。
【0055】
本方法は、ステップ３０８を含む。
【0056】
ステップ３０８は、第１のドメインのプロンプトを表している第１の埋め込みの集合ｐｇを提供することを含む。
【0057】
本方法は、ステップ３１０を含む。
【0058】
ステップ３１０は、第２の埋め込みの集合ｐｄを提供することを含む。
【0059】
第２の埋め込みの集合ｐｄは、第１の埋め込みの集合ｐｇと、第２のドメインのキーワードを表している埋め込みの集合ｋ１，・・・，ｋｎとを含む。
【0060】
キーワードを表している埋め込みの集合ｋ１，・・・，ｋｎは、第２のドメインの文書における各々の単語頻度に依存して決定可能である。キーワードを表している埋め込みの集合ｋ１，・・・，ｋｎは、第２のドメインの文書の集合における各々の逆単語頻度に依存して決定可能である。キーワードを表している埋め込みの集合ｋ１，・・・，ｋｎは、第１のドメインの文書における各々の単語頻度に依存して決定可能である。
【0061】
１つの例においては、第２の埋め込みの集合ｐｄを提供することは、第２の埋め込みの集合ｐｄ内における第１の埋め込みの集合ｐｇと、キーワードを表している埋め込みの集合ｋ１，・・・，ｋｎとの順序を決定することを含む。
【0062】
順序を決定することは、キーワードを表している埋め込みの集合ｋ１，・・・，ｋｎの前に、第１の埋め込みの集合ｐｇ＝ｖ１，・・・，ｖｍを配置することを含み得る。
【0063】
順序を決定することは、キーワードを表している埋め込みの集合ｋ１，・・・，ｋｎの後に、第１の埋め込みの集合ｐｇ＝ｖ１，・・・，ｖｍを配置することを含み得る。
【0064】
順序を決定することは、第２の重みｇ２が条件を満たしているかどうかを決定することと、第２の重みｇ２が条件を満たしている場合に、キーワードを表している埋め込みの集合ｋ１，・・・，ｋｎの前に、第１の埋め込みの集合ｐｇ＝ｖ１，・・・，ｖｍを配置すること、又は、第２の重みｇ２が条件を満たしていない場合に、キーワードを表している埋め込みの集合ｋ１，・・・，ｋｎの後に、第１の埋め込みの集合ｐｇ＝ｖ１，・・・，ｖｍを配置することと、を含み得る。
【0065】
１つの実施形態においては、埋め込みの集合ｐｄは、キーワードを表している埋め込みの集合ｋ１，・・・，ｋｎの前に配置された第１の埋め込みの集合ｐｇ＝ｖ１，・・・，ｖｍと、キーワードを表している埋め込みの集合ｋ１，・・・，ｋｎの後に配置された第１の埋め込みの集合ｐｇ＝ｖ１，・・・，ｖｍとの重み付き和：
ｐｄ＝ｇ２（ｖ１，・・・，ｖｍ，ｋ１，・・・，ｋｎ）＋（１－ｇ２）（ｋ１，・・・，ｋｎ，ｖ１，・・・，ｖｍ）
として提供される。
ｐｄ＝ｇ２（ｖ１，・・・，ｖｍ，ｋ１，・・・，ｋｎ）＋（１－ｇ２）（ｋ１，・・・，ｋｎ，ｖ１，・・・，ｖｍ）
として提供される。
【0066】
１つの実施例においては、第２の重みｇ２は、文埋め込みＳｓに依存して決定される。例えば、第２の重みｇ２は、第２の重み付け係数Ｗｄを用いて、
ｇ２＝σ（Ｗｄ Ｓｓ）
のように決定され、ここで、σは、第２の重みｇ２を０から１までの範囲内に保持するためのシグモイド関数である。シグモイド関数は、任意選択肢である。
ｇ２＝σ（Ｗｄ Ｓｓ）
のように決定され、ここで、σは、第２の重みｇ２を０から１までの範囲内に保持するためのシグモイド関数である。シグモイド関数は、任意選択肢である。
【0067】
プロンプトｐを決定することは、第１の埋め込みの集合ｐｇと、第２の埋め込みの集合ｐｄとの和を決定することを含み得る。和を決定することは、第１の重みｇ１を用いて第１の埋め込みの集合ｐｇを重み付けすることを含み得る。和を決定することは、第１の重みに依存している第２の重みを用いて、例えば１－ｇ１を用いて第２の埋め込みの集合ｐｄを重み付けすることを含み得る。１つの実施例によれば、プロンプトｐは、
ｐ＝ｇ１ ｐｇ＋（１－ｇ１）ｐｄ
のように決定される。
ｐ＝ｇ１ ｐｇ＋（１－ｇ１）ｐｄ
のように決定される。
【0068】
１つの実施例においては、第１の重みｇ１は、文埋め込みＳｓに依存して決定される。例えば、第１の重みｇ１は、第１の重み付け係数Ｗｇを用いて、
ｇ１＝σ（Ｗｇ Ｓｓ）
のように決定され、ここで、σは、第１の重みｇ１を０から１までの範囲内に保持するためのシグモイド関数である。シグモイド関数は、任意選択肢である。
ｇ１＝σ（Ｗｇ Ｓｓ）
のように決定され、ここで、σは、第１の重みｇ１を０から１までの範囲内に保持するためのシグモイド関数である。シグモイド関数は、任意選択肢である。
【0069】
本方法は、ステップ３１２を含む。
【0070】
ステップ３１２は、第１の埋め込みの集合ｐｇ及び第２の埋め込みの集合ｐｄに依存してプロンプトｐを決定することを含む。
【0071】
本方法は、ステップ３１４を含む。
【0072】
ステップ３１４は、変換器２０４を用いてトークンｔ及びプロンプトｐのうちの少なくとも１つを知識ベース１０６の出力ｏに変換することを含む。
【0073】
任意選択肢として、本方法は、ステップ３１６を含み得る。
【0074】
ステップ３１６は、分類器２０６を用いて出力ｏの分類ｃを決定することを含む。
【0075】
任意選択肢として、本方法は、ステップ３１８を含む。
【0076】
１つの実施形態においては、ステップ３１８は、分類ｃに依存して、トークンｔのうちの少なくとも１つのためのラベルを決定することを含む。
【0077】
ステップ３１８は、１つの実施形態においては、分類ｃに依存して、トークンｔのうちの少なくとも１つに対応する知識ベース１０６のエントリを決定することを含む。
【0078】
例えば、分類ｃに依存して、トークンｔのうちの少なくとも１つに対応する知識グラフのためのエントリが決定される。例えば、エントリは、トークンｔのうちの少なくとも１つのためのラベルに依存して決定される。
【0079】
１つの実施形態においては、ステップ３１８は、分類ｃに依存して、トークンｔのうちの少なくとも２つのトークンの関係を決定することを含む。
【0080】
図４は、訓練のための方法のステップを示している。
【0081】
本方法は、ステップ４０２を含む。
【0082】
ステップ４０２は、第１の埋め込みの集合ｐｇ、例えばベクトルｖ１，・・・，ｖｍを初期化することを含む。
【0083】
ステップ４０２は、キーワードを表している埋め込みの集合、例えばベクトルｋ１，・・・，ｋｎを初期化することを含む。
【0084】
ステップ４０２は、第１の重み付け係数、例えば行列Ｗｇを初期化することを含む。
【0085】
ステップ４０２は、第２の重み付け係数、例えば行列Ｗｄを初期化することを含む。
【0086】
ベクトル又は行列は、例えば一様分布から、例えばランダムに初期化される。
【0087】
本方法は、ステップ４０４を含む。
【0088】
ステップ４０４は、訓練データを提供することを含む。
【0089】
本方法は、ステップ４０６を含む。
【0090】
ステップ４０６は、特に言語モデル２０４を静的に保持しながら、第１の埋め込みの集合ｐｇ＝ｖ１，・・・，ｖｍ、キーワードを表している埋め込みの集合ｋ１，・・・，ｋｎ、第１の重み付け係数Ｗｇ、及び／又は、第２の重み付け係数Ｗｄを訓練することを含む。
【0091】
訓練は、ハイパーパラメータとしてｍ及びｎを使用する。これらのハイパーパラメータも、同様に学習可能である。
【0092】
その後、本方法は、ステップ３０２に進むものとしてよい。
【図1】
【図2】
【図3】
【図4】
【手続補正書】
【提出日】2024-03-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
言語モデル（１０８）を含む知識ベース（１０６）を動作させるためのコンピュータ実装された方法であって、
前記言語モデル（１０８）は、第１のドメインのために事前訓練されており、かつ、トークナイザ（２０２）及び変換器（２０４）を含む、
方法において、当該方法は、
第２のドメインの入力文（ｓ）を提供すること（３０２）と、
前記トークナイザ（２０２）を用いて前記入力文（ｓ）をトークン（ｔ）へとトークン化すること（３０４）と、
前記変換器（２０４）を用いて前記トークン（ｔ）を文埋め込み（Ｓｓ）に変換すること（３０６）と、
前記第１のドメインのプロンプトを表している第１の埋め込みの集合（ｐｇ）を提供すること（３０８）と、
第２の埋め込みの集合（ｐｄ）を提供すること（３１０）であって、前記第２の埋め込みの集合は、前記第１の埋め込みの集合（ｐｇ）と、前記第２のドメインのキーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）とを含む、こと（３１０）と、
前記第１の埋め込みの集合（ｐｇ）及び前記第２の埋め込みの集合（ｐｄ）に依存してプロンプト（ｐ）を決定すること（３１２）と、
前記変換器（２０４）を用いて前記トークン（ｔ）及び前記プロンプト（ｐ）のうちの少なくとも１つを前記知識ベース（１０６）の出力（ｏ）に変換すること（３１４）と、
を含む、ことを特徴とする方法。
前記言語モデル（１０８）は、第１のドメインのために事前訓練されており、かつ、トークナイザ（２０２）及び変換器（２０４）を含む、
方法において、当該方法は、
第２のドメインの入力文（ｓ）を提供すること（３０２）と、
前記トークナイザ（２０２）を用いて前記入力文（ｓ）をトークン（ｔ）へとトークン化すること（３０４）と、
前記変換器（２０４）を用いて前記トークン（ｔ）を文埋め込み（Ｓｓ）に変換すること（３０６）と、
前記第１のドメインのプロンプトを表している第１の埋め込みの集合（ｐｇ）を提供すること（３０８）と、
第２の埋め込みの集合（ｐｄ）を提供すること（３１０）であって、前記第２の埋め込みの集合は、前記第１の埋め込みの集合（ｐｇ）と、前記第２のドメインのキーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）とを含む、こと（３１０）と、
前記第１の埋め込みの集合（ｐｇ）及び前記第２の埋め込みの集合（ｐｄ）に依存してプロンプト（ｐ）を決定すること（３１２）と、
前記変換器（２０４）を用いて前記トークン（ｔ）及び前記プロンプト（ｐ）のうちの少なくとも１つを前記知識ベース（１０６）の出力（ｏ）に変換すること（３１４）と、
を含む、ことを特徴とする方法。
【請求項2】
前記知識ベース（１０６）は、分類器（２０６）を含み、
当該方法は、
前記分類器（２０６）を用いて前記出力の分類（ｃ）を決定すること（３１６）と、
前記分類に依存して、前記トークンのうちの少なくとも１つのためのラベルを決定すること（３１８）、又は、
前記分類（ｃ）に依存して、特に前記トークン（ｔ）のうちの少なくとも１つのための前記ラベルに依存して、前記トークン（ｔ）のうちの前記少なくとも１つに対応する前記知識ベース（１０６）の、特に知識グラフのエントリを決定すること（３１８）、又は、
前記分類（ｃ）に依存して、前記トークン（ｔ）のうちの少なくとも２つのトークンの関係を決定すること（３１８）と、
を含む、請求項１に記載の方法。
当該方法は、
前記分類器（２０６）を用いて前記出力の分類（ｃ）を決定すること（３１６）と、
前記分類に依存して、前記トークンのうちの少なくとも１つのためのラベルを決定すること（３１８）、又は、
前記分類（ｃ）に依存して、特に前記トークン（ｔ）のうちの少なくとも１つのための前記ラベルに依存して、前記トークン（ｔ）のうちの前記少なくとも１つに対応する前記知識ベース（１０６）の、特に知識グラフのエントリを決定すること（３１８）、又は、
前記分類（ｃ）に依存して、前記トークン（ｔ）のうちの少なくとも２つのトークンの関係を決定すること（３１８）と、
を含む、請求項１に記載の方法。
【請求項3】
前記プロンプト（ｐ）を決定すること（３１２）は、前記第１の埋め込みの集合（ｐｇ）と前記第２の埋め込みの集合（ｐｄ）との和を決定することを含む、
請求項１又は２に記載の方法。
請求項１又は２に記載の方法。
【請求項4】
前記和を決定することは、第１の重み（ｇ１）を用いて前記第１の埋め込みの集合（ｐｇ）を重み付けすること、及び／又は、第２の重み（１－ｇ１）を用いて前記第２の埋め込みの集合（ｐｄ）を重み付けすることを含む、
請求項３に記載の方法。
請求項３に記載の方法。
【請求項5】
当該方法は、
前記文埋め込み（Ｓｓ）に依存して前記第１の重み（ｇ１）を決定すること、及び／又は、
前記文埋め込み（Ｓｓ）に依存して前記第２の重み（１－ｇ１）を決定すること
を含む、請求項４に記載の方法。
前記文埋め込み（Ｓｓ）に依存して前記第１の重み（ｇ１）を決定すること、及び／又は、
前記文埋め込み（Ｓｓ）に依存して前記第２の重み（１－ｇ１）を決定すること
を含む、請求項４に記載の方法。
【請求項6】
前記第１の重み（ｇ１）を決定することは、第１の重み付け係数（Ｗｇ）を用いて前記文埋め込み（Ｓｓ）を重み付けすることを含む、
請求項５に記載の方法。
請求項５に記載の方法。
【請求項7】
前記第２の埋め込みの集合（ｐｄ）を提供すること（３１０）は、前記第１の埋め込みの集合（ｐｇ）と、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）との順序を決定することを含む、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項8】
前記順序を決定することは、
前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の前に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置すること、及び／又は、
前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の後に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置すること
を含む、請求項７に記載の方法。
前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の前に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置すること、及び／又は、
前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の後に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置すること
を含む、請求項７に記載の方法。
【請求項9】
前記第２の埋め込みの集合（ｐｄ）を提供すること（３１０）は、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の前に配置された前記第１の埋め込みの集合（ｐｇ）と、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の後に配置された前記第１の埋め込みの集合（ｐｇ）との重み付き和を決定することを含む、
又は
前記順序を決定することは、
前記文埋め込み（Ｓｓ）に依存して第２の重み（ｇ２）を決定することと、
前記第２の重み（ｇ２）が条件を満たしているかどうかを決定することと、
前記第２の重み（ｇ２）が前記条件を満たしている場合に、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の前に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置すること、若しくは、
前記第２の重み（ｇ２）が前記条件を満たしていない場合に、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の後に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置することと、
を含む、請求項７又は８に記載の方法。
又は
前記順序を決定することは、
前記文埋め込み（Ｓｓ）に依存して第２の重み（ｇ２）を決定することと、
前記第２の重み（ｇ２）が条件を満たしているかどうかを決定することと、
前記第２の重み（ｇ２）が前記条件を満たしている場合に、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の前に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置すること、若しくは、
前記第２の重み（ｇ２）が前記条件を満たしていない場合に、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）の後に、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）を配置することと、
を含む、請求項７又は８に記載の方法。
【請求項10】
前記第２の重み（ｇ２）を決定することは、第２の重み付け係数（Ｗｄ）を用いて前記文埋め込み（Ｓｓ）を重み付けすることを含む、
請求項９に記載の方法。
請求項９に記載の方法。
【請求項11】
当該方法は、
前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）、前記第１の重み付け係数（Ｗｇ）、及び／又は、前記第２の重み付け係数（Ｗｄ）を、特に一様分布からランダムに初期化すること（４０２）と、
前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）、前記第１の重み付け係数（Ｗｇ）、及び／又は、前記第２の重み付け係数（Ｗｄ）を訓練するための訓練データを提供すること（４０４）と、
特に前記言語モデルを静的に保持しながら、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）、前記第１の重み付け係数（Ｗｇ）、及び／又は、前記第２の重み付け係数（Ｗｄ）を訓練すること（４０６）と、
を含む、請求項６に記載の方法。
前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）、前記第１の重み付け係数（Ｗｇ）、及び／又は、前記第２の重み付け係数（Ｗｄ）を、特に一様分布からランダムに初期化すること（４０２）と、
前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）、前記第１の重み付け係数（Ｗｇ）、及び／又は、前記第２の重み付け係数（Ｗｄ）を訓練するための訓練データを提供すること（４０４）と、
特に前記言語モデルを静的に保持しながら、前記第１の埋め込みの集合（ｖ１，・・・，ｖｍ）、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）、前記第１の重み付け係数（Ｗｇ）、及び／又は、前記第２の重み付け係数（Ｗｄ）を訓練すること（４０６）と、
を含む、請求項６に記載の方法。
【請求項12】
前記第２の埋め込みの集合（（ｖ１，・・・，ｖｍ，ｋ１，・・・，ｋｎ）；（ｋ１，・・・，ｋｎ，ｖ１，・・・，ｖｍ））を提供すること（３１０）は、前記キーワードを表している埋め込みの集合（ｋ１，・・・，ｋｎ）を、前記第２のドメインの文書における各々の単語頻度、及び／又は、前記第２のドメインの文書の集合における各々の逆単語頻度、及び／又は、前記第１のドメインの文書における各々の単語頻度に依存して決定することを含む、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項13】
言語モデル（１０８）を含む知識ベース（１０６）を動作させるための装置（１００）であって、
前記言語モデル（１０８）は、第１のドメインのために事前訓練されており、かつ、トークナイザ（２０２）及び変換器（２０４）を含む、
装置（１００）において、
当該装置（１００）は、少なくとも１つのプロセッサ（１０２）と、少なくとも１つの非一時的なストレージ（１０４）とを含み、
前記少なくとも１つのプロセッサ（１０２）は、前記少なくとも１つのプロセッサ（１０２）によって実行された場合に、請求項１に記載の方法のステップを前記少なくとも１つのプロセッサ（１０２）に実行させるための命令を処理するように構成されており、
前記少なくとも１つのストレージ（１０４）は、前記命令及び前記知識ベース（１０６）を格納するように構成されている、
ことを特徴とする装置（１００）。
前記言語モデル（１０８）は、第１のドメインのために事前訓練されており、かつ、トークナイザ（２０２）及び変換器（２０４）を含む、
装置（１００）において、
当該装置（１００）は、少なくとも１つのプロセッサ（１０２）と、少なくとも１つの非一時的なストレージ（１０４）とを含み、
前記少なくとも１つのプロセッサ（１０２）は、前記少なくとも１つのプロセッサ（１０２）によって実行された場合に、請求項１に記載の方法のステップを前記少なくとも１つのプロセッサ（１０２）に実行させるための命令を処理するように構成されており、
前記少なくとも１つのストレージ（１０４）は、前記命令及び前記知識ベース（１０６）を格納するように構成されている、
ことを特徴とする装置（１００）。
【請求項14】
第１のドメインのために事前訓練された言語モデル（１０８）を含む知識ベース（１０６）を動作させるためのコンピュータプログラムにおいて、
当該コンピュータプログラムは、コンピュータによって実行された場合に、請求項１に記載の方法を前記コンピュータに実施させるためのコンピュータ可読命令を含む、
ことを特徴とするコンピュータプログラム。
当該コンピュータプログラムは、コンピュータによって実行された場合に、請求項１に記載の方法を前記コンピュータに実施させるためのコンピュータ可読命令を含む、
ことを特徴とするコンピュータプログラム。
【外国語明細書】