▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
特開2024-155887ファクトを機械学習するための、特に知識ベースを充填するための、コンピュータ実装される方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024155887
(43)【公開日】2024-10-31
(54)【発明の名称】ファクトを機械学習するための、特に知識ベースを充填するための、コンピュータ実装される方法及び装置
(51)【国際特許分類】
G06N 20/00 20190101AFI20241024BHJP
G06N 5/025 20230101ALI20241024BHJP
【ＦＩ】
G06N20/00
G06N5/025
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024068343
(22)【出願日】2024-04-19
(31)【優先権主張番号】10 2023 203 660.6
(32)【優先日】2023-04-20
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ルーカス ランゲ
(72)【発明者】
【氏名】ハイケ アーデル－ヴー
(72)【発明者】
【氏名】ヤニク シュトレートゲン
(57)【要約】
【課題】ファクトを機械学習するための、特に知識ベースを充填するための装置及びコンピュータ実装される方法に関する。
【解決手段】本方法においては、文字列が提供され（３０２）、文字列の部分の埋め込みの第１のセットが特定され（３０４）、文字列の部分の埋め込みの第２のセットが特定され（３０６）、相互に対応する埋め込みに対して、セットから、ファクトを予測するための変数のうちのそれぞれ１つの変数が特定され（３０８）、ファクトが、特に知識ベースにおいて、変数に依存して特定される（３１０）。
【選択図】図３
【解決手段】本方法においては、文字列が提供され（３０２）、文字列の部分の埋め込みの第１のセットが特定され（３０４）、文字列の部分の埋め込みの第２のセットが特定され（３０６）、相互に対応する埋め込みに対して、セットから、ファクトを予測するための変数のうちのそれぞれ１つの変数が特定され（３０８）、ファクトが、特に知識ベースにおいて、変数に依存して特定される（３１０）。
【選択図】図３
【特許請求の範囲】
【請求項1】
ファクトを機械学習するための、特に知識ベースを充填するための、コンピュータ実装される方法であって、
文字列が提供され（３０２）、
前記文字列の部分の埋め込みの第１のセットが特定され（３０４）、
前記文字列の部分の埋め込みの第２のセットが特定され（３０６）、
前記ファクトが、特に前記知識ベースにおいて、前記ファクトを予測するための変数に依存して特定され（３１０）、
相互に対応する埋め込みに対して、前記セットから、前記ファクトを予測するための前記変数のうちのそれぞれ１つの変数が特定される（３０８）
ことを特徴とする方法。
文字列が提供され（３０２）、
前記文字列の部分の埋め込みの第１のセットが特定され（３０４）、
前記文字列の部分の埋め込みの第２のセットが特定され（３０６）、
前記ファクトが、特に前記知識ベースにおいて、前記ファクトを予測するための変数に依存して特定され（３１０）、
相互に対応する埋め込みに対して、前記セットから、前記ファクトを予測するための前記変数のうちのそれぞれ１つの変数が特定される（３０８）
ことを特徴とする方法。
【請求項2】
前記変数は、前記第２のセットが対応する埋め込みを含まない前記第１のセットからの埋め込みには依存せずに特定される（３０８）、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項3】
前記第２のセットが対応する埋め込みを含まない前記第１のセットからの埋め込みに対して、埋め込みが前記文字列には依存せずに提供され、前記ファクトを予測するための前記変数のうちの１つの変数が、前記第１のセットからの前記埋め込みと、前記文字列には依存せずに提供された前記埋め込みとに依存して特定される（３０８）、
請求項１又は２に記載の方法。
請求項１又は２に記載の方法。
【請求項4】
前記第２のセットが対応する埋め込みを含まない前記第１のセットからの第１の埋め込みに対して、前記第２のセットが対応する埋め込みを含む前記第１のセットからの第２の埋め込みが特定され、前記ファクトを予測するための前記変数のうちの１つの変数が、前記第１の埋め込み及び前記第２の埋め込み並びに前記第２の埋め込みに対応する前記埋め込みに依存して、前記第２のセットから特定される（３０８）、
請求項１乃至３のいずれか一項に記載の方法。
請求項１乃至３のいずれか一項に記載の方法。
【請求項5】
前記ファクトを予測するための前記変数が、前記第１の埋め込み及び前記第２の埋め込み並びに前記第２の埋め込みに対応する前記埋め込みに依存して、前記第１の埋め込みと前記第２の埋め込みとの平均に依存して特定される（３０８）、
請求項４に記載の方法。
請求項４に記載の方法。
【請求項6】
相互に対応する埋め込みが、前記文字列の前記部分の順序における自身の位置に依存して特定される（３０８）、
請求項１乃至５のいずれか一項に記載の方法。
請求項１乃至５のいずれか一項に記載の方法。
【請求項7】
相互に対応する埋め込みが、共通の文字に依存して、特に、前記文字列の各部分の開始部で特定される（３０８）、
請求項１乃至６のいずれか一項に記載の方法。
請求項１乃至６のいずれか一項に記載の方法。
【請求項8】
前記文字列は、前記第１のセットからの前記埋め込みに一義的に対応付けられる部分の第１のリストに分割され（３０４）、
前記文字列は、前記第２のセットからの前記埋め込みに一義的に対応付けられる部分の第２のリストに分割され（３０６）、
前記リストの相互に対応する部分は、前記リストにおいて当該部分が配置されている順序に依存して定義されており、対応する前記埋め込みは、前記リストの相互に対応する当該部分に依存して特定される（３０８）、
請求項１乃至７のいずれか一項に記載の方法。
前記文字列は、前記第２のセットからの前記埋め込みに一義的に対応付けられる部分の第２のリストに分割され（３０６）、
前記リストの相互に対応する部分は、前記リストにおいて当該部分が配置されている順序に依存して定義されており、対応する前記埋め込みは、前記リストの相互に対応する当該部分に依存して特定される（３０８）、
請求項１乃至７のいずれか一項に記載の方法。
【請求項9】
埋め込みの前記第１のセットは、第１の語彙に依存して特定され（３０４）、
埋め込みの前記第２のセットは、前記第１の語彙とは異なる第２の語彙に依存して特定される（３０６）、
請求項１乃至８のいずれか一項に記載の方法。
埋め込みの前記第２のセットは、前記第１の語彙とは異なる第２の語彙に依存して特定される（３０６）、
請求項１乃至８のいずれか一項に記載の方法。
【請求項10】
前記文字列は、前記文字列の特定の文字によって、及び／又は、単語分離及び／又は音節分離及び／又は字分離のルールによって、前記文字列の前記部分に分解される（３０２）、
請求項１乃至９のいずれか一項に記載の方法。
請求項１乃至９のいずれか一項に記載の方法。
【請求項11】
前記変数を特定するために、前記セットから、相互に対応する埋め込みが連結され、加えられ、又は、掛け合わされる（３０８）、
請求項１乃至１０のいずれか一項に記載の方法。
請求項１乃至１０のいずれか一項に記載の方法。
【請求項12】
ファクトを機械学習するための、特に知識ベースを充填するための装置（１００）であって、
少なくとも１つのプロセッサ（１０２）と、
少なくとも１つのメモリ（１０４）と、
を含み、
前記少なくとも１つのプロセッサ（１０２）は、命令を実行するように構成されており、前記命令が前記少なくとも１つのプロセッサ（１０２）上で実行されるときに、請求項１乃至１１のいずれか一項に記載の方法が実施され、
前記少なくとも１つのメモリ（１０４）は、前記命令を格納するように構成されている
ことを特徴とする装置（１００）。
少なくとも１つのプロセッサ（１０２）と、
少なくとも１つのメモリ（１０４）と、
を含み、
前記少なくとも１つのプロセッサ（１０２）は、命令を実行するように構成されており、前記命令が前記少なくとも１つのプロセッサ（１０２）上で実行されるときに、請求項１乃至１１のいずれか一項に記載の方法が実施され、
前記少なくとも１つのメモリ（１０４）は、前記命令を格納するように構成されている
ことを特徴とする装置（１００）。
【請求項13】
ファクトを機械学習するための、特に知識ベースを充填するためのプログラムであって、
少なくとも１つのプロセッサ（１０２）上で実行されるときに、請求項１乃至１１のいずれか一項に記載の方法が実施されるための命令を含む
ことを特徴とするプログラム。
少なくとも１つのプロセッサ（１０２）上で実行されるときに、請求項１乃至１１のいずれか一項に記載の方法が実施されるための命令を含む
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
背景技術
本発明は、ファクトを機械学習するための、特に知識ベースを充填するための、コンピュータ実装される方法及び装置に関する。
本発明は、ファクトを機械学習するための、特に知識ベースを充填するための、コンピュータ実装される方法及び装置に関する。
【背景技術】
【0002】
ファクトを機械学習するためには、文字列の埋め込みに依存してファクトを特定するモデルが使用される。モデルは、文章の単語分離法を使用して、文字列の部分を特定する。埋め込みは、これら個々の部分について特定される。これによって、情報の損失が生じることとなる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
発明の開示
ファクトを機械学習するための、特に知識ベースを充填するための、コンピュータ実装される方法及び装置は、このような損失を回避する。
ファクトを機械学習するための、特に知識ベースを充填するための、コンピュータ実装される方法及び装置は、このような損失を回避する。
【課題を解決するための手段】
【0004】
この方法においては、文字列が提供され、文字列の部分の埋め込みの第１のセットが特定され、文字列の部分の埋め込みの第２のセットが特定され、ファクトが、特に知識ベースにおいて、ファクトを予測するための変数に依存して特定され、相互に対応する埋め込みに対して、これらのセットから、ファクトを予測するための変数のうちのそれぞれ１つの変数が特定されることが想定される。変数は、メタ埋め込みであり、このメタ埋め込みは、その埋め込みが相互に対応する文字列の部分から特定される。このことは、埋め込み語彙に応じて、単語分離法において生じる文字列の部分に１つの埋め込みが対応付けられること、又は、この部分に複数の埋め込みが対応付けられることを意味する。これによって、単語分離法に相当する又は単語分離法よりも精確な細分性が得られる。これによって、部分ごとに１つより多くの埋め込みが生じた場合に、情報の損失がより少なくなる。
【0005】
好ましくは、これらの変数は、第２のセットが対応する埋め込みを含まない第１のセットからの埋め込みには依存せずに特定される。これは、第２のセットにおける対応する埋め込みを伴わない第１のセットの埋め込みが考慮されないままであることを意味する。
【0006】
好ましくは、第２のセットが対応する埋め込みを含まない第１のセットからの埋め込みに対して、埋め込みが文字列には依存せずに提供され、ファクトを予測するための変数のうちの１つの変数が、第１のセットからの埋め込みと、文字列には依存せずに提供された埋め込みとに依存して特定される。これは、第２のセットにおける対応する埋め込みを伴わない第１のセットの埋め込みが考慮されることを意味する。
【0007】
好ましくは、第２のセットが対応する埋め込みを含まない第１のセットからの第１の埋め込みに対して、第２のセットが対応する埋め込みを含む第１のセットからの第２の埋め込みが特定され、ファクトを予測するための変数のうちの１つの変数が、第１の埋め込み及び第２の埋め込み及び第２の埋め込みに対応する埋め込みに依存して、第２のセットから特定される。これは、第２のセットにおける対応する埋め込みを伴わない第１のセットの埋め込みが、第２のセットにおいて対応する埋め込みが存在している第１のセットからの埋め込みと共に考慮されることを意味する。
【0008】
好ましくは、ファクトを予測するための変数が、第１の埋め込み及び第２の埋め込み及び第２の埋め込みに対応する埋め込みに依存して、第１の埋め込みと第２の埋め込みとの平均に依存して特定される。これによって、２つの埋め込みが共に考慮される。
【0009】
好ましくは、相互に対応する埋め込みが、文字列の部分の順序における自身の位置に依存して特定される。これによって、文字列の分離の順序で対応する部分同士が、相互に対応付けられる。
【0010】
好ましくは、相互に対応する埋め込みが、共通の文字に依存して、特に、文字列の各部分の開始部で特定される。これによって、文字列の分離における文字に基づいて、対応する部分同士が、相互に対応付けられる。
【0011】
好ましくは、文字列は、第１のセットからの埋め込みに一義的に対応付けられる部分の第１のリストに分割され、文字列は、第２のセットからの埋め込みに一義的に対応付けられる部分の第２のリストに分割され、リストの相互に対応する部分は、リストにおいてこれらの部分が配置されている順序に依存して定義されており、対応する埋め込みは、リストの相互に対応する部分に依存して特定される。
【0012】
好ましくは、埋め込みの第１のセットは、第１の語彙に依存して特定され、埋め込みの第２のセットは、第１の語彙とは異なる第２の語彙に依存して特定される。第１の語彙及び第２の語彙は、異なる埋め込みに到る、異なる埋め込み語彙である。
【0013】
好ましくは、文字列は、文字列の特定の文字によって、及び／又は、単語分離及び／又は音節分離及び／又は字分離のルールによって、文字列の部分に分解される。
【0014】
好ましくは、変数を特定するために、セットから、相互に対応する埋め込みが連結され、加えられ、又は、掛け合わされる。
【0015】
ファクトを機械学習するための、特に知識ベースを充填するための装置は、少なくとも１つのプロセッサと、少なくとも１つのメモリと、を含み、少なくとも１つのプロセッサは、命令を実行するように構成されており、この命令が少なくとも１つのプロセッサ上で実行されるときに、この方法が実施され、少なくとも１つのメモリは、命令を格納するように構成されている。
【0016】
ファクトを機械学習するための、特に知識ベースを充填するためのプログラムは、少なくとも１つのプロセッサ上で実行されるときに、この方法が実施されるための命令を含む。
【0017】
さらなる有利な実施形態は、以下の説明及び図面から明らかになる。
【図面の簡単な説明】
【0018】
【発明を実施するための形態】
【0019】
図１には、機械学習するための装置１００の概略図が概略的に示されている。
【0020】
装置１００は、少なくとも１つのプロセッサ１０２と、少なくとも１つのメモリ１０４とを含む。
【0021】
少なくとも１つのプロセッサ１０２は、命令を実行するように構成されており、この命令が実行されるときに、少なくとも１つのプロセッサ１０２上で、機械学習するための方法が実施される。
【0022】
少なくとも１つのメモリ１０４は、命令を格納するように構成されている。
【0023】
ファクトを機械学習するためのプログラムは、命令を含む。少なくとも１つのプロセッサ１０２は、プログラムを実行するように構成されている。
【0024】
少なくとも１つのメモリ１０４は、この例においては、知識ベース、たとえばナレッジグラフを格納するように構成されている。
【0025】
知識ベースはファクトを含む。ファクトは、たとえば主語、目的語及び述語によって表され、述語は、主語と目的語との間の関係を特徴付ける。
【0026】
ファクトは、様々なデータタイプ、たとえばテキストデータ、画像データ又はオーディオデータに関する知識を表すことができる。ファクトは、セマンティックセグメンテーションに対し使用し得る。
【0027】
知識ベースは、たとえば、１００個より多くの、１０００個より多くの、１００００個より多くの、又は、１０００００個より多くのファクトを含む。
【0028】
図２には、ファクトを予測するためのモデル２００の一部分のアーキテクチャが概略的に示されている。
【0029】
モデル２００は、文字列用の入力側２０２とファクト用の出力側２０４とを含む。モデル２００は、文字列に依存してファクトを特定するように構成されている。
【0030】
たとえば、文字列は、主語及び目的語を表す文字を含み、ファクトは、主語、目的語及び述語を含み、述語は、主語及び目的語に対するモデル２００によって予測される。
【0031】
モデル２００は、入力側２０２と出力側２０４との間に第１の層２０６を含み、第１の層２０６は、文字列と、第１の語彙とに依存して、文字列の部分の埋め込みを特定するように構成されている。モデル２００は、入力側２０２と出力側２０４との間に第２の層２０８を含み、第２の層２０８は、文字列と、第２の語彙とに依存して、文字列の部分の埋め込みを特定するように構成されている。第１の語彙及び第２の語彙は、この例においては、互いに異なる埋め込み語彙である。
【0032】
第１の層２０６は、入力変数として文字列を使用する。第１の層２０６は、文字列を、文字列の部分の埋め込みにマッピングする。
【0033】
第２の層２０８は、入力変数として文字列を使用する。第２の層２０８は、文字列を、文字列の部分の埋め込みにマッピングする。
【0034】
たとえば、第１の層２０６は、文字列Ａｃｅｔａｍｉｎｏｐｈｅｎを、部分「Ａｃｅ」、「ｔａｍｉ」及び「ｎｏｐｈｅｎ」の埋め込みにマッピングする。たとえば、第２の層２０８は、文字列Ａｃｅｔａｍｉｎｏｐｈｅｎを、部分「Ａｃｅｔａｍｉ」及び「ｎｏｐｈｅｎ」にマッピングする。
【0035】
第１の層２０６は、この例においては第１の埋め込み層Ｅ１である。第２の層２０８は、この例においては第２の埋め込み層Ｅ２である。ｎ個の語彙に対して、ｎ個の層、すなわち、ｎ個の埋め込み層Ｅ１，Ｅ２，…，Ｅｎが設けられるものとしてよい。埋め込み層Ｅ１，Ｅ２，…，Ｅｎが生じさせる分離は、それぞれ異なるものとしてよい。
【0036】
部分の埋め込みに基づいて、文字列が自身の複数の部分に分離される。この分離は、文字列自体を自身の複数の部分に分離することを必要としない。
【0037】
モデル２００は、第１の層２０６と第２の層２０８との間に第３の層２１０を含み、第３の層２１０は、第１の層２０６及び第２の層２０８からの相互に対応する埋め込みを、ファクトを予測するための変数にまとめるように構成されている。
【0038】
種々異なる語彙の埋め込みを特定するために、２つより多くの層、たとえばｎ個の層を設けることが想定され得る。これらの層からの相互に対応する埋め込みを、予測するための変数にまとめることが想定され得る。
【0039】
モデル２００は、第１の層２０６と出力側２０４との間に、及び、第２の層２０８と出力側２０４との間に、変数に依存してファクトを予測するための関数２１２を含む。
【0040】
関数２１２は、たとえば、変数を、符号化された変数にマッピングするように構成されているエンコーダ２１４と、符号化された変数を出力側２０４におけるファクトにマッピングするように構成されているデコーダ２１６とを含む。
【0041】
関数２１２は、たとえば、変換器モデル、リカレント再帰型ネットワーク（ＲＲＮ）、長・短期記憶（ＬＳＴＭ）、又は、別のニューラルネットワークとして実装されている。第３の層２１０は、この例においては、関数２１２の第１の層である。
【0042】
これは、たとえば、変換器モデルの場合、この変換器モデルの第１の層においてメタ埋め込みが作成されることを意味する。これによって、変換器モデルは、２つ以上の異なる語彙を取り扱うことができる。これによって、付加的なドメイン固有の埋め込み又は言語固有の埋め込みが統合される。
【0043】
図３には、機械学習するための方法におけるステップが示されている。
【0044】
この方法は、ファクトを機械学習するために実施される。この例においては、これらのファクトによって、知識ベースが充填される。
【0045】
ステップ３０２において、文字列が提供される。
【0046】
たとえば、Ａｃｅｔａｍｉｎｏｐｈｅｎという単語が提供される。
【0047】
ステップ３０４において、文字列の部分の埋め込みの第１のセットが特定される。
【0048】
埋め込みの第１のセットは、たとえば、第１の語彙に依存して特定される。
【0049】
この例においては、文字列は部分の第１のリストに分割される。第１のリストの部分は、第１のセットからの埋め込みに一義的に対応付けられる。
【0050】
たとえば、第１の語彙によって、Ａｃｅに対する埋め込みと、ｔａｍｉに対する埋め込みと、ｎｏｐｈｅｎに対する埋め込みとが特定される。
【0051】
ステップ３０６において、文字列の部分の埋め込みの第２のセットが特定される。
【0052】
埋め込みの第２のセットは、たとえば、第１の語彙とは異なる第２の語彙に依存して特定される。
【0053】
たとえば、第２の語彙によって、Ａｃｅｔａｍｉに対する埋め込みと、ｎｏｐｈｅｎに対する埋め込みとが特定される。
【0054】
この例においては、文字列は部分の第２のリストに分割される。第２のリストの部分は、第２のセットからの埋め込みに一義的に対応付けられる。
【0055】
埋め込みの２つより多くのセットを特定することが想定され得る。これらのセットは、たとえば、相互に異なる語彙に依存して特定される。文字列をセットごとに、部分のリストに分割することが想定され得る。各リストの部分は、各リストに対応付けられるセットの埋め込みに一義的に対応付けられる。
【0056】
ステップ３０８において、これらのセットからの相互に対応する埋め込みに対して、ファクトを予測するためのそれぞれ１つの変数が特定される。
【0057】
これらのセットからの相互に対応する埋め込みは、たとえば、変数を特定するために連結され、加えられ、又は、掛け合わされる。
【0058】
相互に対応する埋め込みは、たとえば、文字列の部分の順序における自身の位置に依存して特定される。
【0059】
たとえば、順序に基づいて、Ａｃｅ及びＡｃｅｔａｍｉが、順序における最初として、したがって対応するものとして特定される。
【0060】
相互に対応する埋め込みは、たとえば、共通の文字に依存して、特に文字列の各部分の開始部で特定される。
【0061】
たとえば、一致する文字列における単語の始まりに基づいて、「Ａｃｅ」が、部分Ａｃｅ及びＡｃｅｔａｍｉにおいて、対応するものとして特定される。
【0062】
第２のセットが対応する埋め込みを含まない第１のセットからの埋め込みには依存せずに変数が特定されることが想定され得る。
【0063】
たとえば、第１のセットから、ｔａｍｉに対する埋め込みは使用されない。
【0064】
第１のセットが対応する埋め込みを含まない第２のセットからの埋め込みには依存せずに変数が特定されることが想定され得る。
【0065】
少なくとも１つの別のセットが対応する埋め込みを含まないセットからの埋め込みに対して、埋め込みが文字列には依存せずに提供されることが想定され得る。
【0066】
たとえば、第１のセットから、ｔａｍｉに対する埋め込みが使用され、かつ、このために対応する埋め込みが設けられる。
【0067】
少なくとも１つの別のセットが対応する埋め込みを含まないセットからの埋め込みに対して、対応する埋め込みを含まないセットごとに、埋め込みが文字列には依存せずに提供されることが想定され得る。
【0068】
少なくとも１つの別のセットが対応する埋め込みを含まないセットからの埋め込みに依存して、及び、文字列には依存せずに提供された少なくとも１つの埋め込みに依存して、ファクトを予測するための変数のうちの１つの変数が特定されることが想定され得る。
【0069】
第２のセットが対応する埋め込みを含まない第１のセットからの第１の埋め込みに対して、第２のセットが対応する埋め込みを含む第１のセットからの第２の埋め込みが特定されることが想定され得る。
【0070】
ファクトを予測するための変数のうちの１つの変数が、第１の埋め込み及び第２の埋め込み及び第２の埋め込みに対応する埋め込みに依存して、第２のセットから特定されることが想定され得る。
【0071】
ファクトを予測するための変数は、たとえば、第１の埋め込みと第２の埋め込みとの平均に依存して、第２の埋め込みに対応する埋め込みに依存して特定される。
【0072】
リストの相互に対応する部分が、リストにおいてこれらの部分が配置されている順序に依存して定義されていることが想定され得る。
【0073】
対応する埋め込みが、たとえば、リストの相互に対応する部分に依存して特定される。
【0074】
ステップ３１０において、ファクトが、ファクトを予測するための変数に依存して特定される。
【0075】
ファクトは、この例においては、知識ベースに格納される。知識ベースは、たとえばナレッジグラフである。
【0076】
ファクトは、たとえば、文字列から抽出される情報に関する。
【0077】
たとえば、ファクトは、主語、目的語及び述語を含み、述語は、主語と目的語との間の関係を定義する。主語は、この例においては、医薬品、たとえばＡｃｅｔａｍｉｎｏｐｈｅｎを表す知識ベースのエンティティである。目的語は、この例においては、グループ、たとえばＮｉｃｈｔｏｐｉｏｉｄ－Ａｎａｌｇｅｔｉｋａ（非オピオイド鎮痛薬）を表す知識ベースのエンティティである。文字列は、たとえば主語、この例においてはＡｃｅｔａｍｉｎｏｐｈｅｎを含む。この方法は、たとえば、医薬品のグループへの主語の帰属を特定するために使用される。関係は、たとえば、主語の、ファクトの目的語において指定されたグループへの帰属である。文字列から抽出される情報は、たとえば目的語、この例においては、Ｎｉｃｈｔｏｐｉｏｉｄ－Ａｎａｌｇｅｔｉｋａである。
【0078】
ファクトは、文字列の別の分類、すなわち、別の対応付けにも関連し得る。
【0079】
ファクトは、知識ベースを充填すること、又は、たとえば、神経言語プログラミング（ＮＬＰ）の以下の適用分野、すなわち、
文字列の機械翻訳、
文字列からの情報抽出、
特にＤｉａｌｏｇ Ｓｙｓｔｅｍにおける文字列に対する応答、
文字列の分類又は回帰に基づくビデオ分析又はオーディオ分析、
文字列の分類又は回帰に基づく時系列分析、
文字列の分類又は回帰に基づく異常識別
のうちの１つに関連し得る。
文字列の機械翻訳、
文字列からの情報抽出、
特にＤｉａｌｏｇ Ｓｙｓｔｅｍにおける文字列に対する応答、
文字列の分類又は回帰に基づくビデオ分析又はオーディオ分析、
文字列の分類又は回帰に基づく時系列分析、
文字列の分類又は回帰に基づく異常識別
のうちの１つに関連し得る。
【0080】
変数はメタ埋め込みであり、メタ埋め込みは、この例においては、変換器モデルの第１の層の代わりとなる。変数の特定は、変換器モデルによってアドレッシングされ得る他のタスクに適用され得る。これは、列挙したＮＬＰタスク、他のＮＬＰタスク及び非ＮＬＰタスクに関する。
【0081】
変換器モデルは、たとえば１つの埋め込み層から成り、この埋め込み層の後には複数のエンコーダ層及び／又はデコーダ層が続く。メタ埋め込みは、変換器モデルのこの第１の埋め込み層の埋め込みをメタ埋め込みによって置き換える。
【0082】
代替的に、メタ埋め込みは、他のモデルアーキテクチャ及び埋め込み法でも利用可能であり、これによって、これらを、概して、単語よりも精確な細分性で結びつけることができる。
【図1】
【図2】
【図3】
【手続補正書】
【提出日】2024-07-12
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ファクトを機械学習するための、特に知識ベースを充填するための、コンピュータ実装される方法であって、
文字列が提供され（３０２）、
前記文字列の部分の埋め込みの第１のセットが特定され（３０４）、
前記文字列の部分の埋め込みの第２のセットが特定され（３０６）、
前記ファクトが、特に前記知識ベースにおいて、前記ファクトを予測するための変数に依存して特定され（３１０）、
相互に対応する埋め込みに対して、前記第１及び第２のセットから、前記ファクトを予測するための前記変数のうちのそれぞれ１つの変数が特定される（３０８）
ことを特徴とする方法。
文字列が提供され（３０２）、
前記文字列の部分の埋め込みの第１のセットが特定され（３０４）、
前記文字列の部分の埋め込みの第２のセットが特定され（３０６）、
前記ファクトが、特に前記知識ベースにおいて、前記ファクトを予測するための変数に依存して特定され（３１０）、
相互に対応する埋め込みに対して、前記第１及び第２のセットから、前記ファクトを予測するための前記変数のうちのそれぞれ１つの変数が特定される（３０８）
ことを特徴とする方法。
【請求項2】
前記変数は、前記第２のセットが対応する埋め込みを含まない前記第１のセットからの埋め込みには依存せずに特定される（３０８）、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項3】
前記第２のセットが対応する埋め込みを含まない前記第１のセットからの埋め込みに対して、埋め込みが前記文字列には依存せずに提供され、前記ファクトを予測するための前記変数のうちの１つの変数が、前記第１のセットからの前記埋め込みと、前記文字列には依存せずに提供された前記埋め込みとに依存して特定される（３０８）、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項4】
前記第２のセットが対応する埋め込みを含まない前記第１のセットからの第１の埋め込みに対して、前記第２のセットが対応する埋め込みを含む前記第１のセットからの第２の埋め込みが特定され、前記ファクトを予測するための前記変数のうちの１つの変数が、前記第１の埋め込み及び前記第２の埋め込み並びに前記第２の埋め込みに対応する前記埋め込みに依存して、前記第２のセットから特定される（３０８）、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項5】
前記ファクトを予測するための前記変数が、前記第１の埋め込み及び前記第２の埋め込み並びに前記第２の埋め込みに対応する前記埋め込みに依存して、前記第１の埋め込みと前記第２の埋め込みとの平均に依存して特定される（３０８）、
請求項４に記載の方法。
請求項４に記載の方法。
【請求項6】
相互に対応する埋め込みが、前記文字列の前記部分の順序における自身の位置に依存して特定される（３０８）、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項7】
相互に対応する埋め込みが、共通の文字に依存して、特に、前記文字列の各部分の開始部で特定される（３０８）、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項8】
前記文字列は、前記第１のセットからの前記埋め込みに一義的に対応付けられる部分の第１のリストに分割され（３０４）、
前記文字列は、前記第２のセットからの前記埋め込みに一義的に対応付けられる部分の第２のリストに分割され（３０６）、
前記第１及び第２のリストの相互に対応する部分は、前記第１及び第２のリストにおいて当該部分が配置されている順序に依存して定義されており、対応する前記埋め込みは、前記第１及び第２のリストの相互に対応する当該部分に依存して特定される（３０８）、
請求項１に記載の方法。
前記文字列は、前記第２のセットからの前記埋め込みに一義的に対応付けられる部分の第２のリストに分割され（３０６）、
前記第１及び第２のリストの相互に対応する部分は、前記第１及び第２のリストにおいて当該部分が配置されている順序に依存して定義されており、対応する前記埋め込みは、前記第１及び第２のリストの相互に対応する当該部分に依存して特定される（３０８）、
請求項１に記載の方法。
【請求項9】
埋め込みの前記第１のセットは、第１の語彙に依存して特定され（３０４）、
埋め込みの前記第２のセットは、前記第１の語彙とは異なる第２の語彙に依存して特定される（３０６）、
請求項１に記載の方法。
埋め込みの前記第２のセットは、前記第１の語彙とは異なる第２の語彙に依存して特定される（３０６）、
請求項１に記載の方法。
【請求項10】
前記文字列は、前記文字列の特定の文字によって、及び／又は、単語分離及び／又は音節分離及び／又は字分離のルールによって、前記文字列の前記部分に分解される（３０２）、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項11】
前記変数を特定するために、前記セットから、相互に対応する埋め込みが連結され、加えられ、又は、掛け合わされる（３０８）、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項12】
ファクトを機械学習するための、特に知識ベースを充填するための装置（１００）であって、
少なくとも１つのプロセッサ（１０２）と、
少なくとも１つのメモリ（１０４）と、
を含み、
前記少なくとも１つのプロセッサ（１０２）は、命令を実行するように構成されており、前記命令が前記少なくとも１つのプロセッサ（１０２）上で実行されるときに、請求項１に記載の方法が実施され、
前記少なくとも１つのメモリ（１０４）は、前記命令を格納するように構成されている
ことを特徴とする装置（１００）。
少なくとも１つのプロセッサ（１０２）と、
少なくとも１つのメモリ（１０４）と、
を含み、
前記少なくとも１つのプロセッサ（１０２）は、命令を実行するように構成されており、前記命令が前記少なくとも１つのプロセッサ（１０２）上で実行されるときに、請求項１に記載の方法が実施され、
前記少なくとも１つのメモリ（１０４）は、前記命令を格納するように構成されている
ことを特徴とする装置（１００）。
【請求項13】
ファクトを機械学習するための、特に知識ベースを充填するためのプログラムであって、
少なくとも１つのプロセッサ（１０２）上で実行されるときに、請求項１に記載の方法が実施されるための命令を含む
ことを特徴とするプログラム。
少なくとも１つのプロセッサ（１０２）上で実行されるときに、請求項１に記載の方法が実施されるための命令を含む
ことを特徴とするプログラム。
【外国語明細書】