2023-145398 ドメイン固有の小規模コーパスのための解釈可能な埋め込みを生成するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023145398

(43)【公開日】2023-10-11

(54)【発明の名称】ドメイン固有の小規模コーパスのための解釈可能な埋め込みを生成するシステム及び方法

(51)【国際特許分類】

   G06F 40/30 20200101AFI20231003BHJP

   G06F 16/383 20190101ALI20231003BHJP

【ＦＩ】

G06F40/30

G06F16/383

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023049479

(22)【出願日】2023-03-27

(31)【優先権主張番号】202241017737

(32)【優先日】2022-03-28

(33)【優先権主張国・地域又は機関】IN

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(71)【出願人】

【識別番号】515022571

【氏名又は名称】ロバート ボッシュ エンジニアリング アンド ビジネス ソリューションズ プライヴェット リミテッド

【氏名又は名称原語表記】Ｒｏｂｅｒｔ Ｂｏｓｃｈ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｂｕｓｉｎｅｓｓ Ｓｏｌｕｔｉｏｎｓ Ｐｒｉｖａｔｅ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】１２３， Ｉｎｄｕｓｔｒｉａｌ Ｌａｙｏｕｔ， Ｈｏｓｕｒ Ｒｏａｄ， Ｋｏｒａｍａｎｇａｌａ， Ｂａｎｇａｌｏｒｅ － ５６０ ０９５， Ｉｎｄｉａ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】グプタ リシャブ

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA01

5B175FB02

(57)【要約】

【課題】テキストベース文書のドメイン固有の小規模コーパスのための解釈可能な埋め込みを生成するための方法（２００）及びシステム（１００）を説明する。
【解決手段】処理モジュール（１０２）は、複数のテキストベース文書を取得して、複数のテキストベース文書の各々の基本的なクレンジングを実行し得る。さらに、意味論的注入モジュール（１０４）は、意味論的注入技術を使用して、意味論的に注入されたコーパスを生成し得る。埋め込み生成モジュール（１０６）は、ｗｏｒｄ２ｖｅｃ技術を使用して、注入されたコーパスの最適な次元ｄを計算し、注入された最適な次元埋め込みＥ_ＯＰＴ ^Ｉｎｆを生成するように構成されている。さらに、埋め込み生成モジュール１０６は、ベースライン最適次元埋め込みＥ_ＯＰＴを生成するように構成されており、当該Ｅ_ＯＰＴは、解釈可能性及び下流の分類タスクパフォーマンスに関してＥ_{ＳＥＭＩＥ}を評価するために使用され得る。
【選択図】図１

【特許請求の範囲】

【請求項1】

テキストベース文書のドメイン固有の小規模コーパスのための解釈可能な埋め込みを生成するためのコンピュータ実装された方法（２００）であって、
処理モジュール（１０２）により、複数のテキストベース文書（１０１）を取得して処理するステップ（２０２）と、
意味論的注入モジュール（１０４）により、意味論的注入技術を使用することによって複数のテキストベース文書（１０１）から意味論的に注入されたコーパスを生成するステップ（２０４）と、
前記意味論的に注入されたコーパスから最適な次元係数（ｄ）を計算し、単語ベクトル技術を使用して、注入された最適な次元埋め込みを生成するステップ（２０６）と、
前記注入された最適な次元の埋め込みを使用して、意味論的に注入された埋め込みを生成するステップ（２０８）と、
を含む方法。

【請求項2】

前記単語ベクトルは、Ｗｏｒｄ２Ｖｅｃ技術を使用して生成される、請求項１に記載の方法（２００）。

【請求項3】

前記最適な次元係数（ｄ）を計算（２０６）した後、前記コーパスの全体の語彙サイズがＶから（Ｖ＋Ｍ）へ増大し、ここで、Ｖは、初期コーパスの語彙サイズであり、Ｍは、注入された追加のアンカー項である、請求項１に記載の方法（２００）。

【請求項4】

前記意味論的注入モジュール（１０４）により、それぞれの文における単語（Ｌ）の数を決定し、前記複数のテキストベース文書（１０１）の各々における単語（Ｌ）の数に基づいて注入頻度値（Ｉ_ｆｒｅｑ）を計算するステップをさらに含む、請求項１に記載の方法（２００）。

【請求項5】

テキストベース文書のドメイン固有の小規模コーパスのための解釈可能な埋め込みを生成するためのシステム（１００）であって、
複数のテキストベース文書（１０１）を取得して処理するように構成された処理モジュール（１０２）と、
意味論的注入技術を使用することによって、複数のテキストベース文書（１０１）から意味論的に注入されたコーパスを生成するように構成された意味論的注入モジュール（１０４）と、
前記意味論的に注入されたコーパスから最適な次元係数（ｄ）を計算し、単語ベクトル技術を使用して、注入された最適な次元埋め込みを生成するように構成された埋め込み生成モジュール（１０６）と、
を備えたシステム（１００）において、
前記埋め込みモジュール（１０６）は、生成された前記注入された最適な次元埋め込みを使用して、意味論的に注入された埋め込みを生成するようにさらに構成されている、
ことを特徴とするシステム（１００）。

【請求項6】

前記単語ベクトルは、Ｗｏｒｄ２Ｖｅｃ技術を使用して生成される、請求項５に記載のシステム（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

本主題は、概して、ドメイン固有の小規模コーパスのための高度に解釈可能で効率的な埋め込みを生成するためのシステム及び方法に関する。

【背景技術】

【0002】

発明の背景
自然言語処理において、単語埋め込みとは、テキスト分析のための単語の表現に使用される用語であり、ベクトル空間において近い単語は意味が似ていると予想されるように、通常、単語の意味を符号化した実数値ベクトルの形態で表現される。単語埋め込みは、現代のＮＬＰパイプラインの基本的な構成要素である。パブリックドメインにおいて利用可能な大規模な汎用データセットの、豊富で効率的で解釈可能な埋め込みを学習するために、多くの努力がなされている。しかし、自動車、製造、保守、サポートなど、特定のドメインからの小規模なコーパスに対しては、これらの埋め込みは、限定された適用性しか持たない。

【0003】

単語の分散表現は、単語埋め込みとも称され、名前付きエンティティ認識の構文解析、画像キャプション、及び、感情分析などの種々の用途において優れた性能を発揮するために広範に使用されている。また、単語の類似性の判断、及び、特定の概念によって引き出される脳活動などの認知動作をモデル化する際に効果的であることも判明している。しかし、これらの表現は、密で連続的な空間における実数のベクトルへの単語のマッピングを含むため、本質的に解釈が困難である。

【0004】

最近の研究においては、単語埋め込みのスパース性及び非負性が、これらの表現を解釈可能にする２つの重要な特性であることが示唆されている。スパース性により、各単語ベクトルには少数のアクティブ（非ゼロ）次元が含まれ、これは、ノイズが存在する場合にその分離性及び安定性を高めるために役立つ。さらに、この研究においては、単語埋め込みの次元の一貫性に関して解釈可能性の概念が定義されている。換言すれば、単語埋め込みは、その次元が特定の意味概念を示す場合に解釈可能であるとみなされる。しかしながら、これらの研究においては、主に、ＧｌｏＶｅ（Pennington et al., 2014）及びｗｏｒｄ２ｖｅｃ（Mikolov et al., 2013）のような事前トレーニング済みの単語埋め込みが主に対象となっている。これらの事前トレーニング済みの埋め込みは、数十億の単語を含むウィキペディア及びグーグルニュースなどの一般的なパブリックドメインのデータセットからの数百万の文書を用いて生成される。また、数千の次元のスパース非負（以下“ＳＮＮ”とする）単語埋め込みを解釈し、対応する意味を理解するためには、ラベルのない次元を手作業で読み取る人間の判断が依然として必要である。

【0005】

近年、ＣＲＭ、ＫＰＯ、ナレッジマネジメント、Ｗｅｂモニタリングサービスなどのビジネスにおいて、構造化テキストストリームが大量に流入していることが確認されている。これは、当該データを使って「新興トピック」や「トレンド」を発見し、そのダイナミクスを分析することにより、意思決定プロセスに役立てる機会を提供するものである。従来の新興トレンド分析技術は、タスクを実行するための最初の選択肢であり、これらの技術は、さらに、教師あり又は教師なしの方法のいずれかに分類することができる。既存のソリューションにおいては、教師ありシステムが文献において提案されており、当該教師ありシステムにおいては、トレンドを予測するために単語の局所的かつトピック的な特徴が使用されている。特徴を定義する必要性を克服するために、教師なしシステムにおいては、異なるタイムスライス間でグローバルコンテキストを比較することによって用語の意味の変化を捕捉するために、ボラティリティ尺度が使用されている。既存のソリューションにおいては、潜在的ディリクレ配分（ＬＤＡ：Latent Dirichlet Allocation）、生成確率モデルを広範に使用して、エンティティの周囲の単語をクラスタリングすることによって、又は、その経時的な進化を検出することによって、トレンドを検出している。加えて、これらのソリューションは、異なる時間スライス間で単語埋め込みを作成することによってトレンドを検出するために、共起頻度（共出現頻度）に基づくスコアとして、正の自己相互情報量（ＰＰＭＩ：Positive Pointwise Mutual Information）及び自己相互情報量（ＰＭＩ：Pointwise Mutual Information）などの関連の尺度を使用している。さらに、こうしたソリューションは、タイムスライス間で同一の単語についての埋め込みをマッピングすること、又は、タイムスライス間で埋め込みを共同で展開することのいずれかによって、このドメインにおけるアライメント問題を解決しようとするものである。実際には、従来のトレンド分析技術は、特に用語頻度に基づく方式に大きく偏っており、これは、データセットがタイムスライス間で一様に分布していないドメイン固有のコーパスの場合には、十分に機能しない。

【0006】

関連する特許出願第２０２２４１００５１６３号は、意味論的注入を使用してカテゴリデータセットにおけるトレンドを分析するための方法及びシステムを開示している。

【0007】

詳細な説明は、添付の図面を参照して提供される。

【図面の簡単な説明】

【0008】

【図1】本主題の例示的な実施形態による、テキストベース文書のドメイン固有の小規模コーパスのための解釈可能な埋め込みを生成するためのシステム環境を示す図である。

【図2】本主題の例示的な実施形態による、テキストベース文書のドメイン固有の小規模コーパスのための解釈可能な埋め込みを生成するための方法を示すフローチャートである。

【発明を実施するための形態】

【0009】

実施形態の詳細な説明
本主題は、テキストベース文書のドメイン固有の小規模コーパスのための解釈可能な埋め込みを生成するための例示的な方法及びシステムを説明する。本明細書において説明する例示的な方法及びシステムでは、意味論的に注入された埋め込み（ＳＥＭＩＥ：SEMantically Infused Embedding）と称する単語埋め込みを生成する。これらの埋め込みは、ＳＮＮ埋め込み空間内でＳＥＭＩＥを表現しながら、解釈可能性（意味論的な類似性及び非類似性の両方に関して）能力を高めるのに役立つものである。

【0010】

本主題を、添付の図面を参照してさらに説明する。同一又は類似の部分を参照するために、可能な限り、図面及び以下の説明において同一の参照番号が使用される。説明及び図面は、本主題の基本原理を例示するものに過ぎないことに留意されたい。したがって、本明細書において明示的には説明又は図示していないが本主題の基本原理を包含する種々の構成が案出可能であることが理解される。さらに、本主題の基本原理、態様及び実施例並びに特定例を列挙する本明細書の全ての記述は、その等価物を包含することを意図するものである。

【0011】

方法及びシステムが実施される態様を、図１乃至図２に関して詳細に説明する。説明する方法及びシステムの態様は、任意の数の異なるデバイス、環境、及び／又は、実施形態において実施可能であるが、この例においては、以下のシステムの文脈で説明する。本明細書に示される本主題の図面は、例示の目的のためのものであり、一定の縮尺で描かれていないことに留意されたい。

【0012】

図１は、本主題の例示的な実施形態による、テキストベース文書のドメイン固有の小規模コーパスの解釈可能な埋め込みを生成するためのシステム１００の環境を示している。システム１００は、種々の目的のために多様なコンテンツタイプを表す信号及び／又は状態を処理するための、広範囲の電子デバイスタイプにおいて観測されるコンピューティングシステムであり得る。システム１００の例として、以下に限定されるものではないが、ラップトップ、ノートブックコンピュータ、デスクトップコンピュータ、サーバ、携帯電話機、及び、携帯情報端末が挙げられる。

【0013】

システム１００は、処理モジュール１０２を含み得る。処理モジュール１０２は、マイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央演算装置、状態機械、論理回路、及び／又は、コンピュータ可読命令に基づいて信号及びデータを操作する任意の他のデバイスを含み得る。さらに、「プロセッサ」とラベル付けされる任意の機能ブロックを含む、図面に示されている種々の要素の機能は、専用ハードウェア、及び、コンピュータ可読命令を実行することができるハードウェアの使用によって提供され得る。

【0014】

さらに、システム１００は、処理モジュール１０２に結合された意味論的注入モジュール１０４と、埋め込み生成モジュール１０６とを含み得る。モジュール１０４及び１０６は、ハードウェアと、プログラミング、例えばモジュール１０４及び１０６の種々の機能を実装するためのプログラマブル命令との組合せとして実施可能である。本明細書において説明する例では、ハードウェアとプログラミングとのこうした組合せは、複数の異なる方式で実装可能である。例えば、埋め込み生成モジュール１０６用のプログラミングは、実行可能命令であるものとしてよい。こうした命令は、非一時的機械可読記憶媒体上に記憶されるものとしてもよく、当該記憶媒体は、システム１００と直接的に又は間接的に（例えばネットワーク化された手段を通して）のいずれかにより結合され得る。本例においては、非一時的機械可読記憶媒体は、プロセッサによって実行される際にモジュール１０４及び１０６を実装するための命令を記憶することができる。他の例においては、モジュール１０４及び１０６は、電子回路として実装可能である。

【0015】

モジュール１０４及び１０６は、特に、特定のタスクを実行し又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント及びデータ構造を含む。モジュール１０４及び１０６はまた、信号プロセッサ、状態機械、論理回路、及び／又は、動作命令に基づいて信号を操作する任意の他のデバイス若しくはコンポーネントとしても実装可能である。さらに、モジュール１０４及び１０６は、ハードウェアによって、処理ユニットにより実行されるコンピュータ可読命令によって、又は、これらの組合せによって実装され得る。

【0016】

さらに、システム１００は、記憶デバイス１１０を含む。記憶デバイス１１０として、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）及びダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの揮発性メモリ、及び／又は、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ、フラッシュメモリ、ハードディスク、光ディスク、及び、磁気テープなどの不揮発性メモリを含む、任意の非一時的コンピュータ可読媒体が挙げられる。記憶デバイス１１０は、活動データ１０３を記憶することができる。一例においては、活動データ１０３は、複数のテキストベース文書

【数1】

を含み、各文書ｄ_ｋは、Ｍクラスの集合

【数2】

内のクラスｃｉ及びＬクラスの集合

【数3】

内の時間クラスｔ_ｊに対するカテゴリと、注入頻度値（Ｉ_ｆｒｅｑ）とを有する。

【0017】

一例においては、システム１００は、インタフェース１１２を含む。インタフェース１１２は、種々のインタフェース、例えば、ユーザのためのインタフェース１１２を含み得る。インタフェース１１２は、データ出力デバイスを含み得る。インタフェース１１２は、種々の通信及び電子デバイスとのシステム１００の通信を容易にすることができる。一例においては、インタフェース１１２は、ラップトップなどのシステム１００と１つ以上の他のコンピューティングデバイス（図示せず）との間のワイヤレス通信を可能にすることができる。

【0018】

以下の説明においては、テキストベース文書のドメイン固有の小規模コーパスのための解釈可能な埋め込みの生成が、システム１００によってどのように実施されるかを説明する。処理モジュール１０２は、複数のテキストベース文書Ｄ（１０１）を取得し、ｄ_ｋは、Ｎ個のテキストベース文書のうちのｋ番目のテキストベース文書を示し、Ｎは、任意の正の数である。一例においては、Ｎ＝１０００である。各テキストベース文書ｄ_ｋは、車両部品の名称、プログラムソースコード、バッチファイルなどのテキストを有し、処理モジュール１０２によって読み取り可能な文書である。一例においては、複数のテキストベース文書Ｄ（１０１）は、複数の音声メモをテキスト文書へ変換することによって取得され得る。こうした変換は、自動音声認識技術によって実行可能である。

【0019】

処理モジュール１０２は、複数のテキストベース文書１０１を取得して処理するように構成されている。複数のテキストベース文書１０１の処理は、複数のテキストベース文書Ｄの基本的なクレンジングのための処理モジュール１０２による、複数のテキストベース文書Ｄ（１０１）の各文書ｄ_ｋの文の集合のうちの各文からの記号、特殊文字及び事前定義されたストップワードのうちの少なくとも１つを除去することを含み得る。

【0020】

意味論的注入モジュール１０４は、意味論的注入技術を使用することによって、複数のテキストベース文書１０１から意味論的に注入されたコーパスを生成するように構成されている。概して、意味論的注入とは、テキストベース文書のテキストコーパス内のメタデータを関連付けるための効率的な技術である。これを使用して、コーパスの各文書内に、さらにアンカーと称される特別なマーカを注入することができる。一例においては、コーパス内のカテゴリクラスｃ_ｊに属する長さｌ_ｄｉの所与の文書ｄ_ｉについて、アンカー項Ａ_ｃｊが、文書内のＩ_ｆｒｅｑのランダムかつ非連続的な位置に注入される。例えば、文書クラスｃ_ｊ＝Ｉｎｄｉａの文「農家が全ての作物に集中するための新しい調達スキーム」は、「農家が全てのＡ＿Ｉｎｄｉａ作物に集中するための新しいＡ＿Ｉｎｄｉａ調達スキームＡ＿Ｉｎｄｉａ」のように処理される。

【0021】

一実施形態においては、意味論的注入モジュール１０４は、意味論的注入技術を実行する。この技術を使用する目的は、ベクトル空間をラベル付けされた領域に区分することができるように、クリーンな文に追加のメタデータ（アンカーと称される）を注入することである。文書ｄ_ｋ及びカテゴリクラスＣ_ｉ及び時間クラスＴ_ｊの長さ＝ｌｅｎのクリーンな文が与えられると、意味論的注入技術は、注入頻度（Ｉ_ｆｒｅｑ）（ここで、Ｉｆｒｅｑ∈Ｒ）を、クリーンな文において注入されるアンカーのカウントとして定義する。Ｉ_ｆｒｅｑは、式１、即ち、

【数4】

のように計算され、ここで、対数関数によりＩ_ｆｒｅｑが∝ｌｅｎでないことが保証される。これは、この技術を事実上ほぼ無損失とするのに役立つ。

【0022】

埋め込み生成モジュール１０６は、意味論的に注入されたコーパスから最適な次元係数（ｄ）を計算し、単語ベクトル技術を使用して、注入された最適な次元埋め込みを生成するように構成されている。この例においては、Ｗｏｒｄ２Ｖｅｃ技術を使用して、単語ベクトルが生成される。埋め込みモジュール１０６は、前述したように、意味論的に注入されたコーパスを取得し、最適な次元ｄを計算し、ｗｏｒｄ２ｖｅｃ法を使用して、注入された最適な次元埋め込みを生成する。この実施形態においては、当該最適な次元係数（ｄ）が計算された後、コーパス１０１全体の語彙サイズがＶから（Ｖ＋Ｍ）へ増大し、ここで、Ｖは、初期コーパスの語彙サイズであり、Ｍは、注入された追加のアンカー項である。注入された最適な次元係数は、次式、即ち、
Ｅ_ＯＰＴ ^Ｉｎｆ∈Ｒ^{（Ｖ＋Ｍ）×ｄ}
によって定義される。

【0023】

一般的に、次元ハイパーパラメータの選択は、任意の単語埋め込みの効率にとって重要である。一例においては、次元の選択は、その場限りで又はグリッドサーチを使用して行うことができる。他の例においては、何百万ものテキストベース文書を使用して単語埋め込みを生成する間に最も一般的に使用される次元として、「３００」が挙げられる。しかしながら、ドメイン固有の小規模コーパスに対しては、正確な最適な次元が必要であり、そうでなければ、最適なパフォーマンスが得られない可能性がある。本発明においては、最適な次元を特定するために、システム１００を使用した数学的フレームワークを提案する。これは、オラクル埋め込みＥ∈Ｒ^ｎ×ｋとトレーニングされた埋め込みＥ^－∈Ｒ^ｎ×ｄとの間のペアワイズ内積（ＰＩＰ：Pairwise Inner Product）損失を最小化するものとして、ｄ≦ｋである最適な次元ｄを決定するものである。

【0024】

埋め込み生成モジュール１０６は、注入された最適な次元埋め込みを使用して、意味論的に注入された埋め込みを生成するようにさらに構成されている。埋め込み生成モジュール１０６は、注入された最適な次元埋め込みＥ_ＯＰＴ ^Ｉｎｆ∈Ｒ^{（Ｖ＋Ｍ）×ｄ}を生成し、意味論的に注入された埋め込みＥ_{ＳＥＭＩＥ}∈Ｒ^{（Ｖ＋Ｍ）×ｄ}を生成する。埋め込みの行列Ｅ_ＯＰＴ ^Ｉｎｆの各列Ｃ_ｉについて、列は、値の昇順にソートされ、次いで、Ｍ個のアンカー項の値が選択される。列Ｃ_ｉ内のアンカー項Ａ_Ｃｉ及び非アンカー単語ｗ_Ｃｉの対ごとに、埋め込みモジュール１０６は、式、即ち、
ｗ_ｓ＝Ａ_Ｃｉ／｜｜ｉｎｄｅｘ（Ａ_Ｃｉ）－ｉｎｄｅｘ（ｗ_Ｃｉ）｜｜
で与えられる意味論的重みｗ_ｓを計算し、これを非アンカー単語ｗ_Ｃｉの値に加算する。これにより、意味論的に注入された埋め込みＥ_{ＳＥＭＩＥ}が得られる。

【0025】

直感的に、これは、意味論的に注入された埋め込みＥ_{ＳＥＭＩＥ}の各列（次元）において、アンカーの近傍の単語が意味論的に一貫したグループを形成することを意味する。一実施形態においては、埋め込み生成モジュール１０６が、ベースライン最適次元埋め込みＥ_ＯＰＴを生成し、当該Ｅ_ＯＰＴが、解釈可能性及び下流の分類タスクパフォーマンスに関してＥ_{ＳＥＭＩＥ}を評価するために使用され得る。

【0026】

図２は、一例による、テキストベース文書のドメイン固有の小規模コーパスのための解釈可能な埋め込みを生成する方法２００のフロー図を示している。方法２００は、任意の好適なハードウェア、非一時的機械可読媒体、又は、これらの組合せを通して、プロセッサ又はデバイスによって実装可能である。さらに、方法２００は、前述のシステム１００に類似したシステムの文脈において説明されるが、他の好適なデバイス又はシステムが方法２００の実行のために使用されるものとしてもよい。

【0027】

一部の例においては、方法２００に含まれるプロセスは、非一時的コンピュータ可読媒体に記憶された命令に基づいて実行することができる。処理モジュール１０２は、非一時的コンピュータ可読媒体からコンピュータ可読命令をフェッチして実行するために、非一時的コンピュータ可読媒体に通信可能に結合され得る。非一時的コンピュータ可読媒体は、例えば、デジタルメモリ、磁気ディスク及び磁気テープなどの磁気記憶媒体、ハードドライブ、又は、光学的に可読デジタルデータ記憶媒体を含み得る。

【0028】

図２を参照すると、ブロック２０２において、複数のテキストベース文書

【数5】

が、テキストベース文書から解釈可能な埋め込みを生成する処理モジュール１０２により、複数のテキストベース文書Ｄ（１０１）から取得され、処理される。１つの例示的な実施形態においては、複数のテキストベース文書Ｄ（１０１）を処理することは、基本的なクレンジングのために、複数のテキストベース文書の各文書ｄ_ｋの文の集合ｊ_ｄｋのうちの各文から、記号、特殊文字及び所定のストップワードのうちの少なくとも１つを除去することを含み得る。

【0029】

一例においては、複数の音声メモが、処理モジュール１０２によって取得可能な複数のテキストベース文書によって受信可能となり、次いで、さらなる処理のためにテキスト文書に変換される。複数のテキストベース文書Ｄの各テキストベース文書ｄ_ｋは、文の集合ｊ_ｄｋを含み、

【数6】

によって定義されるＭ個のクラスの集合内のクラスｃ_ｉに属し、ここで、Ｍは、Ｎよりも小さい任意の値を有し得る。

【0030】

ブロック２０４において、方法２００は、意味論的に注入されたコーパスが意味論的注入技術を使用することによる複数のテキストベース文書１０１からの使用によって生成されることを含み得る。ステップ２０４は、意味論的注入モジュール１０４により実行される。一実施形態においては、方法２００は、意味論的注入モジュール１０４により、それぞれの文における単語（Ｌ）の数を決定し、複数のテキストベース文書（１０１）の各々における単語（Ｌ）の数に基づいて注入頻度値（Ｉ_ｆｒｅｑ）を計算するステップをさらに含む。

【0031】

ブロック２０６において、方法２００は、意味論的に注入されたコーパスから最適な次元係数（ｄ）を計算し、単語ベクトル技術を使用して、注入された最適な次元埋め込みを生成することを含み得る。ここで、単語ベクトルは、Ｗｏｒｄ２Ｖｅｃ技術を使用して生成される。この実施形態においては、当該最適な次元係数（ｄ）が計算された後、コーパス１０１全体の語彙サイズがＶから（Ｖ＋Ｍ）へ増大し、ここで、Ｖは初期コーパスの語彙サイズであり、Ｍは注入された追加のアンカー項である。ブロック２０８において、方法２００は、注入された最適な次元埋め込みを使用して、意味論的に注入された埋め込みを生成することをさらに含む。

【0032】

本主題は、入力されたテキストベース文書から、各データセットのベースライン最適次元埋め込みＥ_ＯＰＴ及び意味論的に注入された埋め込みＥ_{ＳＥＭＩＥ}を生成することによって、テキスト分析活動のシームレスな動作を支援するために使用される。この技術により、ＳＮＮ埋め込み空間に変換されたときの意味論的な類似性及び非類似性の両方に関して、ＳＥＭＩＥの解釈可能性の向上を達成することができる。提案のシステム１００及び方法２００においては、使用されるデータセットと、各データセットについてのベースライン最適次元埋め込みＥ_ＯＰＴ及び意味論的に注入された埋め込みＥ_{ＳＥＭＩＥ}の生成とが決定される。

【0033】

本開示の態様を構造的特徴及び／又は方法に特有の言語で説明してきたが、添付の特許請求の範囲は本明細書において説明した特定の特徴又は方法に限定されないことを理解されたい。むしろ、特定の特徴及び方法は、本開示の例として開示したものである。

【図1】

【図2】

【外国語明細書】