(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-06
(45)【発行日】2024-08-15
(54)【発明の名称】機械学習プログラム、機械学習方法および自然言語処理装置
(51)【国際特許分類】
G06F 40/279 20200101AFI20240807BHJP
G06F 40/216 20200101ALI20240807BHJP
【ＦＩ】
G06F40/279
G06F40/216
【請求項の数】
7
(21)【出願番号】P 2022563537
(86)(22)【出願日】2020-11-20
(86)【国際出願番号】 JP2020043463
(87)【国際公開番号】W WO2022107328
(87)【国際公開日】2022-05-27
【審査請求日】2023-04-26
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002918
【氏名又は名称】弁理士法人扶桑国際特許事務所
(72)【発明者】
【氏名】マルティネス アンデル
【審査官】長 由紀子
(56)【参考文献】
【文献】米国特許出願公開第２０１５／０１００５２４（ＵＳ，Ａ１）
【文献】特許第７４４０７９７（ＪＰ，Ｂ２）
【文献】池田 流弥、安藤 一秋，固有表現抽出によるブログテキストからの品名・店名抽出，情報処理学会 研究報告 自然言語処理（ＮＬ） ２０１９－ＮＬ－２４３ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2019年12月04日，pp.1-8
【文献】尾田 俊弘、福本 淳一，ＳＶＭによる学習とタイプ分類パターンの組み合わせによる固有表現抽出手法，第７４回（平成２４年）全国大会講演論文集（２） 人工知能と認知科学，一般社団法人情報処理学会，2012年03月06日，pp.2-37～2-38
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ４０／００－２７９
(57)【特許請求の範囲】
【請求項1】
第１のテキストと、前記第１のテキストに含まれる１つの単語に対応付けられたクラスを示す第１のクラス情報と、前記第１のテキストにおける前記１つの単語の位置を示す第１の位置情報と、前記第１のテキストにおける前記１つの単語を含む第１の固有表現の範囲を示す第１の範囲情報と、を含む訓練データを取得し、前記訓練データに基づいて、テキストとクラス情報と位置情報とから前記テキストに含まれる固有表現の範囲情報を推定するための機械学習モデルの機械学習を実行する、
処理をコンピュータに実行させることを特徴とする機械学習プログラム。
【請求項2】
前記第１のクラス情報は、前記機械学習モデルと異なる他の機械学習モデルによって、前記第１のテキストに基づいて前記１つの単語に対して割り当てられるクラスを示す、ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項3】
前記第１の範囲情報は、前記第１のテキストに含まれる複数の単語それぞれが前記第１の固有表現の範囲に属するか否かを示す符号列である、ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項4】
前記機械学習モデルは、前記テキストに含まれる複数の単語から算出される複数の単語ベクトルと、前記クラス情報から算出されるクラスベクトルと、前記複数の単語ベクトルのうち前記位置情報が示す単語に対応する１つの単語ベクトルとに基づいて、前記範囲情報を生成するためのニューラルネットワークである、ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項5】
第１のテキストと、前記第１のテキストに含まれる１つの単語に対応付けられたクラスを示す第１のクラス情報と、前記第１のテキストにおける前記１つの単語の位置を示す第１の位置情報と、前記第１のテキストにおける前記１つの単語を含む第１の固有表現の範囲を示す第１の範囲情報と、を含む訓練データを取得し、前記訓練データに基づいて、テキストとクラス情報と位置情報とから前記テキストに含まれる固有表現の範囲情報を推定するための機械学習モデルの機械学習を実行する、
処理をコンピュータが実行することを特徴とする機械学習方法。
【請求項6】
テキストと機械学習モデルとを記憶する記憶部と、前記テキストと、前記テキストに含まれる１つの単語に対応付けられたクラスを示すクラス情報と、前記テキストにおける前記１つの単語の位置を示す位置情報とを含む入力データを生成し、前記機械学習モデルに前記入力データを入力して、前記テキストにおける前記１つの単語を含む固有表現の範囲を示す範囲情報を生成する制御部と、
を有することを特徴とする自然言語処理装置。
【請求項7】
前記制御部は、前記機械学習モデルと異なる他の機械学習モデルに前記テキストを入力して、前記クラス情報および前記位置情報を生成する処理と、前記範囲情報と前記他の機械学習モデルの出力とを合成する処理とを更に実行する、ことを特徴とする請求項６に記載の自然言語処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は機械学習プログラム、機械学習方法および自然言語処理装置に関する。
【背景技術】
【0002】
自然言語で記述されたテキストは、複数の単語を含む。単語はトークンと呼ばれることがある。テキストに含まれる複数の単語のうちの２以上の単語が、１つの固有表現（ＮＥ：Named Entity）を形成することがある。固有表現は、特定の実体を表す言語表現である。固有表現は、人名、組織名、地名、製品名などの固有名詞を含む。
【0003】
コンピュータによる自然言語処理のタスクは、テキストに含まれる単語列の中から、１つの固有表現を形成する単語の範囲を認識するサブタスクを包含することがある。固有表現の範囲はスパンと呼ばれることがある。例えば、テキストに含まれる固有表現の種類を認識する固有表現認識（ＮＥＲ：Named Entity Recognition）は、固有表現の範囲を認識するサブタスクを包含する。なお、固有表現認識は、固有表現抽出と呼ばれることもある。また、テキストから複数の固有表現の間の関係を抽出する関係抽出（Relation Extraction）は、各固有表現の範囲を認識するサブタスクを包含する。また、述語と固有表現との間の係り受け関係を認識する意味役割付与（Semantic Role Labeling）は、固有表現の範囲を認識するサブタスクを包含する。
【0004】
なお、原文と翻訳文との間でフレーズのペアを抽出するフレーズ抽出方法が提案されている。提案のフレーズ抽出方法は、原文から原フレーズを選択し、翻訳文の単語と原フレーズ内の単語との比較に基づいて、翻訳文に含まれる翻訳フレーズの境界を推定する。
【0005】
また、用語辞書から入力文字列に応じた用語情報を検索する言語処理装置が提案されている。提案の言語処理装置は、文字列の範囲を選択し、選択した範囲に含まれる各単語を正規化し、正規化した単語を連結する。言語処理装置は、正規化文字列からハッシュ値を算出し、ハッシュ値に対応付けられた用語情報を用語辞書から読み出す。
【0006】
また、質問文に対する回答文を生成する回答生成装置が提案されている。提案の回答生成装置は、質問文に含まれる単語および用意された文書に含まれる単語を、機械学習モデルを用いてベクトル表現に変換する。回答生成装置は、ベクトル表現を用いて、文書に含まれる単語の範囲に対して、質問文との適合度を示すスコアを算出する。
【先行技術文献】
【特許文献】
【0007】
【文献】米国特許出願公開第２００８／０００４８６３号明細書
【文献】特開２０１３－１９６４７８号公報
【文献】国際公開第２０２０／１７４８２６号
【発明の概要】
【発明が解決しようとする課題】
【0008】
自然言語処理のタスクは、機械学習によって訓練データから生成される機械学習モデルを利用することがある。機械学習モデルは、例えば、ニューラルネットワークである。従来、固有表現の範囲の認識をサブタスクとして包含する自然言語処理のタスクは、固有表現認識のための機械学習モデルを利用することが多い。
【0009】
しかし、固有表現認識用の機械学習モデルは、固有表現の範囲の認識と固有表現の種類の認識とを分離せずに統合的に実行する。固有表現認識用の機械学習モデルによる固有表現の範囲自体の認識精度が、十分に高くない場合がある。その結果、固有表現の範囲の認識結果に含まれるノイズが、メインタスクの精度を低下させることがある。そこで、１つの側面では、本発明は、固有表現の範囲の認識精度を向上させることを目的とする。
【課題を解決するための手段】
【0010】
１つの態様では、第１のテキストと、第１のテキストに含まれる１つの単語に対応付けられたクラスを示す第１のクラス情報と、第１のテキストにおける１つの単語の位置を示す第１の位置情報と、第１のテキストにおける１つの単語を含む第１の固有表現の範囲を示す第１の範囲情報と、を含む訓練データを取得し、訓練データに基づいて、テキストとクラス情報と位置情報とからテキストに含まれる固有表現の範囲情報を推定するための機械学習モデルの機械学習を実行する、処理をコンピュータに実行させることを特徴とする機械学習プログラムが提供される。また、１つの態様では、機械学習方法が提供される。
【0011】
また、１つの態様では、テキストと機械学習モデルとを記憶する記憶部と、テキストと、テキストに含まれる１つの単語に対応付けられたクラスを示すクラス情報と、テキストにおける１つの単語の位置を示す位置情報とを含む入力データを生成し、機械学習モデルに入力データを入力して、テキストにおける１つの単語を含む固有表現の範囲を示す範囲情報を生成する制御部と、を有することを特徴とする自然言語処理装置が提供される。
【発明の効果】
【0012】
１つの側面では、固有表現の範囲の認識精度が向上する。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
【図面の簡単な説明】
【0013】
【図1】第１の実施の形態の機械学習装置を説明するための図である。
【図2】第２の実施の形態の自然言語処理装置を説明するための図である。
【図3】第３の実施の形態の情報処理装置のハードウェア例を示す図である。
【図4】固有表現認識を利用した関係抽出の第１の例を示す図である。
【図5】固有表現認識を利用した関係抽出の第２の例を示す図である。
【図6】スパン検索モデルを利用した自然言語処理の流れの例を示す図である。
【図7】スパン検索モデルを生成するための訓練データの例を示す図である。
【図8】固有表現認識モデルの構造例を示す図である。
【図9】スパン検索モデルの構造例を示す図である。
【図10】情報処理装置の機能例を示すブロック図である。
【図11】機械学習の手順例を示すフローチャートである。
【図12】自然言語処理の手順例を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、本実施の形態を、図面を参照して説明する。まず、第１の実施の形態を説明する。図１は、第１の実施の形態の機械学習装置を説明するための図である。第１の実施の形態の機械学習装置１０は、機械学習により、テキストに含まれる単語列の中から１つの固有表現を形成する範囲を認識するための機械学習モデルを生成する。機械学習モデルによって認識される固有表現の範囲は、スパンと呼ばれることがある。スパンの認識は、スパンクエリ（Span Query）またはスパン選択（Span Selection）と呼ばれることがある。スパンを認識するための機械学習モデルは、ＳＱＭ（Span Query Model）と呼ばれることがある。機械学習装置１０は、クライアント装置でもよいしサーバ装置でもよい。機械学習装置１０が、コンピュータ、情報処理装置または自然言語処理装置と呼ばれてもよい。
【0015】
機械学習装置１０は、記憶部１１および制御部１２を有する。記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性半導体メモリでもよい。また、記憶部１１は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性ストレージでもよい。制御部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサである。制御部１２が、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの特定用途の電子回路を含んでもよい。プロセッサは、ＲＡＭなどのメモリ（記憶部１１でもよい）に記憶されたプログラムを実行する。複数のプロセッサの集合が、マルチプロセッサまたは単に「プロセッサ」と呼ばれてもよい。
【0016】
記憶部１１は、訓練データ１３を記憶する。訓練データ１３は、制御部１２によって生成されてもよい。訓練データ１３は、テキスト１３ａ、クラス情報１３ｂ、位置情報１３ｃおよび範囲情報１３ｄを含む。テキスト１３ａ、クラス情報１３ｂおよび位置情報１３ｃは、機械学習モデル１４の説明変数に相当する入力データである。範囲情報１３ｄは、機械学習モデル１４の目的変数に相当する教師データである。
【0017】
テキスト１３ａは、自然言語で記述された文書である。テキスト１３ａは、文字列を含む。文字列は単語に分割される。単語はトークンと呼ばれることがある。例えば、テキスト１３ａは、単語ｗ１，ｗ２，ｗ３，ｗ４，ｗ５，ｗ６を含む。
【0018】
クラス情報１３ｂは、テキスト１３ａに含まれる１つの単語に対応付けられたクラスを示す。例えば、クラス情報１３ｂは、単語ｗ３に対応付けられたクラスを示す。クラス情報１３ｂが示すクラスは、他の機械学習モデルによって判定されるべきクラスであってもよい。例えば、クラスは、固有表現認識モデルによって認識される固有表現の種類でもよいし、関係抽出モデルによって認識される関係の種類であってもよいし、意味役割付与モデルによって認識される役割の種類であってもよい。
【0019】
位置情報１３ｃは、クラス情報１３ｂと同じ単語のテキスト１３ａにおける位置を示す。位置情報１３ｃは、着目する単語がテキスト１３ａの先頭から何番目であるかを示す位置番号であってもよい。例えば、位置情報１３ｃは、３番目の単語であることを示す。
【0020】
範囲情報１３ｄは、テキスト１３ａにおける位置情報１３ｃが示す単語を含む固有表現の範囲を示す。固有表現は、特定の実体を表す言語表現である。固有表現は、人名、組織名、地名、製品名などの固有名詞を含む。固有表現の範囲はスパンと呼ばれてもよい。テキスト１３ａに含まれる複数の単語のうちの２以上の単語によって、１つの固有表現が形成されることがある。固有表現の範囲は、それら２以上の単語を示す。固有表現に含まれる２以上の単語は、テキスト１３ａにおいて不連続であってもよい。
【0021】
範囲情報１３ｄは、固有表現の範囲をＢＩＯ形式で表してもよい。ＢＩＯ形式の範囲情報１３ｄは、テキスト１３ａに含まれる各単語に対して「Ｂ」、「Ｉ」または「Ｏ」が割り当てられた記号列である。Ｂ（Beginning）は、固有表現に含まれる先頭の単語であることを示す。Ｉ（Inside）は、固有表現に含まれる２番目以上の単語であることを示す。Ｏ（Outside）は、固有表現に含まれない単語であることを示す。例えば、範囲情報１３ｄは、「ＯＢＩＩＯＯ」という記号列である。この範囲情報１３ｄは、単語ｗ２，ｗ３，ｗ４が１つの固有表現を形成することを表す。なお、訓練データ１３は、クラス情報１３ｂ、位置情報１３ｃおよび範囲情報１３ｄの組を複数含んでもよい。
【0022】
制御部１２は、訓練データ１３を取得する。制御部１２は、テキスト１３ａから訓練データ１３を生成してもよい。また、制御部１２は、クラス情報１３ｂを出力する他の機械学習モデル用の訓練データを変換して訓練データ１３を生成してもよい。制御部１２は、訓練データ１３に基づいて機械学習モデル１４の機械学習を実行する。機械学習モデル１４は、例えば、ニューラルネットワークである。ニューラルネットワークは、ノード間のエッジの重みを、機械学習を通じて値が決定されるパラメータとして含む。
【0023】
機械学習モデル１４は、テキストとクラス情報と位置情報とを含む入力データを受け付ける。機械学習モデル１４は、入力データに基づいて、位置情報が示す単語を含む固有表現の範囲を示す範囲情報を推定する。例えば、機械学習モデル１４は、テキスト１３ａに含まれる複数の単語それぞれを、分散表現の単語ベクトルに変換する。単語ベクトルの次元数は、例えば、３００次元など数百次元程度である。また、機械学習モデル１４は、クラス情報を、分散表現のクラスベクトルに変換する。クラスベクトルの次元数は、例えば、単語ベクトルと同じである。機械学習モデル１４は、各単語の単語ベクトルとクラスベクトルと位置情報が示す単語の単語ベクトルとを連結（Concatenate）する。機械学習モデル１４は、連結ベクトルを範囲情報に変換する。
【0024】
機械学習において、制御部１２は、テキスト１３ａ、クラス情報１３ｂおよび位置情報１３ｃを入力データとして使用し、範囲情報１３ｄを教師データとして使用する。例えば、制御部１２は、テキスト１３ａ、クラス情報１３ｂおよび位置情報１３ｃを機械学習モデル１４に入力し、機械学習モデル１４から推定の範囲情報を読み出す。制御部１２は、教師データである範囲情報１３ｄと推定の範囲情報との間の誤差を算出し、誤差が小さくなるように、機械学習モデル１４に含まれるパラメータの値を更新する。例えば、制御部１２は、誤差逆伝播法によってパラメータの値を更新する。
【0025】
これにより、制御部１２は、訓練データ１３から機械学習モデル１４を生成する。制御部１２は、機械学習モデル１４を不揮発性ストレージに保存してもよい。また、制御部１２は、機械学習モデル１４の情報を表示装置に表示してもよい。また、制御部１２は、機械学習モデル１４を他の情報処理装置に送信してもよい。
【0026】
以上説明したように、第１の実施の形態の機械学習装置１０は、テキスト１３ａとクラス情報１３ｂと位置情報１３ｃと範囲情報１３ｄとを含む訓練データ１３を取得する。機械学習装置１０は、訓練データ１３に基づいて、テキストとクラス情報と位置情報とから固有表現の範囲情報を推定するための機械学習モデル１４の機械学習を実行する。機械学習モデル１４を利用することで、固有表現の範囲の認識精度が向上する。
【0027】
情報処理装置は、自然言語処理のメインタスクを実行する前に、固有表現認識モデルを利用して固有表現の範囲を決定することも考えられる。しかし、一般的な固有表現認識モデルは、各単語に対応付ける固有表現クラスの認識と、同一の固有表現に属する単語の範囲の認識とを統合的に実行する。固有表現の範囲に着目すると、固有表現認識モデルによる固有表現の範囲の推定精度は、十分に高いとは言えないことがある。よって、固有表現認識モデルの精度の限界が、メインタスクの精度を低下させる原因となり得る。
【0028】
また、固有表現認識モデルは、固有表現クラスの推定精度を上げるため、特定のテキストの分野に特化していることが多い。テキストの分野は、ドメインと呼ばれることがある。ドメインには、医療分野や政治経済分野などが含まれる。特定のドメイン用の固有表現認識モデルの機械学習には、そのドメインのテキストが使用される。よって、固有表現認識モデルの機械学習に使用可能な訓練データが少量であることがあり、その結果、固有表現認識モデルの精度が十分に向上しないことがある。
【0029】
これに対して、機械学習装置１０によって生成される機械学習モデル１４は、固有表現認識、関係抽出、意味役割付与などのメインタスクとは分離して、固有表現の範囲の認識を実行する。よって、固有表現の範囲の認識精度を向上させることが容易である。また、機械学習モデル１４は、異なる種類のメインタスクの機械学習モデルと連携することができ、異なるドメイン用の機械学習モデルと連携することができる。よって、機械学習装置１０は、様々なドメインのテキストから訓練データ１３を生成することができ、訓練データ１３のサイズを大きくして機械学習モデル１４の精度を向上させることができる。
【0030】
また、メインタスクの機械学習モデルは、その中で固有表現の範囲を推定しなくてもよく、固有表現の範囲の情報を出力しなくてもよい。また、メインタスクの機械学習モデルは、固有表現の範囲が正確に認識されていることを前提としなくてもよい。よって、メインタスクの機械学習モデルの実装が容易であると共に、メインタスクの精度が向上しやすくなる。また、情報処理装置は、メインタスクの機械学習モデルの後段に機械学習モデル１４を接続することもできる。情報処理装置は、メインタスクの機械学習モデルが出力するクラス情報を、機械学習モデル１４に入力してもよい。これにより、情報処理装置は、固有表現の範囲を効率的に認識することができる。
【0031】
次に、第２の実施の形態を説明する。図２は、第２の実施の形態の自然言語処理装置を説明するための図である。第２の実施の形態の自然言語処理装置２０は、機械学習モデルを用いて、テキストに含まれる単語列の中から１つの固有表現を形成する範囲を認識する。自然言語処理装置２０は、クライアント装置でもよいしサーバ装置でもよい。自然言語処理装置２０は、第１の実施の形態の機械学習装置１０と同一でもよいし異なってもよい。自然言語処理装置２０が、コンピュータまたは情報処理装置と呼ばれてもよい。
【0032】
自然言語処理装置２０は、記憶部２１および制御部２２を有する。記憶部２１は、ＲＡＭなどの揮発性半導体メモリでもよい。また、記憶部２１は、ＨＤＤやフラッシュメモリなどの不揮発性ストレージでもよい。制御部２２は、例えば、ＣＰＵ、ＧＰＵ、ＤＳＰなどのプロセッサである。制御部２２が、ＡＳＩＣやＦＰＧＡなどの特定用途の電子回路を含んでもよい。プロセッサは、ＲＡＭなどのメモリに記憶されたプログラムを実行する。
【0033】
記憶部２１は、テキスト２３ａおよび機械学習モデル２４を記憶する。テキスト２３ａは、自然言語で記述された文書である。テキスト２３ａは、複数の単語を含む。機械学習モデル２４は、テキストとクラス情報と位置情報とを含む入力データを受け付ける。機械学習モデル２４は、入力データに基づいて、位置情報が示す単語を含む固有表現の範囲を示す範囲情報を推定する。機械学習モデル２４は、第１の実施の形態の機械学習装置１０と同様の方法で生成されてもよい。機械学習モデル２４は、第１の実施の形態の機械学習モデル１４と同一であってもよい。自然言語処理装置２０は、自然言語処理装置２０の外部から機械学習モデル２４を受信してもよい。
【0034】
制御部２２は、テキスト２３ａとクラス情報２３ｂと位置情報２３ｃとを含む入力データ２３を生成する。クラス情報２３ｂは、テキスト２３ａに含まれる１つの単語に対応付けられたクラスを示す。クラス情報２３ｂは、メインタスクの機械学習モデルの出力であってもよい。例えば、クラス情報２３ｂは、固有表現認識モデルによって認識される固有表現の種類を示してもよいし、関係抽出モデルによって認識される関係の種類を示してもよいし、意味役割付与モデルによって認識される役割の種類を示してもよい。位置情報２３ｃは、クラス情報２３ｂと同じ単語のテキスト２３ａにおける位置を示す。
【0035】
制御部２２は、入力データ２３を機械学習モデル２４に入力して範囲情報２３ｄを生成する。範囲情報２３ｄは、機械学習モデル２４から出力される。範囲情報２３ｄは、位置情報２３ｃが示す単語を含む固有表現の範囲を示す。範囲情報２３ｄは、例えば、固有表現の範囲をＢＩＯ形式で表した記号列である。
【0036】
制御部２２は、範囲情報２３ｄを不揮発性ストレージに保存してもよい。また、制御部２２は、範囲情報２３ｄを表示装置に表示してもよい。また、制御部２２は、範囲情報２３ｄを他の情報処理装置に送信してもよい。また、制御部２２は、メインタスクの機械学習モデルの出力と範囲情報２３ｄとを合成して、テキスト２３ａに対する自然言語処理の結果を生成してもよい。制御部２２は、合成した結果を不揮発性ストレージに保存してもよい。また、制御部２２は、合成した結果を表示装置に表示してもよい。また、制御部２２は、合成した結果を他の情報処理装置に送信してもよい。
【0037】
以上説明したように、第２の実施の形態の自然言語処理装置２０は、テキスト２３ａとクラス情報２３ｂと位置情報２３ｃとを含む入力データ２３を生成する。自然言語処理装置２０は、機械学習モデル２４に入力データ２３を入力して、固有表現の範囲を示す範囲情報２３ｄを生成する。これにより、固有表現の範囲の認識精度が向上する。
【0038】
１つの固有表現を形成する単語列が、テキスト２３ａにおいて不連続であることがある。また、テキスト２３ａに含まれる１つの単語が、２以上の固有表現に属することがある。すなわち、テキスト２３ａにおいて、２以上の固有表現がオーバーラップしていることがある。また、２以上の固有表現が入れ子になっていることがある。固有表現認識モデルを利用して固有表現の範囲を認識する場合、このような複雑な固有表現の情報を出力するためには、固有表現認識モデルの構造が複雑になってしまう。
【0039】
これに対して、機械学習モデル２４は、着目する１つの単語に対して、その単語を含む固有表現の範囲を示す範囲情報を出力する。別の単語が指定されると、機械学習モデル２４は、その別の単語を含む固有表現の範囲を示す範囲情報を出力する。よって、自然言語処理装置２０は、不連続な固有表現、オーバーラップした複数の固有表現、入れ子の複数の固有表現など、複雑な固有表現についての範囲情報を生成することができる。また、機械学習モデル２４の構造が単純化され、機械学習モデル２４の精度が向上する。
【0040】
次に、第３の実施の形態を説明する。図３は、第３の実施の形態の情報処理装置のハードウェア例を示す図である。第３の実施の形態の情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、画像インタフェース１０４、入力インタフェース１０５、媒体リーダ１０６および通信インタフェース１０７を有する。
【0041】
情報処理装置１００は、第１の実施の形態の機械学習装置１０および第２の実施の形態の自然言語処理装置２０に対応する。ＣＰＵ１０１は、第１の実施の形態の制御部１２および第２の実施の形態の制御部２２に対応する。ＲＡＭ１０２またはＨＤＤ１０３は、第１の実施の形態の記憶部１１および第２の実施の形態の記憶部２１に対応する。
【0042】
ＣＰＵ１０１は、プログラムの命令を実行するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０３に記憶されたプログラムおよびデータの少なくとも一部をＲＡＭ１０２にロードし、プログラムを実行する。情報処理装置１００は、複数のプロセッサを有してもよい。プロセッサの集合が、マルチプロセッサまたは単に「プロセッサ」と呼ばれてもよい。
【0043】
ＲＡＭ１０２は、ＣＰＵ１０１で実行されるプログラムおよびＣＰＵ１０１で演算に使用されるデータを一時的に記憶する揮発性半導体メモリである。情報処理装置１００は、ＲＡＭ以外の種類の揮発性メモリを有してもよい。
【0044】
ＨＤＤ１０３は、ＯＳ（Operating System）、ミドルウェア、アプリケーションソフトウェアなどのソフトウェアのプログラム、および、データを記憶する不揮発性ストレージである。情報処理装置１００は、フラッシュメモリやＳＳＤ（Solid State Drive）などの他の種類の不揮発性ストレージを有してもよい。
【0045】
画像インタフェース１０４は、ＣＰＵ１０１からの命令に従って、情報処理装置１００に接続された表示装置１１１に画像を出力する。表示装置１１１は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイまたはプロジェクタである。情報処理装置１００に、プリンタなどの他の種類の出力デバイスが接続されてもよい。
【0046】
入力インタフェース１０５は、情報処理装置１００に接続された入力デバイス１１２から入力信号を受け付ける。入力デバイス１１２は、例えば、マウス、タッチパネルまたはキーボードである。情報処理装置１００に複数の入力デバイスが接続されてもよい。
【0047】
媒体リーダ１０６は、記録媒体１１３に記録されたプログラムおよびデータを読み取る読み取り装置である。記録媒体１１３は、例えば、磁気ディスク、光ディスクまたは半導体メモリである。磁気ディスクには、フレキシブルディスク（ＦＤ：Flexible Disk）およびＨＤＤが含まれる。光ディスクには、ＣＤ（Compact Disc）およびＤＶＤ（Digital Versatile Disc）が含まれる。媒体リーダ１０６は、記録媒体１１３から読み取られたプログラムおよびデータを、ＲＡＭ１０２やＨＤＤ１０３などの他の記録媒体にコピーする。読み取られたプログラムは、ＣＰＵ１０１によって実行されることがある。
【0048】
記録媒体１１３は、可搬型記録媒体であってもよい。記録媒体１１３は、プログラムおよびデータの配布に用いられることがある。また、記録媒体１１３およびＨＤＤ１０３が、コンピュータ読み取り可能な記録媒体と呼ばれてもよい。
【0049】
通信インタフェース１０７は、ネットワーク１１４に接続される。通信インタフェース１０７は、ネットワーク１１４を介して他の情報処理装置と通信する。通信インタフェース１０７は、スイッチやルータなどの有線通信装置に接続される有線通信インタフェースでもよい。また、通信インタフェース１０７は、基地局やアクセスポイントなどの無線通信装置に接続される無線通信インタフェースでもよい。
【0050】
情報処理装置１００は、自然言語で記述されたテキストに対して、固有表現抽出、関係抽出、意味役割付与などの自然言語処理を実行する。また、情報処理装置１００は、自然言語処理に用いるモデルを、機械学習を通じて生成する。
【0051】
図４は、固有表現認識を利用した関係抽出の第１の例を示す図である。自然言語処理として、情報処理装置１００は、複数の固有表現の間の関係を抽出する関係抽出を行うことがある。関係抽出は、サブタスクとして、テキストに含まれる単語列の中からラベルが付与され得る固有表現のスパンを認識するスパン検索を含む。スパン検索は、スパンクエリまたはスパン選択と呼ばれることがある。関係抽出の１つの実装方法として、情報処理装置１００は、固有表現認識を前処理として実行する方法が考えられる。
【0052】
一例として、情報処理装置１００は、固有表現認識モデルを用いて、テキスト３１に対して固有表現認識を実行する。固有表現認識モデルは、テキスト３１に含まれる固有表現のスパンおよび固有表現のクラスを示すラベルを出力する。
【0053】
これにより、テキスト３１から固有表現３２，３３，３４，３５が抽出される。固有表現３２は、"hazard ratio"であり単語２個を含む。固有表現３２に対して、"Hazard Ratio (undetermined)"というクラスが割り当てられる。固有表現３３は、"low risk group"であり単語３個を含む。固有表現３３に対して、"Condition"（条件）というクラスが割り当てられる。固有表現３４は、"HR"であり単語１個を含む。固有表現３４に対して、固有表現３２と同じクラスが割り当てられる。固有表現３５は、"1.007"であり単語１個を含む。固有表現３５に対して、"Unitless"（無名数）というクラスが割り当てられる。
【0054】
情報処理装置１００は、固有表現認識モデルの出力を関係抽出モデルに入力することで、メインタスクである関係抽出を実行する。関係抽出モデルは、テキスト３１に含まれる複数の固有表現の間の関係の種類を示すラベルを出力する。これにより、固有表現３２と固有表現３５とが、"IS-A"という関係をもつことが抽出される。また、固有表現３３と固有表現３５とが、"WHEN"という関係をもつことが抽出される。また、固有表現３４と固有表現３５とが、"IS-A"という関係をもつことが抽出される。
【0055】
上記の固有表現３２，３３，３４，３５は、テキスト３１において連続した単語列である。ただし、テキストにおいて不連続な単語列が１つの固有表現を形成することもある。また、固有表現３２，３３，３４，３５は、テキスト３１においてオーバーラップしていない。ただし、テキストに含まれる１つの単語が複数の固有表現に属することで、複数の固有表現がオーバーラップすることもある。また、固有表現３２，３３，３４，３５は、テキスト３１において入れ子を形成していない。ただし、ある固有表現が他の固有表現に含まれる単語の全てを包含することで、複数の固有表現が入れ子を形成することもある。
【0056】
図５は、固有表現認識を利用した関係抽出の第２の例を示す図である。図４と同様に、情報処理装置１００が、関係抽出の前処理として固有表現認識を行う場合を考える。情報処理装置１００は、テキスト４１に対して固有表現認識を実行する。
【0057】
これにより、テキスト４１から固有表現４２，４３，４４，４５が抽出される。固有表現４２は、"cumulative incidences of non-relapse mortality"であり単語５個を含む。固有表現４２に対して、"Other endpoints (clinical)"というクラスが割り当てられる。固有表現４３は、"cumulative incidences of relapse"であり単語４個を含む。固有表現４３に対して、"Cumulative incidence of relapse"というクラスが割り当てられる。固有表現４４は、"13"であり単語１個を含む。固有表現４５は、"16%"であり単語１個を含む。固有表現４４，４５に対して、"%"というクラスが割り当てられる。
【0058】
情報処理装置１００は、固有表現認識の結果を用いて、メインタスクである関係抽出を実行する。これにより、固有表現４２と固有表現４４とが"IS-A"という関係をもち、固有表現４３と固有表現４５とが"IS-A"という関係をもつことが抽出される。
【0059】
ここで、固有表現４２と固有表現４３は、"cumulative incidences of"という共通の単語列を含んでおりオーバーラップしている。また、固有表現４３は、テキスト４１において、途中で"non-relapse mortality and"という単語列を跨いでおり不連続である。このように、テキストに複雑な固有表現が含まれていることがある。
【0060】
上記の例では、情報処理装置１００は、まず固有表現のスパンを認識し、固有表現のスパンの認識結果を利用して関係抽出などのメインタスクを実行した。しかし、一般的な固有表現認識モデルは、固有表現クラスの認識と固有表現のスパンの認識とを統合的に実行する。固有表現のスパンに着目すると、固有表現認識モデルによるスパンの推定精度は、十分に高いとは言えないことがある。よって、固有表現のスパンの推定精度が、メインタスクの精度を低下させる原因となり得る。
【0061】
また、固有表現認識モデルは、固有表現クラスの推定精度を上げるため、特定のドメインに特化していることが多い。特定のドメイン用の固有表現認識モデルの機械学習には、そのドメインのテキストが使用される。よって、固有表現認識モデルの機械学習に使用可能な訓練データが少量であることがあり、その結果、固有表現認識モデルによるスパンの推定精度が十分に向上しないことがある。また、固有表現認識モデルが上記のような複雑な固有表現の情報を出力するためには、固有表現認識モデルの構造が複雑になる。
【0062】
そこで、第３の実施の形態の情報処理装置１００は、固有表現認識モデルやその他のメインタスクモデルとは分離して、固有表現のスパンを認識するための汎用的なスパン検索モデルを定義する。スパン検索モデルは、スパンクエリモデル（ＳＱＭ）またはスパン選択モデルと呼ばれてもよい。スパン検索モデルは、ニューラルネットワークである。情報処理装置１００は、機械学習によってスパン検索モデルを生成する。
【0063】
スパン検索モデルは、メインタスクモデルの後段に接続される。スパン検索モデルは、テキストに加えてメインタスクモデルによるクラス推定結果を利用して、事後的に固有表現のスパンを確定する。メインタスクモデルは、固有表現のスパンを正確に推定しなくてもよい。情報処理装置１００は、メインタスクモデルの出力とスパン検索モデルの出力を合成して、自然言語処理のタスク結果を生成する。
【0064】
図６は、スパン検索モデルを利用した自然言語処理の流れの例を示す図である。情報処理装置１００は、メインタスクモデル５１，５２，５３，５４，５５，５６などの複数のメインタスクモデルと、スパン検索モデル５８とを有する。メインタスクモデル５１，５２，５３，５４，５５，５６は、ニューラルネットワークである。
【0065】
メインタスクモデル５１は、ドメインＡ用の固有表現認識モデルである。メインタスクモデル５２は、ドメインＢ用の固有表現認識モデルである。メインタスクモデル５３は、ドメインＡ用の関係抽出モデルである。メインタスクモデル５４は、ドメインＢ用の関係抽出モデルである。メインタスクモデル５５は、ドメインＡ用の意味役割付与モデルである。メインタスクモデル５６は、ドメインＢ用の意味役割付与モデルである。スパン検索モデル５８は、メインタスクモデル５１，５２，５３，５４，５５，５６の何れとも組み合わせ可能である。すなわち、スパン検索モデル５８は、様々な目的のメインタスクモデルや様々なドメインのメインタスクモデルと組み合わせ可能である。
【0066】
情報処理装置１００は、テキスト５７を解析する場合、解析目的およびテキスト５７のドメインに適合するメインタスクモデルを選択し、選択されたメインタスクモデルにテキスト５７を入力する。選択されたメインタスクモデルは、テキスト５７に含まれる一部または全部の単語に対してそれぞれクラスを割り当て、クラス情報を出力する。
【0067】
例えば、固有表現認識モデルは、テキスト５７に含まれる一部の単語に対して、固有表現の種類を示す固有表現クラスを割り当てる。関係抽出モデルは、テキスト５７に含まれる一部の単語に対して、関係の種類を示す関係クラスを割り当てる。意味役割付与モデルは、テキスト５７に含まれる一部の単語に対して、述語との係り受け関係の種類を示す役割クラスを割り当てる。
【0068】
このとき、メインタスクモデルは、固有表現のスパンを示すスパン情報を出力しなくてもよい。最終的に固有表現単位でクラスを認識することがタスク目標であっても、メインタスクモデルは、固有表現に属する少なくとも１つの単語に対してクラスを割り当てればよい。よって、メインタスクモデルは、固有表現のスパンの境界を意識しなくてよく、正確なスパン情報を生成することを要しない。
【0069】
情報処理装置１００は、メインタスクモデルからの出力に基づいて、スパン検索モデル５８用の入力データセットを生成する。入力データセットは、位置情報とクラス情報との組を複数含む。位置情報は、メインタスクモデルによってクラスが割り当てられた単語の位置を示す。クラス情報は、メインタスクモデルによって割り当てられたクラスを示す。メインタスクモデルは、同一の単語に対して２以上のクラスを割り当ててもよい。よって、入力データセットは、位置情報が同じでクラス情報が異なる２以上のレコードを含んでもよい。これにより、オーバーラップや入れ子などの複雑な固有表現が定義可能である。
【0070】
情報処理装置１００は、入力データセットから位置情報とクラス情報の組を１つ抽出する。情報処理装置１００は、抽出した位置情報およびクラス情報とテキスト５７とを、スパン検索モデル５８に入力する。スパン検索モデル５８は、テキスト５７の中から位置情報が示す単語を特定し、特定した単語が属する固有表現のスパンを推定してスパン情報を出力する。情報処理装置１００は、位置情報およびクラス情報の異なる組をスパン検索モデル５８に入力することで、異なる固有表現のスパン情報を取得する。
【0071】
スパン検索モデル５８は、テキスト５７に含まれる全ての固有表現のスパンを一度に推定する代わりに、着目する１つの単語を含む固有表現のスパンを１つずつ推定する。よって、スパン検索モデル５８の構造が単純化される。また、スパン検索モデル５８は、オーバーラップや入れ子などの複雑な固有表現のスパンも精度よく推定できる。
【0072】
情報処理装置１００は、メインタスクモデルからの出力とスパン検索モデル５８からの出力とを合成して、タスク結果５９を生成する。例えば、メインタスクモデルは、クラス情報を含みスパン情報を含まないラベルを、テキスト５７に含まれる単語に対して付与する。情報処理装置１００は、スパン検索モデル５８が出力するスパン情報を、メインタスクモデルが出力するラベルに追加することで、タスク結果５９を生成する。
【0073】
メインタスクが固有表現認識である場合、タスク結果５９は、テキスト５７に含まれる固有表現のスパンと固有表現のクラスを示す。メインタスクが関係抽出である場合、タスク結果５９は、テキスト５７に含まれる各固有表現のスパンと複数の固有表現の間の関係のクラスを示す。メインタスクが意味役割付与である場合、タスク結果５９は、テキスト５７に含まれる固有表現のスパンと、固有表現と述語との係り受け関係のクラスを示す。
【0074】
メインタスクモデル５１，５２，５３，５４，５５，５６およびスパン検索モデル５８は、機械学習によって生成される。情報処理装置１００は、教師ラベルが付与された共通のテキストから、メインタスクモデル用の訓練データとスパン検索モデル５８用の訓練データの両方を生成することが可能である。テキストに付与される教師ラベルは、固有表現のスパンと固有表現に対応付けられたクラスとを示す。
【0075】
メインタスクモデル用の訓練データは、テキストを入力データとして含み、固有表現に属する単語の位置情報と固有表現に対応付けられたクラスのクラス情報とを教師データとして含む。スパン検索モデル５８用の訓練データは、テキストと位置情報とクラス情報とを入力データとして含み、固有表現のスパンを示すスパン情報を教師データとして含む。
【0076】
図７は、スパン検索モデルを生成するための訓練データの例を示す図である。訓練データは、テキスト６１を含む。テキスト６１の文字列は、図５のテキスト４１と同じである。情報処理装置１００は、テキスト６１に含まれる文字列を単語に分割し、テキスト６１の先頭から順に各単語に対して昇順の自然数の位置番号を付与する。"cumulative"が位置＃１５、"incidences"が位置＃１６、"of"が位置＃１７、"non-relapse"が位置＃１８、"mortality"が位置＃１９、"and"が位置＃２０、"relapse"が位置＃２１、"were"が位置＃２２、"13"が位置＃２３、"and"が位置＃２４、"16%"が位置＃２５である。
【0077】
また、訓練データは、テーブル６２を含む。テーブル６２は、位置番号とクラスとスパンとを対応付けた複数のレコードを含む。位置番号は、テキスト６１の中の１つの単語を示す。クラスは、位置番号が示す単語を包含する固有表現のクラスである。スパンは、テキスト６１の各単語が固有表現に属するか否かを示す。スパンは、ＢＩＯ形式の記号列で表される。記号列の長さは、テキスト６１に含まれる単語の個数と同じである。固有表現の先頭の単語は「Ｂ」で表され、固有表現に含まれる先頭以外の単語は「Ｉ」で表され、固有表現に含まれない単語は「Ｏ」で表される。
【0078】
テキスト６１は"cumulative incidences of non-relapse mortality"という固有表現４２を含み、そのクラスは"Other endpoints (clinical)"である。よって、テーブル６２は、位置番号が＃１５、クラスが"Other endpoints (clinical)"、スパンが"BIIIIOOOOOO"というレコードを含む。同様に、テーブル６２は、クラスとスパンが上記と同じで、位置番号がそれぞれ＃１６，＃１７，＃１８，＃１９であるレコードを含む。
【0079】
また、テキスト６１は"cumulative incidences of relapse"という固有表現４３を含み、そのクラスは"Cumulative incidence of relapse"である。よって、テーブル６２は、位置番号が＃１５、クラスが"Cumulative incidence of relapse"、スパンが"BIIOOOIOOOO"というレコードを含む。同様に、テーブル６２は、クラスとスパンが上記と同じで、位置番号がそれぞれ＃１６，＃１７，＃２１であるレコードを含む。
【0080】
次に、固有表現認識モデルとスパン検索モデル５８の構造を説明する。図８は、固有表現認識モデルの構造例を示す図である。固有表現認識モデルは、分散表現モデル１３１、エンコーダ１３２およびフィードフォワードニューラルネットワーク１３３を含む。固有表現認識モデルは、テキストから連続する複数の単語を抽出する。１回に抽出される単語の個数Ｎは、例えば、１２８個、２５６個、５１２個などである。
【0081】
固有表現認識モデルは、複数の単語をそれぞれ分散表現モデル１３１に入力することで、それら複数の単語に対応する分散表現の単語ベクトルｗ１，ｗ２，…，ｗｉ，…，ｗＮを生成する。単語ベクトルは、複数の数値を列挙した列ベクトルである。単語ベクトルの次元数は、例えば、３００次元など数百次元程度である。分散表現モデル１３１が出力する単語ベクトルは、文脈を考慮しない単語ベクトルである。
【0082】
分散表現モデル１３１は、機械学習を通じて生成されたニューラルネットワークである。例えば、分散表現モデル１３１は、着目する単語に対応する次元の数値が１であり、他の次元の数値が０であるOne-hotベクトルを受け付ける。分散表現モデル１３１は、One-hotベクトルを、数百次元程度の次元数の単語ベクトルに変換する。
【0083】
固有表現認識モデルは、単語ベクトルｗ１，ｗ２，…，ｗｉ，…，ｗＮをエンコーダ１３２に入力することで、単語ベクトルｅ１，ｅ２，…，ｅｉ，…，ｅＮを生成する。分散表現モデル１３１と異なり、エンコーダ１３２にはＮ個の単語ベクトルが同時に入力される。エンコーダ１３２が出力する単語ベクトルは、文脈を考慮した単語ベクトルである。よって、同じ単語からでも、前後の単語に応じて異なる単語ベクトルが生成され得る。エンコーダ１３２は、機械学習を通じて生成されたニューラルネットワークである。エンコーダ１３２は、例えば、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）である。ＢＥＲＴは、直列的に重ねられた２４層のTransformerを含む。各Transformerは、入力されたベクトルを別のベクトルに変換する。
【0084】
固有表現認識モデルは、単語ベクトルｅ１，ｅ２，…，ｅｉ，…，ｅＮをフィードフォワードニューラルネットワーク１３３に入力することで、タグスコアｓ１，ｓ２，…，ｓｉ，…，ｓＮを生成する。フィードフォワードニューラルネットワーク１３３には、Ｎ個の単語ベクトルが同時に入力される。よって、フィードフォワードニューラルネットワーク１３３の入力は、単語ベクトルｅ１，ｅ２，…，ｅｉ，…，ｅＮを連結した連結ベクトルである。フィードフォワードニューラルネットワーク１３３は、フィードバックパスを含まない順方向のニューラルネットワークである。
【0085】
ある単語に対応するタグスコアは、複数のクラスに対応する複数の非負整数を含む。あるクラスの数値は、その単語がそのクラスに属する確率を示す。一般的な固有表現認識モデルは、タグスコアｓ１，ｓ２，…，ｓｉ，…，ｓＮに基づいて、全体の確率が最大になるように、各固有表現のクラスおよびスパンを決定する。
【0086】
一方、固有表現認識モデルは、固有表現のスパンを決定しなくてよい。固有表現認識モデルは、同一の単語に対して２以上のクラスを割り当ててもよい。例えば、固有表現認識モデルは、複数の単語それぞれについて、タグスコアから確率が閾値を超える全てのクラスを選択し、選択したクラスを当該単語に割り当てる。よって、固有表現認識モデルは、オーバーラップや入れ子の固有表現のクラスも認識できる。
【0087】
図９は、スパン検索モデルの構造例を示す図である。スパン検索モデル５８は、分散表現モデル１４１、エンコーダ１４２、分散表現モデル１４３、フィードフォワードニューラルネットワーク１４４および条件付き確率場（ＣＲＦ：Conditional Random Field）モデル１４５を含む。スパン検索モデル５８は、テキストから連続する複数の単語を抽出する。１回に抽出される単語の個数Ｎは、固有表現認識モデルと同じである。
【0088】
スパン検索モデル５８は、複数の単語をそれぞれ分散表現モデル１４１に入力することで、それら複数の単語に対応する分散表現の単語ベクトルｗ１，ｗ２，…，ｗｉ，…，ｗＮを生成する。分散表現モデル１４１は、分散表現モデル１３１と同じでもよい。スパン検索モデル５８は、単語ベクトルｗ１，ｗ２，…，ｗｉ，…，ｗＮをエンコーダ１４２に入力することで、単語ベクトルｅ１，ｅ２，…，ｅｉ，…，ｅＮを生成する。エンコーダ１４２は、例えば、ＢＥＲＴである。エンコーダ１４２は、エンコーダ１３２と同じでもよい。
【0089】
スパン検索モデル５８は、単語ベクトルｅ１，ｅ２，…，ｅｉ，…，ｅＮの中から、指定された位置番号＃ｉに対応する単語ベクトルｅｉを選択する。単語ベクトルｅｉは、ｉ番目の単語の単語ベクトルである。また、スパン検索モデル５８は、指定されたクラスを分散表現モデル１４３に入力することで、分散表現のクラスベクトルｃを生成する。クラスベクトルｃは、複数の数値を列挙した列ベクトルである。クラスベクトルｃの次元数は、例えば、３００次元など数百次元程度である。クラスベクトルｃの次元数は、単語ベクトルｅ１，ｅ２，…，ｅｉ，…，ｅＮの次元数と同じでもよい。
【0090】
分散表現モデル１３１は、機械学習を通じて生成されたニューラルネットワークである。例えば、分散表現モデル１４３は、指定されたクラスに対応する次元の数値が１であり、他の次元の数値が０であるOne-hotベクトルを受け付ける。分散表現モデル１４３は、One-hotベクトルを、数百次元程度の次元数のクラスベクトルｃに変換する。分散表現モデル１４３の構造は、分散表現モデル１４１と同じでもよい。
【0091】
スパン検索モデル５８は、単語ベクトルｅ１，ｅ２，…，ｅｉ，…，ｅＮと単語ベクトルｅｉとクラスベクトルｃを、フィードフォワードニューラルネットワーク１４４に入力する。フィードフォワードニューラルネットワーク１４４には、Ｎ＋２個のベクトルが同時に入力される。よって、フィードフォワードニューラルネットワーク１４４の入力は、単語ベクトルｅ１，ｅ２，…，ｅｉ，…，ｅＮと単語ベクトルｅｉとクラスベクトルｃとを連結した連結ベクトルである。フィードフォワードニューラルネットワーク１４４は、フィードバックパスを含まない順方向のニューラルネットワークである。
【0092】
フィードフォワードニューラルネットワーク１４４は、Ｎ個の単語に対応するＮ個のタグスコアを生成する。ある単語に対応するタグスコアは、複数のスパンタグに対応する複数の非負整数を含む。複数のスパンタグは、Ｂ，Ｉ，Ｏである。あるスパンタグの数値は、その単語にそのスパンタグが付与される確率を示す。
【0093】
スパン検索モデル５８は、Ｎ個のタグスコアをＣＲＦモデル１４５に入力することで、Ｎ個の単語に対応するスパンタグｔ１，ｔ２，…，ｔｉ，…，ｔＮを生成する。ＣＲＦモデル１４５は、ニューラルネットワークである。スパンタグの列は、１つだけ「Ｂ」を含み、「Ｂ」の前方には「Ｉ」が出現しないという制約をもつ。ただし、「Ｂ」と「Ｉ」の間に「Ｏ」が存在してもよく、「Ｉ」と「Ｉ」の間に「Ｏ」が存在してもよい。すなわち、固有表現に含まれる２以上の単語が不連続であってもよい。ＣＲＦモデル１４５は、Ｎ個の単語のタグスコアに基づいて、制約条件を満たす範囲で確率が最大になるスパンタグｔ１，ｔ２，…，ｔｉ，…，ｔＮの組み合わせを探索する。
【0094】
次に、情報処理装置１００の機能および処理手順について説明する。図１０は、情報処理装置の機能例を示すブロック図である。情報処理装置１００は、テキスト記憶部１２１、モデル記憶部１２２、タスク結果記憶部１２３、訓練データ生成部１２４、モデル生成部１２５、タスク実行部１２６およびスパン推定部１２７を有する。
【0095】
テキスト記憶部１２１、モデル記憶部１２２およびタスク結果記憶部１２３は、例えば、ＲＡＭ１０２またはＨＤＤ１０３の記憶領域を用いて実装される。訓練データ生成部１２４、モデル生成部１２５、タスク実行部１２６およびスパン推定部１２７は、例えば、ＣＰＵ１０１が実行するプログラムを用いて実装される。
【0096】
テキスト記憶部１２１は、自然言語で記述されたテキストを記憶する。テキスト記憶部１２１は、教師ラベルが付与された機械学習用のテキストを記憶する。また、テキスト記憶部１２１は、教師ラベルが付与されていない解析対象のテキストを記憶する。
【0097】
モデル記憶部１２２は、メインタスクモデルおよびスパン検索モデルを記憶する。モデル記憶部１２２は、複数種類のメインタスクモデルを記憶してもよい。メインタスクモデルは、情報処理装置１００によって生成されてもよいし、他の情報処理装置によって生成されてもよい。スパン検索モデルは、情報処理装置１００によって生成される。
【0098】
タスク結果記憶部１２３は、解析対象のテキストに対して実行された自然言語処理のタスクの結果を示すタスク結果を記憶する。タスク結果は、例えば、固有表現認識の結果、関係抽出の結果または意味役割付与の結果である。タスク結果は、テキストの単語に対応付けられたラベルを含む。ラベルは、クラス情報およびスパン情報を含む。
【0099】
訓練データ生成部１２４は、スパン検索モデルの機械学習用の訓練データを生成する。訓練データ生成部１２４は、テキスト記憶部１２１から教師ラベル付きテキストを読み出す。訓練データ生成部１２４は、教師ラベル付きテキストから固有表現に属する単語を抽出し、単語の位置番号と固有表現に対応付けられたクラスの組を網羅的に生成する。また、訓練データ生成部１２４は、固有表現のスパンのＢＩＯ表現を生成する。訓練データ生成部１２４は、テキストと位置番号とクラスとスパンを含む訓練データを生成する。
【0100】
モデル生成部１２５は、訓練データ生成部１２４が生成した訓練データを用いて、スパン検索モデルの機械学習を実行する。例えば、モデル生成部１２５は、誤差逆伝播法によって、ニューラルネットワークに含まれるエッジの重みを最適化する。モデル生成部１２５は、訓練データに含まれるテキストと位置番号とクラスをスパン検索モデルに入力する。モデル生成部１２５は、スパン検索モデルが出力する推定スパンと訓練データに含まれる正解スパンの間の誤差を算出し、誤差が小さくなるようにパラメータの値を更新する。モデル生成部１２５は、生成されたスパン検索モデルをモデル記憶部１２２に保存する。
【0101】
タスク実行部１２６は、テキスト記憶部１２１から解析対象のテキストを読み出す。また、タスク実行部１２６は、メインタスクモデルをモデル記憶部１２２から読み出す。解析対象のテキストおよびメインタスクは、ユーザから指定される。タスク実行部１２６は、メインタスクモデルにテキストを入力し、テキストとメインタスクモデルの出力をスパン推定部１２７に渡す。タスク実行部１２６は、スパン推定部１２７からスパン情報を取得し、メインタスクモデルの出力とスパン情報を合成してタスク結果を生成する。
【0102】
タスク実行部１２６は、タスク結果を出力する。例えば、タスク実行部１２６は、タスク結果をタスク結果記憶部１２３に保存する。また、例えば、タスク実行部１２６は、タスク結果を表示装置１１１に表示する。また、例えば、タスク実行部１２６は、タスク結果を他の情報処理装置に送信する。
【0103】
スパン推定部１２７は、モデル記憶部１２２からスパン検索モデルを読み出す。スパン推定部１２７は、テキストと位置番号とクラスを含む入力データセットを生成する。スパン推定部１２７は、テキストに加えて位置番号とクラスの組を１つずつスパン検索モデルに入力して、位置番号が示す単語を含む固有表現のスパン情報を生成する。スパン推定部１２７は、生成されたスパン情報の集合をタスク実行部１２６に渡す。
【0104】
図１１は、機械学習の手順例を示すフローチャートである。訓練データ生成部１２４は、固有表現のスパンおよび固有表現に割り当てられたクラスを示す教師ラベルが付与されたテキストを読み出す（Ｓ１０）。訓練データ生成部１２４は、教師ラベルテキストから固有表現に含まれる単語を１つ選択する。訓練データ生成部１２４は、テキストにおける選択された単語の位置を示す位置番号を算出する。また、訓練データ生成部１２４は、選択された単語が属する固有表現に対応付けられているクラスを特定する（Ｓ１１）。
【0105】
訓練データ生成部１２４は、選択された単語が属する固有表現のスパンのＢＩＯ表現を生成する。スパンのＢＩＯ表現は、テキストに含まれる単語の個数に相当する長さをもつ。スパンの先頭の単語は「Ｂ」、スパンに含まれる単語のうち先頭以外の単語は「Ｉ」、スパンに含まれない単語は「Ｏ」で表現される（Ｓ１２）。訓練データ生成部１２４は、ステップＳ１１の位置番号およびクラスと、ステップＳ１２のスパンのＢＩＯ表現とを含むレコードを、訓練データに追加する（Ｓ１３）。
【0106】
訓練データ生成部１２４は、教師ラベル付きテキストから、固有表現に属する単語を全て選択したか判断する。全ての単語が選択された場合はステップＳ１５に処理が進み、それ以外の場合はステップＳ１１に処理が戻る（Ｓ１４）。
【0107】
モデル生成部１２５は、テキストに含まれる複数の単語それぞれを、分散表現の単語ベクトルに変換する。ここで生成される単語ベクトルは、文脈を考慮した単語ベクトルであることが好ましい（Ｓ１５）。モデル生成部１２５は、訓練データからレコードを１つ選択する。モデル生成部１２５は、ステップＳ１５の複数の単語ベクトルの中から、選択されたレコードに含まれる位置番号に応じた１つの単語ベクトルを選択する（Ｓ１６）。
【0108】
モデル生成部１２５は、選択されたレコードに含まれるクラスを、分散表現のクラスベクトルに変換する（Ｓ１７）。モデル生成部１２５は、ステップＳ１５で生成された複数の単語ベクトルと、ステップＳ１６で選択された単語ベクトルと、ステップＳ１７で生成されたクラスベクトルとを連結して、連結ベクトルを生成する。モデル生成部１２５は、連結ベクトルから、スパンのＢＩＯ表現を推定する（Ｓ１８）。
【0109】
モデル生成部１２５は、ステップＳ１８の推定スパンと選択されたレコードに含まれる正解スパンとの間の誤差を評価する。モデル生成部１２５は、誤差が小さくなるように、スパン検索モデルのパラメータの値を更新する（Ｓ１９）。モデル生成部１２５は、ステップＳ１６～Ｓ１９のイテレーションが所定回数に達したか判断する。イテレーションが所定回数に達した場合はステップＳ２１に処理が進み、それ以外の場合はステップＳ１６に処理が戻る。モデル生成部１２５は、スパン検索モデルを保存する（Ｓ２１）。
【0110】
図１２は、自然言語処理の手順例を示すフローチャートである。タスク実行部１２６は、解析対象のテキストおよびメインタスクモデルを読み出す（Ｓ３０）。タスク実行部１２６は、メインタスクモデルにテキストを入力して、メインタスクを実行する。メインタスクモデルの出力は、固有表現のスパン情報を含まなくてよい（Ｓ３１）。
【0111】
スパン推定部１２７は、スパン検索モデルを読み出す（Ｓ３２）。スパン推定部１２７は、ステップＳ３１のメインタスクモデルの出力から、単語の位置を示す位置番号と単語に割り当てられたクラスとを対応付けたデータセットを生成する。データセットは、位置番号とクラスの組み合わせが異なる複数のレコードを含む（Ｓ３３）。
【0112】
スパン推定部１２７は、テキストに含まれる複数の単語それぞれを、分散表現の単語ベクトルに変換する。ここで生成される単語ベクトルは、文脈を考慮した単語ベクトルであることが好ましい（Ｓ３４）。スパン推定部１２７は、データセットからレコードを１つ選択する。スパン推定部１２７は、ステップＳ３４の複数の単語ベクトルの中から、選択されたレコードに含まれる位置番号に応じた１つの単語ベクトルを選択する（Ｓ３５）。
【0113】
スパン推定部１２７は、選択されたレコードに含まれるクラスを、分散表現のクラスベクトルに変換する（Ｓ３６）。スパン推定部１２７は、ステップＳ３４で生成された複数の単語ベクトルと、ステップＳ３５で選択された単語ベクトルと、ステップＳ３６で生成されたクラスベクトルとを連結して、連結ベクトルを生成する。スパン推定部１２７は、連結ベクトルから、スパンのＢＩＯ表現を推定する（Ｓ３７）。
【0114】
スパン推定部１２７は、データセットから全てのレコードを選択したか判断する。全てのレコードが選択された場合はステップＳ３９に処理が進み、それ以外の場合はステップＳ３５に処理が戻る（Ｓ３８）。タスク実行部１２６は、メインタスクモデルの出力とステップＳ３７で推定されたスパンのＢＩＯ表現とを合成する（Ｓ３９）。
【0115】
例えば、ある単語に対して、メインタスクモデルによって「クラスＸ」というラベルが付与され、スパン検索モデルによって「Ｉ」というラベルが付与されたとする。その場合、タスク実行部１２６は、２つのラベルを合成して「Ｉ－クラスＸ」というラベルを生成する。また、「Ｉ－クラスＸ」の単語の前方の単語に対して、メインタスクモデルによってラベルが付与されておらず、スパン検索モデルによって「Ｂ」というラベルが付与されたとする。その場合、タスク実行部１２６は、その単語に対して「Ｂ－クラスＸ」というラベルを付与する。このように、タスク実行部１２６は、正確なスパンを表していないメインタスクモデルの出力に対して、スパン検索モデルが推定したスパンの情報を補完する。
【0116】
タスク実行部１２６は、ステップＳ３９で合成されたタスク結果を出力する。例えば、タスク実行部１２６は、タスク結果をタスク結果記憶部１２３に保存する。また、例えば、タスク実行部１２６は、タスク結果を表示装置１１１に表示する。また、例えば、タスク実行部１２６は、タスク結果を他の情報処理装置に送信する（Ｓ４０）。
【0117】
以上説明したように、第３の実施の形態の情報処理装置１００は、機械学習を通じて、テキストと単語の位置番号と単語に対応付けられたクラスから単語が属する固有表現のスパンを推定するスパン検索モデルを生成する。そして、情報処理装置１００は、メインタスクモデルの後段にスパン検索モデルを接続することで、固有表現のスパンを推定する。各種のメインタスクモデルから分離されたスパン検索モデルを用いることで、情報処理装置１００は、固有表現のスパンを精度よく推定することができる。
【0118】
情報処理装置１００は、スパン検索モデルの機械学習に、様々なタスク用のテキストや様々なドメインのテキストを訓練データとして使用することができる。よって、情報処理装置１００は、訓練データの量を大きくすることができ、スパン検索モデルの精度を向上させることができる。例えば、情報処理装置１００は、医療分野のテキストと政治経済分野のテキストの両方を用いて、スパン検索モデルの精度を向上させることが可能となる。
【0119】
また、情報処理装置１００は、固有表現認識、関係抽出、意味役割付与などのメインタスクの精度の影響を受けずに、スパン推定の精度を向上させることができる。また、スパン推定の精度が原因で、メインタスクの精度が低くなることを抑制できる。また、各種のメインタスクモデルからスパン推定が分離されることにより、メインタスクモデルの実装が容易となり、メインタスク自体の精度が向上する。特に、スパン推定が事後的に行われるため、メインタスクモデルは、固有表現のスパンの境界を意識しなくてよい。
【0120】
また、スパン検索モデルは、着目する１つの単語に対して、その単語を含む固有表現のスパンを推定する。よって、スパン検索モデルは、テキスト上で不連続な固有表現、オーバーラップした固有表現、入れ子の固有表現など、複雑な固有表現のスパンも、精度よく推定することができる。また、スパン検索モデルの構造が簡潔になる。
【0121】
上記については単に本発明の原理を示すものである。更に、多数の変形や変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応する全ての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
【符号の説明】
【0122】
１０ 機械学習装置
１１，２１ 記憶部
１２，２２ 制御部
１３ 訓練データ
１３ａ，２３ａ テキスト
１３ｂ，２３ｂ クラス情報
１３ｃ，２３ｃ 位置情報
１３ｄ，２３ｄ 範囲情報
１４，２４ 機械学習モデル
２０ 自然言語処理装置
２３ 入力データ
１１，２１ 記憶部
１２，２２ 制御部
１３ 訓練データ
１３ａ，２３ａ テキスト
１３ｂ，２３ｂ クラス情報
１３ｃ，２３ｃ 位置情報
１３ｄ，２３ｄ 範囲情報
１４，２４ 機械学習モデル
２０ 自然言語処理装置
２３ 入力データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】