特開 2024-32206 固有表現抽出装置、固有表現抽出方法、固有表現抽出モデル及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024032206

(43)【公開日】2024-03-12

(54)【発明の名称】固有表現抽出装置、固有表現抽出方法、固有表現抽出モデル及びプログラム

(51)【国際特許分類】

   G06F 40/295 20200101AFI20240305BHJP

   G06F 40/216 20200101ALI20240305BHJP

【ＦＩ】

G06F40/295

G06F40/216

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022135736

(22)【出願日】2022-08-29

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 開催日 令和４年６月１７日 集会名、開催場所 ＮＴＣＩＲ－１６ Ｃｏｎｆｅｒｅｎｃｅ ｉｎ ＮＩＩ（Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｉｎｆｏｒｍａｔｉｃｓ），Ｔｏｋｙｏ，Ｊａｐａｎ オンライン開催

(71)【出願人】

【識別番号】398018021

【氏名又は名称】株式会社アドバンスト・メディア

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】小島 淳嗣

(72)【発明者】

【氏名】肥合 智史

(72)【発明者】

【氏名】永山 翔滋

【テーマコード（参考）】

5B091

【Ｆターム（参考）】

5B091EA01

(57)【要約】      （修正有）

【課題】高精度の固有表現抽出を実現する固有表現抽出装置、固有表現抽出方法、固有表現抽出モデル及びプログラムを提供する。
【解決手段】固有表現抽出装置１００は、抽出対象の情報を受け付ける入力部と、前記抽出対象の情報を固有表現抽出モデルに入力し、前記固有表現抽出モデルから前記抽出対象の情報における固有表現の分類クラスの確信度を示す分類ベクトルを取得する処理部と、前記分類ベクトルに基づいて、前記固有表現の分類クラスを示す分類情報を出力する出力部と、を有し、前記固有表現抽出モデルは、前記抽出対象の情報を受け付けると、特定の機械学習モデルの異なる１つ以上の中間層からの複数の隠れベクトルを出力する複数の機械学習モデルと、前記複数の隠れベクトルに基づく出力値に対してアンサンブル処理を実行し、前記分類ベクトルを出力するアンサンブル層と、を有する。
【選択図】図４

【特許請求の範囲】

【請求項1】

抽出対象の情報を受け付ける入力部と、
前記抽出対象の情報を固有表現抽出モデルに入力し、前記固有表現抽出モデルから前記抽出対象の情報における固有表現の分類クラスの確信度を示す分類ベクトルを取得する処理部と、
前記分類ベクトルに基づいて、前記固有表現の分類クラスを示す分類情報を出力する出力部と、
を有し、
前記固有表現抽出モデルは、
前記抽出対象の情報を受け付けると、特定の機械学習モデルの異なる１つ以上の中間層からの複数の隠れベクトルを出力する複数の機械学習モデルと、
前記複数の隠れベクトルに基づく出力値に対してアンサンブル処理を実行し、前記分類ベクトルを出力するアンサンブル層と、
を有する、固有表現抽出装置。

【請求項2】

前記特定の機械学習モデルは、ＢＥＲＴモデルから構成される、請求項１に記載の固有表現抽出装置。

【請求項3】

前記アンサンブル処理は、前記出力値に対して多数決、平均値、中央値、最大値、最小値又はＦ１スコアを決定する、請求項１に記載の固有表現抽出装置。

【請求項4】

前記入力部は、前記抽出対象の情報として文章情報を受け付ける、請求項１に記載の固有表現抽出装置。

【請求項5】

前記入力部は、前記抽出対象の情報として発話を受け付け、
前記出力部は、前記発話における固有表現の分類情報に基づいて、前記受け付けた発話に対して応答する、請求項１に記載の固有表現抽出装置。

【請求項6】

前記複数の隠れベクトルは、シミュレーションによって前記特定の機械学習モデルの中間層から実験的に選定される、請求項１に記載の固有表現抽出装置。

【請求項7】

前記複数の隠れベクトルは、前記特定の機械学習モデルにおける単一の中間層からの隠れベクトルと、複数の中間層からの隠れベクトルの連結ベクトルとの一方又は双方を含む、請求項１に記載の固有表現抽出装置。

【請求項8】

抽出対象の情報を受け付けることと、
前記抽出対象の情報を固有表現抽出モデルに入力し、前記固有表現抽出モデルから前記抽出対象の情報における固有表現の分類クラスの確信度を示す分類ベクトルを取得することと、
前記分類ベクトルに基づいて、前記固有表現の分類クラスを示す分類情報を出力することと、
を有し、
前記固有表現抽出モデルは、
前記抽出対象の情報を受け付けると、特定の機械学習モデルの異なる１つ以上の中間層からの複数の隠れベクトルを出力する複数の機械学習モデルと、
前記複数の隠れベクトルに基づく出力値に対してアンサンブル処理を実行し、前記分類ベクトルを出力するアンサンブル層と、
を有する、コンピュータが実行する固有表現抽出方法。

【請求項9】

抽出対象の情報を受け付ける処理と、
前記抽出対象の情報を固有表現抽出モデルに入力し、前記固有表現抽出モデルから前記抽出対象の情報における固有表現の分類クラスの確信度を示す分類ベクトルを取得する処理と、
前記分類ベクトルに基づいて、前記固有表現の分類クラスを示す分類情報を出力する処理と、
をコンピュータに実行させ、
前記固有表現抽出モデルは、
前記抽出対象の情報を受け付けると、特定の機械学習モデルの異なる１つ以上の中間層からの複数の隠れベクトルを出力する複数の機械学習モデルと、
前記複数の隠れベクトルに基づく出力値に対してアンサンブル処理を実行し、前記分類ベクトルを出力するアンサンブル層と、
を有する、プログラム。

【請求項10】

抽出対象の情報を受け付けると、特定の機械学習モデルの異なる１つ以上の中間層からの複数の隠れベクトルを出力する複数の機械学習モデルと、
前記複数の隠れベクトルに基づく出力値に対してアンサンブル処理を実行し、前記抽出対象の情報における固有表現の分類クラスの確信度を示す分類ベクトルを出力するアンサンブル層と、
をコンピュータに実現させる、固有表現抽出モデル。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、固有表現抽出装置、固有表現抽出方法、固有表現抽出モデル及びプログラムに関する。

【背景技術】

【0002】

ディープラーニングとしばしば呼ばれる機械学習技術の進化によって、様々な用途に機械学習モデルが利用されてきている。例えば、自然言語処理技術においても、様々なタスク（自動翻訳、自動要約、音声認識、固有表現抽出など）に対して機械学習モデルが利用されてきている。ここで、固有表現抽出（Ｎａｍｅｄ Ｅｎｔｉｔｙ Ｒｅｃｏｇｎｉｔｉｏｎ）では、抽出対象の自然文などの情報から固有名詞（例えば、人名、組織名、地名など）、日時、数量などの固有表現が抽出される。

【0003】

このような固有表現抽出のための機械学習モデルとして、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）が開発され、固有表現抽出に効果的に利用可能であることが知られている。ＢＥＲＴは、自然言語処理のためのＴｒａｎｓｆｏｒｍｅｒベースの機械学習モデルである。ＢＥＲＴを利用するためには、事前学習とファインチューニングとがＢＥＲＴに対して実行される必要がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１５７６０２号公報

【特許文献2】特開２０２２－０４２０３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＢＥＲＴを利用した固有表現抽出モデルは、Ｓｏｆｔｍａｘ層などの出力層とＢＥＲＴ層とから構成され、典型的なアプローチでは、出力層は、ＢＥＲＴ層の最終層からの隠れベクトルをロジットに変換し、抽出対象の情報における固有表現を所定の分類クラスに分類する。

【0006】

本開示の１つの課題は、高精度の固有表現抽出を実現する固有表現抽出モデルを提供することである。

【課題を解決するための手段】

【0007】

本開示の一態様は、抽出対象の情報を受け付ける入力部と、前記抽出対象の情報を固有表現抽出モデルに入力し、前記固有表現抽出モデルから前記抽出対象の情報における固有表現の分類クラスの確信度を示す分類ベクトルを取得する処理部と、前記分類ベクトルに基づいて、前記固有表現の分類クラスを示す分類情報を出力する出力部と、を有し、前記固有表現抽出モデルは、前記抽出対象の情報を受け付けると、特定の機械学習モデルの異なる１つ以上の中間層からの複数の隠れベクトルを出力する複数の機械学習モデルと、前記複数の隠れベクトルに基づく出力値に対してアンサンブル処理を実行し、前記分類ベクトルを出力するアンサンブル層と、を有する、固有表現抽出装置に関する。

【発明の効果】

【0008】

本開示によれば、高精度の固有表現抽出を実現する固有表現抽出モデルを提供することができる。

【図面の簡単な説明】

【0009】

【図1】本開示の一実施例による固有表現抽出装置を示す概略図である。

【図2】本開示の一実施例による固有表現抽出モデルのアーキテクチャを示すブロック図である。

【図3】本開示の一実施例による固有表現抽出装置のハードウェア構成を示すブロック図である。

【図4】本開示の一実施例による固有表現抽出装置の機能構成を示すブロック図である。

【図5】本開示の一実施例による特定の中間層からの隠れベクトルの処理を示すブロック図である。

【図6】本開示の一実施例による特定の中間層からの隠れベクトルの処理を示すブロック図である。

【図7】本開示の一実施例による固有表現抽出処理の適用例を示す概略図である。

【図8】本開示の一実施例による固有表現抽出処理の適用例を示す概略図である。

【図9】本開示の一実施例による固有表現抽出処理を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照して本開示の実施の形態を説明する。

【0011】

以下の実施例では、機械学習モデルを利用して、抽出対象の情報に対して固有表現抽出を実行する固有表現抽出装置が開示される。

【0012】

［概略］
図１に示されるように、本開示の一実施例による固有表現抽出装置１００は、固有表現抽出モデル１０を利用して、抽出対象の情報（例えば、文章情報、発話情報など）における固有表現（例えば、固有名詞、日時、数量など）を所定の分類クラスに分類する。本実施例による固有表現抽出モデル１０は、ＢＥＲＴなどの特定の機械学習モデルの１つ以上の中間層及び／又は中間層の組み合わせから複数の隠れベクトルを出力する複数の機械学習モデルを含みうる。

【0013】

固有表現抽出では、固有表現を複数の分類クラスの何れかにタグ付けすることが要求される。例えば、医療分野の情報に対する固有表現抽出では、ｉ）臓器・部位、ｉｉ）病変・症状、ｉｉｉ）薬品、ｉｖ）検査・問診、ｖ）時間表現などの複数の分類クラスに固有表現を分類することが求められうる。ＢＥＲＴなどの自然言語処理モデルでは、中間層は層毎に異なる潜在表現を学習していると考えられうる。例えば、ある１つ以上の中間層は、ｉ）臓器・部位を示す固有表現の抽出のために有用な特徴量として働くことがあり、また、他の１つ以上の中間層は、ｉｉ）病変・症状を示す固有表現の抽出のために有用な特徴量として働くことがあるなどである。ただし、各タスクに効果的な中間層は実験的に確かめる必要がある。

【0014】

本実施例による固有表現抽出装置１００は、ＢＥＲＴなどの特定の機械学習モデルの１つ以上の中間層及び／又は中間層の組み合わせから複数の隠れベクトルを取得し、これら複数の隠れベクトルに基づいて、固有表現が属する分類クラスの確信度を示す分類ベクトルを生成する固有表現抽出モデル１０を利用する。

【0015】

例えば、固有表現抽出モデル１０は、特定の機械学習モデルの１つ以上の中間層及び／又は中間層の組み合わせからの隠れベクトルを出力する複数の機械学習モデルから複数の隠れベクトルを取得し、取得した複数の隠れベクトルに対してアンサンブル処理（例えば、多数決、平均値、中央値、最大値、最小値又はＦ１スコアなどに基づく）を実行し、固有表現が属する分類クラスの確信度を示す分類ベクトルを生成する。

【0016】

これにより、本実施例による固有表現抽出装置１００は、各分類クラスの固有表現の抽出に適した１つ以上の中間層及び／又は中間層の組み合わせからの隠れベクトルを出力する複数の機械学習モデルを利用して、固有表現を高精度に分類することができる。

【0017】

なお、図示された実施例では、固有表現抽出モデル１０は、固有表現抽出装置１００に搭載されるが、本開示による固有表現抽出モデル１０は、これに限定されず、例えば、固有表現抽出装置１００に通信接続された外部装置（例えば、クラウド上のサーバなど）に備えられてもよい。この場合、固有表現抽出装置１００は、抽出対象の情報をトークン系列に変換するなどの前処理を実行し、トークン系列を外部装置に送信し、外部装置上の固有表現抽出モデル１０によって生成された分類ベクトルを受信するようにしてもよい。

【0018】

［モデルアーキテクチャ］
図２は、本開示の一実施例による固有表現抽出モデル１０のアーキテクチャを示すブロック図である。図２に示されるように、固有表現抽出モデル１０は、抽出対象の情報を示す入力トークン１１を受け付け、固有表現の分類結果を示すラベルシーケンス１５を出力する。本実施例による固有表現抽出モデル１０は、医療分野の固有表現を分類するよう適応されている。図示される実施例による固有表現抽出モデル１０は、複数のＵＴＨ－ＢＥＲＴ １２＿１～１２＿３（以降、ＵＴＨ－ＢＥＲＴ １２として総称されてもよい）、複数のＳｏｆｔｍａｘ層１３＿１～１３＿３（以降、Ｓｏｆｔｍａｘ層１３として総称されてもよい）、及びアンサンブル層１４から構成される。

【0019】

ＵＴＨ－ＢＥＲＴ １２＿１～１２＿３は、入力トークンを受け取り、事前学習及びファインチューニングされたＢＥＲＴの１つ以上の中間層及び／又は中間層の組み合わせからの隠れベクトルを出力する。各ＵＴＨ－ＢＥＲＴ １２＿１～１２＿３は、ラベルなし医療コーパスにより事前学習され、ＮＴＣＩＲ（ＮＩＩ Ｔｅｓｔｂｅｄｓ ａｎｄ Ｃｏｍｍｕｎｉｔｙ ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ ａｃｃｅｓｓ Ｒｅｓｅａｒｃｈ）データとして参照される情報検索用の研究用データセットによってファインチューニングされたＢＥＲＴモデルに基づくものである。以下の実施例によるＢＥＲＴモデルは、１２個の中間層＃１～＃１２から構成される。

【0020】

例えば、ＵＴＨ－ＢＥＲＴ １２＿１は、ファインチューニングされたＢＥＲＴモデルの中間層＃１１の隠れベクトルｈ^１１を出力する。また、ＵＴＨ－ＢＥＲＴ １２＿２は、ファインチューニングされたＢＥＲＴモデルの中間層＃１１，＃１２の隠れベクトルｈ^１１，ｈ^１２の連結［ｈ^１１；ｈ^１２］を出力する。また、ＵＴＨ－ＢＥＲＴ １２＿３は、ファインチューニングされたＢＥＲＴモデルの中間層＃９，＃１０，＃１１，＃１２の隠れベクトルｈ^９，ｈ^１０，ｈ^１１，ｈ^１２の連結［ｈ^９；ｈ^１０；ｈ^１１；ｈ^１２］を出力する。例えば、各隠れベクトルは、７６８次元を有してもよく、２つの隠れベクトルが連結される場合、１５３６（＝７６８×２）次元の連結ベクトルが出力されうる。

【0021】

ここで、選択される隠れベクトル及び／又は隠れベクトルの組み合わせは、所定の分類クラスに固有表現を精度良く分類する中間層及び／又は中間層の組み合わせを実験的に決定することによって選定されてもよい。

【0022】

図示された実施例では、３つのＵＴＨ－ＢＥＲＴ １２＿１～１２＿３が利用されるが、本開示による固有表現抽出モデル１０は、必ずしもこれに限定されず、２つ以上の他の何れかの数のＵＴＨ－ＢＥＲＴ １２を有してもよい。また、本実施例では、隠れベクトル［ｈ^１１］，［ｈ^１１；ｈ^１２］及び［ｈ^９；ｈ^１０；ｈ^１１；ｈ^１２］が利用されているが、本開示による固有表現抽出モデル１０は、必ずしもこれらに限定されず、他の中間層からの隠れベクトルが利用されてもよい。

【0023】

Ｓｏｆｔｍａｘ層１３＿１～１３＿３はそれぞれ、ＵＴＨ－ＢＥＲＴ １２＿１～１２＿３から出力された隠れベクトル［ｈ^１１］，［ｈ^１１；ｈ^１２］及び［ｈ^９；ｈ^１０；ｈ^１１；ｈ^１２］を受け付け、抽出対象の分類クラス数次元の確率ベクトル、すなわち、各要素が［０，１］の値をとり、全ての要素の合計が１になるよう変換されたベクトルをアンサンブル層１４に出力する。

【0024】

アンサンブル層１４は、Ｓｏｆｔｍａｘ層１３＿１～１３＿３から取得した各確率ベクトルに対してアンサンブル処理を実行し、固有表現が属する分類クラスの確信度を示す分類ベクトルを出力する。例えば、抽出対象の文章情報が医療分野に関するものである場合、アンサンブル層１４は、文章情報における各固有表現が、ｉ）臓器・部位、ｉｉ）病変・症状、ｉｉｉ）薬品、ｉｖ）検査・問診、ｖ）時間表現などの所定の分類クラスの何れに該当するかに関する確信度を示す分類クラス数次元のベクトルを出力してもよい。

【0025】

ここで、固有表現抽出装置１００はそれぞれ、サーバ、パーソナルコンピュータ等の計算装置によって実現され、例えば、図３に示されるようなハードウェア構成を有してもよい。すなわち、固有表現抽出装置１００は、バスＢを介し相互接続される記憶装置１０１、プロセッサ１０２、ユーザインタフェース（ＵＩ）装置１０３及び通信装置１０４を有する。

【0026】

固有表現抽出装置１００における後述される各種機能及び処理を実現するプログラム又は指示は、ネットワークなどを介し何れかの外部装置からダウンロードされてもよいし、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の着脱可能な記憶媒体から提供されてもよい。記憶装置１０１は、ランダムアクセスメモリ、フラッシュメモリ、ハードディスクドライブなどによって実現され、インストールされたプログラム又は指示と共に、プログラム又は指示の実行に用いられるファイル、データ等を格納する。記憶装置１０１は、非一時的な記憶媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含んでもよい。

【0027】

プロセッサ１０２は、１つ以上のプロセッサコアから構成されうる１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）等によって実現されてもよく、記憶装置１０１に格納されたプログラム、指示、当該プログラム若しくは指示を実行するのに必要なパラメータなどのデータ等に従って、固有表現抽出装置１００はそれぞれの各種機能及び処理を実行する。ユーザインタフェース（ＵＩ）装置１０３は、キーボード、マウス、カメラ、マイクロフォン等の入力装置、ディスプレイ、スピーカ、ヘッドセット、プリンタ等の出力装置、タッチパネル等の入出力装置から構成されてもよく、ユーザと固有表現抽出装置１００との間のインタフェースを実現する。例えば、ユーザは、ディスプレイ又はタッチパネルに表示されたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をキーボード、マウス等を操作し、固有表現抽出装置１００を操作する。通信装置１０４は、外部装置、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信ネットワークとの通信処理を実行する各種通信回路により実現される。

【0028】

しかしながら、上述したハードウェア構成は単なる一例であり、本開示による固有表現抽出装置１００は、他の何れか適切なハードウェア構成により実現されてもよい。

【0029】

［固有表現抽出装置］
次に、図４～８を参照して、本開示の一実施例による固有表現抽出装置１００を説明する。本実施例による固有表現抽出装置１００は、抽出対象の情報（例えば、文章情報、発話情報など）における固有表現を医療分野における分類クラスに分類する。例えば、「より重い物の持ち上げが困難になり、階段の昇りが遅くなるなど四肢の筋力低下が緩徐に進行した。」という文章情報を受け付けると、固有表現抽出装置１００は、「四肢」を分類クラス「臓器・部位」に分類し、「筋力低下」を分類クラス「病変・症状」に分類してもよい。

【0030】

図４は、本開示の一実施例による固有表現抽出装置１００の機能構成を示すブロック図である。図４に示されるように、固有表現抽出装置１００は、入力部１１０、処理部１２０、及び出力部１３０を有する。ここで、固有表現抽出モデル１０は、図２を参照して上述したように、ＢＥＲＴなどの特定の機械学習モデルの選択された１つ以上の中間層及び／又は中間層の組み合わせから出力される複数の隠れベクトルを利用して、固有表現の分類クラスを示す分類ベクトルを出力してもよい。また、固有表現抽出モデル１０は、固有表現抽出装置１００に内蔵されてもよいし、あるいは、クラウド上などに格納され、通信接続を介し固有表現抽出装置１００に利用されてもよい。

【0031】

入力部１１０は、抽出対象の情報を受け付ける。例えば、入力部１１０は、文章情報を受け付けると、文章情報に対して何れか公知の自然言語処理を実行し、当該文章情報を単語（トークン）系列に変換してもよい。あるいは、他の例では、入力部１１０は、発話情報を受け付けると、発話情報に対して何れか公知の音声認識処理を実行し、認識結果として取得した文章情報をトークン系列に変換してもよい。入力部１１０は、変換されたトークン系列を処理部１２０にわたす。

【0032】

処理部１２０は、抽出対象の情報を固有表現抽出モデル１０に入力し、固有表現抽出モデル１０から抽出対象の情報における固有表現の分類クラスの確信度を示す分類ベクトルを取得する。具体的には、処理部１２０が固有表現抽出モデル１０にトークン系列１１を入力すると、固有表現抽出モデル１０は、ＵＴＨ－ＢＥＲＴ １２＿１～１２＿３のそれぞれにトークン系列１１を入力し、ＵＴＨ－ＢＥＲＴ １２＿１～１２＿３のそれぞれから隠れベクトル［ｈ^１１］，［ｈ^１１；ｈ^１２］及び［ｈ^９；ｈ^１０；ｈ^１１；ｈ^１２］を取得する。例えば、これらの隠れベクトルは、シミュレーションによって特定の機械学習モデルの中間層から実験的に選定されてもよい。すなわち、複数の隠れベクトルは、抽出対象の情報の分野（例えば、医療分野、介護分野など）における固有表現抽出において良好な抽出精度を実現する隠れベクトルの組み合わせをシミュレーションなどによって実験的に確認することによって選定されてもよい。良好な抽出精度を実現する複数の中間層及び／又は中間層の組み合わせからの隠れベクトルを出力する複数のモデルが、相補的に推論に活用されてもよい。また、本実施例による固有表現抽出モデル１０は、３つのモデルＵＴＨ－ＢＥＲＴ １２＿１～１２＿３を含むが、本開示による固有表現抽出モデルは、これに限定されず、所定の閾値以上の抽出精度を実現する何れかの数のモデルを含んでもよい。

【0033】

一実施例では、複数の隠れベクトルは、特定の機械学習モデルにおける単一の中間層からの隠れベクトルと、複数の中間層からの隠れベクトルの連結ベクトルとの一方又は双方を含んでもよい。例えば、図５に示されるように、ＵＴＨ－ＢＥＲＴ １２＿１から７６８次元の隠れベクトル［ｈ^１１］を取得すると、固有表現抽出モデル１０は、取得した隠れベクトル［ｈ^１１］を線形層１６＿１に入力し、分類クラス数次元のベクトルを取得する。また、線形層１６＿１は、７６８次元のベクトルを分類クラス数次元のベクトルに線形変換するレイヤであってもよい。そして、固有表現抽出モデル１０は、取得した分類クラス数次元のベクトルをＳｏｆｔｍａｘ層１３＿１に入力し、各分類クラスに属する確信度を示す確率ベクトルを出力する。例えば、Ｓｏｆｔｍａｘ層１３＿１は、抽出された固有表現がｉ）臓器・部位、ｉｉ）病変・症状、ｉｉｉ）薬品、ｉｖ）検査・問診、ｖ）時間表現などの何れに該当する可能性があるかを示すスコア又は確信度を要素とする分類クラス数次元のベクトルを出力してもよい。

【0034】

同様に、例えば、図６に示されるように、ＵＴＨ－ＢＥＲＴ １２＿２から１５３６（＝７６８×２）次元の隠れベクトル［ｈ^１１；ｈ^１２］を取得すると、固有表現抽出モデル１０は、取得した隠れベクトル［ｈ^１１；ｈ^１２］を線形層１６＿２に入力し、分類クラス数次元のベクトルを取得する。ここで、隠れベクトル［ｈ^１１；ｈ^１２］は、例えば、ｈ^１１とｈ^１２との２つのベクトルを連結したものであってもよい。また、線形層１６＿２は、１５３６次元のベクトルを分類クラス数次元のベクトルに線形変換するレイヤであってもよい。そして、固有表現抽出モデル１０は、取得した分類クラス数次元のベクトルをＳｏｆｔｍａｘ層１３＿２に入力し、各分類クラスに属する確信度を示す確率ベクトルを出力する。例えば、Ｓｏｆｔｍａｘ層１３＿２は、抽出された固有表現がｉ）臓器・部位、ｉｉ）病変・症状、ｉｉｉ）薬品、ｉｖ）検査・問診、ｖ）時間表現などの何れに該当する可能性があるかを示すスコア又は確信度を要素とする分類クラス数次元のベクトルを出力してもよい。

【0035】

図２を参照して、アンサンブル層１４は、Ｓｏｆｔｍａｘ層１３＿１～１３＿３から３つの分類クラス数次元ベクトルを取得すると、取得した３つの分類クラス数次元ベクトルに対してアンサンブル処理を実行し、抽出対象の情報における固有表現の分類クラスの確信度を示す分類ベクトルを出力する。

【0036】

例えば、アンサンブル処理は、Ｓｏｆｔｍａｘ層１３＿１～１３＿３から出力される確率ベクトル１７＿１～１７＿３に対して多数決、平均値、中央値、最大値、最小値又はＦ１スコアを決定してもよい。例えば、多数決がアンサンブル処理に適用される場合、アンサンブル層１４は、各確率ベクトル１７＿１～１７＿３において最も高い確率の分類クラスを特定し、多数決原理によって固有表現の分類クラスを示す分類情報を出力してもよい。なお、確率ベクトル１７＿１～１７＿３において最も高い確率の分類クラスが互いに異なる場合、アンサンブル層１４は、平均値、中央値、最大値、最小値又はＦ１スコアなどの他の選択基準を適用してもよい。

【0037】

また、平均値又は中央値がアンサンブル処理に適用される場合、アンサンブル層１４は、各確率ベクトル１７＿１～１７＿３の平均値又は中央値を要素とするベクトルを算出し、算出されたベクトルの最も高い値を有する要素に対応する分類クラスを示す分類情報を出力してもよい。

【0038】

また、最大値又は最小値がアンサンブル処理に適用される場合、アンサンブル層１４は、３つの確率ベクトル１７＿１～１７＿３の要素のうち最大値又は最小値を有する要素に対応する分類クラスを示す分類情報を出力してもよい。

【0039】

また、Ｆ１スコアがアンサンブル処理として適用される場合、アンサンブル層１４は、各確率ベクトル１７＿１～１７＿３のＦ１スコアを算出し、算出したＦ１スコアに基づいて固有表現の分類クラスを示す分類情報を出力してもよい。

【0040】

固有表現抽出モデル１０は、このようにして生成された分類情報を処理部１２０にわたす。分類情報を取得すると、処理部１２０は、取得した分類情報を出力部１３０にわたす。

【0041】

出力部１３０は、分類ベクトルに基づいて、固有表現の分類クラスを示す分類情報を出力する。具体的には、出力部１３０は、固有表現抽出モデル１０から出力された分類ベクトルに基づいて、抽出対象の情報における固有表現の分類クラスを出力する。例えば、固有表現抽出モデル１０が、図７に示されるような文章情報における “２００２年夏”、“四肢”、“筋力低下”、“鼻声”、“ろれつが回りにくくなった”、及び“むせる”の固有表現を、“ｖｉ）時間表現（ｔｉｍｅｘ３：ｄｕｒａｔｉｏｎ）”、“ｉ）臓器・部位（ａ）”、“ｉｉ）病変・症状（ｄ：ｐｏｓｉｔｉｖｅ）”、“ｉｉ）病変・症状（ｄ：ｐｏｓｉｔｉｖｅ）”、“ｉｉ）病変・症状（ｄ：ｐｏｓｉｔｉｖｅ）”、及び“ｉｉ）病変・症状（ｄ：ｐｏｓｉｔｉｖｅ）”にそれぞれ分類すると、出力部１３０は、各固有表現と分類クラスとの当該関連付けを示す分類情報を出力する。

【0042】

例えば、出力部１３０は、図７に示されるようなデータベースに分類情報を格納してもよい。また、出力部１３０は、分類情報に基づいて文章情報に対する応答を出力してもよい。図示された例では、出力部１３０は、何れか公知の自動応答技術を利用して、文書情報に対して分類情報に基づいて音声メッセージにより自動応答してもよい。また、出力部１３０は、何れか公知の要約作成技術を利用して、分類情報に基づいて文書情報の要約を生成してもよい。

【0043】

また、入力部１１０は、抽出対象の情報として発話を受け付け、出力部１３０は、当該発話における固有表現の分類情報に基づいて、受け付けた発話に対して応答してもよい。すなわち、固有表現抽出装置１００は、自動応答装置として実現されてもよく、例えば、図８に示されるように、入力部１１０が発話者から名前を示す発話（例えば、“タカハシ”、“ヤマダ”、“サイトウ”など）を受け付けると、受け付けた発話から名前を示す部分を固有表現として抽出し、抽出した名前によって応答を自動的に返してもよい。

【0044】

［固有表現抽出処理］
次に、図９を参照して、本開示の一実施例による固有表現抽出処理を説明する。当該固有表現抽出処理は、上述した固有表現抽出装置１００によって実行され、より詳細には、固有表現抽出装置１００の１つ以上のプロセッサ１０２が１つ以上の記憶装置１０１に格納された１つ以上のプログラム又は指示を実行することによって実現されてもよい。また、当該固有表現抽出モデル１０は、抽出対象の情報を受け付けると、ＢＥＲＴなどの特定の機械学習モデルの異なる１つ以上の中間層からの複数の隠れベクトルを出力する複数の機械学習モデルと、複数の隠れベクトルに基づく出力値に対してアンサンブル処理を実行し、分類ベクトルを出力するアンサンブル層とを有してもよい。

【0045】

図９は、本開示の一実施例による固有表現抽出処理を示すフローチャートである。図９に示されるように、ステップＳ１０１において、固有表現抽出装置１００は、抽出対象の情報を受け付ける。具体的には、固有表現抽出装置１００は、文章情報、発話情報などの情報を取得し、何れか公知の音声認識技術及び／又は自然言語処理技術を利用して、当該情報をトークン（単語）系列に分解する。

【0046】

ステップＳ１０２において、固有表現抽出装置１００は、固有表現抽出モデル１０に抽出対象の情報を入力する。具体的には、固有表現抽出装置１００は、トークン系列１１を固有表現抽出モデル１０に入力する。例えば、図２に示される固有表現抽出モデル１０は、医療分野に適応されたＢＥＲＴ（例えば、ＵＴＨ－ＢＥＲＴ）の中間層＃１１、中間層＃１１，＃１２、及び中間層＃９，＃１０，＃１１，＃１２から取得される３つの隠れベクトル［ｈ^１１］，［ｈ^１１；ｈ^１２］及び［ｈ^９；ｈ^１０；ｈ^１１；ｈ^１２］を利用して、医療分野における所定の分類クラスにトークン系列の固有表現を分類してもよい。しかしながら、本開示による固有表現抽出モデル１０は、必ずしもこれに限定されず、特定の分野に適応するよう事前学習及びファインチューニングされた特定の固有表現抽出モデルの複数の中間層からの隠れベクトルを利用可能な他の何れかのアーキテクチャを有してもよい。

【0047】

ステップＳ１０３において、固有表現抽出装置１００は、固有表現抽出モデル１０から分類ベクトルを取得する。具体的には、固有表現抽出モデル１０では、トークン系列１１は、ＵＴＨ－ＢＥＲＴ １２＿１～１２＿３に入力され、ＵＴＨ－ＢＥＲＴ １２＿１～１２＿３のそれぞれから隠れベクトル［ｈ^１１］，［ｈ^１１；ｈ^１２］及び［ｈ^９；ｈ^１０；ｈ^１１；ｈ^１２］を取得する。隠れベクトル［ｈ^１１］，［ｈ^１１；ｈ^１２］及び［ｈ^９；ｈ^１０；ｈ^１１；ｈ^１２］はそれぞれ、Ｓｏｆｔｍａｘ層１３＿１～１３＿３に入力され、各要素が［０，１］の値を有し、全ての要素の合計が１である分類クラス数次元の３つの確率ベクトルを取得する。これら３つの確率ベクトルに対して、アンサンブル層１４において多数決、平均値、中央値、最大値、最小値又はＦ１スコアなどのアンサンブル処理が実行され、処理結果として固有表現の分類クラスの確信度を示す分類ベクトルを取得する。

【0048】

ステップＳ１０４において、固有表現抽出装置１００は、分類クラスに基づいて、固有表現の分類クラスを示す分類情報を出力する。具体的には、固有表現抽出装置１００は、取得した分類ベクトルにおいて最も高い確信度を示す分類クラスによって当該固有表現をタグ付けしてもよい。抽出対象の各固有表現とタグ付けされた分類クラスとの関連付けは、データベースなどに格納されてもよく、固有表現抽出装置１００は、当該データベースを利用して、抽出対象の情報に対する応答、要約などを作成してもよい。

【0049】

上述した固有表現抽出装置１００及び固有表現抽出処理によると、ＢＥＲＴなどの特定の固有表現抽出モデルにおける１つ以上の中間層及び／又は中間層の組み合わせから取得される複数の隠れベクトルを利用して、抽出対象の情報に対する高精度な固有表現抽出を実現することができる。

【0050】

なお、以上の説明に関して更に以下の付記を開示する。
（付記１）
抽出対象の情報を受け付ける入力部と、
前記抽出対象の情報を固有表現抽出モデルに入力し、前記固有表現抽出モデルから前記抽出対象の情報における固有表現の分類クラスの確信度を示す分類ベクトルを取得する処理部と、
前記分類ベクトルに基づいて、前記固有表現の分類クラスを示す分類情報を出力する出力部と、
を有し、
前記固有表現抽出モデルは、
前記抽出対象の情報を受け付けると、特定の機械学習モデルの異なる１つ以上の中間層からの複数の隠れベクトルを出力する複数の機械学習モデルと、
前記複数の隠れベクトルに基づく出力値に対してアンサンブル処理を実行し、前記分類ベクトルを出力するアンサンブル層と、
を有する、固有表現抽出装置。
（付記２）
前記特定の機械学習モデルは、ＢＥＲＴモデルから構成される、付記１に記載の固有表現抽出装置。
（付記３）
前記アンサンブル処理は、前記出力値に対して多数決、平均値、中央値、最大値、最小値又はＦ１スコアを決定する、付記１又は２に記載の固有表現抽出装置。
（付記４）
前記入力部は、前記抽出対象の情報として文章情報を受け付ける、付記１から３の何れか１つに記載の固有表現抽出装置。
（付記５）
前記入力部は、前記抽出対象の情報として発話を受け付け、
前記出力部は、前記発話における固有表現の分類情報に基づいて、前記受け付けた発話に対して応答する、付記１から４の何れか１つに記載の固有表現抽出装置。
（付記６）
前記複数の隠れベクトルは、シミュレーションによって前記特定の機械学習モデルの中間層から実験的に選定される、付記１から５の何れか１つに記載の固有表現抽出装置。
（付記７）
前記複数の隠れベクトルは、前記特定の機械学習モデルにおける単一の中間層からの隠れベクトルと、複数の中間層からの隠れベクトルの連結ベクトルとの一方又は双方を含む、付記１から６の何れか１つに記載の固有表現抽出装置。
（付記８）
抽出対象の情報を受け付けることと、
前記抽出対象の情報を固有表現抽出モデルに入力し、前記固有表現抽出モデルから前記抽出対象の情報における固有表現の分類クラスの確信度を示す分類ベクトルを取得することと、
前記分類ベクトルに基づいて、前記固有表現の分類クラスを示す分類情報を出力することと、
を有し、
前記固有表現抽出モデルは、
前記抽出対象の情報を受け付けると、特定の機械学習モデルの異なる１つ以上の中間層からの複数の隠れベクトルを出力する複数の機械学習モデルと、
前記複数の隠れベクトルに基づく出力値に対してアンサンブル処理を実行し、前記分類ベクトルを出力するアンサンブル層と、
を有する、コンピュータが実行する固有表現抽出方法。
（付記９）
抽出対象の情報を受け付ける処理と、
前記抽出対象の情報を固有表現抽出モデルに入力し、前記固有表現抽出モデルから前記抽出対象の情報における固有表現の分類クラスの確信度を示す分類ベクトルを取得する処理と、
前記分類ベクトルに基づいて、前記固有表現の分類クラスを示す分類情報を出力する処理と、
をコンピュータに実行させ、
前記固有表現抽出モデルは、
前記抽出対象の情報を受け付けると、特定の機械学習モデルの異なる１つ以上の中間層からの複数の隠れベクトルを出力する複数の機械学習モデルと、
前記複数の隠れベクトルに基づく出力値に対してアンサンブル処理を実行し、前記分類ベクトルを出力するアンサンブル層と、
を有する、プログラム。
（付記１０）
抽出対象の情報を受け付けると、特定の機械学習モデルの異なる１つ以上の中間層からの複数の隠れベクトルを出力する複数の機械学習モデルと、
前記複数の隠れベクトルに基づく出力値に対してアンサンブル処理を実行し、前記抽出対象の情報における固有表現の分類クラスの確信度を示す分類ベクトルを出力するアンサンブル層と、
をコンピュータに実現させる、固有表現抽出モデル。

【0051】

以上、本開示の実施例について詳述したが、本開示は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0052】

１０ 固有表現抽出モデル
１００ 固有表現抽出装置
１１０ 入力部
１２０ 処理部
１３０ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】