(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-20
(54)【発明の名称】分野特有の自然言語処理モデルを使用した文書の分類
(51)【国際特許分類】
G06F 16/35 20190101AFI20231213BHJP
G06V 30/418 20220101ALI20231213BHJP
G06V 10/70 20220101ALI20231213BHJP
G06T 7/00 20170101ALI20231213BHJP
G06F 40/279 20200101ALI20231213BHJP
【ＦＩ】
G06F16/35
G06V30/418
G06V10/70
G06T7/00 350B
G06F40/279
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023535028
(86)(22)【出願日】2021-12-09
(85)【翻訳文提出日】2023-07-24
(86)【国際出願番号】 US2021062661
(87)【国際公開番号】W WO2022125803
(87)【国際公開日】2022-06-16
(31)【優先権主張番号】63/123,336
(32)【優先日】2020-12-09
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】391015708
【氏名又は名称】ブリストル－マイヤーズ スクイブ カンパニー
【氏名又は名称原語表記】ＢＲＩＳＴＯＬ－ＭＹＥＲＳ ＳＱＵＩＢＢ ＣＯＭＰＡＮＹ
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】デサイ，サミーン・マユル
(72)【発明者】
【氏名】セルバリノフ，グリゴリー・アレクサンドロビッチ
【テーマコード（参考）】
5B175
5L096
【Ｆターム（参考）】
5B175DA01
5B175FA03
5L096BA18
5L096KA04
(57)【要約】
本明細書では、ＣＮＮおよびＢｉＬＳＴＭを使用して文書を分類するための、システム、装置、デバイス、方法、および／またはコンピュータプログラム製品の実施形態、および／またはそれらの組み合わせおよび部分的組み合わせが提供される。
【特許請求の範囲】
【請求項1】
方法であって、１つまたは複数のコンピューティングデバイスによって、文書のセットと、前記文書のセットの各文書のメタデータとを受信するステップであって、前記文書のセットは分野に対応する、受信するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記文書のセットの各文書の単語埋め込みのセットを生成するステップであって、各単語埋め込みはそれぞれの文書からの１つまたは複数の単語を含む、生成するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記単語埋め込みのセットの各単語埋め込みをセグメントのセットにトークン化するステップであって、各セグメントは前記単語埋め込みからの単語を含む、トークン化するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記文書のセットの各文書の前記セグメントのセットの前記セグメントの各々を特徴のセットに分解するステップと、
対応するセグメントの前記特徴のセットの各特徴に割り当てられた所定の重みに基づいて、前記１つまたは複数のコンピューティングデバイスによって、前記文書のセットの各文書について前記セグメントのセットの前記セグメントの各々に品詞タグを割り当てるステップと、
前記対応するセグメントに割り当てられた前記品詞タグと、前記対応する文字列の前記特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記１つまたは複数のコンピューティングデバイスによって、前記文書のセットの各文書の前記セグメントのセットの前記セグメントの各々に依存関係タグを割り当てるステップと、
前記対応するセグメントに割り当てられた前記品詞タグおよび依存関係タグと、前記対応するセグメントの前記特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記１つまたは複数のコンピューティングデバイスによって、前記分野に対応する定義済みのラベルのセットから、前記文書のセットの各文書の前記セグメントのセットの前記セグメントの各々に、固有表現認識（ＮＥＲ）ラベルを割り当てるステップと、
を再帰的に行うことによって、前記１つまたは複数のコンピューティングデバイスによって、前記分野の前記文書のセットの各文書を分類するために学習モデルを訓練するステップと、
前記１つまたは複数のコンピューティングデバイスによって、各文書の前記メタデータを前記それぞれの文書の前記割り当てられたＮＥＲラベルと比較することによって、前記割り当てられたＮＥＲラベルを検証するステップと、
を含む、方法。
【請求項2】
前記１つまたは複数のコンピューティングデバイスによって、前記分野に対応する新しい文書を分類する要求を受信するステップと、前記１つまたは複数のコンピューティングデバイスによって、前記新しい文書の１つまたは複数の単語を含む新しい単語埋め込みを生成するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記分野に対応する前記新しい単語埋め込みを、新しいセグメントのセットにトークン化するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記新しい文書の前記１つまたは複数の文字列の各々を新しい特徴のセットに分解するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記訓練された学習モデルを使用して、対応する新しいセグメントの前記新しい特徴のセットの各特徴に割り当てられた所定の重みに基づいて、前記新しい文書の前記新しいセグメントのセットの各新しいセグメントに新しい品詞タグを割り当てるステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記訓練された学習モデルを使用して、前記対応する新しいセグメントに割り当てられた前記品詞タグと、前記対応する新しいセグメントの前記新しい特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記新しい文書の前記新しいセグメントのセットの前記新しいセグメントの各々に新しい依存関係ラベルを割り当てるステップと、
前記訓練された学習モデルを使用して、前記新しい対応するセグメントに割り当てられた前記品詞タグおよび依存関係タグと、前記対応する新しいセグメントの前記新しい特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記１つまたは複数のコンピューティングデバイスによって、前記分野に対応する前記定義済みのラベルのセットからの新しいＮＥＲラベルを、前記新しい文書の前記新しいセグメントのセットの前記セグメントの各々に割り当てるステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記訓練された学習モデルを使用して、前記割り当てられたＮＥＲラベルに基づいて前記分野に対応する前記新しい文書を分類するステップと、
をさらに含む、請求項１に記載の方法。
【請求項3】
前記１つまたは複数のコンピューティングデバイスによって、前記新しいセグメントのセットおよび前記割り当てられたＮＥＲラベルを抽出するステップと、前記１つまたは複数のコンピューティングデバイスによって、知識ベースを生成するステップであって、
前記知識ベースは、複数のノードおよび複数のエッジを含み、
エッジは、関係に基づいて前記複数のノードの各ノードを前記複数のノードの少なくとも１つの他のノードに接続し、
前記複数のノードの各ノードは、前記新しいセグメントのセットの少なくとも１つのセグメントと、前記割り当てられたＮＥＲラベルの対応するＮＥＲラベルと、を含む、ステップと、
をさらに含む、請求項２に記載の方法。
【請求項4】
前記１つまたは複数のコンピューティングデバイスによって、ノード内の前記割り当てられたＮＥＲラベルの第１のＮＥＲラベルおよび異なるノードに記憶された前記割り当てられたＮＥＲラベルの第２のＮＥＲラベルに基づいて、前記複数のノードの前記ノードと前記複数のノードの前記異なるノードとの間の前記関係を識別するステップをさらに含む、請求項３に記載の方法。
【請求項5】
前記学習モデルを訓練する各反復の後に、前記文書のセットの各文書について、前記特徴のセットの前記特徴に割り当てられた前記重みを反復的に修正するステップをさらに含む、請求項１に記載の方法。
【請求項6】
前記学習モデルは、前記文書のセットの各文書についての前記１つまたは複数の文字列の各々に対する前記品詞タグ、前記文書のセットの各文書についての前記セグメントのセットの前記セグメントの各々に対する前記依存関係ラベル、および前記文書のセットの各文書についての前記セグメントのセットの前記セグメントの各々への前記分野に対応する定義済みのラベルのセットからの前記ＮＥＲラベルに対する統計モデルを使用する、請求項１に記載の方法。
【請求項7】
前記訓練された学習モデルは、教師付き学習アルゴリズムを実装する、請求項１に記載の方法。
【請求項8】
前記１つまたは複数のコンピューティングデバイスによって、各対応する文書の各対応するセグメントについての前記特徴のセットに基づいて、前記文書のセットの各文書についての特徴マップを生成するステップと、前記１つまたは複数のコンピューティングデバイスによって、各対応する文書の各対応するセグメントについての前記特徴マップの次元特性を縮小することによって、前記文書のセットの各文書についての縮小された特徴マップを生成するステップと、
前記１つまたは複数のコンピューティングデバイスによって、各対応する文書の各対応するセグメントについての前記縮小された特徴マップをベクトルに変換するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記特徴のセットの各特徴に割り当てられた前記所定の重みを各対応するベクトルに適用するステップと、
をさらに含む、請求項１に記載の方法。
【請求項9】
システムであって、メモリと、
メモリに結合されたプロセッサであって、前記プロセッサは、
文書のセットと、前記文書のセット内の各文書のメタデータとを受信し、前記文書のセットは分野に対応し、
前記文書のセットの各文書について、単語埋め込みのセットを生成し、各単語埋め込みは、それぞれの文書からの１つまたは複数の単語を含み、
前記単語埋め込みのセットの各単語埋め込みをセグメントのセットにトークン化し、各セグメントは前記単語埋め込みからの単語を含み、
前記文書のセットの各文書の前記セグメントのセットの前記セグメントを特徴のセットに分解し、
対応するセグメントの前記特徴のセットの各特徴に割り当てられた所定の重みに基づいて、前記文書のセットの各文書について、前記セグメントのセットの前記セグメントの各々に品詞タグを割り当て、
前記対応するセグメントに割り当てられた前記品詞タグと、前記対応する文字列の前記特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記文書のセットの各文書の前記セグメントのセットの前記セグメントの各々に依存関係タグを割り当て、
前記対応するセグメントに割り当てられた前記品詞タグおよび依存関係タグと、前記対応するセグメントの前記特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記分野に対応する定義済みのラベルのセットから、前記文書のセットの各文書の前記セグメントのセットの前記セグメントの各々に、固有表現認識（ＮＥＲ）ラベルを割り当てること
を再帰的に行うことによって、前記分野の前記文書のセットの各文書を分類するために、学習モデルを訓練し、
各文書の前記メタデータを前記それぞれの文書の前記割り当てられたＮＥＲラベルと比較することによって、前記割り当てられたＮＥＲラベルを検証する、ように構成されている、プロセッサと、
を備える、システム。
【請求項10】
前記プロセッサは、前記分野に対応する新しい文書を分類する要求を受信し、
前記新しい文書の１つまたは複数の単語を含む新しい単語埋め込みを生成し、
前記分野に対応する前記新しい単語埋め込みを新しいセグメントのセットにトークン化し、
前記新しい文書の前記１つまたは複数の文字列の各々を新しい特徴のセットに分解し、
前記訓練された学習モデルを使用して、対応する新しいセグメントの前記新しい特徴のセットの各特徴に割り当てられた所定の重みに基づいて、前記新しい文書の前記新しいセグメントのセットの各新しいセグメントに新しい品詞タグを割り当て、
前記訓練された学習モデルを使用して、前記対応する新しいセグメントに割り当てられた前記品詞タグと、前記対応する新しいセグメントの前記新しい特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記新しい文書の前記新しいセグメントのセットの前記新しいセグメントの各々に新しい依存関係ラベルを割り当て、
前記訓練された学習モデルを使用して、前記新しい対応するセグメントに割り当てられた前記品詞タグおよび依存関係タグと、前記対応する新しいセグメントの前記新しい特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記分野に対応する前記定義済みのラベルのセットから、前記新しい文書の前記新しいセグメントのセットの前記セグメントの各々に新しいＮＥＲラベルを割り当て、
前記訓練された学習モデルを使用して、前記割り当てられたＮＥＲラベルに基づいて前記分野に対応する前記新しい文書を分類する、ようにさらに構成されている、請求項９に記載のシステム。
【請求項11】
前記プロセッサは、前記新しいセグメントのセットおよび前記割り当てられたＮＥＲラベルを抽出し、
知識ベースを生成し、
前記知識ベースは、複数のノードおよび複数のエッジを含み、
エッジは、関係に基づいて前記複数のノードの各ノードを前記複数のノードの少なくとも１つの他のノードに接続し、
前記複数のノードの各ノードは、前記新しいセグメントのセットの少なくとも１つのセグメントと、前記割り当てられたＮＥＲラベルの対応するＮＥＲラベルと、を含む、ようにさらに構成されている、請求項１０に記載のシステム。
【請求項12】
前記プロセッサは、ノード内の前記割り当てられたＮＥＲラベルの第１のＮＥＲラベルおよび異なるノードに記憶された前記割り当てられたＮＥＲラベルの第２のＮＥＲラベルに基づいて、前記複数のノードのうちの前記ノードと前記複数のノードのうちの前記異なるノードとの間の前記関係を識別するようにさらに構成されている、請求項１１に記載のシステム。
【請求項13】
前記プロセッサは、前記学習モデルを訓練する各反復の後に、前記文書のセットの各文書について、前記特徴のセットの前記特徴に割り当てられた前記重みを反復的に修正するようにさらに構成されている、請求項９に記載のシステム。
【請求項14】
前記学習モデルは、前記文書のセットの各文書についての前記１つまたは複数の文字列の各々に対する前記品詞タグ、前記文書のセットの各文書についての前記セグメントのセットの前記セグメントの各々に対する前記依存関係ラベル、および前記文書のセットの各文書についての前記セグメントのセットの前記セグメントの前記分野に対応する前記定義済みのラベルのセットからの前記ＮＥＲラベルに対する統計モデルを使用する、請求項９に記載のシステム。
【請求項15】
前記訓練された学習モデルは、教師付き学習アルゴリズムを実装する、請求項９に記載のシステム。
【請求項16】
前記プロセッサは、各対応する文書の各対応するセグメントについての前記特徴のセットに基づいて、前記文書のセットの各文書についての特徴マップを生成し、
各対応する文書の各対応するセグメントについての前記特徴マップの次元特性を縮小することによって、前記文書のセットの各文書について縮小された特徴マップを生成し、
各対応する文書の各対応するセグメントについての前記縮小された特徴マップをベクトルに変換し、
前記特徴のセットの各特徴に割り当てられた前記所定の重みを各対応するベクトルに適用する、ようにさらに構成されている、請求項９に記載のシステム。
【請求項17】
命令が格納された非一時的コンピュータ可読媒体であって、デバイスの１つまたは複数のプロセッサによる実行は、前記１つまたは複数のプロセッサに、文書のセットと、前記文書のセット内の各文書のメタデータとを受信することであって、前記文書のセットは分野に対応する、受信することと、
前記文書のセットの各文書について、単語埋め込みのセットを生成することであって、各単語埋め込みは、それぞれの文書からの１つまたは複数の単語を含む、生成することと、
前記単語埋め込みのセットの各単語埋め込みをセグメントのセットにトークン化することであって、各セグメントは前記単語埋め込みからの単語を含む、トークン化することと、
前記文書のセットの各文書の前記セグメントのセットの前記セグメントを特徴のセットに分解し、
対応するセグメントの前記特徴のセットの各特徴に割り当てられた所定の重みに基づいて、前記文書のセットの各文書について、前記セグメントのセットの前記セグメントの各々に品詞タグを割り当て、
前記対応するセグメントに割り当てられた前記品詞タグと、前記対応する文字列の前記特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記文書のセットの各文書の前記セグメントのセットの前記セグメントの各々に依存関係タグを割り当て、
前記対応するセグメントに割り当てられた前記品詞タグおよび依存関係タグと、前記対応するセグメントの前記特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記分野に対応する定義済みのラベルのセットから、前記文書のセットの各文書の前記セグメントのセットの前記セグメントの各々に、固有表現認識（ＮＥＲ）ラベルを割り当てること、
を再帰的に行うことによって、前記分野の前記文書のセットの各文書を分類するために、学習モデルを訓練することと、
各文書の前記メタデータを前記それぞれの文書の前記割り当てられたＮＥＲラベルと比較することによって、前記割り当てられたＮＥＲラベルを検証することと、
を含む動作を実行させる、非一時的コンピュータ可読媒体。
【請求項18】
前記動作は、前記分野に対応する新しい文書を分類する要求を受信することと、
前記新しい文書の１つまたは複数の単語を含む新しい単語埋め込みを生成することと、
前記分野に対応する前記新しい単語埋め込みを新しいセグメントのセットにトークン化することと、
前記新しい文書の前記１つまたは複数の文字列の各々を新しい特徴のセットに分解することと、
前記訓練された学習モデルを使用して、対応する新しいセグメントの前記新しい特徴のセットの各特徴に割り当てられた所定の重みに基づいて、前記新しい文書の前記新しいセグメントのセットの各新しいセグメントに新しい品詞タグを割り当てることと、
前記訓練された学習モデルを使用して、前記対応する新しいセグメントに割り当てられた前記品詞タグと、前記対応する新しいセグメントの前記新しい特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記新しい文書の前記新しいセグメントのセットの前記新しいセグメントの各々に新しい依存関係ラベルを割り当てることと、
前記訓練された学習モデルを使用して、前記新しい対応するセグメントに割り当てられた前記品詞タグおよび依存関係タグと、前記対応する新しいセグメントの前記新しい特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記分野に対応する前記定義済みのラベルのセットから、前記新しい文書の前記新しいセグメントのセットの前記セグメントの各々に、新しいＮＥＲラベルを割り当てることと、
前記訓練された学習モデルを使用して、前記割り当てられたＮＥＲラベルに基づいて前記分野に対応する前記新しい文書を分類することと、
をさらに含む、請求項１７に記載の非一時的コンピュータ可読媒体。
【請求項19】
前記動作は、前記学習モデルを訓練する各反復の後に、前記文書のセットの各文書について、前記特徴のセットの前記特徴に割り当てられた前記重みを反復的に修正することをさらに含む、請求項１７に記載の非一時的コンピュータ可読媒体。
【請求項20】
前記学習モデルは、前記文書のセットの各文書についての前記１つまたは複数の文字列の各々に対する前記品詞タグ、前記文書のセットの各文書についての前記セグメントのセットの前記セグメントの各々に対する前記依存関係ラベル、および前記文書のセットの各文書についての前記セグメントのセットの前記セグメントの前記分野に対応する前記定義済みのラベルのセットからの前記ＮＥＲラベルに対する統計モデルを使用する、請求項１７に記載の非一時的コンピュータ可読媒体。
【請求項21】
前記訓練された学習モデルは、教師付き学習アルゴリズムを実装する、請求項１７に記載の非一時的コンピュータ可読媒体。
【請求項22】
前記動作は、各対応する文書の各対応するセグメントについての前記特徴のセットに基づいて、前記文書のセットの各文書についての特徴マップを生成することと、
各対応する文書の各対応するセグメントについての前記特徴マップの次元特性を縮小することによって、前記文書のセットの各文書について縮小された特徴マップを生成することと、
各対応する文書の各対応するセグメントについての前記縮小された特徴マップをベクトルに変換することと、
前記特徴のセットの各特徴に割り当てられた前記所定の重みを各対応するベクトルに適用することと、
をさらに含む、請求項１７に記載の非一時的コンピュータ可読媒体。
【請求項23】
文書を分類するための方法であって、前記１つまたは複数のコンピューティングデバイスによって、前記分野に対応する文書を分類する要求を受信するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記文書の１つまたは複数の単語を含む単語埋め込みを生成するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記分野に対応する前記単語埋め込みを、セグメントのセットにトークン化するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記文書の前記１つまたは複数の文字列の各々を新しい特徴のセットに分解するステップと、
前記１つまたは複数のコンピューティングデバイスによって、訓練された学習モデルを使用して、対応するセグメントの前記特徴のセットの各特徴に割り当てられた所定の重みに基づいて、前記新しい文書の前記セグメントのセットの各新しいセグメントに品詞タグを割り当てるステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記訓練された学習モデルを使用して、前記対応するセグメントに割り当てられた前記品詞タグと、前記対応するセグメントの前記特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記文書の前記セグメントのセットの前記セグメントの各々に依存関係ラベルを割り当てるステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記訓練された学習モデルを使用して、前記対応するセグメントに割り当てられた前記品詞タグおよび依存関係タグと、前記対応するセグメントの前記特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記分野に対応する前記定義済みのラベルのセットからのＮＥＲラベルを、前記文書の前記セグメントのセットの前記セグメントの各々に割り当てるステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記訓練された学習モデルを使用して、前記割り当てられたＮＥＲラベルに基づいて前記分野に対応する前記文書を分類するステップと、
を含む、方法。
【請求項24】
医薬品安全性監視文書を分類するために、自然言語処理（ＮＬＰ）モデルを訓練するための方法であって、１つまたは複数のコンピューティングデバイスによって、文書のセットと、前記文書のセットの各文書のメタデータとを受信するステップであって、前記文書のセットは医薬品安全性監視に対応する、受信するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記文書のセットの各文書の単語埋め込みのセットを生成するステップであって、各単語埋め込みはそれぞれの文書からの１つまたは複数の単語を含む、生成するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記単語埋め込みのセットの各単語埋め込みをセグメントのセットにトークン化するステップであって、各セグメントは前記単語埋め込みからの単語を含む、トークン化するステップと、
前記１つまたは複数のコンピューティングデバイスによって、前記文書のセットの各文書の前記セグメントのセットの前記セグメントの各々を特徴のセットに分解するステップと、
対応するセグメントの前記特徴のセットの各特徴に割り当てられた所定の重みに基づいて、前記１つまたは複数のコンピューティングデバイスによって、前記文書のセットの各文書について前記セグメントのセットの前記セグメントの各々に品詞タグを割り当てるステップと、
前記対応するセグメントに割り当てられた前記品詞タグと、前記対応する文字列の前記特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記１つまたは複数のコンピューティングデバイスによって、前記文書のセットの各文書の前記セグメントのセットの前記セグメントの各々に依存関係タグを割り当てるステップと、
前記対応するセグメントに割り当てられた前記品詞タグおよび依存関係タグと、前記対応するセグメントの前記特徴のセットの各特徴に割り当てられた前記所定の重みとに基づいて、前記１つまたは複数のコンピューティングデバイスによって、医薬品安全性監視に対応する定義済みのラベルのセットから、前記文書のセットの各文書の前記セグメントのセットの前記セグメントの各々に、固有表現認識（ＮＥＲ）ラベルを割り当てるステップと、
を再帰的に行うことによって、前記１つまたは複数のコンピューティングデバイスによって、前記文書のセットの各文書を分類するために学習モデルを訓練するステップと、
前記１つまたは複数のコンピューティングデバイスによって、各文書の前記メタデータを前記それぞれの文書の前記割り当てられたＮＥＲラベルと比較することによって、前記割り当てられたＮＥＲラベルを検証するステップと、を含み、
前記学習モデルを完全に訓練したことに応答して、前記学習モデルは、事例の有効性、重大度、致命性、および因果関係に基づいて医薬品安全性監視文書を分類し、予測性についてＦＤＡ承認薬の構造化製品ラベル（ＳＰＬ）における有害作用を識別し、適応外製品の使用の可能性を識別するように構成される、
方法。
【請求項25】
自然言語処理（ＮＬＰ）モデルを使用して医薬品安全性監視文書を分類する方法であって、１つまたは複数のコンピューティングデバイスによって、医薬品安全性監視文書を分類する要求を受信するステップと、
前記１つまたは複数のコンピューティングデバイスによって、畳み込みニューラルネットワーク（ＣＮＮ）および双方向長期短期（ＢｉＬＳＴＭ）アルゴリズムの組み合わせを実装するように構成された学習モデルを使用して、前記医薬品安全性監視文書内の１つまたは複数の単語についての固有表現認識（ＮＥＲ）ラベルを含む出力を生成するステップと、
前記１つまたは複数のコンピューティングデバイスによって、事例の有効性、重大度、致命性、および因果関係に基づいて、前記ＮＥＲラベルを使用して前記医薬品安全性監視文書を分類するステップと、
を含む、方法。
【請求項26】
前記１つまたは複数のコンピューティングデバイスによって、前記ＮＥＲラベルを使用して、予測性についてＦＤＡ承認薬の構造化製品ラベル（ＳＰＬ）における有害作用を識別するステップと、前記１つまたは複数のコンピューティングデバイスによって、適応外製品の使用の可能性を識別するステップと、
をさらに含む、請求項２５に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２０年１２月９日に出願された米国仮出願第６３／１２３，３３６号の優先権を主張し、その内容全体は参照により本明細書に組み込まれる。
本出願は、２０２０年１２月９日に出願された米国仮出願第６３／１２３，３３６号の優先権を主張し、その内容全体は参照により本明細書に組み込まれる。
【背景技術】
【0002】
背景
企業、政府機関、教育機関などのエンティティは、テキスト、画像、グラフ、表、および他の形態のデータ／情報／知識表現の組み合わせを含む何千もの文書を受け取ることが多い。これらの文書は、マイクロソフトワード、マイクロソフトエクセルの文書、ｐｎｇ、ｔｉｆｆ、ｊｐｇ、ｒａｗ、ｇｉｆ、ＰＤＦ、電子メール、テキストファイル、手書きノート、ＨＴＭＬ、ＸＭＬスキャン文書などを含む異なる種類のものであってもよい。そのような文書をその内容に基づいて手動で分類および優先順位付けすることは、面倒で間違いを起こしやすいタスクであり得る。エンティティは、自然言語処理（ＮＬＰ）などの特定の機械学習アルゴリズムを使用してこのプロセスを自動化しようと試みてきた。しかしながら、従来のＮＬＰモデルは、文書を正確に分類するには不十分であることが多い。例えば、従来のＮＬＰモデルは、文書を正確に分類するために単語または句に分野固有のラベルを割り当てることができない。
企業、政府機関、教育機関などのエンティティは、テキスト、画像、グラフ、表、および他の形態のデータ／情報／知識表現の組み合わせを含む何千もの文書を受け取ることが多い。これらの文書は、マイクロソフトワード、マイクロソフトエクセルの文書、ｐｎｇ、ｔｉｆｆ、ｊｐｇ、ｒａｗ、ｇｉｆ、ＰＤＦ、電子メール、テキストファイル、手書きノート、ＨＴＭＬ、ＸＭＬスキャン文書などを含む異なる種類のものであってもよい。そのような文書をその内容に基づいて手動で分類および優先順位付けすることは、面倒で間違いを起こしやすいタスクであり得る。エンティティは、自然言語処理（ＮＬＰ）などの特定の機械学習アルゴリズムを使用してこのプロセスを自動化しようと試みてきた。しかしながら、従来のＮＬＰモデルは、文書を正確に分類するには不十分であることが多い。例えば、従来のＮＬＰモデルは、文書を正確に分類するために単語または句に分野固有のラベルを割り当てることができない。
【0003】
さらに、手作業で情報を抽出すること、または許容可能な精度（例えば、光学文字認識（ＯＣＲ））で各ＰＤＦのテキストコンテンツを抽出し、これらのデータを正しく抽出して機械可読フォーマットに戻すための高度にインテリジェントなサードパーティツールは、面倒で時間がかかり、エラーが発生しやすい。さらに、従来の機械学習モデルを実装する従来の方法論は、文書からテキストを抽出しようとするときに、光学的明瞭さ、英数字、向きなど多くの障害に直面する可能性がある。したがって、文書を分類および優先順位付けする従来の方法は、面倒であり、コストがかかり、エラーが発生しやすい可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
概要
本明細書では、分野固有のＮＬＰモデルを使用して文書を分類するための、システム、装置、デバイス、方法、および／またはコンピュータプログラム製品の実施形態、および／またはそれらの組み合わせおよび部分的組み合わせが提供される。
本明細書では、分野固有のＮＬＰモデルを使用して文書を分類するための、システム、装置、デバイス、方法、および／またはコンピュータプログラム製品の実施形態、および／またはそれらの組み合わせおよび部分的組み合わせが提供される。
【課題を解決するための手段】
【0005】
所与の実施形態では、文書を分類するための方法は、１つまたは複数のコンピューティングデバイスによって、文書のセットと、文書のセット内の各文書のメタデータとを受信するステップを含む。文書のセットは、分野に対応する。本方法は、１つまたは複数のコンピューティングデバイスによって、文書のセットの各文書に対する単語埋め込みのセットを生成するステップをさらに含む。各単語埋め込みは、それぞれの文書からの１つまたは複数の単語を含む。本方法は、１つまたは複数のコンピューティングデバイスによって、単語埋め込みのセットの各単語埋め込みをセグメントのセットにトークン化するステップをさらに含む。各セグメントは、単語埋め込みからの単語を含む。さらに、本方法は、１つまたは複数のコンピューティングデバイスによって、文書のセットの各文書のセグメントのセットのセグメントの各々を特徴のセットに分解するステップと、対応するセグメントの特徴のセットの各特徴に割り当てられた所定の重みに基づいて、１つまたは複数のコンピューティングデバイスによって、文書のセットの各文書についてセグメントのセットのセグメントの各々に品詞タグを割り当てるステップと、対応するセグメントに割り当てられた品詞タグと、対応する文字列の特徴のセットの各特徴に割り当てられた所定の重みとに基づいて、１つまたは複数のコンピューティングデバイスによって、文書のセットの各文書のセグメントのセットのセグメントの各々に依存関係タグを割り当てるステップと、対応するセグメントに割り当てられた品詞タグおよび依存関係タグと、対応するセグメントの特徴のセットの各特徴に割り当てられた所定の重みとに基づいて、１つまたは複数のコンピューティングデバイスによって、分野に対応する定義済みのラベルのセットから、文書のセットの各文書のセグメントのセットのセグメントの各々に、固有表現認識（ＮＥＲ）ラベルを割り当てるステップと、１つまたは複数のコンピューティングデバイスによって、各文書のメタデータをそれぞれの文書の割り当てられたＮＥＲラベルと比較することによって、割り当てられたＮＥＲラベルを検証するステップと、を再帰的に行うことによって、１つまたは複数のコンピューティングデバイスによって、分野の文書のセットの各文書を分類するために学習モデルを訓練するステップを含む。
【0006】
所与の実施形態において、文書を分類するシステムは、メモリと、メモリに結合されたプロセッサとを含む。プロセッサは、文書のセットと、文書のセット内の各文書のメタデータとを受信するように構成される。文書のセットは、分野に対応する。プロセッサは、文書のセットの各文書について単語埋め込みのセットを生成するようにさらに構成される。各単語埋め込みは、それぞれの文書からの１つまたは複数の単語を含む。プロセッサは、単語埋め込みのセットの各単語埋め込みをセグメントのセットにトークン化するようにさらに構成される。各セグメントは、単語埋め込みからの単語を含む。さらに、プロセッサは、文書のセットの各文書のセグメントのセットのセグメントの各々を特徴のセットに分解することと、対応するセグメントの特徴のセットの各特徴に割り当てられた所定の重みに基づいて、文書のセットの各文書についてセグメントのセットのセグメントの各々に品詞タグを割り当てることと、対応するセグメントに割り当てられた品詞タグと、対応する文字列の特徴のセットの各特徴に割り当てられた所定の重みとに基づいて、文書のセットの各文書のセグメントのセットのセグメントの各々に依存関係タグを割り当てることと、対応するセグメントに割り当てられた品詞タグおよび依存関係タグと、対応するセグメントの特徴のセットの各特徴に割り当てられた所定の重みとに基づいて、分野に対応する定義済みのラベルのセットから、文書のセットの各文書のセグメントのセットのセグメントの各々に、固有表現認識（ＮＥＲ）ラベルを割り当てることと、各文書のメタデータをそれぞれの文書の割り当てられたＮＥＲラベルと比較することによって、割り当てられたＮＥＲラベルを検証することと、を再帰的に行うことによって、１つまたは複数のコンピューティングデバイスによって、分野の文書のセットの各文書を分類するために学習モデルを訓練するようにさらに構成される。
【0007】
所与の実施形態では、命令が記憶された非一時的コンピュータ可読媒体であって、デバイスの１つまたは複数のプロセッサによるその実行は、１つまたは複数のプロセッサに、文書のセットおよび文書のセット内の各文書のメタデータを受信することを含む動作を実行させる、非一時的コンピュータ可読媒体。文書のセットは、分野に対応する。動作は、文書のセットの各文書について単語埋め込みのセットを生成することをさらに含む。各単語埋め込みは、それぞれの文書からの１つまたは複数の単語を含む。動作は、単語埋め込みのセットの各単語埋め込みをセグメントのセットにトークン化することをさらに含む。各セグメントは、単語埋め込みからの単語を含む。さらに、動作は、文書のセットの各文書のセグメントのセットのセグメントの各々を特徴のセットに分解するステップと、対応するセグメントの特徴のセットの各特徴に割り当てられた所定の重みに基づいて、文書のセットの各文書についてセグメントのセットのセグメントの各々に品詞タグを割り当てるステップと、対応するセグメントに割り当てられた品詞タグと、対応する文字列の特徴のセットの各特徴に割り当てられた所定の重みとに基づいて、文書のセットの各文書のセグメントのセットのセグメントの各々に依存関係タグを割り当てるステップと、対応するセグメントに割り当てられた品詞タグおよび依存関係タグと、対応するセグメントの特徴のセットの各特徴に割り当てられた所定の重みとに基づいて、分野に対応する定義済みのラベルのセットから、文書のセットの各文書のセグメントのセットのセグメントの各々に、固有表現認識（ＮＥＲ）ラベルを割り当てるステップと、各文書のメタデータをそれぞれの文書の割り当てられたＮＥＲラベルと比較するステップによって、割り当てられたＮＥＲラベルを検証するステップと、を再帰的に行うことによって、１つまたは複数のコンピューティングデバイスによって、分野の文書のセットの各文書を分類するために学習モデルを訓練するステップを含む。
【0008】
所与の実施形態において、文書を分類するための方法は、１つまたは複数のコンピューティングデバイスによって、分野に対応する文書を分類する要求を受信するステップと、１つまたは複数のコンピューティングデバイスによって、文書の１つまたは複数の単語を含む単語埋め込みを生成するステップと、１つまたは複数のコンピューティングデバイスによって、分野に対応する単語埋め込みをセグメントのセットにトークン化するステップと、を含む。本方法は、１つまたは複数のコンピューティングデバイスによって、文書の１つまたは複数の文字列の各々を新しい特徴のセットに分解するステップと、訓練された学習モデルを使用して、対応するセグメントの特徴のセットの各特徴に割り当てられた所定の重みに基づいて、１つまたは複数のコンピューティングデバイスによって、新しい文書のセグメントのセットの各新しいセグメントに品詞タグを割り当てるステップと、訓練された学習モデルを使用して、対応するセグメントに割り当てられた前記品詞タグと、対応するセグメントの特徴のセットの各特徴に割り当てられた所定の重みとに基づいて、１つまたは複数のコンピューティングデバイスによって、文書の前記セグメントのセットのセグメントの各々に依存関係ラベルを割り当てるステップと、１つまたは複数のコンピューティングデバイスによって、訓練された学習モデルを使用して、対応するセグメントに割り当てられた品詞タグおよび依存関係タグ、ならびに対応するセグメントの特徴のセットの各特徴に割り当てられた所定の重みに基づいて、分野に対応する定義済みのラベルのセットから、文書のセグメントのセットのセグメントの各々にＮＥＲラベルを割り当てるステップと、１つまたは複数のコンピューティングデバイスによって、訓練された学習モデルを使用して、割り当てられたＮＥＲラベルに基づいて分野に対応する文書を分類するステップと、をさらに含む。
【0009】
所与の実施形態では、ＮＬＰモデルを訓練するための方法は、１つまたは複数のコンピューティングデバイスによって、文書のセットと、文書のセット内の各文書のメタデータとを受信するステップを含む。文書のセットは、医薬品安全性監視に対応する。本方法は、１つまたは複数のコンピューティングデバイスによって、文書のセットの各文書に対する単語埋め込みのセットを生成するステップをさらに含む。各単語埋め込みは、それぞれの文書からの１つまたは複数の単語を含む。本方法は、１つまたは複数のコンピューティングデバイスによって、単語埋め込みのセットの各単語埋め込みをセグメントのセットにトークン化するステップをさらに含む。各セグメントは、単語埋め込みからの単語を含む。さらに、本方法は、１つまたは複数のコンピューティングデバイスによって、文書のセットの各文書のセグメントのセットのセグメントの各々を特徴のセットに分解するステップと、対応するセグメントの特徴のセットの各特徴に割り当てられた所定の重みに基づいて、１つまたは複数のコンピューティングデバイスによって、文書のセットの各文書についてセグメントのセットのセグメントの各々に品詞タグを割り当てるステップと、対応するセグメントに割り当てられた品詞タグと、対応する文字列の特徴のセットの各特徴に割り当てられた所定の重みとに基づいて、１つまたは複数のコンピューティングデバイスによって、文書のセットの各文書のセグメントのセットのセグメントの各々に依存関係タグを割り当てるステップと、対応するセグメントに割り当てられた品詞タグおよび依存関係タグと、対応するセグメントの特徴のセットの各特徴に割り当てられた所定の重みとに基づいて、１つまたは複数のコンピューティングデバイスによって、医薬品安全性監視に対応する定義済みのラベルのセットから、文書のセットの各文書のセグメントのセットのセグメントの各々に、固有表現認識（ＮＥＲ）ラベルを割り当てるステップと、１つまたは複数のコンピューティングデバイスによって、各文書のメタデータをそれぞれの文書の割り当てられたＮＥＲラベルと比較することによって、割り当てられたＮＥＲラベルを検証するステップと、を再帰的に行うことによって、１つまたは複数のコンピューティングデバイスによって、分野の文書のセットの各文書を分類するために学習モデルを訓練するステップを含む。学習モデルを完全に訓練することに応答して、学習モデルは、事例の有効性、重大度、致命性、および因果関係に基づいて医薬品安全性監視文書を分類するように構成される。
【0010】
所与の実施形態では、自然言語処理（ＮＬＰ）モデルを使用して医薬品安全性監視文書を分類する方法は、１つまたは複数のコンピューティングデバイスによって、医薬品安全性監視文書を分類する要求を受信するステップと、１つまたは複数のコンピューティングデバイスによって、畳み込みニューラルネットワーク（ＣＮＮ）および双方向長期短期（ＢｉＬＳＴＭ）アルゴリズムの組み合わせを実装するように構成された学習モデルを使用して、医薬品安全性監視文書内の１つまたは複数の単語についての固有表現認識（ＮＥＲ）ラベルを含む出力を生成するステップと、１つまたは複数のコンピューティングデバイスによって、事例の有効性、重大度、致命性、および因果関係に基づいてＮＥＲラベルを使用して医薬品安全性監視文書を分類するステップと、を含む。
【0011】
図面の簡単な説明
本明細書に組み込まれ、本明細書の一部を形成する添付の図面は、本開示を例示し、説明とともに、本開示の原理を説明し、当業者が本開示を作成および使用することを可能にするのにさらに役立つ。
本明細書に組み込まれ、本明細書の一部を形成する添付の図面は、本開示を例示し、説明とともに、本開示の原理を説明し、当業者が本開示を作成および使用することを可能にするのにさらに役立つ。
【図面の簡単な説明】
【0012】
【図1】例示的な実施形態による、分野固有のＮＬＰモデルを使用して文書を分類するためのシステムのブロック図である。
【図2】例示的な実施形態による、文書を分類するための学習モデルを訓練するプロセスを示すブロック図である。
【図3】例示的な実施形態による、ＣＮＮアルゴリズムを実装する学習モデルの一例のブロック図である。
【図4】例示的な実施形態による、学習モデルを訓練するために使用される例示的な文書を示す。
【図5】例示的な実施形態による、学習モデルのモデル設計フレームワークを示すブロック図である。
【図6】例示的な実施形態による、モデル承認フローのブロック図である。
【図7】例示的な実施形態による、訓練された学習モデルを使用して文書内のエンティティ（例えば、単語または句）を認識する際のＦ１スコアを示すグラフである。
【図8】例示的な実施形態による、学習モデルの損失関数を示すグラフである。
【図9】例示的な実施形態による、文書を要約する完全に訓練された学習モデルを示す。
【図10】例示的な実施形態による、訓練のためのプロセスを示すフローチャートである。
【図11】例示的な実施形態による、訓練された学習モデルを使用して文書を分類するためのプロセスを示すフローチャートである。
【図12】一実施形態によるデバイスの例示的な構成要素のブロック図である。
【発明を実施するための形態】
【0013】
要素が最初に現れる図面は、典型的には、対応する参照番号の左端の１桁または複数の桁によって示される。図面において、同様の参照番号は、同一または機能的に同様の要素を示すことができる。
【0014】
詳細な説明
本明細書では、画像分析を使用して文書を分類するためのシステム、装置、デバイス、方法、および／またはコンピュータプログラム製品の実施形態、および／またはそれらの組み合わせおよび部分的組み合わせが提供される。
本明細書では、画像分析を使用して文書を分類するためのシステム、装置、デバイス、方法、および／またはコンピュータプログラム製品の実施形態、および／またはそれらの組み合わせおよび部分的組み合わせが提供される。
【0015】
上述したように、文書を分類および優先順位付けするための従来の方法は、面倒であり、コストがかかり、エラーが発生しやすい可能性がある。例えば、医薬品安全性監視（ＰＶ）業務の分野では、企業は様々な薬物に関する個別事例安全性報告（ＩＣＳＲ）を受信する。ＩＣＳＲは、特定の治療を受けている患者または特定の薬物を服用している患者が経験した有害事象の書面による報告であり、これは潜在的にその治療または薬物に関連し得る。
【0016】
ＩＣＳＲが「有効」と見なされるためには、ＩＣＳＲは、特定可能な患者、特定可能な報告者、疑わしい薬物、および有害事象の４つの要素に関する情報を含まなければならない。ＩＣＳＲが有効である場合、記載された有害事象が「重大な」有害事象であるかどうかが判定される。有害事象は、以下の要件、すなわち、死に至るか生命を脅かし、入院患者の入院を必要とするか既存の入院を延長する、持続的または著しい身体障害あるいは無能力になる、先天性障害をもたらす、または、治療および／または介入が前述の要件の１つを防ぐために必要とされるため、その他の点で医学的に重要である、のうちの１つを満たす場合、重大な有害事象である。さらに、薬物または他の製品の臨床試験を実施する場合、ＩＣＳＲの形で示される有害作用が重大な予期せぬ結果の有害反応（ＳＵＳＡＲ）であるかどうかを判定することができる。
【0017】
ＩＣＳＲは、特定の事例に対応しうる。異なる規制機関が、対応するＩＣＳＲを有する事例に対して措置を講じることを要求することがある。規制機関は、異なる事例に対して異なるタイムラインを提供することができる。例えば、ある事例がＩＣＳＲに記載されている重大な有害作用を含む場合、企業がその事例に対処できるように、事例を優先することができる。逆に、ある事例がＩＣＳＲにおいて重大でない有害作用を含む場合、その事例は、より低い優先度を与えられうる。
【0018】
ＩＣＳＲは、マイクロソフトワード、マイクロソフトエクセルの文書、ｐｎｇ、ｔｉｆｆ、ｊｐｇ、ｒａｗ、ｇｉｆ、電子メール、ＰＤＦ、テキストファイル、手書きノート、ＨＴＭＬ、ＸＭＬスキャン文書などの様々な形式で提供されてもよい。ＩＣＳＲ文書は、複数のフォーマットの組み合わせであってもよい。例えば、ＩＣＳＲ文書は、．ｄｏｃフォーマットであってもよいが、埋め込みＪＰＥＧ画像を含んでいてもよい。別の例では、ＩＣＳＲ文書の一部は電子メールメッセージであってもよく、別の部分はマイクロソフトワードまたはマイクロソフトエクセル形式であってもよい。
【0019】
ＩＣＳＲは、薬局、臨床医、または患者などの様々な報告者から来てもよい。さらに、文書の各々は、薬物に関する他の情報と共に、報告された薬物の有害作用を含み得る。企業は、文書の内容に基づいて、例えば、文書が有効なＩＣＳＲ報告であるかどうか、ＩＣＳＲ文書に記載されている有害作用の重大度、ならびにＩＣＳＲ文書に記載されている有害作用の重大度、関連性および予測性（ＳＲＥ）を判定する必要があり得る。報告の数および報告の様々な種類の形式を考えると、そのような方法で報告を分類することは困難な作業であることが判明する場合がある。したがって、従来の方法では、ＩＣＳＲ報告を効果的かつ効率的に分類することができない場合がある。
【0020】
例えば、従来の方法は、内容領域専門家（ＳＭＥ）が各ＩＣＳＲ文書を手動で検討し、決定を行うことを含み得る。個人は、ＩＣＳＲ文書から関連情報を手動で抽出し、その情報をデータベースに入力することができ、それは、その後、ＩＣＳＲ文書を分類するために医療専門家によってレビューされる。しかしながら、企業は短期間に何千ものＩＣＳＲ文書を受け取ることがある。企業によって受信され得る多数のＩＣＳＲ文書を考えると、ＩＣＳＲ文書の手動レビューは面倒な作業であり得る。さらに、多くのＩＣＳＲ文書は、有効な文書ではない可能性があり、重大な効果を示さない可能性があり、または重大な、関連する、もしくは予想される効果を示さない可能性があるため、無関係であり得る。これにより、関連する重要なＩＣＳＲ文書の処理に大きなバックログおよび遅延が生じる可能性がある。
【0021】
従来の方法はまた、操作前に文書を（例えば、光学文字認識（ＯＣＲ）を介して）テキストに変換することを必要とする機械学習アルゴリズムを使用することを含むことができる。しかしながら、ＯＣＲの複雑さおよび正規化されたテンプレートの作成を考えると、従来の機械学習アルゴリズムは、アルゴリズムを訓練および実装および更新するためにかなりの時間および人的および金銭的リソースを必要とする。したがって、これらの機械学習アルゴリズムは、訓練および実装するのに、運用上非効率的であり、コストがかかる可能性がある。
【0022】
所与の実施形態では、サーバは、文書を分類し、分野に固有の文書内のエンティティを識別するために学習モデルを訓練する要求を受信することができる。例えば、学習モデルは、文書内のエンティティを識別して、文書を自動的に要約することができる。文書の内容は、１つまたは複数の文字列を含むことができる。さらに、文書は、対応するメタデータを含むことができる。メタデータは、文書内の１つまたは複数の文字列をラベル付けする注釈であってもよい。注釈は、分野に固有であり得る。
【0023】
サーバは、文書ごとに単語埋め込みを生成することによって分野に固有の文書を分類するように学習モデルを訓練することができる。サーバは、各単語埋め込みの１つまたは複数の単語を含む、各単語埋め込みをセグメントにトークン化することができる。サーバは、各文書のセグメントの各々を特徴のセットに分解することと、それぞれのセグメントの特徴のセットの各特徴に割り当てられた所定の重みに基づいて、各それぞれの文書の各それぞれのセグメントに対応する１つまたは複数の単語に品詞タグを割り当てることと、それぞれの１つまたは複数の単語に割り当てられた品詞タグおよびそれぞれのセグメントの特徴のセットの各特徴に割り当てられた所定の重みに基づいて、各それぞれの文書の各それぞれのセグメントに対応する１つまたは複数の単語に依存関係ラベルを割り当てることと、を再帰的に行うことによって、学習モデルを訓練することができる。学習モデルを訓練することは、それぞれの１つまたは複数の単語に割り当てられた品詞タグおよび依存関係タグ、ならびにそれぞれのセグメントの特徴のセットの各特徴に割り当てられた所定の重みに基づいて、分野に対応する定義済みのラベルのセットから、各それぞれの文書の各それぞれのセグメントに対応する１つまたは複数の単語に固有表現関係（ＮＥＲ）ラベルを割り当てることと、各文書のメタデータをそれぞれの文書の割り当てられたラベルと比較することによって、割り当てられたラベルを検証することと、を再帰的に行うことをさらに含むことができる。
【0024】
サーバは、分野に固有の文書を分類するように訓練された訓練された学習モデルを使用して、分野に対応する文書を分類する要求を受信することができる。サーバは、文書を、文書の１つまたは複数の文字列のうちの１つまたは複数の単語を含むセグメントにトークン化することができる。サーバは、文書のセグメントの各々を特徴のセットに分解することができる。サーバは、それぞれのセグメントの特徴のセットの各特徴に割り当てられた所定の重みに基づいて、文書の各それぞれのセグメントに対応する１つまたは複数の単語に品詞タグを割り当てることができる。サーバは、それぞれの１つまたは複数の単語に割り当てられた品詞タグと、それぞれのセグメントの特徴のセットの各特徴に割り当てられた所定の重みとに基づいて、各それぞれのセグメントに対応する１つまたは複数の単語に依存関係ラベルを割り当てることができる。さらに、サーバは、それぞれの１つまたは複数の単語に割り当てられた品詞タグおよび依存関係タグ、ならびにそれぞれのセグメントの特徴のセットの各特徴に割り当てられた所定の重みに基づいて、分野に対応する定義済みのラベルのセットから、各それぞれのセグメントに対応する１つまたは複数の単語に固有表現関係（ＮＥＲ）ラベルを割り当てることができる。サーバは、文書内の単語に割り当てられた各ＮＥＲラベルに基づいて文書を分類することができる。
【0025】
上記の構成は、ソース文書からデータを転記および取得することなく、複数の文書フォーマットおよび言語を処理および分類することを可能にする。上記の構成は、事例処理のためのデータ入力を減らし、推測的分析および信号管理の検索を可能にする。したがって、上記の構成は、双方向長短期メモリ（ＢｉＬＳＴＭ）モデルと共に畳み込みニューラルネットワーク（ＣＮＮ）を実装する分野固有のＮＬＰを活用することによって、転写および翻訳を含むがこれらに限定されないテキスト処理を回避する。この方法論は、モデルがＰＶ分野内の分野概念を理解するように訓練され得る速度を高める。さらに、上記の構成は、従来のＮＬＰモデルの訓練および保守の労力を最小限に抑える。
【0026】
さらに、上記の構成は、文書がより正確に分類されるように、分野固有のＮＬＰモデルを使用して文書内の１つまたは複数の文字列をラベル付けすることを可能にする。例えば、ＮＬＰモデルはＰＶに固有であり得る。したがって、ＰＶシステムにわたってＮＬＰモデルを首尾よく使用することができる。
【0027】
図１は、分野固有のＮＬＰモデルを使用して文書を分類するためのシステムのブロック図である。システムは、サーバ１００、クライアントデバイス１１０、およびデータベース１２０を含むことができる。システムのデバイスは、ネットワークを介して接続されてもよい。例えば、システムのデバイスは、有線接続、無線接続、または有線接続と無線接続との組み合わせを介して接続されてもよい。例示的な実施形態では、ネットワークの１つまたは複数の部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想プライベートネットワーク（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線ワイドエリアネットワーク（ＷＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネットの一部、公衆交換電話網（ＰＳＴＮ）の一部、携帯電話ネットワーク、無線ネットワーク、ＷｉＦｉネットワーク、ＷｉＭａｘネットワーク、任意の他のタイプのネットワーク、または２つ以上のそのようなネットワークの組み合わせであってもよい。あるいは、サーバ１００、クライアントデバイス１１０、およびデータベース１２０は、単一の物理マシンまたは仮想マシン上に配置されてもよい。
【0028】
いくつかの実施形態では、サーバ１００およびデータベース１２０は、クラウドコンピューティング環境に存在することができる。他の実施形態では、サーバ１００はクラウドコンピューティング環境に存在してもよく、データベース１２０はクラウドコンピューティング環境の外部に存在する。さらに、他の実施形態では、サーバ１００はクラウドコンピューティング環境の外部に存在してもよく、データベース１２０はクラウドコンピューティング環境に存在する。
【0029】
クライアントデバイス１１０は、サーバ１００の管理者（例えば、プログラマ、ユーザなど）に関連付けられた個人によって操作されるデバイスであってもよい。クライアントデバイス１１０は、訓練アプリケーション１１２および分類アプリケーション１１４を含むことができる。クラウドコンピューティング環境はまた、訓練アプリケーション１１２および分類アプリケーション１１４をホストすることができる。あるいは、訓練アプリケーション１１２および分類アプリケーション１１４の一方または両方がクライアントデバイス１１０にインストールされてもよい。
【0030】
訓練アプリケーション１１２および分類アプリケーション１１４は、サーバ１００とインターフェースするように構成された実行可能アプリケーションであってもよい。訓練アプリケーション１１２は、画像解析を使用して文書を分類するために学習モデルを訓練するようにサーバ１００に要求を送信することができる。分類アプリケーション１１４は、学習モデルを使用して文書を分類する要求をサーバ１００に送信するように構成することができる。分類アプリケーション１１４はまた、サードパーティユーザデバイス上にインストールされて実行されてもよい。これに関して、認可されたサードパーティは、サーバ１００を使用して文書を分類する要求を送信することができる。文書は、データベース１２０に記憶されてもよい。データベース１２０は、様々なタイプおよびフォーマットの文書を記憶するように構成された１つまたは複数のデータ記憶装置であってもよい。
【0031】
学習エンジン１０２は、学習モデル１０４を含むことができる。学習モデル１０４は、自然言語処理（ＮＬＰ）フレームワークを実装することができ、これは、畳み込みニューラルネットワーク（ＣＮＮ）およびＢｉＬＳＴＭなどの深層機械学習アルゴリズムを再帰的に実装して、文書を分類および優先順位付けするように構成される。学習モデル１０４は、分野固有の文書を分類するように構成された分野固有の学習モデルであってもよい。学習モデル１０４は、所与の文書に複数の分類を割り当てることができる。さらに、学習モデル１０４は、所与の文書を要約するように構成されてもよい。以下、分類の各々についてさらに詳細に説明する。いくつかの実施形態では、より少ないまたは追加の学習モジュールを使用して文書を分類することができる。
【0032】
図２は、例示的な実施形態による、文書を分類するための学習モデルを訓練するプロセスを示すブロック図である。図２について、図１を用いて説明する。所与の実施形態では、クライアントデバイス１１０は、分野に対応する文書を分類するために学習モデル１０４を訓練する要求を受信することができる。学習モデル１０４は、ＣＮＮおよび双方向長期短期（ＢｉＬＳＴＭ）アルゴリズムを実装して文書を分類するように構成されたＮＬＰフレームワークであってもよい。
【0033】
訓練アプリケーション１１２は、統計的ＮＥＲモデルを構築することができる。統計的ＮＥＲモデルは、ルールベースの認識システムを実装するために使用することができる。例えば、統計的ＮＥＲモデルは、文書内の文字列をどのようにタグ付けするかに関する分野に固有のルールを提供することができる。さらに、統計的ＮＥＲモデルは、文書内の単語または句を認識するために学習モデル１０４によって使用される辞書またはオントロジであってもよい。統計的ＮＥＲモデルは、特定の分野に特に結び付けられ得る。例えば、ＭｅｄＤＲＡを使用して構築された統計的ＮＥＲモデルは、ＰＶ分野の概念に特に対応する用語または表現を含み得る。訓練アプリケーション１１２は、学習モデル１０４に統計的ＮＥＲモデルをロードすることができる。統計的ＮＥＲモデルは、標準言語（例えば、英語、スペイン語、フランス語など）と組み合わせて使用することができる。
【0034】
要求は、訓練データ２００を含むことができる。訓練データ２００は、分野に対応する文書（および概念）を含むことができる。文書は、テキスト２０２（例えば、１つまたは複数の文字列）と、テキスト２０２に割り当てられたラベル２０４とを含むことができる。ラベル２０４は、分野に対応するラベルの定義済みのセットからのものとすることができる。さらに、ラベル２０４の各ラベルは、テキスト２０２の１つまたは複数の文字列（例えば、単語または句）に割り当てられてもよい。１つまたは複数の文字列に割り当てられたラベルは、文字列を定義することができる。例えば、ラベル２０４は、特定の分野のエンティティまたはフィールドに対応することができる。したがって、所与の文字列に割り当てられたラベル２０４の所与のラベルは、所与の文字列が特定の分野の所与のエンティティまたはフィールドに対応することを示す。ラベル２０４は、各文書のメタデータに含まれてもよい。
【0035】
訓練アプリケーション１１２は、訓練データ２００、訓練データ２００に対応するラベル（例えば、メタデータ）２０４、およびパラメータを、訓練学習モデル１０４のための学習エンジン１０２に送信することができる。学習エンジン１０２は、訓練データ２００およびラベル２０４を受信することができる。
【0036】
学習モデル１０４は、訓練データ２００内の文書の各々について単語埋め込みを生成することができる。単語埋め込みは、文書の単語のベクトル表現であってもよい。ベクトルは、共通のコンテキストおよびセマンティクスを共有する単語がベクトル空間内で互いに近接して配置されるｎ次元ベクトル空間であってもよい。学習モデル１０４は、訓練データ２００内の文書の各々についてブルーム埋め込みを使用することができる。ブルーム埋め込みは、文書の単語のコンパクトなベクトル表現である。単語埋め込みまたはブルーム埋め込みは、統計的ＮＥＲモデルを使用して生成することができる。
【0037】
学習モデル１０４は、単語埋め込み（またはブルーム埋め込み）を単語、文字、句読点などのセグメントにトークン化することができる。トークン化は、言語および特定の分野に固有のルールに基づいて各文書をセグメント化する。また、学習モデル１０４は、統計モデルを用いて各文書をセグメント化してもよい。例えば、ある文書に「Ｉ ｌｉｖｅ ｉｎ ｔｈｅ Ｕ．Ｓ．Ａ．」という句が含まれている場合、学習アプリケーション１１２は、「Ｕ．Ｓ．Ａ．」の後の第１のピリオドが「Ｕ．Ｓ．Ａ」の略語に対応し、第２のピリオドが文の終わりに対応すると判定してもよい。したがって、句のトークン化は、［Ｉ］ ［ｌｉｖｅ］ ［ｉｎ］ ［ｔｈｅ］ ［Ｕ．Ｓ．Ａ．］ ［．］のようにセグメント化され得る。各セグメントは、単一の単語、部分的な単語、または２つ以上の単語を含むことができる。
【0038】
学習モデル１０４は、各セグメントを特徴のセットに分解し、各それぞれのセグメントの特徴のセットを使用してセグメントの各々に対応するベクトル（例えば、１次元ベクトル）を生成するためにＣＮＮアルゴリズムを実装することができる。学習モデル１０４は、特徴のセットの各々に重みを割り当てることができる。ＣＮＮアルゴリズムについて、図３を参照してさらに詳細に説明する。
【0039】
学習モデル１０４は、ベクトルに重みを適用して、結果として得られるベクトルを生成することができる。重みは、訓練アプリケーション１１２から受信したパラメータに含まれてもよい。学習モデル１０４は、得られたベクトルおよび統計的ＮＥＲモデルに基づいて、ベクトルに対応するセグメント内の単語に品詞タグを割り当てることができる。品詞タグは、単語が名詞、動詞、形容詞などであるかどうかを示すことができる。学習モデル１０４は、コンテキストが与えられたセグメント内の単語の品詞を予測することができる。例えば、学習モデル１０４は、英語のルールに基づいて、単語「ｔｈｅ」に続く単語が名詞でなければならないと判定することができる。学習モデル１０４は、定義済みのルールを使用して、文書内の単語および句に関する推測を行い、文書内の単語間の関係を識別することができる。さらに、学習モデル１０４は、単語埋め込みを使用して、単語間の関係を識別することができる。さらに、学習モデル１０４は、分野固有の辞書およびオントロジを含む統計的ＮＥＲモデルを使用して、文書で使用される語彙を理解することができる。
【0040】
学習モデル１０４はまた、各セグメントに対応する結果として得られるベクトル、統計的ＮＥＲモデル、および各セグメント内の単語に割り当てられた品詞タグに基づいて、各それぞれの文書の各セグメント内の単語に依存関係タグを割り当てることができる。依存関係タグは、２つ以上の単語間の関係を定義することができる。例えば、「ｌａｚｙ ｄｏｇ」という句では、学習エンジン１０４は、「ｌａｚｙ」という単語が「ｄｏｇ」を修飾していると判定することができる。この依存関係は、タグ（例えば、ａｍｏｄタグ）によって表され得る。学習モデル１０４は、定義済みのルールを使用して、文書内の単語および句に関する推測を行い、文書内の単語間の関係を識別することができる。さらに、学習モデル１０４は、単語埋め込みを使用して、単語間の関係を識別することができる。さらに、学習モデル１０４は、分野固有の辞書およびオントロジを含む統計的ＮＥＲモデルを使用して、文書で使用される語彙を理解することができる。
【0041】
学習モデル１０４は、各セグメントに対応する結果して得られるベクトル、統計的ＮＥＲモデル、ならびに各セグメント内のそれぞれの単語に割り当てられた品詞タグおよび依存関係タグに基づいて、各それぞれの文書の各セグメント内の単語にＮＥＲラベルを割り当てることができる。ＮＥＲラベルは、分野に対応するラベルの定義済みのセットから選択され得る。ＮＥＲラベルは、単語が分野のフィールドまたはエンティティに対応することを示す。学習モデル１０４は、定義済みのルールを使用して、文書内の単語および句に関する推測を行い、文書内の単語間の関係を識別することができる。さらに、学習モデル１０４は、単語埋め込みを使用して、単語間の関係を識別することができる。さらに、学習モデル１０４は、分野固有の辞書およびオントロジを含む統計的ＮＥＲモデルを使用して、文書で使用される語彙を理解することができる。
【0042】
学習モデル１０４は、各文書に対応するそれぞれのラベル２０４に基づいて、各文書の単語に割り当てられたＮＥＲラベルを検証することができる。検証結果および勾配２０８に基づいて、学習モデル１０４は、各特徴に割り当てられた重みを修正し、各文書をトークン化して各文書の新しいセグメントを生成し、新しいセグメントおよび新しい重みに基づいて新しいベクトルを生成し、新しいベクトルに基づいて新しいセグメントの単語に品詞タグを割り当て、単語に割り当てられた品詞タグおよび新しいベクトルに基づいて新しいセグメントの単語に依存関係タグを割り当て、単語に割り当てられた品詞タグおよび依存関係タグならびに新しいベクトルに基づいて新しいセグメントの単語にＮＥＲラベルを割り当て、ラベル２０４に基づいてＮＥＲラベルを検証することができる。学習モデル１０４は、学習モデル１０４が所望の精度でＮＥＲラベルを割り当てるまで再帰的に重みを修正し、これらのステップを実行することができる。いくつかの実施形態では、品詞タグおよび依存関係タグも検証することができる。
【0043】
学習モデル１０４が所望の精度でＮＥＲラベルを割り当てている場合、学習モデル１０４は、完全に訓練された学習モデル２１０になることができる。完全に訓練された学習モデル２１０は、学習モデル１０４の異なる構成要素として示されている。完全に訓練された学習モデル２１０は、学習モデル１０４を訓練するプロセスを示す。しかしながら、学習モデル１０４は、完全に訓練された後でもシステム内の同じ構成要素のままであり得ることを理解されたい。
【0044】
クライアントデバイス１１０は、完全に訓練された学習モデル２１０を使用して文書を分類する要求を受信することができる。要求は、文書を含むことができる。分類アプリケーション１１４は、文書およびパラメータを完全に訓練された学習モデル２１０に送信することができる。完全に訓練された学習モデル２１０は、文書のための単語埋め込み（またはブルーム埋め込み）を生成することができる。
【0045】
完全に訓練された学習モデル２１０は、文書のセグメントを生成するために単語埋め込み（またはブルーム埋め込み）をトークン化し、パラメータに含まれるセグメントおよび重みに基づいてベクトルを生成し、統計的ＮＥＲモデルおよびベクトルに基づいてセグメントの単語に品詞タグを割り当て、単語に割り当てられた品詞タグ、統計的ＮＥＲモデル、およびベクトルに基づいてセグメントの単語に依存関係タグを割り当て、単語に割り当てられた品詞タグおよび依存関係タグ、統計的ＮＥＲモデル、およびベクトルに基づいてセグメントの単語にＮＥＲラベルを割り当てることができる。完全に訓練された学習モデル２１０は、ＮＥＲラベルの割り当てに応答して出力２１２を生成することができる。さらに、完全に訓練された学習モデル２１０は、ＮＥＲラベルに基づいて文書を分類することができる。
【0046】
いくつかの実施形態では、完全に訓練された学習モデル２１０は、文書およびそれらのそれぞれのＮＥＲラベルから単語および句を抽出することができる。完全に訓練された学習モデル２１０は、文書から抽出された単語および句ならびにそれらのそれぞれのＮＥＲラベルを、他の文書から抽出された単語および句ならびにそれらのそれぞれのＮＥＲラベルと共に使用して、知識ベースを構築することができる。知識ベースは、エッジを使用して接続されたノードを含むグラフベースの構造であってもよい。ノードは、抽出された単語および句ならびにそれらのそれぞれのＮＥＲラベルを含むことができる。完全に訓練された学習モデル２１０は、ノード間の関係を識別することに基づいてエッジを使用してノードを接続することができる。完全に訓練された学習モデル２１０は、それぞれの単語または句のＮＥＲラベルに基づいて、単語または句を記憶するノード間の関係を決定することができる。知識ベースは、データベース１２０に記憶することができる。
【0047】
非限定的な例として、画像解析を使用して文書を分類するための上述のシステムを使用して、ＩＣＳＲ文書を分類することができる。ＩＣＳＲ文書には、文献および臨床報告も含まれ得る。上述したように、ＩＣＳＲ文書には、患者、地理、有害作用、ＩＣＳＲの品質およびコンプライアンス特性、ベネフィット－リスク特性、製品の詳細、研究の詳細、ならびに消費者苦情、法的概念、またはＦＤＡ規制製品の使用に関連する他の医学的概念に関する情報が含まれる。製薬業界の企業は、特定の製品に何らかの措置が必要かどうかを判断するためにＩＣＳＲ文書を処理する必要があり得る。
【0048】
ＩＣＳＲワークフローは、事例受理、事例処理、および事例報告の３つのプロセスブロックを含み得る。受理の際、ＰＶ部門は、様々なフォーマットおよび言語で異なるソースからＩＣＳＲをグローバルに受け取る。報告は、様々な報告者、ヘルスケア専門家、および非ヘルスケア専門家から、ならびに電子メール、ファックス、郵便、および電話などの様々な媒体を介して行われる。事例の受理時にはいくつかの重要な評価が行われ、これは、事前に定義された規制ガイドラインを満たすために、重大度を考慮して事例を送る際に重要である。
【0049】
規制当局に対するコンプライアンスは、それぞれの指定されたタイムライン内での国固有の規制当局への報告必要性に基づいて決定される。したがって、緊急性の低い報告に対して行われる作業努力が伝播するのを制限するために、事前の優先順位付けは正確でなければならない。優先順位付けのための評価は、以下の重要な特性、すなわち、事例の有効性（有効または無効）、事例の重大度（重大または非重大）、関連性（疑わしい製品に関連しているまたは関連していない）、および有害作用のＳＲＥ（ラベル付きまたはラベルなし）を含むことができる。事例の有効性は、ＩＣＳＲ文書が有効な文書であるかどうかを示すことができる。事例の重大度は、ＩＣＳＲ文書に記載されている有害作用が重大であるか非重大であるかを示すことができる。ＳＲＥは、有害作用が重大な、関連するおよび予想される（例えば、製品にラベル表示されている）効果であるかどうかを示すことができる。
【0050】
企業は、有効なＩＣＳＲ文書に記載されている有害作用が重大かつ予想外である場合、特定の製品に関して措置を講じる必要があり得る。結果として、学習モデル１０４は、所与のＩＣＳＲ文書の事例の有効性、重大度、致命性、および因果関係を分類するように訓練され得る。学習モデル１０４はまた、予測性についてＦＤＡ承認薬の構造化製品ラベル（ＳＰＬ）における有害作用を識別し、適応外製品の使用の可能性を識別するように訓練され得る。さらに、学習モデル１０４は、文書内のエンティティを識別するように訓練され得る。学習モデル１０４を使用して、識別されたエンティティに基づいて文書の要約を生成することができる。学習モデル１０４は、文書の正確な要約を生成することができるように、文書のコンテキストを理解するように訓練され得る。
【0051】
例えば、クライアントデバイス１１０は、ＰＶ分野に対応するＩＣＳＲ文書を分類するために学習モデル１０４を訓練する要求を受信することができる。学習モデル１０４は、ＣＮＮおよびＢｉＬＳＴＭアルゴリズムを実装して文書を分類するように構成されたＮＬＰフレームワークであってもよい。
【0052】
非限定的な例として、学習モデル１０４は、ｓｐａＣｙ、ｓｐａＣｙ（ｖ２．０）、またはＭｅｄＳｐａＣｙを実装することができる。ＳｐａＣｙ（ｖ２．０）は、残差接続および層正規化ｍａｘｏｕｔ非線形性を有する最先端の畳み込みニューラルネットワーク（ＣＮＮ）モデルを利用する高度なＮＬＰのためのオープンソースのソフトウェアライブラリである。ＳｐａＣｙは、タグ付け、構文解析、固有表現認識、および深層学習統合のための標準的なＢｉＬＳＴＭソリューションよりもはるかに優れた効率を提供する。さらに、ｓｐａＣｙは、英語言語モデルにおけるＧｌｏＶｅ（グローバルベクトル）サポート機能を有する。ベクトルの最大サイズは、ＧｌｏＶｅ．８４０Ｂ．３００ｄコモンクロールでは２２０万である（８４０Ｂトークン、２．２Ｍ ｖｏｃａｂ、事例、３００ｄベクトル）。かなり大きなＭｅｄＤＲＡ語彙の効果的な取り扱いをサポートするために、サブワード特徴を使用する内部実装のブルーム埋め込み戦略が使用された。
【0053】
訓練アプリケーション１１２は、統計的ＮＥＲモデルを構築することができる。例えば、訓練アプリケーション１１２は、統計的ＮＥＲモデルを作成するために８１，９００個のＭｅｄＤＲＡエンティティを埋め込むことができる。訓練アプリケーション１１２はまた、統合医療言語システム（ＵＭＬＳ）を使用して統計的ＮＥＲモデルを構築することができる。統計的ＮＥＲモデルは、ｓｐａＣｙ ＥｎｔｉｔｙＲｕｌｅｒ検索パターン属性として組み込まれてもよい。統計的ＮＥＲモデルは、ＩＣＳＲ文書内の単語または句を認識するために学習モデル１０４によって使用される辞書またはオントロジであってもよい。訓練アプリケーション１１２は、学習モデル１０４に統計的ＮＥＲモデルをロードすることができる。統計的ＮＥＲモデルは、標準言語（例えば、英語、スペイン語、フランス語など）と組み合わせて使用することができる。
【0054】
要求は、訓練データ２００を含むことができる。訓練データ２００は、ＩＣＳＲ文書を含むことができる。文書は、テキスト２０２（例えば、１つまたは複数の文字列）と、テキスト２０２に割り当てられたラベル２０４とを含むことができる。ラベル２０４は、ＰＶ分野に対応するラベルの定義済みのセットからのものとすることができる。さらに、ラベル２０４の各ラベルは、テキスト２０２の１つまたは複数の文字列（例えば、単語または句）に割り当てられてもよい。１つまたは複数の文字列に割り当てられたラベルは、文字列を定義することができる。例えば、ラベル２０４は、ＰＶ分野のエンティティまたはフィールドに対応することができる。したがって、一実施形態では、所与の文字列に割り当てられたラベル２０４の所与のラベルは、所与の文字列がＰＶ分野の所与のエンティティまたはフィールドに対応することを示す。ラベル２０４は、各文書のメタデータに含まれてもよい。
【0055】
一例として、ラベル２０４は、以下のエンティティを含むことができる。
【0056】
【数1】
【0057】
ラベル２０４は、１０９個のＰＶエンティティに対応することができる。Ｆ１スコアは、完全に訓練された学習モデル２１０が所与のエンティティを識別することができる精度のレベルを示す。Ｆ１スコアについては、以下でより詳細に説明する。
【0058】
訓練アプリケーション１１２は、訓練データ２００、訓練データ２００に対応するラベル（例えば、メタデータ）２０４、およびパラメータを、訓練学習モデル１０４のための学習エンジン１０２に送信することができる。学習エンジン１０２は、訓練データ２００およびラベル２０４を受信することができる。非限定的な実施例では、訓練データ２００は、２万個の機械可読ＩＣＳＲを含んでいた。これらのＩＣＳＲは、２年間（２０１５年１月～２０１６年１２月）にわたってセルジーン社の薬物安全部門によって受理された。ＩＣＳＲの特性およびサンプリングに関するさらなる詳細は、以前に公開されている（Ａｂａｔｅｍａｒｃｏら、２０１８年、Ｍｏｃｋｕｔｅら、２０１９年）。ハイパーパラメータについては、利用可能な最良実施値をｓｐａＣｙによって使用した。
【0059】
学習モデル１０４は、訓練データ２００内の文書の各々について単語埋め込み（またはブルーム埋め込み）を生成することができる。学習モデル１０４は、訓練データ２００の文書の各々について単語埋め込み（またはブルーム埋め込み）をトークン化することができる。より具体的には、学習モデル１０４は、各文書を単語、文字、句読点などのセグメントにトークン化することができる。トークン化は、言語および特定の分野に固有のルールに基づいて各文書をセグメント化する。また、学習モデル１０４は、統計モデルを用いて各文書をセグメント化してもよい。
【0060】
学習モデル１０４は、各セグメントを特徴のセットに分解し、各それぞれのセグメントの特徴のセットを使用してセグメントの各々に対応するベクトル（例えば、１次元ベクトル）を生成するためにＣＮＮアルゴリズムを実装することができる。
【0061】
学習モデル１０４は、結果として得られるベクトルを生成するために、特徴のセットの各特徴に割り当てられた重みをベクトルに適用することができる。重みは、訓練アプリケーション１１２から受信したパラメータに含まれてもよい。学習モデル１０４は、得られたベクトルおよび統計的ＮＥＲモデルに基づいて、ベクトルに対応するセグメント内の単語に品詞タグを割り当てることができる。
【0062】
学習モデル１０４はまた、各セグメントに対応する結果として得られるベクトル、統計的ＮＥＲモデル、および各セグメント内の単語に割り当てられた品詞タグに基づいて、各それぞれの文書の各セグメント内の単語に依存関係タグを割り当てることができる。
【0063】
学習モデル１０４は、各セグメントに対応する結果して得られるベクトル、統計的ＮＥＲモデル、ならびに各セグメント内のそれぞれの単語に割り当てられた品詞タグおよび依存関係タグに基づいて、各それぞれの文書の各セグメント内の単語にＮＥＲラベルを割り当てることができる。ＮＥＲラベルは、分野に対応するラベルの定義済みのセットから選択され得る。ＮＥＲラベルは、単語が分野のフィールドまたはエンティティに対応することを示す。例えば、ＮＥＲラベルは、文書を正確に分類するためにＰＶイベント検出に重要な単語または句に割り当てられてもよい。
【0064】
学習モデル１０４は、各文書に対応するそれぞれのラベル２０４に基づいて、各文書の単語に割り当てられたＮＥＲラベルを検証することができる。検証結果および勾配２０８に基づいて、学習モデル１０４は、各特徴に割り当てられた重みを修正し、文書ごとに単語（またはブルーム）埋め込みをトークン化して各文書の新しいセグメントを生成し、新しいセグメントおよび新しい重みに基づいて新しいベクトルを生成し、新しいベクトルに基づいて新しいセグメントの単語に品詞タグを割り当て、単語に割り当てられた品詞タグおよび新しいベクトルに基づいて新しいセグメントの単語に依存関係タグを割り当て、単語に割り当てられた品詞タグおよび依存関係タグならびに新しいベクトルに基づいて新しいセグメントの単語にＮＥＲラベルを割り当て、ラベル２０４に基づいてＮＥＲラベルを検証することができる。学習モデル１０４は、学習モデル１０４が所望の精度でＮＥＲラベルを割り当てるまで再帰的に重みを修正し、これらのステップを実行することができる。勾配２０８は、学習モデル１０４を訓練するために重みを最適化するように構成された勾配損失関数であってもよい。
【0065】
非限定的な実施例では、２万個の注釈付きＩＣＳＲ文書を使用して学習モデル１０４を訓練することに基づいて、７５％の閾値Ｆ１スコアを使用して、学習モデル１０４が完全に訓練されたかどうかを判定した。以下の式を使用してＦ１スコアを生成した。
【0066】
精度＝真陽性／（真陽性＋偽陽性）
再現率＝真陽性／（真陽性＋偽陰性）
Ｆ１＝２×（精度×再現率）／（精度＋再現率）
学習モデル１０４が所望の精度でＮＥＲラベルを割り当てている場合、学習モデル１０４は、完全に訓練された学習モデル２１０であってもよい。クライアントデバイス１１０は、完全に訓練された学習モデル２１０を使用してＩＣＳＲ文書を分類する要求を受信することができる。要求は、ＩＣＳＲ文書を含むことができる。分類アプリケーション１１４は、ＩＣＳＲ文書およびパラメータを完全に訓練された学習モデル２１０に送信することができる。完全に訓練された学習モデル２１０は、ＩＣＳＲ文書のための単語（ブルーム）埋め込みを生成することができる。完全に訓練された学習モデル２１０は、文書のセグメントを生成するために単語埋め込みをトークン化し、パラメータに含まれるセグメントおよび重みに基づいてベクトルを生成し、統計的ＮＥＲモデルおよびベクトルに基づいてセグメントの単語に品詞タグを割り当て、単語に割り当てられた品詞タグ、統計的ＮＥＲモデル、およびベクトルに基づいてセグメントの単語に依存関係タグを割り当て、単語に割り当てられた品詞タグおよび依存関係タグ、統計的ＮＥＲモデル、およびベクトルに基づいてセグメントの単語にＮＥＲラベルを割り当てることができる。完全に訓練された学習モデル２１０は、ＮＥＲラベルの割り当てに応答して出力２１２を生成することができる。
再現率＝真陽性／（真陽性＋偽陰性）
Ｆ１＝２×（精度×再現率）／（精度＋再現率）
学習モデル１０４が所望の精度でＮＥＲラベルを割り当てている場合、学習モデル１０４は、完全に訓練された学習モデル２１０であってもよい。クライアントデバイス１１０は、完全に訓練された学習モデル２１０を使用してＩＣＳＲ文書を分類する要求を受信することができる。要求は、ＩＣＳＲ文書を含むことができる。分類アプリケーション１１４は、ＩＣＳＲ文書およびパラメータを完全に訓練された学習モデル２１０に送信することができる。完全に訓練された学習モデル２１０は、ＩＣＳＲ文書のための単語（ブルーム）埋め込みを生成することができる。完全に訓練された学習モデル２１０は、文書のセグメントを生成するために単語埋め込みをトークン化し、パラメータに含まれるセグメントおよび重みに基づいてベクトルを生成し、統計的ＮＥＲモデルおよびベクトルに基づいてセグメントの単語に品詞タグを割り当て、単語に割り当てられた品詞タグ、統計的ＮＥＲモデル、およびベクトルに基づいてセグメントの単語に依存関係タグを割り当て、単語に割り当てられた品詞タグおよび依存関係タグ、統計的ＮＥＲモデル、およびベクトルに基づいてセグメントの単語にＮＥＲラベルを割り当てることができる。完全に訓練された学習モデル２１０は、ＮＥＲラベルの割り当てに応答して出力２１２を生成することができる。
【0067】
出力２１２は、ＩＣＳＲ文書を分類するのに必要な重要な単語または句のＮＥＲラベルを含むことができる。例えば、出力２１２は、「ＲｅｐｏｒｔｅｒｓＳｅｒｉｏｕｓＨｏｓｐｉｔａｌｉｚａｔｉｏｎ」として「入院」という単語のＮＥＲラベルを含むことができ、「メラノーマ」という単語は、ＡＥ１００５３５７１としてＮＥＲラベルを含むことができる。
【0068】
完全に訓練された学習モデル２１０は、ＮＥＲラベルに基づいてＩＣＳＲ文書を分類することができる。例えば、完全に訓練された学習モデル２１０は、事例の有効性、重大度、致命性、および因果関係についてＩＣＳＲ文書を分類し、ＦＤＡ承認薬の予測性について構造化製品ラベル（ＳＰＬ）に存在する有害作用を識別し、適応外製品の使用の可能性を識別することができる。
【0069】
完全に訓練された学習モデル２１０は、製品指示（複数可）と関連するＡＥとの間の任意の検出された関係と共に、カバーされていないエンティティを含む出力を生成することができる。一例として、Ｓｔｒｅａｍｌｉｔを使用して、出力をレンダリングするためのウェブインターフェースを生成することができる。完全に訓練された学習モデル２１０は、クライアントデバイス１１０上に出力を表示させることができる。
【0070】
いくつかの実施形態では、完全に訓練された学習モデル２１０は、ＩＣＳＲ文書およびそれらのそれぞれのＮＥＲラベルから単語および句を抽出することができる。完全に訓練された学習モデル２１０は、ＩＣＳＲ文書から抽出された単語および句ならびにそれらのそれぞれのＮＥＲラベルを、他の文書（ＩＣＳＲまたはその他）からの抽出された単語および句ならびにそれらのそれぞれのＮＥＲラベルと共に使用して、知識ベースを構築することができる。知識ベースは、薬物、薬物の種類、疾患、患者の人口統計などに関連し得る。
【0071】
知識ベースは、エッジを使用して接続されたノードを含むグラフベースの構造であってもよい。ノードは、抽出された単語および句ならびにそれらのそれぞれのＮＥＲラベルを含むことができる。完全に訓練された学習モデル２１０は、ノード間の関係を識別することに基づいてエッジを使用してノードを接続することができる。完全に訓練された学習モデル２１０は、それぞれの単語または句のＮＥＲラベルに基づいて、単語または句を記憶するノード間の関係を決定することができる。知識ベースは、データベース１２０に記憶することができる。
【0072】
知識ベースは、薬物、薬物の種類、疾患、患者の人口統計などに関する異なる態様を決定するために、異なる産業にわたって使用され得る。産業は、技術、規制、医療などを含み得る。例えば、ＦＤＡなどの規制産業は、知識ベースを使用して薬物の様々な効果を識別することができる。別の例では、薬物の製造業者は、知識ベースを使用して、有害作用を引き起こしている薬物の成分を識別することができる。さらに別の例では、医療専門家または研究者は、疾患のための薬物または療法を識別するために知識ベースを使用することができる。
【0073】
【0074】
上述したように、学習モデル１０４は、ＣＮＮなどの教師付きディープラーニングアルゴリズムを実装して、それらの対応する画像ファイルに基づいて文書を分類することができる。ＣＮＮアルゴリズム３００を使用して、文書の各トークン化セグメントを表すベクトルを生成することができ、ベクトルを使用して、品詞タグ、依存関係タグ、およびＮＥＲラベルを割り当てることができる。
【0075】
ＣＮＮアルゴリズム３００は、順相と逆相の二相で訓練することができる。順相は、畳み込み層３０４および３０８と、プーリング層３０６および３１０と、全結合層３１２および３１４とを含む。畳み込み層３０４および３０８は、特徴マップを生成するために入力セグメント３０２にフィルタを適用することができる。プーリング層３０６および３１０は、縮小された特徴マップを生成することができる。次いで、全結合層３１２および３１４は、出力３１６を生成するために重みおよびバイアスを使用して画像の特徴を分類することができる。出力３１６は、割り当てられた品詞タグ、依存関係タグ、およびＮＥＲラベルであってもよい。フィルタ、重み、およびバイアスの値は、ＣＮＮアルゴリズム３００によって（例えば、クライアントデバイス１１０から）受信されたパラメータとすることができる。
【0076】
逆相では、ＣＮＮアルゴリズム３００は、逆伝播を使用して、ＣＮＮアルゴリズムが品詞タグ、依存関係タグ、およびＮＥＲラベルを正しく割り当てることができるかどうかを判定することができる。ＣＮＮアルゴリズムは、勾配降下アルゴリズムを使用してフィルタ、重み、およびバイアスの値を更新し、入力セグメント３０２上の順相を再実行することができる。
【0077】
一例として、ＣＮＮアルゴリズム３００は、入力セグメント３０２を含む文書の単語埋め込みのトークン化セグメントを使用して訓練されてもよい。入力セグメント３０２は、文書内の１つまたは複数の単語に対応していてもよい。非限定的な例として、入力セグメント３０２は、１６０×１６０ピクセルのサイズを有することができ、１６０×１６０の次元配列となる。１６０×１６０次元配列は、２５６００次元ベクトルに平坦化することができる。ベクトルの各成分は、０と１との間の値を含み得る。値は、ピクセルの強度を記述することができる。入力セグメント３０２は、グレースケール形式の一意のＪＰＥＧ「指紋」を含むことができる。
【0078】
畳み込み層３０４において、ＣＮＮアルゴリズム３００は、入力セグメント３０２に対して特徴抽出を実行することができる。特徴は、入力セグメント３０２の一部を含むことができる。例えば、特徴は、入力セグメント３０２の異なるエッジまたは形状であってもよい。ＣＮＮアルゴリズムは、異なるタイプの特徴を抽出して、異なる種類の特徴マップを生成することができる。例えば、ＣＮＮアルゴリズム３００は、入力セグメント３０２の異なる部分にわたって数の配列（例えば、カーネル）を適用することができる。カーネルは、フィルタと呼ばれることもある。上述したように、異なる特徴マップを生成するために、異なる種類のフィルタを入力セグメント３０２に適用することができる。例えば、入力セグメント３０２内の形状を識別するためのフィルタは、エッジ検出のためのフィルタとは異なっていてもよい。したがって、異なるカーネルを適用して、エッジ検出と比較して入力セグメント３０２内の形状を識別することができる。各カーネルは、異なる数の配列を含むことができる。フィルタまたはカーネルの値は、ランダムに割り当てられ、（例えば、勾配降下アルゴリズムを使用して）経時的に最適化され得る。カーネルは、入力セグメント３０２の異なる部分にわたってスライディングウィンドウとして適用されてもよい。カーネルは、入力セグメント３０２の所与の部分と合計されて出力値を生成することができる。出力値は、特徴マップに含まれてもよい。特徴マップは、入力セグメント３０２の各部分に適用される異なるカーネルからの出力値を含むことができる。生成された特徴マップは、２次元配列であってもよい。
【0079】
プーリング層３０６では、ＣＮＮアルゴリズム３００は、畳み込み層３０４で生成された各特徴マップの次元を削減することができる。特に、ＣＮＮアルゴリズム３００は、所与の特徴マップの部分を抽出し、残りを破棄することができる。画像をプールすると、重要な特徴が維持される。例えば、特徴マップは、活性化領域および非活性化領域を含むことができる。活性化領域は、検出された特徴を含むことができ、非活性化領域は、セグメントの部分が特徴を含まなかったことを示すことができる。プーリングは、非活性化領域を除去することができる。これにより、画像のサイズが縮小される。ＣＮＮアルゴリズム３００は、プーリング層における最大プーリングまたは平均プーリングを使用して、これらの動作を実行することができる。最大プーリングは、残りの値を破棄しながら、特徴マップの部分のより高い値を保持する。平均プーリングは、特徴マップの異なる部分の平均値を保持する。そこで、ＣＮＮアルゴリズム３００は、畳み込み層３０４で生成された特徴マップの各々について、縮小された特徴マップを生成してもよい。
【0080】
畳み込み層３０８では、ＣＮＮアルゴリズム３００は、プーリング層３０６で生成された縮小された特徴マップに基づいて追加の特徴マップを生成することができる。さらに、プーリング層３１０では、ＣＮＮアルゴリズム３００は、畳み込み層３０８で生成された特徴マップに基づいて、さらに縮小された特徴マップを生成することができる。複数の異なる畳み込み層およびプーリング層をＣＮＮアルゴリズム３００に追加することができる。
【0081】
畳み込み層３０４および３０８はまた、正規化線形ユニット（ＲｅＬＵ）関数を入力セグメント３０２に適用することができる。ＲｅＬＵ関数は、入力セグメント３０２から線形性を除去するために入力セグメント３０２に適用される。例えば、ＲｅＬＵ関数は、入力セグメント３０２からすべての黒色要素を除去し、灰色および白色のみを保持することができる。これにより、入力セグメント３０２において色がより急激に変化し、入力セグメント３０２から線形性が除去される。
【0082】
畳み込み層３０４および３０８ならびにプーリング層３０６および３１０は、特徴学習に使用することができる。特徴学習は、ＣＮＮアルゴリズム３００が入力セグメント３０２内の所望の特徴を識別し、したがって入力セグメント３０２を正確に分類することを可能にする。したがって、畳み込み層３０４および３０８ならびにプーリング層３０６および３１０を最適化することによって、ＣＮＮアルゴリズム３００は、入力セグメント３０２を分類するのに必要な特徴を抽出するために、入力セグメント３０２に正しいフィルタを適用することができる。
【0083】
全結合層３１２では、ＣＮＮアルゴリズム３００は、プーリング層３１０で生成された縮小された特徴マップを１次元配列（またはベクトル）に平坦化することができる。全結合層はニューラルネットワークである。ＣＮＮアルゴリズム３００は、全結合層３１２内の１次元配列に対して線形変換を実行することができる。ＣＮＮアルゴリズム３００は、重みおよびバイアスを１次元アレイに適用することによって線形変換を実行して、全結合層３１４を生成することができる。最初に、重みおよびバイアスはランダムに初期化され、経時的に最適化され得る。
【0084】
全結合層３１４では、ＣＮＮアルゴリズム３００は、入力セグメント３０２のそれぞれの単語に品詞タグ、依存関係タグ、およびＮＥＲラベルを割り当てるために、活性化層関数（例えば、ソフトマックスまたはシグモイド）などの非線形変換を実行することができる。
【0085】
ＣＮＮアルゴリズム３００は、入力セグメント３０２のその分類を検証するために逆伝播を使用することができる。図２に記載されるように、訓練モードにおいて、ＣＮＮアルゴリズム３００は、文書および対応する文書のメタデータを受信し得る。メタデータは、文書の異なる単語または句に割り当てられたラベル２０４を含むことができる。ＣＮＮアルゴリズム３００は、文書の単語または句に割り当てられたＮＥＲラベルを、その文書に対応するラベル２０４と比較することができる。ＣＮＮアルゴリズム３００によって文書に割り当てられたＮＥＲラベルが、文書に対応するラベル２０４と一致する場合、ＣＮＮアルゴリズム３００は、ＮＥＲラベルが正しく割り当てられたと判定し得る。あるいは、ＣＮＮアルゴリズム３００によって文書に割り当てられた分類が文書のメタデータに含まれる分類と一致しない場合、ＣＮＮアルゴリズム３００は、ＮＥＲラベルが誤って割り当てられたと判定することができる。いくつかの実施形態では、品詞タグおよび依存関係タグも検証することができる。
【0086】
逆伝播はまた、品詞タグおよび依存関係タグならびにＮＥＲラベルが文書の単語または句により正確に割り当てられるように、入力パラメータを最適化することを含むことができる。入力パラメータは、カーネルの値、重み、バイアスなどを含むことができる。勾配降下（例えば、勾配２０８）を使用してパラメータを最適化することができる。
【0087】
勾配降下は、ＣＮＮアルゴリズム３００を最適化するための反復プロセスである。勾配降下は、ＣＮＮアルゴリズム３００のパラメータを更新し、学習モデル１０４に、各文書の単語または句に品詞タグおよび依存関係タグならびにＮＥＲラベルを割り当てさせ、品詞タグおよび依存関係タグならびにＮＥＲラベルを検証させることができる。ＣＮＮアルゴリズム３００を実行する各反復の後、パラメータはさらに更新（または最適化）されてもよい。ＣＮＮアルゴリズム３００の各反復は、エポックと呼ばれ得る。ＣＮＮアルゴリズム３００は、所定数のエポックを実行することで、完全に訓練されたと見なすことができる。所定数のエポックは、品詞タグおよび依存関係タグならびにＮＥＲラベルを割り当てる所望の精度に基づいて選択することができる。
【0088】
非限定的な例として、ＣＮＮアルゴリズム３００は、ＩＣＳＲ文書を分類するための学習モデル１０４によって実装されてもよい。学習モデル１０４は、ＣＮＮアルゴリズム３００を使用してＩＣＳＲ文書内の単語または句を認識し、学習モデル１０４が事例の有効性、重大度、致命性、および因果関係を判定し、ＦＤＡ承認薬の構造化製品ラベル（ＳＰＬ）に存在する予測性を識別し、適応外製品の使用の可能性を識別できるようにしてもよい。
【0089】
上記のように、ＣＮＮアルゴリズム３００は、所定数のエポックを実行することで、完全に訓練されたと見なすことができる。ユーザ（例えば、開発者）は、ＣＮＮアルゴリズム３００のＦ－１スコアおよび曲線下面積（ＡＵＣ）スコアに基づいてＣＮＮアルゴリズムが完全に訓練されたと決定することができる。Ｆ－１スコアおよび曲線下面積（ＡＵＣ）曲線は、それぞれの文書の単語または句に品詞タグおよび依存関係タグならびにＮＥＲラベルを割り当てる精度を示すことができる。
【0090】
図４は、例示的な実施形態による、学習モデルを訓練するために使用される例示的な文書を示す。文書４００は、ＩＣＳＲ文書であってもよく、ＩＣＳＲ文書を分類するために必要な重要な単語または句４０２を含むことができる。文書４００は、ＩＣＳＲ文書を分類するための学習モデル（例えば、図１に示すような学習モデル１０４）を訓練するために使用され得る。文書４００は、注釈４０４（例えば、図２に示すように、ラベル２０４）を含むことができる。注釈４０４は、ＩＣＳＲ文書を分類するために必要な重要語または句４０２に割り当てられたラベルであってもよい。例えば、「Ｎａｍｅ」という単語に「ＲｅｐｏｒｔｅｒＴｙｐｅＨＣＰ」というラベルを割り当てることができる。注釈２０４を使用して、ＮＥＲラベルを文書４００に割り当てた結果を検証することができる。
【0091】
図５は、例示的な実施形態による、学習モデルのモデル設計フレームワークを示すブロック図である。モデル設計フレームワーク５００は、学習モデル（例えば、学習モデル１０４または完全に訓練された学習モデル２１０）によって実装することができる。モデル設計フレームワーク５００は、訓練データ２００を使用して学習モデルを訓練するために使用することができる。辞書またはオントロジは、モデル設計フレームワーク５００にロードすることができる。例えば、辞書またはオントロジは、ＭｅｄＲＮＡまたはＵＭＬＳであってもよい。
【0092】
学習モデルが訓練されると、上述したように、モデル設計フレームワーク５００は、カスタム統計ＮＥＲモデルおよび既存の言語統計モデルを使用して語彙を構築することができる。モデル設計フレームワーク５００は、分類のための文書を受け取ることができる。モデル設計フレームワーク５００は、語彙を使用して文書の単語または句を認識するために、文書をトークン化し、ＣＮＮアルゴリズムを実装することができる。モデル設計フレームワーク５００は、文書内の単語または句に品詞タグおよび依存関係タグを割り当て、文書の単語または句にＮＥＲラベルを割り当てることができる。モデル設計フレームワーク５００は、文書を分類するのに必要な文書の単語または句に対するＮＥＲラベルを含む出力２１２を生成することができる。モデル設計フレームワーク５００は、ＮＥＲラベルを割り当てるときに文書のコンテキストを理解することができる。例えば、胃炎が出力２１２のテキストに含まれているにもかかわらず、完全な句は「胃炎を除外した．．．」と読める。これは、文書を分類する上で重要ではないため、胃炎にラベルを付ける必要がないことを示している。
【0093】
図６は、例示的な実施形態による、モデル承認フローのブロック図である。モデル承認フロー６００を使用して、学習モデルが許容可能なレベルの精度で品詞タグおよび依存関係タグおよびＮＥＲラベルを割り当てるかどうかを判定することができる。動作６０２において、訓練コーパス（例えば、訓練データ）を作成することができる。より具体的には、内容領域専門家（ＳＭＥ）は、文書を分類するのに必要な文書の単語または句に割り当てられたラベルで文書に注釈を付けることができる。ＳＭＥは、注釈の品質チェックを実行することができる。注釈付き文書は、訓練コーパスの一部であってもよく、訓練コーパスは、訓練データリポジトリ（例えば、図１に示すようなデータベース１２０）に記憶することができる。
【0094】
動作６０４において、学習モデル（例えば、図１に示すような学習モデル１０４）は、訓練データリポジトリに記憶された訓練コーパスを使用して訓練することができる。開発者またはＳＭＥは、訓練コーパスを使用して学習を訓練する要求を送信することができる。学習モデルは、上述したように、訓練用コーパスを用いて訓練されてもよい。割り当てられた品詞タグおよび依存関係タグならびにＮＥＲラベルの検証に基づいて、学習モデルは、割り当てられた品詞タグおよび依存関係タグならびにＮＥＲラベルの学習モデルの割り当ての精度が閾値を満たすかどうかを判定することができる。閾値は、予めプログラムされていてもよく、または学習モデルを訓練する要求において提供されてもよい。学習モデルの閾値の精度が満たされない場合、同じ文書のセットまたは異なる文書のセットで学習モデルを再訓練する要求が送信され得る。
【0095】
学習モデルの分類の精度が閾値を満たす場合、モデル承認フロー６００は動作６０６に進むことができる。動作６０６において、ＳＭＥは、割り当てられた品詞タグおよび依存関係タグならびにＮＥＲラベルの学習モデルの割り当てを手動で確認することができる。いくつかの実施形態では、ＳＭＥは、学習モデルと同じ文書のサブセットの分類を検証することができる。あるいは、ＳＭＥは、文書の異なるサブセットの分類を検証することができる。文書のサブセットは、文書のセットの１０％であってもよい。
【0096】
ＳＭＥは、文書のメタデータに基づいて、学習モデルが文書のサブセットの各文書を正確に分類したかどうかを確認することができる。さらに、ＳＭＥは、メタデータが正確であるかどうかを確認することもできる。割り当てられた品詞タグおよび依存関係タグ、ならびに文書のサブセットのＮＥＲラベルの学習モデルの割り当ての検証に応答して、ＳＭＥは、許容品質限界（ＡＱＬ）が達成されたかどうかを判定することができる。ＡＱＬは、学習モデルの所望の精度レベルに関連付けられた値であってもよい。いくつかの実施形態では、ＡＱＬは閾値と同じであってもよい。他の実施形態では、ＡＱＬは閾値と異なっていてもよい。ＳＭＥが、ＡＱＬが満たされていないと判定した場合、学習モデルを再訓練するために要求を送信することができる。ＡＱＬが満たされたとＳＭＥが判定したことに応答して、ＳＭＥは学習モデルを承認することができる。学習モデルは、完全に訓練されており、文書を分類する準備ができていると考えることができる。
【0097】
図７は、例示的な実施形態による、訓練された学習モデルを使用して文書内のエンティティ（例えば、単語または句）を認識する際のＦ１スコアを示すグラフである。グラフ７００は、訓練された学習モデル（例えば、図２に示すような完全に訓練された学習モデル２１０）が、０～５０％の精度のＦ１スコアで１０９個のエンティティのうちの５４．１３％を正確に識別することができることを示している。さらに、訓練された学習モデルは、５１～７４％の精度のＦ１スコアで１０９個のエンティティのうちの２２．０２％を正確に識別することができる。さらに、訓練された学習モデルは、７５％を超える精度のＦ１スコアで１０９個のエンティティのうちの２３．８５％を正確に識別することができる。
【0098】
図８は、例示的な実施形態による、学習モデルの損失関数を示すグラフ８００である。グラフ８００のｙ軸は、予測値と実際値との差を表す。ｘ軸は、学習モデル（例えば、学習モデル１０４）が訓練された反復回数を表す。各反復はエポックと呼ぶことができる。グラフ８００は、ｘ軸にまたがる１００エポックを示すことができる。グラフ８００は、学習モデルの訓練の反復回数が多いほど、予測値と実績値との差が小さくなることを示している。したがって、予測されたエンティティとラベル付けされたエンティティとの間の誤差は、１００エポックにわたって最小化された。グラフ８００の損失関数は、損失の滑らかな減少を示し、訓練の過程にわたって約７４％の損失減少をもたらす。
【0099】
図９は、例示的な実施形態による、文書を要約する完全に訓練された学習モデルを示す。組織内のサマライザは、本明細書に記載の完全に訓練された学習モデルを実装する（例えば、学習モデル１０４または完全に訓練された学習モデル２１０）。ＮＬＴＫは、従来のＮＬＰモデルを実装する。ＮＬＴＫサマライザは、文書９００の要約９０２を生成することができ、組織内サマライザは、文書９００の要約９０４を生成することができる。要約９０４に示すように、組織内サマライザは、要約９０２と比較して、要約９０４における文書９００の範囲を広くしている。ＮＬＴＫサマライザは、要約９０２を生成するとき、文書９００の限られた部分に集中する。したがって、本明細書に記載の完全に訓練された学習モデルを実装する組織内のサマライザは、要約を生成するときに文書のより広い範囲を提供することによって、従来のＮＬＰモデルを実装する従来のサマライザを超える利点を提供する。
【0100】
図１０は、実施形態による学習モデルを訓練するためのプロセスを示すフローチャートである。方法１０００は、ハードウェア（例えば、回路、専用論理、プログラマブル論理、マイクロコードなど）、ソフトウェア（例えば、処理デバイス上で実行される命令）、またはそれらの組み合わせを含むことができる処理ロジックによって実行することができる。本明細書で提供される開示を実行するためにすべてのステップが必要とされるわけではないことを理解されたい。さらに、当業者によって理解されるように、ステップのいくつかは、同時にまたは図１０に示されたものとは異なる順序で実行されてもよい。
【0101】
方法１０００について図１を参照して説明する。しかしながら、方法１０００は、その例示的な実施形態に限定されない。
【0102】
動作１００２において、学習エンジン１０２は、分野の文書を分類するように学習モデル１０４を訓練する要求を受信する。要求は、文書のセットおよび文書の各々のメタデータを含む。メタデータは、各文書内の特定の単語または句をラベル付けする注釈であってもよい。学習モデル１０４は、ＣＮＮおよびＢｉＬＳＴＭを使用するＮＬＰフレームワークであってもよい。
【0103】
動作１００４において、学習モデル１０４は、文書のセットの各文書について単語埋め込みのセットを生成する。単語埋め込みは、文書の各々の単語のベクトル表現であってもよい。単語はベクトル空間に配置され得る。単語は、文脈および意味においてより近い他の単語に近接して配置されてもよい。単語埋め込みは、各それぞれの文書からの単語を含むことができる。単語埋め込みは、ブルーム埋め込みであってもよい。
【0104】
動作１００６において、学習モデル１０４は、単語埋め込みのセットにおける各単語埋め込みをセグメントのセットにトークン化する。各セグメントは、単語埋め込みからの単語を含む。学習モデル１０４は、統計的ＮＥＲモデルおよび一般的な言語ルールを使用して、単語埋め込みから単語をセグメント化することができる。
【0105】
動作１００８において、学習モデル１０４は、文書のセットの各文書のセグメントのセットのセグメントの各々を特徴のセットに分解することによって、分野の文書のセットの各文書を分類するように訓練される。ＣＮＮアルゴリズムを使用して、特徴のセットを生成することができる。
【0106】
動作１０１０において、学習モデル１０４は、対応するセグメントの特徴のセットの各特徴に割り当てられた所定の重みに基づいて、文書のセットの各文書について、セグメントのセットの各々に品詞タグを割り当てる。品詞タグは、単語が名詞、動詞、形容詞などであるかどうかを定義する。
【0107】
動作１０１２において、学習モデル１０４は、対応するセグメントに割り当てられた品詞タグと、対応する文字列の特徴のセットの各特徴に割り当てられた所定の重みとに基づいて、文書のセットの各文書のセグメントのセットのセグメントの各々に依存関係タグを割り当てる。依存関係タグは、文書内の単語と他の単語との関係を示す。例えば、句「なまけものの犬」は、単語「なまけもの」が名詞「犬」を修飾することを示す。
【0108】
動作１０１４において、学習モデル１０４は、対応するセグメントに割り当てられた品詞タグおよび依存関係タグと、対応するセグメントの特徴のセットの各特徴に割り当てられた所定の重みとに基づいて、分野に対応する定義済みのラベルのセットから、文書のセットの各文書のセグメントのセットのセグメントの各々に、固有表現認識（ＮＥＲ）ラベルを割り当てる。学習モデル１０４は、各それぞれの単語とともにＮＥＲタグを含む出力を生成することができる。学習モデル１０４は、文書を分類するために必要な単語のＮＥＲタグを生成することができる。
【0109】
動作１０１６において、学習モデル１０４は、各文書のメタデータをそれぞれの文書の割り当てられたＮＥＲラベルと比較することによって、割り当てられたＮＥＲラベルを検証する。動作１００８～１０１６は、学習モデルを訓練するために再帰的に実行されてもよい。訓練の反復ごとに、特徴に割り当てられた重みは、勾配損失関数に基づいて最適化され得る。
【0110】
図１１は、一実施形態による、訓練された学習モデルを使用して文書を分類するためのプロセスを示すフローチャートである。方法１１００は、ハードウェア（例えば、回路、専用論理、プログラマブル論理、マイクロコードなど）、ソフトウェア（例えば、処理デバイス上で実行される命令）、またはそれらの組み合わせを含むことができる処理ロジックによって実行することができる。本明細書で提供される開示を実行するためにすべてのステップが必要とされるわけではないことを理解されたい。さらに、当業者によって理解されるように、ステップのいくつかは、同時にまたは図１１に示されたものとは異なる順序で実行されてもよい。
【0111】
方法１１００について図１を参照して説明する。しかしながら、方法１１００は、その例示的な実施形態に限定されない。
【0112】
動作１１０２において、学習エンジン１０２は、訓練された学習モデルを使用して新しい文書を分類する要求を受信する。訓練された学習モデルは、文書の分野に対応する文書を分類するように構成することができる。訓練された学習モデルは、ＣＮＮおよびＢｉＬＳＴＭを使用するＮＬＰフレームワークを実装することができる。学習モデル１０４は、完全に訓練された学習モデルであってもよい。
【0113】
動作１１０４において、学習モデル１０４は、文書の単語埋め込みを生成する。単語埋め込みは、文書からの単語を含むことができる。単語埋め込みは、ブルーム埋め込みであってもよい。
【0114】
動作１１０６において、学習モデル１０４は、単語埋め込みをセグメントのセットにトークン化する。各セグメントは、単語埋め込みからの単語を含む。学習モデル１０４は、統計的ＮＥＲモデルおよび一般的な言語ルールを使用して、単語埋め込みから単語をセグメント化することができる。
【0115】
動作１１０８において、学習モデル１０４は、文書のセグメントのセットのセグメントの各々を特徴のセットに分解する。ＣＮＮアルゴリズムを使用して、特徴のセットを生成することができる。
【0116】
動作１１１０において、学習モデル１０４は、対応するセグメントの特徴のセットの各特徴に割り当てられた所定の重みに基づいて、セグメントのセットのセグメントの各々に品詞タグを割り当てる。品詞タグは、単語が名詞、動詞、形容詞などであるかどうかを定義する。
【0117】
動作１１１２において、学習モデル１０４は、対応するセグメントに割り当てられた品詞タグと、対応する文字列の特徴のセットの各特徴に割り当てられた所定の重みとに基づいて、セグメントのセットのセグメントの各々に依存関係タグを割り当てる。依存関係タグは、文書内の単語と他の単語との関係を示す。
【0118】
動作１１１４において、学習モデル１０４は、対応するセグメントに割り当てられた品詞タグおよび依存関係タグと、対応するセグメントの特徴のセットの各特徴に割り当てられた所定の重みとに基づいて、分野に対応する定義済みのラベルのセットから、セグメントのセットのセグメントの各々に、固有表現認識（ＮＥＲ）ラベルを割り当てる。学習モデル１０４は、各それぞれの単語とともにＮＥＲタグを含む出力を生成することができる。学習モデル１０４は、文書を分類するために必要な単語のＮＥＲタグを生成することができる。
【0119】
動作１１１６において、学習モデル１０４は、訓練された学習モデルを使用して、割り当てられたＮＥＲラベルに基づいて分野に対応する新しい文書を分類する。一例では、学習モデルは、事例の有効性、重大度、致命性、および因果関係に基づいて医薬品安全性監視文書を分類するように構成される。学習モデルは、予測性についてＦＤＡ承認薬の構造化製品ラベル（ＳＰＬ）における有害作用を識別し、適応外製品の使用の可能性を識別するようにさらに構成され得る。
【0120】
図１２は、コンピュータシステム１２００の例示的な構成要素のブロック図である。例えば、本明細書で説明する実施形態のいずれか、ならびにそれらの組み合わせおよび部分的組み合わせを実施するために、１つまたは複数のコンピュータシステム１２００を使用することができる。コンピュータシステム１２００は、プロセッサ１２０４などの１つまたは複数のプロセッサ（中央処理装置またはＣＰＵとも呼ばれる）を含むことができる。プロセッサ１２０４は、通信インフラストラクチャまたはバス１２０６に接続することができる。
【0121】
コンピュータシステム１２００はまた、ユーザ入出力装置１２０３を介して通信インフラストラクチャ１２０６と通信することができるモニタ、キーボード、ポインティングデバイスなどのユーザ入出力インターフェース１２０２を含むことができる。
【0122】
プロセッサ１２０４のうちの１つまたは複数は、グラフィックス処理装置（ＧＰＵ）であってもよい。一実施形態では、ＧＰＵは、数学的に集中的なアプリケーションを処理するように設計された専用の電子回路であるプロセッサであってもよい。ＧＰＵは、コンピュータグラフィックスアプリケーション、画像、ビデオなどに共通の数学的に集中的なデータなど、データの大きなブロックの並列処理に効率的な並列構造を有することができる。
【0123】
コンピュータシステム１２００はまた、ランダムアクセスメモリ（ＲＡＭ）などのメインまたは１次メモリ１２０８を含むことができる。メインメモリ１２０８は、１つまたは複数のレベルのキャッシュを含んでもよい。メインメモリ１２０８は、制御論理（すなわち、コンピュータソフトウェア）および／またはデータを記憶していてもよい。
【0124】
コンピュータシステム１２００はまた、１つまたは複数の２次記憶装置またはメモリ１２１０を含んでもよい。２次メモリ１２１０は、例えば、ハードディスクドライブ１２１２および／または取り外し可能な記憶ドライブ１２１４を含むことができる。
【0125】
取り外し可能な記憶ドライブ１２１４は、取り外し可能な記憶ユニット１２１８と対話することができる。取り外し可能な記憶ユニット１２１８は、コンピュータソフトウェア（制御ロジック）および／またはデータを記憶しているコンピュータ使用可能または可読記憶装置を含むことができる。取り外し可能な記憶ユニット１２１８は、プログラムカートリッジおよびカートリッジインターフェース（ビデオゲーム装置に見られるものなど）、取り外し可能なメモリチップ（ＥＰＲＯＭまたはＰＲＯＭなど）および関連するソケット、メモリスティックおよびＵＳＢポート、メモリカードおよび関連するメモリカードスロット、ならびに／または任意の他の取り外し可能な記憶ユニットおよび関連するインターフェースであってもよい。取り外し可能な記憶ドライブ１２１４は、取り外し可能な記憶ユニット１２１８から読み書きすることができる。
【0126】
２次メモリ１２１０は、コンピュータプログラムおよび／または他の命令および／またはデータがコンピュータシステム１２００によってアクセスされることを可能にするための他の手段、デバイス、構成要素、手段、または他の手法を含むことができる。そのような手段、デバイス、構成要素、手段、または他の手法は、例えば、取り外し可能な記憶ユニット１２２２およびインターフェース１２２０を含むことができる。取り外し可能な記憶ユニット１２２２およびインターフェース１２２０の例は、プログラムカートリッジおよびカートリッジインターフェース（ビデオゲーム装置に見られるものなど）、取り外し可能なメモリチップ（ＥＰＲＯＭまたはＰＲＯＭなど）および関連するソケット、メモリスティックおよびＵＳＢポート、メモリカードおよび関連するメモリカードスロット、ならびに／または任意の他の取り外し可能な記憶ユニットおよび関連するインターフェースであってもよい。
【0127】
コンピュータシステム１２００は、通信またはネットワークインターフェース１２２４をさらに含むことができる。通信インターフェース１２２４は、コンピュータシステム１２００が、外部装置、外部ネットワーク、外部エンティティなど（個別にかつ集合的に参照番号１２２８で参照される）の任意の組み合わせと通信し、対話することを可能にすることができる。例えば、通信インターフェース１２２４は、コンピュータシステム１２００が有線および／または無線（またはそれらの組み合わせ）であり得、かつＬＡＮ、ＷＡＮ、インターネットなどの任意の組み合わせを含み得る通信経路１２２６を介して外部または遠隔装置１２２８と通信することを可能にし得る。制御論理および／またはデータは、通信経路１２２６を介してコンピュータシステム１２００との間で送信することができる。
【0128】
コンピュータシステム１２００はまた、いくつかの非限定的な例を挙げると、携帯情報端末（ＰＤＡ）、デスクトップワークステーション、ラップトップもしくはノートブックコンピュータ、ネットブック、タブレット、スマートフォン、スマートウォッチもしくは他のウェアラブル、機器、モノのインターネットの一部、および／または組み込みシステム、またはそれらの任意の組み合わせのいずれかであってもよい。
【0129】
コンピュータシステム１２００は、リモートまたは分散型クラウドコンピューティングソリューション、ローカルまたはオンプレミスソフトウェア（「オンプレミス」クラウドベースのソリューション）、「サービスとしての」モデル（例えば、サービスとしてのコンテンツ（ＣａａＳ）、サービスとしてのデジタルコンテンツ（ＤＣａａＳ）、サービスとしてのソフトウェア（ＳａａＳ）、サービスとしての管理ソフトウェア（ＭＳａａＳ）、サービスとしてのプラットフォーム（ＰａａＳ）、サービスとしてのデスクトップ（ＤａａＳ）、サービスとしてのフレームワーク（ＦａａＳ）、サービスとしてのバックエンド（ＢａａＳ）、サービスとしてのモバイルバックエンド（ＭＢａａＳ）、サービスとしてのインフラストラクチャ（ＩａａＳ）など）、および／または前述の例または他のサービスもしくは配信パラダイムの任意の組み合わせを含むハイブリッドモデルを含むがこれに限定されない任意の配信パラダイムを介して任意のアプリケーションおよび／またはデータにアクセスまたはホスティングするクライアントまたはサーバであってもよい。
【0130】
コンピュータシステム１２００内の任意の適用可能なデータ構造、ファイルフォーマット、およびスキーマは、これらに限定されないが、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）、Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＸＭＬ）、Ｙｅｔ Ａｎｏｔｈｅｒ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＹＡＭＬ）、Ｅｘｔｅｎｓｉｂｌｅ Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＸＨＴＭＬ）、Ｗｉｒｅｌｅｓｓ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＷＭＬ）、ＭｅｓｓａｇｅＰａｃｋ、ＸＭＬ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｌａｎｇｕａｇｅ（ＸＵＬ）、または任意の他の機能的に同様の表現を単独でまたは組み合わせて含む規格から導出されてもよい。あるいは、独自のデータ構造、フォーマット、またはスキーマを、排他的に、または既知もしくはオープン規格と組み合わせて使用することができる。
【0131】
いくつかの実施形態では、記憶された制御ロジック（ソフトウェア）を有する有形の非一時的コンピュータ使用可能または可読媒体を備える有形の非一時的装置または製品は、本明細書ではコンピュータプログラム製品またはプログラム記憶装置とも呼ばれ得る。これには、コンピュータシステム１２００、メインメモリ１２０８、２次メモリ１２１０、ならびに取り外し可能な記憶ユニット１２１８および１２２２、ならびにこれらの任意の組み合わせを具現化する有形の製品が含まれるが、これらに限定されない。そのような制御ロジックは、（コンピュータシステム１２００などの）１つまたは複数のデータ処理デバイスによって実行されると、そのようなデータ処理デバイスを本明細書で説明されるように動作させることができる。
【0132】
本開示の実施形態は、指定された機能およびその関係の実装を示す機能的構築ブロックを用いて上述されている。これらの機能的構築ブロックの境界は、説明の便宜上、本明細書では任意に定義されている。指定された機能およびそれらの関係が適切に実行される限り、代替の境界が定義されてもよい。
【0133】
特定の実施形態の前述の説明は、本開示の一般的な性質を十分に明らかにするので、他の者は、当業者の技術の範囲内で知識を適用することによって、本開示の一般的な概念から逸脱することなく、過度の実験を行うことなく、そのような特定の実施形態を様々な用途に容易に修正および／または適合させることができる。したがって、そのような適合および修正は、本明細書に提示された教示およびガイダンスに基づいて、開示された実施形態の均等物の意味および範囲内にあることが意図されている。本明細書の表現または用語は、本明細書の用語または表現が教示およびガイダンスに照らして当業者によって解釈されるように、限定ではなく説明を目的とするものであることを理解されたい。
【0134】
本開示の幅および範囲は、上述の例示的な実施形態のいずれによっても限定されるべきではなく、以下の特許請求の範囲およびそれらの均等物に従ってのみ定義されるべきである。
【0135】
【表1】
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【国際調査報告】