特許 7143456 医学的事実の検証方法及び検証装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-16

(45)【発行日】2022-09-28

(54)【発明の名称】医学的事実の検証方法及び検証装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム

(51)【国際特許分類】

   G06F 40/279 20200101AFI20220920BHJP

   G06F 40/216 20200101ALI20220920BHJP

   G06F 16/33 20190101ALI20220920BHJP

   G16H 50/00 20180101ALI20220920BHJP

   G06N 20/00 20190101ALI20220920BHJP

【ＦＩ】

G06F40/279

G06F40/216

G06F16/33

G16H50/00

G06N20/00 130

【請求項の数】 13

【外国語出願】

(21)【出願番号】P 2021003206

(22)【出願日】2021-01-13

(65)【公開番号】P2021111411

(43)【公開日】2021-08-02

【審査請求日】2021-01-13

(31)【優先権主張番号】202010036477.0

(32)【優先日】2020-01-14

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人 ユニアス国際特許事務所

(72)【発明者】

【氏名】ファン、チョウ

(72)【発明者】

【氏名】リー、ショアンチエ

(72)【発明者】

【氏名】シー、ヤーピン

(72)【発明者】

【氏名】チアン、イェー

【審査官】成瀬 博之

(56)【参考文献】

【文献】特開２０１９－０４９９６４（ＪＰ，Ａ）

【文献】米国特許第６３０４８４８（ＵＳ，Ｂ１）

【文献】James Thorne 他3名，FEVER:a large-scale dataset for Fact Extraction and VERification[online]，2018年03月14日，[令和04年03月16日検索]，インターネット＜URL：https://arxiv.org/pdf/1803.05355v1.pdf＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ４０／２０－４０／５８

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ１６Ｈ １０／００－８０／００

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータまたはサーバによって実行される医学的事実の検証方法であって、
検証すべき医学的事実の記述テキストを取得し、前記医学的事実の記述テキストから医学キーワードを抽出する取得ステップと、
予め構築された医学文書集合の医学文書から、前記医学キーワードとの関連度が予め設定された条件を満たす段落を、前記医学的事実の記述テキストに関連する関連段落として選別する選別ステップと、
前記医学的事実の記述テキスト及び前記関連段落を訓練された判別モデルに入力し、前記医学的事実の記述テキストと前記関連段落との意味を比較して前記医学的事実の検証結果を得る判別ステップとを含み、
前記判別モデルは、
ニューラルネットワーク構造に基づいて構築されたモデルであって、
前記医学文書から抽出された、二つの医療テキスト段落からなる医療テキスト段落ペアを入力とし、二つの医療テキスト段落の意味関連度に基づいて前記判別モデルを事前訓練する事前訓練ステップと、
正確性ラベル情報を有する医学的事実サンプルからなる医学的事実サンプルセットを用いて、事前訓練後の判別モデルを最適化し、前記判別ステップで取得された前記医学的事実の検証結果と前記医学的事実サンプルの正確性ラベル情報との差異に基づいて損失関数を構築し、損失関数が所定の収束条件に達するまで、前記判別モデルのパラメータを損失関数に基づいて反復調整して、訓練された判別モデルを得る最適化ステップと、によって得られ、
前記正確性ラベル情報は、医学的事実が正確な記述であるラベル、または医学的事実が誤った記述であるラベルを含む、
医学的事実の検証方法。

【請求項2】

前記判別ステップは、
前記訓練された判別モデルを用いて前記関連段落から前記医学的事実の記述テキストとの意味関連度が最も高い目標関連段落を選別し、前記目標関連段落と前記医学的事実の記述テキストとの意味関連度が予め設定された閾値に達したと確定されたことに応じて、前記医学的事実が正確な記述であると確定することを含む請求項１に記載の方法。

【請求項3】

前記判別ステップは、
前記訓練された判別モデルを用いて確定された前記関連段落と前記医学的事実の記述テキストとの意味関連度が何れも前記予め設定された閾値に達していないと確定されたことに応じて、前記医学的事実が誤った記述であると確定することをさらに含む請求項２に記載の方法。

【請求項4】

前記事前訓練ステップは、
同一の医学文書から隣接する二つの段落を医療テキスト段落ペアのポジティブサンプルとして抽出し、異なる二つの医学文書からそれぞれ一つの段落を医療テキスト段落ペアのネガティブサンプルとして抽出するステップと、
ポジティブサンプルからなる医療テキスト段落ペア及びネガティブサンプルからなる医療テキスト段落ペアにそれぞれ基づいて、構築された初期の判別モデルを事前訓練するステップとを含む、
請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記正確性ラベル情報は、前記医学的事実サンプルが正確な記述である場合、前記医学的事実サンプルの裏付け証拠となる医学文書の段落をさらに含み、
前記医学的事実の検証結果は、前記医学的事実が正確な記述であるか否かの検証結果と、前記医学的事実が正確な記述である場合における前記医学的事実の裏付け証拠となる医学文書の段落と、を含む請求項４に記載の方法。

【請求項6】

医学的事実の記述テキストを取得し、前記医学的事実の記述テキストから医学キーワードを抽出するように構成される取得手段と、
予め構築された医学文書集合の医学文書から、前記医学キーワードとの関連度が予め設定された条件を満たす段落を、前記医学的事実の記述テキストと関連する関連段落として選別するように構成される選別手段と、
前記医学的事実の記述テキスト及び前記関連段落を訓練された判別モデルに入力し、前記医学的事実の記述テキストと前記関連段落との意味を比較して、前記医学的事実の検証結果を得るように構成される判別手段と、を備え、
前記判別モデルは、
ニューラルネットワーク構造に基づいて構築されたモデルであって、
前記医学文書から抽出された、二つの医療テキスト段落からなる医療テキスト段落ペアを入力とし、二つの医療テキスト段落の意味関連度に基づいて前記判別モデルを事前訓練する事前訓練ステップと、
正確性ラベル情報を有する医学的事実サンプルからなる医学的事実サンプルセットを用いて、事前訓練後の判別モデルを最適化し、前記判別ステップで取得された前記医学的事実の検証結果と前記医学的事実サンプルの正確性ラベル情報との差異に基づいて損失関数を構築し、損失関数が所定の収束条件に達するまで、前記判別モデルのパラメータを損失関数に基づいて反復調整して、訓練された判別モデルを得る最適化ステップと、によって得られ、
前記正確性ラベル情報は、医学的事実が正確な記述であるラベル、または医学的事実が誤った記述であるラベルを含む、
医学的事実の検証装置。

【請求項7】

前記判別手段は、前記訓練された判別モデルを用いて前記関連段落から前記医学的事実の記述テキストとの意味関連度が最も高い目標関連段落を選別し、前記目標関連段落と前記医学的事実の記述テキストとの意味関連度が予め設定された閾値に達したと確定されたことに応じて、前記医学的事実が正確な記述であると確定することで、前記医学的事実を検証するように構成される請求項６に記載の装置。

【請求項8】

前記判別手段は、前記訓練された判別モデルを用いて確定された前記関連段落と前記医学的事実の記述テキストとの意味関連度が何れも前記予め設定された閾値に達していないと確定されたことに応じて、前記医学的事実が誤った記述であると確定することで、前記医学的事実を検証するようにさらに構成される請求項７に記載の装置。

【請求項9】

前記装置は、同一の医学文書から隣接する二つの段落を医療テキスト段落ペアのポジティブサンプルとして抽出し、異なる二つの医学文書からそれぞれ一つの段落を医療テキスト段落ペアのネガティブサンプルとして抽出するステップと、
ポジティブサンプルからなる医療テキスト段落ペア及びネガティブサンプルからなる医療テキスト段落ペアにそれぞれ基づいて、構築された初期の判別モデルを事前訓練するステップと、によって、
前記判別モデルの事前訓練を行うように構成される訓練手段をさらに含む請求項６～８のいずれか１項に記載の医学的事実の検証装置。

【請求項10】

前記正確性ラベル情報は、前記医学的事実サンプルが正確な記述である場合、前記医学的事実サンプルの裏付け証拠となる医学文書の段落をさらに含み、
前記医学的事実の検証結果は、前記医学的事実が正確な記述であるか否かの検証結果と、前記医学的事実が正確な記述である場合における前記医学的事実の裏付け証拠となる医学文書段落と、を含む請求項９に記載の装置。

【請求項11】

一つ又は複数のプロセッサと、
一つ又は複数のプログラムを記憶するための記憶装置とを含み、
前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサに実行されると、前記一つ又は複数のプロセッサに請求項１～５の何れか１項に記載の方法を実現させる電子機器。

【請求項12】

プロセッサに実行されると請求項１～５の何れか１項に記載の方法が実現されるコンピュータプログラムが記憶されているコンピュータ可読記憶媒体。

【請求項13】

コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１～５のいずれか一項に記載の方法を実現する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施形態は、データ処理技術の技術分野に関する。具体的には、自然言語処理に基づく医療データ処理の技術分野に関し、特に、医学的事実の検証方法及び検証装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラムに関する。

【背景技術】

【0002】

医学的事実検証は、与えられた医学的事実の真実性又は信頼性を検証する技術である。例えば、医学的事実が「腎臓結石、症状、腹水」である場合、検証技術は、当該医学的事実の信頼度を判定するために大量の医学知識を使用して、裏付け証拠を提供することができる。医学的事実の検証技術は、医学知識グラフの構築を支援するために使用できる。

【0003】

人工知能及び深層学習の更なる研究に伴い、自然言語処理に関連する技術が飛躍的に発展してきた。自然言語処理技術に基づく情報抽出方法は、一般的に、大規模なラベル付けデータを基に訓練する必要がある。医学的事実検証の分野において、大規模なサンプルデータのラベル付けは高い専門的知識レベルを求めており、ラベル付けコストが高い。従って、大量のラベル付けサンプルを得ることが難しく、深層学習モデルを適用して医療情報抽出効果を向上させることが困難である。

【発明の概要】

【0004】

本開示の実施形態は、医学的事実の検証方法及び検証装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラムを提案する。

【0005】

第１の態様では、本開示の実施形態は、医学的事実の検証方法であって、医学的事実の記述テキストを取得することと、医学文書から前記医学的事実の記述テキストに関連する関連段落を選別することと、医学的事実の記述テキスト及び対応する関連段落を訓練された判別モデルに入力して真実性に関する判別を行うことで、医学的事実の検証結果を得ることであって、判別モデルは、医学文書から抽出された医療テキスト段落ペアに基づいて事前訓練され、事前訓練後、真実性ラベル情報を含む医学的事実サンプルセットを用いて反復調整される、ことと、を含む医学的事実の検証方法を提供する。

【0006】

いくつかの実施形態では、上述した医学的事実の記述テキスト及び対応する関連段落を訓練された判別モデルに入力して真実性に関する判別を行うことで、医学的事実の検証結果を得ることは、訓練された判別モデルを用いて関連段落から医学的事実の記述テキストとの関連度が最も高い目標関連段落を選別し、目標関連段落と医学的事実の記述テキストとの関連度が予め設定された閾値に達したと確定されたことに応じて、医学的事実が正確な記述であると確定することを含む。

【0007】

いくつかの実施形態では、上述した医学的事実の記述テキスト及び対応する関連段落を訓練された判別モデルに入力して真実性に関する判別を行うことで、医学的事実の検証結果を得ることは、訓練された判別モデルを用いて確定された関連段落と医学的事実の記述テキストとの関連度が何れも予め設定された閾値に達していないと確定されたことに応じて、医学的事実が誤った記述であると確定することをさらに含む。

【0008】

いくつかの実施形態では、上述した訓練された判別モデルは、同一の医学文書から隣接する二つの段落を医療テキスト段落ペアのポジティブサンプルとして抽出し、異なる二つの医学文書からそれぞれ一つの段落を医療テキスト段落ペアのネガティブサンプルとして抽出し、医療テキスト段落ペアのポジティブサンプル及びネガティブサンプルに基づいて、構築された初期の判別モデルを事前訓練し、医学的事実サンプルが正確な記述であるか否かをラベル付けするためのラベル情報を含む真実性ラベル情報を含む医学的事実サンプルセットを取得し、医学的事実サンプルセットに基づいて、事前訓練された判別モデルを反復調整すること、によって訓練されて得る。

【0009】

いくつかの実施形態では、上述した真実性ラベル情報は、医学的事実サンプルが正確な記述である場合、医学的事実サンプルの裏付け証拠となる医学文書の段落をさらに含み、医学的事実の検証結果は、医学的事実が正確な記述であるか否かの検証結果と、医学的事実が正確な記述である場合における医学的事実の裏付け証拠となる医学文書の段落と、を含む。

【0010】

第２の態様では、本開示の実施形態は、医学的事実の検証装置であって、医学的事実の記述テキストを取得するように構成される取得手段と、医学文書から医学的事実の記述テキストと関連する関連段落を選別するように構成される選別手段と、医学的事実の記述テキスト及び対応する関連段落を訓練された判別モデルに入力して真実性に関する判別を行うことで、医学的事実の検証結果を得るように構成される判別手段であって、判別モデルは、医学文書から抽出された医療テキスト段落ペアに基づいて事前訓練され、事前訓練後、真実性ラベル情報を含む医学的事実サンプルセットを用いて反復調整される、判別手段と、を含む医学的事実の検証装置を提供する。

【0011】

いくつかの実施形態では、上述した判別手段は、訓練された判別モデルを用いて関連段落から医学的事実の記述テキストとの関連度が最も高い目標関連段落を選別し、目標関連段落と医学的事実の記述テキストとの関連度が予め設定された閾値に達したと確定されたことに応じて、医学的事実が正確な記述であると確定することで、医学的事実を検証するように構成される。

【0012】

いくつかの実施形態では、上述した判別手段は、訓練された判別モデルを用いて確定された関連段落と医学的事実の記述テキストとの関連度が何れも予め設定された閾値に達していないと確定されたことに応じて、医学的事実が誤った記述であると確定することで、医学的事実を検証するようにさらに構成される。

【0013】

いくつかの実施形態では、上述した装置は、同一の医学文書から隣接する二つの段落を医療テキスト段落ペアのポジティブサンプルとして抽出し、異なる二つの医学文書からそれぞれ一つの段落を医療テキスト段落ペアのネガティブサンプルとして抽出し、医療テキスト段落ペアのポジティブサンプル及びネガティブサンプルに基づいて、構築された初期の判別モデルを事前訓練し、医学的事実サンプルが正確な記述であるか否かをラベル付けするためのラベル情報を含む真実性ラベル情報を含む医学的事実サンプルセットを取得し、医学的事実サンプルセットに基づいて事前訓練後の判別モデルを反復調整することで訓練された判別モデルを得ることで、訓練された判別モデルを生成するように構成される訓練手段をさらに含む。

【0014】

いくつかの実施形態では、上述した真実性ラベル情報は、医学的事実サンプルが正確な記述である場合、医学的事実サンプルの裏付け証拠となる医学文書の段落をさらに含み、医学的事実の検証結果は、医学的事実が正確な記述であるか否かの検証結果と、医学的事実が正確な記述である場合における医学的事実の裏付け証拠となる医学文書の段落と、を含む。

【0015】

第３の態様では、本開示の実施形態は、一つ又は複数のプロセッサと、一つ又は複数のプログラムを記憶するための記憶装置とを含み、一つ又は複数のプログラムが一つ又は複数のプロセッサに実行されると、一つ又は複数のプロセッサに第１の態様に記載の医学的事実の検証方法を実現させる電子機器を提供する。

【0016】

第４の態様では、本開示の実施形態は、プロセッサに実行されると第１の態様に記載の医学的事実の検証方法が実現されるコンピュータプログラムが記憶されているコンピュータ可読媒体を提供する。

【0017】

第５の態様では、本出願の実施例は、コンピュータプログラムであって、前記コンピュータプログラムがプロセッサにより実行されると、第１の態様に記載の医学的事実の検証方法を実現する、コンピュータプログラムを提供する。

【0018】

本開示の上記実施形態の医学的事実の検証方法及び検証装置は、医学的事実の記述テキストを取得することにより、医学文書から医学的事実の記述テキストに関連する関連段落を選別し、医学的事実の記述テキスト及び対応する関連段落を訓練された判別モデルに入力して真実性を判別し、医学的事実の検証結果を得る。判別モデルは医学文書から抽出した医学文書の段落ペアに基づいて事前訓練を行い、事前訓練後、真実性ラベル情報を含む医学的事実サンプルセットを用いて反復調整を行うことで、少ないアノテーションサンプルに基づいて訓練して得られた医学的事実判別モデルによる医学的事実の正確な検証が実現され、深層学習法を用いた医学的事実検証の検証コストを削減できる。また、本開示における判別モデルは、広範囲の医学文書を学習することができるため、大量且つ幅広い医学的事実の検証に適用することができ、医療情報抽出の効率及び精度の向上に寄与する。

【図面の簡単な説明】

【0019】

本開示の他の特徴、目的および利点は、添付図面を参照して非限定的な実施形態について行った詳細な説明から、より明らかになるであろう。

【図1】図１は本開示の実施形態を適用できる例示的なシステムアーキテクチャを示す図である。

【図2】図２は本開示に係る医学的事実の検証方法の一実施形態のフローチャートである。

【図3】図３は判別モデルの訓練方法のフローチャートである。

【図4】図４は判別モデルの構造概略図である。

【図5】図５は本開示に係る医学的事実の検証装置の一実施形態の構造概略図である。

【図6】図６は本開示の実施形態を実現するための電子機器に適するコンピュータシステムの構造概略図である。

【発明を実施するための形態】

【0020】

本開示は、添付の図面および実施形態を参照して、以下でさらに詳細に説明される。本明細書に記載される特定の実施形態は、発明を限定するものではなく、本開示の単なる例示であることを理解されたい。また、説明の便宜上、発明に関連する部分のみが図面に示されていることにも留意されたい。

【0021】

矛盾しない前提では、本開示の実施形態および実施形態における特徴は相互に組み合わせることができる。以下、添付図面を参照しつつ実施形態を踏まえて、本開示を詳しく説明する。

【0022】

図１は、本開示に係る医学的事実の検証方法または医学的事実の検証装置を適用できる例示的なシステムアーキテクチャ１００を示している。

【0023】

図１に示されるように、システムアーキテクチャ１００は、端末装置１０１、１０２、１０３と、ネットワーク１０４と、サーバ１０５と、を含み得る。ネットワーク１０４は、端末装置１０１、１０２、１０３とサーバ１０５との間の通信リンクのための媒体を提供する。ネットワーク１０４は、有線、無線通信リンクまたは光ファイバケーブルなどの様々なタイプの接続を含むことができる。

【0024】

端末装置１０１、１０２、１０３はネットワーク１０４を介して、メッセージ等を受信または送信するために、サーバ１０５と対話することができる。端末装置１０１、１０２、１０３は様々なクライアントアプリケーションがインストールされていてもよいユーザ端末装置であってもよい。

【0025】

端末装置１０１、１０２、１０３は、ハードウェアであってもソフトウェアであってもよいことに留意されたい。端末装置１０１、１０２、１０３がハードウェアである場合、スマートフォン、タブレットコンピュータ、電子書籍リーダー、ラップトップポータブルコンピュータ、デスクトップコンピュータなどを含むがこれらに限定されない、様々な電子機器であり得る。端末装置１０１、１０２、１０３がソフトウェアである場合、上記の電子機器にインストールされてもよい。また、複数のソフトウェアもしくはソフトウェアモジュール（例えば、分散サービスを提供するための複数のソフトウェアまたはソフトウェアモジュール）として実施されることも、または単一のソフトウェアもしくはソフトウェアモジュールとして実施されることも可能である。ここでは特に限定しない。

【0026】

サーバ１０５は、医学知識ライブラリ保守サービス又は医療診断支援サービスなどの各種サービスを実行できるサーバであってもよい。サーバ１０５は端末装置１０１、１０２、１０３から、アップロードされた医療関連データ、例えばカルテ、診断、投薬報告、医学的事実の記述情報、医学知識データ、医療検索データ、医学的事実サンプルのラベル付けデータなどを取得することができる。サーバ１０５は、端末装置１０１、１０２、１０３などから医学的事実の検証リクエストを受信し、医学的事実の検証リクエストを解析し、その中の医学的事実を検証し、その検証結果を端末装置１０１、１０２、１０３にフィードバックすることもできる。サーバ１０５はまた、医学的事実の検証結果に基づいて医療グラフの作成を行うことができ、例えば医学的事実が正確に記述されていると判定された場合、当該医学的事実に記載された医学知識を医療グラフに追加することができる。

【0027】

本開示の実施形態によって提供される医学的事実の検証方法は、一般的に、サーバ１０５によって実行されることに留意されたい。従って、医学的事実の検証装置は、一般的に、サーバ１０５に設置される。

【0028】

いくつかのシナリオでは、サーバ１０５は、データベース、メモリまたは他のデバイスから処理すべき医学的事実データを取得することができる。この場合、例示的なシステムアーキテクチャ１００は、端末装置１０１、１０２、１０３及び／又はネットワーク１０４を含まなくてもよい。

【0029】

なお、サーバ１０５はハードウェアであってもソフトウェアであってもよい。サーバ１０５がハードウェアである場合、複数のサーバからなる分散サーバクラスタとして実施されることも、単一のサーバとして実施されることも可能である。サーバ１０５がソフトウェアである場合、複数のソフトウェアまたはソフトウェアモジュール（例えば、分散サービスを提供する複数のソフトウェアまたはソフトウェアモジュールを提供するため）として実施されることも、単一のソフトウェアまたはソフトウェアモジュールとして実施されることも可能である。ここでは特に限定しない。

【0030】

図１の端末装置、ネットワーク、およびサーバの数は単なる例示であることを理解されたい。実施のニーズに応じて、任意数の端末装置、ネットワーク、およびサーバを有してもよい。

【0031】

更に、本開示に係る医学的事実の検証方法の一実施形態の流れ２００が示される図２を参照する。該医学的事実の検証方法の流れ２００は、次のステップを含む。

【0032】

ステップ２０１：医学的事実の記述テキストを取得する。

【0033】

本実施形態では、医学的事実の検証方法の実行主体（例えば、図１に示すサーバ）は、判別すべき医学的事実の記述テキストを取得することができる。ここでは、医学的事実は、疾患、症状、感染経路、治療方法、投薬方法または適用対象などの医療活動のトピックの中の任意の２つまたはそれ以上のトピック間の対応関係の記述であってもよい。医学的事実の記述テキストは、上記の対応関係を記述するテキストを含むことができる。

【0034】

本実施形態では、医学的事実が「ｓ、ｐ、ｏ」の形態で記述されてもよい。ここで、ｓ、ｏは医療活動のうちのいずれか２つの上記トピックを表し、ｐはｓとｏの関係を表す。一例として、「腎臓結石、症状、腹水」という医学的事実があり、「腎臓結石」は疾患を表し、「腹水」は「腎臓結石」の「症状」である。別の例として、「麻疹、感染経路、飛沫」があり、「麻疹」は疾患を表し、「飛沫」は「麻疹」の「感染経路」である。

【0035】

本実施形態では、医学的事実の記述テキストは手動で作成されてもよい。医学研究または実践活動において、医療活動の二つのトピックの間に何らかの関係があることが発見された場合、対応する医学的事実を作成し、医学的事実の検証技術を用いて作成された医学的事実が正確に記述されているかどうかを検証することができる。

【0036】

ステップ２０２：医学文書から医学的事実の記述テキストに関連する関連段落を選別する。

【0037】

本実施形態では、予め構築された医学文書集合を取得することができる。実際には、医療分野における関連文献、書籍、カルテまたは治療マニュアルなどの信頼性が高い医学文書を収集して、医学文書集合を構築することができる。

【0038】

次に、医学文書集合内の医学文書を前処理し、文書の内容を読み取り、文書内のフォント、画像内容のフォーマットおよび特定の位置識別子（例えば、改行符）を通じて、文書を段落粒度に分割して、複数の医学文書段落を得ることができる。

【0039】

次に、医学文書段落とステップ２０１で取得した医学的事実の記述テキストに対し相関解析を行い、医学的事実の記述テキストに関連する関連段落を選別することができる。

【0040】

具体的には、医学的事実の記述テキストに対し単語分割を行い、その中から医学キーワードを抽出し、例えば症状、疾患、薬品、投薬方法および感染方式などの特徴を記述する医学キーワードを抽出することができる。そして、医学文書の段落が抽出した医学キーワードにヒットしたか否かを判断することができる。ヒットした場合、当該医学文書の段落は医学的事実の記述テキストに関連する関連段落であると判断することができ、そうでなければ、当該医学文書の段落は医学的事実の記述テキストに関連する関連段落ではないと判断することができる。

【0041】

医学文書の段落が医学的事実の記述テキストから抽出された医学キーワードにヒットしたかどうかを判断する場合、完全マッチングや意味類似度に基づくマッチングというヒット判定方法を採用することができる。ここで完全マッチングの判定方法は、医学文書の段落には上記医学的事実の記述テキストから抽出された医学キーワードが含まれているかどうかを判断することである。意味類似度に基づくマッチング方法は、具体的に以下のように実行される。まず、医学テキストの段落を単語列に分割し、単語列と医学的事実の記述テキストにおける医学キーワードを対応する特徴ベクトルに変換した後、単語列における各単語と医学的事実の記述テキストにおける医学キーワードとの意味類似度を計算する。両者の意味類似度が予め設定された意味類似度の閾値を超えた場合、当該医学文書の段落が医学的事実の記述テキストにおける医学キーワードにヒットしたと確定される。

【0042】

ステップ２０３：医学的事実の記述テキスト及び対応する関連段落を訓練された判別モデルに入力して真実性を判別し、医学的事実の検証結果を得る。

【0043】

医学的事実の記述テキストと、ステップ２０２で確定された医学的事実の記述テキストに関連する関連段落を訓練された判別モデルに入力することができる。訓練された判別モデルは、畳み込みニューラルネットワーク、循環ニューラルネットワークなどのニューラルネットワーク構造に基づいて構築され、訓練された判別モデルは、医学的事実の記述テキストが各関連段落の記述と一致するかどうかを判断することができる。判別モデルの判別結果としてステップ２０２で確定されたすべての関連段落に、医学的事実の記述テキストと意味が一致する段落が存在していない場合、医学的事実の記述が誤ったと判定することができる。しかし、判別モデルの判別結果として医学的事実の記述テキストと意味が一致する関連段落が存在している場合、医学的事実の記述が正確であると判定することができる。

【0044】

上記の判別モデルは、医学文書から抽出した医学テキスト段落ペアに基づいて事前訓練され、事前訓練後に真実性ラベル情報を含む医学的事実サンプルセットを利用して反復調整されるように訓練されたものである。

【0045】

具体的には、事前訓練中に、医学文書から医療テキスト段落ペアを抽出することができ、各医療テキスト段落ペアには、２つの関連または関連しない医療テキスト段落が含まれる。判別モデルによる医療テキスト段落ペアにおける二つの医療段落の関連性に関する判定結果の偏差により、判別モデルのパラメータを調整することができる。

【0046】

事前訓練後、小規模の医学的事実サンプルセットを利用して、判別モデルのパラメータをさらに最適化するために、判別モデルを教師あり学習させることができる。医学的事実サンプルセットには、真実性ラベル情報を有する医学的事実サンプルを含む。真実性ラベル情報は、医学的事実サンプルが正しく記述されたかどうかを表すラベル情報である。判別モデルによって、医学的事実サンプルの真正性判別結果と医学的事実サンプルの真実性ラベル情報との差異に基づいて損失関数を構築し、損失関数が所定の収束条件に達するまで、判別モデルのパラメータを損失関数に基づいて反復調整して、上記訓練された判別モデルを得ることができる。

【0047】

上記実施形態の医学的事実の検証方法は、医学的事実の記述テキストを取得することにより、医学文書から医学的事実の記述テキストに関連する関連段落を選別し、医学的事実の記述テキスト及び対応する関連段落を訓練された判別モデルに入力して真実性を判別し、医学的事実の検証結果を得る。判別モデルは医学文書から抽出された医療テキスト段落ペアに基づいて事前訓練され、事前訓練後、真実性ラベル情報を含む医学的事実サンプルセットを用いて反復調整されることで、深層学習モデルに基づく医学的事実の検証が実現された。本開示の方法は、少ないラベル付けサンプルに基づいて訓練することにより得られた医学的事実の判別モデルを用いて、医学的事実を正確に検証することができ、深層学習法を用いた医学的事実検証のサンプルラベル付けコストを削減することができ、それによって医学的事実の検証コストを削減することができる。さらに、本解決策における判別モデルは、幅広い医学文書を学習することができ、大量で且つ幅広い医学的事実の検証に適用することができる。

【0048】

本実施形態のいくつかの代替的な実施形態では、訓練された判別モデルを用いて、関連段落から医学的事実の記述テキストとの関連度が最も高い目標関連段落を選別し、目標関連段落と医学的事実の記述テキストとの関連度が予め設定された閾値に達したと確定されたことに応じて、前記医学的事実が正確な記述であると判定することにより、医学的事実の検証結果を得ることができる。

【0049】

具体的には、訓練された判別モデルによって、医学的事実の記述テキストと各関連段落との関連度を採点し、得点順に応じて、関連度が最も高い関連段落を目標関連段落として選択し、さらに、目標関連段落と医学的事実の記述テキストとの関連度が予め設定された閾値に達したか否かを判定し、閾値に達した場合、医学的事実が正確な記述であると判定する。

【0050】

更に、医学的事実の記述テキストの目標関連段落と医学的事実の記述テキストとの関連度が予め設定された閾値に達していないと判定された場合、または、医学的事実の記述テキストの各関連段落と医学的事実の記述テキストとの関連度がいずれも予め設定された閾値に達していないと判定された場合、医学的事実が誤った記述であると判定されることができる。

【0051】

このように、各関連段落における医学的事実の記述テキストとの関連度の最大値が予め設定された閾値に達しているか否かを判定することにより、医学的事実の記述テキストが信頼できるか否かをさらに判定し、検証結果の信頼性を更に向上させることができる。

【0052】

上記判別モデルは、事前訓練され、且つ上記医学的事実の検証方法の実行主体に記憶されてもよい。あるいは、他の電子機器によって訓練され、上記医学的事実の検証方法の実行主体で実行されてもよい。さらに図３を参照すると、判別モデルの訓練方法の一実施形態の概略フローチャートが示されている。図３に示すように、上記判別モデルは、以下の流れ３００に従って訓練され得る。

【0053】

ステップ３０１：同一の医学文書から隣接する二つの段落を医療テキスト段落ペアのポジティブサンプルとして抽出し、異なる二つの医学文書からそれぞれ一つの段落を医療テキスト段落ペアのネガティブサンプルとして抽出する。

【0054】

多くの医学文書から段落を抽出して段落ペアを形成し、医療テキスト段落ペアを構築することができる。同一の医学文書において隣接する二つの段落は通常に連続しており、記載された医学知識には一貫性がある。二つの医学文書からそれぞれランダムに抽出された段落は、通常自然に連続されていない。例えば、一つの医学文書からランダムに抽出された段落のトピックは感染性疾患の予防であり、他の医学文書からランダムに抽出された段落は腎臓結石の治療方法であり、これらの二つの段落は自然に連続するものではない場合が多い。同一医学文書から抽出された二つの連続段落に基づいて判別モデルを事前訓練するためのポジティブサンプルを構築し、異なる医学文書からランダムに抽出された二つの段落を、判別モデルを訓練するネガティブサンプルとすることができる。

【0055】

上記医療テキスト段落ペアのポジティブサンプルとネガティブサンプルは、手動で付与されたラベル情報を含まなくてもよい。

【0056】

ステップ３０２：医療テキスト段落ペアのポジティブサンプルとネガティブサンプルに基づいて、構築された初期の判別モデルに対し事前訓練を行う。

【0057】

畳み込みニューラルネットワークや循環ニューラルネットワークなどに基づいて初期の判別モデルを構築し、初期の判別モデルのパラメータを設定することができる。

【0058】

上記判別モデルの構造概略図が示されている図４を参照してください。本実施形態では、図４に示す構造に従い初期の判別モデルを構築することができる。図４に示すように、判別モデルは入力層、埋め込み層、モデル層および出力層を含んでもよい。

【0059】

入力層はモデルの入力を表し、モデルの入力は二つのテキスト段落または二つの段落を分割した単語列である。二つの段落が実際のテキストにおいて隣接するか又は二つの段落の記述が一致しているかどうかを識別するために、単語列の先頭にタグ要素（ＣＬＳなど）を追加することができる。二つのテキスト段落または二つの段落の記述の間に、二者の分割位置を識別するための別のタグ要素（ＳＥＰなど）を追加することができる。図４において、ｗ１１、ｗ１２、ｗ１３、．．．は一番目のテキスト段落を分割した単語列を表し、ｗ２１、ｗ２２、．．．は二番目のテキスト段落を分割した単語列を表す。

【0060】

埋め込み層は、複数の埋め込みモジュールを含むことができる。各埋め込みモジュールは入力層によって入力された単語列に対し、単語埋め込み、位置埋め込みおよび段落セグメント埋め込み等の方法を利用して特徴抽出を実行することができる。ここで、単語埋め込みは、語彙表を用いて、入力された単語を対応する単語タグに変換し、埋め込み方式によって対応する単語ベクトルに圧縮する。位置埋め込みは、入力された単語列における単語の位置情報を埋め込み方法によって対応する位置ベクトルに変換する。段落セグメント埋め込みは、埋め込み方法によって、各単語が属する段落を表す情報を対応する段落セグメントベクトルに変換する。図４において、ＥＡは単語の属する段落が一番目のテキスト段落であることを示し、ＥＢは単語の属する段落が二番目のテキスト段落であることを示している。Ｅ０、Ｅ１、Ｅ２、Ｅ３、…、Ｅｎ、Ｅｎ＋１、Ｅｎ＋２は入力層の各単語と一対一対応する位置埋め込みベクトルを表し、Ｅ－ＣＬＳ、Ｅ－ｗ１１、Ｅ－ｗ１２、Ｅ－ｗ１３、…、Ｅ－ｗ２１、Ｅ－ｗ２２、…は入力層の各単語と一対一対応する単語ベクトルを表す。

【0061】

各モデル層は複数の変換手段（ｔｒａｎｓｆｏｒｍｅｒ ユニット）を含むことができる。変換手段は、埋め込み層から抽出された特徴をさらに変換して計算する。変換手段は、エンコーダ及びデコーダを含むことができる。エンコーダは、自己注意層（Ｓｅｌｆ Ａｔｔｅｎｔｉｏｎ）及びフィードフォワードニューラルネットワークを含むことができ、デコーダも自己注意層及びフィードフォワードニューラルネットワークを含むことができる。モデル層の各変換手段は、入力層の要素、埋め込み層の各埋め込みモジュールと一対一対応する。同一層上の各変換手段は互いに接続されていなく、隣接する２層の変換手段同士は接続される。図４は２層の変換手段を示しており、第１層の変換手段はｔ１１、ｔ１２、ｔ１３、ｔ１４、…、ｔ１ｎ、ｔ１ｎ＋１、ｔ１ｎ＋２、．．．を含み、第２層の変換手段はｔ２１、ｔ２２、ｔ２３、ｔ２４、…、ｔ２ｎ、ｔ２ｎ＋１、ｔ２ｎ＋２、…を含む。第１層の変換手段ｔ１１と第２層の各変換手段がそれぞれ接続されていることは概略的に示されている。

【0062】

出力層の出力は、入力された二つのテキスト段落または二つの段落の記述が自然に連続するものであるか否かの判定結果であり、分類タグであってもよい。

【0063】

初期判別モデルを取得した後、医療テキスト段落ペアのポジティブサンプルとネガティブサンプルを判別モデルに入力する。判別モデルは、入力された医療テキスト段落ペアが自然に連続する二つの段落であるか否かを判定することができる。事前訓練された損失関数は、判別モデルの判定誤差に基づいて構築される。損失関数の現在値が事前訓練の収束条件を満たしていない場合、勾配降下法を用いて判別モデルのパラメータを調整し、パラメータ調整後の判別モデルを用いて医療テキスト段落ペアに対し再判定を行う。判定誤差に基づいて算出された損失関数が事前訓練の収束条件を満たしていない場合、判別モデルのパラメータを引き続き調整する。このように、判別モデルのパラメータを複数回繰り返し調整することにより、判別モデルの判定誤差を徐々に縮小させ、判別モデルの誤差が所定の範囲まで縮小された場合、または判別モデルのパラメータ調整動作が所定回数実行された場合に、判別モデルのパラメータを一定にし、事前訓練済み判別モデルを得ることができる。

【0064】

ステップ３０３：真実性ラベル情報を含む医学的事実サンプルセットを取得する。

【0065】

ここで、真実性ラベル情報には、医学的事実サンプルが正しく記述されているか否かをラベル付けするためのラベル情報が含まれている。当該真実性ラベル情報は、手動で付けられたラベル情報であってもよい。実際には、小規模の医学的事実サンプルを構築することができ、各医学的事実サンプルの真実性についてラベル付けすることができる。

【0066】

ステップ３０４：医学的事実サンプルセットに基づいて、事前訓練された判別モデルを反復調整して、訓練された判別モデルを取得する。

【0067】

事前訓練後の判別モデルを用いて、医学的事実サンプルセットにおける医学的事実サンプルの真実性を判定することができる。具体的には、医学文書集合から、医学的事実サンプルの記述テキストに関連する関連段落を選別することができる。次いで、医学的事実サンプルの記述テキストと対応する関連段落を事前訓練された判別モデルに入力し、事前訓練された判別モデルを用いて、医学的事実サンプルの記述テキストと対応する関連段落とが自然に連続するテキストであるか否かを判定する。判別モデルの出力は、医学的事実サンプルの記述テキストと対応する関連段落が自然に連続するテキストの信頼度を示す確率値であってもよいし、その確率値にマッピングされる「正確な記述」、「誤った記述」の二つのカテゴリに対応するカテゴリタグであってもよい。判別モデルは医学的事実サンプルの記述テキストと対応する関連段落とが自然に連続するテキストであると判断した場合、当該医学的事実サンプルが正確な記述であると判定され、そうでなければ、当該医学的事実サンプルが誤った記述であると判定される。

【0068】

医学的事実サンプルセットの真実性ラベル情報に基づいて判別モデルの判定誤差を算出し、事前訓練後の判別モデルのパラメータを複数回反復調整することにより、医学的事実サンプルセットに対する判別モデルの判定誤差を徐々に縮小することができる。予め設定された回数の反復調整動作が完了したかまたは判別モデルの医学的事実サンプルセットに対する判定誤差が予め設定された範囲まで縮小された場合、判別モデルのパラメータの調整が停止され、訓練された判別モデルが得られる。

【0069】

いくつかの実施形態では、上記真実性ラベル情報は、医学的事実サンプルが正確な記述である場合における医学的事実サンプルの裏付け証拠となる医学文書段落をさらに含む。すなわち、ラベル付けの際に、医学文書から正確な医学的事実サンプルのテキスト記述とマッチングされ、且つ意味が一貫した医療段落を当該正確な医学的事実サンプルの裏付け証拠として選択することも可能である。この場合、上記医学的事実の検証結果には、医学的事実が正確な記述であるか否かの検証結果及び医学的事実が正確な記述である場合における医学的事実の裏付け証拠となる医療テキスト段落が含まれる。

【0070】

このように、医学的事実サンプルセットに基づいて判別モデルを訓練する過程において、判別モデルは、複数の関連段落から正確な医学的事実の裏付け証拠としての内在的な論理の選別を学習することができ、それによって判別モデルは医学的事実の検証結果のためのいっそう信頼性の高い証拠サポートを提供することができる。

【0071】

上記医学的事実の検証方法は、医療グラフの構築に適用することができる。いくつかの実施形態では、医学的事実の検証方法の流れは、医学的事実が正確な記述である検証結果に基づいて医学知識ライブラリを更新し、更新された医学知識ライブラリに基づいて医学知識グラフを更新する。このようにすると、高精度に医学的事実を検証することで効率的かつ確実に医学知識グラフを拡張することができる。

【0072】

いくつかの実施形態では、ユーザに医学的事実の検証結果をプッシュし、ユーザがこの検証結果を補助情報として知識ライブラリを更新し、それによって、医学知識の抽出および医学知識ライブラリの構築の効率化に寄与することができる。

【0073】

図５を参照すると、上記医学的事実の検証方法の実施形態として、本開示は、様々な電子機器に具体的に適用できる医学的事実の検証装置の一実施形態を提供し、該検証装置の実施形態は図２に示す方法の実施形態に対応する。

【0074】

図５に示すように、本実施形態の医学的事実の検証装置５００は、取得手段５０１、選別手段５０２及び判別手段５０３を備える。取得手段５０１は医学的事実の記述テキストを取得するように構成され、選別手段５０２は医学文書から医学的事実の記述テキストに関連する関連段落を選択するように構成され、判定手段５０３は、医学的事実の記述テキスト及び対応する関連段落を訓練された判別モデルに入力して真実性判別を行い、医学的事実の検証結果を得るように構成されている。判別モデルは医学文書から抽出した医療テキスト段落ペアに基づいて事前訓練を行い、事前訓練後に真実性ラベル情報を含む医学的事実サンプルセットを利用して反復調整を行う。

【0075】

いくつかの実施形態では、上記判別手段５０３は、訓練された判別モデルを用いて、関連段落から医学的事実の記述テキストとの関連度が最も高い目標関連段落を選別し、目標関連段落と医学的事実の記述テキストとの関連度が予め設定された閾値に達したと確定されたことに応じて、医学的事実が正確な記述であると判定するように構成される。

【0076】

いくつかの実施形態では、上記判別手段５０３は、訓練された判別モデルを用いて確定された関連段落と医学的事実の記述テキストとの関連度が予め設定された閾値に達していないと確定されたことに応じて、医学的事実が誤った記述であると判定することで、医学的事実を検証するように更に構成される。

【0077】

いくつかの実施形態では、上記の装置は更に訓練手段を含む。前記訓練手段は、同一の医学文書から隣接する二つの段落を医療テキスト段落ペアのポジティブサンプルとして抽出し、異なる二つの医学文書からそれぞれ一つの段落を医療テキスト段落ペアのネガティブサンプルとして抽出し、医療テキスト段落ペアのポジティブサンプルとネガティブサンプルに基づいて、すでに構築された初期の判別モデルを事前訓練し、真実性ラベル情報を含む医学的事実サンプルセットを取得し、真実性ラベル情報には医学的事実サンプルが正確な記述であるか否かをラベル付けするためのラベル情報が含まれている。医学的事実サンプルセットに基づいて、事前訓練された判別モデルを反復調整し、訓練された判別モデルを得るように構成される。

【0078】

いくつかの実施形態では、上記真実性ラベル情報は、医学的事実サンプルが正確な記述である場合における医学的事実サンプルの裏付け証拠となる医学文書段落をさらに含み、医学的事実の検証結果は、医学的事実が正確な記述であるかどうかの検証結果と、医学的事実が正確な記述である場合における医学的事実の裏付け証拠となる医学文書段落を含む。

【0079】

上記装置５００の各手段は図２を参照して説明した方法におけるステップに対応する。従って、上記の医学的事実の検証方法について説明した動作、特徴、および達成可能な技術的効果は、装置５００及びその中に含まれる手段にも同様に適用可能であり、ここではそれらの説明を省略する。

【0080】

次に、図６を参照すると、本開示の実施形態を実現するための電子機器（例えば、図１に示すサーバ）６００の構造概略図が示されている。図６に示される電子機器は、あくまでも一例にすぎず、本開示の実施形態の機能及び使用範囲に如何なる制限も課すべきではない。

【0081】

図６に示されるように、電子機器６００は、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０２に記憶されたプログラムまたは記憶装置６０８からランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０３にロードされたプログラムにより、様々な適切な動作や処理を実行できる処理装置（例えば、中央処理装置、グラフィックプロセッサなど）６０１を備えてもよい。ＲＡＭ６０３には、電子機器６００の動作に必要な各種プログラムやデータも記憶されている。処理装置６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を介して相互に接続されている。入出力（Ｉ／Ｏ、Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース６０５もバス６０４に接続されている。

【0082】

通常、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープなどを含む入力装置６０６、液晶ディスプレイ（ＬＣＤ）、スピーカ、バイブレータなどを含む出力装置６０７、ハードディスクなどを含む記憶装置６０８及び通信装置６０９をＩ／Ｏインタフェース６０５に接続することができる。通信装置６０９は、電子機器６００が他の機器との間で無線通信または有線通信を行い、データを交換することができるようにしてもよい。図６は様々な装置を有する電子機器６００を示しているが、図示されている全ての装置を実施または備える必要がないことを理解されたい。代替的に、より多くまたはより少ない装置を実施または備えることができる。図６に示す各ブロックは、１つの装置を表してもよく、必要に応じて複数の装置を表してもよい。

【0083】

特に、本開示の実施形態によると、上述のフローチャートを参照して説明されるプロセスは、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施形態は、コンピュータ可読媒体に担持されたコンピュータプログラムを含むコンピュータプログラム製品が含まれる。当該コンピュータプログラムは、フローチャートに示される方法を実行するためのプログラムコードを含む。そのような実施形態では、当該コンピュータプログラムは、通信装置６０９を介してネットワークからダウンロードされインストールされてもよく、または記憶装置６０８からインストールされてもよく、またはＲＯＭ６０２からインストールされてもよい。当該コンピュータプログラムは、処理装置６０１によって実行されると、本開示の実施形態の方法において限定された上述の機能を実行する。本開示の実施形態で説明されたコンピュータ可読媒体は、コンピュータ可読信号媒体、コンピュータ可読媒体、または上記２つの任意の組み合わせであってもよいことに留意されたい。コンピュータ可読記憶媒体は、例えば、電気的、磁気的、光学的、電磁的、赤外線の、または半導体のシステム、装置またはデバイス、または上記の任意の組み合わせであり得るが、これらに限定されない。コンピュータ可読媒体のより具体的な例は、１本または複数のワイヤを有する電気的接続、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、または上記の任意の適切な組み合わせを含むが、これらに限定されない。本開示の実施形態では、コンピュータ可読記憶媒体は、プログラムを含むまたは記憶する任意の有形の媒体であり得る。当該プログラムは、命令実行システム、装置もしくはデバイスによって使用されるか、またはそれらに組み合わせて使用されてもよい。本開示の実施形態では、コンピュータ可読信号媒体はベースバンドに含まれるか、またはキャリアの一部として伝播されるデータ信号を含み得る。コンピュータ可読信号媒体には、コンピュータで読み取り可能なプログラムコードが記憶されている。そのような伝播されるデータ信号は、電磁信号、光信号または上記の任意の適切な組み合わせを含むがこれらに限定されない様々な形態をとることができる。コンピュータ可読信号媒体はさらに、命令実行システム、装置もしくはデバイスによって使用されるか、またはそれらに組み合わせて使用されるプログラムを送信、伝播、または伝送できるコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であり得る。コンピュータ可読媒体に記憶されているプログラムコードは、有線、光ファイバケーブル、ＲＦ（無線周波数）など、または上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体によって送信され得る。

【0084】

上記のコンピュータ可読媒体は、上記の電子機器に含まれてもよく、または電子機器に組み込まれていないスタンドアロンのものであってもよい。上記コンピュータ可読媒体には、１つまたは複数のプログラムが担持される。上記１つまたは複数のプログラムが電子機器によって実行される場合、医学的事実の記述テキストを取得し、医学文書から医学的事実の記述テキストと関連する関連段落を選別し、医学的事実の記述テキスト及び対応する関連段落を訓練された判別モデルに入力して真実性判定を行い、医学的事実の検証結果を得、判別モデルは医学文書から抽出された医療テキスト段落ペアに基づいて事前訓練を行い、事前訓練後に真実性ラベル情報を含む医学的事実サンプルセットを利用して反復調整を行うことをこの電子機器に実行させる。

【0085】

本開示の実施形態の動作を実行するためのコンピュータプログラムコードは、１つまたは複数のプログラミング言語、またはそれらの組み合わせで作成することができる。プログラミング言語はＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向のプログラミング言語や、「Ｃ」言語または類似するプログラミング言語などの従来の手続き型プログラミング言語を含む。プログラムコードは、完全にユーザのコンピュータ上で実行されることも、部分的にユーザのコンピュータ上で実行されることも、スタンドアロンソフトウェアパッケージとして実行されることも、部分的にユーザのコンピュータ上で実行されながら部分的にリモートコンピュータ上で実行されることも、または完全にリモートコンピュータまたはサーバ上で実行されることも可能である。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてもよい。または、外部のコンピュータに接続されてもよい（例えば、インターネットサービスプロバイダーによるインターネット経由で接続される）。

【0086】

添付図面のうちのフローチャートおよびブロック図は、本開示の様々な実施形態に係るシステム、方法、およびコンピュータプログラム製品の実施可能なアーキテクチャ、機能、および動作を示している。ここで、フローチャートまたはブロック図における各ブロックは、モジュール、プログラムセグメント、またはコードの一部を表すことができる。該モジュール、プログラムセグメント、またはコードの一部は、指定されたロジック機能を実施するための１つまたは複数の実行可能な命令を含む。また、いくつかの代替的な実施形態では、ブロックに記載されている機能は、図面に示されているものとは異なる順序で発生する場合があることにも留意されたい。例えば、連続して表されている２つのブロックは、実際にほぼ並行して実行されてもよく、時には逆の順序で実行されてもよい。これは関連する機能によって決まる。また、ブロック図および／またはフローチャートにおける各ブロック、並びにブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定された機能または動作を実行する専用のハードウェアベースのシステムで実施することも、または専用のハードウェアとコンピュータの命令の組み合わせで実施することも可能であることに留意されたい。

【0087】

本開示の実施形態において説明された手段は、ソフトウェアまたはハードウェアによって実施され得る。説明された手段はプロセッサに内蔵されてもよい。例えば、「取得手段、選別手段と、判別手段とを含むプロセッサ」と説明することができる。ここで、これらの手段の名称は、その手段自体に対する制限を構成しない場合がある。例えば、取得手段は「医学的事実の記述テキストを取得する手段」と説明することができる。

【0088】

上記の説明は、あくまでも本開示の好ましい実施形態および応用技術原理の説明にすぎない。本開示に係る発明の範囲は、上記の技術的特徴の特定の組み合わせによって形成された技術的解決手段に限定されず、上記の発明の構想から逸脱しない範囲で上記の技術的特徴またはその同等の技術的特徴の任意の組み合わせによって形成されたその他の技術的解決手段、例えば、上記の特徴と本開示に開示された同様の機能を有する技術的特徴（それだけに限定されない）とが相互に代替することによって形成された技術的解決手段もカバーしていることを当業者は理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】