特表 2022-506857 教師あり学習に基づく合意診断方法及びそのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-17

(54)【発明の名称】教師あり学習に基づく合意診断方法及びそのシステム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20220107BHJP

   G06N 3/04 20060101ALI20220107BHJP

   G16H 50/20 20180101ALI20220107BHJP

【ＦＩ】

G06N20/00 130

G06N3/04 154

G16H50/20

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021524471

(86)(22)【出願日】2019-11-18

(85)【翻訳文提出日】2021-06-04

(86)【国際出願番号】 KR2019015737

(87)【国際公開番号】W WO2020101457

(87)【国際公開日】2020-05-22

(31)【優先権主張番号】10-2018-0142095

(32)【優先日】2018-11-16

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】519208133

【氏名又は名称】ディープ バイオ インク

(74)【代理人】

【識別番号】100120008

【弁理士】

【氏名又は名称】山田 くみ子

(72)【発明者】

【氏名】キム ソン ワ

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA04

(57)【要約】

教師あり学習に基づく合意診断方法及びそのシステムが開示される。教師あり学習に基づく合意診断方法は、合意診断システムが、Ｎ（Ｎは２以上の整数）個の診断システム－Ｎ個の診断システムのそれぞれは、互いに異なるアノテーション（ａｎｎｏｔａｔｉｏｎ）主体によってアノテーションされた学習データによりそれぞれ学習されたシステムである－のそれぞれが所定の生体データをそれぞれ入力されて出力するＮ個の個別診断結果を確認するステップと；合意診断システムが確認した複数の個別診断結果に基づいて生体データの合意診断結果を出力するステップと；を含む。

【特許請求の範囲】

【請求項1】

教師あり学習を通じて学習された診断システムを用いて疾病を診断する方法であって、
合意診断システムが、Ｎ（Ｎは２以上の整数）個の診断システム－Ｎ個の診断システムのそれぞれは、互いに異なるアノテーション主体によってアノテーションされた学習データによりそれぞれ学習されたシステムである－のそれぞれが所定の生体データをそれぞれ入力されて出力するＮ個の個別診断結果を確認するステップと；
前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップと；
を含む、教師あり学習に基づく合意診断方法。

【請求項2】

前記教師あり学習に基づく合意診断方法は、
前記合意診断システムが、ゴールドスタンダードの学習データにより学習されたスタンダード診断システムが前記生体データの入力を受けて出力するスタンダード個別診断結果を確認するステップをさらに含み、
前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップは、
前記複数の個別診断結果及び前記スタンダード個別診断結果に基づいて前記合意診断結果を出力するステップを含む、請求項１に記載の教師あり学習に基づく合意診断方法。

【請求項3】

前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップは、
前記複数の診断システムのそれぞれに与えられた重み（加重値）に基づいて前記合意診断結果を出力することを特徴とし、
前記重みは、
特定の診断システムが合意診断結果とは異なる個別診断結果を出力した回数に基づいて決定される、請求項１に記載の教師あり学習に基づく合意診断方法。

【請求項4】

前記重みは、
前記特定の診断システムが合意診断結果とは異なる個別診断結果を出力した場合、前記全ての個別診断結果のうち、前記異なる個別診断結果を出力した他の診断システムの数又は割合にさらに基づいて決定される、請求項３に記載の教師あり学習に基づく合意診断方法。

【請求項5】

前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップは、
前記複数の診断システム及び前記スタンダード診断システムのそれぞれに与えられた重みに基づいて前記合意診断結果を出力することを特徴とし、
前記スタンダード診断システムには、前記複数の診断システムに比べて高い重みが与えられたことを特徴とする、請求項２に記載の教師あり学習に基づく合意診断方法。

【請求項6】

前記複数の診断システムは、
所定の学習データセットがＮ個に分割された分割学習データセット－任意の分割学習データセットは、他の分割学習データセットには含まれていない少なくとも１つの学習データを含み、それぞれ異なる主体によってアノテーションされた学習データセットである－をそれぞれ学習し、疾病の診断結果を出力するシステムであることを特徴とする、請求項１に記載の教師あり学習に基づく合意診断方法。

【請求項7】

前記教師あり学習に基づく合意診断方法は、
特定の生体データの合意診断結果とは異なる、前記特定の生体データの個別診断結果を有する診断システムが、前記合意診断結果としてアノテーションされた前記特定の生体データを含む学習データにより再訓練されるステップをさらに含む、請求項１に記載の教師あり学習に基づく合意診断方法。

【請求項8】

データ処理装置にインストールされ、請求項１乃至請求項７のうちのいずれか一項に記載の方法を行うためのコンピュータ読み取り可能な記録媒体に記憶されたコンピュータプログラム。

【請求項9】

プロセッサと；
プログラムを記憶する記憶装置と；を備え、
前記プロセッサによって実行される前記プログラムにより前記請求項１乃至請求項６のうちのいずれか一項に記載の方法が行われるデータ処理システム。

【請求項10】

プロセッサと；
前記プロセッサによって実行されるプログラムを記憶する記憶装置と；
を備え、
前記プログラムは、
Ｎ（Ｎは２以上の整数）個の診断システム－Ｎ個の診断システムのそれぞれは、互いに異なるアノテーション主体によってアノテーションされた学習データによりそれぞれ学習されたシステムである－のそれぞれが所定の生体データをそれぞれ入力されて出力するＮ個の個別診断結果を確認し、
確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力する、合意診断システム。

【請求項11】

前記プログラムは、
ゴールドスタンダードの学習データにより学習されたスタンダード診断システムが前記生体データの入力を受けて出力するスタンダード個別診断結果をさらに確認し、
前記複数の個別診断結果及び前記スタンダード個別診断結果に基づいて前記合意診断結果を出力する、請求項１０に記載の合意診断システム。

【請求項12】

前記プログラムは、
前記複数の診断システムのそれぞれに与えられた重みに基づいて前記合意診断結果を出力することを特徴とし、
前記重みは、
前記合意診断結果と、前記複数の診断システムのそれぞれの個別診断結果とが異なる場合の回数に基づいて決定される、請求項１０に記載の合意診断システム。

【請求項13】

前記重みは、
前記特定の診断システムが合意診断結果とは異なる個別診断結果を出力した場合、前記全ての個別診断結果のうち、前記異なる個別診断結果を出力した他の診断システムの数又は割合にさらに基づいて決定される、請求項１２に記載の教師あり学習に基づく合意診断システム。

【請求項14】

前記プログラムは、
前記複数の診断システム及び前記スタンダード診断システムのそれぞれに与えられた重みに基づいて前記合意診断結果を出力することを特徴とし、
前記スタンダード診断システムには、前記複数の診断システムに比べて高い重みが与えられたことを特徴とする、請求項１１に記載の合意診断システム。

【請求項15】

前記合意診断システムの診断に用いる生体データのうちの特定の生体データは、
前記合意診断結果と、前記複数の診断システムのうちの特定の診断システムの個別診断結果とが異なっており、
前記合意診断結果としてアノテーションされた前記特定の生体データを含む学習データにより前記特定の診断システムが再訓練されることを特徴とする、請求項１０に記載の教師あり学習に基づく合意診断システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習を通じて疾病を診断する方法及びそのシステムに係り、さらに詳しくは、ニューラルネットワークを介して教師あり学習に基づいて学習された複数の診断システムを備え、複数の診断システムの合意により最終的な診断結果を導き出すことにより、教師あり学習に基づく学習の弱点を補うことができる方法及びシステムに関する。

【背景技術】

【0002】

病理学または病理科で行われる主要な業務の一つは、患者の生体画像を読み取って特定の疾病の状態又は症状を判断する診断を行うことである。このような診断は、長年にわたって熟練した医療従事者の経験や知識に依存する方式である。

【0003】

最近では、機械学習の発達に伴い、コンピュータシステムを用いた画像の認識や分類等の作業の自動化が積極的に図られている。特に、機械学習の一種であるニューラルネットワーク（例えば、畳み込みニューラルネットワーク：Ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒｌａ ｎｅｔｗｏｒｋ、ＣＮＮ）を利用したディープラーニング（深層学習）を用いて、経験豊富な熟練した医療従事者が行ってきている診断を自動化するための試みがなされている。

【0004】

特に、ニューラルネットワーク（例えば、ＣＮＮ）を用いたディープラーニングによる診断では、従来の熟練した医療従事者の経験や知識を単に自動化するだけでなく、自分で学習を通じて特徴的な要素を自律的に見出し、所望の答えを導き出すという点においてむしろ、熟練した医療従事者が見つけていない疾病要因の特徴を画像から見出す場合もある。

【0005】

一般に、生体データ（例えば、生体画像）を用いたニューラルネットワークを介した疾病の診断は、熟練した医療従事者が、特定の疾病の状態（例えば、がんが発現したか否か）を生体データにアノテーション（ａｎｎｏｔａｉｏｎ）を行い、このようなアノテーションされた多数のデータを学習データとして用いてニューラルネットワークを学習する。すなわち、学習用の学習データにアノテーションを行い、アノテーションされた学習データによる学習を主とする。このような学習方法を教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）と呼ぶ。

【0006】

しかし、教師あり学習では、学習されたシステムの性能は、アノテーションを行ったアノテータの判断の性向又は傾向に大きく影響を受ける。すなわち、学習された診断システムの診断結果は、アノテータのアノテーション傾向や性向に依存する。

【0007】

また、実際にアノテーションを行う際にアノテータによって互いに異なるアノテーションを行う程度に、学習すべき生体データには、明確に分類しにくい大量の生体データが含まれているのが現状のことである。すなわち、熟練した医療従事者がアノテーションを行っているものの、生体データによっては、疾病の発現の有無又は疾病の進行度を分類するに当たり、意見が異なる場合がある。

【0008】

さらに、教師あり学習に基づいて学習された疾病診断システムの場合、アノテータの傾向に依存する判断を診断結果として出力するという弱点がある。

【0009】

したがって、このような弱点を改善できる技術的思想が必要である。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】韓国登録特許第１０－２０１７００５７３９９号の「モジュール化された強化学習による疾病診断システム」

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明が解決しようとする技術的課題は、互いに異なるアノテーション主体により学習された複数の、教師あり学習に基づく診断システムを備え、所定の生体データに対して前記複数の診断システムがそれぞれ行った診断結果に基づいた最終的な診断結果、すなわち、診断システム間で合意された診断結果を導き出すようにより、教師あり学習に基づく弱点を補うことができる方法及びシステムを提供することである。

【0012】

さらに、本発明の技術的課題は、このような複数の診断システムの合意による診断結果を用いて複数の個別診断システムを再学習できるようにすることで、複数の個別診断システムの性能をも向上させることができる方法及びシステムを提供することである。

【課題を解決するための手段】

【0013】

上記技術的課題を達成するための、教師あり学習を通じて学習された診断システムを用いて疾病を診断する方法は、合意診断システムが、Ｎ（Ｎは２以上の整数）個の診断システム－Ｎ個の診断システムのそれぞれは、互いに異なるアノテーション主体によってアノテーションされた学習データによりそれぞれ学習されたシステムである－のそれぞれが所定の生体データをそれぞれ入力されて出力するＮ個の個別診断結果を確認するステップと；前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップと；を含む。

【0014】

前記教師あり学習に基づく合意診断方法は、前記合意診断システムが、ゴールドスタンダード（ｇｏｌｄ ｓｔａｎｄａｒｄ）の学習データにより学習されたスタンダード診断システムが前記生体データの入力を受けて出力するスタンダード個別診断結果を確認するステップをさらに含み、前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップは、前記複数の個別診断結果及び前記スタンダード個別診断結果に基づいて前記合意診断結果を出力するステップを含んでいてもよい。

【0015】

前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップは、前記複数の診断システムのそれぞれに与えられた重み（加重値）に基づいて前記合意診断結果を出力することを特徴とし、前記重みは、特定の診断システムが合意診断結果とは異なる個別診断結果を出力した回数に基づいて決定されてもよい。

【0016】

前記重みは、前記特定の診断システムが合意診断結果とは異なる個別診断結果を出力した場合、前記全ての個別診断結果のうち、前記異なる個別診断結果を出力した他の診断システムの数又は割合にさらに基づいて決定されてもよい。

【0017】

前記合意診断システムが確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力するステップは、前記複数の診断システム及び前記スタンダード診断システムのそれぞれに与えられた重みに基づいて前記合意診断結果を出力することを特徴とし、前記スタンダード診断システムには、前記複数の診断システムに比べて高い重みが与えられたことを特徴としてもよい。

【0018】

前記複数の診断システムは、所定の学習データセットがＮ個に分割された分割学習データセット－任意の分割学習データセットは、他の分割学習データセットには含まれていない少なくとも１つの学習データを含み、それぞれ異なる主体によってアノテーションされた学習データセットである－をそれぞれ学習し、疾病の診断結果を出力するシステムであることを特徴としてもよい。

【0019】

前記教師あり学習に基づく合意診断方法は、特定の生体データの合意診断結果とは異なる、前記特定の生体データの個別診断結果を有する診断システムが、前記合意診断結果としてアノテーションされた前記特定の生体データを含む学習データにより再訓練されるステップをさらに含んでいてもよい。

【0020】

前記方法は、データ処理装置にインストールされ、コンピュータ読み取り可能な記録媒体に記憶されたコンピュータプログラムにより実現されてもよい。

【0021】

上記技術的課題を解決するためのシステムは、プロセッサと；前記プロセッサによって実行されるプログラムを記憶する記憶装置と；を備え、前記プログラムは、Ｎ（Ｎは２以上の整数）個の診断システム－Ｎ個の診断システムのそれぞれは、互いに異なるアノテーション（ａｎｎｏｔａｔｉｏｎ）主体によってアノテーションされた学習データによりそれぞれ学習されたシステムである－のそれぞれが所定の生体データをそれぞれ入力されて出力するＮ個の個別診断結果を確認し、確認した前記複数の個別診断結果に基づいて前記生体データの合意診断結果を出力する。

【0022】

前記プログラムは、ゴールドスタンダードの学習データにより学習されたスタンダード診断システムが前記生体データの入力を受けて出力するスタンダード個別診断結果をさらに確認し、前記複数の個別診断結果及び前記スタンダード個別診断結果に基づいて前記合意診断結果を出力してもよい。

【0023】

前記プログラムは、前記複数の診断システムのそれぞれに与えられた重みに基づいて前記合意診断結果を出力することを特徴とし、前記重みは、前記合意診断結果と、前記複数の診断システムのそれぞれの個別診断結果とが異なる場合の回数に基づいて決定されてもよい。

【0024】

前記重みは、前記特定の診断システムが合意診断結果とは異なる個別診断結果を出力した場合、前記全ての個別診断結果のうち、前記異なる個別診断結果を出力した他の診断システムの数又は割合にさらに基づいて決定されてもよい。

【0025】

前記プログラムは、前記複数の診断システム及び前記スタンダード診断システムのそれぞれに与えられた重みに基づいて前記合意診断結果を出力することを特徴とし、前記スタンダード診断システムには、前記複数の診断システムに比べて高い重みが与えられたことを特徴としてもよい。

【0026】

また、前記合意診断システムの診断に用いる生体データのうちの特定の生体データは、
前記合意診断結果と、前記複数の診断システムのうちの特定の診断システムの個別診断結果とが異なっており、前記合意診断結果としてアノテーションされた前記特定の生体データを含む学習データにより前記特定の診断システムが再訓練されることを特徴としてもよい。

【発明の効果】

【0027】

本発明の技術的思想によれば、１つのアノテーション主体によってアノテーションされた学習データを用いて学習された、教師あり学習に基づく診断システムを介して疾病を診断した場合に生じ得る診断結果のアノテーションへの依存性を補完することができるという効果がある。

【0028】

また、本発明の技術的思想に基づいて、合意による診断結果を用いて個別診断システムの再学習を行うことができ、この場合、個別診断システムの性能をも向上させることができるという効果がある。

【図面の簡単な説明】

【0029】

本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。

【0030】

【図1】本発明の技術的思想に基づいた、教師あり学習に基づく合意診断方法を実現するための概略的なシステム構成を示す図である。

【図2】本発明の実施形態による各診断システムの概略構成を説明するための図である。

【図3】本発明の実施形態に基づいて、個別診断結果に基づく合意を導き出す概念を説明するための図である。

【図4】本発明の実施形態に基づいて、学習データの分割アノテーション概念を説明するための図である。

【図5】本発明の実施形態に基づいて、合意診断結果を用いて個別診断システムを再学習する概念を説明するための図である。

【発明を実施するための形態】

【0031】

本発明は、様々な変更を加えることができ、種々の実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明において詳しく説明する。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物ないし代替物を含むものと理解されるべきである。なお、本発明について説明するにあたって、関連する公知の技術についての具体的な説明が本発明の要旨を余計に曖昧にする虞があると認められる場合にはその詳細な説明を省略する。

【0032】

「第１」、「第２の」などの言い回しは、様々な構成要素を説明するうえで使用可能であるが、構成要素は、言い回しによって何等限定されない。上記の言い回しは、ある構成要素を他の構成要素から区別する目的でしか使えない。

【0033】

この出願において用いた用語は、単に特定の実施形態を説明するために用いられたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈からみて明らかに他の意味を有さない限り、複数の言い回しを含む。

【0034】

この明細書において、「備える」、「含む」又は「有する」などの用語は、明細書の上に記載の特徴、数字、ステップ（段階）、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定するものに過ぎず、一つ又はそれ以上の他の特徴や数字、ステップ（段階）、動作、構成要素、部品又はこれらを組み合わせたもの存在又は付加の可能性を予め排除しないものと理解すべきである。

【0035】

また、この明細書においては、ある一つの構成要素が他の構成要素にデータを「伝送」する場合には、これは、構成要素が、他の構成要素に直接的にデータを伝送してもよく、少なくとも一つのさらに他の構成要素を介してデータを他の構成要素に伝送してもよいことを意味する。逆に、ある一つの構成要素が他の構成要素にデータを「直接的に伝送」する場合には、これは、構成要素から他の構成要素を介さずに他の構成要素にデータが伝送されることを意味する。

【0036】

以下、添付図面に基づいて、本発明の実施形態を中心として本発明について詳しく説明する。各図面に示されている同一の参照符号は、同一の部材を示す。

【0037】

図１は、本発明の技術的思想に基づいた、教師あり学習に基づく合意診断方法を実現するための概略的なシステム構成を示す図である。

【0038】

図１を参照すると、本発明の技術的思想に基づいた、教師あり学習に基づく合意診断方法を実現するために合意診断システム１００を実現してもよい。

【0039】

合意診断システム１００は、本発明の技術的思想に基づいて、複数（例えば、Ｎ個、Ｎは２以上の整数）の個別診断システム（例えば、診断システム１～診断システムＮ、１０～３０）から、個別診断結果（例えば、個別診断結果１～個別診断結果Ｎ）を受信することができる。また、合意診断システム１００は、受信した個別診断結果（例えば、個別診断結果１～個別診断結果Ｎ）に基づいて合意診断結果を出力することができる。

【0040】

複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）のそれぞれは、教師あり学習に基づいて学習され、所定の生体データ（例えば、生体画像）が入力されると、生体データを、学習されたニューラルネットワークに介して所定の分類（例えば、疾病の発現の有無又は疾病の進行度による分類）に分類し、その結果を診断結果として出力するシステムであり得る。

【0041】

複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）のそれぞれは、同じ生体データの入力を受け、学習された各ニューラルネットワークを介して、複数の診断結果、すなわち、個別診断結果（例えば、個別診断結果１～個別診断結果Ｎ）を出力することができる。

【0042】

上述したように、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）のそれぞれの診断結果は、アノテータによるアノテーションに依存的であり得る。すなわち、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）のそれぞれは、アノテーションされた学習データに依存するように個別診断結果を出力することができる。

【0043】

このような弱点を補うために、本発明の技術的思想に基づいた複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）のそれぞれは、互いに異なるアノテーション主体によってアノテーションされた学習データセットにより学習されたシステムであり得る。

【0044】

例えば、診断システム１（１０）は、第１アノテータによってアノテーションされた第１学習データセットにより学習されたシステムであってもよく、診断システム２（２０）は、第２アノテータによってアノテーションされた第２学習データセットにより学習されたシステムであってもよく、診断システムＮ（３０）は、第Ｎアノテータによってアノテーションされた第Ｎ学習データセットにより学習されたシステムであってもよい。

【0045】

この場合、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）のそれぞれは、学習に使用された学習データのアノテータの判断の性向又は傾向に依存する特徴を有し得る。

【0046】

例えば、同じ生体データ（例えば、生体画像）を入力された複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）は、理想的には同じ診断結果を出力することが望ましいが、上述したようにアノテータの判断傾向が診断結果に影響を与えるため、ある場合には異なる診断結果を出力することもある。すなわち、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）は、アノテータの傾向に応じて、同じ生体データに対して異なる診断結果を出力することもある。

【0047】

ただし、本発明の技術的思想に基づいて、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）の個別診断結果を用いた合意診断を通じて、このような弱点を補うことができる。

【0048】

合意診断システム１００は、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）のそれぞれが出力した個別診断結果に基づいて、合意診断結果を出力してもよい。合意診断結果は、個別診断結果の一部又は全部に基づいて生成された最終診断結果を意味し得る。

【0049】

合意診断結果を出力するために、合意診断システム１００は、個別診断結果が異なる場合には、単に多数決による合意診断結果を導き出すこともある。または、合意診断システム１００は、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）のそれぞれに重みを与え、与えられた重み（加重値）を、対応する個別診断結果に適用した合意診断結果を出力することもある。

【0050】

重みは、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）のそれぞれの診断履歴に基づいて与えられてもよい。例えば、合意診断結果とは異なる診断結果を出力した診断システムには重みが所定の基準分だけ減少するように、合意診断システム１００により重み付けプロセスが駆動されてもよい。また、重み付けプロセスでは、単に合意診断結果とは異なるか否かのみを考慮しても良いが、全ての個別診断結果のうち、種類別の診断結果の数をさらに考慮してもよい。

【0051】

例えば、１０個の診断システムを実施して合意診断を行う場合、１０個の診断システムのうちのいずれか１つの特定の診断システムは、特定の生体データに対して疾病が発現していないと判断し、残りの診断システムの全ては、特定の生体データに対して疾病が発現したと判断し得る。この場合、特定の診断システムの重みを、所定の第１基準値（例えば、０．１）分だけ減少させることができる。

【0052】

しかし、１０個の診断システムのうちの４つの診断システムは、特定の生体データに対して疾病が発現していないと判断し、６つの診断システムの全ては、特定の生体データに対して疾病が発現したと判断し得る。この場合、合意診断結果は疾病の発現を示すが、４つの診断システムの重みを、第１基準値（例えば、０．１より小さい所定の第２基準値（例えば、０．０５）分だけ減少させることもできる。

【0053】

すなわち、合意診断結果が正解であると仮定した場合、診断システムが出力する誤解回数に基づいて、診断システムの重みを簡単に調整することができる。しかし、特定の診断システムが誤解を出力しても、誤解を出力した診断システムの数を更に考慮して重み調整の程度を変更したり、状況に応じて誤解でないと判断したりして重み調整を行わない場合もある。

【0054】

また、合意診断結果を導き出すための方式及び複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）のそれぞれに重みを与える方式については様々な実施形態が可能であることは、本発明の技術分野の平均的な専門家であれば容易に推論できる筈である。

【0055】

一実施形態では、合意診断システム１００は、後述するスタンダード診断システム４０から、スタンダード個別診断結果をさらに受信しもよい。更に、合意診断システム１００は、受信したスタンダード個別診断結果にさらに基づいて合意診断結果を出力してもよい。

【0056】

スタンダード診断システム４０は、ゴールドスタンダード（ｇｏｌｄ ｓｔａｎｄａｒｄ）学習データにより学習された診断システムを意味し得る。ゴールドスタンダード学習データは、標準又は理想的なアノテーションが行われた学習データを意味し得る。このようなゴールドスタンダード学習データは、単に１つの主体によりアノテーションされたものではなく、複数の主体により合意されたアノテーションが行われるか、または複数の主体により合意された基準に基づいてアノテーションが行われたデータを意味し得る。一般に、このようなゴールドスタンダード学習データを用いて学習を行うことが好ましい。しかし、実際には、ゴールドスタンダード学習データを生成するには、多くのコストが必要になる場合があり、ゴールドスタンダード学習データを用いて学習された１つの診断システムを構築するよりも、個別主体により学習された複数の診断システムを備えて合意診断結果を構築する方が、むしろより高い診断性能を発揮し得る。その理由は、ゴールドスタンダード学習データの場合、特定の生体データに対するアノテーションについての意見が異なると、少数意見を無視したまま、合意されたアノテーションのみを学習に反映するが、本発明の技術的思想のように、個別主体によるアノテーションを用いて個別に学習された複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）を構築する場合には、少数意見を少なくとも個別診断システムの学習に反映するからである。

【0057】

さらに、合意診断のための複数の診断システムにスタンダード診断システム４０が含まれる場合には、より高い診断性能を示すことができる。

【0058】

また、合意診断システム１００は、複数の個別診断システム（例えば、診断システム１～診断システムＮ、１０～３０）のそれぞれに比べて、スタンダード診断システム４０により高い重みを与え、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）別に与えられた重みを反映して合意結果を導き出すこともできる。

【0059】

一方、合意診断システム１００を、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）又はスタンダード診断システム４０が各々異なる別個の物理装置を用いて実現した場合を、図１に示しているが、合意診断システム１００は、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）又はスタンダード診断システム４０のうちの少なくとも一方と物理的に同一の装置により実現されてもよいことは、本発明の技術分野の平均的な専門家であれば容易に推測できる。

【0060】

合意診断システム１００は、本明細書で定義された機能を実行できるならば、種々のデータ処理システム（例えば、コンピュータ、サーバ、スマートフォン、または専用装置など）を用いて実現できることは言うまでもない。

【0061】

図２は、本発明の実施形態による各診断システムのそれぞれの概略構成を説明するための図である。

【0062】

まず、図２（ａ）を参照すると、複数の個別診断システム（例えば、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０））は、図２（ａ）に示す構成を備えていてもよい。スタンダード診断システム４０もまた、複数の個別診断システム（例えば、診断システム１～診断システムＮ、１０～３０）の構成と同じ構成により実現されてもよい。したがって、本明細書では、複数の個別診断システム（例えば、診断システム１～診断システムＮ、１０～３０）についてのみ説明する。さらに、複数の個別診断システム（例えば、診断システム１～診断システムＮ、１０～３０）は、同一又は類似の構成を備えていてもよいので、本明細書では、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）のうちのいずれか１つの構成についてのみ説明する。

【0063】

第１診断システム１０は、プロセッサ１１と記憶装置１２とを備えていてもよい。第１診断システム１０は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般に、ネットワークを介してクライアントが接続可能なデータ処理装置だけでなく、パーソナルコンピュータや携帯端末等の特定のサービスを行えるいかなる装置でも実現できることは、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。

【0064】

プロセッサ１１は、本発明の技術的思想を実現するためのプログラム１２－１を駆動可能な演算装置を意味し得る。プロセッサ１１は、プログラム１２－１と、本発明の技術的思想により定義されるニューラルネットワーク（Ｎｅｒｕａｌ Ｎｅｔｗｏｒｋ）１２－２とを用いて診断を行ってもよい。ニューラルネットワークは、畳み込みニューラルネットワークであってもよく、生体データ（例えば、画像）の入力を受けると、学習されたニューラルネットワークを介して診断結果を出力し得る。

【0065】

プログラム１２－１は、教師あり学習を通じてニューラルネットワーク１２－２を学習させるか、又は学習されたニューラルネットワーク１２－２を用いて診断を行えるように定義されるソフトウェアを意味し得る。

【0066】

記憶装置１２は、プログラム１２－１及びニューラルネットワーク１２－２を記憶可能なデータ記憶手段を意味し得る。実現例によれば、記憶装置は複数の記憶手段で実現されてもよい。また、記憶装置１２は、第１診断システム１０に含まれる主記憶装置だけでなく、プロセッサ１１に含まれ得る一時記憶装置又はメモリ等を含むことを意味してもよい。

【0067】

診断システム１００は、図２では一つの物理装置で実現されている。しかしながら、必要に応じて、複数の物理装置を有機的に組み合わせて、本発明の技術的思想に基づく第１診断システム１０を実現できることは、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。

【0068】

以下、本明細書において診断システム（例えば、１０）が所定の機能を行うというのは、診断システム（例えば、１０）に備えられたプロセッサ（例えば、１１）がプログラム（例えば、１２－１）を用いて所定の機能を行うことを意味するのは言うまでもない。

【0069】

本明細書において、第１診断システム１０が診断を行うというのは、生体データの入力を受け、本明細書で定義された出力データ、例えば、診断結果を出力する一連のプロセスを意味し得る。

【0070】

第１診断システム１０は、所定の単位ユニット別に生体データの入力を受けてもよい。単位ユニットは、例えば、ピクセル単位であってもよいし、パッチ又はスライド単位であってもよい。

【0071】

第１診断システム１０の診断結果は、疾病の種類に応じて、単に疾病の発現の有無又はそれに相当する値（例えば、確率など）であり得、或いは、疾病が発現した場合には、疾病の状態の程度を示す状態情報であり得る。

【0072】

例えば、後述するように、本発明の技術的思想を用いて前立腺がんを診断する場合には、前立腺がんの進行度を示す指標であるグリーソンパターン（Ｇｌｅａｓｏｎ Ｐａｔｔｅｒｎ）又はグリーソンスコア（Ｇｌｅａｓｏｎ Ｓｃｏｒｅ）を状態情報に含めてもよい。例えば、グリーソンパターンは２～５の値を有し、数字が大きいほど、前立腺がんの発現度が高いことを示す。したがって、状態情報は、診断の対象となる単位ユニットに該当する生体組織がグリーソンパターンの特定の値（例えば、３、４、又は５）に該当する確率に相当する情報を含み得、或いは、ノーマル（すなわち、疾病が発現していない場合）に該当する確率に相当する情報を含み得る。

【0073】

いずれの場合も、第１診断システム１０は、学習されたニューラルネットワーク１２－２を介して診断結果を出力できる。

【0074】

一方、本発明の技術的思想に基づく合意診断システム１００は、図２（ｂ）に示す構成を備えていてもよい。
一方、本発明の技術的思想に基づく合意診断システム１００は、図２（ｃ）に示す要素を備えていてもよい。

【0075】

合意診断システム１００もまた、プロセッサ１１０と、プログラム１２１を記憶する記憶装置１２０とを備えていてもよい。

【0076】

合意診断システム１００は、有線／無線ネットワークを介して、複数の個別診断システム（例えば、診断システム１～診断システムＮ、１０～３０）及び／又はスタンダード診断システム４０と接続され、本発明の技術的思想を実現するために必要な情報を送受信できる。実現例によれば、合意診断システム１００は、複数の個別診断システム（例えば、診断システム１～診断システムＮ、１０～３０）又はスタンダード診断システム４０に設けられて実現されてもよい。この場合、合意診断システム１００は、複数の個別診断システム（例えば、診断システム１～診断システムＮ、１０～３０）又はスタンダード診断システム４０のハードウェアを共有してもよい。

【0077】

合意診断システム１００の記憶装置１２０に記憶されたプログラム１２１は、複数の個別診断システム（例えば、診断システム１～診断システムＮ、１０～３０）及び／又はスタンダード診断システム４０からそれぞれ診断結果（例えば、個別診断結果１～Ｎ及び／又はスタンダード個別診断結果）を受信し、確認することができる。

【0078】

合意診断システム１００は、互いに異なるアノテーション主体によってアノテーションされた学習データセットによりそれぞれ学習された複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）のみから、個別診断結果を受信してもよいが、前述したように、スタンダード診断システム４０からスタンダード個別診断結果をさらに受信してもよい。

【0079】

いずれの場合も、合意診断システム１００は、受信した診断結果に基づいて合意診断結果を生成して出力できる。

【0080】

合意診断システム１００が合意診断結果を生成する例を、図３を参照して説明する。

【0081】

図３は、本発明の実施形態に基づいて、個別診断結果に基づく合意を導き出す概念を説明するための図である。

【0082】

図３を参照すると、本発明の技術的思想を実現するために、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）が実現されてもよい。合意診断システム１００は、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）のそれぞれから、同じ生体データに対する診断結果を受信してもよい。また、図３では、合意診断システム１００が、スタンダード診断システム（ＳＴＤ）４０からスタンダード個別診断結果をさらに受信する場合を例示的に説明している。

【0083】

図３は、診断結果が特定の疾病の発現の有無を示す場合を例示しているが、ニューラルネットワーク１２－２の実現例に応じて様々な形態の情報を診断結果として出力できることは、前述した通りである。

【0084】

例えば、合意診断システム１００は、単に複数の診断結果の種類（例えば、疾病の発現したことを示す「Ｏ」、疾病が発現していないことを示す「Ｘ」）のうちより多くの数の種類を合意診断結果として特定してもよい。

【0085】

実現例によれば、合意診断システム１００は、各診断システム（例えば、診断システム１～診断システムＮ、１０～３０、スタンダード診断システム４０）に対して重みを与えてもよい。

【0086】

このような重みは、多数の生体データに対して合意診断結果を導き出しながら、合意診断結果とは異なる個別診断結果を出力した回数に基づいて調整され得る。例えば、診断システム２の重みは０．９であってもよく、診断システム１の重みは１であってもよい。これは、診断システム２が合意診断結果とは異なる個別診断結果を出力した場合が、少なくとも一回であることを意味し得る。

【0087】

合意診断システム１００は、重みがウェイトファクターとして反映された診断結果に基づいて、合意診断結果を生成できる。例えば、特定の診断システムが診断結果を「Ｘ」として出力し、特定の診断システムの重みが「ａ」（例えば、０．９）である場合、合意診断結果を導き出す過程で、特定の診断システムの診断結果がａ個（０．９個）の「Ｘ」であると判断されてもよい。このように、より多くの診断結果の種類（例えば、「Ｏ」又は「Ｘ」）を、重みを反映することで合意診断結果として判断してもよい。

【0088】

合意診断システム１００は、各診断システム（例えば、診断システム１～診断システムＮ、１０～３０及び／又はスタンダード診断システム４０）別に、単純に合意診断結果とは異なる個別診断結果を出力した場合毎に、所定値（例えば、０．１）を下げることで簡単に重みを調整してもよい。

【0089】

または、前述したように特定の診断システム（例えば、診断システム２）が合意診断結果（例えば、「Ｏ」）とは異なる個別診断結果（例えば、「Ｘ」）を出力した場合であっても、異なる個別診断結果（例えば、「Ｘ」）を出力した診断システム（例えば、診断システム１～診断システムＮ、１０～
３０及び／又はスタンダード診断システム４０）の数又は割合（全ての診断システムの数に比べて、特定の診断システム（例えば、診断システム２）と同じ種類の診断結果を出力した診断システムの数）をさらに考慮して重みを調整してもよい。例えば、１０個の診断システムのうち１つだけが異なる診断結果を出力した場合、当該システムの重みを第１値（例えば、０．１）分だけ調整し、１０個の診断システムのうち一定数（例えば、３つ）以上又は一定割合（例えば、３０％）以上が異なる診断結果を出力した場合、当該システムのそれぞれの重みを第２値（例えば、０．０３）分だけ調整してもよい。あるいは、一定数以上又は一定割合以上の場合、合意診断結果とは異なる診断結果を出力したとしても、当該システムの重みを決して調整しない場合もある。

【0090】

すなわち、後者の場合、診断結果は、判断によって実質的に異なる診断結果と解釈できる余地があるので、当該診断システムの信頼性に該当する重みを適応的に調整することにより、全体としてより信頼性の高い診断結果を導き出すことができる。

【0091】

また、スタンダード診断システム４０の診断結果をさらに用いる場合は、合意診断システム１００は、他の各診断システム（例えば、診断システム１～診断システムＮ、１０～３０）の重みよりも高い重みをスタンダード診断システム４０に与えてもよい。

【0092】

一方、本発明の技術的思想に基づく合意診断方法の場合、相異なる学習データセットにより学習された各診断システム（例えば、診断システム１～診断システムＮ、１０～３０及び／又はスタンダード診断システム４０）を用いる場合にも、診断結果を有用に導き出すことができる。後述の通り、合意診断システム１００が、合意診断結果とは異なる診断結果を出力する診断システムに対して再学習を行う場合に、さらに有用である。

【0093】

図４は、本発明の実施形態に基づいて、学習データの分割アノテーション概念を説明するための図である。

【0094】

図４を参照すると、本発明の技術的思想に基づく合意診断方法を適用する場合、この合意診断方法は、前述の通り、アノテータ別に別々にアノテーションされた学習データを用いて、各診断システム（例えば、診断システム１～診断システムＮ、１０～３０及び／又はスタンダード診断システム４０）を学習させる場合にも有用であるのみならず、各診断システム（例えば、診断システム１～診断システムＮ、１０～
３０及び／又はスタンダード診断システム４０）別に異なる学習データを用いて、それぞれの診断システムを学習させる場合にも有用であり得る。

【0095】

例えば、図４に示すように、学習されたエンジン、すなわち、診断システムの性能は、学習に使用する学習データをアノテーションするアノテータの傾向によって異なる場合もあるが、同じアノテータがアノテーションを行っても、使用する学習データによって影響を受ける場合もある。

【0096】

したがって、図４に示すように、診断システム１は学習データセット１により学習されたシステムであり、診断システム２は学習データセット２により学習されたシステムであり、診断システム３は学習データセット３により学習されたシステムであり、診断システム４は学習データセット４により学習されたシステムであり得る。

【0097】

それぞれの学習データセットは、重複した学習データを含んでいてもよく、含んでいなくてもよい。学習データセット別にアノテータが同じでもよく、異なっていてもよい。

【0098】

いずれの場合も、学習データセット別にそれぞれ学習された診断システムの診断結果に違いが生じる場合がある。このため、従来は、学習データセットを選択した時点から、様々なケースをすべて含む幅広い学習データセットを決定するために、多大な労力とコストを消費する必要があった。

【0099】

しかし、本発明の技術的思想によれば、複数の診断システムのそれぞれを学習させるために、ある程度十分な学習データセットのみで学習するならば、相異なる学習データセットにより学習された複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０及び／又はスタンダード診断システム４０）であっても、合意診断結果を通じてより正確な診断結果を導き出すことができる。

【0100】

すなわち、合意診断結果を導き出す過程で、学習データセット自体の偏向性を相当解消できるという効果がある。

【0101】

さらに、特定の生体データに対して合意診断結果とは異なる診断結果を出力した診断システムに対しては、特定の生体データを合意診断結果としてアノテーションして再学習を行ってもよい。この場合、アノテータによる偏向性及び／又は学習データによる偏向性を経時的に解消でき、これにより、最終的に、複数の個別診断システム（例えば、診断システム１～診断システムＮ、１０～３０及び／又はスタンダード診断システム４０）の性能を向上させることができるという効果もある。

【0102】

このような例は、図５を参照して説明する。

【0103】

図５は、本発明の実施形態に基づいて、合意診断結果を用いて個別診断システムを再学習する概念を説明するための図である。

【0104】

図５を参照すると、例えば、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０及び／又はスタンダード診断システム４０）のそれぞれに特定の生体データを入力し、複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０）及び／又はスタンダード診断システム４０）のそれぞれは、個別診断結果を合意診断システム１００に出力してもよい。なお、このとき、合意診断システム１００は、合意診断結果を「Ｏ」として出力し、診断システム２（２０）は、個別診断結果を「Ｘ」として出力してもよい。

【0105】

このような場合、合意診断システム１００は、合意診断結果とは異なる個別診断結果を出力した診断システム（例えば、診断システム２）、この場合の特定の生体データ、及び合意診断結果（例えば、「Ｏ」）に関する情報を記憶してもよい。

【0106】

さらに、記憶された情報を用いて複数の診断システム（例えば、診断システム１～診断システムＮ、１０～３０及び／又はスタンダード診断システム４０）を再学習させてもよい。

【0107】

例えば、所定時間経過後、診断システム２は、合意診断結果（例えば、「Ｏ」）としてラベル付けされた特定の生体データを含む再学習データセットを用いて再学習されてもよい。

【0108】

すなわち、本発明の技術的思想によれば、合意診断結果とは異なる診断結果の出力に関連した生体データを収集し、各診断システム（例えば、診断システム１～診断システムＮ、１０～３０及び／又はスタンダード診断システム４０）を再学習させることができる。つまり、合意診断システム１００により記憶された、合意診断結果とは異なる診断結果の出力に関連した生体データを学習データとして個別診断システムにフィードバックすることができる。この場合、各診断システム（例えば、診断システム１～診断システムＮ、１０～３０及び／又はスタンダード診断システム４０）の偏向性（例えば、アノテータの傾向により又は学習データ自体の偏向性により）が改善されるという効果がある。

【0109】

本発明の実施形態による合意診断方法は、コンピュータで読み取り可能な記録媒体にコンピュータが読み取り可能なコードで実現することが可能である。コンピュータが読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが記憶されるあらゆる種類の記録装置を含む。コンピュータが読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などが挙げられる。また、コンピュータが読み取り可能な記録媒体は、ネットワークを介して接続されたコンピュータシステムに分散されて、分散方式によりコンピュータが読み取り可能なコードが記憶されて起動され得る。また、本発明を実現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマにより容易に推論され得る。

【0110】

本発明は図面に示された実施形態を参考にして説明されたが、これは例示的なものに過ぎず、当該技術分野における通常の知識を有する者であれば、これから様々な変形および均等な他の実施形態が可能であるということを理解するであろう。したがって、本発明の真正の技術的な保護範囲は、添付の特許請求の範囲により定めなければならないであろう。

【産業上の利用可能性】

【0111】

本発明は、「教師あり学習に基づく合意診断方法及びそのシステム」に利用できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】