(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-13
(45)【発行日】2023-09-22
(54)【発明の名称】診断支援システム、診断支援方法及び診断支援プログラム
(51)【国際特許分類】
G16H 50/20 20180101AFI20230914BHJP
【ＦＩ】
G16H50/20
【請求項の数】
5
(21)【出願番号】P 2020523660
(86)(22)【出願日】2019-05-29
(86)【国際出願番号】 JP2019021386
(87)【国際公開番号】W WO2019235335
(87)【国際公開日】2019-12-12
【審査請求日】2022-03-01
(31)【優先権主張番号】P 2018107579
(32)【優先日】2018-06-05
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002093
【氏名又は名称】住友化学株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100128381
【弁理士】
【氏名又は名称】清水 義憲
(74)【代理人】
【識別番号】100124062
【弁理士】
【氏名又は名称】三上 敬史
(74)【代理人】
【識別番号】100128107
【弁理士】
【氏名又は名称】深石 賢治
(72)【発明者】
【氏名】佐々木 克典
(72)【発明者】
【氏名】渡辺 知幸
【審査官】鹿谷 真紀
(56)【参考文献】
【文献】特開２０１４－１３５０６６（ＪＰ，Ａ）
【文献】特開２０１７－１５３６９１（ＪＰ，Ａ）
【文献】国際公開第２０１６／１５２２４２（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１６Ｈ １０／００－８０／００
(57)【特許請求の範囲】
【請求項1】
機械学習によって生成されると共に、診断対象が写った画像に基づく情報を入力して当該診断対象に対する診断結果を示す情報を出力する複数の学習済モデルを取得する学習済モデル取得手段と、解析対象の画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像に対して、前記学習済モデル取得手段によって取得された複数の学習済モデルに基づく演算を行って、当該複数の学習済モデルによる診断に係る一つの情報を算出する演算手段と、
前記演算手段によって算出された情報を出力する出力手段と、
を備え、
前記演算手段は、前記画像取得手段によって取得された画像に基づく情報を、前記学習済モデル取得手段によって取得された複数の学習済モデルそれぞれに入力して、複数の学習済モデルそれぞれから出力される診断結果を示す情報を取得して、当該診断結果間の一致不一致を示す情報を、診断に係る一つの情報として算出する診断支援システム。
【請求項2】
機械学習に用いる学習データである、診断対象が写った画像及び当該診断対象に対する診断結果を示す情報を取得して、取得した学習データである画像に基づく情報を入力値とすると共に取得した学習データである診断結果を示す情報を出力値として機械学習を行って学習済モデルを生成する学習済モデル生成手段を更に備え、前記学習済モデル取得手段は、前記学習済モデル生成手段によって生成された学習済モデルを取得する、請求項１に記載の診断支援システム。
【請求項3】
前記学習済モデル取得手段は、ニューラルネットワークを含む前記複数の学習済モデルを取得する請求項１又は２に記載の診断支援システム。
【請求項4】
診断支援システムの動作方法である診断支援方法であって、機械学習によって生成されると共に、診断対象が写った画像に基づく情報を入力して当該診断対象に対する診断結果を示す情報を出力する複数の学習済モデルを取得する学習済モデル取得ステップと、
解析対象の画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された画像に対して、前記学習済モデル取得ステップにおいて取得された複数の学習済モデルに基づく演算を行って、当該複数の学習済モデルによる診断に係る一つの情報を算出する演算ステップと、
前記演算ステップにおいて算出された情報を出力する出力ステップと、
を含み、
前記演算ステップにおいて、前記画像取得ステップにおいて取得された画像に基づく情報を、前記学習済モデル取得ステップにおいて取得された複数の学習済モデルそれぞれに入力して、複数の学習済モデルそれぞれから出力される診断結果を示す情報を取得して、当該診断結果間の一致不一致を示す情報を、診断に係る一つの情報として算出する診断支援方法。
【請求項5】
コンピュータを、機械学習によって生成されると共に、診断対象が写った画像に基づく情報を入力して当該診断対象に対する診断結果を示す情報を出力する複数の学習済モデルを取得する学習済モデル取得手段と、
解析対象の画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像に対して、前記学習済モデル取得手段によって取得された複数の学習済モデルに基づく演算を行って、当該複数の学習済モデルによる診断に係る一つの情報を算出する演算手段と、
前記演算手段によって算出された情報を出力する出力手段と、
として機能させ、
前記演算手段は、前記画像取得手段によって取得された画像に基づく情報を、前記学習済モデル取得手段によって取得された複数の学習済モデルそれぞれに入力して、複数の学習済モデルそれぞれから出力される診断結果を示す情報を取得して、当該診断結果間の一致不一致を示す情報を、診断に係る一つの情報として算出する診断支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像に基づく診断に係る診断支援システム、診断支援方法及び診断支援プログラムに関する。
【背景技術】
【0002】
従来、病理組織の検査（病理診断）分野においては、スライドガラス上の病理標本を専門の病理学者が顕微鏡下で観察することで診断が行われてきた。当該診断は観察した病理学者個人の経験・知識に大きく依存する主観的な判定である。そのため、客観的な診断を行うことは困難である。そこで病理診断分野では、ある病理学者の診断結果を他の病理学者が評価・論評することで主観的判定のリスクを軽減するピアレビュー制度が取られてきた。しかしながら、あらゆる病理診断結果についてピアレビューを実施することは極めて非効率的である。加えて、ピアレビューにおける最終判定も病理学者間の議論によってなされるため、担当者個人の経験・知識・発言力に大きく依存する結果となる。従って、原理的に主観的要素を排除することはできず、客観的に病理診断を行うのは困難であった。
【0003】
一方、機械学習を用いて画像に基づく病理診断を自動化する試みが行われている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第２０１６／１５２２４２号
【発明の概要】
【発明が解決しようとする課題】
【0005】
機械学習を用いた病理診断は、病理診断の効率化に資するが、客観的な病理診断を行うためには、機械学習を行うためのコンセンサスが得られた大規模な学習データ（教師データ）を収集する必要がある。この学習データ収集には、各症例についての病理学者間での対人議論が必要不可欠であり、上述した問題が生じる。即ち、単に機械学習を用いるだけでは、主観的要素の排除は容易ではなく、また、コンセンサスが得られた大規模な学習データを収集することも非現実的である。
【0006】
本発明は、上記に鑑みてなされたものであり、客観的な診断に資する情報を提供することができる診断支援システム、診断支援方法及び診断支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一実施形態に係る診断支援システムは、機械学習によって生成されると共に、診断対象が写った画像に基づく情報を入力して当該診断対象に対する診断結果を示す情報を出力する複数の学習済モデルを取得する学習済モデル取得手段と、解析対象の画像を取得する画像取得手段と、画像取得手段によって取得された画像に対して、学習済モデル取得手段によって取得された複数の学習済モデルに基づく演算を行って、当該複数の学習済モデルによる診断に係る一つの情報を算出する演算手段と、演算手段によって算出された情報を出力する出力手段と、を備える。
【0008】
本発明の一実施形態に係る診断支援システムでは、画像に対して、個々に生成された複数の学習済モデルに基づいて演算が行われて診断に係る一つの情報が算出される。算出される診断に係る一つの情報としては、例えば、画像に対する診断結果自体を示す情報、あるいは複数の学習済モデル間での診断結果の分布を示す情報である。個々の学習済モデルが十分に客観的なものでなかったとしても、このように複数の学習済モデルを用いて診断に係る一つの情報を算出することで、算出する情報を客観的な診断に資するものとすることができる。即ち、本発明の一実施形態に係る診断支援システムによれば、客観的な診断に資する情報を提供することができる。
【0009】
演算手段は、画像取得手段によって取得された画像に基づく情報を、学習済モデル取得手段によって取得された複数の学習済モデルそれぞれに入力して、複数の学習済モデルそれぞれから出力される診断結果を示す情報を取得して、当該診断結果間の一致不一致を示す情報を、診断に係る一つの情報として算出する。この構成によれば、適切かつ確実に複数の学習済モデルによる診断に係る一つの情報を算出することができる。その結果、確実かつ適切に客観的な診断に資する情報を提供することができる。
【0010】
診断支援システムは、機械学習に用いる学習データである、診断対象が写った画像及び当該診断対象に対する診断結果を示す情報を取得して、取得した学習データである画像に基づく情報を入力値とすると共に取得した学習データである診断結果を示す情報を出力値として機械学習を行って学習済モデルを生成する学習済モデル生成手段を更に備え、学習済モデル取得手段は、学習済モデル生成手段によって生成された学習済モデルを取得する、こととしてもよい。この構成によれば、個々の学習済モデルを生成することができ、適切かつ確実に本発明の一実施形態を実施することができる。
【0011】
学習済モデル取得手段は、ニューラルネットワークを含む複数の学習済モデルを取得することとしてもよい。この構成によれば、学習済モデルを適切なものとすることができ、適切かつ確実に本発明の一実施形態を実施することができる。
【0012】
ところで、本発明は、上記のように診断支援システムの発明として記述できる他に、以下のように診断支援方法及び診断支援プログラムの発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
【0013】
即ち、本発明の一実施形態に係る診断支援方法は、診断支援システムの動作方法である診断支援方法であって、機械学習によって生成されると共に、診断対象が写った画像に基づく情報を入力して当該診断対象に対する診断結果を示す情報を出力する複数の学習済モデルを取得する学習済モデル取得ステップと、解析対象の画像を取得する画像取得ステップと、画像取得ステップにおいて取得された画像に対して、学習済モデル取得ステップにおいて取得された複数の学習済モデルに基づく演算を行って、当該複数の学習済モデルによる診断に係る一つの情報を算出する演算ステップと、演算ステップにおいて算出された情報を出力する出力ステップと、を含み、演算ステップにおいて、画像取得ステップにおいて取得された画像に基づく情報を、学習済モデル取得ステップにおいて取得された複数の学習済モデルそれぞれに入力して、複数の学習済モデルそれぞれから出力される診断結果を示す情報を取得して、当該診断結果間の一致不一致を示す情報を、診断に係る一つの情報として算出する。
【0014】
また、本発明の一実施形態に係る診断支援プログラムは、コンピュータを、機械学習によって生成されると共に、診断対象が写った画像に基づく情報を入力して当該診断対象に対する診断結果を示す情報を出力する複数の学習済モデルを取得する学習済モデル取得手段と、解析対象の画像を取得する画像取得手段と、画像取得手段によって取得された画像に対して、学習済モデル取得手段によって取得された複数の学習済モデルに基づく演算を行って、当該複数の学習済モデルによる診断に係る一つの情報を算出する演算手段と、演算手段によって算出された情報を出力する出力手段と、として機能させ、演算手段は、画像取得手段によって取得された画像に基づく情報を、学習済モデル取得手段によって取得された複数の学習済モデルそれぞれに入力して、複数の学習済モデルそれぞれから出力される診断結果を示す情報を取得して、当該診断結果間の一致不一致を示す情報を、診断に係る一つの情報として算出する。
【発明の効果】
【0015】
本発明の一実施形態によれば、個々の学習済モデルが十分に客観的なものでなかったとしても、複数の学習済モデルを用いて診断に係る一つの情報を算出することで、算出する情報を客観的な診断に資するものとすることができる。即ち、本発明の一実施形態によれば、客観的な診断に資する情報を提供することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施形態に係る診断支援システムの構成を示す図である。
【図2】本発明の実施形態に係る診断支援システムで実行される処理（診断支援方法）を示すシーケンス図である。
【図3】本発明の実施形態に係る診断支援プログラムの構成を、記録媒体と共に示す図である。
【発明を実施するための形態】
【0017】
以下、図面と共に本発明に係る診断支援システム、診断支援方法及び診断支援プログラムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【0018】
図１に本実施形態に係る診断支援システム１を示す。診断支援システム１は、画像に基づく診断を支援するシステム（デジタルパソロジーシステム）である。支援の対象となる診断は、病理診断、即ち、人体等から採取された病理組織を含む病理標本の画像に基づく病変の有無等の診断である。診断支援システム１によって、どのように診断が支援されるかについては後述する。
【0019】
図１に示すように診断支援システム１は、複数のＰＣ（パーソナルコンピュータ）１０と、サーバ２０とを含んで構成される。本実施形態に係る診断支援システム１は、機械学習によって生成される学習済モデルを用いて診断の支援を行う。
【0020】
ＰＣ１０は、機械学習によって学習済モデルを生成する装置である。ＰＣ１０は、例えば、診断を行う病理学者、病理医等のユーザーによって用いられる。ＰＣ１０は、当該ユーザーのパーソナルシステムを構成する。図１に示すようにＰＣ１０は、複数のユーザー毎に設けられる。ＰＣ１０とサーバ２０とは、インターネット、又は電話網等の有線又は無線のネットワークによって接続されており、互いに情報の送受信を行うことができる。
【0021】
サーバ２０は、複数のＰＣ１０それぞれによって生成された複数の学習済モデルを取得して、診断の支援に係る情報処理を行う装置である。サーバ２０は、診断支援システム１の管理者等によって設けられる。サーバ２０は、クラウドシステムによって構成されていてもよい。
【0022】
ＰＣ１０及びサーバ２０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、メモリ、通信モジュール、並びにハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＤＤ）といったストレージデバイス等のハードウェアを含むコンピュータによって構成されている。ＰＣ１０及びサーバ２０の後述する各機能は、これらの構成要素がプログラム等により動作することによって発揮される。なお、ＰＣ１０及びサーバ２０は、複数のコンピュータからなるコンピュータシステムであってもよい。
【0023】
図１に示すように、ＰＣ１０は、本実施形態に係る機能として学習済モデル生成部１１を備えて構成される。なお、ＰＣ１０は、上記以外の通常のＰＣが備える機能を備えていてもよい。学習済モデル生成部１１は、プロセッサ、及び当該プロセッサによって実行された際に当該プロセッサに学習済モデル生成部１１の機能を実行させる命令を記憶するコンピュータ読み取り可能な記録媒体によって実現されてもよい。
【0024】
学習済モデル生成部１１は、機械学習に用いる学習データを取得して、取得した学習データを用いて機械学習を行って学習済モデルを生成する学習済モデル生成手段である。学習データは、診断対象が写った画像及び当該診断対象に対する診断結果を示す情報である診断情報を含む。診断対象が写った画像は、人体等から採取された病理組織を含む病理標本の画像である病理組織画像である。当該画像は、例えば、顕微鏡に接続されたカメラでの撮像によって得られる。学習済モデル生成部１１は、例えば、ＰＣ１０に設けられたユーザーインターフェースがユーザーによって操作されて上記のように得られた画像を学習データとして取得する。また、ＰＣ１０は、バーチャルスライドスキャナ等の自動撮影装置に接続されており、学習済モデル生成部１１は、自動撮影装置によって連続的に撮像された多数の画像を取得してもよい。画像は、学習済モデルの入力に対応するものである。
【0025】
学習済モデル生成部１１は、機械学習を適切に行うため、取得した画像のサイズ（例えば、画像の縦横の画素数）を予め設定したサイズに統一する、即ち、正規化することとしてもよい。画像の正規化は、例えば、画像の縮小、拡大、トリミング等を行うことで行われる。また、学習済モデル生成部１１は、取得した画像に対して、コントラストの調整、色の変更、及びフォーマットの変更等の各種の処理を行うこととしてもよい。
【0026】
学習データとして用いる画像に対しては、ＰＣ１０のユーザー等によって予め病理診断がなされている。即ち、画像に対して、所定の種別の病変の有無（診断種別）が診断されている。学習データとしての診断情報は、例えば、当該診断に基づく、予め設定された種別の病変の有無を示す情報である。診断情報は、具体的には、病変があれば（異常であれば）１、病変がなければ（正常であれば）０の二値の情報とされる。また、学習データとしての診断情報は、複数の種別の病変について病変の有無を示す情報であってもよい。この場合、診断情報は、例えば、予め設定された複数の種別の病変の数の次元のベクトルであり、病変がある種別の要素が１とされ、病変がない種別の要素が０とされる。このようなベクトルである診断情報は、ユーザー等による自由記載の診断名に基づいて生成され得る。診断情報は、学習済モデルの出力に対応するものである。学習済モデル生成部１１は、ＰＣ１０に設けられたユーザーインターフェースがユーザーによって操作されて、診断情報を学習データとして取得する。取得する診断情報は、診断元の画像に対応付けられている。機械学習を行うため、通常、多数の学習データが用意される。
【0027】
学習済モデル生成部１１によって生成される学習済モデルは、画像に基づく情報を入力して、診断結果を示す情報を出力する、即ち、診断結果を予測するモデルである。例えば、当該学習済モデルは、画像に対する病変の有無を示す情報を出力する。学習済モデルは、ニューラルネットワークを含む。学習済モデルは、畳み込みニューラルネットワークを含むものであってもよい。更に、学習済モデルは、複数の階層（例えば、８層以上）のニューラルネットワークを含むものであってもよい。即ち、ディープラーニングによって学習済モデルが生成されてもよい。
【0028】
ニューラルネットワークは、例えば、画像の各画素の画素値を入力して、病変の有無を示す情報を出力する。ニューラルネットワークの入力層には、画像の画素の数分のニューロンが設けられる。ニューラルネットワークの出力層には、病変の有無を示す情報を出力するためのニューロンが設けられる。例えば、診断対象の病変が、特定の１つの病変であれば、出力層には当該１つの病変に対応する１つのニューロンが設けられる。診断対象が複数の種別の病変であれば（診断情報が上述したベクトルであれば）、出力層には当該複数の病変に対応する複数のニューロンが設けられる。当該ニューロンの出力値は、学習データの診断情報に応じた値であり、例えば、０～１の値である。この場合、ニューロンの値が大きい程（値が１に近い程）、病変があり（異常であり）、ニューロンの値が小さい程（値が０に近い程）、病変がない（正常である）ことを示している。
【0029】
学習済モデル生成部１１は、取得した画像の各画素値をニューラルネットワークへの入力値とすると共に、取得した当該画像に対応する診断情報をニューラルネットワークの出力値として機械学習を行ってニューラルネットワークを生成する。画素値を入力値とする際には、それぞれの画素（画像上の画素の位置）に対応付いたニューロンの入力値とする。上記の機械学習自体は、従来の機械学習アルゴリズムと同様に行うことができる。
【0030】
なお、上記の例では、ニューラルネットワークへの入力値は、画像の画素値であることとしたが、画素値にかえて、あるいは画素値に加えて、画像から抽出される特徴量であることとしてもよい。画像からの特徴量の抽出は、従来の任意の方法によって行うことができる。また、ニューラルネットワークを生成する際、学習データに対する統計学的処理を行って、外れデータをノイズとして排除することとしてもよい。当該ノイズの排除は、従来の方法と同様に行うことができる。
【0031】
学習済モデル生成部１１は、生成した学習済モデルをサーバ２０に送信する。学習済モデルの生成及びサーバ２０への送信は、各ＰＣ１０においてそれぞれ行われる。また、各ＰＣ１０においては、それぞれのＰＣ１０において生成された学習済モデルが用いられて、未知の画像に対する診断が行われてもよい。また、ＰＣ１０は、後述するようにサーバ２０との間で画像及び診断に係る情報の送受信を行うこととしてもよい。以上が、本実施形態に係るＰＣ１０の機能である。
【0032】
図１に示すように、サーバ２０は、本実施形態に係る機能として学習済モデル取得部２１と、画像取得部２２と、演算部２３と、出力部２４とを備えて構成される。学習済モデル取得部２１、画像取得部２２、演算部２３及び出力部２４は、プロセッサ、及び当該プロセッサによって実行された際に当該プロセッサにそれぞれの機能部の機能を実行させる命令を記憶するコンピュータ読み取り可能な記録媒体によって実現されてもよい。プロセッサは、任意の汎用のプロセッサ、又はソフトウェアの命令が実際のプロセッサのデザインに組み込まれた特殊用途のプロセッサを含んでいてもよい。
【0033】
学習済モデル取得部２１は、複数の学習済モデルを取得する学習済モデル取得手段である。学習済モデル取得部２１は、各ＰＣ１０において生成され送信された学習済モデルを受信して取得する。学習済モデル取得部２１によって取得された複数の学習済モデルは、サーバ２０に記憶（蓄積）され、演算部２３による演算に用いられる。取得された複数の学習済モデルは、生成されたＰＣ１０に対応付けられて記憶されてもよい。
【0034】
画像取得部２２は、解析対象の画像を取得する画像取得手段である。解析対象の画像は、上記の複数の学習済モデルを用いた解析の対象となる病理組織画像である。当該画像は、例えば、ＰＣ１０において、学習データの画像と同様に取得されてサーバ２０に送信される。画像取得部２２は、当該画像を受信して取得する。画像取得部２２は、当該画像に対して、学習データの画像と同様に画像の正規化等の画像処理を行ってもよい。また、画像処理は、ＰＣ１０において行われてもよい。なお、当該画像は、上記以外の方法で取得されてもよい。画像取得部２２は、取得した画像を演算部２３に出力する。
【0035】
演算部２３は、画像取得部２２によって取得された画像に対して、学習済モデル取得部２１によって取得された複数の学習済モデルに基づく演算を行って、当該複数の学習済モデルによる診断に係る一つの情報を算出する演算手段である。演算部２３は、当該画像に基づく情報を、複数の学習済モデルそれぞれに入力して、複数の学習済モデルそれぞれから出力される診断結果を示す情報から、診断に係る一つの情報を算出する。
【0036】
ＰＣ１０において生成される学習済モデルは、上述したように、ＰＣ１０のユーザー等による予めの病理診断に基づいて生成される。従って、生成される学習済モデルは、病理診断を行ったＰＣ１０のユーザー等の従来の診断基準（思考ロジック）を高精度に再現したものとなる。即ち、予めの病理診断が客観的なものでなければ、生成される学習済モデルも必ずしも客観的なものであるとは言えない。本実施形態では、個々の学習済モデルが十分に客観的なものでなかったとしても、複数の学習済モデルを用いて一つの診断に係る情報を算出することで、算出する情報が客観的な診断に資するものとされる。
【0037】
演算部２３は、具体的には、以下のように複数の学習済モデルによる診断に係る一つの情報を算出する。演算部２３は、画像取得部２２から解析対象の画像を入力すると共に、学習済モデル取得部２１によって取得されてＰＣ１０に記憶されている複数の学習済モデルを読み出す。演算部２３は、例えば、解析対象の画像に対して、一つの情報として、複数の学習済モデルによる一つの診断結果を算出する、即ち、診断結果を予測する。この場合、演算部２３は、解析対象の画像の各画素の画素値を学習済モデルである各ニューラルネットワークへの入力値として各ニューラルネットワークに応じた演算を行って、各ニューラルネットワークからの出力値を得る。演算部２３は、これらの出力値に基づく演算を行って一つの診断結果を算出する。
【0038】
演算部２３は、例えば、各出力値から一つの診断結果を算出する。演算部２３は、各出力値について、予め設定された閾値と比較して、出力値が閾値以上である場合、病変があると判断し、出力値が閾値未満である場合、病変がないと判断する。出力値は、複数の学習済モデルの数だけあるので、当該判断は複数の学習済モデルの数分、行われる。なお、複数の種別の病変について出力値がある場合には、演算部２３は、病変の種別毎に判断する。演算部２３は、病変があると判断された出力値の数と、病変がないと判断された出力値の数とを比較する。
【0039】
病変があると判断された数が多かった場合、演算部２３は、解析対象の画像に対する複数の学習済モデルによる一つの診断結果として病変があるとする。病変がないと判断された数が多かった場合、演算部２３は、解析対象の画像に対する複数の学習済モデルによる一つの診断結果として病変がないとする。これが、一つの診断結果を示す情報の一例である。あるいは、演算部２３は、各ニューラルネットワークからの出力値の分布、即ち、個々の学習済モデルの診断結果の分布を一つの診断結果を示す情報としてもよい。
【0040】
上記にかえて、あるいは加えて、演算部２３は、直接的な診断結果以外の情報を、複数の学習済モデルによる診断に係る一つの情報として算出してもよい。例えば、演算部２３は、解析対象の画像の生成元のＰＣ１０に対応付けられた学習済モデルによる診断結果とそれ以外の学習済モデルによる診断結果との一致不一致を示す情報を算出してもよい。具体的には、それらが一致していた数及び不一致であった数を算出してもよい。即ち、演算部２３は、学習済モデルによる診断結果の差異分析を行ってもよい。この情報によって、ユーザーは、他のユーザーとどの程度診断結果が一致しているのか否かを把握することができる。即ち、ユーザーは、ピアレビューを実施することができる。
【0041】
演算部２３は、上記以外の方法によって診断に係る一つの情報を算出してもよい。演算部２３は、例えば、個々の学習済モデルから出力される情報に対して、従来の任意の統計学的処理等のデジタル処理を行って診断に係る一つの情報を算出してもよい。演算部２３は、算出した複数の学習済モデルによる診断に係る一つの情報を出力部２４に出力する。
【0042】
出力部２４は、演算部２３によって算出された情報を出力する出力手段である。出力部２４は、演算部２３から情報を入力する。出力部２４は、例えば、解析画像の送信元であるＰＣ１０に情報を送信して出力する。ＰＣ１０では、当該情報が受信されて表示等がなされる。これによって、ＰＣ１０のユーザーは、複数の学習済モデルによる診断に係る一つの情報を参照して、診断に役立てることができる。また、出力部２４は、上記以外の方法で情報を出力してもよい。以上が、本実施形態に係るサーバ２０の機能である。
【0043】
引き続いて、図２のシーケンス図を用いて、本実施形態に係る診断支援システム１で実行される処理（診断支援システム１が行う動作方法）である診断支援方法を説明する。まず、診断支援システム１に含まれるそれぞれのＰＣ１０において、学習済モデル生成部１１によって、学習データが取得されて、取得された学習データが用いられて機械学習が行われて学習済モデルが生成される（Ｓ０１、学習済モデル生成ステップ）。生成された学習済モデルは、学習済モデル生成部１１からサーバ２０に送信される（Ｓ０２）。
【0044】
サーバ２０では、複数のＰＣ１０から送信された学習済モデルが、学習済モデル取得部２１によって受信されて取得される（Ｓ０２、学習済モデル取得ステップ）。取得された複数の学習済モデルは、サーバ２０に記憶される。
【0045】
続いて、ＰＣ１０によって、解析対象の画像が取得される（Ｓ０３）。解析対象の画像は、例えば、顕微鏡に接続されたカメラで撮像された病理組織画像である。解析対象の画像は、ＰＣ１０からサーバ２０に送信される（Ｓ０４）。サーバ２０では、ＰＣ１０から送信された解析対象の画像が、画像取得部２２によって受信されて取得される（Ｓ０４、画像取得ステップ）。
【0046】
続いて、演算部２３によって、当該画像に基づく情報が複数の学習済モデルそれぞれに入力され、複数の学習済モデルそれぞれに応じた演算が行われて、複数の学習済モデルそれぞれから出力される診断結果を示す情報が得られる（Ｓ０５、演算ステップ）。続いて、演算部２３によって、複数の学習済モデルそれぞれから出力される診断結果を示す情報に基づく演算が行われて、複数の学習済モデルによる診断に係る一つの情報、例えば、一つの診断結果が算出される（Ｓ０６、演算ステップ）。
【0047】
続いて、演算部２３によって算出された情報、例えば、一つの診断結果を示す情報が、出力部２４からＰＣ１０に送信されて出力される（Ｓ０７、出力ステップ）。当該情報は、ＰＣ１０によって受信されて、当該情報の表示等の出力が行われる（Ｓ０８）。以上が、本実施形態に係る診断支援方法である。
【0048】
上述したように本実施形態では、解析対象の画像に対して、個々に生成された複数の学習済モデルに基づいて演算が行われて診断に係る一つの情報が算出される。個々の学習済モデルが十分に客観的なものでなかったとしても、このように複数の学習済モデルを用いて診断に係る一つの情報を算出することで、算出する情報を主観的な要素を排除した客観的な診断に資するものとすることができる。即ち、本実施形態によれば、客観的な診断に資する情報を提供することができる。
【0049】
上述したように学習済モデルは、ＰＣ１０のユーザー等の従来の診断基準を示したものである。複数の学習済モデルに基づいて診断に係る一つの情報が算出されることで、診断基準の標準化を図ることができる。また、個々の学習済モデルが、世界のユーザーの学習データによって生成されたものであれば、診断基準の世界標準化を図ることができる。
【0050】
また、画像に基づく情報処理によって診断に係る情報が算出されるため、診断の効率化、省力化、時間短縮等を図ることができる。これにより、少数の病理学者によって多数の診断を行うことが可能になる。
【0051】
また、本実施形態のように、画像に基づく情報を、複数の学習済モデルそれぞれに入力して、複数の学習済モデルそれぞれから出力される診断結果を示す情報から、診断に係る一つの情報を算出することとしてもよい。その結果、確実かつ適切に客観的な診断に資する情報を提供することができる。但し、診断に係る一つの情報の算出は、上記以外の方法で行われてもよい。
【0052】
また、本実施形態のように、診断支援システム１において、機械学習を行って学習済モデルを生成することとしてもよい。この構成によれば、個々の学習済モデルを生成することができ、適切かつ確実に本発明の一実施形態を実施することができる。また、本実施形態のように機械学習の生成は、サーバ２０ではなく、個々のＰＣ１０において行われることとしてもよい。即ち、エッジヘビーコンピューティングの構成を取ることとしてもよい。この構成を取ることで、サーバ２０に大きな負荷をかけることなく、診断支援システム１を実現することができる。また、各ＰＣ１０のユーザーが病理学者であれば、ユーザーによる診断支援システム１の利用自体がデータ収集の役割をも担い、質の高い学習データを収集することができ、個々の学習済モデルを質の高いものとすることができる。また、個々のＰＣ１０で学習データが取得されて機械学習が行われることで、サーバ２０は、自身が学習データを取得する必要なく、動的、大規模かつ効率的に学習済モデルを取得することができる。
【0053】
また、サーバ２０による画像の解析結果も、上述した実施形態のようにＰＣ１０から利用できるようにしてもよい。即ち、各ＰＣ１０のユーザーが、客観的な診断に資する情報を相互参照できるようにしてもよい。この構成によれば、各ユーザーにおいて客観的な診断を行うことができ、診断基準の客観化を図ることができる。
【0054】
但し、学習済モデルの生成を個々のＰＣ１０で行う構成を取る必要はなく、サーバ２０において学習済モデルの生成が行われてもよい。また、診断支援システム１において、学習済モデルを生成しない構成としてもよい。即ち、診断支援システム１は、ＰＣ１０を備えない構成としてもよい。その場合、診断支援システム１は、診断支援システム１以外の装置から、複数の学習済モデルを取得できればよい。
【0055】
また、本実施形態のように学習済モデルは、ニューラルネットワークを含むものとしてもよい。この構成によれば、学習済モデルを適切なものとすることができ、適切かつ確実に本発明の一実施形態を実施することができる。但し、学習済モデルは、機械学習によって生成されるものであれば、ニューラルネットワークを含むもの以外であってもよい。
【0056】
上述したように本実施形態に係る診断は、病変の有無を判断するものであったが、それ以外の診断であってもよい。例えば、病変を示す状態又は数値（例えば、早期診断マーカー値）等を判断するものであってもよい。また、本実施形態は、ヒトに加えて、ヒト以外の動物（例えば、家畜、ペット、実験動物）を対象としてもよい。また、本実施形態は、毒性病理診断を行うものであってもよい。
【0057】
また、上述したように本実施形態では、病理診断を対象としたが、必ずしも病理診断を対象としなくてもよい。例えば、診断に用いる画像を病理標本の画像ではなく、心電図、レントゲン写真、ＣＴ（Computed Tomography）画像又はＭＲＩ（Magnetic Resonance Imaging）画像等としてもよい。また、病変に係る診断以外の診断を対象としてもよい。
【0058】
上述したように本実施形態では、学習済モデルに入力する情報、即ち、診断に用いる情報は、画像に基づく情報としたが、それ以外の情報も学習済モデルに入力することとしてもよい。例えば、診断の対象者の各種血液生化学的パラメーター、及び早期診断マーカー値等を学習済モデルに入力することとしてもよい。
【0059】
また、本実施形態では、学習データとして、過去の病理画像及び現時点の診断結果を用いて機械学習を行った学習済モデルを用いることとしてもよい。即ち、例えば、病変が発生している人物についての、病変が発生していない過去の時点の病理画像を用いて機械学習を行うこととしてもよい。これによって、病変がないと判断され得る病理画像（正常画像）に対して、後に病変が発生する（異常化する）、あるいは後にも病変が発生しない（異常化しない）ことを判断することが可能となる。即ち、このような構成を取ることで、早期診断を行うことが可能になる。
【0060】
また、本実施形態に係る複数の学習済モデルを用いて、病変があると判断される画像を逆算して無数に発生させることとしてもよい。これにより、従来知られていなかった希少異常像を発見することができる。
【0061】
引き続いて、上述した一連の診断支援システム１による処理をコンピュータに実行させるための診断支援プログラムを説明する。図３に示すように、診断支援プログラム１００は、ＰＣ側プログラム１１０と、サーバ側プログラム１２０とを含んで構成される。ＰＣ側プログラム１１０は、上述したＰＣ１０と同様のハードウェア構成のコンピュータに挿入されてアクセスされる、あるいは当該コンピュータが備える記録媒体２１０に形成されたプログラム格納領域２１１内に格納される。サーバ側プログラム１２０は、上述したサーバ２０と同様のハードウェア構成のコンピュータに挿入されてアクセスされる、あるいは当該コンピュータが備える記録媒体２２０に形成されたプログラム格納領域２２１内に格納される。
【0062】
ＰＣ側プログラム１１０は、学習済モデル生成モジュール１１１を備えて構成される。学習済モデル生成モジュール１１１を実行させることにより実現される機能は、上述したＰＣ１０の学習済モデル生成部１１の機能と同様である。
【0063】
サーバ側プログラム１２０は、学習済モデル取得モジュール１２１と、画像取得モジュール１２２と、演算モジュール１２３と、出力モジュール１２４とを備えて構成される。学習済モデル取得モジュール１２１と、画像取得モジュール１２２と、演算モジュール１２３と、出力モジュール１２４とを実行させることにより実現される機能は、上述したサーバ２０の学習済モデル取得部２１と、画像取得部２２と、演算部２３と、出力部２４との機能とそれぞれ同様である。
【0064】
なお、診断支援プログラム１００は、その一部又は全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、診断支援プログラム１００の各モジュールは、１つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムよって上述した一連の診断支援プログラム１００に係る処理が行われる。
【符号の説明】
【0065】
１…診断支援システム、１０…ＰＣ、１１…学習済モデル生成部、２０…サーバ、２１…学習済モデル取得部、２２…画像取得部、２３…演算部、２４…出力部、１００…診断支援プログラム、１１０…ＰＣ側プログラム、１１１…学習済モデル生成モジュール、１２０…サーバ側プログラム、１２１…学習済モデル取得モジュール、１２２…画像取得モジュール、１２３…演算モジュール、１２４…出力モジュール、２１０，２２０…記録媒体、２１１，２２１…プログラム格納領域。
【図1】
【図2】
【図3】