特許 7597318 判定予測システム、判定予測方法及び判定予測プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】判定予測システム、判定予測方法及び判定予測プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241203BHJP

   A61B 6/50 20240101ALI20241203BHJP

   G06N 20/00 20190101ALI20241203BHJP

【ＦＩ】

G06T7/00 350B

A61B6/50 500C

G06N20/00 130

G06T7/00 612

【請求項の数】 8

(21)【出願番号】P 2020156477

(22)【出願日】2020-09-17

(65)【公開番号】P2022050089

(43)【公開日】2022-03-30

【審査請求日】2023-08-16

(73)【特許権者】

【識別番号】592131906

【氏名又は名称】みずほリサーチ＆テクノロジーズ株式会社

(73)【特許権者】

【識別番号】509013703

【氏名又は名称】公立大学法人福島県立医科大学

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】鈴木 弘行

(72)【発明者】

【氏名】樋口 光徳

(72)【発明者】

【氏名】永田 毅

(72)【発明者】

【氏名】佐野 碧

(72)【発明者】

【氏名】岩渕 耕平

(72)【発明者】

【氏名】山崎 学

(72)【発明者】

【氏名】井高 貴之

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０１９－１９５６２７（ＪＰ，Ａ）

【文献】特開２０１９－０３３９６６（ＪＰ，Ａ）

【文献】特開２０２０－０５７３６４（ＪＰ，Ａ）

【文献】特開２０１７－０８４００６（ＪＰ，Ａ）

【文献】Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓを用いた人物周辺の環境を考慮した行動認識，電子情報通信学会技術研究報告，2016年03月17日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／５０

Ｇ０６Ｎ ２０／００

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

分割予測モデル及び統合予測モデルを記録する学習結果記憶部と、
画像を評価する制御部とを備え、判定結果を予測する判定予測システムであって、
前記制御部が、
元画像を分割した複数の分割画像を生成し、
前記複数の分割画像に対して、前記元画像における判定結果を関連付けて記録した第１教師情報を生成し、
前記第１教師情報を用いて、分割画像から前記判定結果を予測する分割領域毎に分割予測モデルを生成して、前記学習結果記憶部に記録し、
前記第１教師情報の各分割画像を前記分割予測モデルに入力して生成された分割領域毎の特徴情報を、前記分割画像の位置に基づいてまとめた第２教師情報を生成し、
前記第２教師情報を用いて、前記判定結果を予測する統合予測モデルを生成して、前記学習結果記憶部に記録し、
評価対象画像を取得した場合、前記学習結果記憶部に記録された前記分割予測モデル及び前記統合予測モデルを用いて、前記判定結果を予測することを特徴とする判定予測システム。

【請求項2】

前記制御部が、前記第２教師情報の生成において、前記分割予測モデルの入力層から出力層までの中間層で生成される特徴情報を用いることを特徴とする請求項１に記載の判定予測システム。

【請求項3】

前記制御部が、前記中間層で生成される複数の特徴量マップ画像を取得することを特徴とする請求項２に記載の判定予測システム。

【請求項4】

前記制御部が、
前記特徴量マップ画像を、前記判定結果に結びつける加重情報を算出し、
前記加重情報を用いて、前記第２教師情報を生成することを特徴とする請求項３に記載の判定予測システム。

【請求項5】

前記制御部が、前記特徴量マップ画像と前記加重情報とを用いてヒートマップを生成することを特徴とする請求項４に記載の判定予測システム。

【請求項6】

前記制御部が、
前記元画像及び前記評価対象画像として、臓器を撮影した臓器画像を用い、
前記判定結果として、前記臓器画像に関する診断結果を用いることを特徴とする請求項１～５の何れか一項に記載の判定予測システム。

【請求項7】

分割予測モデル及び統合予測モデルを記録する学習結果記憶部と、
画像を評価する制御部とを備えた判定予測システムを用いて、判定結果を予測する方法であって、
前記制御部が、
元画像を分割した複数の分割画像を生成し、
前記複数の分割画像に対して、前記元画像における判定結果を関連付けて記録した第１教師情報を生成し、
前記第１教師情報を用いて、分割画像から前記判定結果を予測する分割領域毎に分割予測モデルを生成して、前記学習結果記憶部に記録し、
前記第１教師情報の各分割画像を前記分割予測モデルに入力して生成された分割領域毎の特徴情報を、前記分割画像の位置に基づいてまとめた第２教師情報を生成し、
前記第２教師情報を用いて、前記判定結果を予測する統合予測モデルを生成して、前記学習結果記憶部に記録し、
評価対象画像を取得した場合、前記学習結果記憶部に記録された前記分割予測モデル及び前記統合予測モデルを用いて、前記判定結果を予測することを特徴とする判定予測方法。

【請求項8】

画像に基づいて判定結果を出力するように、コンピュータを機能させるための判定予測プログラムであって、
分割予測モデルと、前記分割予測モデルからの出力が入力されるように結合された統合予測モデルとから構成され、
元画像を分割した複数の分割画像を生成し、
前記複数の分割画像に対して、前記元画像における判定結果を関連付けて記録した第１教師情報を生成し、
前記第１教師情報を用いて、分割画像から前記判定結果を予測する分割領域毎に生成された分割予測モデルと、
前記第１教師情報の各分割画像を前記分割予測モデルに入力して生成された分割領域毎の特徴情報を、前記分割画像の位置に基づいてまとめた第２教師情報を生成し、
前記第２教師情報を用いて、前記判定結果を予測するように生成された統合予測モデルとを含み、
評価対象画像を取得した場合、前記分割予測モデル及び前記統合予測モデルを用いて、前記判定結果を予測する手段として機能させるための判定予測プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、疾病についての判定を支援する判定予測システム、判定予測方法及び判定予測プログラムに関する。

【背景技術】

【0002】

近年、コンピュータを利用して、画像を判定する技術が検討されている。最近では、医療分野においても、画像を活用した診断の支援が進められており、疾病の診断に関する判定結果とともに判定に寄与した領域を提示する情報処理装置も検討されている（例えば、特許文献１を参照。）。この文献に記載された情報処理装置は、疾病の診断基準に関する診断基準予測を出力する第１モデルに内視鏡画像を入力して、診断基準予測を出力する。この場合、診断基準予測に影響を及ぼした領域を抽出し、診断基準予測と、抽出した領域を示す指標と、疾病の状態に関する診断予測とを関連づけて出力する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－８９７１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、画像によっては、高い精度で疾病を検知することが難しい場合がある。例えば、従来、胸部前面レントゲン画像は読影医が、疾病の可能性を判断している。ここで、レントゲン画像は、３次元ＣＴ画像と比較して情報が少ない２次元画像であり、画像処理技術により判定が困難な場合がある。

【課題を解決するための手段】

【0005】

上記課題を解決する判定予測システムは、分割予測モデル及び統合予測モデルを記録する学習結果記憶部と、画像を評価する制御部とを備える。そして、前記制御部が、元画像を分割した複数の分割画像を生成し、前記複数の分割画像に対して、前記元画像における判定結果を関連付けて記録した第１教師情報を生成し、前記第１教師情報を用いて、分割画像から前記判定結果を予測する分割予測モデルを生成して、前記学習結果記憶部に記録し、前記第１教師情報の各分割画像を前記分割予測モデルに入力して生成された特徴情報を、前記分割画像の位置に基づいてまとめた第２教師情報を生成し、前記第２教師情報を用いて、前記判定結果を予測する統合予測モデルを生成して、前記学習結果記憶部に記録し、評価対象画像を取得した場合、前記学習結果記憶部に記録された前記分割予測モデル及び前記統合予測モデルを用いて、前記判定結果を予測する。

【発明の効果】

【0006】

本発明によれば、疾病についての判定を支援することができる。

【図面の簡単な説明】

【0007】

【図1】実施形態の判定予測システムの説明図。

【図2】実施形態のハードウェア構成の説明図。

【図3】実施形態の画像分割の説明図。

【図4】実施形態の学習時処理手順の説明図。

【図5】実施形態の分割学習処理手順の説明図。

【図6】実施形態の分割予測モデルの説明図。

【図7】実施形態の統合学習処理手順の説明図。

【図8】実施形態のヒートマップの作成の説明図。

【図9】実施形態のヒートマップの説明図。

【図10】実施形態の統合予測モデルの説明図。

【図11】実施形態の予測時処理手順の説明図。

【図12】他の実施形態の処理手順の説明図。

【図13】他の実施形態の処理手順の説明図。

【図14】他の実施形態の処理手順の説明図。

【発明を実施するための形態】

【0008】

図１～図１１に従って、判定予測システム、判定予測方法及び判定予測プログラムの一実施形態を説明する。本実施形態では、肺がん検診のレントゲン画像（臓器画像）に対して検診結果を関連付けた教師データを用いて学習し、肺がんの可能性を予測するための予測モデルを生成する。そして、肺がん検診において新たなレントゲン画像を取得した場合、予測モデルを用いて、診断結果を予測する。
図１に示すように、ネットワークを介して接続されたユーザ端末１０、支援サーバ２０を用いる。

【0009】

（ハードウェア構成例）
図２は、ユーザ端末１０、支援サーバ２０等として機能する情報処理装置Ｈ１０のハードウェア構成例である。

【0010】

情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶装置Ｈ１４、プロセッサＨ１５を有する。なお、このハードウェア構成は一例であり、他のハードウェアを有していてもよい。

【0011】

通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースカードや無線インタフェース等である。

【0012】

入力装置Ｈ１２は、利用者等からの入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置Ｈ１３は、各種情報を表示するディスプレイやタッチパネル等である。

【0013】

記憶装置Ｈ１４は、ユーザ端末１０、支援サーバ２０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置（例えば、後述する教師情報記憶部２３、学習結果記憶部２４）である。記憶装置Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。

【0014】

プロセッサＨ１５は、記憶装置Ｈ１４に記憶されるプログラムやデータを用いて、ユーザ端末１０、支援サーバ２０における各処理（例えば、後述する制御部２１における処理）を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各種処理に対応する各種プロセスを実行する。例えば、プロセッサＨ１５は、ユーザ端末１０、支援サーバ２０のアプリケーションプログラムが起動された場合、後述する各処理を実行するプロセスを動作させる。

【0015】

プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、（１）コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ、（２）各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路、或いは（３）それらの組み合わせ、を含む回路（circuitry）として構成し得る。プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。

【0016】

（各情報処理装置の機能）
図１のユーザ端末１０は、肺がん検診の担当者が利用するコンピュータ端末である。
支援サーバ２０は、肺がん検診を支援するためのコンピュータシステムである。この支援サーバ２０は、制御部２１、画像情報記憶部２２、教師情報記憶部２３、学習結果記憶部２４、評価対象記憶部２５を備えている。

【0017】

この制御部２１は、後述する処理（取得段階、学習段階、予測段階等を含む処理）を行なう。このための判定予測プログラムを実行することにより、制御部２１は、取得部２１１、学習部２１２、予測部２１３等として機能する。

【0018】

取得部２１１は、学習対象や評価対象のレントゲン画像を取得する処理を実行する。取得部２１１は、肺野全体を含むレントゲン画像（元画像としての肺野全体画像）において、パターン認識により、左上～右下の４つの肺野領域の画像（分割肺野画像）に分割する。このパターン認識では、レントゲン画像から肺野領域の解剖学的な特徴点を検出し、その特徴点を基準として、肺野領域に応じた肺野で分割する。

【0019】

学習部２１２は、教師データを用いて、肺がん検診の判定結果（陰性確率及び陽性確率）を予測するための予測モデルを生成する処理を実行する。
予測部２１３は、予測モデルを用いて、評価対象のレントゲン画像の読影の判定結果を予測する処理を実行する。

【0020】

画像情報記憶部２２には、肺がん検診において撮影されたレントゲン画像が記録される。このレントゲン画像には、検診者識別子、判定結果が関連付けられている。
検診者識別子は、このレントゲン画像を取得した肺がん検診の検診者を特定するための識別子である。

【0021】

判定結果は、読影医による診断情報が記録される。この診断情報には、（ａ）異常所見の有無、（ｂ）異常陰影の位置、（ｃ）異常所見の内容が含まれる。ここで、（ａ）異常所見の有無では、「異常所見を認めない」、「肺がんの疑い」、「異常所見を認め，肺癌以外の疾患で治療を要する状態が考えられる」等の判定結果が含まれる。なお、本実施形態では、「肺がんの疑い」の有無（陽性又は陰性）を用いる場合を説明する。また、本実施形態では、（ｂ）異常陰影の位置については、陽性と判定された場合には、異常陰影の位置に対応する肺野領域（右上、左上、右下、左下）を用いる場合を説明する。

【0022】

教師情報記憶部２３には、肺がん検診の判定結果（陰性確率及び陽性確率）を予測する予測モデルを生成するための学習処理に用いる教師データが記録される。本実施形態では、分割学習用教師データ及び統合学習用教師データが記録される。

【0023】

分割学習用教師データは、肺野領域（右上肺野、左上肺野、右下肺野、左下肺野）毎に陽性判定を行なうための分割予測モデルを生成する場合に用いられる。
統合学習用教師データは、肺野毎の分割予測モデルによる予測結果を統合して判定する統合予測モデルを生成する場合に用いられる。

【0024】

図３に示すように、レントゲン撮影した元画像５００を、分割肺野画像５１０（右上肺野画像５１１、左上肺野画像５１２、右下肺野画像５１３、左下肺野画像５１４）に分割する。更に、異常陰影の位置に応じて、分割肺野画像（ここでは、左下肺野画像５１４）に対して陽性フラグを関連付ける。一方、他の分割肺野画像に対しては、陰性フラグを関連付ける。そして、分割学習用教師データとして、教師情報記憶部２３に記録する。

【0025】

学習結果記憶部２４には、教師データを用いた機械学習により生成した予測モデル（肺野毎の分割予測モデル及び統合予測モデル）が記録される。
評価対象記憶部２５には、評価対象のレントゲン画像、予測結果を記録する。この評価対象のレントゲン画像は、ユーザ端末１０から新たに取得した場合に記録され、予測結果は、後述する予測時段階で記録される。

【0026】

次に、上記のように構成されたシステムにおいて、肺がん検診における判定を支援する処理手順を説明する。

【0027】

（学習時処理）
図４を用いて、学習時処理を説明する。
まず、支援サーバ２０の制御部２１は、画像取得処理を実行する（ステップＳ１０１）。具体的には、制御部２１の取得部２１１は、ユーザ端末１０から、肺がん検診のレントゲン画像を取得する。このレントゲン画像（肺野全体画像）には、検診者識別子（匿名）、読影医による陽性判定結果が含まれる。陽性と判定した場合には、判定した肺野を特定するための情報が含まれる。取得部２１１は、取得した肺野全体画像を、検診者識別子、判定結果に関連付けて画像情報記憶部２２に記録する。

【0028】

次に、支援サーバ２０の制御部２１は、画像情報記憶部２２に記録された肺野全体画像毎に、分割処理を実行する（ステップＳ１０２）。具体的には、制御部２１の取得部２１１は、肺野全体画像を、パターン認識により、肺野領域に応じて、左上肺野画像、左下肺野画像、右上肺野画像、右下肺野画像に分割する。そして、取得部２１１は、検診者識別子に関連付けて、左上～右下の分割肺野画像をメモリに仮記憶する。この場合、肺野全体画像において、異常陰影の位置に応じて分割肺野画像には、陽性フラグを記録する。また、他の肺野の分割肺野画像には、陰性フラグを記録する。
以上の処理を、すべての肺野全体画像について終了するまで繰り返す。

【0029】

次に、支援サーバ２０の制御部２１は、肺野領域毎の肺野毎の第１教師情報の生成処理を実行する（ステップＳ１０３）。具体的には、制御部２１の取得部２１１は、メモリに仮記憶された分割肺野画像を、肺野領域毎にまとめて、分割学習用教師データ（第１教師情報）を生成する。そして、取得部２１１は、生成した分割学習用教師データを、左上～右下の分割肺野に関連付けて教師情報記憶部２３に記録する。

【0030】

次に、支援サーバ２０の制御部２１は、左上～右下の分割肺野毎に、分割学習処理を実行する（ステップＳ１０４）。この処理については、図５を用いて後述する。
次に、支援サーバ２０の制御部２１は、統合学習処理を実行する（ステップＳ１０５）。この処理については、図７を用いて後述する。

【0031】

（分割学習処理）
図５を用いて、分割学習処理を説明する。
まず、支援サーバ２０の制御部２１は、第１教師情報の取得処理を実行する（ステップＳ２０１）。具体的には、制御部２１の学習部２１２は、教師情報記憶部２３に記録されている分割学習用教師データを取得する。

【0032】

次に、支援サーバ２０の制御部２１は、複数階層で特徴量マップ画像の生成処理を実行する（ステップＳ２０２）。具体的には、制御部２１の学習部２１２は、機械学習方法として、「DenseNet」を用いる。この「DenseNet」は、畳み込み層とプーリング層の間に「Dense Block」と「Transition Layer」を交互に挟み込むネットワークで構成される。「DenseNet」を用いて、分割肺野画像を入力層として入力して、出力層において陽性・陰性を出力する予測モデル（「DenseNet」モデル）を生成する。この場合、分割画像が入力された「DenseNet」モデルにより、深度に応じて複数階層からなる中間層で特徴量マップ画像が生成される。特徴量マップ画像は、分割肺野画像に対して、階層毎に多様なフィルタをかけた画像である。更に、「DenseNet」モデルでは、各階層の特徴量マップ画像の代表値が算出される。そして、「DenseNet」モデルでは、この代表値から陽性・陰性確率を出力する階層毎の加重値（モデル内変数値）が算出される。

【0033】

次に、支援サーバ２０の制御部２１は、特徴量マップ画像の階層毎の代表値の取得処理を実行する（ステップＳ２０３）。具体的には、制御部２１の学習部２１２は、「DenseNet」モデルの階層毎の各特徴量マップ画像についての代表値を取得する。本実施形態では、代表値としては、特徴量マップ画像における画像値の最大値を用いる。

【0034】

次に、支援サーバ２０の制御部２１は、階層毎の代表値を入力として陽性・陰性確率を出力する階層毎の加重値の取得処理を実行する（ステップＳ２０４）。具体的には、制御部２１の学習部２１２は、「DenseNet」モデルにおいて、各階層の特徴量マップ画像の代表値を入力として、陽性及び陰性の確からしさ（確率）を算出する加重値（加重情報）を取得する。この加重値により、陽性確率及び陰性確率に影響を与える特徴量マップ画像の重み付けが行なわれる。

【0035】

図６に示すように、学習部２１２は、分割肺野画像５１０の特徴量マップ画像５２０の代表値（ｖｄ１～ｖｄ４）の入力に対して、陰性確率を出力する加重値（Ｗ０１～Ｗ０４）、陽性確率を出力する加重値（Ｗ１１～Ｗ１４）を算出する。この場合、各分割肺野画像５１０を「DenseNet」モデルに入力して、各階層の特徴量マップ画像を生成し、この特徴量マップ画像の代表値を算出する。更に、「DenseNet」モデルにより出力される陽性確率及び陰性確率を取得する。次に、学習部２１２は、「DenseNet」モデルから、加重値（Ｗ０１～Ｗ１４）を取得する。なお、図６では、４階層を想定したが、「DenseNet」モデルがｎ階層の場合、代表値はｎ個、加重値は２ｎ個になる。

【0036】

そして、学習部２１２は、分割肺野識別子、階層識別子に対して、「DenseNet」モデル及び加重値を含めたネットワーク（分割予測モデル）を、学習結果記憶部２４に記録する。

【0037】

（統合学習処理）
図７を用いて、統合学習処理を説明する。
ここでは、支援サーバ２０の制御部２１は、各検診者の肺野画像毎に、特徴量マップ画像及び加重値を用いて、ヒートマップの作成処理を実行する（ステップＳ３０１）。具体的には、制御部２１の学習部２１２は、検診者毎に、各分割肺野画像を「DenseNet」モデルに入力して生成された各階層の特徴量マップ画像と、この階層で陽性確率を算出する加重値とを用いて、肺野領域に応じたヒートマップを作成する。

【0038】

ここでは、図８に示すように、各階層の各特徴量マップ画像５２０に対して、陽性確率を算出する加重値（Ｗ１１～Ｗ１４）を乗算することにより加重画像を生成する。更に、学習部２１２は、階層毎の加重画像を同じ画素位置で重ね合わせることにより、ヒートマップ６００を生成する。

【0039】

図９は、肺野全体画像の元画像５００に対して、各検診者の分割肺野画像を結合したヒートマップ６００の例示である。このヒートマップ６００では、複数の特徴量マップが重畳されているが、高い加重値が付与された特徴量マップ画像の特徴領域が強調されて表示される。

【0040】

次に、支援サーバ２０の制御部２１は、第２教師情報（統合学習用）の登録処理を実行する（ステップＳ３０２）。具体的には、制御部２１の学習部２１２は、分割学習結果を用いて、統合学習用教師データ（第２教師情報）を生成する。ここでは、ステップＳ３０１において作成した検診者毎に取りまとめた肺野領域毎のヒートマップ及び判定結果を、統合学習用教師データとして用いる。そして、学習部２１２は、検診者識別子で関連付けた肺野領域毎のヒートマップ及び判定結果を、統合学習用教師データとして教師情報記憶部２３に記録する。
以上の処理を、画像情報記憶部２２に記録されたすべての検診者について繰り返す。

【0041】

次に、支援サーバ２０の制御部２１は、統合予測モデルの作成処理を実行する（ステップＳ３０３）。具体的には、制御部２１の学習部２１２は、機械学習により、分割学習の結果を用いて生成した統合学習用教師データにより、陰性確率及び陽性確率を予測する統合予測モデルを生成する。

【0042】

ここでは、図１０に示すように、各特徴量マップ画像５２０の肺野領域毎の特徴量（統合入力特徴量ｖｉ１～ｖｉ４）を算出し、各統合入力特徴量を入力として、陰性確率及び陽性確率を出力する統合予測モデルを、機械学習により生成する。本実施形態では、統合入力特徴量ｖｉ１～ｖｉ４として、ステップＳ３０１において作成した肺野領域毎のヒートマップを入力として、読影医の判定結果を出力として用いた機械学習を行なう。なお、図１０では、肺野画像を左上～右下に４分割したため、特徴量が４個になっているが、特徴量の数は肺野の分割数に応じて決まる。
そして、学習部２１２は、生成した統合予測モデルを学習結果記憶部２４に記録する。

【0043】

（予測時処理）
次に、図１１を用いて、予測時処理を説明する。

【0044】

まず、支援サーバ２０の制御部２１は、画像取得処理を実行する（ステップＳ４０１）。具体的には、制御部２１の取得部２１１は、ユーザ端末１０から、新たな肺がん検診における肺野画像を取得し、評価対象記憶部２５に記録する。

【0045】

次に、支援サーバ２０の制御部２１は、ステップＳ１０２と同様に、分割処理を実行する（ステップＳ４０２）。これにより、分割肺野画像が作成される。
次に、支援サーバ２０の制御部２１は、分割肺野画像を用いた予測処理を実行する（ステップＳ４０３）。具体的には、制御部２１の予測部２１３は、学習結果記憶部２４に記録された分割予測モデルに、作成した分割肺野画像を入力し、分割判定結果を予測する。ここでは、分割判定結果において、分割肺野毎に、陰性確率及び陽性確率を算出する。

【0046】

次に、支援サーバ２０の制御部２１は、肺野全体画像を用いた予測処理を実行する（ステップＳ４０４）。具体的には、制御部２１の予測部２１３は、分割肺野画像を用いた予測処理（ステップＳ４０３）において生成された肺野領域毎の特徴量を、学習結果記憶部２４に記録された統合予測モデルに入力して統合予測結果を算出する。本実施形態では、予測部２１３は、ステップＳ４０３において算出された特徴量マップに加重値を乗算したマップを重畳させたヒートマップを生成する。そして、予測部２１３は、学習結果記憶部２４に記録された統合予測モデルに、作成したヒートマップを入力し、統合予測結果を予測する。統合判定結果としては、陰性確率、陽性確率を算出する。

【0047】

次に、支援サーバ２０の制御部２１は、判定結果の出力処理を実行する（ステップＳ４０５）。具体的には、制御部２１の予測部２１３は、判定結果画面をユーザ端末１０に出力する。この判定結果画面には、ステップＳ４０３及びステップＳ４０４で予測した判定結果（分割判定結果、統合判定結果）、ヒートマップを含める。

【0048】

本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態においては、支援サーバ２０の制御部２１は、画像取得処理を実行する（ステップＳ１０１）。これにより、読影医の判定結果を取得することができる。この画像には、骨や臓器等のように、画像上の異常判定に影響をおけるノイズも含まれるため、ノイズを考慮した機械学習を行なうことができる。

【0049】

（２）本実施形態においては、支援サーバ２０の制御部２１は、画像情報記憶部２２に記録された肺野画像毎に、分割処理（ステップＳ１０２）、肺野毎の第１教師情報の生成処理（ステップＳ１０３）、分割肺野毎に、分割学習処理（ステップＳ１０４）を実行する。これにより、分割された肺野領域における局所的な異常の有無を判定することができる。例えば、肺がんは領域毎に見え方や注意すべきポイントが異なり、領域毎に特化した学習を行なうことで、読影医に近い判定を実現できる。更に、解剖学的な位置を揃えて肺野の分割を行なった上で、機械学習を行なうことで、予測精度の向上を図ることができる。

【0050】

（３）本実施形態においては、支援サーバ２０の制御部２１は、「Dense Net」を用いて、複数階層で特徴量マップ画像の生成処理を実行する（ステップＳ２０２）。ここでは、「Dense Block」と「Transition Layer」を交互に挟み込むことにより、深層化した場合の勾配消失に対応することができる。そして、階層毎に多様なフィルタをかけた特徴量マップ画像を生成することができる。

【0051】

（４）本実施形態においては、支援サーバ２０の制御部２１は、特徴量マップ画像及び加重値を用いてヒートマップの作成処理（ステップＳ３０１）、第２教師情報（統合学習用）の登録処理（ステップＳ３０２）、統合予測モデルの作成処理（ステップＳ３０３）を実行する。分割された領域での判定を、全体を通じて調整することができる。例えば、人体に左右対称に配置されている臓器において異常を検知した場合、異常領域の左右の配置状況に応じて、判定を調整する予測モデルを生成することができる。具体的には、左上肺側に異常と疑われる箇所を検出した場合、右上肺側と比較し、左右差を確認して、右側の同じような箇所の有無により、陰性確率及び陽性確率を算出することができる。ここで、右側に同じような箇所を検出した場合には異常ではない可能性がある。

【0052】

（５）本実施形態においては、支援サーバ２０の制御部２１は、画像取得処理（ステップＳ４０１）、分割肺野画像を用いた予測処理（ステップＳ４０３）、肺野全体画像を用いた予測処理（ステップＳ４０４）を実行する。これにより、診断の質の向上、読影医の負担軽減、医師の労働時間の短縮を図ることができる。この結果、医師の負担を、一次読影から二次読影等の業務にシフトさせることができ、比較読影の質の向上を図ることができる。また、肺がん検診の読影をシステム化することにより、専門性の高い読影医の偏在による地方格差の解消に寄与できる。

【0053】

（６）本実施形態においては、支援サーバ２０の制御部２１は、判定結果の出力処理を実行する（ステップＳ４０５）。この場合、ヒートマップ等を出力することで、異常等の判別の特徴となりうる対象を可視化することができる。

【0054】

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、肺がん検診のレントゲン画像において、肺がんの検出に適用する。適用対象の疾病は、肺がんに限定されない。肺以外の臓器（例えば、対称に近い形状の脳や腎臓等）に適用することも可能である。
・上記実施形態では、肺がんの陽性・陰性確率を予測する。予測対象は、陽性・陰性の２種類に限定されるものではない。例えば、診断情報の（ａ）異常所見の有無において、「異常所見を認めない」、「肺がんの疑い」、「異常所見を認め，肺癌以外の疾患で治療を要する状態が考えられる」等の判定結果をそれぞれ個別に予測するようにしてもよい。この場合に、それぞれの判定結果を含めた第１、第２教師情報を生成し、分割予測モデル及び統合予測モデルにより、「異常所見を認めない」の確率、「肺がんの疑い」の確率、「異常所見を認め，肺癌以外の疾患で治療を要する状態が考えられる」の確率を予測する。

【0055】

・上記実施形態では、機械学習の手法として「Dense Net」を用いる。機械学習の手法としては、「Dense Net」に限定されるものではなく、例えば、「Residual Network（ResNet）」を用いてもよい。
・上記実施形態では、支援サーバ２０の制御部２１は、統合予測モデルの作成処理を実行する（ステップＳ３０３）。この場合、統合入力特徴量として、肺野領域毎のヒートマップを用いる。統合入力特徴量は、ヒートマップそのものに限定されるものではない。

【0056】

例えば、図１２に示すように、肺野領域毎のヒートマップ６００、及び分割予測モデルで算出した陽性確率及び陰性確率を、統合入力特徴量として用いてもよい。
また、図１３に示すように、肺野領域毎の各特徴量マップ画像５２０に、加重値（Ｗ１１～Ｗ１４）を乗算した画像群５３０を、統合入力特徴量として用いてもよい。この場合、すべての特徴量マップ画像を用いる必要はなく、加重値が基準値以上の特徴量マップ画像を特定して用いてもよい。

【0057】

また、図１４に示すように、肺野領域毎の各特徴量マップ画像５２０に加重値（Ｗ１１～Ｗ１４）を乗算した画像群５３０と、陽性確率及び陰性確率とを、統合入力特徴量として用いてもよい。この場合も、すべての特徴量マップ画像を用いる必要はなく、加重値が基準値以上の特徴量マップ画像を特定して用いてもよい。

【0058】

・上記実施形態では、取得部２１１は、レントゲン画像（肺野全体画像）において、パターン認識により、左上～右下の４つ肺野画像に分割する。このパターン認識では、レントゲン画像から肺野領域の解剖学的な特徴点を検出し、その特徴点を基準として、肺野領域を分割する。分割方法は、特徴点を用いる場合に限定されるものではない。例えば、機械学習により、臓器の形状を認識させて各肺野領域を分割するようにしてもよい。

【0059】

・上記実施形態では、支援サーバ２０の制御部２１は、分割処理を実行する（ステップＳ１０２）。ここでは、制御部２１の取得部２１１は、肺野全体画像を、パターン認識により、左上肺野画像、左下肺野画像、右上肺野画像、右下肺野画像に分割する。ここで、分割数は４つに限定されない。また、肺野の形状を平均形状に位置が合うように変形させ、位置合わせした画像から肺野領域を分割するようにしてもよい。

【符号の説明】

【0060】

１０…ユーザ端末、２０…支援サーバ、２１…制御部、２１１…取得部、２１２…学習部、２１３…予測部、２２…画像情報記憶部、２３…教師情報記憶部、２４…学習結果記憶部、２５…評価対象記憶部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】