特開 2024-127104 情報処理装置、情報処理方法、情報処理プログラム、及び、記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024127104

(43)【公開日】2024-09-20

(54)【発明の名称】情報処理装置、情報処理方法、情報処理プログラム、及び、記録媒体

(51)【国際特許分類】

   G06T 7/11 20170101AFI20240912BHJP

   G06T 7/00 20170101ALI20240912BHJP

【ＦＩ】

G06T7/11

G06T7/00 350C

G06T7/00 612

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023035995

(22)【出願日】2023-03-08

(71)【出願人】

【識別番号】301032942

【氏名又は名称】国立研究開発法人量子科学技術研究開発機構

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】橋本 綾斗

(72)【発明者】

【氏名】立花 泰彦

(72)【発明者】

【氏名】岸本 理和

(72)【発明者】

【氏名】森 慎一郎

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA06

5L096BA13

5L096CA02

5L096CA25

5L096DA01

5L096EA35

5L096FA02

5L096FA32

5L096GA17

5L096GA30

5L096HA11

5L096JA11

5L096JA18

5L096KA04

5L096KA15

(57)【要約】

【課題】要精査領域の分布を精度良く推定することが可能な技術を実現することができる。
【解決手段】プロセッサ（１１）は、検査対象画像を第１ニューラルネットワーク（Ｎ１）の部分ネットワーク（Ｎ１１）に入力することによって、検査対象画像の各画素に対応する特徴量ベクトルを導出する。また、プロセッサ（１１）は、検査対象画像の部分画像と該部分画像の各画素に対応する特徴量ベクトルとを第２ニューラルネットワーク（Ｎ２）に入力することによって、該部分画像が要精査領域を含むか否かを示す情報を導出する。そして、プロセッサ（１１）は、各部分画像から導出した情報に基づいて、検査対象画像における要精査領域の分布を生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも１つのメモリと、少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのメモリは、
広域画像を入力とし、該広域画像における要精査領域の分布を表す画像を出力とする第１ニューラルネットワークから、該広域画像の各画素に対応する特徴量ベクトルを入力とし、前記画像を出力とする出力層を除いた部分ネットワークと、
局所画像、及び、該局所画像の各画素に対応する特徴量ベクトルの集合を入力とし、該局所画像が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報を出力とする第２ニューラルネットワークと、を記憶し、
前記少なくとも１つのプロセッサは、
検査用画像の各画素に対応する特徴量ベクトルの集合を、該検査用画像を前記部分ネットワークに入力することによって導出する第１導出処理と、
前記検査用画像の複数の部分画像について、各部分画像が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報を、該部分画像、及び、前記第１導出処理にて導出された特徴量ベクトルのうち、該部分画像の各画素に対応する特徴量ベクトルの集合を前記第２ニューラルネットワークに入力することによって導出する第２導出処理と、
前記検査用画像における要精査領域の分布を表す出力画像を、各部分画像に対する前記第２導出処理にて導出された情報に基づいて生成する生成処理と、を実行する、
ことを特徴とする情報処理装置。

【請求項2】

前記第２導出処理において、前記少なくとも１つのプロセッサは、
前記検査用画像からウインドウに含まれる部分を切り出すことによって、部分画像を生成する生成ステップと、
前記生成ステップにて生成された部分画像が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報を、該部分画像、及び、前記第１導出処理にて導出された特徴量ベクトルのうち、該部分画像の各画素に対応する特徴量ベクトルの集合を前記第２ニューラルネットワークに入力することによって導出する導出ステップと、
前記検査用画像における前記ウインドウの位置を、移動前の前記ウインドウと移動後の前記ウインドウとが重なりを持つように移動させる移動ステップと、を含むサイクルを、前記ウインドウの軌跡が前記検査用画像を覆うまで繰り返す、
請求項１に記載の情報処理装置。

【請求項3】

前記生成処理において、前記少なくとも１つのプロセッサは、
前記出力画像の各画素の画素値を、対応する前記検査用画像の画素が前記ウインドウに含まれるサイクルにおいて前記導出ステップにて導出された情報に基づいて設定する、
ことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

少なくとも１つのプロセッサを備え、
前記少なくとも１つのプロセッサは、
検査用画像と、該検査用画像を目視した検査者が要精査領域の分布として指定した分布を表す正解画像と、を含む教師データを生成する第１生成処理と、
広域画像を入力とし、該広域画像における要精査領域の分布を表す画像を出力とする第１ニューラルネットワークであって、該広域画像の各画素に対応する特徴量ベクトルを入力とし、前記画像を出力とする出力層を含む第１ニューラルネットワークを、前記第１生成処理にて生成された教師データを用いた機械学習によって構築する第１構築処理と、
検査用画像の部分画像と、該検査用画像を、前記第１構築処理によって構築された前記第１ニューラルネットワークから出力層を除いた部分ネットワークに入力する導出される特徴量ベクトルのうち、該部分画像の各画素に対応する特徴量ベクトルの集合と、該部分画像が要精査領域を含むか否か、又は、要精査領域を含む確率について、該部分画像を目視した検査者が判断した結果を表す正解情報と、を含む教師データを生成する第２生成処理と、
局所画像、及び、該局所画像の各画素に対応する特徴量ベクトルの集合を入力とし、該部分画像が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報を出力とする第２ニューラルネットワークを、前記第２生成処理にて生成された教師データを用いた機械学習によって構築する第２構築処理と、を実行する、
ことを特徴とする情報処理装置。

【請求項5】

前記検査用画像は、前立腺のＭＲ（Magnetic Resonance）画像であり、
前記要精査領域は、前立腺癌の有無を診断するために、動的造影検査が必要な領域である、
請求項１～４の何れか一項に記載の情報処理装置。

【請求項6】

広域画像を入力とし、該広域画像における要精査領域の分布を表す画像を出力とする第１ニューラルネットワークから、該広域画像の各画素に対応する特徴量ベクトルを入力とし、前記画像を出力とする出力層を除いた部分ネットワークと、局所画像、及び、該局所画像の各画素に対応する特徴量ベクトルの集合を入力とし、該局所画像が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報を出力とする第２ニューラルネットワークと、を用いた情報処理方法であって、
少なくとも１つのプロセッサが、検査用画像の各画素に対応する特徴量ベクトルの集合を、該検査用画像を前記部分ネットワークに入力することによって導出する第１導出処理と、
前記少なくとも１つのプロセッサが、前記検査用画像の複数の部分画像について、各部分画像が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報を、該部分画像、及び、前記第１導出処理にて導出された特徴量ベクトルのうち、該部分画像の各画素に対応する特徴量ベクトルの集合を前記第２ニューラルネットワークに入力することによって導出する第２導出処理と、
前記少なくとも１つのプロセッサが、前記検査用画像における要精査領域の分布を表す出力画像を、各部分画像に対する前記第２導出処理にて導出された情報に基づいて生成する生成処理と、を含む、
ことを特徴とする情報処理方法。

【請求項7】

少なくとも１つのプロセッサが、検査用画像と、該検査用画像における要検査領域を表す正解画像と、を含む教師データを生成する第１生成処理と、
前記少なくとも１つのプロセッサが、広域画像を入力とし、要精査領域の分布を表す画像を出力とする第１ニューラルネットワークであって、該広域画像の各画素に対応する特徴量ベクトルを入力とし、前記画像を出力とする出力層を含む第１ニューラルネットワークを、前記第１生成処理にて生成された教師データを用いた機械学習によって構築する第１構築処理と、
前記少なくとも１つのプロセッサが、前記第１構築処理によって構築された前記第１ニューラルネットワークを用いて、検査用画像の部分画像の各画素に対応する特徴量ベクトルの集合を導出し、該部分画像と、該特徴量ベクトルの集合と、該部分画像が要精査領域を含むか否か、又は、要精査領域を含む確率を示す正解情報と、を含む教師データを生成する第２生成処理と、
前記少なくとも１つのプロセッサが、局所画像、及び、該局所画像の各画素に対応する特徴量ベクトルの集合を入力とし、該局所画像が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報を出力とする第２ニューラルネットワークを、前記第２生成処理にて生成された教師データを用いた機械学習によって構築する第２構築処理と、を含む、
ことを特徴とする情報処理方法。

【請求項8】

請求項１～４の何れか一項に記載の情報処理装置として、前記少なくとも１つのプロセッサを備えたコンピュータを動作させるための情報処理プログラムであって、前記少なくとも１つのプロセッサに、前記各処理を実行させる、
ことを特徴とする情報処理プログラム。

【請求項9】

請求項８に記載の情報処理プログラムが記録された、コンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査対象領域を表す検査用画像から、その検査対象領域に含まれる要精査領域の分布を、ニューラルネットワークを用いて導出する情報処理装置、情報処理方法、及び情報処理プログラムに関する。また、本発明は、そのようなニューラルネットワークを構築する情報処理装置、情報処理方法、及び情報処理プログラムに関する。また、そのような情報処理プログラムが記録された記録媒体に関する。

【背景技術】

【0002】

従来は人間が行っていた判断を、機械学習により生成されたニューラルネットワークを用いることにより、コンピュータに代行させる技術が実用化されている。一例としては、ＭＲ（Magnetic Resonance）画像から前立腺癌の有無を診断する技術などが挙げられる。このような技術を開示した文献としては、例えば、非特許文献１～２が挙げられる。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Hosseinzadeh, Matin, et al. "Deep learning-assisted prostate cancer detection on bi-parametric MRI: minimum training data size requirements and effect of prior knowledge." European radiology 32.4 (2022): 2224-2234.

【非特許文献2】Bass, E. J., et al. "A systematic review and meta-analysis of the diagnostic accuracy of biparametric prostate MRI for prostate cancer in men at risk." Prostate Cancer and Prostatic Diseases24.3 (2021): 596-611.

【発明の概要】

【発明が解決しようとする課題】

【0004】

非特許文献１～２に記載の技術は、前立腺を表すＭＲ画像から、結節や腫瘤などの病変が存在する領域を特定しようとするものである。しかしながら、非特許文献１～２に記載の技術では、病変が存在する領域を実用上十分な精度で特定するには至っていない。

【0005】

鋭意研究を重ねた結果、発明者らは、従来技術には、以下の問題があるとの認識に至った。

【0006】

まず、前立腺の正常な状態には、大きな個人差がある。また、前立腺癌の病変の態様にも、大きな個人差がある。このため、専門医による画像診断では、ＭＲ画像の広域的な状態と病変の存在が疑われる領域の局所的な状態との双方をバランス良く参照することにより、病変の存在する領域の特定に至るが、ニューラルネットワークでは、広域的な状態と局所的な状態とをバランス良く参照することができていない。

【0007】

また、そもそも、ニューラルネットワークに対する要求が過大である。すなわち、前立腺癌の画像診断では、動的造影検査などの更なる検査を行う必要がある領域（以下、「要精査領域」とも記載する）を特定できれば十分であるのに対して、従来技術では、病理学的にのみ証明できる前立腺癌組織が存在する領域を特定しようとしている。このため、ニューラルネットワークにおいて行われる推論が難しい推論となり、このことが予測精度を低下させる原因となっている可能性がある。

【0008】

ここでは、前立腺癌を対象とする画像診断において顕著な従来技術の問題点を説明したが、前立腺癌以外の疾患を対象とする画像診断についても同様の問題が生じ得る。

【0009】

本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的は、要精査領域の分布を精度良く推定することが可能な技術を実現することにある。

【課題を解決するための手段】

【0010】

本発明の態様１に係る情報処理装置においては、以下の構成が採用されている。すなわち、少なくとも１つのメモリと、少なくとも１つのプロセッサと、を備え、前記少なくとも１つのメモリは、広域画像を入力とし、該広域画像における要精査領域の分布を表す画像を出力とする第１ニューラルネットワークから、該広域画像の各画素に対応する特徴量ベクトルを入力とし、前記画像を出力とする出力層を除いた部分ネットワークと、局所画像、及び、該局所画像の各画素に対応する特徴量ベクトルの集合を入力とし、該局所画像が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報を出力とする第２ニューラルネットワークと、を記憶し、前記少なくとも１つのプロセッサは、検査用画像の各画素に対応する特徴量ベクトルの集合を、該検査用画像を前記部分ネットワークに入力することによって導出する第１導出処理と、前記検査用画像の複数の部分画像について、各部分画像が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報を、該部分画像、及び、前記第１導出処理にて導出された特徴量ベクトルのうち、該部分画像の各画素に対応する特徴量ベクトルの集合を前記第２ニューラルネットワークに入力することによって導出する第２導出処理と、前記検査用画像における要精査領域の分布を表す出力画像を、各部分画像に対する前記第２導出処理にて導出された情報に基づいて生成する生成処理と、を実行する。

【0011】

上記の構成によれば、要精査領域の分布を精度良く推定することができる。

【0012】

本発明の態様２に係る情報処理装置においては、態様１に係る情報処理装置の構成に加えて、以下の構成が採用されている。すなわち、前記第２導出処理において、前記少なくとも１つのプロセッサは、前記検査用画像からウインドウに含まれる部分を切り出すことによって、部分画像を生成する生成ステップと、前記生成ステップにて生成された部分画像が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報を、該部分画像、及び、前記第１導出処理にて導出された特徴量ベクトルのうち、該部分画像の各画素に対応する特徴量ベクトルの集合を前記第２ニューラルネットワークに入力することによって導出する導出ステップと、前記検査用画像における前記ウインドウの位置を、移動前の前記ウインドウと移動後の前記ウインドウとが重なりを持つように移動させる移動ステップと、を含むサイクルを、前記ウインドウの軌跡が前記検査用画像を覆うまで繰り返す。

【0013】

上記の構成によれば、要精査領域の分布を更に精度良く推定することができる。

【0014】

本発明の態様３に係る情報処理装置においては、態様２に係る情報処理装置の構成に加えて、以下の構成が採用されている。すなわち、前記生成処理において、前記少なくとも１つのプロセッサは、前記出力画像の各画素の画素値を、対応する前記検査用画像の画素が前記ウインドウに含まれるサイクルにおいて前記導出ステップにて導出された情報に基づいて設定する。

【0015】

上記の構成によれば、要精査領域の分布を、より精度良く推定することができる。

【0016】

本発明の態様４に係る情報処理装置においては、以下の構成が採用されている。すなわち、少なくとも１つのプロセッサを備え、前記少なくとも１つのプロセッサは、検査用画像と、該検査用画像を目視した検査者が要精査領域の分布として指定した分布を表す正解画像と、を含む教師データを生成する第１生成処理と、広域画像を入力とし、該広域画像における要精査領域の分布を表す画像を出力とする第１ニューラルネットワークであって、該広域画像の各画素に対応する特徴量ベクトルを入力とし、前記画像を出力とする出力層を含む第１ニューラルネットワークを、前記第１生成処理にて生成された教師データを用いた機械学習によって構築する第１構築処理と、（１）検査用画像の部分画像と、（２）該検査用画像を、前記第１構築処理によって構築された前記第１ニューラルネットワークから出力層を除いた部分ネットワークに入力する導出される特徴量ベクトルのうち、該部分画像の各画素に対応する特徴量ベクトルの集合と、（３）該部分画像が要精査領域を含むか否か、又は、要精査領域を含む確率について、該部分画像を目視した検査者が判断した結果を表す正解情報と、を含む教師データを生成する第２生成処理と、局所画像、及び、該局所画像の各画素に対応する特徴量ベクトルの集合を入力とし、該部分画像が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報を出力とする第２ニューラルネットワークを、前記第２生成処理にて生成された教師データを用いた機械学習によって構築する第２構築処理と、を実行する。

【0017】

上記の構成によれば、要精査領域の分布を更に精度良く推定することが可能なニューラルネットワークを構築することができる。

【0018】

本発明の態様５に係る情報処理装置においては、態様１～４の何れか一態様に係る情報処理装置の構成に加えて、以下の構成が採用されている。すなわち、前記検査用画像は、前立腺のＭＲ（Magnetic Resonance）画像であり、前記要精査領域は、前立腺癌の有無を診断するために、動的造影検査が必要な領域である。

【0019】

上記の構成によれば、要精査領域の分布を更に精度良く推定すること、又は、要精査領域の分布を更に精度良く推定することが可能なニューラルネットワークを構築することができる。

【0020】

本発明の態様６に係る情報処理方法においては、以下の構成が採用されている。すなわち、広域画像を入力とし、該広域画像における要精査領域の分布を表す画像を出力とする第１ニューラルネットワークから、該広域画像の各画素に対応する特徴量ベクトルを入力とし、前記画像を出力とする出力層を除いた部分ネットワークと、局所画像、及び、該局所画像の各画素に対応する特徴量ベクトルの集合を入力とし、該局所画像が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報を出力とする第２ニューラルネットワークと、を用いた情報処理方法であって、少なくとも１つのプロセッサが、検査用画像の各画素に対応する特徴量ベクトルの集合を、該検査用画像を前記部分ネットワークに入力することによって導出する第１導出処理と、前記少なくとも１つのプロセッサが、前記検査用画像の複数の部分画像について、各部分画像が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報を、該部分画像、及び、前記第１導出処理にて導出された特徴量ベクトルのうち、該部分画像の各画素に対応する特徴量ベクトルの集合を前記第２ニューラルネットワークに入力することによって導出する第２導出処理と、前記少なくとも１つのプロセッサが、前記検査用画像における要精査領域の分布を表す出力画像を、各部分画像に対する前記第２導出処理にて導出された情報に基づいて生成する生成処理と、を含む。

【0021】

上記の構成によれば、要精査領域の分布を精度良く推定することができる。

【0022】

本発明の態様７に係る情報処理方法においては、以下の構成が採用されている。すなわち、少なくとも１つのプロセッサが、検査用画像と、該検査用画像における要検査領域を表す正解画像と、を含む教師データを生成する第１生成処理と、前記少なくとも１つのプロセッサが、広域画像を入力とし、要精査領域の分布を表す画像を出力とする第１ニューラルネットワークであって、該広域画像の各画素に対応する特徴量ベクトルを入力とし、前記画像を出力とする出力層を含む第１ニューラルネットワークを、前記第１生成処理にて生成された教師データを用いた機械学習によって構築する第１構築処理と、前記少なくとも１つのプロセッサが、前記第１構築処理によって構築された前記第１ニューラルネットワークを用いて、検査用画像の部分画像の各画素に対応する特徴量ベクトルの集合を導出し、該部分画像と、該特徴量ベクトルの集合と、該部分画像が要精査領域を含むか否か、又は、要精査領域を含む確率を示す正解情報と、を含む教師データを生成する第２生成処理と、前記少なくとも１つのプロセッサが、局所画像、及び、該局所画像の各画素に対応する特徴量ベクトルの集合を入力とし、該局所画像が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報を出力とする第２ニューラルネットワークを、前記第２生成処理にて生成された教師データを用いた機械学習によって構築する第２構築処理と、を含む。

【0023】

上記の構成によれば、要精査領域の分布を更に精度良く推定することが可能なニューラルネットワークを構築することができる。

【0024】

本発明の態様８に係る情報処理プログラムは、態様１～５の何れか一態様に係る情報処理装置として、前記少なくとも１つのプロセッサを備えたコンピュータを動作させるための情報処理プログラムであって、前記少なくとも１つのプロセッサに、前記各処理を実行させるプログラムである。

【0025】

上記の構成によれば、コンピュータを用いて、要精査領域の分布を更に精度良く推定すること、又は、要精査領域の分布を更に精度良く推定することが可能なニューラルネットワークを構築することができる。

【0026】

本発明の態様９に係る記録媒体は、態様８に係る情報処理プログラムが記録された、コンピュータ読み取り可能な記録媒体である。

【0027】

上記の構成によれば、記録媒体に記録されたプログラムを用いて、要精査領域の分布を更に精度良く推定すること、又は、要精査領域の分布を更に精度良く推定することが可能なニューラルネットワークを構築することができる。

【発明の効果】

【0028】

本発明の一態様によれば、要精査領域の分布を精度良く推定することが可能な技術を実現することができる。

【図面の簡単な説明】

【0029】

【図1】本発明の一実施形態に係る情報処理装置の構成を示すブロック図である。

【図2】図１に示す情報処理装置が利用する第１ニューラルネットワークの構成を示すブロック図である。

【図3】図１に示す情報処理装置が利用する第２ニューラルネットワークの構成を示すブロック図である。

【図4】図１に示す情報処理装置が利用する教師データの構成を示す図である。

【図5】図１に示す情報処理装置が推論フェーズにおいて実施する情報処理方法の流れを示すフロー図である。

【図6】図５に示す情報処理方法に含まれる第２導出処理の具体例を示すフロー図である。

【図7】図５に示す情報処理方法に含まれる生成処理の具体例を示すフロー図である。

【図8】図１に示す情報処理装置が学習フェーズにおいて実施する情報処理方法の流れを示すフロー図である。

【図9】図２に示す第１ニューラルネットワークから出力される要精査領域の分布、及び、図５に示す情報処理方法により得られる要精査領域の分布について、学習エポック数を増やしていたときの正解率の変化を示すグラフである。

【図10】図２に示す第１ニューラルネットワークから出力される要精査領域の分布と専門医が指定した分布との重なり、及び、図５に示す情報処理方法により得られる要精査領域の分布と専門医が指定した分布との重なりを、Ｊａｃｃａｒｄ係数を用いて評価した箱ヒゲ図である。

【図11】（ａ）は、検査対象画像の一例を示す。（ｂ）は、（ａ）に示す検査対象画像を図２に示す第１ニューラルネットワークに入力したときに、図２に示す第１ニューラルネットワークから出力される要精査領域の分布を示す。（ｃ）は、（ａ）に示す検査対象画像を図２に示す第１ニューラルネットワークに入力したときに、図５に示す情報処理方法により得られる要精査領域の分布を示す。（ｄ）は、（ａ）に示す検査対象画像を目視した専門医が指定した要精査領域の分布を示す。

【発明を実施するための形態】

【0030】

（情報処理装置の構成）
情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の構成を示すブロック図である。

【0031】

情報処理装置１は、汎用コンピュータを用いて実現されており、図１に示すように、プロセッサ１１と、一次メモリ１２と、二次メモリ１３と、入出力インタフェース１４と、バス１５とを備えている。プロセッサ１１、一次メモリ１２、二次メモリ１３、及び入出力インタフェース１４は、バス１５を介して相互に接続されている。二次メモリ１３には、情報処理プログラムＰ１及び情報処理プログラムＰ２が格納（不揮発記憶）されている。

【0032】

学習フェーズにおいて、プロセッサ１１は、二次メモリ１３に格納された情報処理プログラムＰ２を一次メモリ１２上に展開する。そして、プロセッサ１１は、一次メモリ１２上に展開された情報処理プログラムＰ２に従って、後述する情報処理方法Ｓ２に含まれる各処理を実行する。これにより、第１ニューラルネットワークＮ１及び第２ニューラルネットワークＮ２が構築される。構築された第１ニューラルネットワークＮ１及び第２ニューラルネットワークＮ２は、二次メモリ１３に格納される。

【0033】

推論フェーズにおいて、プロセッサ１１は、二次メモリ１３に格納された情報処理プログラムＰ１、第１ニューラルネットワークＮ１、及び第２ニューラルネットワークＮ２を一次メモリ１２上に展開する。そして、プロセッサ１１は、一次メモリ１２上に展開された情報処理プログラムＰ１に従って、後述する情報処理方法Ｓ１に含まれる各処理を実行する。一次メモリ１２上に展開された第１ニューラルネットワークＮ１及び第２ニューラルネットワークＮ２は、後述する情報処理方法Ｓ１に含まれる各処理を実行する際にプロセッサ１１によって利用される。これにより、検査対象領域を表す検査用画像から、その検査対象領域における要精査領域の分布を表す出力画像が生成される。要精査領域の定義については、後述する。

【0034】

プロセッサ１１として利用可能なデバイスとしては、例えば、ＣＰＵ（Central Processing Unit）を挙げることができる。また、一次メモリ１２として利用可能なデバイスとしては、例えば、半導体ＲＡＭ（Random Access Memory）を挙げることができる。また、二次メモリ１３として利用可能なデバイスとしては、例えば、ＨＤＤ（Hard Disk Drive）を挙げることができる。

【0035】

入出力インタフェース１４には、入力デバイス及び／又は出力デバイスが接続される。入出力インタフェース１４に接続される入力デバイスとしては、例えば、撮像装置、マウス、キーボードなどが挙げられる。撮像装置は、例えば、上述した検査用画像を情報処理装置１に入力するために利用される。マウス及びキーボードは、後述する正解画像及び正解情報を生成するために必要な情報を検査者（例えば、医師）が情報処理装置１に入力するために利用される。また、入出力インタフェース１４に接続される出力デバイスとしては、例えば、ディスプレイが挙げられる。ディスプレイは、例えば、上述した出力画像を表示するために利用される。

【0036】

入出力インタフェース１４として利用可能なインタフェースとしては、例えば、ＰＣＩ（Peripheral Component Interconnect）インタフェースやＵＳＢ（Universal Serial Bus）などを挙げることができる。

【0037】

なお、情報処理プログラムＰ１、情報処理プログラムＰ２、第１ニューラルネットワークＮ１、及び第２ニューラルネットワークＮ２は、それぞれ、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録され得る。この記録媒体は、二次メモリ１３であってもよいし、その他の記録媒体であってもよい。例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などが、その他の記録媒体として利用可能である。

【0038】

また、情報処理装置１は、情報処理方法Ｓ１（推論）及び情報処理方法Ｓ２（学習）の両方を実施してもよいし、情報処理方法Ｓ１（推論）のみを実施してもよいし、情報処理方法Ｓ２（学習）のみを実施してもよい。情報処理方法Ｓ１（推論）のみを実施する場、第１ニューラルネットワークＮ１全体が二次メモリ１３に格納されている必要はなく、第１ニューラルネットワークＮ１のうち、後述する部分ネットワークＮ１１のみが二次メモリ１３に格納されていてもよい。

【0039】

（ニューラルネットワークの構成）
第１ニューラルネットワークＮ１及び第２ニューラルネットワークＮ２、第１ニューラルネットワークＮ１の機械学習に用いる教師データＤ１、並びに、第２ニューラルネットワークＮ２の機械学習に用いる教師データＤ２の構成について、図２～図４を参照して説明する。

【0040】

図２は、第１ニューラルネットワークＮ１の構成を示すブロック図である。第１ニューラルネットワークＮ１は、検査対象領域を表す広域画像Ｉａを入力とし、その検査対象領域における要精査領域の分布を表す出力画像Ｉｂを出力とするニューラルネットワークである。ここで、要精査領域とは、検査対象領域の部分領域であって、検査対象領域内に病変（例えば、前立腺癌組織）が存在するか否かを診断するために、更なる検査が必要である部分領域のことを指す。なお、出力画像Ｉｂのサイズは、広域画像Ｉａのサイズと同一であり、例えば、１２８画素×１２８画素である。

【0041】

本実施形態においては、図２に示すように、Ｃｏｎｃａｔ層、（ＭａｘＰｏｏｌ層、Ｃｏｎｖ２ｄ層×２）×３、（Ｄｅｃｏｎｖ層、Ｃｏｎｃａｔ層、Ｃｏｎｖ２ｄ層×２）×３、Ｃｏｎｖ２ｄ層により構成される畳み込みニューラルネットワークを、第１ニューラルネットワークＮ１として用いる。なお、本明細書において、Ｃｏｎｃａｔ層は、コンカテネーション層の略記であり、ＭａｘＰｏｏｌ層は、マックスプーリング層の略記であり、Ｃｏｎｖ２ｄ層は、二次元畳み込み層の略記であり、Ｄｅｃｏｎｖ層は、逆畳み込み層（転地畳み込み層と呼ばれることもある）の略記である。

【0042】

最終段のＣｏｎｖ２ｄ層は、広域画像Ｉａの各画素ｐ_ijに対応する特徴量ベクトルｖ_ijの集合｛ｖ_ij｜ｐ_ij∈Ｉａ｝（以下、「特徴量テンソル｛ｖ_ij｜ｐ_ij∈Ｉａ｝」とも記載する）を入力とし、検査対象領域における要精査領域の分布を表す出力画像Ｉｂを出力とする出力層Ｎ１２として機能する。本実施形態においては、第１ニューラルネットワークＮ１から出力層Ｎ１２を除いた部分ネットワークＮ１１を、広域画像Ｉａの特徴量テンソル｛ｖ_ij｜ｐ_ij∈Ｉａ｝を導出するために利用する。広域画像Ｉａの特徴量テンソル｛ｖ_ij｜ｐ_ij∈Ｉａ｝は、検査対象領域における要精査領域の分布の特徴を表す。

【0043】

なお、本実施形態においては、最終段のＣｏｎｖ２ｄ層を出力層Ｎ１２と見做し、それ以外の演算層を部分ネットワークＮ１１の構成要素と見做す構成を採用しているが、本発明はこれに限定されない。例えば、最終段のＣｏｎｖ２ｄ層と、出力側から数えて２段目のＣｏｎｖ２ｄ層と、を出力層Ｎ１２と見做し、それ以外の演算層を部分ネットワークＮ１１の構成要素と見做してもよい。或いは、最終段のＣｏｎｖ２ｄ層と、出力側から数えて２段目のＣｏｎｖ２ｄ層と、出力側から数えて３段目のＣｏｎｖ２ｄ層と、を出力層と見做し、それ以外の演算層を部分ネットワークＮ１１の構成要素と見做してもよい。何れの場合においても、部分ネットワークＮ１１の出力を、広域画像Ｉａの特徴量テンソル｛ｖ_ij｜ｐ_ij∈Ｉａ｝として利用することができる。ただし、本実施形態のように、最終段のＣｏｎｖ２ｄ層を出力層Ｎ１２と見做し、それ以外の演算層を部分ネットワークＮ１１の構成要素と見做す構成を採用することで、検査対象領域における要精査領域の分布の特徴を最も良く表す特徴量テンソル｛ｖ_ij｜ｐ_ij∈Ｉａ｝を得ることができる。

【0044】

図３は、第２ニューラルネットワークＮ２の構成を示すブロック図である。第２ニューラルネットワークＮ２は、検査対象領域の部分領域を表す局所画像Ｉｃ、及び、局所画像Ｉｃの各画素ｐ_ijに対応する特徴量ベクトルｖ_ijの集合｛ｖ_ij｜ｐ_ij∈Ｉｂ｝（以下、「特徴量テンソル｛ｖ_ij｜ｐ_ij∈Ｉｂ｝」とも記載する）を入力とし、局所画像Ｉｃの表す部分領域が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報Ｆを出力とするニューラルネットワークである。情報Ｆの一例としては、局所画像Ｉｃの表す部分領域に要精査領域が含まれるときに値「１」を取り、含まれていないときに値「０」を取るフラグが挙げられる。情報Ｆの別例としては、局所画像Ｉｃの表す部分領域に要精査領域が含まれている確率を示す０以上１以下の実数が挙げられる。なお、局所画像Ｉｃのサイズは、広域画像Ｉａのサイズよりも小さく、例えば、１５×１５画素である。

【0045】

本実施形態においては、図３に示すように、Ｃｏｎｃａｔ層、（ＭａｘＰｏｏｌ層、Ｃｏｎｖ２ｄ層×２）×２、Ｌｉｎｅａｒ層×３により構成される畳み込みニューラルネットワークを、第２ニューラルネットワークＮ２として用いる。なお、本明細書において、Ｌｉｎｅａｒ層は、線形層（全結合層と呼ばれることもある）の略記である。

【0046】

第１ニューラルネットワークＮ１は、検査用画像Ｉａ’と、正解画像Ｉｂ’とを含む教師データＤ１を用いた機械学習によって構築される。検査用画像Ｉａとしては、検査対象領域を表す画像が用いられる。正解画像Ｉｂ’としては、検査用画像Ｉａ’を目視した検査者（例えば、医師）が要検査領域の分布として指定した分布を表す画像が用いられる。機械学習は、例えば、第１ニューラルネットワークＮ１に検査用画像Ｉａ’を入力したときに、第１ニューラルネットワークＮ１から出力される出力画像Ｉｂが正解画像Ｉｂ’に近づくよう、第１ニューラルネットワークＮ１を構成するパラメータを最適化することによって実現される。

【0047】

検査用画像Ｉａ’及び正解画像Ｉｂ’の一例を図４に示す。図４に例示した検査用画像Ｉａ’は、前立腺（検査対象領域の一例）を表すＭＲ（Magnetic Resonance）画像である。また、図４に例示した正解画像Ｉｂ’は、前立腺に癌を原因とする病変（結節や腫瘤など）が存在するか否かを診断するために、造影動態の定量解析などの動的造影検査（更なる検査の一例）が必要である領域（要精査領域の一例）の分布として、検査者が指定した分布を表す画像である。

【0048】

なお、正解画像Ｉｂ’の作成に際して、検査者は、要検査領域の分布を直接的に指定する代わりに、要検査領域の分布を間接的に指定してもよい。例えば、検査者は、要検査領域の分布の中心点を指定してもよい。この場合、検査者が指定した点を中心点とする分布を表す画像を、正解画像Ｉｂ’として利用することになる。図４に例示した正解画像Ｉｂ’は、このような正解画像Ｉｂ’の一例であり、検査者が指定した点を中心点とするガウス分布を表す画像である。

【0049】

第２ニューラルネットワークＮ２は、部分画像Ｉｃ’と、部分画像Ｉｃ’の特徴量テンソル｛ｖ’_ij｜ｐ_ij∈Ｉｃ’｝と、正解情報Ｆ’と、を含む教師データＤ２を用いた機械学習によって構築される。部分画像Ｉｃ’としては、検査対象領域を表す検査用画像Ｉａ’の部分画像、すなわち、検査対象領域の部分領域を表す画像が用いられる。部分画像Ｉｃ’の特徴量テンソル｛ｖ’_ij｜ｐ_ij∈Ｉｂ’｝としては、検査用画像Ｉａ’を部分ネットワークＮ１１に入力することよって導出された特徴量ベクトルｖ’_ijのうち、部分画像Ｉｃ’の各画素ｐ_ijに対応する特徴量ベクトルｖ’_ijの集合が用いられる。正解情報Ｆ’としては、部分画像Ｉｃ’の表す部分領域が要精査領域を含むか否か、又は、要精査領域を含む確率について、部分画像Ｉｃ’を目視した検査者が判断した結果を表す情報が用いられる。機械学習は、例えば、第２ニューラルネットワークＮ２に部分画像Ｉｃ’とその特徴量テンソル｛ｖ’_ij｜ｐ_ij∈Ｉｃ’｝とを入力したときに、第２ニューラルネットワークＮ２から出力される情報Ｆが正解情報Ｆ’に近づくよう、第２ニューラルネットワークＮ２を構成するパラメータを最適化することによって実現される。

【0050】

なお、検査対象領域の例として前立腺を挙げたが、検査対象領域は前立腺に限定されない。例えば、肺や脳など、前立腺以外の器官又は組織（特に、正常な状態に個人差が大きい器官又は組織）を検査対象領域としてもよい。また、診断対象病変の例として癌を原因とする病変を挙げたが、診断対象病変の原因となる疾患は癌に限定されない。例えば、動脈硬化や動脈瘤など、癌以外の疾患（特に、病変の態様に個人差が大きい疾患）を原因とする病変を診断対象病変としてもよい。また、検査用画像の例としてＭＲ画像を挙げたが、検査用画像はＭＲ画像に限定されない。例えば、ＣＴ（Computer Tomography）画像、ＰＥＴ（Positron Emission Tomography）画像、レントゲン画像、エコー画像など、ＭＲ画像以外の画像を、検査用画像として用いてもよい。

【0051】

（推論フェーズにおける情報処理方法の流れ）
本実施形態に係る情報処理装置１が推論フェーズにおいて実施する情報処理方法Ｓ１の流れについて、図５を参照して説明する。図５は、情報処理方法Ｓ１の流れを示すフロー図である。

【0052】

情報処理方法Ｓ１は、部分ネットワークＮ１１と第２ニューラルネットワークＮ２とを用いて、検査対象領域を表す検査用画像Ｉ_inから、その検査対象領域における要精査領域の分布を表す出力画像Ｉ_outを生成する方法である。情報処理方法Ｓ１は、図１に示すように、第１導出処理Ｓ１１と、第２導出処理Ｓ１２と、生成処理Ｓ１３と、を含んでいる。

【0053】

第１導出処理Ｓ１１は、検査用画像Ｉ_inの特徴量テンソル｛ｖ_ij｜ｐ_ij∈Ｉ_in｝を導出するための処理である。ここで、検査用画像Ｉ_inの特徴量テンソル｛ｖ_ij｜ｐ_ij∈Ｉ_in｝は、検査用画像Ｉ_inの各画素ｐ_ijに対応する特徴量ベクトルｖ_ijの集合である。第１導出処理Ｓ１１において、プロセッサ１１は、検査用画像Ｉ_inを部分ネットワークＮ１１に入力することによって、検査用画像Ｉ_inの特徴量テンソル｛ｖ_ij｜ｐ_ij∈Ｉ_in｝を導出する。

【0054】

第２導出処理Ｓ１２は、検査用画像Ｉinの複数の部分画像Ｉ₁，Ｉ₂，…，Ｉ_Nについて、各部分画像Ｉ_kの表す部分領域が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報Ｆ_kを導出するための処理である。第２導出処理Ｓ１２において、プロセッサ１１は、各部分画像Ｉ_kと、その部分画像Ｉ_kの特徴量テンソル｛ｖ_ij｜ｐ_ij∈Ｉ_k｝と、を第２ニューラルネットワークＮ２に入力することによって、情報Ｆ_kを導出する。ここで、部分画像Ｉ_kの特徴量テンソル｛ｖ_ij｜ｐ_ij∈Ｉ_k｝は、第１導出処理Ｓ１１にて導出された特徴量ベクトルｖ_ijのうち、部分画像Ｉ_kの画素ｐ_ijに対応する特徴量ベクトルｖ_ijの集合である。第２導出処理Ｓ１２の具体例については、参照する図面を代えて後述する。

【0055】

生成処理Ｓ１３は、検査用画像Ｉ_inの表す検査対象領域における要精査領域の分布を表す出力画像Ｉ_outを生成するための処理である。生成処理Ｓ１３において、プロセッサ１１は、各部分画像Ｉ_kに対する第２導出処理Ｓ１２にて導出された情報Ｆ_kに基づいて、出力画像Ｉ_outを生成する。生成処理Ｓ１３の具体例については、参照する図面を代えて後述する。

【0056】

本実施形態に係る情報処理方法Ｓ１によれば、検査対象領域を表す検査用画像Ｉ_inから、その検査対象領域における要精査領域の分布を表す出力画像Ｉ_outを生成することができる。この際、第１ニューラルネットワークＮ１は、広域画像である検査用画像Ｉ_inを参照して、その検査用画像Ｉ_inの表す検査対象領域における要精査領域の分布の推定を行い、第２ニューラルネットワークＮ２は、局所画像である各部分画像Ｉ_kを参照して、その部分画像Ｉ_kの表す部分領域が要精査領域であるか否かの推定を行う。このため、広域画像のみを参照する方法、又は、局所画像のみを参照する方法では特定することが困難な要精査領域であっても、本実施形態に係る情報処理方法Ｓ１によれば、その分布を精度よく推定することができる。

【0057】

一例として、前立腺癌は、正常な状態にも、病変の態様にも、個人差が大きく現れる疾患である。したがって、広域画像のみを参照する方法、又は、局所画像のみを参照する方法では、前立腺癌診断における要精査領域を特定することが困難である。これに対して、本実施形態に係る情報処理方法Ｓ１によれば、前立腺癌診断における要精査領域の分布を精度良推定することができる。

【0058】

（第２導出処理の具体例）
第２導出処理Ｓ１２の具体例について、図６を参照して説明する。図６は、本具体例に係る第２導出処理Ｓ１２の流れを示すフロー図である。

【0059】

第２導出処理Ｓ１２は、上述したように、検査用画像Ｉ_inの複数の部分画像Ｉ₁，Ｉ₂，…，Ｉ_Nについて、各部分画像Ｉ_kの表す部分領域が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報Ｆ_kを導出するための処理である。本具体例に係る第２導出処理Ｓ１２は、図６に示すように、生成ステップＳ１２１と、導出ステップＳ１２２と、移動ステップＳ１２３と、を含んでいる。本具体例に係る第２導出処理Ｓ１２においては、検査用画像Ｉ_in上に設定されたウインドウＷが用いられる。なお、ウインドウＷのサイズは、検査用画像Ｉ_inのサイズよりも小さい。

【0060】

生成ステップＳ１２１は、検査用画像Ｉ_inの部分画像Ｉ_kを生成するためのステップである。生成ステップＳ１２１において、プロセッサ１１は、検査用画像Ｉ_inからウインドウＷに含まれる部分を切り出す（クロップする）ことによって、部分画像Ｉ_kを生成する。このため、各部分画像Ｉ_kをサイズは、ウインドウＷのサイズと同一であり検査用画像Ｉ_inのサイズよりも小さい。

【0061】

導出ステップＳ１２２は、生成ステップＳ１２１にて生成された部分画像Ｉ_kの表す部分領域が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報Ｆ_kを導出するためのステップである。導出ステップＳ１２２において、プロセッサ１１は、部分画像Ｉ_kと、その部分画像Ｉ_kの特徴量テンソル｛ｖ_ij｜ｐ_ij∈Ｉ_k｝と、を第２ニューラルネットワークＮ２に入力することによって、情報Ｆ_kを導出する。

【0062】

移動ステップＳ１２３は、検査用画像Ｉ_inにおけるウインドウＷの位置を移動するステップである。移動ステップＳ１２３において、プロセッサ１１は、移動前のウインドウＷと移動後のウインドウＷとが重なりを持つようにウインドウＷを移動させる。一例として、プロセッサ１１は、ウインドウＷのサイズよりも小さい所定の移動量ΔｘだけウインドウＷを右に移動させる。ウインドウＷが検査用画像Ｉ_inの右端にある場合、プロセッサ１１は、所定の移動量ΔｙだけウインドウＷを下に移動させた後、ウインドウＷを検査用画像Ｉ_inの左端に移動させる。すなわち、プロセッサ１１は、検査用画像Ｉ_inをラスタスキャンするように、ウインドウＷを移動させる。

【0063】

プロセッサ１１は、生成ステップＳ１２１、導出ステップＳ１２２、及び移動ステップＳ１２３を含むサイクルＣ_kを、ウインドウＷの軌跡が検査用画像Ｉ_inを覆うまで繰り返す（サイクルＣ_kについて、繰り返し終了はＹＥＳ、繰り返しの場合はＮＯ）。繰り返しの回数がＮ回の場合、これにより、Ｎ枚の部分画像Ｉ₁，Ｉ₂，…，Ｉ_Nの各々について、部分画像Ｉ_kの表す部分領域が要精査領域を含むか否か、又は、要精査領域を含む確率を表す情報Ｆ_kを導出することができる。

【0064】

（生成処理の具体例）
生成処理Ｓ１３の具体例について、図７を参照して説明する。図７は、検査用画像Ｉ_inにおけるウインドウＷの動きを示す模式図である。ここでは、ウインドウＷのサイズを１５×１５画素とし、各サイクルＣ_kにおけるウインドウＷの移動量Δｘ，Δｙを５画素としている。

【0065】

あるサイクルＣ_kにおいて、ウインドウＷの起点（左上隅の角）が位置ｒ１１にあり、ウインドウＷの右下隅の領域に画素ｐ_ijが含まれている場合、ウインドウＷを右に５画素移動し、ウインドウＷの起点が位置ｒ１２にあるサイクル_Ｃk+1、及び、ウインドウＷを更に右に５画素移動し、ウインドウＷの起点が位置ｒ１３にあるサイクルＣ_k+2においても、画素ｐ_ijがウインドウＷに含まれる。

【0066】

更に、ウインドウＷの起点が位置ｒ１１を下に５画素移動した位置ｒ２１にあるサイクルＣ_k'においても、画素ｐ_ijがウインドウＷに含まれる。また、ウインドウＷを右に５画素移動し、ウインドウＷの起点が位置ｒ２２にあるサイクルＣ_k'+1、及び、ウインドウＷを更に右に５画素移動し、ウインドウＷの起点が位置ｒ２３にあるサイクルＣ_k'+2においても、画素ｐ_ijがウインドウＷに含まれる。

【0067】

更に、ウインドウＷの起点が位置ｒ２１を下に５画素移動した位置ｒ３１にあるサイクルＣ_k"においても、画素ｐ_ijがウインドウＷに含まれる。また、ウインドウＷを右に５画素移動し、ウインドウＷの起点が位置ｒ３２にあるサイクルＣ_k"+1、及び、ウインドウＷを更に右に５画素移動し、ウインドウＷの起点が位置ｒ３３にあるサイクルＣ_k"+2においても、画素ｐ_ijがウインドウＷに含まれる。

【0068】

このように、検査用画像Ｉ_inの各画素ｐ_ijは、複数のサイクルＣ_k1，Ｃ_k2,…，Ｃ_kNにおいてウインドウＷに含まれる。そこで、プロセッサ１１は、出力画像Ｉ_outの各画素ｑ_ijの画素値を、対応する検査用画像Ｉ_inの画素ｐ_ijがウインドウＷに含まれるサイクルＣ_kjの導出ステップＳ１２２にて算出された情報Ｆ_k1，Ｆ_k2,…，Ｆ_kNに基づいて設定する。例えば、プロセッサ１１は、出力画像Ｉ_outの各画素ｑ_ijの画素値を、情報Ｆ_k1，Ｆ_k2,…，Ｆ_kNの値の和又は平均に設定する。

【0069】

例えば、図７に示した例において、検査用画像Ｉ_inの画素ｐ_ijは、９つのサイクルＣ_k，Ｃ_k+1,…，Ｃ_K"+2においてウインドウＷに含まれる。そこで、プロセッサ１１は、出力画像Ｉ_outの画素ｑ_ijの画素値を、これら９つのサイクルＣ_k，Ｃ_k+1,…，Ｃ_K"+2の各々の導出ステップＳ１２２にて算出された情報Ｆ_k，Ｆ_k+1,…，Ｆ_K"+2に基づいて設定する。例えば、プロセッサ１１は、出力画像Ｉ_outの各画素ｑ_ijの画素値を、情報Ｆ_k，Ｆ_k+1,…，Ｆ_K"+2の値の和又は平均に設定する。

【0070】

（学習フェーズにおける情報処理方法の流れ）
本実施形態に係る情報処理装置１が学習フェーズにおいて実施する情報処理方法Ｓ２の流れについて、図８を参照して説明する。図８は、情報処理方法Ｓ２の流れを示すフロー図である。

【0071】

情報処理方法Ｓ２は、第１ニューラルネットワークＮ１と第２ニューラルネットワークＮ２とを構築する方法である。第１ニューラルネットワークＮ１と第２ニューラルネットワークＮ２の製造方法であると言い換えてもよい。情報処理方法Ｓ２は、図８に示すように、第１生成処理Ｓ２１と、第１構築処理Ｓ２２と、第２生成処理Ｓ２３と、第２構築処理Ｓ２４と、を含んでいる。

【0072】

第１生成処理Ｓ２１は、第１ニューラルネットワークＮ１の機械学習に用いる教師データＤ１を生成するための処理である。第１生成処理Ｓ２１において、プロセッサ１１は、検査用画像Ｉa’と正解画像Ｉｂ’と、を含む教師データＤ１を生成する。検査用画像Ｉａ’としては、検査対象領域を表す画像を用いる。また、正解画像Ｉｂ’としては、検査用画像Ｉａ’を目視した検査者（例えば、医師）が要精査領域の分布として指定した分布を表す画像を用いる。

【0073】

第１構築処理Ｓ２２は、第１ニューラルネットワークＮ１を構築するための処理である。第１構築処理Ｓ２２において、プロセッサ１１は、第１生成処理Ｓ２１にて生成された教師データＤ１を用いた機械学習（教師あり学習）によって、第１ニューラルネットワークを構築する。すなわち、第１ニューラルネットワークＮ１に検査用画像Ｉａ’を入力したときに、第１ニューラルネットワークＮ１から出力される出力画像Ｉｂが正解画像Ｉｂ’に近づくよう、第１ニューラルネットワークＮ１を構成するパラメータを最適化する。なお、第１生成処理Ｓ２１において生成する教師データＤ１、すなわち、第１構築処理Ｓ２２において参照する教師データＤ１の個数は任意であるが、過学習が生じない程度に多数であることが好ましい。

【0074】

第２生成処理Ｓ２３は、第２ニューラルネットワークＮ２の機械学習に用いる教師データＤ２を生成するための処理である。第２生成処理Ｓ２３において、プロセッサ１１は、部分画像Ｉｃ’と、部分画像Ｉｃ’の特徴量テンソル｛ｖ’_ij｜ｐ_ij∈Ｉｃ’｝と、正解情報Ｆ’と、を含む教師データＤ２を生成する。部分画像Ｉｃ’としては、検査対象領域を表す検査用画像Ｉａ’の部分画像、すなわち、検査対象領域の部分領域を表す画像を用いる。また、部分画像Ｉｃ’の特徴量テンソル｛ｖ’_ij｜ｐ_ij∈Ｉｂ’｝としては、検査用画像Ｉａ’を部分ネットワークＮ１１に入力することよって導出された特徴量ベクトルｖ’_ijのうち、部分画像Ｉｃ’の各画素ｐ_ijに対応する特徴量ベクトルｖ’_ijの集合を用いる。また、正解情報Ｆ’としては、部分画像Ｉｃ’の表す部分領域が要精査領域を含むか否か、又は、要精査領域を含む確率について、部分画像Ｉｃ’を目視した検査者が判断した結果を表す情報を用いる。

【0075】

第２構築処理Ｓ２４は、第２ニューラルネットワークＮ２を構築するための処理である。第２構築処理Ｓ２４において、プロセッサ１１は、第２生成処理Ｓ２３にて生成された教師データＤ２を用いた機械学習（教師あり学習）によって、第２ニューラルネットワークＮ２を構築する。すなわち、第２ニューラルネットワークＮ２に部分画像Ｉｃ’とその特徴量テンソル｛ｖ’_ij｜ｐ_ij∈Ｉｃ’｝とを入力したときに、第２ニューラルネットワークＮ２から出力される情報Ｆが正解情報Ｆ’に近づくよう、第２ニューラルネットワークＮ２を構成するパラメータを最適化する。なお、第２生成処理Ｓ２３において生成する教師データＤ２の個数、すなわち、第２構築処理Ｓ２４において参照する教師データＤ２の個数は任意であるが、過学習が生じない程度に多数であることが好ましい。

【0076】

なお、ここでは、第１ニューラルネットワークＮ１の学習が完了した後、第２ニューラルネットワークの学習を開始する方法について説明したが、これに限定されない。すなわち、第１ニューラルネットワークＮ１の学習と第２ニューラルネットワークＮ２の学習とを並列的に行ってもよい。この場合、第２ニューラルネットワークＮ２の学習に用いる特徴量テンソル｛ｖ’_ij｜ｐ_ij∈Ｉｃ’｝は、学習中の第１ニューラルネットワークＮ１の部分ネットワークＮ１１を用いて導出することになる。

【0077】

（実施例）
図２に示す第１ニューラルネットワークＮ１と図３に示す第２ニューラルネットワークＮ２とを用いた情報処理方法Ｓ１の実施例について、図９～図１１を参照して説明する。

【0078】

本実施例において、第１ニューラルネットワークＮ１の入力は、１２８画素×１２８画素×２３チャンネルのＭＲ画像とした。また、第１ニューラルネットワークＮ１の出力、及び、第２ニューラルネットワークＮ２の第１入力は、１２８×１２８画素×２チャンネルの画像とした。また、部分ネットワークＮ１１の出力、及び、第２ニューラルネットワークＮ２の第２入力は、１５×１５×１２８チャンネルの特徴量テンソルとした。検査対象領域は、前立腺とし、診断対象疾患は、癌とした。

【0079】

図９は、第１ニューラルネットワークＮ１から出力される要精査領域の分布、及び、本実施例に係る情報処理方法Ｓ１により得られる要精査領域の分布について、学習エポック数を増やしていたときの正解率の変化を示すグラフである。第１ニューラルネットワークＮ１から出力される要精査領域の分布は、広域画像のみを考慮した（局所画像を考慮しなかった）場合の要精査領域の分布に相当する。図９に示すグラフによれば、十分なエポック数（４０エポック以上）の学習を行えば、本実施例に係る方法の方が、広域画像のみを考慮する方法よりも、高い正解率を得られることが分かる。

【0080】

図１０は、第１ニューラルネットワークＮ１から出力される要精査領域の分布と専門医が指定した分布との重なり、及び、本実施例に係る情報処理方法Ｓ１により得られる要精査領域の分布と専門医が指定した分布との重なりを、Ｊａｃｃａｒｄ係数を用いて評価した箱ヒゲ図である。図１０に示すグラフによれば、本実施例に係る方法の方が、広域画像のみを考慮する方法よりも、Ｊａｃｃａｒｄ係数が高い、すなわち、推定精度が高いことが分かる。

【0081】

図１１の（ａ）は、検査対象画像（Ｔ２ＷＩチャンネル及びＣＥ－ＴＩＷＩチャンネル）の一例を示す。図１１の（ｂ）は、図１１の（ａ）に示す検査対象画像を第１ニューラルネットワークＮ１に入力したときに、第１ニューラルネットワークＮ１から出力される要精査領域の分布を示す。図１１の（ｃ）は、図１１の（ａ）に示す検査対象画像を第１ニューラルネットワークＮ１に入力したときに、本実施例に係る情報処理方法Ｓ１により得られる要精査領域の分布を示す。図１１の（ｄ）は、図１１の（ａ）に示す検査対象画像を目視した専門医が指定した要精査領域の分布を示す。図１１によれば、広域画像のみを考慮する方法では、専門医が指定した分布と大きく相違する分布が得られるのに対して、本実施例に係る方法では、専門医が指定した分布と大きく相違しない分布が得られることが分かる。

【0082】

（付記事項）
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、上述した実施形態に開示された各技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0083】

１ 情報処理装置
１１ プロセッサ
１２ 一次メモリ
１３ 二次メモリ
１４ 入出力インタフェース
１５ バス
Ｎ１ 第１ニューラルネットワーク
Ｎ１１ 部分ネットワーク
Ｎ１２ 出力層
Ｎ２ 第２ニューラルネットワーク
Ｓ１ 情報処理方法（推論フェーズ）
Ｓ１１ 第１導出処理
Ｓ１２ 第２導出処理
Ｓ１３ 生成処理
Ｓ２ 情報処理方法（学習フェーズ）
Ｓ２１ 第１生成処理
Ｓ２２ 第１構築処理
Ｓ２３ 第２生成処理
Ｓ２４ 第２構築処理

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】