特許 7430314 特徴マップを出力するための機械学習モデルを作成する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-02

(45)【発行日】2024-02-13

(54)【発明の名称】特徴マップを出力するための機械学習モデルを作成する方法

(51)【国際特許分類】

   G06V 10/764 20220101AFI20240205BHJP

   G06V 20/69 20220101ALI20240205BHJP

   G06T 7/00 20170101ALI20240205BHJP

   A61B 6/00 20240101ALI20240205BHJP

   A61B 6/03 20060101ALI20240205BHJP

【ＦＩ】

G06V10/764

G06V20/69

G06T7/00 350B

G06T7/00 630

A61B6/00 350D

A61B6/03 360J

【請求項の数】 24

(21)【出願番号】P 2022579061

(86)(22)【出願日】2022-07-19

(86)【国際出願番号】 JP2022028099

(87)【国際公開番号】W WO2023002995

(87)【国際公開日】2023-01-26

【審査請求日】2022-12-21

(31)【優先権主張番号】P 2021119842

(32)【優先日】2021-07-20

(33)【優先権主張国・地域又は機関】JP

【国等の委託研究の成果に係る記載事項】（出願人による申告）２０２０年度国立研究開発法人新エネルギー・産業技術総合開発機構「人と共に進化する次世代人工知能に関する技術開発事業」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

【早期審査対象出願】

(73)【特許権者】

【識別番号】521321561

【氏名又は名称】福岡 順也

(73)【特許権者】

【識別番号】521321572

【氏名又は名称】上紙 航

(73)【特許権者】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(72)【発明者】

【氏名】福岡 順也

(72)【発明者】

【氏名】上紙 航

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２０２０－１２６５９８（ＪＰ，Ａ）

【文献】特開２００３－０４４３９７（ＪＰ，Ａ）

【文献】Wataru Uegami，外８名，MIXTURE of human expertise and deep learning--developing an explainable model for predicting pathological diagnosis and survival in patients with interstitial lung disease，Modern Pathology，(2022) 35，2022年02月23日，pp. 1083-1091

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ １０／７６４

Ｇ０６Ｖ ２０／６９

Ｇ０６Ｔ ７／００

Ａ６１Ｂ ６／００

Ａ６１Ｂ ６／０３

(57)【特許請求の範囲】

【請求項1】

機械学習モデルを作成する方法であって、
複数の学習用画像を受信することと、
初期機械学習モデルからの出力を用いて、前記複数の学習用画像の各々を複数の初期クラスタのうちのそれぞれの初期クラスタに分類することであって、前記初期機械学習モデルは、少なくとも、入力された１つの画像から前記画像の特徴量を出力するように学習させられている、ことと、
前記複数の初期クラスタの各々に分類された前記複数の学習用画像に基づいて、前記複数の初期クラスタを複数の二次クラスタに再分類することと、
前記複数の初期クラスタと前記複数の二次クラスタとの関係を前記初期機械学習モデルに転移学習させることにより、機械学習モデルを作成することであって、前記機械学習モデルは、１つの画像を入力されると、前記入力された１つの画像が前記複数の二次クラスタのうちのどの二次クラスタに分類されるかを出力する、ことと
を含む方法。

【請求項2】

前記再分類することは、
前記複数の初期クラスタの各々に分類された前記複数の学習用画像をユーザに提示することと、
前記複数の初期クラスタの各々を前記複数の二次クラスタのうちのいずれかに対応付けるユーザ入力を受信することと、
前記ユーザ入力に基づいて、前記複数の初期クラスタを複数の二次クラスタに再分類することと
を含む、請求項１に記載の方法。

【請求項3】

前記複数の二次クラスタは、前記ユーザによって規定される、請求項２に記載の方法。

【請求項4】

前記複数の二次クラスタは、前記複数の学習用画像の解像度に応じて決定される、請求項１に記載の方法。

【請求項5】

前記複数の学習用画像は、１つの画像を所定の解像度で細分した複数の部分画像を含む、請求項１に記載の方法。

【請求項6】

前記複数の学習用画像は、病理診断用画像を含む、請求項１に記載の方法。

【請求項7】

前記複数の学習用画像は、間質性肺炎を有する被験者の組織画像と、間質性肺炎を有しない被験者の組織画像とを含む、請求項１に記載の方法。

【請求項8】

前記複数の二次クラスタのうちの少なくとも１つの二次クラスタ内の画像を、前記複数の学習用画像として、前記受信することと、前記分類することと、前記再分類することとを繰り返すことをさらに含む、請求項１に記載の方法。

【請求項9】

前記作成された機械学習モデルは、特徴マップを出力するために用いられる、請求項１に記載の方法。

【請求項10】

特徴マップを作成する方法であって、
対象画像を受信することと、
前記対象画像を複数の領域画像に細分することと、
前記複数の領域画像を請求項９に記載の方法によって作成された機械学習モデルに入力することにより、前記複数の領域画像の各々を前記複数の二次クラスタのうちのそれぞれの二次クラスタに分類することと、
前記対象画像において、前記複数の領域画像の各々をそれぞれの分類に従って区分することにより、特徴マップを作成することと
を含む、方法。

【請求項11】

前記区分することは、前記複数の領域画像のうち、同一の分類に属する領域画像を同一の色で着色することを含む、請求項１０に記載の方法。

【請求項12】

被験者の疾患に関する状態を推定するための方法であって、
請求項１０～１１のいずれか一項に記載の方法に従って作成された特徴マップを取得することであって、前記対象画像は、前記被験者の組織画像である、ことと、
前記特徴マップに基づいて、前記被験者の疾患に関する状態を推定することと
を含む方法。

【請求項13】

前記状態を推定することは、被験者の間質性肺炎がいずれの間質性肺炎のタイプであるかを推定することを含む、請求項１２に記載の方法。

【請求項14】

前記状態を推定することは、被験者が通常型間質性肺炎であるか否かを推定することを含む、請求項１２に記載の方法。

【請求項15】

前記作成された特徴マップに基づいて、前記被験者の疾患に関する状態を推定することは、
前記特徴マップから、前記複数の二次クラスタの各々の頻度を算出することと、
前記頻度に基づいて、前記疾患に関する状態を推定することと
を含む、請求項１２に記載の方法。

【請求項16】

前記特徴マップを作成することは、複数の特徴マップを作成することを含み、前記複数の特徴マップは、解像度が相互に異なっている、請求項１２に記載の方法

【請求項17】

前記作成された特徴マップに基づいて、疾患に関する状態を推定することは、前記複数の特徴マップのそれぞれから、前記複数の二次クラスタの各々の頻度を算出することと、
前記頻度に基づいて、前記疾患に関する状態を推定することと
を含む、請求項１６に記載の方法。

【請求項18】

前記作成された特徴マップに基づいて、疾患に関する状態を推定することは、
前記複数の特徴マップを用いて、前記複数の特徴マップのうちの少なくとも１つの特徴マップ中のエラーを特定することと、
前記エラーが特定された少なくとも１つの特徴マップを除く少なくとも１つの特徴マップに基づいて、前記疾患に関する状態を推定することと
を含む、請求項１６に記載の方法。

【請求項19】

前記作成された特徴マップに基づいて、前記疾患に関する状態を推定された前記被験者の生存時間分析を行うことと、
前記特徴マップ中の複数の二次クラスタのうち、前記推定された状態に寄与する少なくとも１つの二次クラスタを特定することと
をさらに含む、請求項１２に記載の方法。

【請求項20】

機械学習モデルを作成するためのシステムであって、
複数の学習用画像を受信する受信手段と、
初期機械学習モデルからの出力を用いて、前記複数の学習用画像の各々を複数の初期クラスタのうちのそれぞれの初期クラスタに分類する分類手段であって、前記初期機械学習モデルは、少なくとも、入力された１つの画像から前記画像の特徴量を出力するように学習させられている、分類手段と、
前記複数の初期クラスタの各々に分類された前記複数の学習用画像に基づいて、前記複数の初期クラスタを複数の二次クラスタに再分類する再分類手段と、
前記複数の初期クラスタと前記複数の二次クラスタとの関係を前記初期機械学習モデルに転移学習させることにより、機械学習モデルを作成する作成手段であって、前記機械学習モデルは、１つの画像を入力されると、前記入力された１つの画像が前記複数の二次クラスタのうちのどの二次クラスタに分類されるかを出力する、作成手段と
を備えるシステム。

【請求項21】

機械学習モデルを作成するためのプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータシステムにおいて実行され、前記プログラムは、
複数の学習用画像を受信することと、
初期機械学習モデルからの出力を用いて、前記複数の学習用画像の各々を複数の初期クラスタのうちのそれぞれの初期クラスタに分類することであって、前記初期機械学習モデルは、少なくとも、入力された１つの画像から前記画像の特徴量を出力するように学習させられている、ことと、
前記複数の初期クラスタの各々に分類された前記複数の学習用画像に基づいて、前記複数の初期クラスタを複数の二次クラスタに再分類することと、
前記複数の初期クラスタと前記複数の二次クラスタとの関係を前記初期機械学習モデルに転移学習させることにより、機械学習モデルを作成することであって、前記機械学習モデルは、１つの画像を入力されると、前記入力された１つの画像が前記複数の二次クラスタのうちのどの二次クラスタに分類されるかを出力する、ことと
を含む処理を前記プロセッサ部に行わせる、プログラム。

【請求項22】

分類用機械学習モデルを作成する方法であって、
複数の学習用データを受信することと、
初期機械学習モデルからの出力を用いて、前記複数の学習用データの各々を複数の初期クラスタのうちのそれぞれの初期クラスタに分類することであって、前記初期機械学習モデルは、少なくとも、入力された１つのデータから前記データの特徴量を出力するように学習させられている、ことと、
前記複数の初期クラスタの各々に分類された前記複数の学習用データに基づいて、前記複数の初期クラスタを複数の二次クラスタに再分類することと、
前記複数の初期クラスタと前記複数の二次クラスタとの関係を前記初期機械学習モデルに転移学習させることにより、機械学習モデルを作成することであって、前記機械学習モデルは、１つの画像を入力されると、前記入力された１つの画像が前記複数の二次クラスタのうちのどの二次クラスタに分類されるかを出力する、ことと
を含む方法。

【請求項23】

分類用機械学習モデルを作成するためのシステムであって、
複数の学習用データを受信する受信手段と、
初期機械学習モデルからの出力を用いて、前記複数の学習用データの各々を複数の初期クラスタのうちのそれぞれの初期クラスタに分類する分類手段であって、前記初期機械学習モデルは、少なくとも、入力された１つのデータから前記データの特徴量を出力するように学習させられている、分類手段と、
前記複数の初期クラスタの各々に分類された前記複数の学習用データに基づいて、前記複数の初期クラスタを複数の二次クラスタに再分類する再分類手段と、
前記複数の初期クラスタと前記複数の二次クラスタとの関係を前記初期機械学習モデルに転移学習させることにより、機械学習モデルを作成する作成手段であって、前記機械学習モデルは、１つの画像を入力されると、前記入力された１つの画像が前記複数の二次クラスタのうちのどの二次クラスタに分類されるかを出力する、作成手段と
を備えるシステム。

【請求項24】

分類用機械学習モデルを作成するためのプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータシステムにおいて実行され、前記プログラムは、
複数の学習用データを受信することと、
初期機械学習モデルからの出力を用いて、前記複数の学習用データの各々を複数の初期クラスタのうちのそれぞれの初期クラスタに分類することであって、前記初期機械学習モデルは、少なくとも、入力された１つのデータから前記データの特徴量を出力するように学習させられている、ことと、
前記複数の初期クラスタの各々に分類された前記複数の学習用データに基づいて、前記複数の初期クラスタを複数の二次クラスタに再分類することと、
前記複数の初期クラスタと前記複数の二次クラスタとの関係を前記初期機械学習モデルに転移学習させることにより、機械学習モデルを作成することであって、前記機械学習モデルは、１つの画像を入力されると、前記入力された１つの画像が前記複数の二次クラスタのうちのどの二次クラスタに分類されるかを出力する、ことと
を含む処理を前記プロセッサ部に行わせる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特徴マップを出力するための機械学習モデルを作成する方法等に関する。本発明は、作成された機械学習モデルを用いて特徴マップを作成する方法、作成された特徴マップを用いて被験者の疾患に関する状態を推定する方法、分類用機械学習モデルを作成する方法等にも関する。

【背景技術】

【0002】

被験者の疾患を機械学習モデルを用いて予測する取り組みがなされている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０２０－５３２０２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

発明者らは、機械学習モデルと、人間の知識とを融合することで、意味のある出力を提供することが可能な機械学習モデルを提供することができると考えた。

【0005】

本発明は、人間の知識を組み込むことが可能な機械学習モデルを提供することを目的の１つとする。

【課題を解決するための手段】

【0006】

本発明は、一実施形態において、例えば、以下の項目を提供する。
（項目１）
機械学習モデルを作成する方法であって、
複数の学習用画像を受信することと、
初期機械学習モデルを用いて、前記複数の学習用画像の各々を複数の初期クラスタのうちのそれぞれの初期クラスタに分類することであって、前記初期機械学習モデルは、少なくとも、入力された１つの画像から前記画像の特徴量を出力するように学習させられている、ことと、
前記複数の初期クラスタの各々に分類された前記複数の学習用画像に基づいて、前記複数の初期クラスタを複数の二次クラスタに再分類することと、
前記複数の初期クラスタと前記複数の二次クラスタとの関係を前記初期機械学習モデルに学習させることにより、機械学習モデルを作成することであって、前記機械学習モデルは、入力された１つの画像を前記複数の二次クラスタのうちの１つの二次クラスタに分類する、ことと
を含む方法。
（項目２）
前記再分類することは、
前記複数の初期クラスタの各々に分類された前記複数の学習用画像をユーザに提示することと、
前記複数の初期クラスタの各々を前記複数の二次クラスタのうちのいずれかに対応付けるユーザ入力を受信することと、
前記ユーザ入力に基づいて、前記複数の初期クラスタを複数の二次クラスタに再分類することと
を含む、項目１に記載の方法。
（項目３）
前記複数の二次クラスタは、前記ユーザによって規定される、項目２に記載の方法。
（項目４）
前記複数の二次クラスタは、前記複数の学習用画像の解像度に応じて決定される、項目１～３のいずれか一項に記載の方法。
（項目５）
前記複数の学習用画像は、１つの画像を所定の解像度で細分した複数の部分画像を含む、項目１～４のいずれか一項に記載の方法。
（項目６）
前記複数の学習用画像は、病理診断用画像を含む、項目１～５のいずれか一項に記載の方法。
（項目７）
前記複数の学習用画像は、間質性肺炎を有する被験者の組織画像と、間質性肺炎を有しない被験者の組織画像とを含む、項目１～６のいずれか一項に記載の方法。
（項目８）
前記複数の二次クラスタのうちの少なくとも１つの二次クラスタ内の画像を、前記複数の学習用画像として、前記受信することと、前記分類することと、前記再分類することとを繰り返すことをさらに含む、項目１～７のいずれか一項に記載の方法。
（項目９）
前記作成された機械学習モデルは、特徴マップを出力するために用いられる、項目１～８のいずれか一項に記載の方法。
（項目１０）
前記複数の学習用画像は、複数の異なる疾患の被験者の画像を含む、項目１～８のいずれか一項に記載の方法。
（項目１１）
機械学習モデルを作成する方法であって、
項目１～１０のいずれか一項に記載の方法に従って作成された機械学習モデルによって少なくとも１つの二次クラスタに分類された複数の画像を受信することと、
初期機械学習モデルを用いて、前記受信された複数の画像の各々を複数の初期クラスタのうちのそれぞれの初期クラスタに分類することであって、前記初期機械学習モデルは、少なくとも、入力された１つの画像から前記画像の特徴量を出力するように学習させられている、ことと、
前記複数の初期クラスタの各々に分類された前記受信された複数の画像に基づいて、前記複数の初期クラスタを複数の二次クラスタに再分類することと、
前記複数の初期クラスタと前記複数の二次クラスタとの関係を前記初期機械学習モデルに学習させることにより、機械学習モデルを作成することであって、前記機械学習モデルは、入力された１つの画像を前記複数の二次クラスタのうちの１つの二次クラスタに分類する、ことと
を含む方法。
（項目１２）
特徴マップを作成する方法であって、
対象画像を受信することと、
前記対象画像を複数の領域画像に細分することと、
前記複数の領域画像を項目９に記載の方法によって作成された機械学習モデルに入力することにより、前記複数の領域画像の各々を前記複数の二次クラスタのうちのそれぞれの二次クラスタに分類することと、
前記対象画像において、前記複数の領域画像の各々をそれぞれの分類に従って区分することにより、特徴マップを作成することと
を含む、方法。
（項目１３）
前記区分することは、前記複数の領域画像のうち、同一の分類に属する領域画像を同一の色で着色することを含む、項目１２に記載の方法。
（項目１４）
被験者の疾患に関する状態を推定するための方法であって、
項目１２～１３のいずれか一項に記載の方法に従って作成された特徴マップを取得することであって、前記対象画像は、前記被験者の組織画像である、ことと、
前記特徴マップに基づいて、前記被験者の疾患に関する状態を推定することと
を含む方法。
（項目１５）
前記状態を推定することは、被験者の間質性肺炎がいずれの間質性肺炎のタイプであるかを推定することを含む、項目１４に記載の方法。
（項目１６）
前記状態を推定することは、被験者が通常型間質性肺炎であるか否かを推定することを含む、項目１４に記載の方法。
（項目１７）
前記作成された特徴マップに基づいて、前記被験者の疾患に関する状態を推定することは、
前記特徴マップから、前記複数の二次クラスタの各々の頻度を算出することと、
前記頻度に基づいて、前記疾患に関する状態を推定することと
を含む、項目１４～１６のいずれか一項に記載の方法。
（項目１８）
前記特徴マップを作成することは、複数の特徴マップを作成することを含み、前記複数の特徴マップは、解像度が相互に異なっている、項目１４～１７のいずれか一項に記載の方法
（項目１９）
前記作成された特徴マップに基づいて、疾患に関する状態を推定することは、前記複数の特徴マップのそれぞれから、前記複数の二次クラスタの各々の頻度を算出することと、
前記頻度に基づいて、前記疾患に関する状態を推定することと
を含む、項目１８に記載の方法。
（項目２０）
前記作成された特徴マップに基づいて、疾患に関する状態を推定することは、
前記複数の特徴マップを用いて、前記複数の特徴マップのうちの少なくとも１つの特徴マップ中のエラーを特定することと、
前記エラーが特定された少なくとも１つの特徴マップを除く少なくとも１つの特徴マップに基づいて、前記疾患に関する状態を推定することと
を含む、項目１８または項目１９に記載の方法。
（項目２１）
前記作成された特徴マップに基づいて、前記疾患に関する状態を推定された前記被験者の生存時間分析を行うことと、
前記特徴マップ中の複数の二次クラスタのうち、前記推定された状態に寄与する少なくとも１つの二次クラスタを特定することと
をさらに含む、項目１４～２０のいずれか一項に記載の方法。
（項目２２）
機械学習モデルを作成するためのシステムであって、
複数の学習用画像を受信する受信手段と、
初期機械学習モデルを用いて、前記複数の学習用画像の各々を複数の初期クラスタのうちのそれぞれのクラスタに分類する分類手段であって、前記初期機械学習モデルは、少なくとも、入力された１つの画像から前記画像の特徴量を出力するように学習させられている、分類手段と、
前記複数の初期クラスタの各々に分類された前記複数の学習用画像に基づいて、前記複数の初期クラスタを複数の二次クラスタに再分類する再分類手段と、
前記複数の初期クラスタと前記複数の二次クラスタとの関係を前記初期機械学習モデルに学習させることにより、機械学習モデルを作成する作成手段であって、前記機械学習モデルは、入力された１つの画像を前記複数の二次クラスタのうちの１つの二次クラスタに分類する、作成手段と
を備えるシステム。
（項目２２Ａ）
上記項目の１つまたは複数に記載の特徴を含む、項目２２に記載のシステム。
（項目２３）
機械学習モデルを作成するためのプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータシステムにおいて実行され、前記プログラムは、
複数の学習用画像を受信することと、
初期機械学習モデルを用いて、前記複数の学習用画像の各々を複数の初期クラスタのうちのそれぞれのクラスタに分類することであって、前記初期機械学習モデルは、少なくとも、入力された１つの画像から前記画像の特徴量を出力するように学習させられている、ことと、
前記複数の初期クラスタの各々に分類された前記複数の学習用画像に基づいて、前記複数の初期クラスタを複数の二次クラスタに再分類することと、
前記複数の初期クラスタと前記複数の二次クラスタとの関係を前記初期機械学習モデルに学習させることにより、機械学習モデルを作成することであって、前記機械学習モデルは、入力された１つの画像を前記複数の二次クラスタのうちの１つの二次クラスタに分類する、ことと
を含む処理を前記プロセッサ部に行わせる、プログラム。
（項目２３Ａ）
上記項目の１つまたは複数に記載の特徴を含む、項目２３に記載のプログラム。
（項目２３Ｂ）
項目２３または項目２３Ａに記載のプログラムを記憶するコンピュータ読み取り可能な記憶媒体。
（項目２４）
分類用機械学習モデルを作成する方法であって、
複数の学習用データを受信することと、
初期機械学習モデルを用いて、前記複数の学習用データの各々を複数の初期クラスタのうちのそれぞれのクラスタに分類することであって、前記初期機械学習モデルは、少なくとも、入力された１つのデータから前記データの特徴量を出力するように学習させられている、ことと、
前記複数の初期クラスタの各々に分類された前記複数の学習用データに基づいて、前記複数の初期クラスタを複数の二次クラスタに再分類することと、
前記複数の初期クラスタと前記複数の二次クラスタとの関係を前記初期機械学習モデルに学習させることにより、機械学習モデルを作成することであって、前記機械学習モデルは、入力された１つのデータを前記複数の二次クラスタのうちの１つの二次クラスタに分類する、ことと
を含む方法。
（項目２４Ａ）
上記項目の１つまたは複数に記載の特徴を含む、項目２４に記載の方法。
（項目２５）
分類用機械学習モデルを作成するためのシステムであって、
複数の学習用データを受信する受信手段と、
初期機械学習モデルを用いて、前記複数の学習用データの各々を複数の初期クラスタのうちのそれぞれのクラスタに分類する分類手段であって、前記初期機械学習モデルは、少なくとも、入力された１つのデータから前記データの特徴量を出力するように学習させられている、分類手段と、
前記複数の初期クラスタの各々に分類された前記複数の学習用データに基づいて、前記複数の初期クラスタを複数の二次クラスタに再分類する再分類手段と、
前記複数の初期クラスタと前記複数の二次クラスタとの関係を前記初期機械学習モデルに学習させることにより、機械学習モデルを作成する作成手段であって、前記機械学習モデルは、入力された１つのデータを前記複数の二次クラスタのうちの１つの二次クラスタに分類する、作成手段と
を備えるシステム。
（項目２５Ａ）
上記項目の１つまたは複数に記載の特徴を含む、項目２５に記載のシステム。
（項目２６）
分類用機械学習モデルを作成するためのプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータシステムにおいて実行され、前記プログラムは、
複数の学習用データを受信することと、
初期機械学習モデルを用いて、前記複数の学習用データの各々を複数の初期クラスタのうちのそれぞれのクラスタに分類することであって、前記初期機械学習モデルは、少なくとも、入力された１つのデータから前記データの特徴量を出力するように学習させられている、ことと、
前記複数の初期クラスタの各々に分類された前記複数の学習用データに基づいて、前記複数の初期クラスタを複数の二次クラスタに再分類することと、
前記複数の初期クラスタと前記複数の二次クラスタとの関係を前記初期機械学習モデルに学習させることにより、機械学習モデルを作成することであって、前記機械学習モデルは、入力された１つのデータを前記複数の二次クラスタのうちの１つの二次クラスタに分類する、ことと
を含む処理を前記プロセッサ部に行わせる、プログラム。
（項目２６Ａ）
上記項目の１つまたは複数に記載の特徴を含む、項目２６に記載のプログラム。
（項目２６Ｂ）
項目２６または項目２６Ａに記載のプログラムを記憶するコンピュータ読み取り可能な記憶媒体。

【発明の効果】

【0007】

本発明によれば、人間の知識を組み込むことが可能な機械学習モデルを提供することができる。この機械学習モデルを用いて作成された特徴マップは、人間の知識を反映したものであり得、この特徴マップを用いることにより、被験者の疾患に関する状態の推定を精度よく行うことができるようになる。

【図面の簡単な説明】

【0008】

【図1A】人間の知識を組み込むことが可能な機械学習モデルを作成するフローの一例を示す図

【図1B】複数の初期クラスタのそれぞれに分類された複数の学習用画像の例を示す図

【図1C】機械学習モデル１０に入力される組織画像の一例および機械学習モデル１０から出力される分類に従って作成された特徴マップの一例を示す図

【図1D】図１Ａのフローの具体的な例を示す図

【図2】特徴マップを出力するための機械学習モデルを作成するためのシステム１００の構成の一例を示す図

【図3A】一実施形態におけるプロセッサ部１２０の構成の一例を示す図

【図3B】別の実施形態におけるプロセッサ部１３０の構成の一例を示す図

【図3C】さらに別の実施形態におけるプロセッサ部１４０の構成の一例を示す図

【図4】端末装置３００の構成の一例を示す図

【図5】システム１００における処理の一例を示すフローチャート

【図6】システム１００における処理の別の一例を示すフローチャート

【図7】システム１００における処理の別の一例を示すフローチャート

【図8】実施例の結果を示す図

【図9A】実施例の結果を示す図

【図9B】比較例の結果を示す図

【図10】実施例の結果を示す図

【図11】実施例の結果を示す図

【図12A】実施例の結果を示す図

【図12B】実施例の結果を示す図

【図13】細胞にインクで目印をつけた画像（ａ）と、その画像から作成された特徴マップを示す図

【図14】機械学習モデルに肺のＣＴ画像を入力したときの例

【発明を実施するための形態】

【0009】

以下、本開示を説明する。本明細書の全体にわたり、単数形の表現は、特に言及しない限り、その複数形の概念をも含むことが理解されるべきである。従って、単数形の冠詞（例えば、英語の場合は「ａ」、「ａｎ」、「ｔｈｅ」など）は、特に言及しない限り、その複数形の概念をも含むことが理解されるべきである。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用されるすべての専門用語および科学技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。

【0010】

（定義）
本明細書において、「被験者」（ｓｕｂｊｅｃｔ）とは、本発明の技術が対象とする任意の人物または動物をいう。

【0011】

本明細書において、「疾患」とは、被験者の状態に不調または不都合が生じている状態をいう。「疾患」は、「障害」（正常な機能を妨げている状態）、「症状」（対象の異常な状態）、「症候群」（いくつかの症状が発生している状態）等の用語と同義的に用いられることがある。

【0012】

本明細書において、「被験者」の「状態」とは、被験者の身体または精神の様子のことをいう。

【0013】

本明細書において、「状態を推定する」とは、現在の状態を推定することに加えて、未来の状態を推定することも含む概念であり得る。「被験者の疾患に関する状態を推定する」ことは、例えば、被験者が特定の何らかの疾患を有していることを推定すること、被験者が特定の何ら疾患を有していないことを推定すること、被験者が特定の少なくとも１つの疾患を有していることを推定すること、被験者が特定の少なくとも１つの疾患を有していないことを推定すること、被験者が有している少なくとも１つの疾患のタイプを推定すること、被験者が有している少なくとも１つの疾患のタイプが特定のタイプであることを推定すること、被験者が有している少なくとも１つの疾患のタイプが特定のタイプではないことを推定すること、被験者が有している少なくとも１つの疾患の重篤度を推定すること、被験者が有している少なくとも１つの疾患の特定のタイプの重篤度を推定すること等を含む。

【0014】

本明細書において、「特徴マップ」とは、画像が複数の領域に細分されて、複数の領域のうち同一の特徴を有する領域が同一の態様で表された画像のことをいう。例えば、一例において、特徴マップは、複数の領域のうち同一の特徴を有する領域が同一の色で着色された画像であり得る。

【0015】

本明細書において、「組織画像」とは、被験者の身体から取得された組織から得られた画像のことをいう。一例において、「組織画像」は、ＷＳＩ（ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ）であり得る。一例において、「組織画像」は、組織染色によって取得された画像、および／または、免疫組織学的染色によって取得された画像であり得る。一例において、レントゲン装置を用いて取得された放射線画像であり得る。一例において、「組織画像」は、顕微鏡を用いて取得された顕微鏡画像であり得る。このように、「組織画像」を取得する手段は問わない。

【0016】

本明細書中において「約」とは、後に続く数値の±１０％を意味する。

【0017】

以下、図面を参照しながら、本発明の実施の形態を説明する。

【0018】

１．人間の知識を組み込むことが可能な機械学習モデルを作成するフロー
本発明の発明者は、人間の知識を組み込むことが可能な機械学習モデルを開発した。この機械学習モデルは、その作成段階において、初期機械学習モデルからの出力が洗練されて、初期機械学習モデルの学習に用いられているため、初期機械学習モデルよりも高精度な出力を提供することができる。特に、初期機械学習モデル（いわゆる、分類器）から出力された分類を人間、より好ましくは、専門家またはエキスパートによって再分類することによって洗練することで、機械学習モデルから出力された分類には、人間の知識、より好ましくは、専門家またはエキスパートの知識が組み込まれたものとなる。例えば、初期学習モデルから出力された分類を病理医が再分類することにより、機械学習モデルから出力される分類が、病理組織学的な意味が付加された分類となり得る。

【0019】

図１Ａは、人間の知識を組み込むことが可能な機械学習モデルを作成するフローの一例を示す。

【0020】

ステップＳ１では、機械学習モデルを作成するためのシステム１００に複数の学習用画像が入力される。本例では、病理組織学的に意味のある分類を出力可能な機械学習モデルを作成するために、複数の学習用画像として、病理診断に用いられる組織染色のＷＳＩ（ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ）を所定の解像度で複数の領域に細分した複数の部分画像が用いられている。

【0021】

複数の学習用画像は、作成される機械学習モデルの用途に応じて、任意の画像が利用されることができる。例えば、放射線診断に意味のある分類を出力可能な機械学習モデルを作成するために、複数の学習用画像として、放射線画像を所定の解像度で複数の領域に細分した複数の部分画像が用いられることができる。例えば、間質性肺炎の病理学的分類に意味のある分類を出力可能な機械学習モデルを作成するために、複数の学習用画像として、高解像度断層撮影画像、胸部単純Ｘ線撮影画像が用いられることができる。例えば、種々の疾患の分類を出力可能な機械学習モデルを作成するために、複数の学習用画像として、種々の疾患を有する複数の被験者の画像が用いられることができる。具体的には、種々の癌の分類を出力可能な機械学習モデルを作成するために、複数の学習用画像として、種々の癌細胞の画像が用いられることができる。

【0022】

複数の学習用画像は、後述するように、システム１００によって作成された機械学習モデルから出力された分類に従ってまとめられた複数の画像であってもよい。例えば、複数の学習用画像は、機械学習モデルによって「その他」のクラスタに分類された画像であってもよい。複数の学習用画像は、後述するように、ユーザＵによる再分類に従ってまとめられた複数の画像であってもよい。例えば、複数の学習用画像は、ユーザＵによって「その他」のクラスタに再分類された画像であってもよい。

【0023】

複数の学習用画像がシステム１００に入力される態様は問わない。複数の学習用画像は、任意の態様でシステム１００に入力されることができる。例えば、複数の学習用画像は、ネットワーク（例えば、インターネット、ＬＡＮ等）を通じてシステム１００に入力されるようにしてもよいし、例えば、システム１００に接続され得る記憶媒体を通じてシステム１００に入力されるようにしてもよいし、システム１００が備え得る画像取得装置を通じてシステム１００に入力されるようにしてもよい。

【0024】

入力された複数の学習用画像は、システム１００において、初期機械学習モデルに入力される。初期機械学習モデルは、少なくとも、入力された１つの画像からその画像の特徴量を出力するように学習させられている。出力される特徴量をクラスタリングすることにより、その画像は、複数の初期クラスタのうちの１つのクラスタに分類されることができる。

【0025】

複数の学習用画像が初期機械学習モデルに入力されると、複数の学習用画像の各々の特徴量が出力され、それらの特徴量の各々をクラスタリングすることにより、複数の学習用画像の各々が、複数の初期クラスタのうちのそれぞれの初期クラスタに分類される。このようにして分類される初期クラスタは、画像の特徴量に基づいて分類されるものであり、意味のある分類ではない場合がある。そのような初期クラスタを洗練するために、初期機械学習モデルからの出力は、再分類される必要がある。

【0026】

ステップＳ２では、それぞれの初期クラスタに分類された複数の学習用画像がユーザＵに提示される。ユーザＵは、例えば、病理医等の専門家またはエキスパートであることが好ましい。ユーザＵには、例えば、図１Ｂに示されるように、複数の初期クラスタのそれぞれに分類された複数の学習用画像が提示される。

【0027】

図１Ｂでは、６つの初期クラスタ（ａ）～（ｆ）が示されているが、初期クラスタの数はこれに限定されない。初期クラスタは、任意の数のクラスタを含み得る。図１Ｂに示されるように、初期機械学習モデルによって特徴量が類似すると判定された学習用画像が同一のクラスタに分類されているが、例えば、病理組織学的には、これらのクラスタのうちのいくつかは、別のクラスタに分類されるべきではないかもしれない。

【0028】

ユーザＵは、自己の知識に基づいて、提示された複数の学習用画像を再分類することができる。ユーザＵは、複数の初期クラスタの各々を複数の二次クラスタのいずれかに再分類することができる。ここで、複数の二次クラスタは、例えば、ユーザＵによって規定されるものであってもよいし、システム１００によって設定されるものであってもよい。好ましくは、ユーザＵが、自己の知識に基づいて、複数の二次クラスタを規定することができる。さらに、複数の二次クラスタは、複数の学習用画像の解像度に応じて決定されることが好ましい。例えば、より低い解像度の複数の学習用画像のための複数の二次クラスタは、より高い解像度の複数の学習用画像のための複数の二次クラスタとは異なり得る。例えば、ユーザＵは、自己の知識に基づいて、複数の学習用画像の解像度に応じて、複数の二次クラスタを決定することができる。複数の二次クラスタは、目的とする分類のいずれにも属しない「その他」のクラスタを含んでもよい。

【0029】

ユーザＵは、例えば、端末装置の表示部に表示された、複数の初期クラスタの各々に分類された複数の学習用画像のそれぞれが、複数の二次クラスタのうちのどの二次クラスタに分類され得るかの入力を端末装置に提供することができる。

【0030】

ステップＳ３では、ユーザＵによる入力が、システム１００に提供される。ユーザＵによる入力がシステム１００に提供される態様は問わない。ユーザＵによる入力は、任意の態様でシステム１００に入力されることができる。例えば、端末装置から、ネットワーク（例えば、インターネット、ＬＡＮ等）を通じてシステム１００に入力されるようにしてもよいし、例えば、端末装置で記憶媒体に記憶されて、記憶媒体がシステム１００に接続されることにより、システム１００に入力されるようにしてもよい。システム１００は、入力を受信すると、ユーザＵによる再分類の情報を初期機械学習モデルに学習させる。すなわち、システム１００は、複数の初期クラスタと複数の二次クラスタとの関係を学習することになる。これは、例えば、初期機械学習モデルを転移学習することによって達成され得る。

【0031】

ステップＳ４では、このようにして構築された機械学習モデル１０がシステム１００から提供される。機械学習モデル１０は、入力された１つの画像を複数の二次クラスタのうちの１つの二次クラスタに分類することができる。すなわち、ユーザＵの知識に基づいて行われ得る二次クラスタへの分類を、機械学習モデル１０が行うことができるのである。機械学習モデル１０は、初期機械学習モデルに比べて、より意味のある分類を出力することができる。本例では、機械学習モデル１０は、病理組織学的により意味のある分類を出力することが可能である。

【0032】

図１Ｃは、機械学習モデル１０に入力される組織画像の一例および機械学習モデル１０から出力される分類に従って作成された特徴マップの一例を示す。

【0033】

図１Ｃ（ａ）は、機械学習モデル１０に入力される組織画像の一例を示している。組織画像は、被験者の肺組織のＷＳＩである。

【0034】

図１Ｃ（ｂ）～（ｄ）は、被験者の肺組織のＷＳＩを機械学習モデル１０に入力したときに出力される分類に従って作成された特徴マップの一例を示している。図１Ｃ（ｂ）は、２倍の解像度の学習用画像を用いて作成した機械学習モデル１０からの出力に従って作成された特徴マップであり、図１Ｃ（ｃ）は、５倍の解像度の学習用画像を用いて作成した機械学習モデル１０からの出力に従って作成された特徴マップであり、図１Ｃ（ｄ）は、２０倍の解像度の学習用画像を用いて作成した機械学習モデル１０からの出力に従って作成された特徴マップである。

【0035】

図１Ｃ（ｂ）の特徴マップでは、病理組織学的に意味のある４つの分類に区分されており、図１Ｃ（ｃ）の特徴マップでは、病理組織学的に意味のある８つの分類に区分されており、図１Ｃ（ｄ）の特徴マップでは、病理組織学的に意味のある８つの分類に区分されている。このように、解像度に応じて、分類が異なっており、それぞれの特徴マップが表す情報が異なっている。

【0036】

例えば、医師は、これらの特徴マップを確認し、被験者の疾患に関する状態を診断することができる。特に、これらの特徴マップには、専門家またはエキスパートの知識を反映することができるため、経験の浅い医師でも、専門家またはエキスパートが反映された特徴マップを確認することにより、的確な診断を行うことができるようになる。

【0037】

例えば、機械学習モデル１０によって、或る二次クラスタに分類された画像は、複数の学習用画像として、ステップＳ１～ステップＳ４を繰り返されてもよい。これにより、その二次クラスタに分類された画像を細分類することができ、その二次クラスタについてのより詳細な診断につなげることができる。これを繰り返すことで、画像はさらに細分類されることができる。

【0038】

例えば、機械学習モデル１０によって、「その他」の二次クラスタであると分類された画像は、複数の学習用画像として、ステップＳ１～ステップＳ４を繰り返されてもよい。これにより、「その他」と分類された画像を細分類することができ、「その他」と一括りにされて無用と思われていた画像からも有用な情報を取得することができることがある。例えば、アーチファクトに相当するとして「その他」の二次クラスタに分類された画像が、本当に「アーチファクト」であるかどうかを判断することを可能にする。

【0039】

図１Ｄは、上述したフローの具体的な例を示す。

【0040】

複数の学習用画像は、例えば、病理診断に用いられる組織染色のＷＳＩを所定の解像度で複数の領域に細分した複数の部分画像であり、部分画像の１つをｔｉｌｅと称している。ここでは、１，０００，０００を超えるｔｉｌｅが準備されている。ステップＳ１では、これらのｔｉｌｅのすべてがシステム１００に入力される。

【0041】

システム１００では、これらのｔｉｌｅのうち、ランダムに選択された一部のｔｉｌｅ（ここでは、５０，０００個のｔｉｌｅ）が抽出され、それらのｔｉｌｅ（ｓｍａｌｌ ｓｅｔ）を用いて、機械学習モデルが作成される。

【0042】

例えば、自己教師あり学習（Ｓｅｌｆ－Ｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）によって初期機械学習モデル（Ｉｎｉｔｉａｌ Ｍｏｄｅｌ）が作成される。作成された初期機械学習モデルに、ｓｍａｌｌ ｓｅｔを入力すると、特徴量が抽出される。それらの特徴量に基づいて、初期クラスタが作成される（Ｃｌｕｓｔｅｒｉｎｇ）。

【0043】

ユーザ（専門家またはエキスパート）は、自己の知識に基づいて、初期クラスタを二次クラスタに再分類する（Ｉｎｔｅｇｒａｔｉｏｎ）。例えば、所見Ａ（Ｆｉｎｄｉｎｇ Ａ）、所見Ｂ（Ｆｉｎｄｉｎｇ Ｂ）、その他（Ｏｔｈｅｒ）等に再分類することができる。このようにして作成された二次クラスタを転移学習（Ｔｒａｎｓｆｅｒ Ｌｅａｒｎｉｎｇ）することで、機械学習モデル（Ｍｏｄｅｌ）が作成される。

【0044】

作成された機械学習モデル（Ｍｏｄｅｌ）にすべてのｔｉｌｅが入力されると、これらのｔｉｌｅが分類される（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）。例えば、所見Ａ（Ｆｉｎｄｉｎｇ Ａ）、所見Ｂ（Ｆｉｎｄｉｎｇ Ｂ）、その他（Ｏｔｈｅｒ）等に分類される。機械学習モデル（Ｍｏｄｅｌ）は、専門家またはエキスパートの知識を反映しているため、出力は、意味のある分類となり得る。

【0045】

「その他」に分類されたｔｉｌｅは、戻され、上記のフローに再度付されることができる。これにより、「その他」に分類されたｔｉｌｅを細分類することが可能な機械学習モデルを作成することができる。あるいは、「その他」に分類されたｔｉｌｅは、戻され、機械学習モデル（Ｍｏｄｅｌ）に再度入力されることができる。これにより、「その他」に分類されたｔｉｌｅを細分類することができる。

【0046】

上述したフローは、後述するシステム１００を利用して実現され得る。

【0047】

２．特徴マップを出力するための機械学習モデルを作成するためのシステムの構成
図２は、特徴マップを出力するための機械学習モデルを作成するためのシステム１００の構成の一例を示す。

【0048】

システム１００は、データベース部２００に接続されている。また、システム１００は、少なくとも１つの端末装置３００にネットワーク４００を介して接続されている。

【0049】

なお、図２では、３つの端末装置３００が示されているが、端末装置３００の数はこれに限定されない。任意の数の端末装置３００が、ネットワーク４００を介してシステム１００に接続され得る。

【0050】

ネットワーク４００は、任意の種類のネットワークであり得る。ネットワーク４００は、例えば、インターネットであってもよいし、ＬＡＮであってもよい。ネットワーク４００は、有線ネットワークであってもよいし、無線ネットワークであってもよい。

【0051】

システム１００は、例えば、特徴マップを出力するための機械学習モデル、または、特徴マップを提供するサービスプロバイダに設置されているコンピュータ（例えば、サーバ装置）であり得る。端末装置３００は、例えば、専門家またはエキスパート等のユーザＵが利用するコンピュータ（例えば、端末装置）であってもよいし、端末装置３００は、他の医師が利用するコンピュータ（例えば、端末装置）であってもよい。ここで、コンピュータ（サーバ装置または端末装置）は、任意のタイプのコンピュータであり得る。例えば、端末装置は、スマートフォン、タブレット、パーソナルコンピュータ、スマートグラス、スマートウォッチ等の任意のタイプの端末装置であり得る。

【0052】

システム１００は、インターフェース部１１０と、プロセッサ部１２０と、メモリ１３０部とを備える。システム１００は、データベース部２００に接続されている。

【0053】

インターフェース部１１０は、システム１００の外部と情報のやり取りを行う。システム１００のプロセッサ部１２０は、インターフェース部１１０を介して、システム１００の外部から情報を受信することが可能であり、システム１００の外部に情報を送信することが可能である。インターフェース部１１０は、任意の形式で情報のやり取りを行うことができる。第１の人物が使用する情報端末および第２の人物が使用する情報端末は、インターフェース部１１０を介して、システム１００と通信することができる。

【0054】

インターフェース部１１０は、例えば、システム１００に情報を入力することを可能にする入力部を備える。入力部が、どのような態様でシステム１００に情報を入力することを可能にするかは問わない。例えば、入力部が受信器である場合、受信器がネットワークを介してシステム１００の外部から情報を受信することにより入力してもよい。この場合、ネットワークの種類は問わない。例えば、受信器は、インターネットを介して情報を受信してもよいし、ＬＡＮを介して情報を受信してもよい。

【0055】

インターフェース部１１０は、例えば、システム１００から情報を出力することを可能にする出力部を備える。出力部が、どのような態様でシステム１００から情報を出力することを可能にするかは問わない。例えば、出力部が送信器である場合、送信器がネットワークを介してシステム１００の外部に情報を送信することにより出力してもよい。この場合、ネットワークの種類は問わない。例えば、送信器は、インターネットを介して情報を送信してもよいし、ＬＡＮを介して情報を送信してもよい。

【0056】

プロセッサ部１２０は、システム１００の処理を実行し、かつ、システム１００全体の動作を制御する。プロセッサ部１２０は、メモリ部１５０に格納されているプログラムを読み出し、そのプログラムを実行する。これにより、システム１００を所望のステップを実行するシステムとして機能させることが可能である。プロセッサ部１２０は、単一のプロセッサによって実装されてもよいし、複数のプロセッサによって実装されてもよい。

【0057】

メモリ部１５０は、システム１００の処理を実行するために必要とされるプログラムやそのプログラムの実行に必要とされるデータ等を格納する。メモリ部１５０は、特徴マップを出力するための機械学習モデルを作成するための処理をプロセッサ部１２０に行わせるためのプログラム（例えば、後述する図５に示される処理を実現するプログラム）を格納してもよい。メモリ部１５０は、特徴マップを作成する処理をプロセッサ部１２０に行わせるためのプログラム（例えば、後述する図６に示される処理を実現するプログラム）を格納してもよい。メモリ部１５０は、被験者の疾患に関する状態を推定する処理をプロセッサ部１２０に行わせるためのプログラム（例えば、後述する図７に示される処理を実現するプログラム）を格納してもよい。ここで、プログラムをどのようにしてメモリ部１５０に格納するかは問わない。例えば、プログラムは、メモリ部１５０にプリインストールされていてもよい。あるいは、プログラムは、ネットワークを経由してダウンロードされることによってメモリ部１５０にインストールされるようにしてもよい。この場合、ネットワークの種類は問わない。メモリ部１５０は、任意の記憶手段によって実装され得る。あるいは、プログラムは、機械読取可能な記憶媒体に記憶され、その記憶媒体からメモリ部１５０にインストールされるようにしてもよい。

【0058】

例えば、データベース部２００には、複数の学習用画像が格納され得る。複数の学習用画像は、例えば、複数の被験者から得られたデータであり得る。例えば、データベース部２００には、複数の初期クラスタと複数の二次クラスタとの関係が格納され得る。例えば、データベース部２００には、作成された機械学習モデルが格納され得る。例えば、データベース部２００には、作成された特徴マップが格納され得る。

【0059】

図２に示される例では、データベース部２００は、システム１００の外部に設けられているが、本発明はこれに限定されない。データベース部２００の少なくとも一部をシステム１００の内部に設けることも可能である。このとき、データベース部２００の少なくとも一部は、メモリ部１５０を実装する記憶手段と同一の記憶手段によって実装されてもよいし、メモリ部１５０を実装する記憶手段とは別の記憶手段によって実装されてもよい。いずれにせよ、データベース部２００の少なくとも一部は、システム１００のための格納部として構成される。データベース部２００の構成は、特定のハードウェア構成に限定されない。例えば、データベース部２００は、単一のハードウェア部品で構成されてもよいし、複数のハードウェア部品で構成されてもよい。例えば、データベース部２００は、システム１００の外付けハードディスク装置として構成されてもよいし、ネットワーク４００を介して接続されるクラウド上のストレージとして構成されてもよい。

【0060】

図３Ａは、一実施形態におけるプロセッサ部１２０の構成の一例を示す。プロセッサ部１２０は、特徴マップを出力するための機械学習モデルを作成する処理のための構成を有し得る。

【0061】

プロセッサ部１２０は、受信手段１２１と、分類手段１２２と、再分類手段１２３と、作成手段１２４とを備える。

【0062】

受信手段１２１は、複数の学習用画像を受信するように構成されている。受信手段１２１は、例えば、インターフェース部１１０を介してシステム１００の外部から受信された複数の学習用画像を受信することができる。受信手段１２１は、例えば、複数の学習用画像を端末装置３００からインターフェース部１１０を介して受信するようにしてもよいし、複数の学習用画像をデータベース部２００からインターフェース部１１０を介して受信するようにしてもよいし、複数の学習用画像を他のソースからインターフェース部１１０を介して受信するようにしてもよい。受信手段１２１は、例えば、プロセッサ部１２０によって作成された機械学習モデルからの出力に従って分類された画像の少なくとも一部を複数の学習用画像として受信することができる。

【0063】

複数の学習用画像は、作成される機械学習モデルの用途に応じた任意の画像であり得る。例えば、病理組織学的に有用な特徴マップを作成するための機械学習モデルを作成するために、複数の学習用画像は、病理診断用画像であり得る。より具体的には、複数の学習用画像は、組織染色によるＷＳＩを所定の解像度で複数の領域に細分した複数の部分画像であり得る。例えば、放射線診断に有用な特徴マップを作成するための機械学習モデルを作成するために、複数の学習用画像は、放射線画像を所定の解像度で複数の領域に細分した複数の部分画像であり得る。所定の解像度は、任意の解像度であり得、例えば、約２倍の解像度、約５倍の解像度、約１０倍の解像度、約１５倍の解像度、約２０倍の解像度等であり得る。例えば、種々の疾患の分類を出力可能な機械学習モデルを作成するために、複数の学習用画像として、種々の疾患を有する複数の被験者の画像が用いられることができる。具体的には、種々の癌の分類を出力可能な機械学習モデルを作成するために、複数の学習用画像として、種々の癌細胞の画像が用いられることができる。
本発明において学習に用いられるデータは、必ずしも画像データである必要はない。学習用画像の代わりに画像データ以外のデータを用いて本発明の学習に用い、機械学習モデルを作成することも可能である。

【0064】

一例において、間質性肺炎の有無を推定可能な特徴マップを作成するための機械学習モデルを作成するために、複数の学習用画像は、間質性肺炎を有する被験者の組織画像と、間質性肺炎を有しない被験者の組織画像を含み得る。このとき、組織画像は、所定の解像度で複数の領域に細分されて複数の部分画像にされ得る。

【0065】

複数の学習用画像は、分類手段１２２に渡される。

【0066】

分類手段１２２は、複数の学習用画像の各々を複数の初期クラスタのうちのそれぞれの初期クラスタに分類するように構成されている。分類手段１２２は、初期機械学習モデルを用いて、複数の学習用画像の各々を複数の初期クラスタのうちのそれぞれの初期クラスタに分類することができる。

【0067】

初期機械学習モデルは、少なくとも、入力された１つの画像からその画像の特徴量を出力するように学習させられた任意の機械学習モデルである。初期機械学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）をベースとする機械学習モデルであり得る。より具体的には、ＣＮＮは、例えば、ＲｅｓＮｅｔ１８であり得る。

【0068】

初期機械学習モデルを構築する手法は問わない。初期機械学習モデルは、例えば、教師あり学習によって構築されてもよいし、教師なし学習によって構築されてもよい。好ましくは、初期機械学習モデルは、自己教師あり学習（Ｓｅｌｆ－Ｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）によって構築され得る。一例において、ＣＮＮをベースとする機械学習モデルに、自己教師あり学習によって、複数の初期学習用画像を学習させる。複数の初期学習用画像は、複数の学習用画像と同じ画像であってもよいし、類似する画像であってもよい。自己教師あり学習を用いることで、複数の学習用画像の各々にラベルを付す必要がない。このように学習させられた初期機械学習モデルは、入力された１つの画像からその画像の特徴量を出力するようになる。

【0069】

分類手段１２２は、例えば、クラスタリングモデルを使用して、初期機械学習モデルから出力された特徴量を複数の初期クラスタのうちの１つの初期クラスタに分類することができる。クラスタリングモデルは、任意のクラスタリング手法で、入力された特徴量をクラスタリングするように学習させられている。クラスタリングモデルは、例えば、ｋ－ｍｅａｎｓ法によって、入力された特徴量をクラスタリングすることができる。

【0070】

複数の初期クラスタは、任意の数の初期クラスタを含み得る。例えば、複数の初期クラスタは、５個、８個、１０個、３０個、５０個、８０個、１００個、１２０個等の初期クラスタを含み得る。初期クラスタの数が少なすぎると、同一の初期クラスタ内に異なる意義を有する学習用画像が分類される可能性が高くなり、初期クラスタの数が多すぎると、異なる初期クラスタ内に同一の意義を有する学習用画像が分類される可能性が高くなる。学習用画像の内容に応じて、初期クラスタの適切な数を設定することが好ましい。

【0071】

このように、初期機械学習モデルとクラスタリングモデルとを結合することで、初期機械学習モデルに１つの画像を入力すると、その画像が複数の初期クラスタのうちの１つの初期クラスタに分類されるようになる。

【0072】

上述した例では、初期機械学習モデルとクラスタリングモデルとが別個のモデルであることを説明したが、本発明はこれに限定されない。例えば、初期機械学習モデルは、入力された画像を複数の初期クラスタのうちの１つの初期クラスタに直接分類するものとして構築されるようにしてもよい、すなわち、クラスタリングモデルが初期機械学習モデルに組み込まれるように構築されるようにしてもよい。

【0073】

再分類手段１２３は、複数の初期クラスタの各々に分類された複数の学習用画像に基づいて、複数の初期クラスタを複数の二次クラスタに再分類するように構成されている。再分類手段１２３は、例えば、複数の初期クラスタの各々に分類された複数の学習用画像に基づいて、自動的に再分類を行うようにしてもよいし、外部からの入力に応じて再分類を行うようにしてもよい。ここで、複数の二次クラスタは、例えば、ユーザによって規定されるものであってもよいし、予め設定されるものであってもよいし、動的に変動するものであってもよい。好ましくは、ユーザが、自己の知識に基づいて、複数の二次クラスタを規定することができる。さらに、複数の二次クラスタは、複数の学習用画像の解像度に応じて決定されることが好ましい。例えば、より低い解像度の複数の学習用画像のための複数の二次クラスタは、より高い解像度の複数の学習用画像のための複数の二次クラスタとは異なり得る。例えば、ユーザは、自己の知識に基づいて、複数の学習用画像の解像度に応じて、複数の二次クラスタを決定することができる。

【0074】

外部からの入力に応じて再分類を行う場合、再分類手段１２３は、例えば、ユーザからの入力に応じて再分類を行うことができる。ユーザは、例えば、専門家またはエキスパートであることが好ましい。これにより、専門家またはエキスパートの知識を分類に組み込むことができるようになるからである。例えば、病理学的診断の場合、ユーザが自己の知識に基づいて、病理学的に意味付けされた二次クラスタを規定し、初期クラスタの各々（初期クラスタの全部または一部）を二次クラスタに分類してもよい。

【0075】

再分類手段１２３は、例えば、分類手段１２２によって複数の初期クラスタの各々に分類された複数の学習用画像をユーザに提示することができる。例えば、インターフェース部１１０を介してシステム１００の外部に出力することで、複数の学習用画像をユーザに提示することができる。複数の学習用画像は、例えば、図１Ｂに示されるような態様で、端末装置３００の表示部に表示され得る。ユーザは、これを見て、複数の初期クラスタの各々を複数の二次クラスタのうちのいずれかに対応付けることができる。ユーザがその対応付けのユーザ入力を端末装置３００に入力すると、再分類手段１２３は、インターフェース部１１０を介してその対応付けのユーザ入力を受信することができる。そして、再分類手段１２３は、その対応付けのユーザ入力に基づいて、複数の初期クラスタを複数の二次クラスタに再分類することができる。

【0076】

自動的に再分類を行う場合、再分類手段１２３は、例えば、ルールベースで、複数の初期クラスタを複数の二次クラスタに再分類するようにしてもよいし、別の機械学習モデルを利用して複数の初期クラスタを複数の二次クラスタに再分類するようにしてもよい。

【0077】

作成手段１２４は、複数の初期クラスタと複数の二次クラスタとの関係を初期機械学習モデルに学習させることにより、機械学習モデルを作成するように構成されている。複数の初期クラスタと複数の二次クラスタとの関係を初期機械学習モデルに学習させることは、当該技術分野において公知または将来公知になる手法を用いて行うことができる。作成手段１２４は、例えば、複数の初期クラスタと複数の二次クラスタとの関係を用いて、初期機械学習モデルを転移学習させることによって、機械学習モデルを作成することができる。

【0078】

一例において、作成手段１２４は、ＣＮＮベースの初期機械学習モデルに全結合（ＦＣ）層を付加し、ＦＣ層の重みを最適化することで、複数の初期クラスタと複数の二次クラスタとの関係を初期機械学習モデルに学習させることができる。このとき、ＦＣ層の重みのみならず、ＣＮＮの少なくとも１つの層のパラメータも調節するようにしてもよい。

【0079】

このようにして作成された機械学習モデルは、画像が入力されると、その画像を複数の二次クラスタのうちの１つの二次クラスタに分類することができる。初期クラスタでは意味のある分類ではなかったとしても、二次クラスタに分類することで、意味のある分類を出力することができるようになる。

【0080】

例えば、１つの画像を複数の領域画像に細分し、複数の領域画像をこの機械学習モデルに入力すると、複数の領域画像の各々が、複数の二次クラスタのいずれかに分類されることになる。１つの画像において、複数の領域画像の各々をそれぞれの分類に従って区分することによって、特徴マップが作成され得る。

【0081】

例えば、複数の学習用画像として、種々の疾患を有する複数の被験者の画像を用いて、複数の二次クラスタがそれぞれの疾患を表すようにすると、作成される機械学習モデルは、入力された画像が示す疾患が、どの疾患のクラスタに分類されるかを出力することになる。

【0082】

例えば、未知の疾患を有する被験者から取得された画像をこの機械学習モデルに入力すると、その画像が、複数の疾患を表す複数の二次クラスタのうちのいずれかに分類されることになる。すなわち、どの二次クラスタに分類されたかを見ることでその被験者が有する疾患が何であるかを知ることができるようになる。より具体的な例として、何らかの癌を有する被験者から取得された画像をこの機械学習モデルに入力すると、その画像が、種々の癌を表す複数の二次クラスタのうちのいずれかに分類されることになる。この分類より、医師は、その被験者が有する癌が、肺癌なのか、胃癌なのか、肝臓癌なのか等の診断を行うことができる。

【0083】

プロセッサ部１２０によって作成された機械学習モデルは、例えば、インターフェース部１１０を介してシステム１００の外部に出力される。機械学習モデルは、例えば、インターフェース部１１０を介してデータベース部２００に送信され、データベース部２００に格納されてもよい。あるいは、特徴マップ作成のために、後述するプロセッサ部１３０に送信されてもよい。後述するように、プロセッサ部１３０は、プロセッサ部１２０と同じシステム１００の構成要素であってもよいし、別のシステムの構成要素であってもよい。

【0084】

図３Ｂは、別の実施形態におけるプロセッサ部１３０の構成の一例を示す。プロセッサ部１３０は、特徴マップを作成する処理のための構成を有し得る。プロセッサ部１３０は、上述したプロセッサ部１２０の代替としてシステム１００が備えるプロセッサ部であってもよいし、プロセッサ部１２０に加えてシステム１００が備えるプロセッサ部であってもよい。プロセッサ部１３０がプロセッサ部１２０に加えてシステム１００が備えるプロセッサ部である場合には、プロセッサ部１２０およびプロセッサ部１３０は、同一のプロセッサによって実装されてもよいし、異なるプロセッサによって実装されてもよい。

【0085】

プロセッサ部１３０は、受信手段１３１と、細分手段１３２と、分類手段１３３と、作成手段１３４とを備える。

【0086】

受信手段１３１は、対象画像を受信するように構成されている。対象画像は、特徴マップを作成する対象の画像である。対象画像は、例えば、被験者の身体から取得された任意の画像（例えば、組織染色のＷＳＩ、放射線画像（例えば、ＣＴ等の断層撮影画像）等）であり得る。受信手段１３１は、例えば、インターフェース部１１０を介してシステム１００の外部から受信された対象画像を受信することができる。受信手段１３１は、例えば、対象画像を端末装置３００からインターフェース部１１０を介して受信するようにしてもよいし、対象画像をデータベース部２００からインターフェース部１１０を介して受信するようにしてもよいし、対象画像を他のソースからインターフェース部１１０を介して受信するようにしてもよい。

【0087】

細分手段１３２は、対象画像を複数の領域画像に細分するように構成されている。細分手段１３２は、所定の解像度で、対象画像を複数の領域画像に細分することができる。所定の解像度は、例えば、約２倍の解像度、約５倍の解像度、約１０倍の解像度、約１５倍の解像度、約２０倍の解像度等であり得る。特徴マップの目的に応じて、適切な解像度が選択され得る。細分手段１３２は、画像処理の分野で公知または将来公知の手法を用いて、対象画像を複数の領域画像に細分することができる。

【0088】

分類手段１３３は、複数の領域画像の各々を複数の二次クラスタのうちのそれぞれの二次クラスタに分類するように構成されている。分類手段１３３は、複数の領域画像を機械学習モデルに入力することによって、複数の領域画像の各々をそれぞれの二次クラスタに分類することができる。ここで、機械学習モデルは、入力された画像を複数の二次クラスタのうちの１つの二次クラスタに分類することができる限り、上述したプロセッサ部１２０によって作成された機械学習モデルであってもよいし、別様に作成された機械学習モデルであってもよい。

【0089】

例えば、複数の領域画像のうちの第１の領域画像を機械学習モデルに入力すると、第１の領域画像は、対応する二次クラスタに分類され、複数の領域画像のうちの第２の領域画像を機械学習モデルに入力すると、第２の領域画像は、対応する二次クラスタに分類され、・・・複数の領域画像のうちの第ｎの領域画像を機械学習モデルに入力すると、第ｎの領域画像は、対応する二次クラスタに分類されることになる。

【0090】

作成手段１３４は、対象画像において、複数の領域画像の各々をそれぞれの分類に従って区分することにより、特徴マップを作成するように構成されている。作成手段１３４は、例えば、複数の領域画像のうち、同一の分類に属する領域画像を同一の色で着色することによって、特徴マップを作成することができる。作成手段１３４によって、例えば、図１Ｃ（ｂ）～（ｄ）に示されるような特徴マップが作成され得る。

【0091】

このような特徴マップにより、対象画像内の複数の領域のそれぞれがどのような領域であるかを視覚的に把握することができる。対象画像からでは視覚的に分からない情報でさえも、特徴マップによって視覚的に把握することができるようになる。これは、例えば、病理診断等において特に有用である。

【0092】

プロセッサ部１３０によって作成された特徴マップは、例えば、インターフェース部１１０を介してシステム１００の外部に出力される。特徴マップは、例えば、インターフェース部１１０を介してデータベース部２００に送信され、データベース部２００に格納されてもよい。あるいは、被験者の疾患に関する状態を推定する処理のために、後述するプロセッサ部１４０に送信されてもよい。後述するように、プロセッサ部１４０は、プロセッサ部１３０と同じシステム１００の構成要素であってもよいし、別のシステムの構成要素であってもよい。

【0093】

図３Ｃは、さらに別の実施形態におけるプロセッサ部１４０の構成の一例を示す。プロセッサ部１４０は、被験者の疾患に関する状態を推定する処理のための構成を有し得る。プロセッサ部１４０は、上述したプロセッサ部１２０およびプロセッサ部１３０の代替としてシステム１００が備えるプロセッサ部であってもよいし、上述したプロセッサ部１２０および／またはプロセッサ部１３０に加えてシステム１００が備えるプロセッサ部であってもよい。プロセッサ部１４０がプロセッサ部１２０および／またはプロセッサ部１３０に加えてシステム１００が備えるプロセッサ部である場合には、プロセッサ部１２０、プロセッサ部１３０、およびプロセッサ部１４０は、すべてが同一のプロセッサによって実装されてもよいし、すべてが異なるプロセッサによって実装されてもよいし、プロセッサ部１２０、プロセッサ部１３０、およびプロセッサ部１４０のうちの２つが同一のプロセッサによって実装されてもよい。

【0094】

プロセッサ部１４０は、取得手段１４１と、推定手段１４２とを備える。

【0095】

取得手段１４１は、特徴マップを取得するように構成されている。ここで、取得される特徴マップは、被験者の組織画像から作成された特徴マップである限り、上述したプロセッサ部１３０によって作成された特徴マップであってもよいし、別様に作成された特徴マップであってもよい。例えば、特徴マップを作成する際に用いられる機械学習モデルは、入力された画像を複数の二次クラスタのうちの１つの二次クラスタに分類することができる限り、上述したプロセッサ部１２０によって作成された機械学習モデルであってもよいし、別様に作成された機械学習モデルであってもよい。

【0096】

取得手段１４１は、例えば、複数の特徴マップを取得するようにしてもよい。例えば、複数の特徴マップは、異なる組織から取得された複数の組織画像から作成された複数の特徴マップであり得る。例えば、複数の特徴マップは、異なる種類の複数の組織画像から作成された複数の特徴マップであり得る。例えば、複数の特徴マップは、同一の組織画像から異なる解像度で作成された複数の特徴マップであり得る。複数の特徴マップを利用することにより、後続の推定手段１４３による推定の精度を高めることができる。

【0097】

推定手段１４２は、特徴マップに基づいて、被験者の疾患に関する状態を推定するように構成されている。推定手段１４２は、例えば、特徴マップに基づいて、被験者が何らかの疾患を有しているか否か、あるいは、被験者が特定の疾患（例えば、間質性肺炎（ＩＰ）、通常型間質性肺炎（ＵＩＰ））を有しているか否か、あるいは、被験者が有する特定の疾患がどのタイプの疾患であるか（例えば、いずれの間質性肺炎のタイプであるか）を推定することができる。被験者が間質性肺炎（ＩＰ）であるか否か、通常型間質性肺炎（ＵＩＰ）であるか否か、あるいは、被験者の間質性肺炎がいずれの間質性肺炎のタイプであるかは、例えば、被験者の肺から取得された組織画像から作成された特徴マップに基づいて推定され得る。

【0098】

推定手段１４２は、例えば、特徴マップから抽出される情報に基づいて、被験者の疾患に関する状態を推定することができる。推定手段１４２は、例えば、特徴マップから、複数の二次クラスタの各々の頻度を算出し、算出された頻度に基づいて、疾患に関する状態を推定することができる。複数の二次クラスタの各々の頻度は、複数の二次クラスタのそれぞれの二次クラスタについて、その二次クラスタに属する画像領域の数を数え、画像領域の全体数で正規化することによって算出され得る。推定手段１４２は、例えば、頻度の多い二次クラスタから、被験者の疾患に関する状態を推定することができる。推定手段１４２は、上述した頻度のみならず、特徴マップから抽出される他の任意の情報を利用することができる。推定手段１４２は、例えば、特徴マップ中の各二次クラスタの位置情報も利用することができる。推定手段１４２は、当該技術分野において公知または将来公知の任意の手法を用いて、被験者の疾患に関する状態を推定することができる。推定手段１４２は、例えば、ランダムフォレスト、サポートベクターマシン等の分類器を用いて、被験者の疾患に関する状態を分類して、推定することができる。

【0099】

推定手段１４２は、例えば、特徴マップと被験者の疾患に関する状態との関係を学習させられた推定用機械学習モデルを利用して、被験者の疾患に関する状態を推定することができる。推定用機械学習モデルは、画像に基づく推定を可能なニューラルネットワーク（例えば、ＣＮＮ）をベースとする機械学習モデルであり得る。推定用機械学習モデルは、例えば、或る被験者の特徴マップを入力用教師データとし、その被験者の疾患に関する状態を出力用教師データとして学習させることによって構築され得る。このようにして構築された推定用機械学習モデルに、新たな被験者の特徴マップを入力すると、その被験者の疾患に関する状態が出力される。

【0100】

取得手段１４１が複数の特徴マップを取得した場合、推定手段１４２は、複数の特徴マップに基づいて、被験者の疾患に関する状態を推定することができる。

【0101】

推定手段１４２は、例えば、複数の特徴マップから抽出される情報に基づいて、被験者の疾患に関する状態を推定することができる。推定手段１４２は、例えば、複数の特徴マップのそれぞれから、複数の二次クラスタの各々の頻度を算出し、算出された頻度に基づいて、疾患に関する状態を推定することができる。複数の二次クラスタの各々の頻度は、複数の二次クラスタのそれぞれの二次クラスタについて、複数の特徴マップにわたってその二次クラスタに属する画像領域の数を数え、画像領域の全体数で正規化することによって算出され得る。推定手段１４２は、例えば、頻度の多い二次クラスタから、被験者の疾患に関する状態を推定することができる。推定手段１４２は、上述した頻度のみならず、複数の特徴マップから抽出される他の任意の情報を利用することができる。

【0102】

推定手段１４２は、例えば、特徴マップと被験者の疾患に関する状態との関係を学習させられた推定用機械学習モデルを利用して、被験者の疾患に関する状態を推定することができる。推定用機械学習モデルは、画像に基づく推定を行うことが可能なニューラルネットワーク（例えば、ＣＮＮ）をベースとする機械学習モデルであり得る。推定用機械学習モデルは、例えば、或る被験者の特徴マップを入力用教師データとし、その被験者の疾患に関する状態を出力用教師データとして学習させることによって構築され得る。このようにして構築された推定用機械学習モデルに、新たな被験者の複数の特徴マップを入力すると、それぞれの特徴マップについて、その被験者の疾患に関する状態が出力される。それらの複数の出力に基づいて、その被験者の疾患に関する状態を推定することができる。

【0103】

推定手段１４２は、例えば、複数の特徴マップを用いて、複数の特徴マップのうちの少なくとも１つの特徴マップ中のエラーを特定し、エラーが特定された少なくとも１つの特徴マップを除く少なくとも１つの特徴マップに基づいて、被験者の疾患に関する状態を推定することができる。例えば、複数の特徴マップのうちの第１の特徴マップにおいて、或る領域が分類された二次クラスタが、他の特徴マップの対応する領域が分類された二次クラスタと明らかに矛盾する場合、第１の特徴マップにはエラーがある可能性が高いとみなすことができる。この場合、推定手段１４２は、第１のマップを用いることなく、被験者の疾患に関する状態を推定することができる。エラーを含む可能性が高い特徴マップを除外して推定を行うため、推定の精度を高めることができる。

【0104】

一例において、推定手段１４２は、間質性肺炎を有する被験者の肺の組織画像から作成された特徴マップに基づいて、間質性肺炎のタイプの推定、例えば、間質性肺炎が通常型間質性肺炎であるか否かを推定することができる。本例において、推定手段１４２は、或る被験者の肺の組織画像から作成された特徴マップに含まれる複数の二次クラスタの各々について頻度を算出し、算出された頻度に対してランダムフォレストを行うことで、その被験者の間質性肺炎のタイプの推定、例えば、間質性肺炎が通常型間質性肺炎であるか否かを分類することができる。

【0105】

プロセッサ部１４０はさらに、推定手段１４２によって推定された状態に、複数の二次クラスタのうちの分類が寄与したかを分析することができる。このために、プロセッサ部１４０は、生存時間分析手段１４３と、特定手段１４４とをさらに備え得る。

【0106】

生存時間分析手段１４３は、特徴マップに基づいて、被験者の生存時間分析を行うように構成されている。生存時間分析手段１４３は、当該技術分野において公知または将来公知の任意の手法を用いて、生存時間分析を行うことができる。生存時間分析手段１４３は、例えば、カプランマイヤー法、ログ・ランク検定、コックス比例ハザードモデル等を用いて、被験者の生存時間分析を行うことができる。

【0107】

特定手段１４４は、生存時間分析手段１４３による生存時間分析の結果から、特徴マップ中の複数の二次クラスタのうち、被験者の推定された状態に寄与する少なくとも１つの二次クラスタを特定するように構成されている。特定手段１４４は、例えば、生存時間分析で得られたハザード比が高い二次クラスタを、推定された状態に寄与する二次クラスタとして特定することができる。ハザード比が高い二次クラスタは、例えば、最高のハザード比を有する二次クラスタ、所定の閾値以上のハザード比を有する二次クラスタ等であり得る。

【0108】

このように、推定された状態に寄与する因子が何であるかを分析することで、通常型間質性肺炎等の予後が悪い疾患の被験者に特有の因子を特定することができ、このような因子は、診断の際の指標として利用することができる。これは、正確かつ容易な診断につながり得る。

【0109】

プロセッサ部１４０によって推定された被験者の疾患に関する状態は、例えば、インターフェース部１１０を介してシステム１００の外部に出力される。出力は、例えば、インターフェース部１１０を介して端末装置３００に送信され得る。これにより、端末装置３００を利用する医師は、出力を診断のための指標として利用することができる。

【0110】

上述した例では、プロセッサ部１４０によって被験者の疾患に関する状態を推定することを説明したが、プロセッサ部１４０が推定する対象はこれに限定されない。特徴マップが表す特徴に応じて、任意の事象を推定することができる。

【0111】

なお、上述したシステム１００の各構成要素は、単一のハードウェア部品で構成されていてもよいし、複数のハードウェア部品で構成されていてもよい。複数のハードウェア部品で構成される場合は、各ハードウェア部品が接続される態様は問わない。各ハードウェア部品は、無線で接続されてもよいし、有線で接続されてもよい。本発明のシステム１００は、特定のハードウェア構成には限定されない。プロセッサ部１２０、１３０、１４０をデジタル回路ではなくアナログ回路によって構成することも本発明の範囲内である。本発明のシステム１００の構成は、その機能を実現できる限りにおいて上述したものに限定されない。

【0112】

図４は、端末装置３００の構成の一例を示す。

【0113】

端末装置３００は、インターフェース部３１０と、入力部３２０と、表示部３３０と、メモリ部３４０と、プロセッサ部３５０とを備える。

【0114】

インターフェース部３１０は、ネットワーク４００を介した通信を制御する。端末装置３００のプロセッサ部３５０は、インターフェース部３１０を介して、端末装置３００の外部から情報を受信することが可能であり、端末装置３００の外部に情報を送信することが可能である。インターフェース部３１０は、任意の方法で通信を制御し得る。

【0115】

入力部３２０は、ユーザが情報を端末装置３００に入力することを可能にする。入力部３２０が、どのような態様で、ユーザが情報を端末装置３００に入力することを可能にするかは問わない。例えば、入力部３２０がタッチパネルである場合には、ユーザがタッチパネルにタッチすることによって情報を入力するようにしてもよい。あるいは、入力部３２０がマウスである場合には、ユーザがマウスを操作することによって情報を入力するようにしてもよい。あるいは、入力部３２０がキーボードである場合には、ユーザがキーボードのキーを押下することによって情報を入力するようにしてもよい。あるいは、入力部がマイクである場合には、ユーザがマイクに音声を入力することによって情報を入力するようにしてもよい。あるいは、入力部がデータ読み取り装置である場合には、コンピュータシステム１００に接続された記憶媒体から情報を読み取ることによって情報を入力するようにしてもよい。

【0116】

表示部３３０は、情報を表示するための任意のディスプレイであり得る。例えば、表示部３３０には、図１Ｂに示されるような初期クラスタの画像が表示され得る。

【0117】

メモリ部３４０には、端末装置３００における処理を実行するためのプログラムやそのプログラムの実行に必要とされるデータ等が格納されている。メモリ部３４０には、任意の機能を実装するアプリケーションが格納されていてもよい。ここで、プログラムをどのようにしてメモリ部３４０に格納するかは問わない。例えば、プログラムは、メモリ部３４０にプリインストールされていてもよい。あるいは、プログラムは、ネットワーク４００を経由してダウンロードされることによってメモリ部３４０にインストールされるようにしてもよい。メモリ部３４０は、任意の記憶手段によって実装され得る。

【0118】

プロセッサ部３５０は、端末装置３００全体の動作を制御する。プロセッサ部３５０は、メモリ部３４０に格納されているプログラムを読み出し、そのプログラムを実行する。これにより、端末装置３００を所望のステップを実行する装置として機能させることが可能である。プロセッサ部３５０は、単一のプロセッサによって実装されてもよいし、複数のプロセッサによって実装されてもよい。

【0119】

図４に示される例では、端末装置３００の各構成要素が端末装置３００内に設けられているが、本発明はこれに限定されない。端末装置３００の各構成要素のいずれかが端末装置３００の外部に設けられることも可能である。例えば、入力部３２０、表示部３３０、メモリ部３４０、プロセッサ部３５０のそれぞれが別々のハードウェア部品で構成されている場合には、各ハードウェア部品が任意のネットワークを介して接続されてもよい。このとき、ネットワークの種類は問わない。各ハードウェア部品は、例えば、ＬＡＮを介して接続されてもよいし、無線接続されてもよいし、有線接続されてもよい。端末装置３００は、特定のハードウェア構成には限定されない。例えば、プロセッサ部３５０をデジタル回路ではなくアナログ回路によって構成することも本発明の範囲内である。端末装置３００の構成は、その機能を実現できる限りにおいて上述したものに限定されない。

【0120】

３．特徴マップを出力するための機械学習モデルを作成するためのシステムにおける処理
図５は、システム１００における処理の一例を示す。処理５００は、特徴マップを出力するための機械学習モデルを作成するための処理である。処理５００は、システム１００のプロセッサ部１２０において実行される。

【0121】

ステップＳ５０１では、プロセッサ部１２０の受信手段１２１が、複数の学習用画像を受信する。受信手段１２１は、例えば、インターフェース部１１０を介してシステム１００の外部から受信された複数の学習用画像を受信することができる。受信手段１２１は、例えば、複数の学習用画像を端末装置３００からインターフェース部１１０を介して受信するようにしてもよいし、複数の学習用画像をデータベース部２００からインターフェース部１１０を介して受信するようにしてもよいし、複数の学習用画像を他のソースからインターフェース部１１０を介して受信するようにしてもよい。例えば、受信手段１２１は、後述するステップＳ５０３で複数の二次クラスタのうちの少なくとも１つの二次クラスタに再分類された複数の学習用画像の一部（例えば、「その他」の二次クラスタに再分類された学習用画像）を受信することができる。例えば、受信手段１２１は、後述するステップＳ５０４で作成された機械学習モデルによって複数の二次クラスタのうちの少なくとも１つの二次クラスタに分類された複数の画像（例えば、「その他」の二次クラスタに分類された画像）を受信することができる。

【0122】

複数の学習用画像は、作成される機械学習モデルの用途に応じた任意の画像であり得る。例えば、病理組織学的に有用な特徴マップを作成するための機械学習モデルを作成するために、複数の学習用画像は、組織染色によるＷＳＩを所定の解像度で複数の領域に細分した複数の部分画像であり得る。例えば、放射線診断に有用な特徴マップを作成するための機械学習モデルを作成するために、複数の学習用画像は、放射線画像を所定の解像度で複数の領域に細分した複数の部分画像であり得る。所定の解像度は、任意の解像度であり得、例えば、約２倍の解像度、約５倍の解像度、約１０倍の解像度、約１５倍の解像度、約２０倍の解像度等であり得る。

【0123】

ステップＳ５０２では、プロセッサ部１２０の分類手段１２２が、ステップＳ５０２で受信された複数の学習用画像の各々を複数の初期クラスタのうちのそれぞれの初期クラスタに分類する。分類手段１２２は、初期機械学習モデルを用いて、複数の学習用画像の各々を複数の初期クラスタのうちのそれぞれの初期クラスタに分類することができる。初期機械学習モデルは、少なくとも、入力された１つの画像からその画像の特徴量を出力するように学習させられた任意の機械学習モデルであり得る。分類手段１２２は、例えば、初期機械学習モデルと、初期機械学習モデルの出力を初期クラスタにクラスタリングするクラスタリングモデルとを組み合わせて、分類を行うようにしてもよいし、入力された画像を複数の初期クラスタのうちの１つの初期クラスタに直接分類するものとして構築された初期機械学習モデルを用いて、分類を行うようにしてもよい。

【0124】

ステップＳ５０３では、プロセッサ部１２０の再分類手段１２３が、ステップＳ５０２で分類された複数の学習用画像に基づいて、複数の初期クラスタを複数の二次クラスタに再分類する。再分類手段１２３は、例えば、複数の初期クラスタの各々に分類された複数の学習用画像に基づいて、自動的に再分類を行うようにしてもよいし、外部からの入力に応じて再分類を行うようにしてもよい。

【0125】

外部からの入力に応じて再分類を行う場合、ステップＳ５０３では、再分類手段１２３が、ステップＳ５０２で分類された複数の学習用画像をユーザ（例えば、専門家またはエキスパート）に提示するステップと、複数の初期クラスタの各々を複数の二次クラスタのうちのいずれかに対応付けるユーザ入力を受信するステップと、ユーザ入力に基づいて、複数の初期クラスタを複数の二次クラスタに再分類するステップとを含むことができる。例えば、提示するステップでは、再分類手段１２３は、インターフェース部１１０を介してシステム１００の外部に複数の学習用画像を出力することで、複数の学習用画像をユーザに提示することができる。複数の学習用画像は、例えば、図１Ｂに示されるような態様で、端末装置３００の表示部に表示され得る。ユーザは、これを見て、複数の初期クラスタの各々を複数の二次クラスタのうちのいずれかに対応付けるユーザ入力を端末装置３００に入力することができる。ユーザ入力を受信するステップでは、再分類手段１２３は、インターフェース部１１０を介してユーザ入力を受信することができる。

【0126】

自動的に再分類を行う場合、再分類手段１２３は、例えば、ルールベースで、複数の初期クラスタを複数の二次クラスタに再分類するようにしてもよいし、別の機械学習モデルを利用して複数の初期クラスタを複数の二次クラスタに再分類するようにしてもよい。

【0127】

ステップＳ５０４では、プロセッサ部１２０の作成手段１２４が、複数の初期クラスタと複数の二次クラスタとの関係を初期機械学習モデルに学習させることにより、機械学習モデルを作成する。作成手段１２４は、例えば、複数の初期クラスタと複数の二次クラスタとの関係を用いて、初期機械学習モデルを転移学習させることによって、機械学習モデルを作成することができる。

【0128】

上述した処理５００によって、特徴マップを出力するための機械学習モデルが作成される。このようにして作成された機械学習モデルは、画像が入力されると、その画像を複数の二次クラスタのうちの１つの二次クラスタに分類することができる。初期クラスタでは意味のある分類ではなかったとしても、二次クラスタに分類することで、意味のある分類を出力することができるようになる。これにより、意味のある分類でもって特徴モデルを作成し、出力することができるようになる。作成された機械学習モデルは、後述する処理６００、処理７００において利用され得る。

【0129】

例えば、ステップＳ５０４の前に、ステップＳ５０３で複数の二次クラスタのうちの少なくとも１つの二次クラスタに再分類された複数の学習用画像の一部（例えば、「その他」の二次クラスタに再分類された学習用画像）を用いて、ステップＳ５０１～ステップＳ５０３を繰り返すようにしてもよい。これにより、ステップＳ５０４で、その二次クラスタに分類された画像を細分類することが可能な機械学習モデルを作成することができるようになる。例えば、「その他」の二次クラスタに分類された画像は、有用ではないとみなされ得るか、あるいは、「アーチファクト」または「ノイズ」としてみなされる。しかしながら、「その他」の二次クラスタに分類された画像を用いて、ステップＳ５０１～ステップＳ５０３を繰り返すことによって、真に有用ではない画像と、それ以外の画像とを分類することが可能な機械学習モデルを作成することができる。例えば、画像中に目印のために用いられたインクを表すものとして二次クラスタに分類された画像に対して、ステップＳ５０１～ステップＳ５０３を繰り返すことにより、インクを表す画像と、インクではない画像とをより正確に分類することができる。

【0130】

これにより、「その他」の二次クラスタとして埋もれていた画像から、有用な情報を取得することができることがある。あるいは、「アーチファクト」または「ノイズ」としてみなされていた画像から、「アーチファクト」または「ノイズ」ではないものを抽出することができることがある。

【0131】

これは、例えば、処理５００によって作成された機械学習モデルによって複数の二次クラスタのうちの少なくとも１つの二次クラスタに分類された画像（例えば、「その他」の二次クラスタに分類された画像）を用いて、処理５００を繰り返すことによっても達成することができる。この場合、機械学習モデルによる出力にはノイズが含まれ得ることに留意すべきである。

【0132】

例えば、処理５００によって作成された機械学習モデルによって複数の二次クラスタのうちの少なくとも１つの二次クラスタに分類された画像（例えば、「その他」の二次クラスタに分類された画像）を、再度機械学習モデルに入力することにより、その二次クラスタに分類された画像を細分類することもできる。

【0133】

図１３は、細胞にインクで目印をつけた画像（ａ）と、その画像から作成された特徴マップを示す。

【0134】

本例では、機械学習モデルによって「アーチファクト」に分類された部分画像を再度機械学習モデルに入力し、その出力で「アーチファクト」に分類された部分画像を再度機械学習モデルに入力するという処理を繰り返した。

【0135】

図１３から、アーチファクトの部分が明確に分離されていることがわかる。このようにしてアーチファクトの部分を明確に分離することができると、アーチファクト以外の部分、すなわち、着目部分の分類精度も高まり得る。

【0136】

なお、上述した例では、特徴マップを出力するための機械学習モデルが作成されることを説明したが、作成された機械学習モデルの用途は、特徴マップを出力することに限定されない。例えば、被験者の疾患の種類を判定するために用いられることができる。例えば、医師は、機械学習モデルからの出力を指標として、被験者の疾患を診断することができる。

【0137】

被験者の疾患の種類を判定するための機械学習モデルを作成する場合、ステップＳ５０１では、プロセッサ部１２０の受信手段１２１が、複数の学習用画像として、種々の疾患を有する複数の被験者の画像を受信する。例えば、複数の学習用画像は、肺癌を有する被験者から取得された画像、胃癌を有する被験者から取得された画像、肝臓癌を有する被験者から取得された画像、・・・を含み得る。画像は、例えば、組織染色のＷＳＩであってもよいし、高解像度断層撮影画像または胸部単純Ｘ線撮影画像であってもよい。

【0138】

ステップＳ５０２では、プロセッサ部１２０の分類手段１２２が、ステップＳ５０２で受信された複数の学習用画像の各々を複数の初期クラスタのうちのそれぞれの初期クラスタに分類する。

【0139】

ステップＳ５０３では、プロセッサ部１２０の再分類手段１２３が、ステップＳ５０２で分類された複数の学習用画像に基づいて、複数の初期クラスタを複数の二次クラスタに再分類する。再分類手段１２３は、例えば、複数の初期クラスタの各々に分類された複数の学習用画像に基づいて、自動的に再分類を行うようにしてもよいし、外部からの入力に応じて再分類を行うようにしてもよい。再分類手段１２３は、各々が１つの疾患に対応する複数の二次クラスタに再分類することができる。例えば、第１の二次クラスタは、肺癌に対応し、第２の二次クラスタは、胃癌に対応し、第３の二次クラスタは、肝臓癌に対応し、・・・等、各二次クラスタがそれぞれの癌に対応することになる。これは、例えば、ユーザ（例えば、専門家またはエキスパート）が、それぞれの画像を見て、複数の初期クラスタの各々を複数の二次クラスタのうちのいずれかに対応付けるユーザ入力を端末装置３００に入力することによって行われ得る。

【0140】

ステップＳ５０４では、プロセッサ部１２０の作成手段１２４が、複数の初期クラスタと複数の二次クラスタとの関係を初期機械学習モデルに学習させることにより、機械学習モデルを作成する。

【0141】

このようにして作成された機械学習モデルに、疾患が未知である被験者から取得された画像を入力すると、その画像が、どの二次クラスタに分類されるかが出力されることになり、これにより、医師は、その二次クラスタが対応する疾患が、その被験者が有する疾患であると判断することができる。

【0142】

図６は、システム１００における処理の別の一例を示す。処理６００は、特徴マップを作成する処理である。処理６００は、システム１００のプロセッサ部１３０において実行される。

【0143】

ステップＳ６０１では、プロセッサ部１３０の受信手段１３１が、対象画像を受信する。受信手段１３１は、例えば、インターフェース部１１０を介してシステム１００の外部から受信された対象画像を受信することができる。受信手段１３１は、例えば、対象画像を端末装置３００からインターフェース部１１０を介して受信するようにしてもよいし、対象画像をデータベース部２００からインターフェース部１１０を介して受信するようにしてもよいし、対象画像を他のソースからインターフェース部１１０を介して受信するようにしてもよい。

【0144】

対象画像は、特徴マップを作成する対象の画像である。対象画像は、例えば、被験者の身体から取得された任意の画像（例えば、組織の組織染色ＷＳＩ、放射線画像等）であり得る。

【0145】

ステップＳ６０２では、プロセッサ部１３０の細分手段１３２が、ステップＳ６０１で受信された対象画像を複数の領域画像に細分する。細分手段１３２は、所定の解像度で、対象画像を複数の領域画像に細分することができる。所定の解像度は、例えば、約２倍の解像度、約５倍の解像度、約１０倍の解像度、約１５倍の解像度、約２０倍の解像度等であり得る。対象画像は、作成される特徴マップの目的に応じて、適切な解像度で細分され得る。

【0146】

ステップＳ６０３では、プロセッサ部１３０の分類手段１３３が、ステップＳ６０２で細分された複数の領域画像の各々を複数の二次クラスタのうちのそれぞれの二次クラスタに分類する。分類手段１３３は、複数の領域画像を機械学習モデルに入力することによって、複数の領域画像の各々をそれぞれの二次クラスタに分類することができる。機械学習モデルは、処理５００によって作成された機械学習モデルであってもよいし、別様に作成された機械学習モデルであってもよい。二次クラスタは、専門家またはエキスパートの知識を反映した分類であり得るため、分類手段１３３による分類は、専門家またはエキスパートの知識が組み込まれたものとなり得る。

【0147】

ステップＳ６０４では、プロセッサ部１３０の作成手段１３４が、対象画像において、複数の領域画像の各々をそれぞれの分類に従って区分することにより、特徴マップを作成する。ステップＳ６０４では、作成手段１３４は、例えば、複数の領域画像のうち、同一の分類に属する領域画像を同一の色で着色することによって、特徴マップを作成することができる。

【0148】

このような特徴マップにより、対象画像内の複数の領域のそれぞれがどのような領域であるかを視覚的に把握することができる。対象画像からでは視覚的に分からない情報でさえも、特徴マップによって視覚的に把握することができるようになる。また、特徴マップ中の区分は、専門家またはエキスパートの知識を反映した分類に従い得るため、特徴マップは、専門家またはエキスパートの知識が組み込まれたものとなり得る。

【0149】

上述した処理６００によって、特徴マップが作成される。このようにして作成された特徴マップは、後述する処理７００において利用され得る。

【0150】

図７は、システム１００における処理の別の一例を示す。処理７００は、被験者の疾患に関する状態を推定する処理である。処理７００は、システム１００のプロセッサ部１４０において実行される。

【0151】

ステップ７０１では、プロセッサ部１４０の取得手段１４１が、特徴マップを取得する。特徴マップは、被験者の組織画像から作成された特徴マップである。特徴マップは、処理６００によって作成された特徴マップであってもよいし、別様に作成された特徴マップであってもよい。

【0152】

取得手段１４１は、例えば、複数の特徴マップを取得するようにしてもよい。

【0153】

ステップＳ７０２では、プロセッサ部１４０の推定手段１４２が、特徴マップに基づいて、被験者の疾患に関する状態を推定する。ステップＳ７０２では、例えば、推定手段１４２は、被験者が何らかの疾患を有しているか否か、あるいは、被験者が特定の疾患（例えば、間質性肺炎（ＩＰ）、通常型間質性肺炎（ＵＩＰ））を有しているか否か、あるいは、被験者が有する特定の疾患がどのタイプの疾患であるか（例えば、いずれの間質性肺炎のタイプであるか）、あるいは、被験者が有する特定の疾患の重篤度（例えば、いずれかの間質性肺炎の重篤度）を推定することができる。被験者が間質性肺炎（ＩＰ）であるか否か、通常型間質性肺炎（ＵＩＰ）であるか否か、あるいは、被験者の間質性肺炎がいずれの間質性肺炎のタイプであるか、あるいは、被験者の間質性肺炎の重篤度は、例えば、被験者の肺から取得された組織画像から作成された特徴マップに基づいて推定され得る。

【0154】

推定手段１４２は、特徴マップから抽出される情報に基づいて、被験者の疾患に関する状態を推定することができる。特徴マップから抽出される情報は、例えば、複数の二次クラスタの各々の頻度であってもよいし、特徴マップ中の各二次クラスタの位置情報であってもよいし、特徴マップの画像自体であってもよい。

【0155】

ステップＳ７０１で複数の特徴マップが取得された場合、ステップＳ７０２では、推定手段１４２は、複数の特徴マップに基づいて、被験者の疾患に関する状態を推定することができる。

【0156】

推定手段１４２は、例えば、複数の特徴マップから抽出される情報に基づいて、被験者の疾患に関する状態を推定するようにしてもよいし、複数の特徴マップを用いて、複数の特徴マップのうちの少なくとも１つの特徴マップ中のエラーを特定し、エラーが特定された少なくとも１つの特徴マップを除く少なくとも１つの特徴マップに基づいて、被験者の疾患に関する状態を推定するようにしてもよい。複数の特徴マップを利用することにより、推定に用いる情報が増え、かつ／または、エラーの少ない情報を用いることができるため、推定の精度を高めることができる。

【0157】

処理７００によって推定された被験者の状態は、例えば、医師に提供され、医師は、これを診断のための指標として利用することができる。処理７００によって推定された被験者の状態は、専門家またはエキスパートの知識が組み込まれたものであり得る特徴マップに従って推定されたものであるため、精度および信頼性が高いものとなり得る。

【0158】

処理７００は、さらに、ステップＳ７０２で推定された状態に、複数の二次クラスタのうちのどの分類が寄与したかを分析するために、ステップＳ７０３、ステップＳ７０４を含むことができる。

【0159】

ステップＳ７０３では、プロセッサ部１４０の生存時間分析手段１４３が、特徴マップに基づいて、被験者の生存時間分析を行う。生存時間分析手段１４３は、例えば、カプランマイヤー法、ログ・ランク検定、コックス比例ハザードモデル等を用いて、被験者の生存時間分析を行うことができる。

【0160】

ステップＳ７０４では、プロセッサ部１４０特定手段１４４が、ステップＳ７０３での生存時間分析の結果から、特徴マップ中の複数の二次クラスタのうち、被験者の推定された状態に寄与する少なくとも１つの二次クラスタを特定する。特定手段１４４は、例えば、ステップＳ７０３での生存時間分析で得られたハザード比が高い二次クラスタ（例えば、最高のハザード比を有する二次クラスタ、所定の閾値以上のハザード比を有する二次クラスタ等）を、推定された状態に寄与する二次クラスタとして特定することができる。

【0161】

このように、推定された状態に寄与する因子が何であるかを分析することで、通常型間質性肺炎等の予後が悪い疾患の被験者に特有の因子を特定することができ、このような因子は、診断の際の指標として利用することができる。これは、正確かつ容易な診断につながり得る。

【0162】

図５、図６、図７を参照して上述した例では、特定の順序で処理が行われることを説明したが、各処理の順序は説明されたものに限定されず、論理的に可能な任意の順序で行われ得る。

【0163】

図５、図６、図７を参照して上述した例では、図５、図６、図７に示される各ステップの処理は、プロセッサ部１２０、プロセッサ部１３０、またはプロセッサ部１４０とメモリ部１５０に格納されたプログラムとによって実現することが説明されたが、本発明はこれに限定されない。図５、図６、図７に示される各ステップの処理のうちの少なくとも１つは、制御回路などのハードウェア構成によって実現されてもよい。あるいは、図５、図６、図７に示される各ステップのうちの少なくとも１つは、人がコンピュータシステムまたは計測機器を用いて行うようにしてもよい。

【0164】

上述した例では、システム１００がサーバ装置として実装されることを例に説明してきたが、本発明は、これに限定されない。システム１００は、任意の情報端末装置（例えば、端末装置３００）によって実装されることもできる。

【0165】

上述した例では、機械学習モデルを用いて特徴マップを出力することを説明したが、本発明のシステム１００によって出力される機械学習モデルは、特徴マップ専用の機械学習モデルに限定されない。システム１００は、分類用の機械学習モデルを作成するために利用されることができる。システム１００は、画像以外の任意の学習用データを初期機械学習モデルに学習させることにより、画像以外のデータであっても、意味のある分類を出力することが可能な機械学習モデルを作成することができる。これは、複数の学習用画像が複数の学習用データとなることを除いて、上述した処理５００と同様の処理によって達成されることができる。

【0166】

例えば、学習用データとして、遺伝子配列データを利用することができる。この場合、再分類手段１２３は、遺伝学の専門家またはエキスパートによるユーザ入力を受信して、これに従って再分類することが好ましい。このようにして作成された機械学習モデルは、遺伝学的に意味のある分類で、入力された遺伝子配列データを分類することができるようになる。

【0167】

例えば、学習用データとして、病理レポートデータを利用することができる。この場合、再分類手段１２３は、病理学の専門家またはエキスパートによるユーザ入力を受信して、これに従って再分類することが好ましい。これによって作成された機械学習モデルは、病理レポートとして意味のある分類で、入力された病理レポートデータを分類することができるようになる。

【0168】

上述した例では、特徴マップを用いて被験者の疾患に関する状態を推定することを説明したが、本発明のシステム１００は、他の任意の状態を推定することもできる。例えば、医療処置（例えば、手術、薬剤投与等）による治療効果の判定、医療処置（例えば、手術、薬剤投与等）による生命予後予測を行うこともできる。

【0169】

本発明は、上述した実施形態に限定されるものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。

【実施例】

【0170】

（初期機械学習モデルの作成）
ライカバイオシステムズ製Ａｐｅｒｉｏ ＣＳ２スキャナを用いて、組織染色のＷＳＩを２０倍の倍率でスキャンした。ＷＳＩには、間質性肺炎ファミリに属する疾患（ＩＰＦ／ＵＩＰ、関節リウマチ、全身性硬化症、びまん性肺胞障害、胸膜肺実質線維弾性症、器質性肺炎、サルコイドーシスの症状）を有する被験者５３名（男性３１名、女性２２名、平均年齢５９．５７歳（標準偏差１１．９１））からの画像が含まれていた。ＷＳＩを、２．５倍の解像度、５倍の解像度、２０倍の解像度で、２８０×２８０ピクセルの画像に細分した。

【0171】

１５１枚のＷＳＩを用いて、２．５倍の解像度、５倍の解像度、２０倍の解像度のそれぞれの細分された画像による自己教師あり学習によって初期機械学習モデルを作成した。初期機械学習モデルのベースとして、１２８次元のベクトルからなる特徴量を出力するＣＮＮ（ＲｅｓＮｅｔ１８）を利用した。

【0172】

このとき、各画像を、ランダムにひっくり返し、または、０°～２０°の間で回転させることにより、学習用データを拡張した。さらに、ＲｅｓＮｅｔ１８の元の次元に合うように、２４４×２４４のサイズにランダムに切り取った。

【0173】

（クラスタリング）
初期機械学習モデルに、１５１枚のＷＳＩを用いて、２．５倍の解像度、５倍の解像度、２０倍の解像度のそれぞれの細分された画像を入力し、それぞれを１２８次元のベクトルに量子化した。それぞれの１２８次元のベクトルについて、ｋ－ｍｅａｎｓ法により、クラスタリングすることにより、複数の初期クラスタのそれぞれの初期クラスタに分類した。

【0174】

（再分類）
初期クラスタに分類された画像を２名の病理医に提示し、病理医に、病理学的に意味のある二次クラスタに再分類させた。

【0175】

（機械学習モデルの作成）
再分類の結果を用いて、初期機械学習モデルのＣＮＮをファインチューニングすることによって転移学習した。このとき、全結合層の重みのみならず、前層のパラメータも最適化した。

【0176】

（機械学習モデルの使用）
１８２の肺生検例からのＷＳＩを上記の機械学習モデルに入力し、得られた分類に基づいて、特徴マップを作成した。

【0177】

図８は、その結果の一例を示している。

【0178】

図８では、入力されたＷＳＩ、２．５倍の解像度で作成された機械学習モデルからの出力に従って作成した特徴マップ、５倍の解像度で作成された機械学習モデルからの出力に従って作成した特徴マップ、２０倍の解像度で作成された機械学習モデルからの出力に従って作成した特徴マップが示されている。医師に、これらの特徴マップから被験者の疾患を診断させた。

【0179】

Ｃａｓｅ１では、被験者は、その特徴マップから、Ｄｅｆｉｎｉｔｅ ＵＩＰ、および、ＵＩＰ／ＩＰＦであると診断された。
Ｃａｓｅ２では、被験者は、その特徴マップから、Ｐｒｏｂａｂｌｅ ＵＩＰ、および、ＳＳｃ－ＩＰであると診断された。
Ｃａｓｅ３では、被験者は、その特徴マップから、Ｄｅｆｉｎｉｔｅ ＮＳＩＰであると診断された。
Ｃａｓｅ４では、被験者は、その特徴マップから、Ｃｅｌｌｕｌａｒ ａｎｄ ｆｉｂｒｏｔｉｃ ＮＳＩＰであると診断された。

【0180】

（ＵＩＰ診断１）
上記の機械学習モデルの出力を利用して、５倍の解像度で作成した特徴マップに含まれる複数の所見（二次クラスタ）に基づいて、ＵＩＰであるか否かを推定した。また、比較例として、初期機械学習モデルからの出力をクラスタリングした結果に基づいて、ＵＩＰであるか否かを推定した。クラスタリングにおけるクラスタの数を、４、８、１０、２０、３０、５０、８０と変動させて、それぞれの場合でＵＩＰであるか否かを推定した。推定は、ランダムフォレストを用いて行った。

【0181】

図９Ａは、上記の機械学習モデルの出力に基づいた推定の結果を示し、図９Ｂは、初期機械学習モデルの出力に基づいた推定の結果を示す。

【0182】

図９Ａ（ａ）は、ランダムフォレストにおける各特徴量の重要度を算出した結果を示す表であり、ここでは、ＵＩＰ予測に対する各所見（二次クラスタ）の重要度を示している。本例では、「CellularIP/NSIP」および「Acellular fibrosis」という所見（二次クラスタ）が、ＵＩＰであるか否かの推定に重要であったことを示した。

【0183】

図９Ａ（ｂ）は、ＲＯＣ曲線（Receiver Operating Characteristic curve、受信者動作特性曲線）を示している。ＡＵＣ（Area Under the Curve、曲線下面積）は、推定の精度を表し、０．９０と高い値であった。

【0184】

図９Ｂでは、初期機械学習モデルによる出力からの推定では、ＡＵＣがせいぜい０．６５（クラスタ数８の場合）であった。上記の機械学習モデルの出力に基づいた推定の精度が、初期機械学習モデルの出力に基づいた推定の精度よりも有意に高かったことが分かる。

【0185】

（ＵＩＰ診断２）
２．５倍の解像度で作成した特徴マップ、５倍の解像度で作成した特徴マップ、２０倍の解像度で作成した特徴マップのそれぞれおよびそれらの組み合わせを用いて、それぞれの特徴マップに含まれる複数の所見（二次クラスタ）に基づいて、ＵＩＰであるか否かを推定した。ランダムフォレストを用いて推定を行った。

【0186】

図１０は、その結果を示す。２．５倍の解像度で作成した特徴マップを用いてＵＩＰ推定を行った場合、ＡＵＣは、０．６８であった。５倍の解像度で作成した特徴マップを用いてＵＩＰ推定を行った場合、ＡＵＣは、０．９０であった。２０倍の解像度で作成した特徴マップを用いてＵＩＰ推定を行った場合、ＡＵＣは、０．９０であった。２．５倍の解像度で作成した特徴マップと５倍の解像度で作成した特徴マップとを用いてＵＩＰ推定を行った場合、ＡＵＣは、０．８８であった。５の解像度で作成した特徴マップと２０倍の解像度で作成した特徴マップとを用いてＵＩＰ推定を行った場合、ＡＵＣは、０．９２であった。２．５倍の解像度で作成した特徴マップと２０倍の解像度で作成した特徴マップとを用いてＵＩＰ推定を行った場合、ＡＵＣは、０．８９であった。２．５倍の解像度で作成した特徴マップと５倍の解像度で作成した特徴マップと２０倍の解像度で作成した特徴マップとを用いてＵＩＰ推定を行った場合、ＡＵＣは、０．９２であった。このように、２．５倍の解像度で作成した特徴マップを単独で用いた場合を除いて、それぞれの場合で高い精度であったことが分かる。また、図９Ｂに示される初期機械学習モデルの出力に基づいた推定の精度よりも高い精度であったことが分かる。

【0187】

図１１は、２．５倍の解像度で作成した特徴マップと５倍の解像度で作成した特徴マップと２０倍の解像度で作成した特徴マップとの組み合わせを用いて、ＵＩＰ推定を行った結果を示す。

【0188】

図１１（ａ）は、ランダムフォレストにおける各特徴量の重要度を算出した結果を示す表であり、ここでは、ＵＩＰ予測に対する各所見（二次クラスタ）の重要度を示している。本例では、「CellularIP/NSIP」および「Fat」という所見（二次クラスタ）が、ＵＩＰであるか否かの推定に重要であったことを示した。

【0189】

図１１（ｂ）は、ＲＯＣ曲線（Receiver Operating Characteristic curve、受信者動作特性曲線）を示している。ＡＵＣ（Area Under the Curve、曲線下面積）は、図１０に示されたとおり、０．９２と高い値であった。

【0190】

（生命予後分析）
２．５倍の解像度で作成した特徴マップ、５倍の解像度で作成した特徴マップ、２０倍の解像度で作成した特徴マップのすべてを用いて、生命予後（Overall survival）に対する各所見（二次クラスタ）のハザード比（Hazard ratio：ＨＲ）を算出した。コックス比例ハザードモデルを用いて算出を行った。

【0191】

図１２Ａは、病理医によってＵＩＰとして診断された症例について、コックス比例ハザードモデルを用いて算出を行った結果を示す。本例では、「Fibroblastic focus」という所見（二次クラスタ）が予後不良因子であることを示した。すなわち、ＵＩＰとして診断される被験者では、「Fibroblastic focus」という所見があると、予後が悪い可能性が高いことが示された。

【0192】

図１２Ｂは、病理医によってＵＩＰとして診断されなかった症例について、コックス比例ハザードモデルを用いて算出を行った結果を示す。本例では、「Lymphocytes」という所見（二次クラスタ）が予後不良因子であることを示した。すなわち、ＵＩＰとして診断されなかった被験者では、「Lymphocytes」という所見があると、予後が悪い可能性が高いことが示された。

【0193】

このように、本発明の機械学習モデルによって作成される特徴マップを用いると、種々の解析を行うことができ、これを診断に用いることにより、診断の精度を向上させることができる。

【0194】

（ＣＴ画像への適用）
肺のＣＴ画像を用いて、初期機械学習モデルの作成、クラスタリング、および再分類によって機械学習モデルを作成した。

【0195】

６０例の間質性肺炎患者から得られた高解像度ＣＴ画像において、肺野領域を抽出し、この中３２ピクセル×３２ピクセルのパッチを得た。こうして得られたパッチに対し、自己教師あり学習を行うことで、間質性肺炎のＣＴ画像に最適化された特徴抽出器が得られた。

【0196】

得られた特徴抽出器を用いて、同一の６０症例のパッチを特徴量に変換し、クラスタリングを行うことで、複数の初期クラスタを得た。間質性肺炎の専門家がこれらの初期クラスタを統合し、医学的に有意な所見に再編することにより、効率的にタイルに対するラベリングを行うことができた。このラベリングをもとに、パッチを、複数の二次クラスタに対応する所見に分類する機械学習モデルを構築した。

【0197】

図１４は、このようにして構築された機械学習モデルに高解像度ＣＴ画像の肺野領域を入力したときの例を示す。

【0198】

図１４から分かるように、本発明の機械学習モデルを高解像度ＣＴ画像の肺野領域に適用することで、ＣＴの局所的な所見を、医学的に意味のある所見に分類することができた。

【産業上の利用可能性】

【0199】

本発明は、人間の知識を組み込むことが可能な機械学習モデルを提供するものとして有用である。

【符号の説明】

【0200】

１００ システム
１１０ インターフェース部
１２０、１３０、１４０ プロセッサ部
１５０ メモリ部
２００ データベース部
３００ 端末装置
４００ ネットワーク

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12A】

【図12B】

【図13】

【図14】