ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022153142
(43)【公開日】2022-10-12
(54)【発明の名称】情報処理システム、生体試料処理装置及びプログラム
(51)【国際特許分類】
A61B 5/00 20060101AFI20221004BHJP
G16H 30/20 20180101ALI20221004BHJP
【ＦＩ】
A61B5/00 G
G16H30/20
【審査請求】未請求
【請求項の数】21
【出願形態】ＯＬ
(21)【出願番号】P 2021056228
(22)【出願日】2021-03-29
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】笹田 志織
(72)【発明者】
【氏名】相坂 一樹
(72)【発明者】
【氏名】山根 健治
(72)【発明者】
【氏名】榎 潤一郎
(72)【発明者】
【氏名】小林 由幸
(72)【発明者】
【氏名】石井 雅人
(72)【発明者】
【氏名】鈴木 健二
【テーマコード（参考）】
4C117
5L099
【Ｆターム（参考）】
4C117XA01
4C117XB06
4C117XB17
4C117XE42
4C117XJ03
4C117XJ13
4C117XJ17
4C117XJ18
4C117XJ21
4C117XJ27
4C117XJ35
4C117XK03
4C117XK18
4C117XK20
4C117XK33
4C117XL12
5L099AA26
(57)【要約】
【課題】推定精度を向上する。
【解決手段】情報処理システムは、患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量に基づく調整情報を取得する取得部と、前記調整情報に基づき、判定対象である生体試料に対し処理を行う処理部と、前記処理によって取得した測定データを、前記学習済みモデルに入力して診断結果を推定する推定部と、を備える。
【選択図】図９
【解決手段】情報処理システムは、患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量に基づく調整情報を取得する取得部と、前記調整情報に基づき、判定対象である生体試料に対し処理を行う処理部と、前記処理によって取得した測定データを、前記学習済みモデルに入力して診断結果を推定する推定部と、を備える。
【選択図】図９
【特許請求の範囲】
【請求項1】
患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量に基づく調整情報を取得する取得部と、
前記調整情報に基づき、判定対象である生体試料に対し処理を行う処理部と、
前記処理によって取得した測定データを、前記学習済みモデルに入力して診断結果を推定する推定部と、
を備える情報処理システム。
前記調整情報に基づき、判定対象である生体試料に対し処理を行う処理部と、
前記処理によって取得した測定データを、前記学習済みモデルに入力して診断結果を推定する推定部と、
を備える情報処理システム。
【請求項2】
前記学習済みモデルは、複数の前記学習データを含む学習データセットを用いて生成され、
前記取得部は、前記学習データセットに含まれる前記複数の学習データの特徴量についての統計情報に基づいて前記調整情報を取得する
前記処理部による前記処理は、前記調整情報に基づく前記測定データの特徴量の調整である
請求項１に記載の情報処理システム。
前記取得部は、前記学習データセットに含まれる前記複数の学習データの特徴量についての統計情報に基づいて前記調整情報を取得する
前記処理部による前記処理は、前記調整情報に基づく前記測定データの特徴量の調整である
請求項１に記載の情報処理システム。
【請求項3】
前記処理部は、調整後の前記測定データの特徴量が前記複数の学習データの特徴量についての前記統計情報に対して設定された所定の範囲内に入るように、前記測定データの特徴量を調整する
請求項２に記載の情報処理システム。
請求項２に記載の情報処理システム。
【請求項4】
前記所定の範囲は、前記学習済みモデルから出力される推定結果の信頼度があらかじめ設定しておいた値以上となる範囲又は当該値以上となることが見込まれる範囲である
請求項３に記載の情報処理システム。
請求項３に記載の情報処理システム。
【請求項5】
前記処理部は、調整後の前記測定データの特徴量が前記複数の学習データの特徴量についての前記統計情報における中央値、平均値又は重心値に近づくように、前記測定データの特徴量を調整する
請求項２に記載の情報処理システム。
請求項２に記載の情報処理システム。
【請求項6】
前記処理部は、前記複数の学習データの特徴量についての前記統計情報と前記測定データの特徴量とから、前記測定データの特徴量を前記学習データの特徴量に近づけるように変換する変換式を生成し、前記変換式を用いて前記測定データの特徴量を調整する
請求項２に記載の情報処理システム。
請求項２に記載の情報処理システム。
【請求項7】
前記処理部は、画像データを入力とするニューラルネットワークを用いて、前記特徴量が前記学習データの特徴量に近づくように調整された前記測定データを出力し、
前記推定部は、前記学習済みモデルに調整後の前記測定データを入力して診断結果を推定する
請求項２に記載の情報処理システム。
前記推定部は、前記学習済みモデルに調整後の前記測定データを入力して診断結果を推定する
請求項２に記載の情報処理システム。
【請求項8】
前記複数の学習データの特徴量についての前記統計情報に基づいて前記ニューラルネットワークの重みパラメータを調整する前処理推定部をさらに備える
請求項７に記載の情報処理システム。
請求項７に記載の情報処理システム。
【請求項9】
前記学習済みモデルにより推定された前記診断結果を評価し、当該評価に基づいて前記ニューラルネットワークの前記重みパラメータを調整する評価部をさらに備える
請求項８に記載の情報処理システム。
請求項８に記載の情報処理システム。
【請求項10】
前記学習済みモデルにより推定された前記診断結果を評価する評価部をさらに備え、
前記処理部は、互いに異なる複数のニューラルネットワークそれぞれを用いた場合に前記学習済みモデルから出力される診断結果それぞれに対して前記評価部が出力した評価に基づいて、前記複数のニューラルネットワークのうちの１つを選択する
請求項９に記載の情報処理システム。
前記処理部は、互いに異なる複数のニューラルネットワークそれぞれを用いた場合に前記学習済みモデルから出力される診断結果それぞれに対して前記評価部が出力した評価に基づいて、前記複数のニューラルネットワークのうちの１つを選択する
請求項９に記載の情報処理システム。
【請求項11】
前記処理部は、複数のニューラルネットワークそれぞれを用いた場合に前記学習済みモデルから出力される診断結果それぞれに対して前記評価部が出力した評価を提示するユーザインタフェースに対してユーザが選択したニューラルネットワークに基づいて、前記複数のニューラルネットワークのうちの１つを選択する
請求項９に記載の情報処理システム。
請求項９に記載の情報処理システム。
【請求項12】
前記評価部は、前記測定データの特徴量のうち、前記学習済みモデルによる前記診断結果の推定に悪影響を与えている特徴量を特定し、
前記処理部は、前記評価部により特定された前記特徴量をさらに調整する
請求項９に記載の情報処理システム。
前記処理部は、前記評価部により特定された前記特徴量をさらに調整する
請求項９に記載の情報処理システム。
【請求項13】
前記処理部は、前記複数の学習データの特徴量についての前記統計情報と前記測定データの特徴量との関係を提示するユーザインタフェースに対してユーザが入力した前記測定データの特徴量の調整値となるように、前記測定データの特徴量を調整する
請求項２に記載の情報処理システム。
請求項２に記載の情報処理システム。
【請求項14】
前記処理部は、異なる学習データで学習された複数の学習済みモデルのうちから前記測定データの特徴量に近い特徴量を持つ学習データで学習された前記学習済みモデルを選択する
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項15】
前記学習データ及び前記測定データは、画像データであり、
前記特徴量は、明度、色相、ホワイトバランス、ガンマ値及びカラーチャートのうちの少なくとも１つを含む
請求項１に記載の情報処理システム。
前記特徴量は、明度、色相、ホワイトバランス、ガンマ値及びカラーチャートのうちの少なくとも１つを含む
請求項１に記載の情報処理システム。
【請求項16】
ユーザに対して情報を提示する表示部をさらに備え、
前記特徴量は、前記学習データを取得する際の物理的な条件を含み、
前記処理部は、前記測定データの特徴量を前記学習データの特徴量に近づけるために推奨される前記測定データを取得する際の物理的な条件を特定し、
前記表示部は、前記処理部により特定された前記物理的な条件をユーザに提示する
請求項１に記載の情報処理システム。
前記特徴量は、前記学習データを取得する際の物理的な条件を含み、
前記処理部は、前記測定データの特徴量を前記学習データの特徴量に近づけるために推奨される前記測定データを取得する際の物理的な条件を特定し、
前記表示部は、前記処理部により特定された前記物理的な条件をユーザに提示する
請求項１に記載の情報処理システム。
【請求項17】
前記物理的な条件は、前記学習データ又は前記測定データを取得する際の工程においてユーザにより手動で調整されるパラメータである
請求項１６に記載の情報処理システム。
請求項１６に記載の情報処理システム。
【請求項18】
前記学習データ及び前記測定データは、医療画像である
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項19】
コンピュータを機能させるためのプログラムであって、
前記コンピュータを、
患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量を取得する取得部と、
判定対象である生体試料の測定データの特徴量と前記学習データの特徴量の比較結果に基づき、処理部の調整情報を出力する出力部と、
として機能させるためのプログラム。
前記コンピュータを、
患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量を取得する取得部と、
判定対象である生体試料の測定データの特徴量と前記学習データの特徴量の比較結果に基づき、処理部の調整情報を出力する出力部と、
として機能させるためのプログラム。
【請求項20】
患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量に基づく調整情報を取得する取得部と、
前記調整情報に基づき、判定対象である生体試料に対し処理を行う処理部と、
を備える、生体試料処理装置。
前記調整情報に基づき、判定対象である生体試料に対し処理を行う処理部と、
を備える、生体試料処理装置。
【請求項21】
コンピュータを機能させるためのプログラムであって、
前記コンピュータを、
患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量に基づき処理を行った、生体試料の測定データを取得する取得部と、
前記測定データを、前記学習済みモデルに入力して診断結果を推定する推定部と
として機能させるためのプログラム。
前記コンピュータを、
患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量に基づき処理を行った、生体試料の測定データを取得する取得部と、
前記測定データを、前記学習済みモデルに入力して診断結果を推定する推定部と
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理システム、生体試料処理装置及びプログラムに関する。
【背景技術】
【0002】
近年、病理画像等である医療画像から学習モデルによる診断の推定結果を出力することで、医師等による診断を支援する診断支援システムが開発されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０２０／１７４８６３号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、デジタル化された医療画像を用いてＡＩ（Artificial Intelligence）による診断支援を行う際、学習された画像と、診断結果の推定（以下、判定ともいう）に用いたい画像のドメインが異なると、十分な推定精度（判定制度ともいう）が得られない可能性が存在する。
【0005】
そこで本開示は、推定精度を向上することを可能にする情報処理システム、情報処理装置及び情報処理方法を提案する。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本開示に係る一形態の情報処理システムは、患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量に基づく調整情報を取得する取得部と、前記調整情報に基づき、判定対象である生体試料に対し処理を行う処理部と、前記処理によって取得した測定データを、前記学習済みモデルに入力して診断結果を推定する推定部と、を備える。
【図面の簡単な説明】
【0007】
【図1】一実施形態に係る診断支援システムの全体概要例を示す模式図である。
【図2】アナログ工程と、各アナログ工程で使用される機材薬剤、及び、各アナログ工程がデジタルパラメータへ与えると予想される影響の例を示す図である。
【図3】病理ワークフローの具体例を示すフローチャートである。
【図4】一実施形態に係る学習データセット及び特徴パラメータセットの一例を示す図である。
【図5】一実施形態に係る情報処理システムの概略構成例を示すブロック図である。
【図6】一実施形態に係る診断支援システムの概略構成例を示す図である。
【図7】一実施形態に係る導出装置の構成例を示すブロック図である。
【図8】一実施形態に係る学習モデルの学習を説明するための図である。
【図9】一実施形態に係る学習済みモデルを用いて診断結果を推定する場合の動作を説明するための図である。
【図10】一実施形態に係る前処理モデルを用いて第１前処理を実行する場合の動作を説明するための図である。
【図11】一実施形態に係る学習済みモデルの再学習を説明するための図である。
【図12】一実施形態に係るパラメータ調整用ユーザインタフェースの一例を示す図である。
【図13】一実施形態に係るパラメータ調整用ユーザインタフェースの他の一例を示す図である。
【図14】一実施形態に係るモデル管理テーブルの一例を示す図である。
【図15】一実施形態に係るモデル選択用ユーザインタフェースの一例を示す図である。
【図16】本開示に係る技術を実現するコンピュータの一例を示すハードウエア構成図である。
【発明を実施するための形態】
【0008】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0009】
以下に示す項目順序に従って本開示を説明する。
０．はじめに
１．一実施形態
１．１ 全体概要
１．２ 病理ワークフローにおけるアナログ工程について
１．３ 学習データセットの例
１．４ 情報処理システムの概略
１．５ システム構成
１．６ 導出装置
１．７ 学習モデルの学習
１．８ 学習済みモデルを用いた診断結果の推定
１．９ ニューラルネットワークを用いた前処理
１．１０ 前処理モデルの学習（転移学習）
１．１１ 前処理モデルの作成／更新手法
１．１１．１ 学習済みモデルがホワイトボックスである場合
１．１１．２ 前処理モデルがブラックボックスである場合
１．１１．３ その他
１．１２ モデルの選択による推定精度の向上
１．１３ フォーマットの統一
１．１４ デジタルパラメータ調整用のユーザインタフェース例
１．１５ モデル選択用のユーザインタフェース例
２．ハードウエア構成
０．はじめに
１．一実施形態
１．１ 全体概要
１．２ 病理ワークフローにおけるアナログ工程について
１．３ 学習データセットの例
１．４ 情報処理システムの概略
１．５ システム構成
１．６ 導出装置
１．７ 学習モデルの学習
１．８ 学習済みモデルを用いた診断結果の推定
１．９ ニューラルネットワークを用いた前処理
１．１０ 前処理モデルの学習（転移学習）
１．１１ 前処理モデルの作成／更新手法
１．１１．１ 学習済みモデルがホワイトボックスである場合
１．１１．２ 前処理モデルがブラックボックスである場合
１．１１．３ その他
１．１２ モデルの選択による推定精度の向上
１．１３ フォーマットの統一
１．１４ デジタルパラメータ調整用のユーザインタフェース例
１．１５ モデル選択用のユーザインタフェース例
２．ハードウエア構成
【0010】
０．はじめに
医療支援システムの推定精度を向上させるためには膨大な量の医療画像を学習データとして学習モデルを学習（トレーニングともいう）する必要があるが、１つの医療施設で十分な量の医療情報を収集することは難しい。そこで、膨大な学習データを用いて学習された学習モデルを個別の医療施設に導入することが考えられるが、医療施設ごとに医療設備やそのデバイス特性や測定条件等が異なるため、学習モデルの学習に使用された学習データの特徴と個別の医療施設で取得される測定データの特徴とが異なる、すなわち学習データと測定エータとでドメインが異なることが多々あり、十分な精度の診断結果を推定することが困難な場合が存在する。
医療支援システムの推定精度を向上させるためには膨大な量の医療画像を学習データとして学習モデルを学習（トレーニングともいう）する必要があるが、１つの医療施設で十分な量の医療情報を収集することは難しい。そこで、膨大な学習データを用いて学習された学習モデルを個別の医療施設に導入することが考えられるが、医療施設ごとに医療設備やそのデバイス特性や測定条件等が異なるため、学習モデルの学習に使用された学習データの特徴と個別の医療施設で取得される測定データの特徴とが異なる、すなわち学習データと測定エータとでドメインが異なることが多々あり、十分な精度の診断結果を推定することが困難な場合が存在する。
【0011】
そこで以下の実施形態では、病理スライドなどの医療画像が、薄切・染色・スキャニングなどの様々な物理工程を経てデジタル化されることに着目し、これらの工程の差異がパラメータとして反映されたキャリブレーションを行うことで、推定精度の向上を可能にする転移学習を含む前処理を提案する。
【0012】
また、以下の実施形態では、例えば、医療画像を取得する際の測定機器（種類や型式等）やそのデバイス特性や測定条件（環境条件や設定値等を含む）など（以下、これらをまとめて物理的な条件ともいう）で定まるパラメータをデジタル上で調整ができるパラメータと調整ができないパラメータとに分類し、この分類に従って病理のデジタル・アナログ工程の設定（例えば、カバーガラスの種類、病理切片の厚み、薬剤、染色時間など）を変更するように、ユーザにフィードバックを提供するための構成についても提案する。
【0013】
さらに、以下の実施形態では、学習に用いられた画像又はその特徴から精度が確保できる特徴量の範囲を可視化し、変換後の判定対象画像の特徴量がその範囲内に入るかを確認できるようにするための構成についても提案する。その際、変換後の判定対象画像を人が確認できるように提示する手段が提供されてもよい。
【0014】
さらにまた、以下の実施形態では、前例の無い疾患例に対し、この疾患例の画像に最も近い画像群から生成された学習モデルを転移学習させる場合、疾患例の画像と候補となる画像群それぞれとの特徴の近似性を元に、転移元の学習モデルを選択できるようにするための構成についても提案する。
【0015】
１．一実施形態
１．１ 全体概要
以下、本開示の一実施形態に係る診断支援システム（情報処理システム、情報処理装置、情報処理方法）の全体概要について説明する。図１は、本実施形態に係る診断支援システムの全体概要例を示す模式図である。
１．１ 全体概要
以下、本開示の一実施形態に係る診断支援システム（情報処理システム、情報処理装置、情報処理方法）の全体概要について説明する。図１は、本実施形態に係る診断支援システムの全体概要例を示す模式図である。
【0016】
図１に示すように、本実施形態では、医師や病理医などのユーザによる診断を支援するための情報を推定するＡＩ２が、例えば、学習に十分な量の医療情報を収集することが可能な病院Ａで収集された学習データの集合（以下、学習データセットという）を用いて学習される。学習されたＡＩ２は、他の病院Ｂ～Ｅに導入される。なお、病院Ａは、例えば、研究機関や大学病院など、膨大な医療情報を収集可能な医療施設であってよく、また、他の病院Ｂ～Ｅは、例えば、研究機関や大学病院や個人病院や診療所やクリニックなどの種々の医療施設であってよい。
【0017】
この導入にあたり、病院Ａにおける医療設備やそのデバイス特性や測定条件等と他の病院Ｂ～Ｅにおけるそれらとが異なる場合、病院Ａで収集された学習データセットを用いて学習されたＡＩ２をそのまま他の病院に導入すると、病院Ａで収集された学習データの特徴と他の病院で取得された判定対象である測定データの特徴との違い、すなわち、学習に用いた学習データと判定対象である測定データとのドメインの違いから、十分な精度の診断結果を推定することが困難な場合が存在する。
【0018】
そこで、本実施形態では、他の病院（例えば病院Ｂ）で取得された測定データの特徴をＡＩ２の学習に用いた学習データセットの特徴に近づける前処理を実行する。なお、学習データセットの特徴とは、例えば、学習データセットを構成する学習データの各特徴量（以下、パラメータともいう）の分布や平均値などであってもよい。
【0019】
本実施形態では、学習データ及び測定データが、患者から歳出した組織切片を撮像することで得られた画像データである場合を例示する。その場合、学習データや測定データの特徴とは、例えば、学習データ及び測定データの明度（色調であってもよい）や色相やホワイトバランスやガンマ値やカラーチャートなどであってよい。ただし、これに限定されず、ただし、学習データ及び測定データは、テキストデータや波形データ（音データを含む）など、種々のデータ又はそれらのうちの２以上の混合データであってもよい。例えば、学習データ及び測定データがテキストデータである場合には、それらの特徴は、言語の種類（日本語、英語等）や構文のパターン（癖など）や同義語／類義語の違いなどであってもよい。
【0020】
本実施形態に係る前処理には、取得された測定データの特徴を調整（補正ともいう）する処理（以下、第１前処理という）や、測定データを取得する工程（本説明では、アナログ工程ともいう）における測定条件等を調整／変更する処理（以下、第２前処理という）が含まれ得る。
【0021】
第１前処理では、いわゆる転移学習において課題として知られているドメイン適応に対する処理であり、ＡＩ２の学習に使用した学習データの特徴に近づけるように、デジタル化された測定データの特徴を直接的に調整する。この調整は、自動で行われてもよいし、手動で行われてもよい。手動で行われる場合には、例えば明度（色調であってもよい）や色相やホワイトバランスやガンマ値やカラーチャートなどの各特徴量（以下、デジタルパラメータともいう）を調整するために、コントロールスライドなどのユーザインタフェースがユーザに提供されてもよい。その場合、このユーザインタフェースは、学習済みのＡＩ２に測定データを入力する段階でユーザに提供されてもよいし、測定データを取得する際にユーザに提供されてもよい。言い換えれば、デジタルパラメータ調整用のユーザインタフェースは、測定データに基づく判定を実行する判定器側に設けられてもよいし、測定データを取得する測定器側に設けられてもよい。
【0022】
なお、デジタルパラメータとは、明度（色調であってもよい）や色相やホワイトバランスやガンマ値やカラーチャートなど、デジタル処理により調整することが可能な種々の特徴量であってよい。また、画像データを学習データとする本実施形態においては、デジタルパラメータは、上述した学習データや測定データの特徴と同義であってもよい。
【0023】
一方、第２前処理では、測定により取得される測定データの特徴がＡＩ２の学習に使用した学習データの特徴に近づくように、測定データを取得する際の推奨される物理的な条件（以下、アナログパラメータという）が特定される。特定されたアナログパラメータは、例えば、病理システム２０の表示装置２４を介してユーザに提示される。ユーザは、例えば、提示されたアナログパラメータに応じて測定条件等を調整／変更する。それにより、測定段階（すなわち、アナログ工程）で測定データのドメインを学習データセットのドメインに近づけることが可能となるため、病院Ａで収集された学習データセットにて学習されたＡＩ２の病院Ｂ～Ｅへの転移学習を容易化することが可能となる。
【0024】
アナログパラメータとしては、例えば、測定対象が染色された組織切片である場合には、組織切片の種類、厚さ等、ブロックから組織切片をスライスする薄切機の種類、型式、製造メーカ等、染色に使用した染色マーカの種類、製造メーカ、染色濃度、染色時間等、染色に使用した染色機の種類、型式、製造メーカ等、組織切片を封入するカバーバラスの材料、厚さ等、撮影するカメラ（スキャナともいう）の型式、製造メーカ、ガンマ値、圧縮率等、励起光源の種類、製造メーカ、出力ワット数等、学習データ又は測定データを取得する際のアナログ工程においてユーザにより手動で調整される種々のパラメータであって、例えば、デジタル処理で調整できない種々のパラメータが含まれ得る。また、本実施形態において、アナログパラメータには、計測データを取得した際の温度や湿度や照度等や、測定データを取得した技術士や医師などの情報がパラメータとして含まれてもよい。
【0025】
１．２ 病理ワークフローにおけるアナログ工程について
ここで、図２に、測定対象を組織切片とした場合の病理ワークフローにおけるアナログ工程の例と、各アナログ工程で使用される機材薬剤の例、及び、各アナログ工程がデジタルパラメータへ与えると予想される影響の例とをまとめた表を示す。
ここで、図２に、測定対象を組織切片とした場合の病理ワークフローにおけるアナログ工程の例と、各アナログ工程で使用される機材薬剤の例、及び、各アナログ工程がデジタルパラメータへ与えると予想される影響の例とをまとめた表を示す。
【0026】
図２に示すように、アナログ工程としては、例えば、「固定」、「脱水～包埋」、「薄切」、「染色」、「封入」、及び、「撮像」が挙げられる。
【0027】
「固定」では、例えば、生体ブロックをホルマリン溶液に漬けることで、生物試料を自己分解や腐敗による劣化から保護するための化学処理が実行される。この工程は、間接的には、生体試料を撮像することで得られた画像の色相に影響する可能性が存在する。
【0028】
「脱水～包埋」では、固定された生体ブロックが、例えば、エタノールやアセトンなどの水溶液を用いて脱水される。そして、脱水された生体ブロックが、樹脂などの包埋剤とパラフィンとを用いて包埋される。この工程は、間接的には、生体試料を撮像することで得られた画像の色相に影響する可能性が存在する。
【0029】
「薄切」では、例えば、包埋された生体ブロックからミクロトームなどを用いて薄切片が切り出される。切り出された薄切片の厚みは、生体試料を撮像することで得られた画像の明度に直接的に影響し得る。また、間接的には、画像の色相や色彩に影響する可能性がある。
【0030】
「染色」では、切り出された薄切片が薬剤を用いて染色される。染色に使用された染色剤や染色濃度や染色時間は、生体試料を撮像することで得られた画像の色相に影響し得る。
【0031】
「封入」では、例えば、染色後の薄切片がスライドガラス上に載置され、その上からカバースリップ（カバーガラス、またはカバーフィルム）が覆い被せられることで、薄切片の標本が作製される。また、カバースリップで覆われた薄切片標本は、所定の乾燥工程を経ることで乾燥される。この工程で使用される封入剤や乾燥時間やカバースリップの材質及び厚さ等は、生体試料を撮像することで得られた画像の明度や色相や色彩に影響し得る。
【0032】
「撮像」では、乾燥後の薄切片標本の撮像が行われる。この工程では、フォーカス位置や撮像倍率や撮像領域などのパラメータが、生体試料を撮像することで得られた画像の明度や色相や色彩に影響し得る。
【0033】
つづいて、上述したアナログ工程を含む病理ワークフローについて、具体例を挙げて説明する。図３は、病理ワークフローの具体例を示すフローチャートである。
【0034】
図３に示すように、病理ワークフローでは、例えば、まず、包理ブロックが作製される（ステップＳ１０１）。具体的には、観察対象である生体試料が、パラフィン等の疎水性の包埋剤によって包埋、すなわち周囲を覆い固められる。
【0035】
つづいて、薄切片が作製される（ステップＳ１０２）。具体的には、薄切片作製装置を用いることで、生体試料が包埋された包埋ブロックから厚さ３～５μｍ程度の極薄の薄切片が作製される。
【0036】
次に、薄切片標本が作製される（ステップＳ１０３）。具体的には、薄切片作製装置で作製された薄切片を例えばスライドガラスの上面に定置することで、理化学実験や顕微鏡観察等に用いられる薄切片標本が作製される。
【0037】
次に、薄切片標本の染色と、染色された薄切片にカバースリップを覆い被せる処理とが実行される（ステップＳ１０４）。薄切片標本の染色は、例えば、ネガティブ染色法やマイカフレーク法など、種々の染色手法が用いられてよい。また、染色からカバースリップの被覆までの処理は、一連の自動作業によって完了されてもよい。
【0038】
次に、所定の乾燥工程を経た後、染色済み薄切片標本の撮像が実行される（ステップＳ１０５）。撮像では、例えば、薄切片標本の低解像度撮像と高解像度撮像とが実行されてよい。例えば、薄切片標本全体を低解像度で撮像し、これにより得られた低解像度画像から標本中に存在する薄切片の領域が特定される。そして、高解像度撮影では、薄切片の領域が１又は複数の領域に分割され、分割された領域毎の高解像度撮影が実行される。なお、高解像度撮像で取得された高解像度画像には、スティッチングの際の糊代として用いられる重畳領域が含まれてよい。
【0039】
次に、取得された高解像度画像をスティッチングすることで、薄切片全体の高解像度画像（ホールスライドイメージ（ＷＳＩ））が作成され、そして、作成されたＷＳＩを段階的に低解像度化してレイアごとの画像データを生成することで、階層的に解像度が変化するミップマップが作成される（ステップＳ１０６）。その後、本動作が終了する。
【0040】
１．３ 学習データセットの例
ＡＩ２の学習に使用される学習データには、その特徴を示す情報（例えば、上述したデジタルパラメータ及び／又はアナログパラメータ。以下、特徴パラメータという）が紐付けられていてもよい。この特徴パラメータは、いわゆるメタデータであってよく、必要に応じて病院Ｂ～Ｅへ提供されてもよい。ただし、病院Ｂ～Ｅへ特徴パラメータが提供されない場合若しくは学習時に特徴パラメータが作成されない場合には、病院Ｂ～Ｅにおいて、学習済みのＡＩ２及び／又は学習データから、特徴パラメータ自体、又は、測定データの特徴を学習データの特徴に近づけるための変換式が生成されてもよい。なお、特徴パラメータは、例えば、学習データ自体を解析することで生成されてもよい。一方、変換式は、例えば、学習データの各デジタルパラメータを変化させつつ実際に判定を行った結果に基づいて生成されてもよい。
ＡＩ２の学習に使用される学習データには、その特徴を示す情報（例えば、上述したデジタルパラメータ及び／又はアナログパラメータ。以下、特徴パラメータという）が紐付けられていてもよい。この特徴パラメータは、いわゆるメタデータであってよく、必要に応じて病院Ｂ～Ｅへ提供されてもよい。ただし、病院Ｂ～Ｅへ特徴パラメータが提供されない場合若しくは学習時に特徴パラメータが作成されない場合には、病院Ｂ～Ｅにおいて、学習済みのＡＩ２及び／又は学習データから、特徴パラメータ自体、又は、測定データの特徴を学習データの特徴に近づけるための変換式が生成されてもよい。なお、特徴パラメータは、例えば、学習データ自体を解析することで生成されてもよい。一方、変換式は、例えば、学習データの各デジタルパラメータを変化させつつ実際に判定を行った結果に基づいて生成されてもよい。
【0041】
図４は、本実施形態に係る学習データセット及び特徴パラメータセットの一例を示す図である。図４に示すように、学習データセットは、例えば、学習データである診断画像（染色画像Ｇ１、Ｇ２、…）と、正解データである診断対象の病変領域（正解領域画像Ｒ１、Ｒ２、…）との組み合わせ（学習データに相当）の集合で構成されている。個々の診断画像には、例えば、それぞれを一意に識別するためのデータＩＤが付されていてもよい。
【0042】
また、学習データセットに付加される特徴パラメータセットは、アナログパラメータセットと、デジタルパラメータセットとを含む。アナログパラメータセットは、例えば、組織切片に関するパラメータとしての組織の厚さ、染色に関するパラメータとしての染色マーカの製造メーカ、染色濃度及び染色時間、組織切片の封入に関するパラメータとしてのカバーガラスの厚さ等を含んでもよい。一方、デジタルパラメータは、例えば、撮影に関するパラメータとしてのガンマ値及び画像の圧縮率等を含んでもよい。ただし、これらに限定されず、上述した各種パラメータを含め、種々変形されてよい。また、個々のパラメータは、学習データセットにおける各学習データに対応付けられていてよい。
【0043】
１．４ 情報処理システムの概略
次に、本実施形態に係る情報処理システムの概略構成について、例を挙げて説明する。図５は、本実施形態に係る情報処理システム１００の概略構成例を示すブロック図である。図５に示すように、情報処理システム１００は、取得部１０２と、処理部１０３と、推定部１０４と、学習部１０７と、表示部１０６とを備える。
次に、本実施形態に係る情報処理システムの概略構成について、例を挙げて説明する。図５は、本実施形態に係る情報処理システム１００の概略構成例を示すブロック図である。図５に示すように、情報処理システム１００は、取得部１０２と、処理部１０３と、推定部１０４と、学習部１０７と、表示部１０６とを備える。
【0044】
取得部１０２は、患者または被験者の健康状態の推定を行う学習済みモデル１０５の生成に使用された学習データ１０９の特徴量に基づく調整情報を取得する。
【0045】
処理部１０３は、取得部１０２で取得された調整情報に基づき、判定対象である生体試料１０１に対し所定の処理を実行する。
【0046】
推定部１０４は、学習済みモデル１０５を有し、処理部１０３によって取得された測定データを学習済みモデル１０５（例えば、図１のＡＩ２）に入力して診断結果を推定する。
【0047】
学習部１０７は、学習モデル１０８を学習データ１０９を用いてトレーニング（学習）することで、測定データから診断結果を推定するための学習済みモデル１０５を生成する。
【0048】
表示部１０６は、推定部１０４で推定された診断結果を医師や病理医などのユーザに提示する。
【0049】
１．５ システム構成
次に、図５に示す情報処理システム１００を医療現場等に導入した際の具体的なシステム構成例について説明する。図６は、本実施形態に係る診断支援システム（情報処理システム、情報処理装置）の構成例を示すブロック図である。なお、本説明では、病理システム１０からＡＩ２（後述する学習モデルに相当）をトレーニングするための学習データセットを取得し、これを用いてトレーニングされた学習済みのＡＩ２（後述する学習済みモデル５５に相当）を病理システム２０へ提供する場合を例示する。ただし、これに限定されず、学習データセットは病理システム１０及び２０などの複数の病理システムから収集されるなど、適宜変形されてよい。
次に、図５に示す情報処理システム１００を医療現場等に導入した際の具体的なシステム構成例について説明する。図６は、本実施形態に係る診断支援システム（情報処理システム、情報処理装置）の構成例を示すブロック図である。なお、本説明では、病理システム１０からＡＩ２（後述する学習モデルに相当）をトレーニングするための学習データセットを取得し、これを用いてトレーニングされた学習済みのＡＩ２（後述する学習済みモデル５５に相当）を病理システム２０へ提供する場合を例示する。ただし、これに限定されず、学習データセットは病理システム１０及び２０などの複数の病理システムから収集されるなど、適宜変形されてよい。
【0050】
【0051】
（病理システム１０／２０）
病理システム１０は、主に病理医が使用するシステムであり、例えば、図１における病院Ａに相当し得る。図６に示すように、病理システム１０は、測定機器１１と、サーバ１２と、表示制御装置１３と、表示装置１４とを含む。
病理システム１０は、主に病理医が使用するシステムであり、例えば、図１における病院Ａに相当し得る。図６に示すように、病理システム１０は、測定機器１１と、サーバ１２と、表示制御装置１３と、表示装置１４とを含む。
【0052】
測定機器１１は、例えば、ＤＰＩ（Digital Pathology Imaging）スキャナ、ＣＴ（Computed Tomography）／ＭＲＩ（Magnetic Resonance Imaging）／ＰＥＴ（Positron Emission Tomography）、顕微鏡、内視鏡など、患部の画像データや患者から採取した組織切片等の画像データを取得する１以上の医療機器や情報処理装置などであってよい。なお、本例では、画像データは、例えば、患者や患者から採取した組織切片等の染色画像であってよい。本説明において、画像データは、例えば、染色画像であってよい。
【0053】
サーバ１２は、病理システム１０において医師や病理医等のユーザに対する診断の支援や測定機器１１で取得された画像データの保持、管理等を実行する。なお、測定機器１１によって取得された画像データは、例えば、サーバ１２が備える、又は、サーバに接続された記憶部等に格納されてよい。
【0054】
表示制御装置１３は、患者に関する電子カルテや診断結果や推定された診断結果等の各種情報の閲覧要求をユーザから受け付け、受け付けられた閲覧要求をサーバ１２に送る。そして、表示制御装置１３は、閲覧要求に対してサーバ１２から受信した各種情報を表示するように表示装置１４を制御する。
【0055】
表示装置１４は、例えば、液晶、ＥＬ（Electro‐Luminescence）、ＣＲＴ（Cathode Ray Tube）などが用いられた画面を有する。表示装置１４は４Ｋや８Ｋに対応していてもよいし、複数の表示装置により形成されてもよい。表示装置１４は、例えば、図５に示した構成における表示部１０６に相当し得、表示制御装置１３からの制御に応じて各種情報をユーザに表示する。
【0056】
病理システム２０は、病理システム１０と異なる病院に適用されるシステムであり、例えば、図１における病院Ｂ～Ｅに相当し得る。病理システム２０は、例えば病理システム１０と同様に、測定機器２１と、サーバ２２と、表示制御装置２３と、表示装置２４とを備えてもよい。その場合、病理システム２０に含まれる各部は病理システム１０と同様であってよいため、それらの説明を省略する。
【0057】
（医療情報システム３０）
医療情報システム３０は、いわゆる電子カルテシステムであり、患者に対して医師や病理医等が現在又は過去に行った診断の結果等（以下、診断データともいう）の保持、管理等を実行する。診断データは、学習データにおける正解データであり、例えば、図４における診断対象の病変領域（正解領域画像Ｒ１、Ｒ２、…）であってよい。なお、診断データには、例えば、診断データと画像データとを紐付ける識別情報（例えば、データＩＤ）が含まれてよい。その他、診断データには、患者を識別する情報、患者の疾患情報、患者の既往歴、診断に用いた検査情報、処方薬などが含まれてもよい。
医療情報システム３０は、いわゆる電子カルテシステムであり、患者に対して医師や病理医等が現在又は過去に行った診断の結果等（以下、診断データともいう）の保持、管理等を実行する。診断データは、学習データにおける正解データであり、例えば、図４における診断対象の病変領域（正解領域画像Ｒ１、Ｒ２、…）であってよい。なお、診断データには、例えば、診断データと画像データとを紐付ける識別情報（例えば、データＩＤ）が含まれてよい。その他、診断データには、患者を識別する情報、患者の疾患情報、患者の既往歴、診断に用いた検査情報、処方薬などが含まれてもよい。
【0058】
（導出装置４０）
導出装置４０は、例えば、病理システム１０のサーバ１２において日々蓄積されている画像データを取得する。また、導出装置４０は、医療情報システム３０において日々蓄積されている診断データを取得する。導出装置４０は、収集した画像データ及び診断データから学習データセットを生成し、生成された学習データセットを教師データとして学習モデルをトレーニングすることで、画像データに基づいて患者の診断結果を推定するための学習済みモデルを生成する。
導出装置４０は、例えば、病理システム１０のサーバ１２において日々蓄積されている画像データを取得する。また、導出装置４０は、医療情報システム３０において日々蓄積されている診断データを取得する。導出装置４０は、収集した画像データ及び診断データから学習データセットを生成し、生成された学習データセットを教師データとして学習モデルをトレーニングすることで、画像データに基づいて患者の診断結果を推定するための学習済みモデルを生成する。
【0059】
なお、診断支援システム１に含まれる病理システムは３以上であってもよい。この場合、導出装置４０は、それぞれの病理システムに蓄積される測定情報を収集し、収集した画像データ及び診断データから学習データセットを生成して学習モデルをトレーニングしてもよい。また、上記例において、医療情報システム３０は、病理システム１０及び／又は２０に組み込まれてもよい。その場合、収集された画像データ及び診断データは、サーバ１２及び／又は２２に保存されてもよい。
【0060】
また、本実施形態に係る導出装置４０は、ネットワーク上に配置されたサーバやクラウドサーバ等により実現されてもよいし、病理システム１０／２０に配置されたサーバ１２／２２により実現されてもよい。もしくは、導出装置４０の一部がネットワーク上に配置されたサーバやクラウドサーバ等により実現され、残りの一部が病理システム１０／２０のサーバ１２／２２により実現されるなど、ネットワークを介して構築されたシステム上に分散配置されることで実現されてもよい。
【0061】
１．６ 導出装置
つづいて、本実施形態に係る導出装置４０の構成例について説明する。図７は、本実施形態に係る導出装置の構成例を示すブロック図である。図７に示すように、導出装置４０は、通信部４１と、記憶部４２と、制御部４３とを備える。
つづいて、本実施形態に係る導出装置４０の構成例について説明する。図７は、本実施形態に係る導出装置の構成例を示すブロック図である。図７に示すように、導出装置４０は、通信部４１と、記憶部４２と、制御部４３とを備える。
【0062】
通信部４１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部４１は、図示しないネットワークと有線又は無線で接続され、ネットワークを介して、病理システム１０、病理システム２０、医療情報システム３０等との間で情報の送受信を行う。後述する制御部４３は、通信部４１を介して、これらの装置との間で情報の送受信を行う。
【0063】
記憶部４２は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部４２は、制御部４３によって生成される学習済みモデル５５を記憶する。学習済みモデル５５については後述する。
【0064】
制御部４３は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ(Micro Processing Unit)が、導出装置４０内部に記憶されたプログラム（診断支援プログラムの一例）がＲＡＭ（random Access Memory）等を作業領域として実行することにより実現されてよい。ただし、制御部４３は、例えばＡＳＩＣ（Application specific Integrated Circuit）やＦＰＧＡ（Field Programmable gate Array）等の集積回路により実行されてもよい。
【0065】
図７に示すように、制御部４３は、画像データ取得部５１と、診断データ取得部５２と、学習部５３と、導出部５４と、前処理部５６と、評価部５７とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部４３の内部構成は、図７に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0066】
画像データ取得部５１は、学習部５３で行われる学習モデルのトレーニングに用いられる画像データを、例えばサーバ１２から通信部４１を介して取得する。この画像データには、アナログ工程において記録されたアナログパラメータセットと、画像データを解析することで得られたデジタルパラメータとを含む特徴パラメータセット対応付けられていてよい。また、画像データ取得部５１は、導出部５４で行われる診断結果の推定（判定）に用いられる画像データ（図１における測定データに相当）を、例えばサーバ２２から通信部４１を介して取得する。取得された測定データは、適宜、記憶部４２等に蓄積されてもよい。なお、以下の説明において、学習モデルのトレーニングに用いられる画像データと診断結果の推定（判定）に用いられる画像データとを区別する場合、前者を学習用画像データといい、後者を測定データという。
【0067】
診断データ取得部５２は、学習部５３で行われる学習モデルのトレーニングに用いられる学習データの１つである診断データを、例えばサーバ１２や医療情報システム３０から通信部４１を介して取得する。取得された診断データは、適宜、記憶部４２等に蓄積されてもよい。
【0068】
学習部５３は、例えば、図５に示した構成における学習部１０７に相当し得、画像データ取得部５１によって各学習用画像データと、診断データ取得部５２によって取得された各診断データとの紐付けから、学習モデルをトレーニングするための教師データセットを生成し、生成された学習データセットを用いて学習モデルをトレーニングする。これによりトレーニングされた学習済みモデル５５は、例えば記憶部４２に格納され、必要に応じて適宜読み出される。
【0069】
なお、学習部５３による学習モデルのトレーニング手法はいかなるアルゴリズムの基づくものであってもよい。例えば、学習部５３は、多層のニューラルネットワーク（Deep Neural Network）による機械学習手法である深層学習（ディープラーニング）、サポートベクターマシン（support vector machine）、クラスタリング、強化学習等の各種学習アルゴリズムを用いて学習済みモデル５５を生成することができる。
【0070】
導出部５４は、例えば、図５に示した構成における推定部１０４に相当し得、サーバ１２／２２を介してユーザから特定の患者に対する診断結果の推定が要求されると、指定された患者の測定データを取得して学習済みモデル５５に入力することで、学習済みモデル５５に診断結果を推定させる。これにより推定された診断結果は、例えば、サーバ１２／２２へ送信され、表示制御装置１３／２３による制御の下、表示装置１４／２４に表示される。
【0071】
前処理部５６は、例えば、図５に示した構成における取得部１０２及び処理部１０３に相当し得、上述した第１及び第２前処理を実行する。例えば、第１前処理では、前処理部５６は、病理システム２０から取得された測定データに対し、その特徴が学習データセットにおける学習用画像データの特徴に近づくように前処理を実行する。ここでいう特徴は、デジタルパラメータであってよい。例えば、前処理部５６は、測定データの明度（色調であってもよい）や色相やホワイトバランスやガンマ値やカラーチャートなどの各デジタルパラメータが学習用画像データ全体の各デジタルパラメータの分布に対して設定されたターゲット範囲内に入るように、測定データの各デジタルパラメータを調整する。または、前処理部５６は、測定データの各デジタルパラメータが学習用画像データ全体の各デジタルパラメータの分布における中央値（又は平均値）や重心値等に近づくように、測定データの各デジタルパラメータを調整する。なお、ターゲット範囲とは、目標とする推定精度を達成するための各デジタルパラメータの範囲であってよく、例えば、導出部５４（すなわち、学習済みモデル５５）により導出される推定結果の信頼度（例えば、スコア）があらかじめ設定しておいた値以上となる範囲又は当該値以上となることが見込まれる範囲であってよい。
【0072】
また、第２前処理では、前処理部５６は、測定データの各デジタルパラメータを学習用画像データの各デジタルパラメータに近づけるために測定段階でユーザが物理的に調整／変更すべきアナログパラメータに関する情報（以下、推奨情報という）を生成し、生成した推奨情報をサーバ２２へ送信する。送信された推奨情報は、例えば、表示制御装置２３による制御の下、表示装置２４に表示される。ユーザが表示装置２４に表示された推奨情報に基づき、組織切片の種類、厚さ等、染色に使用したマーカの種類、製造メーカ、染色濃度、染色時間等、組織切片を封入するカバーバラスの種類、厚さ等、撮影するカメラの型式、製造メーカ、ガンマ値、圧縮率等、励起光源の種類、製造メーカ、出力ワット数等、測定時の温度や湿度や照度等、測定を行う技術士や医師などのアナログパラメータを調整／変更することで、学習用画像データの特徴に近い特徴を備える判定用測定情報を取得することが可能となる。ここでいう特徴は、デジタルパラメータであってよい。
【0073】
評価部５７は、例えば、導出部５４により導出される診断結果の信頼度（例えば、スコア）を算出して学習済みモデル５５を評価する。なお、評価部５７により算出された信頼度は、上述したように、前処理部５６による測定データのデジタルパラメータの自動調整及び／又はユーザへ提供する推奨情報の生成等に使用されてもよい。
【0074】
また、評価部５７は、エラーが発生した測定データ（例えば、診断結果の信頼度が予め設定しておいた閾値よりも低い測定データ）に対して因子解析を行い、診断結果の推定に悪影響を与えている因子（本説明では、デジタルパラメータ）を特定してもよい。悪影響を与えている因子は、例えば、正解データである診断結果と導出された推定結果の信頼度とに基づいて測定データを分類し、この分類においてどのデジタルパラメータが結果の推定に強く寄与していたかを因子解析を用いて算出することで特定されてもよい。
【0075】
これに対し、前処理部５６は、悪影響を与えているとして特定されたデジタルパラメータを調整してもよい。そして、導出部５４は、パラメータ調整後の測定データを用いて再度、診断結果の推定を実行してもよい。
【0076】
悪影響を与えているとして特定されたデジタルパラメータの調整は、自動であっても手動であってもよい。自動で調整する場合には、例えば、エラーが発生した測定データを特定し、この測定データのデジタルパラメータうちの悪影響を与えているデジタルパラメータをターゲット範囲内となるように又は中央値等により近づくように調整してもよい。
【0077】
１．７ 学習モデルの学習
次に、制御部４３における学習モデルの学習について説明する。図８は、本実施形態に係る学習モデルの学習を説明するための図である。図８に示すように、学習モデルの学習では、例えば記憶部４２に格納されている学習前の学習モデルが学習部５３に読み込まれる。また、学習部５３には、画像データ取得部５１で取得された学習用画像データ及び診断データ取得部５２で取得された診断データよりなる学習データセットのうち、学習用画像データ（本説明では、染色画像）が入力される。それにより、学習部５３からは、学習モデルにより導出された診断結果（本説明では、病変領域画像）が出力される。
次に、制御部４３における学習モデルの学習について説明する。図８は、本実施形態に係る学習モデルの学習を説明するための図である。図８に示すように、学習モデルの学習では、例えば記憶部４２に格納されている学習前の学習モデルが学習部５３に読み込まれる。また、学習部５３には、画像データ取得部５１で取得された学習用画像データ及び診断データ取得部５２で取得された診断データよりなる学習データセットのうち、学習用画像データ（本説明では、染色画像）が入力される。それにより、学習部５３からは、学習モデルにより導出された診断結果（本説明では、病変領域画像）が出力される。
【0078】
学習部５３から出力された診断結果は、評価部５７に入力される。評価部５７には、学習データセットにおける診断データ（正解データ。本説明では、正解領域画像）も入力される。評価部５７は、入力された診断結果（推定結果）と診断データ（正解データ）とから学習モデルの推定精度を評価し、その評価結果に基づいて学習モデルのハイパーパラメータを更新する。このような動作を所定回数又は所望の推定精度が得られるまで繰り返すことで、学習データセットによりトレーニングされた学習済みモデル５５が生成される。
【0079】
１．８ 学習済みモデルを用いた診断結果の推定
つづいて、以上のように生成された学習済みモデル５５を用いて診断結果を推定する場合について説明する。図９は、本実施形態に係る学習済みモデルを用いて診断結果を推定する場合の動作を説明するための図である。
つづいて、以上のように生成された学習済みモデル５５を用いて診断結果を推定する場合について説明する。図９は、本実施形態に係る学習済みモデルを用いて診断結果を推定する場合の動作を説明するための図である。
【0080】
図９に示すように、学習済みモデルを用いた診断結果の推定では、前処理部５６は、学習済みモデル５５の導入元（例えば、病院Ａ）から提供された特徴パラメータセットにおける各デジタルパラメータの統計情報と、導入先（例えば、病院Ｂ～Ｅ）で収集した１又は複数の測定データに関する各デジタルパラメータ又はその統計情報とに基づいて、学習用画像データの特徴と１又は複数の測定データの特徴とを近づける第１前処理を実行する。以下の説明において、学習データセットに紐付けられた特徴パラメータセットを学習特徴パラメータセットといい、１又は複数の測定データに紐付けられた特徴パラメータ又は特徴パラメータセットを測定特徴パラメータ又は測定特徴パラメータセットという。
【0081】
そこで、前処理部５６には、例えば、学習データセットに紐付けられた学習特徴パラメータセットが入力される。前処理部５６は、入力された学習特徴パラメータセットに基づいて、学習特徴パラメータセットにおける各デジタルパラメータの統計情報（例えば、分散値及び中央値（又は平均値）若しくは重心値など）を算出してよい。ただし、例えば、病院Ａ（図１参照）において学習特徴パラメータセットの統計情報が算出されている場合には、前処理部５６には、学習特徴パラメータセットに代えて、病院Ａが保持する統計情報が入力されてもよい。
【0082】
また、前処理部５６には、測定データの各デジタルパラメータが入力される。ただし、デジタルパラメータに代えて、測定データ自体が入力されてもよい。その場合、前処理部５６は、入力された測定データから各デジタルパラメータの値を算出する。なお、判定対象の測定データが複数存在し、これらから一括して診断結果を推定する場合、前処理部５６には、この複数の測定データに関する各デジタルパラメータの統計情報（例えば、分散値及び中央値（又は平均値）若しくは重心値など）が入力されてもよい。若しくは、前処理部５６には、複数の測定データ自体又は各測定データのデジタルパラメータが入力されてもよい。その場合、前処理部５６は、入力された複数の測定データ又はそのデジタルパラメータに基づいて、各デジタルパラメータの統計情報（例えば、分散値及び中央値（又は平均値）若しくは重心値など）を算出してよい。
【0083】
前処理部５６は、学習特徴パラメータセットにおける各デジタルパラメータの統計情報と、１又は複数の測定データに関する各デジタルパラメータ又はその統計情報とから、１又は複数の測定データの各デジタルパラメータが学習特徴パラメータセットにおける各デジタルパラメータの分布に対して設定されたターゲット範囲内に入るように、又は、１又は複数の測定データの各デジタルパラメータが学習特徴パラメータセットにおける各デジタルパラメータの分布の中央値（又は平均値）や重心値等に近づくように、１又は複数の測定データの各デジタルパラメータを調整するための変換式を生成する。この変換式には、例えば、単純な行列式など、種々の数式が用いられてよい。若しくは、変換式は、例えば、各測定データの各デジタルパラメータを、学習特徴パラメータセットにおける各デジタルパラメータの分布の中央値（又は平均値）若しくは重心値に単純に置き換えるような変換式であってもよい。
【0084】
このようにして変換式を生成すると、前処理部５６は、入力された１又は複数の測定データ（染色画像）の各デジタルパラメータを、生成された変換式を用いて調整する。これにより、１又は複数の測定データの各デジタルパラメータが、学習データセットにおける学習用画像データの各デジタルパラメータに近づくように調整される。そして、前処理部５６は、パラメータ調整後の測定データを導出部５４へ出力する。
【0085】
導出部５４に入力されたパラメータ調整後の測定データは、記憶部４２から読み出された学習済みモデル５５に入力される。したがって、導出部５４では、学習データセットにおける学習用画像データの各デジタルパラメータに近づくように各デジタルパラメータが調整された測定データに基づいて診断結果（病変領域画像）が推定されるため、より信頼度の高い診断結果を得ることが可能となる。
【0086】
１．９ ニューラルネットワークを用いた前処理
図９を用いた説明では、前処理部５６が、学習特徴パラメータセットにおける各デジタルパラメータの統計情報と、１又は複数の測定データに関する各デジタルパラメータ又はその統計情報とから、変換式を生成する場合を例示したが、本実施形態に係る前処理（第１前処理）は、変換式を用いてデジタルパラメータを調整する手法に限定されない。例えば、学習特徴パラメータセットにおける各デジタルパラメータ又はその統計情報と、１又は複数の測定データに関する各デジタルパラメータ又はその統計情報とを入力としたニューラルネットワーク（以下、前処理モデルという）を用いて第１前処理が実行されてもよい。前処理モデルには、画像データを入力として画像データを出力する種々の学習モデルが用いられてよい。
図９を用いた説明では、前処理部５６が、学習特徴パラメータセットにおける各デジタルパラメータの統計情報と、１又は複数の測定データに関する各デジタルパラメータ又はその統計情報とから、変換式を生成する場合を例示したが、本実施形態に係る前処理（第１前処理）は、変換式を用いてデジタルパラメータを調整する手法に限定されない。例えば、学習特徴パラメータセットにおける各デジタルパラメータ又はその統計情報と、１又は複数の測定データに関する各デジタルパラメータ又はその統計情報とを入力としたニューラルネットワーク（以下、前処理モデルという）を用いて第１前処理が実行されてもよい。前処理モデルには、画像データを入力として画像データを出力する種々の学習モデルが用いられてよい。
【0087】
図１０は、本実施形態に係る前処理モデルを用いて第１前処理を実行する場合の動作を説明するための図である。図１０に示すように、本例では、前処理モデルを生成するための前処理推定部５８が新たに設けられている。
【0088】
前処理推定部５８には、例えば、学習データセットに紐付けられた学習特徴パラメータセットが入力される。前処理推定部５８は、入力された学習特徴パラメータセットに基づいて、学習特徴パラメータセットにおける各デジタルパラメータの統計情報（例えば、分散値及び中央値（又は平均値）若しくは重心値など）を算出してよい。ただし、例えば、病院Ａ（図１参照）において学習特徴パラメータセットの統計情報が算出されている場合には、前処理推定部５８には、学習特徴パラメータセットに代えて、病院Ａが保持する学習特徴パラメータセットの統計情報が入力されてもよい。
【0089】
また、前処理推定部５８には、測定データの各デジタルパラメータが入力される。ただし、デジタルパラメータに代えて、測定データ自体が入力されてもよい。その場合、前処理推定部５８は、入力された測定データから各デジタルパラメータの値を算出する。なお、判定対象の測定データが複数存在し、これらから一括して診断結果を推定する場合、前処理推定部５８には、この複数の測定データに関する各デジタルパラメータの統計情報（例えば、分散値及び中央値（又は平均値）若しくは重心値など）が入力されてもよい。若しくは、前処理推定部５８には、複数の測定データ自体又は各測定データのデジタルパラメータが入力されてもよい。その場合、前処理推定部５８は、入力された複数の測定データ又はそのデジタルパラメータに基づいて、各デジタルパラメータの統計情報（例えば、分散値及び中央値（又は平均値）若しくは重心値など）を算出してよい。
【0090】
前処理推定部５８は、学習特徴パラメータセットにおける各デジタルパラメータの統計情報と、１又は複数の測定データに関する各デジタルパラメータ又はその統計情報とを入力すると、入力されたこれらの情報に基づいて、前処理モデルにおけるニューロン間のつながりの強さを示す重みパラメータｗを生成する。これにより、前処理モデルが、１又は複数の測定データに関する各デジタルパラメータ又はその統計情報を学習特徴パラメータセットにおける各デジタルパラメータの統計情報に近づけるようにチューニングされる。なお、重みパラメータｗの生成手法、すなわち前処理モデルの作成／更新手法については、後述において説明する。
【0091】
前処理推定部５８によりチューニングされた前処理モデルは、前処理部５６に読み込まれる。前処理部５６は、入力された１又は複数の測定データ（染色画像）を前処理モデルに入力することで、１又は複数の測定データ（染色画像）の各デジタルパラメータを調整する。これにより、１又は複数の測定データの各デジタルパラメータが、学習データセットにおける学習用画像データの各デジタルパラメータに近づくように調整される。そして、前処理部５６は、パラメータ調整後の測定データを導出部５４へ出力する。
【0092】
１．１０ 前処理モデルの学習（転移学習）
また、病院Ｂ～Ｅなど、学習済みモデル５５の導入先においてある程度の量の診断済みの測定データが蓄積されている場合、この導入先において蓄積されている測定データを用いて前処理モデルを再学習（転移学習）することで、導出部５４による推定精度を向上させることが可能である。図１１は、本実施形態に係る学習済みモデルの再学習を説明するための図である。なお、図１１には、図１０をベースとした場合が例示されている。また、図１１では、蓄積されている複数の測定データと各測定データに対する診断において示された診断データ（本例では、正解領域画像）との組み合わせが転移学習データセットとして示され、個々の診断済み測定データが転移学習用画像データとして示されている。
また、病院Ｂ～Ｅなど、学習済みモデル５５の導入先においてある程度の量の診断済みの測定データが蓄積されている場合、この導入先において蓄積されている測定データを用いて前処理モデルを再学習（転移学習）することで、導出部５４による推定精度を向上させることが可能である。図１１は、本実施形態に係る学習済みモデルの再学習を説明するための図である。なお、図１１には、図１０をベースとした場合が例示されている。また、図１１では、蓄積されている複数の測定データと各測定データに対する診断において示された診断データ（本例では、正解領域画像）との組み合わせが転移学習データセットとして示され、個々の診断済み測定データが転移学習用画像データとして示されている。
【0093】
図１１に示すように、導入先において蓄積されている転移学習用画像データを用いて前処理モデルを学習する場合、図１０を用いて説明した構成と同様の構成において、導出部５４から出力された診断結果が評価部５７に入力される。なお、評価部５７には、各転移学習用画像データに対する診断において示された診断データ（本例では、正解領域画像）も入力される。
【0094】
評価部５７は、例えば、入力された診断結果と診断データ（正解領域画像）とから学習済みモデル５５の推定精度を評価し、その評価結果に基づいて前処理部５６が備える前処理モデルを更新する。それにより、導出部５４による推定精度が向上するように前処理を最適化できるため、導出部５４による推定精度を向上させることが可能となる。
【0095】
１．１１ 前処理モデルの作成／更新手法
ここで、前処理モデルの作成／更新は、学習済みモデル５５のアーキテクチャに応じて最適化することが可能である。ただし、学習済みモデル５５がホワイトボックスであるかブラックボックスであるか、すなわち、学習済みモデル５５の内部の計算処理が分かるか分からないかでその作成／更新手法が異なる。なお、前処理モデルの作成／更新は、評価部５７が実行してもよいし、前処理部５６が実行してもよい。
ここで、前処理モデルの作成／更新は、学習済みモデル５５のアーキテクチャに応じて最適化することが可能である。ただし、学習済みモデル５５がホワイトボックスであるかブラックボックスであるか、すなわち、学習済みモデル５５の内部の計算処理が分かるか分からないかでその作成／更新手法が異なる。なお、前処理モデルの作成／更新は、評価部５７が実行してもよいし、前処理部５６が実行してもよい。
【0096】
１．１１．１ 学習済みモデルがホワイトボックスである場合
学習済みモデル５５がホワイトボックスである、すなわち、学習済みモデル５５の内部の計算処理が厳密に分かる場合、例えば、ロス関数を用いて算出される学習済みモデル５５の推定精度の悪さ（損失ともいう）に基づいて、前処理モデルが最適化されてもよい。
学習済みモデル５５がホワイトボックスである、すなわち、学習済みモデル５５の内部の計算処理が厳密に分かる場合、例えば、ロス関数を用いて算出される学習済みモデル５５の推定精度の悪さ（損失ともいう）に基づいて、前処理モデルが最適化されてもよい。
【0097】
推定精度の悪さには、例えば、画素ごとに組織や病変の識別を行う場合、画素ごとの識別損失（クロスエントロピー損失）の平均値を用いることができる。また、特定の病変領域の検出を行う場合には、検出した病変領域と正解領域との位置ずれ誤差を推定精度の悪さとすることができる。
【0098】
前処理モデルの最適化では、学習特徴パラメータセットの統計情報から求められた前処理モデルから離れすぎないように、各重みパラメータｗが調整されるとよい。これにより、学習特徴パラメータセットの統計情報から考えて妥当な範囲内の前処理モデルを学習結果として獲得でき、導入先での少ない転移学習用画像データに過剰に適合した診断結果の推定を回避することが可能となる。例えば、損失をＬ、学習特徴パラメータセットから推定した重みパラメータをｗ’とすると、学習で最小化すべき目的関数は、以下の式（１）とすることができる。
【数1】
【0099】
なお、学習済みモデル５５の内部の計算処理が厳密に分かる場合には、目的関数の勾配が計算可能であるため、通常のニューラルネットワークの学習と同様に、前処理モデルの学習を行うことができる。例えば、計算した勾配を用いて確率的勾配降下法で前処理モデルの重みパラメータｗの更新を繰り返すことで、損失を最小化するように学習することが可能である。
【数2】
【0100】
１．１１．２ 前処理モデルがブラックボックスである場合
一方、学習済みモデル５５がブラックボックスである場合、すなわち、学習済みモデル５５の内部の計算処理が不明である場合、例えば、学習済みモデル５５の推定精度が向上するような前処理モデルの重みパラメータｗを探索することで、前処理モデルが最適化されてもよい。
一方、学習済みモデル５５がブラックボックスである場合、すなわち、学習済みモデル５５の内部の計算処理が不明である場合、例えば、学習済みモデル５５の推定精度が向上するような前処理モデルの重みパラメータｗを探索することで、前処理モデルが最適化されてもよい。
【0101】
重みパラメータｗの探索では、例えば、学習特徴パラメータセットから推定された重みパラメータｗ’から一定以上離れない範囲で、学習済みモデル５５の推定精度を向上させる重みパラメータｗが探索されてよい。この探索には、例えばベイズ最適化や遺伝的アルゴリズム（進化的計算）など、ブラックボックス関数の最適化に一般に用いられる手法が用いられてもよい。
【0102】
１．１１．３ その他
なお、前処理モデルの作成／更新では、例えば、診断結果の推定に対する寄与度が低いデジタルパラメータが存在する場合には、このデジタルパラメータに対する第１前処理（パラメータ値の調整）が省略されてもよい。
なお、前処理モデルの作成／更新では、例えば、診断結果の推定に対する寄与度が低いデジタルパラメータが存在する場合には、このデジタルパラメータに対する第１前処理（パラメータ値の調整）が省略されてもよい。
【0103】
また、上述では、学習特徴パラメータセットの統計情報から推定された前処理モデルから離れすぎないという制限の下で前処理モデルの重みパラメータｗを生成／更新することで、効果的に転移学習を実行する場合を例示したが、これに限定されるものではない。例えば、学習特徴パラメータセットの統計情報から測定データ（染色画像）の各デジタルパラメータの分布を推定し、第１前処理後の測定データの各デジタルパラメータが推定された分布から離れないように、前処理モデルの重みパラメータｗが学習されるなど、種々変更されてもよい。
【0104】
１．１２ モデルの選択による推定精度の向上
また、例えば、学習済みモデル５５が複数あり、それぞれが異なるドメイン（すなわち、異なる学習データセット）で学習されている場合、病理システム２０で取得された測定データに適した学習済みモデルが複数の学習済みモデル５５の中から選択されてもよい。この選択は、手動で行われてもよいし、自動で行われてもよい。自動で行う場合には、例えば、推論したい疾患に対し、その疾患と同種の疾患で学習された学習済みモデルがない場合、前処理部５６は、複数の学習済みモデル５５のうち、推論したい疾患から取得された測定データの特徴と最も近い特徴を備える学習データセットを用いて学習された学習済みモデルを自動的に選択してもよい。その場合、学習部５３は、選択された学習済みモデルを同種の疾患例で再学習してもよい。このように、特徴が近いドメインで学習された学習済みモデル５５を自動的に選択することで、症例数が少ない事例に対する推定精度を向上させることが可能となる。
また、例えば、学習済みモデル５５が複数あり、それぞれが異なるドメイン（すなわち、異なる学習データセット）で学習されている場合、病理システム２０で取得された測定データに適した学習済みモデルが複数の学習済みモデル５５の中から選択されてもよい。この選択は、手動で行われてもよいし、自動で行われてもよい。自動で行う場合には、例えば、推論したい疾患に対し、その疾患と同種の疾患で学習された学習済みモデルがない場合、前処理部５６は、複数の学習済みモデル５５のうち、推論したい疾患から取得された測定データの特徴と最も近い特徴を備える学習データセットを用いて学習された学習済みモデルを自動的に選択してもよい。その場合、学習部５３は、選択された学習済みモデルを同種の疾患例で再学習してもよい。このように、特徴が近いドメインで学習された学習済みモデル５５を自動的に選択することで、症例数が少ない事例に対する推定精度を向上させることが可能となる。
【0105】
さらに、例えば、前処理モデルが複数あり、それぞれに異なる重みパラメータｗが設定されている場合、判定対象の測定データに対してより適した前処理モデル、すなわち、学習済みモデル５５のより推定精度が向上される前処理モデルが選択されてもよい。この選択は、手動で行われてもよいし、自動で行われてもよい。自動で行う場合、前処理部５６又は前処理推定部５８は、例えば、それぞれの前処理モデルを用いて測定データに対する第１前処理を実行し、それにより得られたパラメータ調整後の測定データそれぞれを学習済みモデル５５に入力した場合に得られた診断結果に対する評価に基づいて、より適した前処理モデルを選択してもよい。
【0106】
１．１３ フォーマットの統一
学習モデルによっては、入力とし得るデータのフォーマットが限定されている場合がある。例えば、画像データを入力とするほとんどの畳み込みニューラルネットワーク（ＣＮＮ）を使用した深層学習アーキテクチャは、正方形の画像を入力画像としている。このため、正方形でない画像が入力されたときは、入力画像データを正方形に変更する処理が発生する。また、医療施設ごとで取得するデジタルパラメータやアナログパラメータが異なる場合には、前処理において調整する対象が一致せず、適切に前処理が実行できない場合が存在する。
学習モデルによっては、入力とし得るデータのフォーマットが限定されている場合がある。例えば、画像データを入力とするほとんどの畳み込みニューラルネットワーク（ＣＮＮ）を使用した深層学習アーキテクチャは、正方形の画像を入力画像としている。このため、正方形でない画像が入力されたときは、入力画像データを正方形に変更する処理が発生する。また、医療施設ごとで取得するデジタルパラメータやアナログパラメータが異なる場合には、前処理において調整する対象が一致せず、適切に前処理が実行できない場合が存在する。
【0107】
例えば、導入元（例えば、病院Ａ）と導入先（例えば、病院Ｂ～Ｅ）とで取得する画像データのサイズが異なる場合、前処理部５６又は前処理推定部５８は、導入先で取得された画像データのサイズを学習済みモデル５５に適したサイズに変換してもよい。また、例えば、導入元（例えば、病院Ａ）と導入先（例えば、病院Ｂ～Ｅ）とで取得するデジタルパラメータが異なる場合、前処理部５６又は前処理推定部５８は、導入先で収集されたデジタルパラメータ又は測定データから必要なデジタルパラメータを生成してもよい。なお、アナログパラメータに関しては、例えば、導入元（例えば、病院Ａ）と導入先（例えば、病院Ｂ～Ｅ）とに管理すべきアナログパラメータを事前に提示するようにしてもよい。
【0108】
１．１４ デジタルパラメータ調整用のユーザインタフェース例
次に、前処理部５６が実行する第１前処理において、ユーザに手動でデジタルパラメータを調整させる場合にユーザに提供されるパラメータ調整用ユーザインタフェースについて、いくつか例を挙げて説明する。なお、パラメータ調整用ユーザインタフェースは、例えば、前処理部５６から病理システム２０へ送信された情報に基づき、サーバ２２が表示制御装置２３を介して表示装置２４に表示してもよい。
次に、前処理部５６が実行する第１前処理において、ユーザに手動でデジタルパラメータを調整させる場合にユーザに提供されるパラメータ調整用ユーザインタフェースについて、いくつか例を挙げて説明する。なお、パラメータ調整用ユーザインタフェースは、例えば、前処理部５６から病理システム２０へ送信された情報に基づき、サーバ２２が表示制御装置２３を介して表示装置２４に表示してもよい。
【0109】
図１２は、本実施形態に係るパラメータ調整用ユーザインタフェースの一例を示す図である。なお、図１２では、判定用測定情報のデジタルパラメータのうちの１つのパラメータ＃１（例えば、明度（又は色調）、色相、ホワイトバランス、ガンマ値、カラーチャート等のうちの１つ）を調整する際にユーザに提供されるユーザインタフェースの一例が示されている。
【0110】
図１２に示すように、パラメータ調整用ユーザインタフェースでは、例えば、学習用測定情報全体のパラメータ＃１の分布Ｄ１を示すグラフが表示される。このグラフでは、横軸がパラメータ＃１の値を示し、縦軸が学習用測定情報における各値の出現頻度を示してもよい。ただし、これに限定されず、縦軸は、例えば、パラメータ＃１の各値で推定した際に導出される診断結果の正解率（例えば、信頼度）など、種々変更されてよい。また、このグラフには、所望の正解率を得られるパラメータ＃１の値の範囲Ｒ１１、及び／又は、学習用測定情報全体のパラメータ＃１の分布の中央値（又は平均値）Ｃ１が示されていてもよい。
【0111】
このようなグラフに対し、パラメータ調整用インタフェースでは、調整対象の判定用測定情報のパラメータ＃１の値を示すスライダ１１０が表示される。このスライダ１１０は、例えば、横軸に沿って移動可能であり、初期状態では、調整対象の判定用測定情報のパラメータ＃１の現在値を示している。前処理部５６は、例えば、ユーザがキーボードやマウスやタッチパネルなどの入力デバイスを用いてスライダ１１０をスライドさせると、スライド後のスライダ１１０が示すパラメータ＃１の調整値となるように、調整対象の判定用測定情報のパラメータ＃１の値を調整する。したがって、ユーザは、範囲Ｒ１１内に位置するように、若しくは、中央値Ｃ１に近づくように、スライダ１１０を移動させることで、所望の正解率を得られるように、又は、正解率が改善するように、調整対象の判定用測定情報のパラメータ＃１の値を調整することができる。
【0112】
また、図１３は、本実施形態に係るパラメータ調整用ユーザインタフェースの他の一例を示す図である。なお、図１３では、判定用測定情報のデジタルパラメータのうちの２つのパラメータ＃１及び＃２（例えば、明度（又は色調）、色相、ホワイトバランス、ガンマ値、カラーチャート等のうちの２つ）を調整する際にユーザに提供されるユーザインタフェースの一例が示されている。
【0113】
図１３に示すように、パラメータ調整用ユーザインタフェースの他の例では、例えば、学習用測定情報全体における各測定情報のパラメータ＃１及び＃２の２次元分布Ｄ２を示すグラフが表示される。このグラフでは、横軸がパラメータ＃１の値を示し、縦軸がパラメータ＃２の値を示してもよい。また、このグラフには、所望の正解率を得られるパラメータ＃１及び＃２の組合せの範囲Ｒ１２、及び／又は、学習用測定情報全体のパラメータ＃１及び＃２の分布の重心値Ｃ２が示されていてもよい。
【0114】
このようなグラフに対し、パラメータ調整用インタフェースでは、調整対象の判定用測定情報のパラメータ＃１及び＃２の値を示すプロット１２０が表示される。このプロット１２０は、例えば、縦軸及び横軸が示す２次元座標系において移動可能であり、初期状態では、調整対象の判定用測定情報のパラメータ＃１及び＃２の現在値を示している。前処理部５６は、例えば、ユーザがキーボードやマウスやタッチパネルなどの入力デバイスを用いてプロット１２０を移動させると、移動後のプロット１２０が示すパラメータ＃１及び＃２の値となるように、調整対象の判定用測定情報のパラメータ＃１及び＃２の値を調整する。したがって、ユーザは、範囲Ｒ１２内に位置するように、若しくは、重心値Ｃ２に近づくように、プロット１２０を移動させることで、所望の正解率を得られるように、又は、正解率が改善するように、調整対象の判定用測定情報のパラメータ＃１及び＃２の値を調整することができる。なお、組み合わせるパラメータ＃１及び＃２は、互いに相関のあるデジタルパラメータであってもよいし、相関の無いデジタルパラメータであってもよい。
【0115】
なお、上述では、各判定用測定情報、すなわち、１つ１つの画像データのデジタルパラメータをパラメータ調整用インタフェースを用いて手動で調整する場合を例示したが、これに限定されず、複数の判定用測定情報全体のデジタルパラメータをパラメータ調整用インタフェースを用いて一括して調整できてもよい。その場合、図１２に示すスライダ１１０又は図１３に示すプロット１２０は、複数の判定用測定情報全体のパラメータ＃１又は＃１及び＃２の平均値、中央値、重心値等であってもよい。また、スライダ１１０又はプロット１２０を用いた調整後の判定用測定情報それぞれの各デジタルパラメータは、複数の判定用測定情報全体の各デジタルパラメータの分布の広がり（例えば、分散値や半値全幅等）が小さくなるように調整されてもよい。
【0116】
１．１５ モデル選択用のユーザインタフェース例
続いて、学習済みモデル５５／前処理モデルが複数存在する場合に、ユーザに複数の学習済みモデル５５／前処理モデルの中から所望するモデルを手動で選択させるためのユーザインタフェース（以下、モデル選択用ユーザインタフェースという）について、例を挙げて説明する。なお、以下の説明では、前処理モデルを手動で選択させるための構成を例示するが、学習済みモデル５５を手動で選択させるための構成も同様の構成であってよい。
続いて、学習済みモデル５５／前処理モデルが複数存在する場合に、ユーザに複数の学習済みモデル５５／前処理モデルの中から所望するモデルを手動で選択させるためのユーザインタフェース（以下、モデル選択用ユーザインタフェースという）について、例を挙げて説明する。なお、以下の説明では、前処理モデルを手動で選択させるための構成を例示するが、学習済みモデル５５を手動で選択させるための構成も同様の構成であってよい。
【0117】
【0118】
図１４に示すように、前処理部５６に読み込まれる前処理モデルに複数の候補（前処理モデルａ、ｂ、…）が存在する場合、前処理部５６又は前処理推定部５８は、前処理モデルａ、ｂ、…それぞれで第１前処理を行った場合に学習済みモデル５５から出力される診断結果に対する評価部５７による評価結果を管理するモデル管理テーブルを作成してもよい。なお、評価結果は、例えば、転移学習用画像データに対して過去の診断によって付された正解ラベル（正解ラベル（正解領域画像）に相当）と導入先の学習済みモデル５５により推定された推定ラベル（診断結果）との面積一致率、正解ラベルが付された領域と推定ラベルが付された領域との一致率、正解ラベルが付された領域でない領域に付された推定ラベルの数（擬陽性数）などであってもよい。
【0119】
以上のようなモデル管理テーブルで管理されている評価結果は、図１５に示すように、前処理モデルａ、ｂ、…ごとの診断結果と共に、モデル選択用ユーザインタフェースを介してユーザに提示されてもよい。また、モデル選択用ユーザインタフェースでは、診断結果の推定に使用した測定データ（染色画像）と、学習済みモデル５５で導出された診断結果（推定ラベル。病変領域画像に相当）とが、前処理モデルａ、ｂ、…ごとに提示されてもよい。なお、図１５において、実線で囲まれた領域は、転移学習用画像データに対して過去の診断によって付された正解ラベル（正解ラベル（正解領域画像）に相当）を示し、破線で囲まれた領域は、導入先において推定された推定ラベル（診断結果）を示している。また、このモデル選択用ユーザインタフェースは、前処理部５６又は前処理推定部５８において生成され、表示装置２４に表示されてもよいし、前処理部５６又は前処理推定部５８から必要な情報を受信したサーバ２２又は表示制御装置２３において生成され、表示装置２４に表示されてもよい。
【0120】
モデル選択用ユーザインタフェースを用いた前処理モデルの選択では、ユーザは、例えば、モデル選択用ユーザインタフェースに表示された各前処理モデルの診断結果及び評価結果を参考に、表示されているいずれかのイメージ又はテキストを選択してもよい。この選択の入力に対し、前処理部５６又は前処理推定部５８は、選択された前処理モデルを読み込む又は前処理部５６に読み込ませる。それにより、前処理部５６においてユーザにより指定された前処理モデルを用いた第１前処理が実行される。
【0121】
２．ハードウエア構成
上述してきた実施形態及びその変形例に係るサーバ１２／２２、表示制御装置１３／２３、医療情報システム３０、導出装置４０等は、例えば図１６に示すような構成のコンピュータ１０００によって実現され得る。図１６は、サーバ１２／２２、表示制御装置１３／２３、医療情報システム３０、導出装置４０等の機能を実現するコンピュータ１０００の一例を示すハードウエア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インタフェース１５００、及び入出力インタフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
上述してきた実施形態及びその変形例に係るサーバ１２／２２、表示制御装置１３／２３、医療情報システム３０、導出装置４０等は、例えば図１６に示すような構成のコンピュータ１０００によって実現され得る。図１６は、サーバ１２／２２、表示制御装置１３／２３、医療情報システム３０、導出装置４０等の機能を実現するコンピュータ１０００の一例を示すハードウエア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インタフェース１５００、及び入出力インタフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
【0122】
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
【0123】
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウエアに依存するプログラム等を格納する。
【0124】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る各動作を実行するためのプログラムを記録する記録媒体である。
【0125】
通信インタフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインタフェースである。例えば、ＣＰＵ１１００は、通信インタフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
【0126】
入出力インタフェース１６００は、上述したＩ／Ｆ部１８を含む構成であり、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインタフェースである。例えば、ＣＰＵ１１００は、入出力インタフェース１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインタフェースとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0127】
例えば、コンピュータ１０００が上述の実施形態に係るサーバ１２／２２、表示制御装置１３／２３、医療情報システム３０、導出装置４０等として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、サーバ１２／２２、表示制御装置１３／２３、医療情報システム３０、導出装置４０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラム等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
【0128】
［その他］
上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0129】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0130】
また、上述した実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0131】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0132】
なお、本技術は以下のような構成も取ることができる。
（１）
患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量に基づく調整情報を取得する取得部と、
前記調整情報に基づき、判定対象である生体試料に対し処理を行う処理部と、
前記処理によって取得した測定データを、前記学習済みモデルに入力して診断結果を推定する推定部と、
を備える情報処理システム。
（２）
前記学習済みモデルは、複数の前記学習データを含む学習データセットを用いて生成され、
前記取得部は、前記学習データセットに含まれる前記複数の学習データの特徴量についての統計情報に基づいて前記調整情報を取得する
前記処理部による前記処理は、前記調整情報に基づく前記測定データの特徴量の調整である
前記（１）に記載の情報処理システム。
（３）
前記処理部は、調整後の前記測定データの特徴量が前記複数の学習データの特徴量についての前記統計情報に対して設定された所定の範囲内に入るように、前記測定データの特徴量を調整する
前記（２）に記載の情報処理システム。
（４）
前記所定の範囲は、前記学習済みモデルから出力される推定結果の信頼度があらかじめ設定しておいた値以上となる範囲又は当該値以上となることが見込まれる範囲である
前記（３）に記載の情報処理システム。
（５）
前記処理部は、調整後の前記測定データの特徴量が前記複数の学習データの特徴量についての前記統計情報における中央値、平均値又は重心値に近づくように、前記測定データの特徴量を調整する
前記（２）に記載の情報処理システム。
（６）
前記処理部は、前記複数の学習データの特徴量についての前記統計情報と前記測定データの特徴量とから、前記測定データの特徴量を前記学習データの特徴量に近づけるように変換する変換式を生成し、前記変換式を用いて前記測定データの特徴量を調整する
前記（２）～（５）の何れか１つに記載の情報処理システム。
（７）
前記処理部は、画像データを入力とするニューラルネットワークを用いて、前記特徴量が前記学習データの特徴量に近づくように調整された前記測定データを出力し、
前記推定部は、前記学習済みモデルに調整後の前記測定データを入力して診断結果を推定する
前記（２）～（５）の何れか１つに記載の情報処理システム。
（８）
前記複数の学習データの特徴量についての前記統計情報に基づいて前記ニューラルネットワークの重みパラメータを調整する前処理推定部をさらに備える
前記（７）に記載の情報処理システム。
（９）
前記学習済みモデルにより推定された前記診断結果を評価し、当該評価に基づいて前記ニューラルネットワークの前記重みパラメータを調整する評価部をさらに備える
前記（８）に記載の情報処理システム。
（１０）
前記学習済みモデルにより推定された前記診断結果を評価する評価部をさらに備え、
前記処理部は、互いに異なる複数のニューラルネットワークそれぞれを用いた場合に前記学習済みモデルから出力される診断結果それぞれに対して前記評価部が出力した評価に基づいて、前記複数のニューラルネットワークのうちの１つを選択する
前記（９）に記載の情報処理システム。
（１１）
前記処理部は、複数のニューラルネットワークそれぞれを用いた場合に前記学習済みモデルから出力される診断結果それぞれに対して前記評価部が出力した評価を提示するユーザインタフェースに対してユーザが選択したニューラルネットワークに基づいて、前記複数のニューラルネットワークのうちの１つを選択する
前記（９）に記載の情報処理システム。
（１２）
前記評価部は、前記測定データの特徴量のうち、前記学習済みモデルによる前記診断結果の推定に悪影響を与えている特徴量を特定し、
前記処理部は、前記評価部により特定された前記特徴量をさらに調整する
前記（９）～（１１）の何れか１つに記載の情報処理システム。
（１３）
前記処理部は、前記複数の学習データの特徴量についての前記統計情報と前記測定データの特徴量との関係を提示するユーザインタフェースに対してユーザが入力した前記測定データの特徴量の調整値となるように、前記測定データの特徴量を調整する
前記（２）に記載の情報処理システム。
（１４）
前記処理部は、異なる学習データで学習された複数の学習済みモデルのうちから前記測定データの特徴量に近い特徴量を持つ学習データで学習された前記学習済みモデルを選択する
前記（１）～（１３）の何れか１つに記載の情報処理システム。
（１５）
前記学習データ及び前記測定データは、画像データであり、
前記特徴量は、明度、色相、ホワイトバランス、ガンマ値及びカラーチャートのうちの少なくとも１つを含む
前記（１）～（１４）の何れか１つに記載の情報処理システム。
（１６）
ユーザに対して情報を提示する表示部をさらに備え、
前記特徴量は、前記学習データを取得する際の物理的な条件を含み、
前記処理部は、前記測定データの特徴量を前記学習データの特徴量に近づけるために推奨される前記測定データを取得する際の物理的な条件を特定し、
前記表示部は、前記処理部により特定された前記物理的な条件をユーザに提示する
前記（１）～（１５）の何れか１つに記載の情報処理システム。
（１７）
前記物理的な条件は、前記学習データ又は前記測定データを取得する際の工程においてユーザにより手動で調整されるパラメータである
前記（１６）に記載の情報処理システム。
（１８）
前記学習データ及び前記測定データは、医療画像である
前記（１）～（１７）の何れか１つに記載の情報処理システム。
（１９）
コンピュータを機能させるためのプログラムであって、
前記コンピュータを、
患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量を取得する取得部と、
判定対象である生体試料の測定データの特徴量と前記学習データの特徴量の比較結果に基づき、処理部の調整情報を出力する出力部と、
として機能させるためのプログラム。
（２０）
患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量に基づく調整情報を取得する取得部と、
前記調整情報に基づき、判定対象である生体試料に対し処理を行う処理部と、
を備える、生体試料処理装置。
（２１）
コンピュータを機能させるためのプログラムであって、
前記コンピュータを、
患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量に基づき処理を行った、生体試料の測定データを取得する取得部と、
前記測定データを、前記学習済みモデルに入力して診断結果を推定する推定部と
として機能させるためのプログラム。
（１）
患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量に基づく調整情報を取得する取得部と、
前記調整情報に基づき、判定対象である生体試料に対し処理を行う処理部と、
前記処理によって取得した測定データを、前記学習済みモデルに入力して診断結果を推定する推定部と、
を備える情報処理システム。
（２）
前記学習済みモデルは、複数の前記学習データを含む学習データセットを用いて生成され、
前記取得部は、前記学習データセットに含まれる前記複数の学習データの特徴量についての統計情報に基づいて前記調整情報を取得する
前記処理部による前記処理は、前記調整情報に基づく前記測定データの特徴量の調整である
前記（１）に記載の情報処理システム。
（３）
前記処理部は、調整後の前記測定データの特徴量が前記複数の学習データの特徴量についての前記統計情報に対して設定された所定の範囲内に入るように、前記測定データの特徴量を調整する
前記（２）に記載の情報処理システム。
（４）
前記所定の範囲は、前記学習済みモデルから出力される推定結果の信頼度があらかじめ設定しておいた値以上となる範囲又は当該値以上となることが見込まれる範囲である
前記（３）に記載の情報処理システム。
（５）
前記処理部は、調整後の前記測定データの特徴量が前記複数の学習データの特徴量についての前記統計情報における中央値、平均値又は重心値に近づくように、前記測定データの特徴量を調整する
前記（２）に記載の情報処理システム。
（６）
前記処理部は、前記複数の学習データの特徴量についての前記統計情報と前記測定データの特徴量とから、前記測定データの特徴量を前記学習データの特徴量に近づけるように変換する変換式を生成し、前記変換式を用いて前記測定データの特徴量を調整する
前記（２）～（５）の何れか１つに記載の情報処理システム。
（７）
前記処理部は、画像データを入力とするニューラルネットワークを用いて、前記特徴量が前記学習データの特徴量に近づくように調整された前記測定データを出力し、
前記推定部は、前記学習済みモデルに調整後の前記測定データを入力して診断結果を推定する
前記（２）～（５）の何れか１つに記載の情報処理システム。
（８）
前記複数の学習データの特徴量についての前記統計情報に基づいて前記ニューラルネットワークの重みパラメータを調整する前処理推定部をさらに備える
前記（７）に記載の情報処理システム。
（９）
前記学習済みモデルにより推定された前記診断結果を評価し、当該評価に基づいて前記ニューラルネットワークの前記重みパラメータを調整する評価部をさらに備える
前記（８）に記載の情報処理システム。
（１０）
前記学習済みモデルにより推定された前記診断結果を評価する評価部をさらに備え、
前記処理部は、互いに異なる複数のニューラルネットワークそれぞれを用いた場合に前記学習済みモデルから出力される診断結果それぞれに対して前記評価部が出力した評価に基づいて、前記複数のニューラルネットワークのうちの１つを選択する
前記（９）に記載の情報処理システム。
（１１）
前記処理部は、複数のニューラルネットワークそれぞれを用いた場合に前記学習済みモデルから出力される診断結果それぞれに対して前記評価部が出力した評価を提示するユーザインタフェースに対してユーザが選択したニューラルネットワークに基づいて、前記複数のニューラルネットワークのうちの１つを選択する
前記（９）に記載の情報処理システム。
（１２）
前記評価部は、前記測定データの特徴量のうち、前記学習済みモデルによる前記診断結果の推定に悪影響を与えている特徴量を特定し、
前記処理部は、前記評価部により特定された前記特徴量をさらに調整する
前記（９）～（１１）の何れか１つに記載の情報処理システム。
（１３）
前記処理部は、前記複数の学習データの特徴量についての前記統計情報と前記測定データの特徴量との関係を提示するユーザインタフェースに対してユーザが入力した前記測定データの特徴量の調整値となるように、前記測定データの特徴量を調整する
前記（２）に記載の情報処理システム。
（１４）
前記処理部は、異なる学習データで学習された複数の学習済みモデルのうちから前記測定データの特徴量に近い特徴量を持つ学習データで学習された前記学習済みモデルを選択する
前記（１）～（１３）の何れか１つに記載の情報処理システム。
（１５）
前記学習データ及び前記測定データは、画像データであり、
前記特徴量は、明度、色相、ホワイトバランス、ガンマ値及びカラーチャートのうちの少なくとも１つを含む
前記（１）～（１４）の何れか１つに記載の情報処理システム。
（１６）
ユーザに対して情報を提示する表示部をさらに備え、
前記特徴量は、前記学習データを取得する際の物理的な条件を含み、
前記処理部は、前記測定データの特徴量を前記学習データの特徴量に近づけるために推奨される前記測定データを取得する際の物理的な条件を特定し、
前記表示部は、前記処理部により特定された前記物理的な条件をユーザに提示する
前記（１）～（１５）の何れか１つに記載の情報処理システム。
（１７）
前記物理的な条件は、前記学習データ又は前記測定データを取得する際の工程においてユーザにより手動で調整されるパラメータである
前記（１６）に記載の情報処理システム。
（１８）
前記学習データ及び前記測定データは、医療画像である
前記（１）～（１７）の何れか１つに記載の情報処理システム。
（１９）
コンピュータを機能させるためのプログラムであって、
前記コンピュータを、
患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量を取得する取得部と、
判定対象である生体試料の測定データの特徴量と前記学習データの特徴量の比較結果に基づき、処理部の調整情報を出力する出力部と、
として機能させるためのプログラム。
（２０）
患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量に基づく調整情報を取得する取得部と、
前記調整情報に基づき、判定対象である生体試料に対し処理を行う処理部と、
を備える、生体試料処理装置。
（２１）
コンピュータを機能させるためのプログラムであって、
前記コンピュータを、
患者または被験者の健康状態の推定を行う学習済みモデルの生成に使用された学習データの特徴量に基づき処理を行った、生体試料の測定データを取得する取得部と、
前記測定データを、前記学習済みモデルに入力して診断結果を推定する推定部と
として機能させるためのプログラム。
【符号の説明】
【0133】
１ 診断支援システム
２ ＡＩ
１０、２０ 病理システム
１１、２１ 測定機器
１２、２２ サーバ
１３、２３ 表示制御装置
１４、２４ 表示装置
３０ 医療情報システム
４０ 導出装置
４１ 通信部
４２ 記憶部
４３ 制御部
５１ 画像データ取得部
５２ 診断データ取得部
５３ 学習部
５４ 導出部
５５ 学習済みモデル
５６ 前処理部
５７ 評価部
５８ 前処理推定部
１００ 情報処理システム
１０１ 生体試料
１０２ 取得部
１０３ 処理部
１０４ 推定部
１０５ 学習済みモデル
１０６ 表示部
１０７ 学習部
１０８ 学習モデル
１０９ 学習データ
２ ＡＩ
１０、２０ 病理システム
１１、２１ 測定機器
１２、２２ サーバ
１３、２３ 表示制御装置
１４、２４ 表示装置
３０ 医療情報システム
４０ 導出装置
４１ 通信部
４２ 記憶部
４３ 制御部
５１ 画像データ取得部
５２ 診断データ取得部
５３ 学習部
５４ 導出部
５５ 学習済みモデル
５６ 前処理部
５７ 評価部
５８ 前処理推定部
１００ 情報処理システム
１０１ 生体試料
１０２ 取得部
１０３ 処理部
１０４ 推定部
１０５ 学習済みモデル
１０６ 表示部
１０７ 学習部
１０８ 学習モデル
１０９ 学習データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】