ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022146822
(43)【公開日】2022-10-05
(54)【発明の名称】画像診断システム及び画像診断方法
(51)【国際特許分類】
G16H 30/00 20180101AFI20220928BHJP
【ＦＩ】
G16H30/00
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2021047996
(22)【出願日】2021-03-22
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】山根 健治
(72)【発明者】
【氏名】鈴木 健二
(72)【発明者】
【氏名】寺元 陶冶
(72)【発明者】
【氏名】小野 友己
(72)【発明者】
【氏名】小林 由幸
(72)【発明者】
【氏名】石井 雅人
【テーマコード（参考）】
5L099
【Ｆターム（参考）】
5L099AA26
(57)【要約】
【課題】人工知能機能を用いて医用画像を診断する画像診断システムを提供する。
【解決手段】画像診断システムは、制御部と、入力画像に基づいて、機械学習モデルを用いて診断結果を推定する診断部と、前記診断結果に基づいて診断結果レポートを出力する診断結果レポート出力部と、前記診断結果レポートに含まれる診断内容の一部を選択する選択部と、前記選択された前記診断内容の推定に影響を与えた判断根拠情報を抽出する抽出部を具備し、前記制御部は、前記判断根拠情報を出力する。前記判断根拠情報を修正する修正部をさらに備え、修正された判断根拠情報を前記機械学習モデルの再学習に用いる。
【選択図】 図１
【解決手段】画像診断システムは、制御部と、入力画像に基づいて、機械学習モデルを用いて診断結果を推定する診断部と、前記診断結果に基づいて診断結果レポートを出力する診断結果レポート出力部と、前記診断結果レポートに含まれる診断内容の一部を選択する選択部と、前記選択された前記診断内容の推定に影響を与えた判断根拠情報を抽出する抽出部を具備し、前記制御部は、前記判断根拠情報を出力する。前記判断根拠情報を修正する修正部をさらに備え、修正された判断根拠情報を前記機械学習モデルの再学習に用いる。
【選択図】 図１
【特許請求の範囲】
【請求項1】
制御部と、
入力画像に基づいて、機械学習モデルを用いて診断結果を推定する診断部と、
前記診断結果に基づいて診断結果レポートを出力する診断結果レポート出力部と、
前記診断結果レポートに含まれる診断内容の一部を選択する選択部と、
前記選択された前記診断内容の推定に影響を与えた判断根拠情報を抽出する抽出部と、
を具備し、
前記制御部は、前記判断根拠情報を出力する、画像診断システム。
入力画像に基づいて、機械学習モデルを用いて診断結果を推定する診断部と、
前記診断結果に基づいて診断結果レポートを出力する診断結果レポート出力部と、
前記診断結果レポートに含まれる診断内容の一部を選択する選択部と、
前記選択された前記診断内容の推定に影響を与えた判断根拠情報を抽出する抽出部と、
を具備し、
前記制御部は、前記判断根拠情報を出力する、画像診断システム。
【請求項2】
前記判断根拠情報を修正する修正部をさらに備え、
修正された判断根拠情報を前記機械学習モデルの再学習に用いる、
請求項１に記載の画像診断システム。
修正された判断根拠情報を前記機械学習モデルの再学習に用いる、
請求項１に記載の画像診断システム。
【請求項3】
前記診断部は、前記入力画像の特徴に関わる観測データを推論する観測データ推論部と、前記入力画像の診断に関わる所見データを推論する所見データ推論部を含み、
前記制御部は、前記観測データ推論部による観測データの推論の根拠と前記所見データ推論部による所見データの推論の根拠を計算し、
前記診断結果レポート出力部は、前記観測データ推論部及び前記所見データ推論部がそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算部及び前記所見データ根拠計算部が計算した根拠に基づいて、前記入力画像の診断レポートを作成する、
請求項１に記載の画像診断システム。
前記制御部は、前記観測データ推論部による観測データの推論の根拠と前記所見データ推論部による所見データの推論の根拠を計算し、
前記診断結果レポート出力部は、前記観測データ推論部及び前記所見データ推論部がそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算部及び前記所見データ根拠計算部が計算した根拠に基づいて、前記入力画像の診断レポートを作成する、
請求項１に記載の画像診断システム。
【請求項4】
前記観測データ推論部は、入力画像を説明変数とし観測データを目的変数として学習された第１の機械学習モデルを用いて観測データの推論を行い、
前記所見データ推論部は、入力画像を説明変数とし所見データを目的変数とし学習された第２の機械学習モデルを用いて所見データの推論を行う、
請求項３に記載の画像診断システム。
前記所見データ推論部は、入力画像を説明変数とし所見データを目的変数とし学習された第２の機械学習モデルを用いて所見データの推論を行う、
請求項３に記載の画像診断システム。
【請求項5】
入力画像を説明変数とし、入力画像に対応する患者情報及び検査値から抽出された観測データを目的変数として、前記第１の機械学習モデルの学習を行う観測データ学習部と、
入力画像を説明変数とし、入力画像に対する診断レポートから抽出された所見データを目的変数として、前記第２の機械学習モデルの学習を行う所見データ学習部と、
をさらに備える、請求項４に記載の画像診断システム。
入力画像を説明変数とし、入力画像に対する診断レポートから抽出された所見データを目的変数として、前記第２の機械学習モデルの学習を行う所見データ学習部と、
をさらに備える、請求項４に記載の画像診断システム。
【請求項6】
入力画像と、入力画像に対応する患者情報及び検査値から抽出された観測データを説明変数として前記第１の機械学習モデルの学習を行う観測データ学習部と、
入力画像と入力画像に対応する前記観測データを説明変数とし、入力画像に対する診断レポートから抽出された所見データを目的変数として前記第２の機械学習モデルの学習を行う所見データ学習部と、
をさらに備える、請求項４に記載の画像診断システム。
入力画像と入力画像に対応する前記観測データを説明変数とし、入力画像に対する診断レポートから抽出された所見データを目的変数として前記第２の機械学習モデルの学習を行う所見データ学習部と、
をさらに備える、請求項４に記載の画像診断システム。
【請求項7】
入力画像と、入力画像に対応する患者情報と検査値に基づいて、入力画像に対する診断レポートから観測データを抽出する観測データ抽出部と、
入力画像に対する診断レポートから所見データを抽出する所見データ抽出部と、
をさらに備える、請求項５に記載の画像診断システム。
入力画像に対する診断レポートから所見データを抽出する所見データ抽出部と、
をさらに備える、請求項５に記載の画像診断システム。
【請求項8】
前記観測データ推論部及び前記所見データ推論部の少なくとも一方は推論の信頼度を出力し、前記レポート作成部は、前記信頼度の情報を含んだ前記診断レポートを作成する、
請求項３に記載の画像診断システム。
請求項３に記載の画像診断システム。
【請求項9】
前記診断レポートを提示する提示部をさらに備える、
請求項１に記載の画像診断システム。
請求項１に記載の画像診断システム。
【請求項10】
前記提示部は、観測データ及び所見データの各推論の根拠を元の入力画像に重畳して表示する、
請求項９に記載の画像診断システム。
請求項９に記載の画像診断システム。
【請求項11】
前記提示部は、観測データ及び所見データと対応付けて各推論の根拠を元の入力画像上に表示する、
請求項９に記載の画像診断システム。
請求項９に記載の画像診断システム。
【請求項12】
前記提示部は、観測データ及び所見データの各推論の信頼度をさらに提示する、
請求項９に記載の画像診断システム。
請求項９に記載の画像診断システム。
【請求項13】
ユーザ入力に基づいて前記診断レポートの採否を判断する判断部をさらに備える、
請求項３に記載の画像診断システム。
請求項３に記載の画像診断システム。
【請求項14】
前記判断部は、ユーザ入力に基づいて、前記診断レポート中の観測データ又は所見データの根拠の修正、観測データ又は所見データの削除、観測データ又は所見データ及びその根拠の追加のうち少なくとも１つを行う、
請求項１３に記載の画像診断システム。
請求項１３に記載の画像診断システム。
【請求項15】
合成変数を抽出して、ユーザ入力に基づいて名前を付ける名前付け部をさらに備える、
請求項３に記載の画像診断システム。
請求項３に記載の画像診断システム。
【請求項16】
前記合成変数は、入力画像の学習時に抽出される画像特徴量、又は観測値の合成変数のうち少なくとも１つを含む、
請求項１５に記載の画像診断システム。
請求項１５に記載の画像診断システム。
【請求項17】
前記観測データ根拠計算部が前記観測データ推論部による観測データの推論の根拠を計算するときに、根拠となっている変数の重要度の欠損を検出する検出部をさらに備える、
請求項３に記載の画像診断システム。
請求項３に記載の画像診断システム。
【請求項18】
前記検出部は検出した欠損値の入力をユーザに促し、前記観測データ推論部は、ユーザから入力された欠損値を用いて再度観測データの推論を行う、
請求項１７に記載の画像診断システム。
請求項１７に記載の画像診断システム。
【請求項19】
入力画像に関する情報を処理する画像診断システムであって、
入力画像と、入力画像に対応する患者情報と検査値に基づいて、観測データを抽出する観測データ抽出部と、
入力画像と入力画像に関する観測データを説明変数とし入力画像の診断レポートを目的変数とする機械学習モデルの学習を行う学習部と、
学習済みの前記機械学習モデルを用いて、入力画像と入力画像に対応する患者情報と検査値から診断レポートを推論する推論部と、
を具備する画像診断システム。
入力画像と、入力画像に対応する患者情報と検査値に基づいて、観測データを抽出する観測データ抽出部と、
入力画像と入力画像に関する観測データを説明変数とし入力画像の診断レポートを目的変数とする機械学習モデルの学習を行う学習部と、
学習済みの前記機械学習モデルを用いて、入力画像と入力画像に対応する患者情報と検査値から診断レポートを推論する推論部と、
を具備する画像診断システム。
【請求項20】
入力画像を診断する画像診断方法であって、
前記入力画像の特徴に関わる観測データを推論する観測データ推論ステップと、
前記入力画像の診断に関わる所見データを推論する所見データ推論ステップと、
前記観測データ推論ステップにおける観測データの推論の根拠を計算する観測データ根拠計算ステップと、
前記所見データ推論ステップにおける所見データの推論の根拠を計算する所見データ根拠計算ステップと、
前記観測データ推論ステップ及び前記所見データ推論ステップの各々においてそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算ステップ及び前記所見データ根拠計算ステップの各々において計算した根拠に基づいて、前記入力画像の診断レポートを作成するレポート作成ステップと、
を有する画像診断方法。
前記入力画像の特徴に関わる観測データを推論する観測データ推論ステップと、
前記入力画像の診断に関わる所見データを推論する所見データ推論ステップと、
前記観測データ推論ステップにおける観測データの推論の根拠を計算する観測データ根拠計算ステップと、
前記所見データ推論ステップにおける所見データの推論の根拠を計算する所見データ根拠計算ステップと、
前記観測データ推論ステップ及び前記所見データ推論ステップの各々においてそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算ステップ及び前記所見データ根拠計算ステップの各々において計算した根拠に基づいて、前記入力画像の診断レポートを作成するレポート作成ステップと、
を有する画像診断方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書で開示する技術（以下、「本開示」とする）は、病理画像データなどの医用画像を診断する画像診断システム及び画像診断方法に関する。
【背景技術】
【0002】
病気に罹患した患者を治療するには、病理を特定する必要がある。ここで、病理とは、病気になる理由や過程、根拠のことである。また、病理診断を行う医師を病理医と呼ぶ。病理診断は、例えば、体から採取した病変部を薄くスライスして染色などの処理を施して、顕微鏡を使って観察しながら病変の有無や病変の種類について診断する方法が一般的である。以下、本明細書では、単に「病理診断」というときは、特に言及しない限りこの診断方法を指すものとする。また、薄くスライスした病変部を顕微鏡で観察する画像のことを「病理画像」と呼び、デジタル化した病理画像を「病理画像データ」と呼ぶことにする。
【0003】
病理診断を利用した検査数は増加傾向にあるが、診断を担当する病理医不足が課題である。病理医不足は、病理医の労働負荷の増大や、診断結果を得るまでの期間の長期化による患者の負担増大を招来する。このため、病理画像のデジタル化と、人工知能による画像解析機能を利用した病理診断や、オンライン上での病理による遠隔診断などが検討されている。
【0004】
例えば、医用画像の特徴を示す値である画像特徴量に基づいて医用画像から導かれる診断名を推論し、画像特徴量に基づいて医用画像の特徴を表現する画像所見を推論し、診断名の推論に影響を与えた画像特徴量と共通する画像特徴量が影響を与えて推論された画像所見と診断名とをユーザに提示する情報処理装置が提案されている（特許文献１を参照のこと）。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１９－９７８０５号公報
【特許文献2】特開２０２０－３８６００号公報
【非特許文献】
【0006】
【非特許文献1】Ｒｅｓｉｄｕａｌｓ ａｎｄ Ｉｎｆｌｕｅｎｃｅ ｉｎ Ｒｅｇｒｅｓｓｉｏｎ， Ｃｏｏｋ， Ｒ．Ｄ． ａｎｄ Ｗｅｉｓｂｅｒｇ，Ｓ ＜ｈｔｔｐｓ：／／ｃｏｎｓｅｒｖａｎｃｙ．ｕｍｎ．ｅｄｕ／ｈａｎｄｌｅ／１１２９９／３７０７６＞
【非特許文献2】Ｗｈａｔ Ｕｎｃｅｒｔａｉｎｔｉｅｓ Ｄｏ Ｗｅ Ｎｅｅｄ ｉｎ Ｂａｙｅｓｉａｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｖｉｓｏｎ，ＮＩＰＳ ２０１７， Ａｌｅｘ Ｋｅｎｄａｌｌ ａｎｄ Ｙａｒｉｎ Ｇａｌ ＜ｈｔｔｐｓ：／／ｐａｐｅｒｓ．ｎｉｐｓ．ｃｃ／ｐａｐｅｒ／７１４１－ｗｈａｔ－ｕｎｃｅｒｔａｉｎｔｉｅｓ－ｄｏ－ｗｅ－ｎｅｅｄ－ｉｎ－ｂａｙｅｓｉａｎ－ｄｅｅｐ－ｌｅａｒｎｉｎｇ－ｆｏｒ－ｃｏｍｐｕｔｅｒ－ｖｉｓｉｏｎ．ｐｄｆ＞
【非特許文献3】Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ， Ｉａｎ Ｊ． Ｇｏｏｄｆｅｌｌｏｗ ｅｔ ａｌ． ＜ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１４０６．２６６１＞
【非特許文献4】Ｇｒａｄ－ＣＡＭ： Ｖｉｓｕａｌ Ｅｘｐｌａｎａｔｉｏｎｓ ｆｒｏｍ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ ｖｉａ Ｇｒａｄｉｅｎｔ－ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ ＜ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６１０．０２３９１＞
【非特許文献5】"Ｗｈｙ Ｓｈｏｕｌｄ Ｉ Ｔｒｕｓｔ Ｙｏｕ？"： Ｅｘｐｌａｉｎｉｎｇ ｔｈｅ Ｐｒｅｄｉｃｔｉｏｎｓ ｏｆ Ａｎｙ Ｃｌａｓｓｉｆｉｅｒ ＜ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０２．０４９３８＞
【非特許文献6】Ｉｎｔｅｒｐｒｅｔａｂｉｌｉｔｙ Ｂｅｙｏｎｄ Ｆｅａｔｕｒｅ Ａｔｔｒｉｂｕｔｉｏｎ： Ｑｕａｎｔｉｔａｔｉｖｅ Ｔｅｓｔｉｎｇ ｗｉｔｈ Ｃｏｎｃｅｐｔ Ａｃｔｉｖａｔｉｏｎ Ｖｅｃｔｏｒｓ （ＴＣＡＶ） ＜ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１７１１．１１２７９．ｐｄｆ＞
【非特許文献7】Ｊｅｓｓｅ Ｍｕ ａｎｄ Ｊａｃｏｂ Ａｎｄｒｅａｓ，"Ｃｏｍｐｏｓｉｔｉｏｎａｌ Ｅｘｐｌａｎａｔｉｏｎｓ ｏｆ Ｎｅｕｒｏｎｓ"＜３４ｔｈ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ （ＮｅｕｒＩＰＳ ２０２０）， Ｖａｎｃｏｕｖｅｒ， Ｃａｎａｄａ＞
【発明の概要】
【発明が解決しようとする課題】
【0007】
本開の目的は、人工知能機能を用いて医用画像を診断する画像診断システム及び画像診断方法を提供することにある。
【課題を解決するための手段】
【0008】
本開示は、上記課題を参酌してなされたものであり、その第１の側面は、制御部と、
入力画像に基づいて、機械学習モデルを用いて診断結果を推定する診断部と、
前記診断結果に基づいて診断結果レポートを出力する診断結果レポート出力部と、
前記診断結果レポートに含まれる診断内容の一部を選択する選択部と、
前記選択された前記診断内容の推定に影響を与えた判断根拠情報を抽出する抽出部と、
を具備し、
前記制御部は、前記判断根拠情報を出力する、画像診断システムである。
入力画像に基づいて、機械学習モデルを用いて診断結果を推定する診断部と、
前記診断結果に基づいて診断結果レポートを出力する診断結果レポート出力部と、
前記診断結果レポートに含まれる診断内容の一部を選択する選択部と、
前記選択された前記診断内容の推定に影響を与えた判断根拠情報を抽出する抽出部と、
を具備し、
前記制御部は、前記判断根拠情報を出力する、画像診断システムである。
【0009】
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【0010】
第１の側面に係る画像診断システムは、前記判断根拠情報を修正する修正部をさらに備えている。そして、第１の側面に係る画像診断システムは、修正された判断根拠情報を前記機械学習モデルの再学習に用いるようにしてもよい。
【0011】
また、第１の側面に係る情報処理装置は、医用画像データと、医用画像データに対応する患者情報と検査値に基づいて、医用画像データに対する診断レポートから観測データを抽出する観測データ抽出部と、医用画像データに対する診断レポートから所見データを抽出する所見データ抽出部をさらに備えている。
【0012】
第１の側面に係る情報処理装置において、前記診断部は、前記入力画像の特徴に関わる観測データを推論する観測データ推論部と、前記入力画像の診断に関わる所見データを推論する所見データ推論部を含んでもよい。そして、前記制御部は、前記観測データ推論部による観測データの推論の根拠と前記所見データ推論部による所見データの推論の根拠を計算し、
前記診断結果レポート出力部は、前記観測データ推論部及び前記所見データ推論部がそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算部及び前記所見データ根拠計算部が計算した根拠に基づいて、前記入力画像の診断レポートを作成するようにしてもよい。
前記診断結果レポート出力部は、前記観測データ推論部及び前記所見データ推論部がそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算部及び前記所見データ根拠計算部が計算した根拠に基づいて、前記入力画像の診断レポートを作成するようにしてもよい。
【0013】
第１の側面に係る情報処理装置は、入力画像を説明変数とし、入力画像に対応する患者情報及び検査値から抽出された観測データを目的変数として、前記第１の機械学習モデルの学習を行う観測データ学習部と、入力画像を説明変数とし、入力画像に対する診断レポートから抽出された所見データを目的変数として、前記第２の機械学習モデルの学習を行う所見データ学習部をさらに備えていてもよい。
【0014】
また、本開示の第２の側面は、入力画像に関する情報を処理する画像診断システムであって、
入力画像と、入力画像に対応する患者情報と検査値に基づいて、観測データを抽出する観測データ抽出部と、
入力画像と入力画像に関する観測データを説明変数とし入力画像の診断レポートを目的変数とする機械学習モデルの学習を行う学習部と、
学習済みの前記機械学習モデルを用いて、入力画像と入力画像に対応する患者情報と検査値から診断レポートを推論する推論部と、
を具備する画像診断システムである。
入力画像と、入力画像に対応する患者情報と検査値に基づいて、観測データを抽出する観測データ抽出部と、
入力画像と入力画像に関する観測データを説明変数とし入力画像の診断レポートを目的変数とする機械学習モデルの学習を行う学習部と、
学習済みの前記機械学習モデルを用いて、入力画像と入力画像に対応する患者情報と検査値から診断レポートを推論する推論部と、
を具備する画像診断システムである。
【0015】
また、本開示の第３の側面は、入力画像を診断する画像診断方法であって、
前記入力画像の特徴に関わる観測データを推論する観測データ推論ステップと、
前記入力画像の診断に関わる所見データを推論する所見データ推論ステップと、
前記観測データ推論ステップにおける観測データの推論の根拠を計算する観測データ根拠計算ステップと、
前記所見データ推論ステップにおける所見データの推論の根拠を計算する所見データ根拠計算ステップと、
前記観測データ推論ステップ及び前記所見データ推論ステップの各々においてそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算ステップ及び前記所見データ根拠計算ステップの各々において計算した根拠に基づいて、前記入力画像の診断レポートを作成するレポート作成ステップと、
を有する画像診断方法である。
前記入力画像の特徴に関わる観測データを推論する観測データ推論ステップと、
前記入力画像の診断に関わる所見データを推論する所見データ推論ステップと、
前記観測データ推論ステップにおける観測データの推論の根拠を計算する観測データ根拠計算ステップと、
前記所見データ推論ステップにおける所見データの推論の根拠を計算する所見データ根拠計算ステップと、
前記観測データ推論ステップ及び前記所見データ推論ステップの各々においてそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算ステップ及び前記所見データ根拠計算ステップの各々において計算した根拠に基づいて、前記入力画像の診断レポートを作成するレポート作成ステップと、
を有する画像診断方法である。
【発明の効果】
【0016】
本開示によれば、人工知能機能を用いて病理画像の診断レポートの作成を支援するための処理を行う情報処理装置及び情報処理方法、コンピュータプログラム、並びに医療診断システムを提供することができる。
【0017】
なお、本明細書に記載された効果は、あくまでも例示であり、本開示によりもたらされる効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
【0018】
本開示のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【0019】
【発明を実施するための形態】
【0020】
以下、図面を参照しながら本開示について、以下の順に従って説明する。
【0021】
Ａ．概要
Ｂ．システム構成
Ｃ．学習データ
Ｄ．機械学習モデルの構成
Ｅ．根拠計算
Ｆ．信頼度計算
Ｇ．診断レポートの作成・提示
Ｈ．診断レポートの採否・修正・編集
Ｉ．学習フェーズにおける動作
Ｊ．推論フェーズにおける動作
Ｋ．変形例
Ｌ．情報処理装置の構成例
Ｍ．顕微鏡システム
Ｂ．システム構成
Ｃ．学習データ
Ｄ．機械学習モデルの構成
Ｅ．根拠計算
Ｆ．信頼度計算
Ｇ．診断レポートの作成・提示
Ｈ．診断レポートの採否・修正・編集
Ｉ．学習フェーズにおける動作
Ｊ．推論フェーズにおける動作
Ｋ．変形例
Ｌ．情報処理装置の構成例
Ｍ．顕微鏡システム
【0022】
Ａ．概要
病理診断は、例えば、体から採取した病変部を薄くスライスして染色などの処理を施して、顕微鏡を使って観察しながら病変の有無や病変の種類について診断する方法である。図３０には、病理医が病理診断を行う様子を示している。図３０に示す例では、病理医は、顕微鏡を使って、参照番号３０００で示す病理画像を観察している。
病理診断は、例えば、体から採取した病変部を薄くスライスして染色などの処理を施して、顕微鏡を使って観察しながら病変の有無や病変の種類について診断する方法である。図３０には、病理医が病理診断を行う様子を示している。図３０に示す例では、病理医は、顕微鏡を使って、参照番号３０００で示す病理画像を観察している。
【0023】
病理画像３０００には、染色された病変部３００１が含まれている。病理医は、病理画像３０００に対して、例えば「ＸＸＸにびまん性の高い部位が見られる。診断はＹＹＹ。特徴量ザラザラ感は高い。」という診断レポートを作成する。一般に、診断レポートは、病理診断結果などを含む所見データと、病理画像の組織に関する観測データが含まれる。この場合の例では、「診断名：ＹＹＹ。」が所見データに相当し、「びまん性：高い」及び「特徴量：ザラザラ感」といった病理的な特徴量が観測データに相当する。そして、診断レポートは、患者情報（年齢、性別、喫煙歴など）、検査値（血液検査データや腫瘍マーカーなど）とともに、病理画像データと関連付けて電子カルテに記録される。
【0024】
人工知能機能を用いて病理画像データに対する診断レポートを自動的に作成することができれば、病理医の労働負荷が軽減される。また、人工知能が自動作成した診断レポートをそのまま採用するのではなく、病理医が最終的な採否を判断し、必要に応じて診断レポートを訂正したり加筆したりするようにすることで、病理診断を支援して、病理医の労働負荷の軽減につながる。
【0025】
そこで、本開示では、人工知能を利用して病理画像データの診断レポートの作成を支援する医療診断システムについて提案する。本開示に係る医療診断システムでは、まず、診断レポートと、患者情報と、検査値のデータと、病理画像データを機械学習モデルに学習させる。
【0026】
具体的には、診断レポートから診断結果に関する診断データと病理的な特徴量に関する観測データを抜き出して、診断データ及び病理画像データ、観測データ及び病理画像データ、患者情報、検査値を説明変数とするとともに所見データ及び観測データを目的変数とする機械学習モデルの学習を行う。そして、病理診断時には、診断対象となる病理画像データを、学習済みの機械学習モデルに入力して、所見データ及び観測データを推論させて、所見データ及び観測データを合成して、診断レポートを作成することができる。
【0027】
また、人工知能による病理画像の診断を行う場合、人工知能がブラックボックス化されその判断の根拠が明確でないと、病理医は診断レポートの採否を判断することが困難である。また、ＸＡＩ（ｅＸｐｌａｉｎａｂｌｅ ＡＩ）技術を利用して人工知能による診断の根拠を説明しただけでは、医師が十分に納得できるとは限らない。これに対し、本開示に係る医療診断システムでは、学習済み機械学習モデルを用いて診断に関わる所見データとともに病理画像の特徴に関わる観測データをそれぞれ推論した結果を、所見データ及び観測データの各々の推論の根拠とともに提示するようになっている。したがって、病理医は、提示された診断に関わる所見データ及び病理画像の特徴に関わる観測データと、各々の根拠に基づいて人工知能による診断レポートを適切に評価して、高精度に（又は、自信を持って）最終的な診断を行うことが可能になる。
【0028】
また、医療データは検査項目や問診などのデータが多岐にわたるため、教師あり学習により機械学習モデルを学習しても診断に必要なデータがすべて揃っているとは限らず、学習済み機械学習モデルを用いて診断（観測データの推論）を行ったときに欠損値を生じる可能性がある。これに対し、本開示に係る医療診断システムでは、学習済み機械学習モデルを用いて病理画像データから観測データを推論した根拠を計算したときに、重要な根拠データを欠損していることを検知して、ユーザ（病理医など）に欠損した重要な変数の入力を促すことができる。例えば、肺がんの診断を行う場合は、機械学習により重要な変数が喫煙年数であったとしたら、喫煙年数が患者データとして記入がなければ、記入を行うことを促す。したがって、本開示に係る医療診断システムによれば、ユーザが入力した欠損値を用いて再度推論を行うことにより、必要なデータをすべて揃えて観測データを推論することが可能になる。
【0029】
機械学習による重要なデータの計算方法としては、例えば、古典的な機械学習手法であれば、ＲａｎｄｏｍＦｏｒｅｓｔの手法、又はＤＮＮ技術の１つであるＬＩＭＥを用いて、各変数（観測データ）の重要度を計算する方法が挙げられる。ここで言う重要な根拠データとは、例えば、上記の重要度を計算して、ある閾値で区切り、重要度が高い変数がデータとして欠けていたら、入力をするように促す。欠損値が入力されたら、欠損値を埋めた上で、改めて、推論を行う。
【0030】
図３５には、欠損値の入力をユーザに促しながら観測データの推論（診断）を行う処理手順をフローチャートの形式で示している。まず、入力に欠損値があるかどうかをチェックし（ステップＳ３５０１）、欠損値がある場合には（ステップＳ３５０１のＹｅｓ）その欠損値の重要度を計算して、重要度が閾値以上であるかどうかをさらにチェックする（ステップＳ３５０２）。そして、その欠損値の重要度が閾値以上である場合には（ステップＳ３５０２のＹｅｓ）、欠損値の入力を促すようにユーザに提示し（ステップＳ３５０３）、ユーザによって入力された欠損値を変数に代入する（ステップＳ３５０４）。このようにして重要度の高い欠損値がない状態にして、観測データの推論（診断）を実施する（ステップＳ３５０５）。変数の重要度を計算する計算するタイミングは、学習データが追加された直後に都度計算を行ってもよいし、ある程度の量が溜まってから、定期的に実行するようにしてもよい。
【0031】
Ｂ．システム構成
図１には、本開示を適用した医療診断システム１００の機能的構成例を模式的に示している。医療診断システム１００は、人工知能機能を利用して、主に病理画像などの医用画像データの推論を実施し、又は診断レポートの作成または作成の支援を行うように構成されている。人工知能機能は、具体的には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの機械学習モデルで構成される。医療診断システム１００の動作は、学習フェーズと、推論フェーズに大別される。学習フェーズでは、病理画像などの医用画像データ、患者情報、検査値などを説明変数とし、診断レポートを目的変数として、機械学習モデルの学習を行う。また、推論フェーズでは、学習フェーズを通じて獲得された学習済みの機械学習モデルを用いて、病理画像などの医用画像データから診断レポートの推論を行う。本実施形態では、膨大量の学習データを用いてディープラーニングを行い、推論フェーズではＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて推論することを想定している。
図１には、本開示を適用した医療診断システム１００の機能的構成例を模式的に示している。医療診断システム１００は、人工知能機能を利用して、主に病理画像などの医用画像データの推論を実施し、又は診断レポートの作成または作成の支援を行うように構成されている。人工知能機能は、具体的には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの機械学習モデルで構成される。医療診断システム１００の動作は、学習フェーズと、推論フェーズに大別される。学習フェーズでは、病理画像などの医用画像データ、患者情報、検査値などを説明変数とし、診断レポートを目的変数として、機械学習モデルの学習を行う。また、推論フェーズでは、学習フェーズを通じて獲得された学習済みの機械学習モデルを用いて、病理画像などの医用画像データから診断レポートの推論を行う。本実施形態では、膨大量の学習データを用いてディープラーニングを行い、推論フェーズではＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて推論することを想定している。
【0032】
医療診断システム１００は、病理画像データから所見データを推論するための機械学習モデルと、病理画像データから観測データを推論するための機械学習モデルという２つの機械学習モデルを使用する。したがって、学習フェーズでは、これら２つの機械学習モデルの学習をそれぞれ行う。
【0033】
これら２つの機械学習モデルの学習には、病理画像データと、患者情報と、検査値と、診断レポートが説明変数として使用される。医療診断システム１００は、これらの各データをデータベース（ＤＢ）化した病理画像データＤＢ１０１と、患者情報ＤＢ１０２と、検査値ＤＢ１０３と、診断レポートＤＢ１０４を備えている。病理画像データと、該当する患者の患者情報及び検査値と、その病理画像データに対する診断レポートは対応付けられているものとする。
【0034】
患者情報は、年齢、性別、身長、体重、既往歴など、該当する患者に紐付いた情報からなる。検査値は、血液検査のデータや血液中の腫瘍マーカー（ＣＡ１９－１、ＣＥＡなど）の値などであり、該当する患者から採取した血液や組織などから定量化できる観測値からなる。診断レポートは、病理医が病理画像データを病理診断して作成したレポートであり、基本的には自然言語すなわち文字（テキスト）データで構成される。
【0035】
全国又は全世界の病理医は、例えば特許文献２で開示される医療システムを用いて病理画像データの病理診断を行うものとする。そして、病理画像データとそれに対する診断レポートが、患者情報及び検査値とともに収集されて、病理画像データＤＢ１０１、患者情報ＤＢ１０２、検査値ＤＢ１０３、診断レポートＤＢ１０４の各データベースに蓄積される。
【0036】
観測データ抽出部１０５は、患者情報ＤＢ１０２、検査値ＤＢ１０３、診断レポートＤＢ１０４の各データベースから、診断レポートと、診断レポートに対応する患者情報及び検査値を読み込んで、診断レポート（テキストデータ）の中から病理的な特徴量を表す観測データを抽出する。例えば、観測データ抽出部１０５は、該当する患者情報に含まれる患者の年齢、性別、身長、体重や、該当する検査値に基づいて、診断レポートから病理的な特徴量を表す観測データを抽出する。また、観測データ抽出部１０５は、テキストデータからなる診断レポートに対して自然言語処理を行って、観測可能な特徴とその度合い（病理画像データの各部の画像の特徴を言い表す単語など）を取得する。上述した図３０に示す例では、「びまん性」という特徴と「高い」という度合いや、「ザラザラ感」という特徴と「高い」という度合いが観測データ抽出部１０５によって抽出される。観測データ抽出部１０５は、テキストデータ中から画像の特徴を表すワードやフレーズを検出するように学習された機械学習モデルを用いて観測データの抽出処理を行うようにしてもよい。
【0037】
所見データ抽出部１０６は、文字からなる診断レポートに対して自然言語処理を行って、診断又は所見に関するデータを抽出する。診断に関するデータとは、例えば、病理画像データの症例がどういう診断をしたかという診断結果のことである。上述した図３０に示す例では、病名「ＹＹＹ」の単語が所見データ抽出部１０６によって抽出される。所見データ抽出部１０６は、病理画像データから病名や症状を推論するように学習された機械学習モデルを用いて所見データの抽出処理を行うようにしてもよい。
【0038】
観測データ学習部１０７は、病理画像データを説明変数とし観測データを目的変数とする第１の機械学習モデルの学習処理を行う。具体的には、観測データ学習部１０７は、病理画像データＤＢ１０１から読み出した病理画像データを入力データとし、観測データ抽出部１０５が患者情報ＤＢ１０２及び検査値ＤＢ１０３の各々から読み出した対応する患者情報及び検査値に基づいて診断レポートから抽出した観測データを正解ラベルとするデータセットを学習データに用いて、病理画像データから観測データを推論するように第１の機械学習モデルの学習処理を行う。第１の機械学習モデルは、例えば、人間のニューロンを模倣した構造を持つニューラルネットワークで構成される。観測データ学習部１０７は、学習中の第１の機械学習モデルが入力データに対して出力するラベルと正解ラベルとの誤差に基づく損失関数を計算して、損失関数が最小化するように第１の機械学習モデルの学習処理を行う。
【0039】
所見データ学習部１０８は、病理画像データを説明変数とし所見データを目的変数とする第２の機械学習モデルの学習処理を行う。所見データ学習部１０８は、病理画像データＤＢ１０１から読み出した病理画像データを入力データとし、診断レポートＤＢ１０４から読み出した対応する診断レポートから所見データ抽出部１０６が抽出した所見データを正解ラベルとするデータセットを学習データに用いて、病理画像データから所見データを推論するように第２の機械学習モデルの学習処理を行う。第２の機械学習モデルは、例えば、人間のニューロンを模倣した構造を持つニューラルネットワークで構成される。所見データ学習部１０８は、学習中の第２の機械学習モデルが入力データに対して出力するラベルと正解ラベルとの誤差に基づく損失関数を計算して、損失関数が最小化するように第２の機械学習モデルの学習処理を行う。なお、所見データの学習には、ＤａｔａＣａｐｔｉｏｎｉｎｇの技術を用いて、所見データだけではなく、観測データを入力に、所見データが出力できるように、学習を行うようにしてもよい。
【0040】
観測データ学習部１０７及び所見データ学習部１０８では、取り込まれた病理画像データに対して正解ラベルを出力するように、それぞれモデルパラメータを更新することによって、第１の機械学習モデル及び第２の機械学習モデルの学習処理が行われる。モデルパラメータは、機械学習モデルの挙動を規定する変動要素であり、例えばニューラルネットワークの各ニューロンに与える重み付け係数などである。誤差逆伝播法においては、ニューラルネットワークの出力層の値と正しい診断結果（正解ラベル）との誤差に基づいて損失関数を定義して、最急降下法などを用いて損失関数が最小化するようにモデルパラメータの更新が行われる。そして、観測データ学習部１０７及び所見データ学習部１０８は、学習結果として得られた各々の機械学習モデルのモデルパラメータを、モデルパラメータ保持部１１０に格納する。
【0041】
観測データ推論及び所見データ推論をそれぞれ行う機械学習モデルとして、具体的にはＣＮＮが用いられるが、入力画像の特徴量を抽出する特徴量抽出部と、抽出した特徴量に基づいて入力画像に対応する出力ラベル（本実施形態では、観測データ及び所見データ）を推論する画像分類部を含んでいる。前者の特徴量抽出部は、ニューロン間の結合の制限及びウェイト共有の手法によって入力画像の畳み込みを行ってエッジや特徴を抽出する「畳み込み層」と、画像分類に重要でない位置の情報を削除して畳み込み層が抽出した特徴にロバスト性を与える「プーリング層」を備えている。また、学習時には、観測データ学習部１０７及び所見データ学習部１０８のいずれか一方において前段の特徴量抽出部を学習した結果を固定して、他方は後段の画像分類部のみを別の問題に対して学習させる「転移学習」が可能である。
【0042】
観測データ学習部１０７は、観測データ抽出部１０５が抽出した診断レポートや観測値（患者情報及び検査値）だけでなく、ユーザ（病理医など）が合成した合成変数に基づいて学習を行うようにしてもよい。ここで言う合成変数は、例えば学習の途中でＣＮＮが入力画像から抽出した特徴量でもよいし、年齢と性別など複数の観測値を単純に合成した変数でもよい。また、ユーザが合成変数を定義するようにしてもよい。例えば、病理医が、病理診断中の病理画像データに対して、領域を指定して、「ツブツブ感が高い」というような、特徴量がどうであるかを入力するようにしてもよい。
【0043】
特徴量抽出及び名前付け部１０９は、観測値の合成やユーザの定義に基づいて変数を新たに抽出して、それを該当する画像特徴量の名前に付けるようにする。例えば、特徴量抽出及び名前付け部１０９は、変数を抽出してユーザに提示し、ユーザが付けた「ツブツブ感」のような特徴の名前を付けて、観測データ学習部１０７に出力する。この場合、観測データ学習部１０７は、特徴量抽出及び名前付け部１０９から入力した名前を目的変数として学習を行う。なお、特徴量抽出及び名前付け部１０９は、ユーザからの入力ではなく、注意箇所を学習するＡｔｔｅｎｔｉｏｎモデル（例えば、非特許文献７を参照のこと）を用いて、入力された病理画像データ中で病理学上特徴的となる箇所の抽出と、その箇所を説明する応答文の生成を行うようにしてもよい。
【0044】
推論フェーズでは、観測データ推論部１１１は、モデルパラメータ保持部１１０から、観測データ学習部１０７によって学習された第１の機械学習モデルのモデルパラメータを読み出して、病理画像データを説明変数とし観測データを目的変数とする第１の機械学習モデルを使用可能な状態とする。同様に、所見データ推論部１１２は、モデルパラメータ保持部１１０から、所見データ学習部１０８によって学習された第２の機械学習モデルのモデルパラメータを読み出して、病理画像データを説明変数とし所見データを目的変数とする第２の機械学習モデルを使用可能な状態とする。なお、モデルパラメータを一旦モデルパラメータ保持部１１０に格納するのではなく、観測データ学習部１０７の学習処理によって得られたモデルパラメータを観測データ推論部１１１に直接設定するとともに、所見データ学習部１０８の学習処理によって得られたモデルパラメータを所見データ推論部１１２に直接設定するようにしてもよい。
【0045】
そして、画像取込部（図示しない）から取り込まれた診断対象の病理画像データが、観測データ推論部１１１及び所見データ推論部１１２の各々に入力される。観測データ推論部１１１は、入力された病理画像データを推論して、該当する観測データのラベルを出力する。同様に、所見データ推論部１１２は、入力された病理画像データを推論して、該当する所見データのラベルを出力する。
【0046】
また、観測データ推論部１１１及び所見データ推論部１１２は、推定した出力ラベルの信頼度をそれぞれ出力するようにしてもよい。ニューラルネットワークモデルにおける出力ラベルの信頼度の計算方法の詳細については、後述に譲る。
【0047】
観測データ根拠計算部１１３は、観測データ推論部１１１が学習済み機械学習モデルを用いて推定した観測データの根拠（すなわち、機械学習モデルが出力ラベルを判断した根拠）を計算する。また、所見データ根拠計算部１１４は、所見データ推論部１１２が学習済み機械学習モデルを用いて推定した所見データの根拠（すなわち、機械学習モデルが出力ラベルを判断した根拠）を計算する。
【0048】
観測データ根拠計算部１１３及び所見データ根拠計算部１１４の各々は、例えば、Ｇｒａｄ－ＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）（例えば、非特許文献４を参照のこと）、ＬＩＭＥ（ＬＯＣＡＬ Ｉｎｔｅｒｐｒｅｔａｂｌｅ ｍｏｄｅｌ－ａｇｎｏｓｔｉｃ Ｅｘｐｌａｎａｔｉｏｎｓ）（例えば、非特許文献５を参照のこと）、ＬＩＭＥの発展形であるＳＨＡＰ（ＳＨａｐｌｅｙ Ａｄｄｉｔｉｖｅ ｅｘＰｌａｎａｔｉｏｎｓ）、ＴＣＡＶ（Ｔｅｓｔｉｎｇ ｗｉｔｈ Ｃｏｎｃｅｐｔ Ａｃｔｉｖａｔｉｏｎ Ｖｅｃｔｏｒｓ）（例えば、非特許文献６を参照のこと）、Ａｔｔｅｎｔｉｏｎモデルなどのアルゴリズムを使って、観測データ推論部１１１及び所見データ推論部１１２において学習済み機械学習モデルを用いた診断及び鑑別診断の各々の判断根拠を可視化した画像をそれぞれ算出することができる。観測データ根拠計算部１１３及び所見データ根拠計算部１１４は、同じアルゴリズムを使って推論の根拠を計算するようにしてもよいし、互いに異なるアルゴリズムを使って推論の根拠を計算するようにしてもよい。但し、Ｇｒａｄ－Ｃａｍ、ＬＩＭＥ／ＳＨＡＰ、ＴＣＡＶ、Ａｔｔｅｎｔｉｏｎモデルを用いた根拠計算方法の詳細については後述に譲る。
【0049】
なお、所見データ根拠計算部１１４は、診断に関わる所見データの根拠として、病理画像（症状など）の特徴に関わる観測データのフレーズを対象としてもよい。このような場合、症状と診断とを紐付けする知識データベース（ルール）を事前に用意しておき、所見データ根拠計算部１１４は、所見データの根拠を計算するときには、所見データに紐付けされた症状を知識データベースに照会して、ヒットした症状に該当する観測データ（例えば、「ＸＸＸにびまん性」などのフレーズ）を観測データ推論部１１１の出力ラベルから見つけ出して、その所見データの根拠として取得するようにすればよい。
【0050】
また、観測データ根拠計算部１１３や所見データ根拠計算部１１４は、観測データ又は所見データの根拠として、患者の検査値（血液検査データ、腫瘍マーカーなど）を対象としてもよい。このような場合、検査値と観測データ及び所見データとを紐付けする知識データベース（ルール）を事前に用意しておき、観測データ根拠計算部１１３や所見データ根拠計算部１１４は、観測データ又は所見データの根拠を計算するときには、観測データ又は所見データに紐付けされた検査値を知識データベースに照会して、ヒットした検査値を観測データ又は所見データの根拠として取得するようにすればよい。例えば、観測データ推論部１１１が病理画像データのうち部位ＸＸＸのびまん性が高いと推論した場合に、観測データ根拠計算部１１３は、知識データベースに照会して、「ＸＸＸにびまん性の高い部位がある」ことに対して、「腫瘍マーカーＲＲＲが高い」という根拠を見つけ出すことができる。
【0051】
欠損値検出部１１５は、観測データ根拠計算部１１３が観測データ推論部１１１による観測データの推論の根拠を計算したときに、根拠となっている変数（例えば、年齢や腫瘍マーカーの値など）の重要度を欠損していることを検知して、ユーザ（病理医など）に欠損した重要な変数の入力を促す。機械学習による重要なデータの計算方法としては、例えば、古典的な機械学習手法であれば、ＲａｎｄｏｍＦｏｒｅｓｔの手法、又はＤＮＮ技術の１つであるＬＩＭＥを用いて、各変数（観測データ）の重要度を計算する方法が挙げられる。そして、ユーザが欠損値の入力を行うと、欠損値検出部１１５は入力された欠損値を観測データ推論部１１１へ投入し、観測データ推論部１１１は病理画像データから再度観測データの推論を行う。欠損値検出部１１５は、例えば、年齢や腫瘍マーカーの値などの観測データの推論の根拠となっている変数の重要度が欠損していることを検出すると、ユーザに対して欠損した重要な変数の入力を促す。また、肺がんの診断を行う場合は、機械学習により重要な変数が喫煙年数であったとしたら、喫煙年数が患者データとして記入がなければ、記入を行うことをユーザに促す。そして、欠損値検出部１１５はユーザが入力した欠損値を観測データ推論部１１１に投入し、観測データ推論部１１１は再度推論を行う。なお、変数の重要度の計算は、結果採否判断部１１７（後述）で採用されて、診断レポートＤＢ１０４に保持されている学習データを用いて計算される。
【0052】
診断対象となる病理画像データから、観測データ推論部１１１及び所見データ推論部１１２がそれぞれ推論した観測データ及び所見データは、レポート作成部１１６に投入される。また、観測データ根拠計算部１１３及び所見データ根拠計算部１１４がそれぞれ計算した観測データ及び所見データの各根拠も、レポート作成部１１６に投入される。
【0053】
レポート作成部１１６は、観測データ推論部１１１及び所見データ推論部１１２から投入された観測データ及び所見データと、観測データ根拠計算部１１３及び所見データ根拠計算部１１４が計算した各々の根拠に基づいて、病理画像データの診断レポートを作成する。レポート作成部１１６は、例えばＧＰＴ－３（Ｇｅｎｅｒａｔｉｖｅ Ｐｒｅ－Ｔｒａｉｎｉｎｇ３）のような言語モデルを使用して、断片的な単語やフレーズからなる観測データ及び所見データから、自然言語（流暢な文章）からなる診断レポートを作成するようにしてもよい。
【0054】
作成された診断レポートは、例えばモニターディスプレイ（図示しない）の画面に表示される。ユーザ（病理医など）は、モニタディスプレイの表示画面を介して、診断レポートの内容を確認することができる。また、ユーザ（病理医など）は、診断レポートに記載された観測データや所見データの各々の根拠を、適宜閲覧することができる。また、観測データ推論部１１１及び所見データ推論部１１２が出力ラベルの信頼度を出力する場合には、診断レポート上の観測データや所見データの各々の信頼度を併せて提示するようにしてもよい。診断レポートを表示する画面の構成については後述に譲る。
【0055】
診断レポートは、病理画像データに対する診断に関わる所見データ及びその推論の根拠だけでなく、病理画像データの特徴に関わる観測データ及びその推論の根拠を含んでいる。したがって、ユーザ（病理医）はより納得がいく形で診断レポートの採否を判断することができる。
【0056】
ユーザ（病理医）は、レポート作成部１１６が作成した診断レポートの最終的な採否を、結果採否判断部１１７に入力することができる。そして、結果採否判断部１１７は、ユーザからの入力を受け付けて、採用された診断レポートを診断レポートＤＢ１０４に保存して、以降の学習処理における学習データとして利用するようにする。また、結果採否判断部１１７は、ユーザが採用しなかった診断レポートを破棄して、診断レポートＤＢ１０４に追加しない。
【0057】
結果採否判断部１１７は、ユーザ入力を受け付けて、レポート作成部１１６が作成した診断レポートの採否だけでなく、ユーザ（病理医）が診断レポートの修正や編集を行う編集環境を提供するようにしてもよい。診断レポートの修正や編集には、観測データの修正、所見データの修正、観測データや所見データの根拠の修正、観測データの追加や追加した観測データの入力などが含まれる。また、レポート作成部１１６が自動作成した診断レポートに対して、ユーザ（病理医）が修正や追加を行った観測データや所見データ及びその根拠は、再学習の学習データに活用することができる。
【0058】
結果採否判断部１１７は、診断レポートの採否を指示する単純なユーザ入力だけでなく、ユーザが比較的高度な診断レポートの修正や編集作業を行うためのＵＩ（Ｕｓｅ Ｉｎｔｅｒｆａｃｅ）やＵＸ（Ｕｓｅｒ ｅＸｐｅｒｉｅｎｃｅ）を備えていてもよい。また、このＵＩ／ＵＸは、診断レポートの編集作業を支援又は簡単化するためのテンプレートなどを用意していてもよい。
【0059】
このように、本開示に係る医療診断システム１００は、病理画像データに対する診断レポートを、画像の特徴に関わる観測データと、画像診断に関わる所見データに分けて学習するように構成されている。したがって、医療診断システム１００は、診断対象となる病理画像データから推論される観測データ及び所見データを、各々の根拠とともに提示しながら、診断レポートを自動で作成することができる。
【0060】
なお、学習フェーズ及び推論フェーズを、それぞれ個別の情報処理装置（パーソナルコンピュータなど）上で実現するようにしてもよい。あるいは、学習フェーズ及び推論フェーズを１台の情報処理装置上で実現するようにしてもよい。
【0061】
Ｃ．学習データ
医療診断システム１００において使用する機械学習モデルを学習するための学習データは、デジタル化された病理画像データと、病理画像データに対する病理医による診断レポートと、患者情報及び検査値を組み合わせたデータセットからなる。例えば、病理データと診断レポートは、患者情報及び検査値とともに、患者毎の電子カルテに記録される。
医療診断システム１００において使用する機械学習モデルを学習するための学習データは、デジタル化された病理画像データと、病理画像データに対する病理医による診断レポートと、患者情報及び検査値を組み合わせたデータセットからなる。例えば、病理データと診断レポートは、患者情報及び検査値とともに、患者毎の電子カルテに記録される。
【0062】
図２には、全国又は全世界に散在する病理医が診断した病理画像データ及び診断レポートを収集して、モデル学習用の学習データを蓄積する仕組みを模式的に示している。各病理医は、例えば特許文献２で開示される医療システムを用いて病理画像データの病理診断を行うようにしてもよい。そして、各病理医が病理診断した病理画像データ及びその診断レポートは、例えばインターネットなどの広域ネットワークを通じてクラウド上で収集される。なお、図１を参照しながら既に説明したように、診断レポートと患者情報及び検査値から観測データを抽出する処理や、診断レポートから所見データを抽出する処理が、学習データを取得するための前処理として必要であるが、図２では説明の簡素化のため図示を省略している。
【0063】
機械学習モデルのディープラーニングには厖大量の学習データが必要である。クラウド上で収集したデータセットをすべて学習データに活用するようにしてもよい。但し、収集したデータセットのうち、機械学習モデルの学習に寄与する度合いが低いデータセットなどの有害なデータセットの排除や機械学習モデルの不確実性の究明といったデータ調整処理をデータ調整装置２００で行って、ディープラーニング用の学習データを構築するようにしてもよい。
【0064】
図３には、データ調整装置２００によるデータ調整処理を含めた医療診断システム１００の動作を概念的に示している。
【0065】
学習データ蓄積部３０２には、病理医が診断した病理画像データと、診断レポートなどから抽出した観測データ及び所見データを組み合わせたデータセットなどからなる学習データが蓄積されている。観測データ学習部１０７や所見データ学習部１０８は、データセットを用いて、ニューラルネットワーク（ＣＮＮなど）で構成される機械学習モデル３０１の学習処理（ディープラーニング）を行う。
【0066】
学習過程における機械学習モデル３０１には、病理画像データなどのテストデータ（ＴＤ）が入力され、機械学習モデル３０１からの出力ラベル（入力された病理画像データに対する観測データや所見データの推論結果）の正誤を判定し、誤診断であればその情報をフィードバックして、機械学習モデル３０１の学習を行う。
【0067】
データ調整装置２００は、影響度評価部３１１と、学習状態判定部３１２と、追加データ生成部３１３を含んでいる。影響度評価部３１１は、ネットワークなどを通じて収集した各データセットが機械学習モデル３１１に与える影響度を評価する。影響度が高いデータセットは有益な学習データであるが、影響度が低いデータセットは学習データとして有害であり、取り除くようにしてもよい。また、学習状態判定部３１２は、機械学習モデル３０１の学習の状態、具体的にはディープラーニングの限界でこれ以上精度を向上できないか、又は、学習データの不足が原因で精度が出ていないか（再学習により精度をさらに向上できるか）を判定する。また、追加データ生成部３１３は、病理医からの新規のデータセットの収集に頼らずに、既に取得されている（学習データ蓄積部１０１に蓄積されている）学習データから追加の学習データを生成する。以下では、各部の処理についてさらに詳細に説明する。
【0068】
Ｃ－１．影響度評価
ここでは、影響度評価部３１１において実施される、ネットワークなどを通じて収集した各データセットが機械学習モデル３０１に与える影響度の評価方法について説明する。
ここでは、影響度評価部３１１において実施される、ネットワークなどを通じて収集した各データセットが機械学習モデル３０１に与える影響度の評価方法について説明する。
【0069】
データセットｚは、入力（病理画像データ）ｘに出力ラベル（診断結果）ｙが対応付けられたデータである。下式（１）に示すように、ｎ個のデータセットがあることを想定する。
【0070】
【数1】
【0071】
機械学習モデル３０１のモデルパラメータがθ∈Θのときに、データセットｚの損失をＬ（ｚ，θ）とすると、ｎ個の全データセットにおける経験損失は下式（２）のように表すことができる。
【0072】
【数2】
【0073】
機械学習モデル３０１の学習は、経験損失を最小化するモデルパラメータを見つけることを意味する。したがって、上式（１）に示したｎ個のデータセットを用いて機械学習モデル３０１の学習を行った結果として得られるモデルパラメータは、下式（３）のように表すことができる。但し、式（３）の左辺に示すように、パラメータ「θ」の上に「＾」が付された場合、そのパラメータ「θ」の予測値を表すものとする。以下、文章中では「θ」に続けて「＾」を記載した「θ＾」で表記する。
【0074】
【数3】
【0075】
続いて、あるトレーニングポイントのデータセットｚがない場合に機械学習モデル３０１の学習に与える影響について考えてみる。このトレーニングポイントのデータセットｚを取り除いて学習処理を行ったときの機械学習モデル３０１のモデルパラメータは、下式（４）のように表すことができる。
【0076】
【数4】
【0077】
トレーニングポイントのデータセットｚの影響度は、データセットｚを取り除いたときと、データセットｚを含めてｎ個の全データセットを用いたときにそれぞれ学習処理を行って得られるモデルパラメータの差分である。この差分は下式（５）のように表される。
【0078】
【数5】
【0079】
特定のデータポイントのデータセットｚを取り除いてモデルパラメータの再学習を行うと、計算コストが非常に高い。そこで、影響度評価部３１１では、影響関数（Ｉｎｆｌｕｅｎｃｅ Ｆｕｎｃｔｉｏｎｓ）（非特許文献１を参照のこと）を用いて、再計算することなしにデータセットの影響度ｚを効果的に近似計算する。具体的には、データセットｚの入力データ（画像）が微小な値εによって重み付けられたとして、パラメータの変化を計算していく。ここで、下式（６）を用いて、その左辺に示すような新たなパラメータ「θε,z＾」を定義する。
【0080】
【数6】
【0081】
そして、データセットｚに対応する影響関数は、下式（７）及び（８）を用いて表すことができる。
【0082】
【数7】
【0083】
【数8】
【0084】
上式（７）は、データセットｚに対応する影響関数であり、例えば微小な重みεに対するモデルパラメータθ＾の変化量を表す。また、上式（８）は、ヘッシアン（ヘッセ行列）を示す。ここでは、正定値を持つヘッセ行列であると仮定し、逆行列も存在する。あるトレーニングポイントでデータセットｚを取り除くことは、「ε＝－１／ｎ」によって重みづけられることと同じであると仮定すると、データセットｚを取り除いたときのモデルパラメータの変化は、下式（９）で近似して表すことができる。
【0085】
【数9】
【0086】
したがって、影響度評価部３１１は、再学習することなしに、データセットｚの影響度を測定することができる。
【0087】
【数10】
【0088】
このように、あるテストポイントｚtestでの重み付けられたデータセットｚの影響度を定式化することができる。したがって、影響度評価部３１１は、この演算によって機械学習モデル３０１におけるデータセットの影響度を測定することができる。例えば、あるデータセットがモデルの予測（損失）に与える影響は、上式（１０－３）によって求めることができる。上式（１０－３）の右辺は、あるデータの損失に対する勾配、ヘッシアンの逆行列、ある学習データの損失の勾配などからなる。
【0089】
但し、このＣ－１項で説明した影響度の評価方法は一例であり、影響度評価部３１１は、その他の方法によってデータセットの影響度を測定するようにしてもよい。
【0090】
Ｃ－２．学習状態の判定
ここでは、学習状態判定部３１２で行われる、機械学習モデル３０１の学習の状態の判定方法について説明する。
ここでは、学習状態判定部３１２で行われる、機械学習モデル３０１の学習の状態の判定方法について説明する。
【0091】
一般的にＤＮＮモデルの推論は高精度であるが、推論には限界がある。モデルの学習の状態、すなわち、ディープラーニングの限界でこれ以上精度を向上できないか、又は、学習データの不足が原因で精度が出ていないか（再学習により精度をさらに向上できるか）を把握することは、ディープラーニングを使いこなすうえで非常に重要である。ところが、ディープラーニングの不確実性を完全に排除することは困難である。
【0092】
ディープラーニングの不確実性は、偶発的な不確実性（Ａｌｅａｔｏｒｉｃ ｕｎｃｅｒｔａｉｎｔｙ）と、認識における不確実性（Ｅｐｉｓｔｅｍｉｃ ｕｎｃｅｒｔａｉｎｔｙ）の２つのタイプに分けることができる。前者の偶発的な不確実性は、観測によるノイズに起因するものであり、データ不足によるものではない。例えば、隠れて見えない画像（オクルージョン）が偶発的な不確実性に該当する。マスクをした人の顔の口元は、そもそもマスクで隠れているのでデータとして観測することができない。一方、後者の認識における不確実性は、データが不足していることに起因し、データが充分に存在するとしたら認識における不確実性を改善することができる。
【0093】
学習状態判定部３１２は、ベイジアンディープラーニング（Ｂａｙｅｓｉａｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）（例えば非特許文献２を参照のこと）を用いて、機械学習モデル３０１の不確実性を明らかにする。ベイジアンディープラーニングは、学習時のみならず、推論時にもドロップアウト（一部のモデルパラメータのランダムな無効化）を利用して推論結果の不確実性を判定する。具体的には、機械学習モデル３０１にデータ（病理画像データ）を入力すると、ドロップアウトによって欠損したニューロンを通過し、その経路の重みによって特徴付けられた出力ラベルを得ることになるが、同じデータを入力しても異なる経路を通過して出力することから、出力が分散する。出力の分散が大きいことは、機械学習モデル３０１の推論における不確実性が大きいことを意味し、十分な学習データで学習を行うことにより不確実性を改善することができる。
【0094】
したがって、学習状態判定部３１２がベイジアンディープラーニングに基づいて学習状態を判定した結果に基づいて、学習部１０２は、機械学習モデル３０１の学習を終了したり、学習データを追加して学習を継続したりすればよい。
【0095】
Ｃ－３．追加データの生成
ここでは、追加データ生成部３１３で行われる、既存の学習データから追加の学習データを生成する方法について説明する。追加データ生成部３１３は、例えば学習状態判定部３１２が機械学習モデル３０１の不確実性を判定した結果に応答して、機械学習モデル３０１の再学習を行うための追加の学習データの生成を行う。また、追加データ生成部３１３は、機械学習モデル３０１にテストデータ（ＴＤ）を入力した際の出力ラベルが誤判定であったことをトリガにして、追加データを生成するようにしてもよい。追加データ生成部３１３は、その際のテストデータに基づいて、追加データを生成するようにしてもよい。
ここでは、追加データ生成部３１３で行われる、既存の学習データから追加の学習データを生成する方法について説明する。追加データ生成部３１３は、例えば学習状態判定部３１２が機械学習モデル３０１の不確実性を判定した結果に応答して、機械学習モデル３０１の再学習を行うための追加の学習データの生成を行う。また、追加データ生成部３１３は、機械学習モデル３０１にテストデータ（ＴＤ）を入力した際の出力ラベルが誤判定であったことをトリガにして、追加データを生成するようにしてもよい。追加データ生成部３１３は、その際のテストデータに基づいて、追加データを生成するようにしてもよい。
【0096】
本実施形態では、追加データ生成部３１３はＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）アルゴリズム（例えば非特許文献３を参照のこと）を用いて追加の学習データを自動生成することを想定している。ＧＡＮは、２つのネットワークを競合させて入力データの学習を深めていくアルゴリズムである。
【0097】
図４には、ＧＡＮを利用した追加データ生成部３１３の構成例を示している。図４に示す追加データ生成部３１３は、生成器（Ｇｅｎｅｒａｔｏｒ：Ｇ）４０１と、識別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ：Ｄ）４０２を備えている。生成器４０１と識別器４０２はそれぞれニューラルネットワークモデルで構成される。
【0098】
生成器４０１は、学習データ蓄積部１０１に蓄積されている病理画像データにノイズを付加して、偽の病理画像データ（Ｆａｋｅ Ｄａｔａ：ＦＤ）を生成する。一方、識別器４０２は、本物の病理画像データと生成器４０１が生成した病理画像データの真偽を識別する。そして、生成器４０１は識別器４０２による真偽が困難となるように、一方の識別器４０２は生成器４０１によって生成された病理画像データを正しく識別できるように、互いに競い合いながら学習することで、真偽判定不能な、すなわち新しい病理画像データが生成できるようになる。相互学習の過程は、下式（１１）のように表される。
【0099】
【数11】
【0100】
上式（１１）において、Ｇは生成器４０１、Ｄは識別器４０２に対応する。ＤはＧを本物か偽物か判断し、正しくラベル付けをする確率Ｄ（ｘ）を最大化しようと学習する。一方、ＧはＤに自分が本物であると認識させるために、ＤがＧを偽物であるとラベル付する確率ｌｏｇ（１－Ｄ（Ｇ（ｚ）））を最小化しようと学習する。
【0101】
Ｄが正しくラベル付けできた場合、Ｄ（ｘ）の値が大きくなり、ｌｏｇＤ（ｘ）の値も大きくなる。さらにＧが偽物であることを突き止めることで、Ｄ（Ｇ（ｚ））が小さくなる。その結果、ｌｏｇ（１－Ｄ（Ｇ（ｚ）））が大きくなり、Ｄが優勢になる。これに対し、Ｇが本物に近いデータを生成できた場合、Ｇ（ｚ）の値が大きくなり、Ｄ（Ｇ（ｚ））の値も大きくなる。さらにＤが正しくラベル付けできなくなることで、Ｄ（ｘ）の値が小さくなり、ｌｏｇＤ（ｘ）の値も小さくなる。その結果、ｌｏｇ（１－Ｄ（Ｇ（ｚ）））が小さくなり、Ｇが優勢になる。このような動作を繰り返して、ＤとＧを交互に更新して各々の学習を深めていくことができる。
【0102】
もちろん、追加データ生成部３１３は、ＧＡＮ以外のアルゴリズムを用いて追加の学習データを生成するようにしてもよいし、新たに病理医の病理医診断結果を収集して新規の学習データを取得するようにしてもよい。
【0103】
Ｄ．機械学習モデルの構成
図５には、図１に示した医療診断システム１００中の観測データ推論部１１１及び所見データ推論部１１２の概念図を示している。既に説明したように、観測データ推論部１１１及び所見データ推論部１１２は、それぞれ観測データ学習部１０７及び所見データ学習部１０８で学習処理された機械学習モデルを使用する。ここでは、各機械学習モデルが多層の畳み込みニューラルネットワーク（ＣＮＮ）を用いて構成されることを想定しており、入力画像の特徴量を抽出する特徴量抽出部と、抽出した特徴量に基づいて入力画像に対応する出力ラベル（本実施形態では、観測データ及び所見データ）を推論する画像分類部をそれぞれ含んでいる。前者の特徴量抽出部は、ニューロン間の結合の制限及びウェイト共有の手法によって入力画像の畳み込みを行ってエッジや特徴を抽出する「畳み込み層」と、画像分類に重要でない位置の情報を削除して畳み込み層が抽出した特徴にロバスト性を与える「プーリング層」を備えている。
図５には、図１に示した医療診断システム１００中の観測データ推論部１１１及び所見データ推論部１１２の概念図を示している。既に説明したように、観測データ推論部１１１及び所見データ推論部１１２は、それぞれ観測データ学習部１０７及び所見データ学習部１０８で学習処理された機械学習モデルを使用する。ここでは、各機械学習モデルが多層の畳み込みニューラルネットワーク（ＣＮＮ）を用いて構成されることを想定しており、入力画像の特徴量を抽出する特徴量抽出部と、抽出した特徴量に基づいて入力画像に対応する出力ラベル（本実施形態では、観測データ及び所見データ）を推論する画像分類部をそれぞれ含んでいる。前者の特徴量抽出部は、ニューロン間の結合の制限及びウェイト共有の手法によって入力画像の畳み込みを行ってエッジや特徴を抽出する「畳み込み層」と、画像分類に重要でない位置の情報を削除して畳み込み層が抽出した特徴にロバスト性を与える「プーリング層」を備えている。
【0104】
図５に示すＣＮＮのうち、参照番号５２０で示す四角で囲んだ範囲は特徴量抽出部であり、入力された病理画像データの画像特徴量を取得する処理を行う。そして、参照番号５３０及び５４０で示す四角で囲んだ各々の範囲は画像分類部であり、画像特徴量に基づいて出力ラベルを特定する（本実施形態では、画像分類部５３０は観測データを推論し、画像分類部５４０は所見データを推論する）。
【0105】
図５中、参照番号５０１は、ＣＮＮへの入力データである画像（病理画像データ）を示している。参照番号５０２、５０４、５０６及び５１６は、畳み込み層の出力を示している。参照番号５０３及び５０５は、プーリング層の出力を示している。参照番号５０７及び５１７は、それぞれ畳み込み層の出力５０６及び５１６を１次元に並べた状態を示し、参照番号５０８及び５１８は全結合層を示し、参照番号５０９及び５１９はクラス分類の推論結果となる観測データ及び所見データをそれぞれ出力する出力層を示している。
【0106】
学習時には、観測データ学習部１０７と所見データ学習部１０８間で転移学習が可能で売る。すなわち、まず観測データ学習部１０７において、特徴量抽出部５２０が病理画像データから画像の特徴量を抽出するように学習処理を行うとともに、画像分類部９３０が画像特徴量から観測データを推論するように学習処理を行った後に、所見データ学習部１０８において、前段の特徴量抽出部５２０については観測データ学習部１０７で学習済みのモデルパラメータを固定して、後段の画像分類部９４０のみを画像特徴量から所見データを推論するという別の問題に対して学習させる。
【0107】
なお、推論過程の段階（各層の処理の順番）をｌ、ｌ段目の層における出力値をＹlとし、ｌ段目の層における処理をＹl＝Ｆl（Ｙl-1）と表す。また、１段目の層はＹ1＝Ｆ1（Ｘ）、最終段はＹ＝Ｆ7（Ｙ6）とする。また、観測データを分類する画像分類部５３０の処理については下付きの文字「ｏ」を付与し、所見データを分類する画像分類部５０４の処理については下付きの文字「ｄ」を付与する。
【0108】
Ｅ．根拠計算
観測データ根拠計算部１１３は観測データ推論部１１１が観測データを推論した根拠を計算し、所見データ根拠計算部１１４は所見データ推論部１１２が推論した所見データの根拠を計算する。各根拠計算部１１３及び１１４は、例えば、Ｇｒａｄ－ＣＡＭ、ＬＩＭＥ／ＳＨＡＰ、ＴＣＡＶ、Ａｔｔｅｎｔｉｏｎモデルなどのアルゴリズムを使って、推論ラベル及び鑑別ラベルの各々の判断根拠を可視化した画像を算出する。
観測データ根拠計算部１１３は観測データ推論部１１１が観測データを推論した根拠を計算し、所見データ根拠計算部１１４は所見データ推論部１１２が推論した所見データの根拠を計算する。各根拠計算部１１３及び１１４は、例えば、Ｇｒａｄ－ＣＡＭ、ＬＩＭＥ／ＳＨＡＰ、ＴＣＡＶ、Ａｔｔｅｎｔｉｏｎモデルなどのアルゴリズムを使って、推論ラベル及び鑑別ラベルの各々の判断根拠を可視化した画像を算出する。
【0109】
Ｇｒａｄ－ＣＡＭは、出力層においてクラス分類の推論結果となるラベルから勾配を逆にたどる（クラス分類に至るまでの各特徴マップの貢献を算出し、その重みを以って逆伝播していく）方法によって、入力画像データのうちクラス分類に寄与した場所を推定するアルゴリズムであり、クラス分類に寄与した場所をヒートマップのように可視化することができる。あるいは、入力画像データの画素の位置情報を最終畳み込み層まで保持させて、最後の判別出力への位置情報の影響度を得ることで、元の入力画像のうち影響の強い部分をヒートマップ表示するようにしてもよい。
【0110】
ＣＮＮなどのニューラルネットワークモデルにおいて、入力画像に対して画像認識を行ってクラスｃを出力した場合に、Ｇｒａｄ－Ｃａｍアルゴリズムに基づいて判断根拠を計算する方法（ヒートマップを生成する方法）について説明する。
【0111】
クラスｃの勾配ｙcが特徴マップの活性化Ａkであると仮定すると、下式（１２）に示すようにニューロンの重要度の重みが与えられる。
【0112】
【数12】
【0113】
最終的な畳み込み層の順伝播出力にチャネル毎の重みを乗算して、活性化関数ＲｅＬＵを介して、下式（１３）に示すようにＧｒａｄ－Ｃａｍが計算される。
【0114】
【数13】
【0115】
図６には、観測データ推論部１１１が病理画像データに対して「びまん性」という観測データを推論したときに、観測データ根拠計算部１１３が計算した、その推論の根拠となった部分（すなわち、びまん性の高い部位ＸＸＸ）を示すヒートマップ６０１を、元の病理画像データ上に重畳表示した画像６００を例示している。また、図７には、観測データ推論部１１１が病理画像データに対して「ザラザラ感」という観測データを推論したときに、観測データ根拠計算部１１３が計算した、その推論の根拠となった部分（すなわち、ザラザラ感が高い特徴量を持つ領域）を示すヒートマップ７０１を、元の病理画像データ上に重畳表示した画像７００を例示している。また、図８には、所見データ推論部１１２が病理画像データに対して疾患名「ＹＹＹ」という所見データを推論したときに、所見データ根拠計算部１１４が計算した、その推論の根拠となった部分（すなわち、疾患ＹＹＹを患っている病変部）を示すヒートマップ８０１を、元の病理画像データ上に重畳表示した画像８００を例示している。
【0116】
ＬＩＭＥは、特定の入力データ項目（特徴量）を変化させた際にニューラルネットワークの出力結果が反転又は大きく変動すれば、その項目を「判定における重要度が高い」と推定する。例えば、各根拠計算部１１３及び１１４は、それぞれ対応する推論部１１１及び１１２が用いる機械学習モデルにおける推論の理由（根拠）を示すために局所近似する他のモデル（根拠用モデル）を生成する。各根拠計算部１１３及び１１４は、入力情報（病理画像データ）とその入力情報に対応する出力結果との組合せを対象に、局所的に近似する根拠用モデルをそれぞれ生成する。そして、各根拠計算部１１３及び１１４は、各々に対応する推論部１１１及び１１２から観測データ及び所見データが出力されると、根拠用モデルを用いて、推論された観測データ及び所見データの各々に関する根拠情報を生成して、図６～図８に示したような根拠画像を同様に生成することができる。
【0117】
ＴＣＡＶは、訓練済みモデルの予測に対するＣｏｎｃｅｐｔ（人間が簡単に理解できるような概念）の重要度を計算するアルゴリズムである。例えば、各根拠計算部１１３及び１１４は、入力情報（病理画像データ）を複製したり、変更を加えたりした複数の入力情報を生成して、根拠情報の生成対象となるモデル（説明対象モデル）に、複数の入力情報の各々を入力し、各入力情報に対応する複数の出力情報を説明対象モデルから出力させる。そして、各根拠計算部１１３及び１１４は、複数の入力情報の各々と、対応する複数の出力情報の各々との組合せ（ペア）を学習用データとして、根拠用モデルを学習して、対象入力情報を対象として別の解釈可能なモデルで局所近似する根拠用モデルを生成する。そして、各根拠計算部１１３及び１１４は、各々に対応する推論部１１１及び１１２から観測データ及び所見データが出力されると、根拠用モデルを用いて、観測データ及び所見データの各々に関する根拠情報を生成して、図６～図８に示したような根拠画像を同様に生成することができる。
【0118】
Ａｔｔｅｎｔｉｏｎは、注意個所を学習するモデルである。各根拠計算部１１３及び１１４にＡｔｔｅｎｔｉｏｎモデルを適用した場合、例えば、入力された病理画像データ中で病理学上特徴的となる箇所の抽出とその箇所を説明する応答文を生成する。そして、観測データ推論部１１１から出力される観測データと近似する応答文が存在する場合、入力画像中の対応箇所がその観測データの根拠となる。同様に、所見データ推論部１１２から出力される観測データと近似する応答文が存在する場合、入力画像中の対応箇所がその所見データの根拠となる。
【0119】
もちろん、根拠計算部１１４は、上述したＧｒａｄ－Ｃａｍ、ＬＩＭＥ／ＳＨＡＰ、ＴＣＡＶ、Ａｔｔｅｎｔｉｏｎモデル以外のアルゴリズムに基づいて、推論部１１２における診断ラベル及び鑑別ラベルの各々に関する根拠を計算するようにしてもよい。
【0120】
Ｆ．信頼度計算
このＦ項では、観測データ推論部１１１及び所見データ推論部１１２における出力ラベルの信頼度を計算する方法について説明する。
このＦ項では、観測データ推論部１１１及び所見データ推論部１１２における出力ラベルの信頼度を計算する方法について説明する。
【0121】
ニューラルネットワークモデルにおける出力ラベルの信頼度スコアを計算するためのいくつかの方法が知られている。ここでは、３種類の信頼度スコアの計算方法（１）～（３）について説明しておく。
【0122】
（１）出力の誤差を推定するように学習されたニューラルネットワークモデル
図９に示すように、ニューラルネットワークモデルにおいて、本来の出力ラベルとともに、その出力の誤差を信頼度スコアとして出力するように学習する。図示のニューラルネットワークは、例えば図５に示した観測データ推論部１１１及び所見データ推論部１１２の各々の後段部分の画像分類部５３０及び５４０に相当し、出力ラベル（観測データ及び所見データ）とともに信頼度スコアを出力するように学習されている。
図９に示すように、ニューラルネットワークモデルにおいて、本来の出力ラベルとともに、その出力の誤差を信頼度スコアとして出力するように学習する。図示のニューラルネットワークは、例えば図５に示した観測データ推論部１１１及び所見データ推論部１１２の各々の後段部分の画像分類部５３０及び５４０に相当し、出力ラベル（観測データ及び所見データ）とともに信頼度スコアを出力するように学習されている。
【0123】
（２）ベイズ推定を用いる方法
ベイジアンディープラーニング（例えば非特許文献２を参照のこと）は、学習時のみならず、推論時にもドロップアウト（一部のモデルパラメータのランダムな無効化）を利用して推論結果の不確実性を判定する。観測データ推論部１１１及び所見データ推論部１１２の各々において用いる機械学習モデルにデータ（病理画像データ）を入力すると、ドロップアウトによって欠損したニューロンを通過し、その経路の重みによって特徴付けられた出力ラベルを得ることになるが、同じデータを入力しても異なる経路を通過して出力することから、出力が分散する。出力の分散が大きいことは、機械学習モデルの推論における不確実性が大きいこと、すなわち信頼度が低いことを
を表す。
ベイジアンディープラーニング（例えば非特許文献２を参照のこと）は、学習時のみならず、推論時にもドロップアウト（一部のモデルパラメータのランダムな無効化）を利用して推論結果の不確実性を判定する。観測データ推論部１１１及び所見データ推論部１１２の各々において用いる機械学習モデルにデータ（病理画像データ）を入力すると、ドロップアウトによって欠損したニューロンを通過し、その経路の重みによって特徴付けられた出力ラベルを得ることになるが、同じデータを入力しても異なる経路を通過して出力することから、出力が分散する。出力の分散が大きいことは、機械学習モデルの推論における不確実性が大きいこと、すなわち信頼度が低いことを
を表す。
【0124】
（３）予測確率を用いる方法（分類問題の場合）
０．０～１．０の確率で予測が得られる分類問題の場合、０．０、１．０などの結果が得られた場合は信頼度スコアが高い、２値分類の場合は０．５（５０％に近い）、他クラス分類の場合は最も確率の高いクラスの確率が低い場合は信頼度スコアが低いと判断できる。
０．０～１．０の確率で予測が得られる分類問題の場合、０．０、１．０などの結果が得られた場合は信頼度スコアが高い、２値分類の場合は０．５（５０％に近い）、他クラス分類の場合は最も確率の高いクラスの確率が低い場合は信頼度スコアが低いと判断できる。
【0125】
Ｇ．診断レポートの作成・提示
レポート作成部１１６は、観測データ推論部１１１及び所見データ推論部１１２から投入された観測データ及び所見データと、観測データ根拠計算部１１３及び所見データ根拠計算部１１４が計算した各々の根拠に基づいて、病理画像データの診断レポートを作成する。
レポート作成部１１６は、観測データ推論部１１１及び所見データ推論部１１２から投入された観測データ及び所見データと、観測データ根拠計算部１１３及び所見データ根拠計算部１１４が計算した各々の根拠に基づいて、病理画像データの診断レポートを作成する。
【0126】
図１０には、レポート作成部１１６が作成した診断レポート１０００の構成例を示している。ここでは、観測データ推論部１１１が観測データとして「びまん性」及び「ザラザラ感」を出力し、所見データ推論部１１２が所見データとして病変部の疾患名「ＹＹＹ」を出力するとともに、観測データ根拠計算部１１３及び所見データ根拠計算部１１４が各推論の根拠の計算結果を出力したことを想定している。図１０に示す診断レポート１０００は、例えば電子カルテの形式で構成され、患者情報１００１、検査値１００２、病理画像データ１００３、及び診断結果１００４を含んでいる。診断レポート１０００は、例えばモニターディスプレイ（図示しない）の画面に表示される。
【0127】
患者情報１００１は、該当する患者の年齢、性別、喫煙歴などの情報を含む、検査値１００２は、該当する患者の血液検査データや腫瘍マーカーなどの値を含む。病理画像データ１００３は、ガラススライドに載せた染色処理済みの病変部の顕微鏡観察画像をスキャンした画像からなる。レポート作成部１１６は、観測データ推論部１１１及び所見データ推論部１１２から出力された「びまん性」、「ザラザラ感」、及び「ＹＹＹ」という断片的な単語と、観測データ根拠計算部１１３及び所見データ根拠計算部１１４が計算した各根拠に基づいて、自然言語処理によって「ＸＸＸにびまん性の高い部位がある。診断はＹＹＹ。特徴量ザラザラ感は高い。」といった流暢な文章を生成して、診断結果１００４として診断レポートに記載する。なお、医療診断システム１００は、音声合成機能を装備して、診断結果「ＸＸＸにびまん性の高い部位がある。診断はＹＹＹ。特徴量ザラザラ感は高い。」を読み上げるようにしてもよい。
【0128】
また、診断結果１００４のフィールド内では、「びまん性」、「ザラザラ感」、及び「ＹＹＹ」という、観測データ及び所見データに対応する文字列をハイライト表示して、医療診断システム１００による推論結果であることを示している。そして、使用するモニタディスプレイがＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）機能を装備している場合には、ユーザ（病理医）がいずれかのハイライト文字列に対して所定の選択操作（例えば、マウスオーバーやパネルのタッチなど）を行うと、対応する観測データ又は所見データに関する観測データ根拠計算部１１３又は所見データ根拠計算部１１４が計算した根拠が病理画像データ１００３上に重畳表示される。
【0129】
図１１には、ハイライトされた文字列「びまん性」がマウスオーバーされたことに応答して、「びまん性」という観測データを推論した根拠となった部分（すなわち、びまん性の高い部位ＸＸＸ）を示すヒートマップ１１０１を、病理画像データ１００３上に重畳表示した画面を例示している。
【0130】
また、図１２には、ハイライトされた文字列「ザラザラ感」がマウスオーバーされたことに応答して、「びまん性」という観測データを推論した根拠となった部分（すなわち、ザラザラ感が高い特徴量を持つ領域）を示すヒートマップ１２０１を、病理画像データ１００３上に重畳表示した画面を例示している。
【0131】
また、図１３には、ハイライトされた文字列「びまん性」がマウスオーバーされたことに応答して、疾患名「ＹＹＹ」という所見データを推論した根拠となった部分（すなわち、疾患ＹＹＹを患っている病変部）を示すヒートマップ１３０１を、病理画像データ１００３上に重畳表示した画面を例示している。
【0132】
また、観測データ推論部１１１及び所見データ推論部１１２が出力ラベルの信頼度を出力する場合には、レポート作成部１１６は、各観測データ及び所見データの信頼度を表示した診断レポートを作成するようにしてもよい。図１４には、各観測データ及び所見データの信頼度の情報を含んだ診断レポート１４００の構成例を示している。図１０と同様に、診断レポート１４００は、患者情報１４０１、検査値１４０２、病理画像データ１４０３、及び診断結果１４０４を含み、例えばモニターディスプレイ（図示しない）の画面に表示される。そして、診断結果１４０４のフィールド内では、「びまん性」、「ザラザラ感」、及び「ＹＹＹ」という、観測データ及び所見データに対応する文字列の後には、各々の信頼度がパーセントで表示している。
【0133】
また、図１０～図１４に示した例では、診断結果１００４のフィールド内で、マウスオーバーなどの操作によってユーザが選択した観測データ又は所見データに対してのみ判断根拠が表示されるが、図１５には、すべての観測データ及び所見データの判断根拠を同時に表示するようにしてもよい。このような場合、観測データ及び所見データと対応するヒートマップを線で接続するなどして、対応関係を明示するようにしてもよい。また、複数の判断根拠となるヒートマップを同時に表示する場合には、各ヒートマップを色分けするなどの処理を施して、混乱を避けることが好ましい。
【0134】
また、所見データ根拠計算部１１４は、推論された観測データ及び所見データの根拠を、病理画像ではなく観測データや検査値から見つけ出す場合もある（前述）。このような場合、観測データ及び所見データの各根拠に該当する検査値をハイライト表示したりして、推論の結果と根拠の関係を明示するようにしてもよい。
【0135】
Ｈ．診断レポートの採否・修正・編集
ユーザ（病理医）は、医療診断システム１００によって作成された病理画像データに対する診断レポートを、図１０～図１４に示したような画面を通じて確認することができる。診断レポートは、病理画像データの特徴に関わる観測データと診断に関わる所見データを含んだ診断結果の文章とともに、観測データ及び所見データの各々の根拠や、検査値などのデータ含んでいる。したがって、ユーザ（病理医）は、診断レポートに含まれるこれら多くの情報に基づいて総合的に判断して、医療診断システム１００によって作成された診断レポートを採用するか否かを、自信を持って判断することができる。
ユーザ（病理医）は、医療診断システム１００によって作成された病理画像データに対する診断レポートを、図１０～図１４に示したような画面を通じて確認することができる。診断レポートは、病理画像データの特徴に関わる観測データと診断に関わる所見データを含んだ診断結果の文章とともに、観測データ及び所見データの各々の根拠や、検査値などのデータ含んでいる。したがって、ユーザ（病理医）は、診断レポートに含まれるこれら多くの情報に基づいて総合的に判断して、医療診断システム１００によって作成された診断レポートを採用するか否かを、自信を持って判断することができる。
【0136】
ユーザ（病理医）は、レポート作成部１１６が作成した診断レポートの最終的な採否を、結果採否判断部１１７に入力することができる。また、結果採否判断部１１７は、ユーザ入力を受け付けて、レポート作成部１１６が作成した診断レポートの採否だけでなく、ユーザ（病理医）が診断レポートの修正や編集を行うＵＩ／ＵＸなどの編集環境を提供してもよい。また、このＵＩ／ＵＸは、診断レポートの編集作業を支援又は簡単化するためのテンプレートなどを用意していてもよい。ここで言うＵＩ／ＵＸは、対話機能を含んでもよいし、人工知能機能を搭載した音声エージェントを利用してもよい。対話機能を有するＵＩ／ＵＸを使用できる場合、ユーザ（病理医）は、診断レポートの修正や編集を音声によって指示することができる。
【0137】
診断レポートに示された特徴データの根拠を修正する場合の操作例について、図１６及び図１７を参照しながら説明する。図１６に示すように、「びまん性の高い」という特徴データの根拠となる部位を移動させたい場合、ユーザは、根拠として指定された範囲を示すオブジェクト（ヒートマップ）１６０１を、例えばマウスのクリック操作などによって選択する。そして、図１７に示すように、ユーザは、マウスのドラッグ操作などにより、「びまん性の高い」という特徴データの根拠に相応しい位置１７０１までそのオブジェクトを移動させた後、リリースすることによって、当該特徴データの根拠を修正することができる。結果採否判断部１１７は、「びまん性の高い」という特徴データの根拠を修正した後の診断レポート（図１７を参照のこと）を診断レポートＤＢ１０４に追加して、以降の再学習に活用できるようにする。また、結果採否判断部１１７は、修正前の診断レポート（図１６を参照のこと）を診断レポートＤＢ１０４から削除するようにしてもよい。
【0138】
続いて、診断レポートの所見データを訂正する場合の操作例について、図１８及び図１９を参照しながら説明する。ユーザ（病理医）が診断レポートで示された根拠では所見データ「診断はＹＹＹ」に納得できず、削除したい場合、ユーザは、例えばマウスなどのＧＵＩ機能を使って、所見の根拠として指定された範囲を示すオブジェクト（ヒートマップ）１８０１を指示する。図１９に示す例では、指定されたオブジェクト１８０１に「×」マーク１８０２が付けられている。そして、削除指示が確定すると、図１９に示すように、削除が指示されたオブジェクトが消滅する。また、ユーザが推定の根拠だけでなく、所見データにも納得せず、削除を指示した場合には、診断結果の欄から「診断はＹＹＹ。」というフレーズも消滅する。なお、所見データではなく特徴データの根拠を削除する場合や特徴データ自体を削除する場合も、図１８及び図１９に示した操作と同様の操作で実現することができる。
【0139】
続いて、診断レポートに特徴データ及びその根拠を追加する場合の操作例について、図２０及び図２１を参照しながら説明する。ここでは、医療診断システム１００で自動生成された診断レポートに、図２０に示すように、「ザラザラ感」という特徴データと、該当する部位に「ザラザラ感」の根拠を示すオブジェクト（ヒートマップ）が示されていなかったことを想定する。ユーザは、例えばキーボードや音声入力機能などを使って、「ザラザラ感」という観測データを入力するとともに、例えばマウスのドラッグ操作などによって病理画像データ上に特徴データ「ザラザラ感」の根拠となる範囲２００１を指定する。そして、このような特徴データの追加指示が確定すると、図２１に示すように、診断結果には追加した特徴データに関する「特徴量ザラザラ感は高い。」というフレーズが追加されるとともに、病理画像データには、病理画像データ上の指定した範囲に「ザラザラ感」の根拠であることを示すオブジェクト（ヒートマップ）が出現する。なお、特徴データではなく所見データ及びその根拠を追加する場合も、図２０及び図２１に示した操作と同様の操作で実現することができる。
【0140】
続いて、欠損していることが検知された欠損値を入力する場合の操作例について、図２２及び図２３を参照しながら説明する。ここでは、観測データ根拠計算部１１３が観測データの推論の根拠を計算中に、欠損値検出部１１５が「びまん性」という特徴データを推論する根拠に年齢や腫瘍マーカーといった重要な変数が欠損していることを、欠損値検出部１１５が検出したことを想定する。欠損値検出部１１５は、例えば診断レポートの表示画面上で、患者の年齢や腫瘍マーカーといった重要な変数の入力を促すウィンドウ２２０１をポップアップ表示する。これに対し、ユーザ（病理医）は入力を促された年齢及び腫瘍マーカーの欠損値を、キーボードや音声入力、又はその他のＵＩ／ＵＸを使って入力する。そして、欠損値検出部１１５はユーザが入力した欠損値を観測データ推論部１１１に投入すると、観測データ推論部１１１が再度推論を行って観測データ「びまん性」を出力するとともに、観測データ根拠計算部１１３が「びまん性」の根拠を計算する。この結果、図２３に示すように、診断結果に観測データを表す「びまん性の高い部位が見られる」というフレーズが追加されるとともに、病理画像データには「びまん性」の根拠を示すヒートマップ２３０１が出現する。
【0141】
続いて、病理画像データ上で観察される特徴量に対して名前を付ける場合の操作例について、図２４及び図２５を参照しながら説明する。ユーザ（病理医）は、病理画像データ上で特徴的な箇所２４０１を発見すると、例えばマウスのドラッグ操作などによってその範囲２４０１を指定した後、その画像特徴量につけた名前「ツブツブ感」をキーボードや音声入力又はその他のＵＩ／ＵＸを使って入力する。この結果、図２４に示すように、診断結果に追加した観測データを表す「特徴量ツブツブ感高い」というフレーズが追加されるとともに、病理画像データ上の指定された領域に「ツブツブ感」の根拠を示すヒートマップ２５０１が出現する。なお、学習フェーズすなわち観測データ学習部１０７の学習時においても、特徴量抽出及び名前付け部１０９によって、画像特徴量に対する名前付けが行われる。具体的には、ＣＮＮの学習時に抽出した画像特徴量に対して、「ツブツブ感」のような該当する観測データが存在しない場合に、ユーザに対し名前付けを促し、ユーザが入力した「ツブツブ感」という名前を観測データとして保持するようにする。
【0142】
そして、結果採否判断部１１７は、図１６～図２５に示したような編集操作を通じて最終的にユーザ（病理医）が採用した診断レポートを診断レポートＤＢ１０４に保存して、以降の学習処理における学習データとして利用するようにする。また、ユーザが自ら修正や編集を行って最終的に採用された診断レポートも、診断レポートＤＢ１０４に保存して、以降の学習処理における学習データとして利用するようにする。一方、結果採否判断部１１７は、ユーザが採用しなかった診断レポートを破棄して、診断レポートＤＢ１０４に追加しない。
【0143】
Ｉ．学習フェーズにおける動作
図２６には、医療診断システム１００の学習フェーズにおける処理動作をフローチャートの形式で示している。
図２６には、医療診断システム１００の学習フェーズにおける処理動作をフローチャートの形式で示している。
【0144】
まず、観測データ抽出部１０５は、患者情報ＤＢ１０２、検査値ＤＢ１０３及び診断レポートＤＢ１０４の各々から取り出した患者情報、検査値、及び診断レポートから、観測データを抽出する（ステップＳ２６０１）。また、所見データ抽出部は、診断レポートＤＢ１０４から取り出した診断レポートから、所見データを抽出する（ステップＳ２６０２）。
【0145】
そして、観測データ学習部１０７は、病理画像データＤＢ１０１から取り出した病理画像データと、観測データ抽出部１０５が抽出した観測データを用いて、観測データ推論用の機械学習モデルの学習処理を行う（ステップＳ２６０３）。また、所見データ学習部１０８は、病理画像データＤＢ１０１から取り出した病理画像データと、所見データ抽出部１０６が抽出した観測データを用いて、所見データ推論用の機械学習モデルの学習処理を行う（ステップＳ２６０４）。
【0146】
観測データ推論用の機械学習モデルの学習処理の過程で、病理画像データからＣＮＮが画像特徴量を抽出した場合（ステップＳ２６０５のＹｅｓ）、特徴量抽出部及び名前付け部１０９は、ユーザ（病理医）に名前付けを促し、その特徴量に対してユーザが付けた名前の特徴データを与える（ステップＳ２６０６）。
【0147】
そして、観測データ学習部１０７及び所見データ学習部１０８の学習処理が終了したか否かをチェックする（ステップＳ２６０７）。例えば、ベイジアンネットワークを用いて、対象とする機械学習モデルが学習の限界に到達しているか否かを推定して、学習処理が終了したか否かを判定するようにしてもよい。学習処理が終了していなければ（ステップＳ２６０７のＮｏ）、ステップＳ２６０１に戻って上記の学習処理を継続する。また、学習処理が終了していれば（ステップＳ２６０７のＹｅｓ）、本処理を終了する。
【0148】
Ｊ．推論フェーズにおける動作
図２７には、医療診断システム１００の推論フェーズにおける処理動作をフローチャートの形式で示している。
図２７には、医療診断システム１００の推論フェーズにおける処理動作をフローチャートの形式で示している。
【0149】
まず、対象とする病理画像データを取り込むと（ステップＳ２７０１）、観測データ推論部１１１は、観測データ学習部１０７による学習済みの機械学習モデルを用いて、病理画像データから観測データを推論するとともに、所見データ推論部１１２は、所見データ学習部１０８による学習済みの機械学習モデルを用いて、病理画像データから所見データを推論する（ステップＳ２７０２）。
【0150】
次いで、観測データ根拠計算部１１３は、観測データ学習部１０７が推論した観測データの根拠を計算するとともに、所見データ根拠計算部１１４は、所見データ学習部１０８が推論した所見データの根拠を計算する（ステップＳ２７０３）。
【0151】
ここで、欠損値検出部１１５が、観測データ根拠計算部１１３が計算した観測データの根拠について欠損値を検出した場合には（ステップＳ２７０４のＹｅｓ）、ユーザにその欠損値の入力を促し（ステップＳ２７０９）、ステップＳ２７０２に戻ってユーザが入力した欠損値を用いて観測データの推論及びその根拠計算を再度行う。
【0152】
次いで、レポート作成部１１６は、観測データ推論部１１１及び所見データ推論部１１２から投入された観測データ及び所見データと、観測データ根拠計算部１１３及び所見データ根拠計算部１１４が計算した各々の根拠に基づいて、病理画像データの診断レポートを作成し、作成した診断レポートを例えばモニタディスプレイの画面上でユーザ（病理医）に提示する（ステップＳ２７０５）。
【0153】
ユーザ（病理医）は、医療診断システム１００によって自動作成された診断レポートをモニタディスプレイの画面上などで確認すると、ＵＩ／ＵＸなどを使って診断レポートの修正や編集を行う（ステップＳ２７０６）。診断レポートの修正・編集作業については、図１６～図２５を参照しながら既に説明した通りであり、ここでは詳細な説明を省略する。
【0154】
そして、ユーザ（病理医）は、レポート作成部１１６が作成した診断レポートの最終的な採否を、結果採否判断部１１７に入力する。結果採否判断部１１７は、ユーザからの入力を受け付けて、採用された診断レポートを診断レポートＤＢ１０４に保存して（ステップＳ２７０８）、本処理を終了する。採用された診断レポートを診断レポートＤＢ１０４に保存することで、以降の学習処理における学習データとして利用することができる。一方、ユーザが診断レポートを採用しなかった場合には（ステップＳ２７０７）、結果採否判断部１１７はその診断レポートを破棄して、本処理を終了する。
【0155】
Ｋ．変形例
このＫ項では、図１に示した医療診断システム１００の変形例について説明する。
このＫ項では、図１に示した医療診断システム１００の変形例について説明する。
【0156】
Ｋ－１．第１の変形例
図２８には、第１の変形例に係る医療診断システム２８００の機能的構成例を模式的に示している。図１に示した医療診断システム１００と同一の構成要素については同一の参照番号を付している。
図２８には、第１の変形例に係る医療診断システム２８００の機能的構成例を模式的に示している。図１に示した医療診断システム１００と同一の構成要素については同一の参照番号を付している。
【0157】
医療診断システム１００では、所見データ学習部１０８は、病理画像データを説明変数とし、所見データを目的変数として、第２の機械学習モデルの学習処理を行っていた。これに対し、医療診断システム２８００では、所見データ学習部１０８は、病理画像データ及び観測データ、すなわちすべての変数を説明変数に用いて、所見データを推論するように第２の機械学習モデルの学習処理を行うように構成されている。したがって、第１の変形例に係る医療診断システム２８００は、すべての観測値に基づいて診断レポートを出力できるように学習を行うことができるという特徴がある。
【0158】
その他の構成要素については図１に示した医療診断システム１００と同様なので、ここでは詳細な説明を省略する。
【0159】
Ｋ－２．第２の変形例
図２９には、第２の変形例に係る医療診断システム２９００の機能的構成例を模式的に示している。図１に示した医療診断システム１００と同一の構成要素については同一の参照番号を付している。
図２９には、第２の変形例に係る医療診断システム２９００の機能的構成例を模式的に示している。図１に示した医療診断システム１００と同一の構成要素については同一の参照番号を付している。
【0160】
医療診断システム１００では、病理画像データから所見データを推論するための機械学習モデルと、病理画像データから観測データを推論するための機械学習モデルという２つの機械学習モデルを使用して、観測データと所見データに分けて学習するように構成されていた。これに対し、医療診断システム２９００では、病理画像データ及び観測データを説明変数とするとともに診断レポートを目的変数とする１つの機械学習モデルのみを学習して、この機械学習モデルを用いて病理画像データ及び観測データから診断レポートを出力するように構成されている。
【0161】
医療診断システム２９００は、説明変数となる各データをデータベース（ＤＢ）化した病理画像データＤＢ１０１と、患者情報ＤＢ１０２と、検査値ＤＢ１０３と、診断レポートＤＢ１０４を備えている。病理画像データと、該当する患者の患者情報及び検査値と、その病理画像データに対する診断レポートは対応付けられているものとする。
【0162】
観測データ抽出部１０５は、病理画像データＤＢ１０１、患者情報ＤＢ１０２、検査値ＤＢ１０３、診断レポートＤＢ１０４の各データベースから、病理画像データと、病理画像データに対応する患者情報及び検査値を読み込んで、診断レポート（テキストデータ）の中から病理的な特徴量を表す観測データを抽出する。観測データ抽出部１０５は、テキストデータ中から画像の特徴を表すワードやフレーズを検出するように学習された機械学習モデルを用いて観測データの抽出処理を行うようにしてもよい。
【0163】
学習フェーズでは、診断レポート学習部２９０１は、病理画像データと観測データを説明変数とし、診断レポートを目的変数とする機械学習モデルの学習処理を行う。具体的には、診断レポート学習部２９０１は、観測データ抽出部１０５から出力される観測データを入力データとし、観測データ抽出部１０５に入力された病理画像データに対応する診断レポートを正解ラベルとするデータセットを学習データに基づいて、観測データから診断レポートを推論するように機械学習モデルの学習処理を行う。機械学習モデルは、例えば、人間のニューロンを模倣した構造を持つニューラルネットワークで構成される。診断レポート学習部２９０１は、学習中の機械学習モデルが入力データに対して出力するラベルと正解ラベルとの誤差に基づく損失関数を計算して、損失関数が最小化するように機械学習モデルの学習処理を行う。
【0164】
診断レポート学習部２９０１では、入力された観測データに対して正解ラベルを出力するようにモデルパラメータを更新することによって、機械学習モデルの学習処理が行われる。そして、診断レポート学習部２９０１は、学習結果として得られた機械学習モデルのモデルパラメータを、モデルパラメータ保持部１１０に格納する。
【0165】
推論フェーズでは、診断レポート推論部２９０２は、モデルパラメータ保持部１１０から、診断レポート学習部２９０１によって学習された機械学習モデルのモデルパラメータを読み出して、病理画像データと観測データを説明変数とし、診断レポートを目的変数とする機械学習モデルを使用可能な状態にする。そして、そして、診断レポート推論部２９０２は、画像取込部（図示しない）から取り込まれた診断対象の病理画像データとその観測データを入力して、診断レポートを推論する。但し、診断レポート推論部２９０２が直接診断レポートを出力するのではなく、診断結果を構成する観測データや所見データを出力し、別途、レポート作成部１１６が観測データや所見データに基づいて診断レポートを成形するようにしてもよい。レポート作成部１１６は、例えばＧＰＴ－３のような言語モデルを使用して、断片的な単語やフレーズからなる観測データ及び所見データから、自然言語（流暢な文章）からなる診断レポートを作成するようにしてもよい。
【0166】
なお、図示を省略するが、医療診断システム２９００は、診断レポートの推論の根拠を計算する診断レポート根拠計算部をさらに備えていてもよい。
【0167】
診断レポート推論部２９０２から出力された診断レポートは、例えばモニターディスプレイ（図示しない）の画面に表示される。ユーザ（病理医など）は、モニタディスプレイの表示画面を介して、診断レポートの内容を確認することができる。診断レポートの表示画面の構成は、例えば図１０に示した通りである。また、ユーザ（病理医など）は、診断レポートの根拠を適宜閲覧して、編集操作を行うことができる。また、診断レポート推論部２９０２が出力ラベルの信頼度を出力する場合には、診断レポート上の観測データや所見データの各々の信頼度を併せて提示するようにしてもよい。診断レポートの編集操作は、例えば上記Ｈ項で説明した通りでよい。
【0168】
ユーザ（病理医）は、診断レポート推論部２９０２から出力された診断レポートの最終的な採否を、結果採否判断部１１７に入力することができる。そして、結果採否判断部１１７は、ユーザからの入力を受け付けて、採用された診断レポートを診断レポートＤＢ１０４に保存して、以降の学習処理における学習データとして利用するようにする。また、結果採否判断部１１７は、ユーザが採用しなかった診断レポートを破棄して、診断レポートＤＢ１０４に追加しない。
【0169】
このように第２の変形例に係る医療診断システム２９００は、単一の機械学習モデルで診断レポートの学習を行い、病理画像データと観測データから診断レポートを作成することができる。
【0170】
Ｌ．情報処理装置の構成例
このＫ項では、医療診断システム１００における学習フェーズ及び推論フェーズの一方又は両方を実現することができる情報処理装置について説明する。
このＫ項では、医療診断システム１００における学習フェーズ及び推論フェーズの一方又は両方を実現することができる情報処理装置について説明する。
【0171】
図３１には、情報処理装置３１００の構成例を示している。情報処理装置３１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１０１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３１０３と、大容量記憶装置３１０４と、通信インターフェース（ＩＦ）３１０５と、入出力インターフェース（ＩＦ）３１０６を備えている。情報処理装置３１００の各部は、バス３１１０によって相互接続されている。情報処理装置３１００は、例えばパーソナルコンピュータを用いて構成される。
【0172】
ＣＰＵ３１０１は、ＲＯＭ３１０３又は大容量記憶装置３１０４に格納されたプログラムに基づいて動作して、各部の動作を制御する。例えば、ＣＰＵ３１０１は、ＲＯＭ３１０３又は大容量記憶装置３１０４に格納された各種プログラムをＲＡＭ３１０２上に展開して実行し、プログラム実行中の作業データをＲＡＭ３１０２に一時的に格納する。
【0173】
ＲＯＭ３１０３は、情報処理装置３１００の起動時にＣＰＵ３１０１によって実行されるブートプログラムや、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）などの情報処理装置３１００のハードウェアに依存するプログラムやデータなどを不揮発的に格納している。
【0174】
大容量記憶装置３１０４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）のような、コンピュータが読み取り可能な記録媒体で構成される。大容量記憶装置３１０４は、ＣＰＵ３１０１によって実行されるプログラムや、プログラムによって使用されるデータなどをファイル形式で不揮発的に記録している。具体的には、大容量記憶装置３１０４は、図１に示した医療診断システム１００において、観測データ抽出部１０５や所見データ抽出部１０６が観測データや所見データを抽出する処理動作を実現するためのプログラムや、観測データ学習部１０７や所見データ学習部１０８がそれぞれ機械学習モデルを学習するための処理動作を実現するプログラム、観測データ学習部１０７や所見データ学習部１０８によって学習が行われた各機械学習モデルのモデルパラメータ（ニューロンの重み付け係数など）、観測データ推論部１１１や所見データ推論部１１２がそれぞれ学習済み機械学習モデルを用いて病理画像データから観測データや所見データの推論を行うための処理動作を実現するプログラム、観測データ根拠計算部１１３や所見データ根拠計算部１１４が観測データ推論部１１１や所見データ推論部１１２の推論の根拠を計算するための処理動作を実現するプログラム、推論された観測データや所見データと算出された各推論の根拠に基づいて診断レポートを自動作成するための処理動作を実現するプログラム、診断レポートを提示しユーザによる修正・編集を行うための処理動作を実現するプログラムなどを、それぞれファイル形式で記録している。
【0175】
通信インターフェース３１０５は、情報処理装置３１００が外部ネットワーク３１５０（例えばインターネット）と接続するためのインターフェースである。例えば、ＣＰＵ３１０１は、通信インターフェース３１０５を介して、他の機器からデータを受信したり、ＣＰＵ３１０１が生成したデータを他の機器へ送信したりする。
【0176】
入出力インターフェース３１０６は、情報処理装置１０００に入出力デバイス３１６０を接続するためのインターフェースである。例えば、ＣＰＵ３１０１は、入出力インターフェース３１０６を介して、キーボードやマウスなどの入力デバイスを始めとするＵＩ／ＵＸ機器（いずれも図示しない）からデータを受信する。また、ＣＰＵ３１０１は、入出力インターフェース３１０６を介して、ディスプレイやスピーカーやプリンタなどの出力デバイス（いずれも図示しない）にデータを送信する。また、入出力インターフェース３１０６は、所定の記録媒体（メディア）に記録されたプログラムやデータなどのファイルを読み取るメディアインターフェースとして機能してもよい。ここで言うメディアには、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）などの光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）などの光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリなどが含まれる。
【0177】
例えば、情報処理装置３１００が学習フェーズ及び推論フェーズにおける医療診断システム１００として機能する場合、ＣＰＵ３１０１は、ＲＡＭ３１０２上にロードされたプログラムを実行することにより、観測データ抽出部１０５、所見データ抽出部、観測データ学習部１０７、所見データ学習部１０８、特徴量抽出及び名前付け部１０９、観測データ推論部１１１、所見データ推論部１１２、観測データ根拠計算部１１３、所見データ根拠計算部１１４、欠損値検出部１１５、レポート作成部１１６、結果採否判断部１１７の各機能を実現する。また、大容量記憶装置３１０４には、観測データ学習部１０７や所見データ学習部１０８が機械学習モデルを学習するための処理動作を実現するプログラムや、学習済みの機械学習モデルのモデルパラメータ（ニューロンの重み付け係数など）、観測データ推論部１１１及び所見データ推論部１１２がそれぞれ学習済み機械学習モデルを用いて病理画像データから観測データ及び所見データの推論を行うための処理動作を実現するプログラム、レポート作成部１１６が診断レポートを自動作成するための処理動作を実現するプログラム、結果採否判断部１１７が診断プログラムの修正や編集、ユーザによる採否に伴う処理動作を実現するプログラムが格納される。なお、ＣＰＵ３１０１は、プログラムやデータなどのファイルを大容量記憶装置３１０４から読み取って実行するが、他の例として、外部ネットワーク３１５０を介して、他の装置（図示しない）からこれらのプログラムやデータを取得したり他の装置にデータを転送したりするようにしてもよい。
【0178】
Ｍ．顕微鏡システム
本開示の顕微鏡システムの構成例を図３２に示す。図３２に示される顕微鏡システム５０００は、顕微鏡装置５１００、制御部５１１０、及び情報処理部５１２０を含む。顕微鏡装置５１００は、光照射部５１０１、光学部５１０２、及び信号取得部５１０３を備えている。顕微鏡装置５１００はさらに、生体由来試料Ｓが配置される試料載置部５１０４を備えていてよい。なお、顕微鏡装置の構成は図１２に示されるものに限定されず、例えば、光照射部５１０１は、顕微鏡装置５１００の外部に存在してもよく、例えば顕微鏡装置５１００に含まれない光源が光照射部５１０１として利用されてもよい。また、光照射部５１０１は、光照射部５１０１と光学部５１０２とによって試料載置部５１０４が挟まれるように配置されていてよく、例えば、光学部５１０２が存在する側に配置されてもよい。顕微鏡装置５１００は、明視野観察、位相差観察、微分干渉観察、偏光観察、蛍光観察、及び暗視野観察のうちの１又は２以上で構成されてよい。
本開示の顕微鏡システムの構成例を図３２に示す。図３２に示される顕微鏡システム５０００は、顕微鏡装置５１００、制御部５１１０、及び情報処理部５１２０を含む。顕微鏡装置５１００は、光照射部５１０１、光学部５１０２、及び信号取得部５１０３を備えている。顕微鏡装置５１００はさらに、生体由来試料Ｓが配置される試料載置部５１０４を備えていてよい。なお、顕微鏡装置の構成は図１２に示されるものに限定されず、例えば、光照射部５１０１は、顕微鏡装置５１００の外部に存在してもよく、例えば顕微鏡装置５１００に含まれない光源が光照射部５１０１として利用されてもよい。また、光照射部５１０１は、光照射部５１０１と光学部５１０２とによって試料載置部５１０４が挟まれるように配置されていてよく、例えば、光学部５１０２が存在する側に配置されてもよい。顕微鏡装置５１００は、明視野観察、位相差観察、微分干渉観察、偏光観察、蛍光観察、及び暗視野観察のうちの１又は２以上で構成されてよい。
【0179】
顕微鏡システム５０００は、いわゆるＷＳＩ（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｉｎｇ）システム又はデジタルパソロジーシステムとして構成されてよく、病理診断のために用いられうる。また、顕微鏡システム５０００は、蛍光イメージングシステム、特には多重蛍光イメージングシステムとして構成されてもよい。
【0180】
例えば、顕微鏡システム５０００は、術中病理診断又は遠隔病理診断を行うために用いられてよい。当該術中病理診断では、手術が行われている間に、顕微鏡装置５１００が、当該手術の対象者から取得された生体由来試料Ｓのデータを取得し、そして、当該データを情報処理部５１２０へと送信しうる。当該遠隔病理診断では、顕微鏡装置５１００は、取得した生体由来試料Ｓのデータを、顕微鏡装置５１００とは離れた場所（別の部屋又は建物など）に存在する情報処理部５１２０へと送信しうる。そして、これらの診断において、情報処理部５１２０は、当該データを受信し、出力する。出力されたデータに基づき、情報処理部５１２０のユーザが、病理診断を行いうる。
【0181】
（生体由来試料）
生体由来試料Ｓは、生体成分を含む試料であってよい。前記生体成分は、生体の組織、細胞、生体の液状成分（血液や尿等）、培養物、又は生細胞（心筋細胞、神経細胞、及び受精卵など）であってよい。
前記生体由来試料は、固形物であってよく、パラフィンなどの固定試薬によって固定された標本又は凍結により形成された固形物であってよい。前記生体由来試料は、当該固形物の切片でありうる。前記生体由来試料の具体的な例として、生検試料の切片を挙げることができる。
生体由来試料Ｓは、生体成分を含む試料であってよい。前記生体成分は、生体の組織、細胞、生体の液状成分（血液や尿等）、培養物、又は生細胞（心筋細胞、神経細胞、及び受精卵など）であってよい。
前記生体由来試料は、固形物であってよく、パラフィンなどの固定試薬によって固定された標本又は凍結により形成された固形物であってよい。前記生体由来試料は、当該固形物の切片でありうる。前記生体由来試料の具体的な例として、生検試料の切片を挙げることができる。
【0182】
前記生体由来試料は、染色又は標識などの処理が施されたものであってよい。当該処理は、生体成分の形態を示すための又は生体成分が有する物質（表面抗原など）を示すための染色であってよく、ＨＥ（Ｈｅｍａｔｏｘｙｌｉｎ－Ｅｏｓｉｎ）染色、免疫組織化学（Ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ）染色を挙げることができる。前記生体由来試料は、１又は２以上の試薬により前記処理が施されたものであってよく、当該試薬は、蛍光色素、発色試薬、蛍光タンパク質、又は蛍光標識抗体でありうる。
【0183】
前記標本は、人体から採取された検体または組織サンプルから病理診断または臨床検査などを目的に作製されたものであってよい。また、前記標本は、人体に限らず、動物、植物、又は他の材料に由来するものであってもよい。前記標本は、使用される組織（例えば臓器または細胞など）の種類、対象となる疾病の種類、対象者の属性（例えば、年齢、性別、血液型、または人種など）、または対象者の生活習慣（例えば、食生活、運動習慣、または喫煙習慣など）などにより性質が異なる。前記標本は、各標本それぞれ識別可能な識別情報（バーコード情報又はＱＲコード（商標）情報等）を付されて管理されてよい。
【0184】
（光照射部）
光照射部５１０１は、生体由来試料Ｓを照明するための光源、および光源から照射された光を標本に導く光学部である。光源は、可視光、紫外光、若しくは赤外光、又はこれらの組合せを生体由来試料に照射しうる。光源は、ハロゲンランプ、レーザ光源、ＬＥＤランプ、水銀ランプ、及びキセノンランプのうちの１又は２以上であってよい。蛍光観察における光源の種類及び／又は波長は、複数でもよく、当業者により適宜選択されてよい。光照射部は、透過型、反射型又は落射型（同軸落射型若しくは側射型）の構成を有しうる。
光照射部５１０１は、生体由来試料Ｓを照明するための光源、および光源から照射された光を標本に導く光学部である。光源は、可視光、紫外光、若しくは赤外光、又はこれらの組合せを生体由来試料に照射しうる。光源は、ハロゲンランプ、レーザ光源、ＬＥＤランプ、水銀ランプ、及びキセノンランプのうちの１又は２以上であってよい。蛍光観察における光源の種類及び／又は波長は、複数でもよく、当業者により適宜選択されてよい。光照射部は、透過型、反射型又は落射型（同軸落射型若しくは側射型）の構成を有しうる。
【0185】
（光学部）
光学部５１０２は、生体由来試料Ｓからの光を信号取得部５１０３へと導くように構成される。光学部は、顕微鏡装置５１００が生体由来試料Ｓを観察又は撮像することを可能とするように構成されうる。
光学部５１０２は、対物レンズを含みうる。対物レンズの種類は、観察方式に応じて当業者により適宜選択されてよい。また、光学部は、対物レンズによって拡大された像を信号取得部に中継するためのリレーレンズを含んでもよい。光学部は、前記対物レンズ及び前記リレーレンズ以外の光学部品、接眼レンズ、位相板、及びコンデンサレンズなど、をさらに含みうる。
また、光学部５１０２は、生体由来試料Ｓからの光のうちから所定の波長を有する光を分離するように構成された波長分離部をさらに含んでよい。波長分離部は、所定の波長又は波長範囲の光を選択的に信号取得部に到達させるように構成されうる。波長分離部は、例えば、光を選択的に透過させるフィルタ、偏光板、プリズム（ウォラストンプリズム）、及び回折格子のうちの１又は２以上を含んでよい。波長分離部に含まれる光学部品は、例えば対物レンズから信号取得部までの光路上に配置されてよい。波長分離部は、蛍光観察が行われる場合、特に励起光照射部を含む場合に、顕微鏡装置内に備えられる。波長分離部は、蛍光同士を互いに分離し又は白色光と蛍光とを分離するように構成されうる。
光学部５１０２は、生体由来試料Ｓからの光を信号取得部５１０３へと導くように構成される。光学部は、顕微鏡装置５１００が生体由来試料Ｓを観察又は撮像することを可能とするように構成されうる。
光学部５１０２は、対物レンズを含みうる。対物レンズの種類は、観察方式に応じて当業者により適宜選択されてよい。また、光学部は、対物レンズによって拡大された像を信号取得部に中継するためのリレーレンズを含んでもよい。光学部は、前記対物レンズ及び前記リレーレンズ以外の光学部品、接眼レンズ、位相板、及びコンデンサレンズなど、をさらに含みうる。
また、光学部５１０２は、生体由来試料Ｓからの光のうちから所定の波長を有する光を分離するように構成された波長分離部をさらに含んでよい。波長分離部は、所定の波長又は波長範囲の光を選択的に信号取得部に到達させるように構成されうる。波長分離部は、例えば、光を選択的に透過させるフィルタ、偏光板、プリズム（ウォラストンプリズム）、及び回折格子のうちの１又は２以上を含んでよい。波長分離部に含まれる光学部品は、例えば対物レンズから信号取得部までの光路上に配置されてよい。波長分離部は、蛍光観察が行われる場合、特に励起光照射部を含む場合に、顕微鏡装置内に備えられる。波長分離部は、蛍光同士を互いに分離し又は白色光と蛍光とを分離するように構成されうる。
【0186】
（信号取得部）
信号取得部５１０３は、生体由来試料Ｓからの光を受光し、当該光を電気信号、特にはデジタル電気信号へと変換することができるように構成されうる。信号取得部は、当該電気信号に基づき、生体由来試料Ｓに関するデータを取得することができるように構成されてよい。信号取得部は、生体由来試料Ｓの像（画像、特には静止画像、タイムラプス画像、又は動画像）のデータを取得することができるように構成されてよく、特に光学部によって拡大された画像のデータを取得するように構成されうる。信号取得部は、１次元又は２次元に並んで配列された複数の画素を備えている１つ又は複数の撮像素子、ＣＭＯＳ又はＣＣＤなど、を含む。信号取得部は、低解像度画像取得用の撮像素子と高解像度画像取得用の撮像素子とを含んでよく、又は、ＡＦなどのためのセンシング用撮像素子と観察などのための画像出力用撮像素子とを含んでもよい。撮像素子は、前記複数の画素に加え、各画素からの画素信号を用いた信号処理を行う信号処理部（ＣＰＵ、ＤＳＰ、及びメモリのうちの１つ、２つ、又は３つを含む）、及び、画素信号から生成された画像データ及び信号処理部により生成された処理データの出力の制御を行う出力制御部を含みうる。更には、撮像素子は、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出する非同期型のイベント検出センサを含み得る。前記複数の画素、前記信号処理部、及び前記出力制御部を含む撮像素子は、好ましくは１チップの半導体装置として構成されうる。
信号取得部５１０３は、生体由来試料Ｓからの光を受光し、当該光を電気信号、特にはデジタル電気信号へと変換することができるように構成されうる。信号取得部は、当該電気信号に基づき、生体由来試料Ｓに関するデータを取得することができるように構成されてよい。信号取得部は、生体由来試料Ｓの像（画像、特には静止画像、タイムラプス画像、又は動画像）のデータを取得することができるように構成されてよく、特に光学部によって拡大された画像のデータを取得するように構成されうる。信号取得部は、１次元又は２次元に並んで配列された複数の画素を備えている１つ又は複数の撮像素子、ＣＭＯＳ又はＣＣＤなど、を含む。信号取得部は、低解像度画像取得用の撮像素子と高解像度画像取得用の撮像素子とを含んでよく、又は、ＡＦなどのためのセンシング用撮像素子と観察などのための画像出力用撮像素子とを含んでもよい。撮像素子は、前記複数の画素に加え、各画素からの画素信号を用いた信号処理を行う信号処理部（ＣＰＵ、ＤＳＰ、及びメモリのうちの１つ、２つ、又は３つを含む）、及び、画素信号から生成された画像データ及び信号処理部により生成された処理データの出力の制御を行う出力制御部を含みうる。更には、撮像素子は、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出する非同期型のイベント検出センサを含み得る。前記複数の画素、前記信号処理部、及び前記出力制御部を含む撮像素子は、好ましくは１チップの半導体装置として構成されうる。
【0187】
（制御部）
制御部５１１０は、顕微鏡装置５１００による撮像を制御する。制御部５１１０は、撮像制御のために、光学部５１０２及び／又は試料載置部５１０４の移動を駆動して、光学部５１０２と試料載置部５１０４との間の位置関係を調節しうる。制御部５１１０は、光学部５１０２及び／又は試料載置部５１０４を、互いに近づく又は離れる方向（例えば対物レンズの光軸方向）に移動させうる。また、制御部５１１０は、光学部及び／又は試料載置部５１０４を、前記光軸方向と垂直な面におけるいずれかの方向に移動させてもよい。制御部５１１０は、撮像制御のために、光照射部５１０１及び／又は信号取得部５１０３を制御してもよい。
制御部５１１０は、顕微鏡装置５１００による撮像を制御する。制御部５１１０は、撮像制御のために、光学部５１０２及び／又は試料載置部５１０４の移動を駆動して、光学部５１０２と試料載置部５１０４との間の位置関係を調節しうる。制御部５１１０は、光学部５１０２及び／又は試料載置部５１０４を、互いに近づく又は離れる方向（例えば対物レンズの光軸方向）に移動させうる。また、制御部５１１０は、光学部及び／又は試料載置部５１０４を、前記光軸方向と垂直な面におけるいずれかの方向に移動させてもよい。制御部５１１０は、撮像制御のために、光照射部５１０１及び／又は信号取得部５１０３を制御してもよい。
【0188】
（試料載置部）
試料載置部５１０４は、生体由来試料の試料載置部５１０４上における位置が固定できるように構成されてよく、いわゆるステージであってよい。試料載置部５１０４は、生体由来試料の位置を、対物レンズの光軸方向及び／又は当該光軸方向と垂直な方向に移動させることができるように構成されうる。
試料載置部５１０４は、生体由来試料の試料載置部５１０４上における位置が固定できるように構成されてよく、いわゆるステージであってよい。試料載置部５１０４は、生体由来試料の位置を、対物レンズの光軸方向及び／又は当該光軸方向と垂直な方向に移動させることができるように構成されうる。
【0189】
（情報処理部）
情報処理部５１２０は、顕微鏡装置５１００が取得したデータ（撮像データなど）を、顕微鏡装置５１００から取得しうる。情報処理部５１２０は、撮像データに対する画像処理を実行しうる。当該画像処理は、色分離処理を含んでよい。当該色分離処理は、撮像データから所定の波長又は波長範囲の光成分のデータを抽出して画像データを生成する処理、又は、撮像データから所定の波長又は波長範囲の光成分のデータを除去する処理などを含みうる。また、当該画像処理は、組織切片の自家蛍光成分と色素成分を分離する自家蛍光分離処理や互いに蛍光波長が異なる色素間の波長を分離する蛍光分離処理を含みうる。前記自家蛍光分離処理では、同一ないし性質が類似する前記複数の標本のうち、一方から抽出された自家蛍光シグナルを用いて他方の標本の画像情報から自家蛍光成分を除去する処理を行ってもよい。
情報処理部５１２０は、制御部５１１０に撮像制御のためのデータを送信してよく、当該データを受信した制御部５１１０が、当該データに従い顕微鏡装置５１００による撮像を制御してもよい。
情報処理部５１２０は、顕微鏡装置５１００が取得したデータ（撮像データなど）を、顕微鏡装置５１００から取得しうる。情報処理部５１２０は、撮像データに対する画像処理を実行しうる。当該画像処理は、色分離処理を含んでよい。当該色分離処理は、撮像データから所定の波長又は波長範囲の光成分のデータを抽出して画像データを生成する処理、又は、撮像データから所定の波長又は波長範囲の光成分のデータを除去する処理などを含みうる。また、当該画像処理は、組織切片の自家蛍光成分と色素成分を分離する自家蛍光分離処理や互いに蛍光波長が異なる色素間の波長を分離する蛍光分離処理を含みうる。前記自家蛍光分離処理では、同一ないし性質が類似する前記複数の標本のうち、一方から抽出された自家蛍光シグナルを用いて他方の標本の画像情報から自家蛍光成分を除去する処理を行ってもよい。
情報処理部５１２０は、制御部５１１０に撮像制御のためのデータを送信してよく、当該データを受信した制御部５１１０が、当該データに従い顕微鏡装置５１００による撮像を制御してもよい。
【0190】
情報処理部５１２０は、汎用のコンピュータなどの情報処理装置として構成されてよく、ＣＰＵ、ＲＡＭ、及びＲＯＭを備えていてよい。情報処理部は、顕微鏡装置５１００の筐体内に含まれていてよく、又は、当該筐体の外にあってもよい。また、情報処理部５１２０による各種処理又は機能は、ネットワークを介して接続されたサーバコンピュータ又はクラウドにより実現されてもよい。
【0191】
顕微鏡装置５１００による生体由来試料Ｓの撮像の方式は、生体由来試料の種類及び撮像の目的などに応じて、当業者により適宜選択されてよい。当該撮像方式の例を以下に説明する。
【0192】
撮像方式の一つの例は以下のとおりである。顕微鏡装置５１００は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料が存在する領域全体をカバーするように特定されてよく、又は、生体由来試料のうちの目的部分（目的組織切片、目的細胞、又は目的病変部が存在する部分）をカバーするように特定されてもよい。次に、顕微鏡装置５１００は、当該撮像対象領域を、所定サイズの複数の分割領域へと分割し、顕微鏡装置５１００は各分割領域を順次撮像する。これにより、各分割領域の画像が取得される。
図３３に示されるように、顕微鏡装置５１００は、生体由来試料Ｓ全体をカバーする撮像対象領域Ｒを特定する。そして、顕微鏡装置５１００は、撮像対象領域Ｒを１６の分割領域へと分割する。そして、顕微鏡装置５１００は分割領域Ｒ１の撮像を行い、そして次に、その分割領域Ｒ１に隣接する領域など、撮像対象領域Ｒに含まれる領域の内いずれか領域を撮像しうる。そして、未撮像の分割領域がなくなるまで、分割領域の撮像が行われる。なお、撮像対象領域Ｒ以外の領域についても、分割領域の撮像画像情報に基づき、撮像しても良い。
或る分割領域を撮像した後に次の分割領域を撮像するために、顕微鏡装置５１００と試料載置部５１０４との位置関係が調整される。当該調整は、顕微鏡装置５１００の移動、試料載置部５１０４の移動、又は、これらの両方の移動により行われてよい。この例において、各分割領域の撮像を行う撮像装置は、２次元撮像素子（エリアセンサ）又は１次元撮像素子（ラインセンサ）であってよい。信号取得部は、光学部を介して各分割領域を撮像してよい。また、各分割領域の撮像は、顕微鏡装置５１００及び／又は試料載置部５１０４を移動させながら連続的に行われてよく、又は、各分割領域の撮像に際して顕微鏡装置５１００及び／又は試料載置部５１０４の移動が停止されてもよい。各分割領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割領域は、焦点距離及び／又は露光時間などの撮像条件を変えて複数回撮像されてもよい。
また、情報処理部５１２０は、隣り合う複数の分割領域が合成して、より広い領域の画像データを生成しうる。当該合成処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割領域の画像、または合成処理を行った画像から、より解像度の低い画像データを生成しうる。
図３３に示されるように、顕微鏡装置５１００は、生体由来試料Ｓ全体をカバーする撮像対象領域Ｒを特定する。そして、顕微鏡装置５１００は、撮像対象領域Ｒを１６の分割領域へと分割する。そして、顕微鏡装置５１００は分割領域Ｒ１の撮像を行い、そして次に、その分割領域Ｒ１に隣接する領域など、撮像対象領域Ｒに含まれる領域の内いずれか領域を撮像しうる。そして、未撮像の分割領域がなくなるまで、分割領域の撮像が行われる。なお、撮像対象領域Ｒ以外の領域についても、分割領域の撮像画像情報に基づき、撮像しても良い。
或る分割領域を撮像した後に次の分割領域を撮像するために、顕微鏡装置５１００と試料載置部５１０４との位置関係が調整される。当該調整は、顕微鏡装置５１００の移動、試料載置部５１０４の移動、又は、これらの両方の移動により行われてよい。この例において、各分割領域の撮像を行う撮像装置は、２次元撮像素子（エリアセンサ）又は１次元撮像素子（ラインセンサ）であってよい。信号取得部は、光学部を介して各分割領域を撮像してよい。また、各分割領域の撮像は、顕微鏡装置５１００及び／又は試料載置部５１０４を移動させながら連続的に行われてよく、又は、各分割領域の撮像に際して顕微鏡装置５１００及び／又は試料載置部５１０４の移動が停止されてもよい。各分割領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割領域は、焦点距離及び／又は露光時間などの撮像条件を変えて複数回撮像されてもよい。
また、情報処理部５１２０は、隣り合う複数の分割領域が合成して、より広い領域の画像データを生成しうる。当該合成処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割領域の画像、または合成処理を行った画像から、より解像度の低い画像データを生成しうる。
【0193】
撮像方式の他の例は以下のとおりである。顕微鏡装置５１００は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料が存在する領域全体をカバーするように特定されてよく、又は、生体由来試料のうちの目的部分（目的組織切片又は目的細胞が存在する部分）をカバーするように特定されてもよい。次に、顕微鏡装置５１００は、撮像対象領域の一部の領域（「分割スキャン領域」ともいう）を、光軸と垂直な面内における一つの方向（「スキャン方向」ともいう）へスキャンして撮像する。当該分割スキャン領域のスキャンが完了したら、次に、前記スキャン領域の隣の分割スキャン領域を、スキャンする。これらのスキャン動作が、撮像対象領域全体が撮像されるまで繰り返される。
図３４に示されるように、顕微鏡装置５１００は、生体由来試料Ｓのうち、組織切片が存在する領域（グレーの部分）を撮像対象領域Ｓａとして特定する。そして、顕微鏡装置５１００は、撮像対象領域Ｓａのうち、分割スキャン領域Ｒｓを、Ｙ軸方向へスキャンする。顕微鏡装置５１００は、分割スキャン領域Ｒｓのスキャンが完了したら、次に、Ｘ軸方向における隣の分割スキャン領域をスキャンする。撮像対象領域Ｓａの全てについてスキャンが完了するまで、この動作が繰り返しされる。
各分割スキャン領域のスキャンのために、及び、或る分割スキャン領域を撮像した後に次の分割スキャン領域を撮像するために、顕微鏡装置５１００と試料載置部５１０４との位置関係が調整される。当該調整は、顕微鏡装置５１００の移動、試料載置部５１０４の移動、又は、これらの両方の移動により行われてよい。この例において、各分割スキャン領域の撮像を行う撮像装置は、１次元撮像素子（ラインセンサ）又は２次元撮像素子（エリアセンサ）であってよい。信号取得部は、拡大光学系を介して各分割領域を撮像してよい。また、各分割スキャン領域の撮像は、顕微鏡装置５１００及び／又は試料載置部５１０４を移動させながら連続的に行われてよい。各分割スキャン領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割スキャン領域は、焦点距離及び／又は露光時間などの撮像条件を変えて複数回撮像されてもよい。
また、情報処理部５１２０は、隣り合う複数の分割スキャン領域が合成して、より広い領域の画像データを生成しうる。当該合成処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割スキャン領域の画像、または合成処理を行った画像から、より解像度の低い画像データを生成しうる。
図３４に示されるように、顕微鏡装置５１００は、生体由来試料Ｓのうち、組織切片が存在する領域（グレーの部分）を撮像対象領域Ｓａとして特定する。そして、顕微鏡装置５１００は、撮像対象領域Ｓａのうち、分割スキャン領域Ｒｓを、Ｙ軸方向へスキャンする。顕微鏡装置５１００は、分割スキャン領域Ｒｓのスキャンが完了したら、次に、Ｘ軸方向における隣の分割スキャン領域をスキャンする。撮像対象領域Ｓａの全てについてスキャンが完了するまで、この動作が繰り返しされる。
各分割スキャン領域のスキャンのために、及び、或る分割スキャン領域を撮像した後に次の分割スキャン領域を撮像するために、顕微鏡装置５１００と試料載置部５１０４との位置関係が調整される。当該調整は、顕微鏡装置５１００の移動、試料載置部５１０４の移動、又は、これらの両方の移動により行われてよい。この例において、各分割スキャン領域の撮像を行う撮像装置は、１次元撮像素子（ラインセンサ）又は２次元撮像素子（エリアセンサ）であってよい。信号取得部は、拡大光学系を介して各分割領域を撮像してよい。また、各分割スキャン領域の撮像は、顕微鏡装置５１００及び／又は試料載置部５１０４を移動させながら連続的に行われてよい。各分割スキャン領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割スキャン領域は、焦点距離及び／又は露光時間などの撮像条件を変えて複数回撮像されてもよい。
また、情報処理部５１２０は、隣り合う複数の分割スキャン領域が合成して、より広い領域の画像データを生成しうる。当該合成処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割スキャン領域の画像、または合成処理を行った画像から、より解像度の低い画像データを生成しうる。
【0194】
情報処理部５１２０は、基本的には、図１に示した医療診断システム１００における推論モードの動作を実現した装置であり、図３１に示した情報処理装置３１００を用いて構成することができる。もちろん、情報処理部５１２０は、学習モードとして動作する機能も備え、使用する機械学習モデルの再学習又は追加学習を行うようにしてもよい。情報処理部５１２０は、顕微鏡装置５１００で取り込んだ病理画像データから疾患を推論して、診断ラベル及び診断ラベルに対応する鑑別ラベルを出力するとともに、診断ラベル及び鑑別ラベルの各根拠を計算して、各々の根拠を表すヒートマップなどの情報を出力する。また、情報処理部５１２０は、ユーザ入力を行う入力デバイスを備え、病理医による最終的な診断（例えば、診断ラベル及び鑑別ラベルの一方の選択結果などの病理医の所見）や観察データ（例えば、「びまん性が高い」など病理画像に対する病理医のコメントなど）の入力を受け付ける。
【0195】
情報処理部５１２０は、顕微鏡装置５１００で取り込まれた病理画像データを大容量記憶装置３１０４に記録する。また、情報処理部５１２０は、病理画像データから推論した診断結果や、病理医による病理画像に対する所見及び観察データを、病理画像データと関連付けて記録する。情報処理部５１２０は、例えば電子カルテの形式で、患者毎に、血液などの検査値、病理画像データ、病理医による所見及び観察データを大容量記憶装置３１０４に保管するようにしてもよい。
【産業上の利用可能性】
【0196】
以上、特定の実施形態を参照しながら、本開示について詳細に説明してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【0197】
本明細書では、本開示を病理画像の解析に適用した実施形態を中心に説明してきたが、本開示の要旨はこれに限定されるものではない。レントゲン画像やＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：コンピュータ断層撮影法）、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ：磁気共鳴画像）、内視鏡画像などさまざまな医用画像の診断にも、同様に本開示を適用することができる。
【0198】
要するに、例示という形態により本開示について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本開示の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【0199】
なお、本開示は、以下のような構成をとることも可能である。
【0200】
（１）制御部と、
入力画像に基づいて、機械学習モデルを用いて診断結果を推定する診断部と、
前記診断結果に基づいて診断結果レポートを出力する診断結果レポート出力部と、
前記診断結果レポートに含まれる診断内容の一部を選択する選択部と、
前記選択された前記診断内容の推定に影響を与えた判断根拠情報を抽出する抽出部と、
を具備し、
前記制御部は、前記判断根拠情報を出力する、画像診断システム
入力画像に基づいて、機械学習モデルを用いて診断結果を推定する診断部と、
前記診断結果に基づいて診断結果レポートを出力する診断結果レポート出力部と、
前記診断結果レポートに含まれる診断内容の一部を選択する選択部と、
前記選択された前記診断内容の推定に影響を与えた判断根拠情報を抽出する抽出部と、
を具備し、
前記制御部は、前記判断根拠情報を出力する、画像診断システム
【0201】
（２）前記判断根拠情報を修正する修正部をさらに備え、
修正された判断根拠情報を前記機械学習モデルの再学習に用いる、
上記（１）に記載の画像診断システム。
修正された判断根拠情報を前記機械学習モデルの再学習に用いる、
上記（１）に記載の画像診断システム。
【0202】
（３）前記診断部は、前記入力画像の特徴に関わる観測データを推論する観測データ推論部と、前記入力画像の診断に関わる所見データを推論する所見データ推論部を含み、
前記制御部は、前記観測データ推論部による観測データの推論の根拠と前記所見データ推論部による所見データの推論の根拠を計算し、
前記診断結果レポート出力部は、前記観測データ推論部及び前記所見データ推論部がそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算部及び前記所見データ根拠計算部が計算した根拠に基づいて、前記入力画像の診断レポートを作成する、
上記（１）又は（２）のいずれかに記載の画像診断システム。
前記制御部は、前記観測データ推論部による観測データの推論の根拠と前記所見データ推論部による所見データの推論の根拠を計算し、
前記診断結果レポート出力部は、前記観測データ推論部及び前記所見データ推論部がそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算部及び前記所見データ根拠計算部が計算した根拠に基づいて、前記入力画像の診断レポートを作成する、
上記（１）又は（２）のいずれかに記載の画像診断システム。
【0203】
（４）前記観測データ推論部は、入力画像を説明変数とし観測データを目的変数として学習された第１の機械学習モデルを用いて観測データの推論を行い、
前記所見データ推論部は、入力画像を説明変数とし所見データを目的変数とし学習された第２の機械学習モデルを用いて所見データの推論を行う、
上記（３）に記載の画像診断システム。
前記所見データ推論部は、入力画像を説明変数とし所見データを目的変数とし学習された第２の機械学習モデルを用いて所見データの推論を行う、
上記（３）に記載の画像診断システム。
【0204】
（５）入力画像を説明変数とし、入力画像に対応する患者情報及び検査値から抽出された観測データを目的変数として、前記第１の機械学習モデルの学習を行う観測データ学習部と、
入力画像を説明変数とし、入力画像に対する診断レポートから抽出された所見データを目的変数として、前記第２の機械学習モデルの学習を行う所見データ学習部と、
をさらに備える、上記（４）に記載の情報処理装置。
入力画像を説明変数とし、入力画像に対する診断レポートから抽出された所見データを目的変数として、前記第２の機械学習モデルの学習を行う所見データ学習部と、
をさらに備える、上記（４）に記載の情報処理装置。
【0205】
（６）入力画像と、入力画像に対応する患者情報及び検査値から抽出された観測データを説明変数として前記第１の機械学習モデルの学習を行う観測データ学習部と、
入力画像と入力画像に対応する前記観測データを説明変数とし、入力画像に対する診断レポートから抽出された所見データを目的変数として前記第２の機械学習モデルの学習を行う所見データ学習部と、
をさらに備える、上記（４）に記載の情報処理装置。
入力画像と入力画像に対応する前記観測データを説明変数とし、入力画像に対する診断レポートから抽出された所見データを目的変数として前記第２の機械学習モデルの学習を行う所見データ学習部と、
をさらに備える、上記（４）に記載の情報処理装置。
【0206】
（７）入力画像と、入力画像に対応する患者情報と検査値に基づいて、入力画像に対する診断レポートから観測データを抽出する観測データ抽出部と、
入力画像に対する診断レポートから所見データを抽出する所見データ抽出部と、
をさらに備える、上記（５）又は（６）のいずれかに記載の情報処理装置。
入力画像に対する診断レポートから所見データを抽出する所見データ抽出部と、
をさらに備える、上記（５）又は（６）のいずれかに記載の情報処理装置。
【0207】
（８）前記観測データ推論部及び前記所見データ推論部の少なくとも一方は推論の信頼度を出力し、前記レポート作成部は、前記信頼度の情報を含んだ前記診断レポートを作成する、
上記（３）乃至（７）のいずれかに記載の情報処理装置。
上記（３）乃至（７）のいずれかに記載の情報処理装置。
【0208】
（９）前記診断レポートを提示する提示部をさらに備える、
上記（３）乃至（８）のいずれかに記載の情報処理装置。
上記（３）乃至（８）のいずれかに記載の情報処理装置。
【0209】
（１０）前記提示部は、観測データ及び所見データの各推論の根拠を元の入力画像に重畳して表示する、
上記（９）に記載の情報処理装置。
上記（９）に記載の情報処理装置。
【0210】
（１１）前記提示部は、観測データ及び所見データと対応付けて各推論の根拠を元の入力画像上に表示する、
上記（９）又は（１０）のいずれかに記載の情報処理装置。
上記（９）又は（１０）のいずれかに記載の情報処理装置。
【0211】
（１２）前記提示部は、観測データ及び所見データの各推論の信頼度をさらに提示する、
上記（９）乃至（１１）のいずれかに記載の情報処理装置。
上記（９）乃至（１１）のいずれかに記載の情報処理装置。
【0212】
（１３）ユーザ入力に基づいて前記診断レポートの採否を判断する判断部をさらに備える、
上記（３）乃至（１０）のいずれかに記載の情報処理装置。
上記（３）乃至（１０）のいずれかに記載の情報処理装置。
【0213】
（１４）前記判断部は、ユーザ入力に基づいて、前記診断レポート中の観測データ又は所見データの根拠の修正、観測データ又は所見データの削除、観測データ又は所見データ及びその根拠の追加のうち少なくとも１つを行う、
上記（１３）に記載の情報処理装置。
上記（１３）に記載の情報処理装置。
【0214】
（１５）合成変数を抽出して、ユーザ入力に基づいて名前を付ける名前付け部をさらに備える、
上記（３）乃至（１４）のいずれかに記載の情報処理装置。
上記（３）乃至（１４）のいずれかに記載の情報処理装置。
【0215】
（１６）前記合成変数は、入力画像の学習時に抽出される画像特徴量、又は観測値の合成変数のうち少なくとも１つを含む、
上記（１５）に記載の情報処理装置。
上記（１５）に記載の情報処理装置。
【0216】
（１７）前記観測データ根拠計算部が前記観測データ推論部による観測データの推論の根拠を計算するときに、根拠となっている変数の重要度の欠損を検出する検出部をさらに備える、
上記（３）乃至（１６）のいずれかに記載の情報処理装置。
上記（３）乃至（１６）のいずれかに記載の情報処理装置。
【0217】
（１８）前記検出部は検出した欠損値の入力をユーザに促し、前記観測データ推論部は、ユーザから入力された欠損値を用いて再度観測データの推論を行う、
上記（１７）に記載の情報処理装置。
上記（１７）に記載の情報処理装置。
【0218】
（１９）入力画像に関する情報を処理する画像診断システムであって、
入力画像と、入力画像に対応する患者情報と検査値に基づいて、観測データを抽出する観測データ抽出部と、
入力画像と入力画像に関する観測データを説明変数とし入力画像の診断レポートを目的変数とする機械学習モデルの学習を行う学習部と、
学習済みの前記機械学習モデルを用いて、入力画像と入力画像に対応する患者情報と検査値から診断レポートを推論する推論部と、
を具備する画像診断システム。
入力画像と、入力画像に対応する患者情報と検査値に基づいて、観測データを抽出する観測データ抽出部と、
入力画像と入力画像に関する観測データを説明変数とし入力画像の診断レポートを目的変数とする機械学習モデルの学習を行う学習部と、
学習済みの前記機械学習モデルを用いて、入力画像と入力画像に対応する患者情報と検査値から診断レポートを推論する推論部と、
を具備する画像診断システム。
【0219】
（２０）入力画像を診断する画像診断方法であって、
前記入力画像の特徴に関わる観測データを推論する観測データ推論ステップと、
前記入力画像の診断に関わる所見データを推論する所見データ推論ステップと、
前記観測データ推論ステップにおける観測データの推論の根拠を計算する観測データ根拠計算ステップと、
前記所見データ推論ステップにおける所見データの推論の根拠を計算する所見データ根拠計算ステップと、
前記観測データ推論ステップ及び前記所見データ推論ステップの各々においてそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算ステップ及び前記所見データ根拠計算ステップの各々において計算した根拠に基づいて、前記入力画像の診断レポートを作成するレポート作成ステップと、
を有する画像診断方法。
前記入力画像の特徴に関わる観測データを推論する観測データ推論ステップと、
前記入力画像の診断に関わる所見データを推論する所見データ推論ステップと、
前記観測データ推論ステップにおける観測データの推論の根拠を計算する観測データ根拠計算ステップと、
前記所見データ推論ステップにおける所見データの推論の根拠を計算する所見データ根拠計算ステップと、
前記観測データ推論ステップ及び前記所見データ推論ステップの各々においてそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算ステップ及び前記所見データ根拠計算ステップの各々において計算した根拠に基づいて、前記入力画像の診断レポートを作成するレポート作成ステップと、
を有する画像診断方法。
【0220】
（２１）医用画像に関する情報の処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータを、
前記医用画像の特徴に関わる観測データを推論する観測データ推論部、
前記医用画像の診断に関わる所見データを推論する所見データ推論部、
前記観測データ推論部による観測データの推論の根拠を計算する観測データ根拠計算部、
前記所見データ推論部による所見データの推論の根拠を計算する所見データ根拠計算部、
前記観測データ推論部及び前記所見データ推論部がそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算部及び前記所見データ根拠計算部が計算した根拠に基づいて、前記医用画像の診断レポートを作成するレポート作成部、
として機能させるコンピュータプログラム。
前記医用画像の特徴に関わる観測データを推論する観測データ推論部、
前記医用画像の診断に関わる所見データを推論する所見データ推論部、
前記観測データ推論部による観測データの推論の根拠を計算する観測データ根拠計算部、
前記所見データ推論部による所見データの推論の根拠を計算する所見データ根拠計算部、
前記観測データ推論部及び前記所見データ推論部がそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算部及び前記所見データ根拠計算部が計算した根拠に基づいて、前記医用画像の診断レポートを作成するレポート作成部、
として機能させるコンピュータプログラム。
【0221】
（２２）医用画像を説明変数とし観測データを目的変数とする第１の機械学習モデルを学習する観測データ学習部と、
医用画像を説明変数とし所見データを目的変数とする第２の機械学習モデル学習する所見データ学習部と、
学習済みの前記第１の機械学習モデルを用いて医用画像の特徴に関わる観測データを推論する観測データ推論部と、
学習済みの前記第２の機械学習モデルを用いて医用画像の診断に関わる所見データを推論する所見データ推論部と、
前記観測データ推論部による観測データの推論の根拠を計算する観測データ根拠計算部と、
前記所見データ推論部による所見データの推論の根拠を計算する所見データ根拠計算部と、
前記観測データ推論部及び前記所見データ推論部がそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算部及び前記所見データ根拠計算部が計算した根拠に基づいて、前記医用画像の診断レポートを作成するレポート作成部と、
前記診断レポートを提示する提示部と、
ユーザ入力に基づいて前記診断レポートの採否を判断する判断部と、
を具備する医療診断システム。
医用画像を説明変数とし所見データを目的変数とする第２の機械学習モデル学習する所見データ学習部と、
学習済みの前記第１の機械学習モデルを用いて医用画像の特徴に関わる観測データを推論する観測データ推論部と、
学習済みの前記第２の機械学習モデルを用いて医用画像の診断に関わる所見データを推論する所見データ推論部と、
前記観測データ推論部による観測データの推論の根拠を計算する観測データ根拠計算部と、
前記所見データ推論部による所見データの推論の根拠を計算する所見データ根拠計算部と、
前記観測データ推論部及び前記所見データ推論部がそれぞれ前記推論した観測データ及び所見データと、前記観測データ根拠計算部及び前記所見データ根拠計算部が計算した根拠に基づいて、前記医用画像の診断レポートを作成するレポート作成部と、
前記診断レポートを提示する提示部と、
ユーザ入力に基づいて前記診断レポートの採否を判断する判断部と、
を具備する医療診断システム。
【符号の説明】
【0222】
１００…医療診断システム、１０１…病理画像データＤＢ
１０２…患者情報ＤＢ、１０３…検査値ＤＢ
１０４…診断レポートＤＢ１０５…観測データ抽出部
１０６…所見データ抽出部、１０７…観測データ学習部
１０８…所見データ学習部、１０９…特徴量抽出及び名前付け部
１１０…モデルパラメータ保持部、１１１…観測データ推論部
１１２…所見データ推論部、１１３…観測データ根拠計算部
１１４…所見データ根拠計算部、１１５…欠損値検出部
１１６…レポート作成部、１１７…結果採否判断部
２００…データ調整装置
３１１…影響度評価部、３１２…学習状態判定部
３１３…追加データ生成部、４０１…生成器、４０２…識別器
５０２、５０４、５０６…畳み込み層出力
５０３、５０５…プーリング層出力
５０７、５１７…畳み込み層出力、５０８、５１８…全結合層
５０９、５１９…出力層、５２０…特徴量抽出部
５３０、５４０…画像分類部
２８００…医療診断システム（第１の変形例）
２９００…医療診断システム（第２の変形例）
３１００…情報処理装置、３１０１…ＣＰＵ、３１０２…ＲＡＭ
３１０３…ＲＯＭ、１００４…大容量記憶装置
３１０５…通信インターフェース、３１０６…入出力インターフェース
３１１０…バス、３１５０…外部ネットワーク
３１６０…入出力デバイス
５０００…顕微鏡システム、５１００…顕微鏡装置
５１０１…光照射部、５１０２…光学部、５１０３…信号取得部
５１０４…試料載置部、５１１０…制御部、５１２０…情報処理部
１０２…患者情報ＤＢ、１０３…検査値ＤＢ
１０４…診断レポートＤＢ１０５…観測データ抽出部
１０６…所見データ抽出部、１０７…観測データ学習部
１０８…所見データ学習部、１０９…特徴量抽出及び名前付け部
１１０…モデルパラメータ保持部、１１１…観測データ推論部
１１２…所見データ推論部、１１３…観測データ根拠計算部
１１４…所見データ根拠計算部、１１５…欠損値検出部
１１６…レポート作成部、１１７…結果採否判断部
２００…データ調整装置
３１１…影響度評価部、３１２…学習状態判定部
３１３…追加データ生成部、４０１…生成器、４０２…識別器
５０２、５０４、５０６…畳み込み層出力
５０３、５０５…プーリング層出力
５０７、５１７…畳み込み層出力、５０８、５１８…全結合層
５０９、５１９…出力層、５２０…特徴量抽出部
５３０、５４０…画像分類部
２８００…医療診断システム（第１の変形例）
２９００…医療診断システム（第２の変形例）
３１００…情報処理装置、３１０１…ＣＰＵ、３１０２…ＲＡＭ
３１０３…ＲＯＭ、１００４…大容量記憶装置
３１０５…通信インターフェース、３１０６…入出力インターフェース
３１１０…バス、３１５０…外部ネットワーク
３１６０…入出力デバイス
５０００…顕微鏡システム、５１００…顕微鏡装置
５１０１…光照射部、５１０２…光学部、５１０３…信号取得部
５１０４…試料載置部、５１１０…制御部、５１２０…情報処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
