ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-18
(45)【発行日】2024-11-26
(54)【発明の名称】診断支援プログラム、診断支援システム及び診断支援方法
(51)【国際特許分類】
G16H 50/20 20180101AFI20241119BHJP
【ＦＩ】
G16H50/20
【請求項の数】
19
(21)【出願番号】P 2021501643
(86)(22)【出願日】2019-12-25
(86)【国際出願番号】 JP2019050880
(87)【国際公開番号】W WO2020174863
(87)【国際公開日】2020-09-03
【審査請求日】2022-11-04
(31)【優先権主張番号】P 2019036899
(32)【優先日】2019-02-28
(33)【優先権主張国・地域又は機関】JP
【前置審査】
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】相坂 一樹
(72)【発明者】
【氏名】國弘 威
(72)【発明者】
【氏名】山根 健治
(72)【発明者】
【氏名】渡辺 真司
【審査官】梅岡 信幸
(56)【参考文献】
【文献】特開２０１５－１１６３１９（ＪＰ，Ａ）
【文献】特開２０１２－１５５４５５（ＪＰ，Ａ）
【文献】丸谷 美織，画像閲覧履歴の学習による医用画像の重要度評価とその応用に関する研究，映像情報メディア学会技術報告 Ｖｏｌ．３５ Ｎｏ．９，日本，（社）映像情報メディア学会，2011年02月14日，第41-45頁
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１６Ｈ １０／００－８０／００
(57)【特許請求の範囲】
【請求項1】
第１の患部組織に対応する第１の病理画像と、前記第１の病理画像の特定の領域に対する閲覧時間、閲覧回数および閲覧時の倍率のうち少なくとも１つの閲覧履歴に関する履歴情報とに基づく前記第１の病理画像の注目領域と、前記第１の病理画像に対応する第１の患部組織に対する病変部位の有無、前記病変部位の種類および前記病変部位の進行度のうち少なくとも１つを含む診断情報とに基づいて、前記第１の病理画像を取得したシステムとは異なるシステムで取得された診断対象の第２の患部組織に対応する第２の病理画像の注目領域を示す診断支援情報を導出する導出手順、をコンピュータに実行させる診断支援プログラム。
【請求項2】
前記導出手順は、前記診断支援情報として、閲覧に関する情報を導出する、
請求項１に記載の診断支援プログラム。
【請求項3】
前記第１の病理画像は、前記第１の患部組織の全体を撮像した全体画像であり、前記履歴情報は、前記第１の病理画像が閲覧された位置を示す位置情報である、
請求項１に記載の診断支援プログラム。
【請求項4】
前記履歴情報は、前記第１の病理画像が閲覧された位置を示す位置情報、および前記第１の病理画像が閲覧された時間または回数を示す情報である、請求項３に記載の診断支援プログラム。
【請求項5】
前記第１の病理画像は、前記第１の患部組織の各領域に対応する部分画像により形成される画像であり、前記履歴情報は、前記各領域に対応する部分画像のうち、閲覧された部分画像を示す部分画像情報である、
請求項１に記載の診断支援プログラム。
【請求項6】
前記導出手順は、前記第１の病理画像の注目領域が、前記閲覧時の倍率が大きい領域ほど注目度が高いとし、または、前記閲覧時間が長い領域ほど注目度が高いとし、または、前記閲覧回数が多い領域ほど注目度が高いとする、
請求項１に記載の診断支援プログラム。
【請求項7】
前記第１の病理画像と、前記履歴情報と、前記診断情報との対応を学習する学習手順をさらに前記コンピュータに実行させ、前記導出手順は、
前記学習手順による学習結果を用いて、前記診断支援情報を導出する、
請求項１に記載の診断支援プログラム。
【請求項8】
前記学習手順は、診断結果が陽性を示す前記診断情報と、前記診断情報に対応する前記履歴情報とを対応付けて学習する、
請求項７に記載の診断支援プログラム。
【請求項9】
前記学習手順は、診断結果が陰性を示す前記診断情報と、前記診断情報に対応する前記履歴情報とを対応付けて学習する、
請求項７に記載の診断支援プログラム。
【請求項10】
前記学習手順は、前記第２の病理画像のうち注目領域以外の領域を、診断結果が陰性を示す前記診断情報として学習する、
請求項９に記載の診断支援プログラム。
【請求項11】
前記導出手順は、前記第２の病理画像との類似度が閾値よりも高い前記第１の病理画像、または前記第２の病理画像との相関度が閾値よりも高い前記第１の病理画像に対応する閲覧履歴に関する履歴情報に基づいて、前記診断支援情報を導出する
請求項１に記載の診断支援プログラム。
【請求項12】
それぞれ顕微鏡を有する複数のシステムと、診断を支援する情報である診断支援情報を導出する導出装置、
とを備え、
前記導出装置は、
前記複数のシステムのうち第１のシステムで取得された、第１の患部組織に対応する第１の病理画像と、前記第１の病理画像の特定の領域に対する閲覧時間、閲覧回数および閲覧時の倍率のうち少なくとも１つの閲覧履歴に関する履歴情報とに基づく前記第１の病理画像の注目領域と、前記第１の病理画像に対応する第１の患部組織に対する病変部位の有無、前記病変部位の種類および前記病変部位の進行度のうち少なくとも１つを含む診断情報とに基づいて、前記複数のシステムのうち前記第１のシステムとは異なる第２のシステムが有する前記顕微鏡によって撮像された診断対象の第２の患部組織に対応する第２の病理画像の注目領域を示す診断支援情報を導出する、
診断支援システム。
【請求項13】
前記診断支援システムは、さらに表示制御装置を備え、前記表示制御装置は、
前記診断支援情報に基づいて、診断に影響があると推測される領域である注目領域を視認可能な状態で前記第２の病理画像に重畳して表示するよう制御する、
請求項１２に記載の診断支援システム。
【請求項14】
前記表示制御装置は、前記診断支援情報に基づいて、前記診断への影響度、または前記診断支援情報の信頼度に応じて、前記注目領域の表示態様を変える、
請求項１３に記載の診断支援システム。
【請求項15】
前記表示制御装置は、前記注目領域に対応する前記第２の患部組織の一部画像を表示するよう制御する、
請求項１３に記載の診断支援システム。
【請求項16】
前記診断支援情報は、前記第１の患部組織に対する診断結果と予測される診断予測結果である、請求項１２に記載の診断支援システム。
【請求項17】
前記診断予測結果とは、病変部位の有無、前記病変部位の種類、前記病変部位の進行度、または前記病変部位である確率である、請求項１６に記載の診断支援システム。
【請求項18】
コンピュータが、第１の患部組織に対応する第１の病理画像と、前記第１の病理画像の特定の領域に対する閲覧時間、閲覧回数および閲覧時の倍率のうち少なくとも１つの閲覧履歴に関する履歴情報とに基づく前記第１の病理画像の注目領域と、前記第１の病理画像に対応する第１の患部組織に対する病変部位の有無、前記病変部位の種類および前記病変部位の進行度のうち少なくとも１つを含む診断情報とに基づいて、前記第１の病理画像を取得したシステムとは異なるシステムで取得された診断対象の第２の患部組織に対応する第２の病理画像の注目領域を示す診断支援情報を導出する
診断支援方法。
【請求項19】
それぞれ顕微鏡を有する複数のシステムと、前記顕微鏡により撮像される対象物に対応する病理画像の処理に使われるソフトウェアとを含んで構成される診断支援システムであって、前記ソフトウェアは、
前記複数のシステムのうち第１のシステムで取得された、第１の患部組織に対応する第１の病理画像と、前記第１の病理画像の特定の領域に対する閲覧時間、閲覧回数および閲覧時の倍率のうち少なくとも１つの閲覧履歴に関する履歴情報とに基づく前記第１の病理画像の注目領域と、前記第１の病理画像に対応する第１の患部組織に対する病変部位の有無、前記病変部位の種類および前記病変部位の進行度のうち少なくとも１つを含む診断情報とに基づいて、前記複数のシステムのうち前記第１のシステムとは異なる第２のシステムが有する前記顕微鏡によって撮像された診断対象の第２の患部組織に対応する第２の病理画像の注目領域を示す診断支援情報を導出する処理を情報処理装置に実行させる、
診断支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、診断支援プログラム、診断支援システム及び診断支援方法に関する。
【背景技術】
【0002】
近年、病理画像等である医療画像に対して、病変部が存在する可能性のある領域等を注目すべき領域としてマーク（以下、アノテーションと表記する）を付す技術が開発されている。例えば、以下の非特許文献１には、アノテーションが付与されたＨＥ（hematoxylin and eosin。一般組織染色）画像データを学習することにより、注目領域を表示する技術が開示されている。この技術によれば、診断の精度を向上させることができるとも考えられる。
【先行技術文献】
【非特許文献】
【0003】
【文献】"Annotation of Whole Slide Images Using Touchscreen Technology"; Jessical L. Baumann, Kari Garsha, Mike S. Flores, Faith Ough, Ehab A. ElGabry; Roche
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術では、診断精度の向上を実現するために膨大な工数を要することになる。具体的には、病理画像にアノテーションを付す作業は、例えば人手によって行われるため、多くの時間と作業者を要する。すなわち、上記の従来技術では、診断精度の向上を容易に実現することが困難である。
【0005】
そこで、本開示は、上記に鑑みてなされたものであり、診断の精度を向上させることができる診断支援プログラム、診断支援システム及び診断支援方法を提案する。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本開示に係る一形態の診断支援プログラムは、第１の患部組織に対応する第１の病理画像と、前記第１の病理画像の特定の領域に対する閲覧時間、閲覧回数および閲覧時の倍率のうち少なくとも１つの閲覧履歴に関する履歴情報とに基づく前記第１の病理画像の注目領域と、前記第１の病理画像に対応する第１の患部組織に対する病変部位の有無、前記病変部位の種類および前記病変部位の進行度のうち少なくとも１つを含む診断情報とに基づいて、前記第１の病理画像を取得したシステムとは異なるシステムで取得された診断対象の第２の患部組織に対応する第２の病理画像の注目領域を示す診断支援情報を導出する導出手順、をコンピュータに実行させる。
【図面の簡単な説明】
【0007】
【図1】第１の実施形態に係る診断支援システム１を示す図である。
【図2】第１の実施形態に係る撮像処理を説明するための図である。
【図3】第１の実施形態に係る撮像処理を説明するための図である。
【図4】部分画像（タイル画像）の生成処理を説明するための図である。
【図5】第１の実施形態に係る病理画像を説明するための図である。
【図6】第１の実施形態に係る病理画像を説明するための図である。
【図7】病理画像の閲覧者による閲覧態様の一例を示す図である。
【図8】サーバが有する閲覧履歴記憶部の一例を示す図である。
【図9A】医療情報システムが有する診断情報記憶部を示す図である。
【図9B】医療情報システムが有する診断情報記憶部を示す図である。
【図9C】医療情報システムが有する診断情報記憶部を示す図である。
【図10】第１の実施形態に係る導出装置及び表示制御装置の一例を示す図である。
【図11】第１の実施形態に係る表示制御装置による病理画像の表示例を示す図である。
【図12】第１の実施形態に係る学習処理手順を示すフローチャートである。
【図13】第１の実施形態に係る導出処理手順を示すフローチャートである。
【図14】変形例に係る病理画像の表示例を示す図である。
【図15】変形例に係る病理画像の表示例を示す図である。
【図16】変形例に係る病理画像の表示例を示す図である。
【図17】変形例に係る病理画像の表示例を示す図である。
【図18】変形例に係る病理画像の表示例を示す図である。
【図19】変形例に係る病理画像の表示例を示す図である。
【図20】変形例に係る病理画像の表示例を示す図である。
【図21】変形例に係る病理画像の表示例を示す図である。
【図22】変形例に係る病理画像の表示例を示す図である。
【図23】第２の実施形態に係る導出装置及び表示制御装置の一例を示す図である。
【図24】導出装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0008】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0009】
以下に示す項目順序に従って本開示を説明する。
＜第１の実施形態＞
１．第１の実施形態に係るシステムの構成
２．各種情報について
２－１．病理画像
２－２．閲覧履歴情報
２－３．診断情報
３．装置構成
３－１．第１の実施形態に係る導出装置
３－２．第１の実施形態に係る表示制御装置
４．処理手順
４－１．第１の実施形態に係る学習処理手順
４－２．第１の実施形態に係る導出処理手順
５．変形例１
５－１．表示例（１）～５－１０．表示例（１０）
５－１１．撮像条件の異なる病理画像
５－１２．診断予測結果
６．変形例２
６－１．学習処理（１）～６－８．学習処理（８）
＜第２の実施形態＞
＜その他の実施形態＞
＜第１の実施形態＞
１．第１の実施形態に係るシステムの構成
２．各種情報について
２－１．病理画像
２－２．閲覧履歴情報
２－３．診断情報
３．装置構成
３－１．第１の実施形態に係る導出装置
３－２．第１の実施形態に係る表示制御装置
４．処理手順
４－１．第１の実施形態に係る学習処理手順
４－２．第１の実施形態に係る導出処理手順
５．変形例１
５－１．表示例（１）～５－１０．表示例（１０）
５－１１．撮像条件の異なる病理画像
５－１２．診断予測結果
６．変形例２
６－１．学習処理（１）～６－８．学習処理（８）
＜第２の実施形態＞
＜その他の実施形態＞
【0010】
（第１の実施形態）
［１．第１の実施形態に係るシステムの構成］
まず、図１を用いて、第１の実施形態に係る診断支援システム１について説明する。図１は、第１の実施形態に係る診断支援システム１を示す図である。図１に示すように、診断支援システム１は、病理システム１０と、病理システム２０と、医療情報システム３０と、導出装置１００とを含む。
［１．第１の実施形態に係るシステムの構成］
まず、図１を用いて、第１の実施形態に係る診断支援システム１について説明する。図１は、第１の実施形態に係る診断支援システム１を示す図である。図１に示すように、診断支援システム１は、病理システム１０と、病理システム２０と、医療情報システム３０と、導出装置１００とを含む。
【0011】
病理システム１０は、主に病理医が使用するシステムであり、例えば研究所や病院に適用される。図１に示すように、病理システム１０は、顕微鏡１１と、サーバ１２と、表示制御装置１３と、表示装置１４とを含む。
【0012】
顕微鏡１１は、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物を撮像し、デジタル画像である病理画像（医療画像の一例）を取得する撮像装置である。なお、観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等である。
【0013】
サーバ１２は、顕微鏡１１によって撮像された病理画像を図示しない記憶部に記憶、保存する装置である。サーバ１２は、表示制御装置１３から閲覧要求を受け付けた場合に、図示しない記憶部から病理画像を検索し、検索した病理画像を表示制御装置１３に送る。
【0014】
表示制御装置１３は、ユーザから受け付けた病理画像の閲覧要求をサーバ１２に送る。そして、表示制御装置１３は、サーバ１２から受け付けた病理画像を表示するよう表示装置１４を制御する。
【0015】
表示装置１４は、例えば、液晶、ＥＬ（Electro‐Luminescence）、ＣＲＴ（Cathode Ray Tube）などが用いられた画面を有する。表示装置１４は４Ｋや８Ｋに対応していてもよいし、複数の表示装置により形成されてもよい。表示装置１４は、表示制御装置１３によって表示するよう制御された病理画像を表示する。なお、詳細は後述するが、サーバ１２は、表示装置１４を介して病理医に観察された病理画像の領域に関する閲覧履歴情報を記憶する。
【0016】
病理システム２０は、病理システム１０と異なる病院に適用されるシステムである。病理システム２０は、顕微鏡２１と、サーバ２２と、表示制御装置２３と、表示装置２４とを含む。病理診断システム２０に含まれる各部は病理システム１０と同様であるため説明を省略する。
【0017】
医療情報システム３０は、患者の診断に関する情報を記憶するシステムである。例えば、所定の病院で内視鏡検査などにて、その画像のみからは病状の診断が困難な場合に、生検を行って病理診断による確定診断を行うことがある。患者から採取された組織から作られた組織標本は、病理システム１０の顕微鏡１１にて撮像され、撮像されることで得られる病理画像はサーバ１２に保存される。表示制御装置１３によって表示装置１４に病理画像が表示され、病理システム１０を利用する病理医によって病理診断が行われる。医師は、病理診断結果に基づき確定診断を行い、その確定診断結果は医療情報システム３０に記憶される。医療情報システム３０は、患者を識別する情報、患者の疾患情報、診断に用いた検査情報や画像情報、診断結果、処方薬などの診断に関する情報を記憶する。なお、医療情報システム３０は、電子カルテシステム等と呼ばれる。
【0018】
ところで、病理診断の精度は病理医によってばらつきがある。具体的には、病理医の経験年数や専門性などによって、病理画像による診断結果は病理医によって異なることがある。このようなことから、近年では、病理診断を支援することを目的として、機械学習を用いて診断を支援する情報である診断支援情報を導出する技術が開発されている。具体的には、病理画像のうち注目すべき領域にアノテーションが付した複数の病理画像を用意し、かかる複数の病理画像を解析することで、新たな病理画像における注目すべき領域を推定する技術が提案されている。これにより、病理画像における注目すべき領域を病理医に提供することができるため、病理医による診断を支援することができる。
【0019】
しかしながら、病理医が病理診断を行う際には、病理画像を観察するのみであり、病変部などの診断に影響がある領域にアノテーションを付すことはほぼない。このため、上述した機械学習を用いて診断支援情報を導出する技術では、病理画像にアノテーションを付与する作業を行うことにより大量の学習データを用意することとなるが、このアノテーションを付与する作業に多くの時間と作業者を要する。仮に十分な量の学習データを用意することができなければ、機械学習の精度が下がり、診断支援情報（すなわち、病理画像における注目すべき領域）を高精度に導出することが困難となる。また、詳細なアノテーションデータを必要としない弱教師学習という枠組みもあるが、詳細なアノテーションデータを使った機械学習と比較すると精度が劣るという問題がある。
【0020】
そこで、第１の実施形態に係る診断支援システム１の導出装置１００は、病理診断時に病理医が閲覧した病理画像の領域に関する閲覧履歴情報を用いて、診断支援情報を導出する。具体的には、導出装置１００は、第１の患部組織に対応する第１の病理画像と、第１の病理画像に対する病理医による閲覧に関する閲覧履歴情報と、患部組織に対する診断情報とに基づいて、第１の患部組織とは異なる第２の患部組織に対応する第２の病理画像の診断を支援する閲覧に関する診断支援情報を導出する。詳細は後述するが、概念的に説明すると、導出装置１００は、診断結果が陽性である第１の病理画像において病理医に注目された領域を診断支援情報として導出する。
【0021】
図１の例を用いて、導出装置１００による処理の一例を説明する。図１の例では、病理システム１０のサーバ１２には、病理医による診断に関する情報が日々蓄積されるものとする。すなわち、サーバ１２には、第１の患部組織に対応する病理画像である第１の病理画像と、第１の病理画像に対する病理医の閲覧履歴に関する閲覧履歴情報とが保存される。また、図１の例では、導出装置１００は、病理システム２０に対して診断支援情報を提供するものとする。
【0022】
まず、導出装置１００は、病理システム１０のサーバ１２から、日々蓄積されている第１の病理画像と、第１の病理画像に対する閲覧履歴情報とを取得する。また、導出装置１００は、第１の病理画像に対応する診断結果に関する診断情報を医療情報システム３０から取得する。導出装置１００は、第１の病理画像と、閲覧履歴情報と、診断情報とを対応付けて学習することで、第１の患部組織とは異なる第２の患部組織に対応する第２の病理画像から注目領域を推定するための学習モデルを生成する。詳細は後述するが、例えば、導出装置１００は、診断結果が陽性であった第１の病理画像のうち、病理医が拡大して表示した領域や、病理医が長時間かけて閲覧した領域や、病理医が何度も繰り返し閲覧した領域と類似する第２の病理画像の領域を注目領域として推定するための学習モデルを生成する。
【0023】
そして、病理システム２０において、顕微鏡２１により第２の患部組織に対応する第２の病理画像が生成されたものとする。このとき、表示制御装置２３は、医師や病理医等のユーザから第２の病理画像の表示要求を受けると、第２の病理画像を導出装置１００に送る。導出装置１００は、学習モデルを用いて、第２の病理画像から第２の病理画像の注目領域を示す診断支援情報を導出し、導出した診断支援情報を表示制御装置２３に出力する。表示制御装置２３は、第２の病理画像とともに、診断支援情報に基づく注目領域を表示装置２４に表示するよう制御する。
【0024】
このように、導出装置１００は、病理医が病理診断時に必ず行う行動である病理画像の閲覧に関する閲覧履歴情報に基づいて、注目領域に関する情報を診断支援情報として導出する。すなわち、導出装置１００は、日々蓄積される病理医の閲覧履歴情報を用いるので、多くの時間と作業者を要することなく、注目領域を推定することができる。そして、導出装置１００は、注目領域が表示装置２４に表示されることで、病理医による診断の精度を向上させることができる。例えば、病理医によって診断にばらつきがある場合もあるが、病理画像に注目領域が表示されることで、どの病理医でも注目すべき領域を丁寧に観察して診断することができるので、診断のばらつきを低減することができる。
【0025】
また、導出装置１００は、診断情報を用いて学習を行うので、診断結果が陽性であった場合に注目された領域を診断支援情報として導出することができる。このため、導出装置１００は、診断に影響がある領域を提供することができるので、診断の精度を向上させることができる。
【0026】
また、上記では、病理画像にアノテーションを付与する作業に多くの時間と作業者を要すると説明した。しかし、作業者が、導出装置１００によって導出される診断支援情報を参照して、アノテーションを付与する作業を行ってもよい。これにより、アノテーション付きの病理画像を効率的に生成することができるので、大量の学習データに基づいて機械学習を行うことが可能となる。
【0027】
なお、上記では、病理システム１０のサーバ１２に保存された病理画像を学習データとして学習モデルを生成する例を示したが、導出装置１００は、病理システム２０のサーバ２２に保存された病理画像を学習データとして学習モデルを生成してもよいし、サーバ１２に保存された病理画像と、サーバ２２に保存された病理画像との双方を学習データとして学習モデルを生成してもよい。すなわち、導出装置１００は、過去に閲覧されたことがある病理画像であれば学習データとして用いることができる。また、上記では、導出装置１００が表示制御装置２３に診断支援情報を提供する例を示したが、導出装置１００は、表示制御装置１３に診断支援情報を提供してもよい。
【0028】
また、上記例では、病理システム１０と病理システム２０とを分けて説明したが、病理システム１０と病理システム２０とは同一のシステムであってもよい。より具体的には、診断支援システム１には、病理システム１０のみが含まれていてもよい。この場合、導出装置１００は、サーバ１２に保存されている第１の病理画像から学習モデルを生成し、表示制御装置１３からの要求に応じて診断支援情報を表示制御装置１３へ提供する。また、診断支援システム１に含まれる病理システムは３個以上であってもよい。この場合、導出装置１００は、それぞれの病理システムに蓄積される病理画像を収集して学習モデルを生成してもよい。また、上記例において、医療情報システム３０は、病理システム１０又は２０と同一のシステムであってもよい。すなわち、診断情報は、サーバ１２又は２２に保存されてもよい。
【0029】
ここまで診断支援システム１について簡単に説明した。以下では、各装置の構成及び処理を詳細に説明するが、これらの説明の前提となる各種情報（病理画像のデータ構造、病理画像の閲覧履歴情報、診断情報）を最初に説明する。なお、以下では、導出装置１００が、病理システム１０に蓄積される学習データを用いて学習を行い、病理システム２０に診断支援情報を提供する例を示す。
【0030】
［２．各種情報について］
［２－１．病理画像］
上記の通り、病理画像は、顕微鏡１１や顕微鏡２１によって観察対象物が撮像されることで生成される。まず、図２及び図３を用いて、顕微鏡１１や顕微鏡２１による撮像処理を説明する。図２及び図３は、第１の実施形態に係る撮像処理を説明するための図である。顕微鏡１１と顕微鏡２１とは同様の撮像処理を行うため、ここでは顕微鏡１１を例に挙げて説明する。以下に説明する顕微鏡１１は、低解像度で撮像するための低解像度撮像部と、高解像度で撮像するための高解像度撮像部とを有する。
［２－１．病理画像］
上記の通り、病理画像は、顕微鏡１１や顕微鏡２１によって観察対象物が撮像されることで生成される。まず、図２及び図３を用いて、顕微鏡１１や顕微鏡２１による撮像処理を説明する。図２及び図３は、第１の実施形態に係る撮像処理を説明するための図である。顕微鏡１１と顕微鏡２１とは同様の撮像処理を行うため、ここでは顕微鏡１１を例に挙げて説明する。以下に説明する顕微鏡１１は、低解像度で撮像するための低解像度撮像部と、高解像度で撮像するための高解像度撮像部とを有する。
【0031】
図２には、顕微鏡１１の撮影可能な領域である撮像領域Ｒ１０に、観察対象物Ａ１０が収められたガラススライドＧ１０が含まれる。ガラススライドＧ１０は、例えば図示しないステージに置かれる。顕微鏡１１は、低解像度撮像部により撮像領域Ｒ１０を撮像することで観察対象物Ａ１０が全体的に撮像された病理画像である全体画像を生成する。図２に示すラベル情報Ｌ１０は、観察対象物Ａ１０を識別するための識別情報（例えば、文字列やＱＲコード（登録商標））が記載される。ラベル情報Ｌ１０に記載される識別情報と患者を対応付けておくことで、全体画像に対応する患者を特定することが可能になる。図２の例では、識別情報として「＃００１」が記載されている。なお、ラベル情報Ｌ１０には、例えば、観察対象物Ａ１０の簡単な説明が記載されてもよい。
【0032】
続いて、顕微鏡１１は、全体画像を生成した後に、全体画像から観察対象物Ａ１０が存在する領域を特定し、観察対象物Ａ１０が存在する領域を所定サイズ毎に分割した各分割領域を高解像度撮像部により順次撮像する。例えば、図３に示すように、顕微鏡１１は、最初に領域Ｒ１１を撮像し、観察対象物Ａ１０の一部領域を示す画像である高解像度画像Ｉ１１を生成する。続いて、顕微鏡１１は、ステージを移動させることで、領域Ｒ１２を高解像度撮像部により撮像し、領域Ｒ１２に対応する高解像度画像Ｉ１２を生成する。同様にして、顕微鏡１１は、領域Ｒ１３、Ｒ１４、・・・に対応する高解像度画像Ｉ１３、Ｉ１４、・・・を生成する。図３では領域Ｒ１８までしか図示していないが、顕微鏡１１は、ステージを順次移動させることで、観察対象物Ａ１０に対応する全ての分割領域を高解像度撮像部により撮像し、各分割領域に対応する高解像度画像を生成する。
【0033】
ところで、ステージを移動させる際にガラススライドＧ１０がステージ上で移動することがある。ガラススライドＧ１０が移動すると、観察対象物Ａ１０のうち未撮影の領域が発生するおそれがある。顕微鏡１１は、図３に示すように、隣り合う分割領域が一部重なるように、高解像度撮像部により撮像することで、ガラススライドＧ１０が移動した場合であっても、未撮影領域の発生を防止することができる。
【0034】
なお、上述した低解像度撮像部と高解像度撮像部とは、異なる光学系であってもよいし、同一の光学系であってもよい。同一の光学系である場合には、顕微鏡１１は、撮像対象に応じて解像度を変更する。また、上記では、ステージを移動させることで撮像領域を変更する例を示したが、顕微鏡１１が光学系（高解像度撮像部など）を移動させることで撮像領域を変更してもよい。また、図３では、顕微鏡１１が観察対象物Ａ１０の中央部から撮像する例を示した。しかし、顕微鏡１１は、図３に示した撮像順とは異なる順序で観察対象物Ａ１０を撮像してもよい。例えば、顕微鏡１１は、観察対象物Ａ１０の外周部から撮像してもよい。また、上記では、観察対象物Ａ１０が存在する領域のみを高解像度撮像部で撮像する例を示した。しかし、観察対象物Ａ１０が存在する領域を正確に検出できない場合もあるので、顕微鏡１１は、図２に示した撮像領域Ｒ１０又はガラススライドＧ１０の全領域を分割して高解像度撮像部で撮像してもよい。
【0035】
続いて、顕微鏡１１によって生成された各々の高解像度画像は、所定のサイズに分割される。これにより、高解像度画像から部分画像（以下、タイル画像と表記する）が生成される。この点について、図４を用いて説明する。図４は、部分画像（タイル画像）の生成処理を説明するための図である。図４には、図３に示した領域Ｒ１１に対応する高解像度画像Ｉ１１を示す。なお、以下では、サーバ１２によって、高解像度画像から部分画像が生成されるものとして説明する。しかし、サーバ１２以外の装置（例えば、顕微鏡１１内部に搭載される情報処理装置など）によって部分画像が生成されてもよい。
【0036】
図４に示す例では、サーバ１２は、１つの高解像度画像Ｉ１１を分割することで、１００個のタイル画像Ｔ１１、Ｔ１２、・・・を生成する。例えば、高解像度画像Ｉ１１の解像度が２５６０×２５６０［pixel：ピクセル］である場合、サーバ１２は、高解像度画像Ｉ１１から、解像度が２５６×２５６［pixel：ピクセル］である１００個のタイル画像Ｔ１１、Ｔ１２、・・・を生成する。同様にして、サーバ１２は、他の高解像度画像も同様のサイズに分割することでタイル画像を生成する。
【0037】
なお、図４の例において、領域Ｒ１１１、Ｒ１１２、Ｒ１１３、Ｒ１１４は、隣り合う他の高解像度画像（図４には図示しない）と重複する領域である。サーバ１２は、重複する領域をテンプレートマッチング等の技法により位置合わせを行うことで、互いに隣り合う高解像度画像にスティッチング処理を施す。この場合、サーバ１２は、スティッチング処理後に高解像度画像を分割することでタイル画像を生成してもよい。または、サーバ１２は、スティッチング処理前に、領域Ｒ１１１、Ｒ１１２、Ｒ１１３及びＲ１１４以外の領域のタイル画像を生成し、スティッチング処理後に、領域Ｒ１１１、Ｒ１１２、Ｒ１１３及びＲ１１４のタイル画像を生成してもよい。
【0038】
このようにして、サーバ１２は、観察対象物Ａ１０の撮像画像の最小単位となるタイル画像を生成する。そして、サーバ１２は、最小単位のタイル画像を順次合成することで、階層の異なるタイル画像を生成する。具体的には、サーバ１２は、隣り合う所定数のタイル画像を合成することで、１つのタイル画像を生成する。この点について、図５及び図６を用いて説明する。図５及び図６は、第１の実施形態に係る病理画像を説明するための図である。
【0039】
図５の上段には、サーバ１２によって各高解像度画像から生成された最小単位のタイル画像群を示す。図５の上段の例において、サーバ１２は、タイル画像のうち、互いに隣り合う４つのタイル画像Ｔ１１１、Ｔ１１２、Ｔ２１１、Ｔ２１２を合成することで、１つのタイル画像Ｔ１１０を生成する。例えば、タイル画像Ｔ１１１、Ｔ１１２、Ｔ２１１、Ｔ２１２の解像度がそれぞれ２５６×２５６である場合、サーバ１２は、解像度が２５６×２５６であるタイル画像Ｔ１１０を生成する。同様にして、サーバ１２は、互いに隣り合う４つのタイル画像Ｔ１１３、Ｔ１１４、Ｔ２１３、Ｔ２１４を合成することで、タイル画像Ｔ１２０を生成する。このようにして、サーバ１２は、最小単位のタイル画像を所定数ずつ合成したタイル画像を生成する。
【0040】
また、サーバ１２は、最小単位のタイル画像を合成した後のタイル画像のうち、互いに隣り合うタイル画像を更に合成したタイル画像を生成する。図５の例において、サーバ１２は、互いに隣り合う４つのタイル画像Ｔ１１０、Ｔ１２０、Ｔ２１０、Ｔ２２０を合成することで、１つのタイル画像Ｔ１００を生成する。例えば、タイル画像Ｔ１１０、Ｔ１２０、Ｔ２１０、Ｔ２２０の解像度が２５６×２５６である場合、サーバ１２は、解像度が２５６×２５６であるタイル画像Ｔ１００を生成する。例えば、サーバ１２は、互いに隣り合う４つのタイル画像を合成した解像度５１２×５１２の画像から、４画素平均や、重み付けフィルタ（近い画素を遠い画素よりも強く反映する処理）や、１／２間引き処理等を施すことにより、解像度が２５６×２５６であるタイル画像を生成する。
【0041】
サーバ１２は、このような合成処理を繰り返すことで、最終的には、最小単位のタイル画像の解像度と同様の解像度を有する１つのタイル画像を生成する。例えば、上記例のように、最小単位のタイル画像の解像度が２５６×２５６である場合、サーバ１２は、上述した合成処理を繰り返すことにより、最終的に解像度が２５６×２５６である１つのタイル画像Ｔ１を生成する。
【0042】
図６に、図５に示したタイル画像を模式的に示す。図６に示した例では、最下層のタイル画像群は、サーバ１２によって生成された最小単位のタイル画像である。また、下から２階層目のタイル画像群は、最下層のタイル画像群が合成された後のタイル画像である。そして、最上層のタイル画像Ｔ１は、最終的に生成される１つのタイル画像であることを示す。このようにして、サーバ１２は、病理画像として、図６に示すピラミッド構造のような階層を有するタイル画像群を生成する。
【0043】
なお、図５に示す領域Ｄは、表示装置１４又は２４等のディスプレイ画面に表示される領域の一例を示す。例えば、表示装置が表示可能な解像度が、縦３個分のタイル画像であり、横４個分のタイル画像であるものとする。この場合、図５に示す領域Ｄのように、表示対象のタイル画像が属する階層によって、表示装置に表示される観察対象物Ａ１０の詳細度が変わる。例えば、最下層のタイル画像が用いられる場合には、観察対象物Ａ１０の狭い領域が詳細に表示される。また、上層のタイル画像が用いられるほど観察対象物Ａ１０の広い領域が粗く表示される。
【0044】
サーバ１２は、図６に示したような各階層のタイル画像を図示しない記憶部に記憶する。例えば、サーバ１２は、各タイル画像を一意に識別可能なタイル識別情報（部分画像情報の一例）とともに、各タイル画像を記憶する。この場合、サーバ１２は、他の装置（例えば、表示制御装置１３や導出装置１００）からタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、タイル識別情報に対応するタイル画像を他の装置へ送信する。また、例えば、サーバ１２は、各階層を識別する階層識別情報と、同一階層内で一意に識別可能なタイル識別情報とともに、各タイル画像を記憶してもよい。この場合、サーバ１２は、他の装置から階層識別情報とタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、階層識別情報に対応する階層に属するタイル画像のうち、タイル識別情報に対応するタイル画像を他の装置へ送信する。
【0045】
なお、サーバ１２は、図６に示したような各階層のタイル画像をサーバ１２以外の他の記憶装置に記憶してもよい。例えば、サーバ１２は、クラウドサーバ等に各階層のタイル画像を記憶してもよい。また、図５及び図６に示したタイル画像の生成処理はクラウドサーバ等で実行されてもよい。
【0046】
また、サーバ１２は、全ての階層のタイル画像を記憶しなくてもよい。例えば、サーバ１２は、最下層のタイル画像のみを記憶してもよいし、最下層のタイル画像と最上層のタイル画像のみを記憶してもよいし、所定の階層（例えば、奇数番目の階層、偶数番目の階層など）のタイル画像のみを記憶してもよい。このとき、サーバ１２は、記憶していない階層のタイル画像を他の装置から要求された場合には、記憶しているタイル画像を動的に合成することで、他の装置から要求されたタイル画像を生成する。このように、サーバ１２は、保存対象のタイル画像を間引くことで、記憶容量の圧迫を防止することができる。
【0047】
また、上記例では撮像条件について言及しなかったが、サーバ１２は、撮像条件毎に、図６に示したような各階層のタイル画像を記憶してもよい。撮像条件の例としては、被写体（観察対象物Ａ１０など）に対する焦点距離が挙げれられる。例えば、顕微鏡１１は、同一の被写体に対して焦点距離を変更しながら撮像してもよい。この場合、サーバ１２は、焦点距離毎に、図６に示したような各階層のタイル画像を記憶してもよい。なお、焦点距離を変更する理由は、観察対象物Ａ１０によっては半透明であるため、観察対象物Ａ１０の表面を撮像するために適した焦点距離や、観察対象物Ａ１０の内部を撮像するために適した焦点距離があるからである。言い換えれば、顕微鏡１１は、焦点距離を変更することで、観察対象物Ａ１０の表面を撮像した病理画像や、観察対象物Ａ１０の内部を撮像した病理画像を生成することができる。
【0048】
また、撮像条件の他の例として、観察対象物Ａ１０に対する染色条件が挙げられる。具体的に説明すると、病理診断では、観察対象物Ａ１０のうち特定の部分（例えば、細胞の核など）に発光物を染色する場合がある。発光物とは、例えば、特定の波長の光が照射されると発光する物質である。そして、同一の観察対象物Ａ１０に対して異なる発光物が染色される場合がある。この場合、サーバ１２は、染色された発光物毎に、図６に示したような各階層のタイル画像を記憶してもよい。
【0049】
また、上述したタイル画像の数や解像度は一例であってシステムによって適宜変更可能である。例えば、サーバ１２が合成するタイル画像の数は４つの限られない。例えば、サーバ１２は、３×３＝９個のタイル画像を合成する処理を繰り返してもよい。また、上記例ではタイル画像の解像度が２５６×２５６である例を示したが、タイル画像の解像度は２５６×２５６以外であってもよい。
【0050】
表示制御装置１３は、上述した階層構造のタイル画像群に対応可能なシステムを採用するソフトウェアを用い、ユーザの表示制御装置１３を介した入力操作に応じて、階層構造のタイル画像群から所望のタイル画像を抽出し、これを表示装置１４に出力する。具体的には、表示装置１４は、ユーザにより選択された任意の解像度の画像のうちの、ユーザにより選択された任意の部位の画像を表示する。このような処理により、ユーザは、観察倍率を変えながら観察対象物を観察しているような感覚を得ることができる。すなわち、表示制御装置１３は仮想顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。
【0051】
［２－２．閲覧履歴情報］
次に、図７を用いて、サーバ１２又は２２に保存される病理画像の閲覧履歴情報について説明する。図７は、病理画像の閲覧者による閲覧態様の一例を示す図である。図７に示した例では、病理医等の閲覧者が、病理画像Ｉ１０のうち、領域Ｄ１、Ｄ２、Ｄ３、・・・、Ｄ７の順に閲覧したものとする。この場合、表示制御装置１３は、閲覧者による閲覧操作に従って、最初に領域Ｄ１に対応する病理画像をサーバ１２から取得する。サーバ１２は、表示制御装置１３からの要求に応じて、領域Ｄ１に対応する病理画像を形成する１以上のタイル画像を記憶部から取得し、取得した１以上のタイル画像を表示制御装置１３へ送信する。そして、表示制御装置１３は、サーバ１２から取得した１以上のタイル画像から形成される病理画像を表示装置１４に表示する。例えば、表示制御装置１３は、タイル画像が複数である場合には、複数のタイル画像を並べて表示する。同様にして、表示制御装置１３は、閲覧者によって表示領域の変更操作が行われるたびに、表示対象の領域（領域Ｄ２、Ｄ３、・・・、Ｄ７など）に対応する病理画像をサーバ１２から取得し、表示装置１４に表示する。
次に、図７を用いて、サーバ１２又は２２に保存される病理画像の閲覧履歴情報について説明する。図７は、病理画像の閲覧者による閲覧態様の一例を示す図である。図７に示した例では、病理医等の閲覧者が、病理画像Ｉ１０のうち、領域Ｄ１、Ｄ２、Ｄ３、・・・、Ｄ７の順に閲覧したものとする。この場合、表示制御装置１３は、閲覧者による閲覧操作に従って、最初に領域Ｄ１に対応する病理画像をサーバ１２から取得する。サーバ１２は、表示制御装置１３からの要求に応じて、領域Ｄ１に対応する病理画像を形成する１以上のタイル画像を記憶部から取得し、取得した１以上のタイル画像を表示制御装置１３へ送信する。そして、表示制御装置１３は、サーバ１２から取得した１以上のタイル画像から形成される病理画像を表示装置１４に表示する。例えば、表示制御装置１３は、タイル画像が複数である場合には、複数のタイル画像を並べて表示する。同様にして、表示制御装置１３は、閲覧者によって表示領域の変更操作が行われるたびに、表示対象の領域（領域Ｄ２、Ｄ３、・・・、Ｄ７など）に対応する病理画像をサーバ１２から取得し、表示装置１４に表示する。
【0052】
図７の例では、閲覧者は、最初に比較的広い領域Ｄ１を閲覧し、領域Ｄ１内に注意深く観察する領域がなかったため、閲覧領域を領域Ｄ２に移動させている。そして、閲覧者は、領域Ｄ２内に注意深く観察したい領域があったため、領域Ｄ２の一部領域を拡大して領域Ｄ３を閲覧している。そして、閲覧者は、さらに領域Ｄ２の一部領域である領域Ｄ４へ移動させている。そして、閲覧者は、領域Ｄ４内にさらに注意深く観察したい領域があったため、領域Ｄ４の一部領域を拡大して領域Ｄ５を閲覧している。このようにして、閲覧者は、領域Ｄ６、Ｄ７についても閲覧している。例えば、領域Ｄ１、Ｄ２、Ｄ７に対応する病理画像が１．２５倍率の表示画像であり、領域Ｄ３、Ｄ４に対応する病理画像が２０倍率の表示画像であり、領域Ｄ５、Ｄ６に対応する病理画像が４０倍率の表示画像である。表示制御装置１３は、サーバ１２に記憶されている階層構造のタイル画像群のうち、各倍率に対応する階層のタイル画像を取得して表示することになる。例えば、領域Ｄ１及びＤ２に対応するタイル画像の階層は、領域Ｄ３に対応するタイル画像の階層よりも上（すわなち、図６に示したタイル画像Ｔ１に近い階層）になる。
【0053】
上記のように病理画像が閲覧されている間、表示制御装置１３は、所定のサンプリング周期で閲覧情報を取得する。具体的には、表示制御装置１３は、所定のタイミング毎に、閲覧された病理画像の中心座標と表示倍率を取得し、取得した閲覧情報をサーバ１２の記憶部に格納する。
【0054】
この点について、図８を用いて説明する。図８は、サーバ１２が有する閲覧履歴記憶部１２ａの一例を示す図である。図８に示すように、閲覧履歴記憶部１２ａは、「サンプリング」、「中心座標」、「倍率」、「時間」といった情報を記憶する。「サンプリング」は、閲覧情報を記憶するタイミングの順番を示す。「中心座標」は、閲覧された病理画像の位置情報を示す。ここの例では、中心座標は、閲覧された病理画像の中心位置が示す座標であって、最下層のタイル画像群の座標系の座標に該当する。「倍率」は、閲覧された病理画像の表示倍率を示す。「時間」は、閲覧が開始されてからの経過時間を示す。図８の例では、サンプリング周期が３０秒であることを示す。すなわち、表示制御装置１３は、３０秒毎に閲覧情報を閲覧履歴記憶部１２ａに保存する。ただし、この例に限られず、サンプリング周期は、例えば０．１～１０秒であってもよいし、この範囲外であってもよい。
【0055】
図８の例において、サンプリング「１」は図７に示す領域Ｄ１の閲覧情報を示し、サンプリング「２」は領域Ｄ２の閲覧情報を示し、サンプリング「３」及び「４」は領域Ｄ３の閲覧情報を示し、サンプリング「５」は領域Ｄ４の閲覧情報を示し、サンプリング「６」、「７」及び「８」は領域Ｄ５の閲覧情報を示す。つまり、図８の例では、領域Ｄ１が３０秒程度閲覧され、領域Ｄ２が３０秒程度閲覧され、領域Ｄ３が６０秒程度閲覧され、領域Ｄ４が３０秒程度閲覧され、領域Ｄ５が９０秒程度閲覧されたことを示す。このように、閲覧履歴情報から、各領域の閲覧時間を抽出することができる。
【0056】
また、閲覧履歴情報から各領域を閲覧した回数を抽出することができる。例えば、表示領域の変更操作（例えば、表示領域の移動操作、表示サイズの変更操作）が行われるたびに、表示された病理画像の各画素の表示回数が１回ずつ増加するものとする。例えば、図７に示した例において、最初に領域Ｄ１が表示された場合、領域Ｄ１に含まれる各画素の表示回数は１回となる。次に領域Ｄ２が表示された場合には、領域Ｄ１と領域Ｄ２との双方に含まれる各画素の表示回数は２回となり、領域Ｄ１には含まれず領域Ｄ２に含まれる各画素の表示回数は１回となる。閲覧履歴記憶部１２ａの中心座標及び倍率を参照することで表示領域を特定可能であるので、閲覧履歴記憶部１２ａに記憶されている閲覧履歴情報を分析することで、病理画像の各画素（各座標ともいえる）が表示された回数を抽出することができる。
【0057】
表示制御装置１３は、閲覧者から所定時間（例えば５分）、表示位置を変更する操作が行われなかった場合には、閲覧情報の記憶処理を中断してもよい。また、上記例では、中心座標と倍率によって閲覧された病理画像を閲覧情報として記憶する例を示したが、この例に限られず、閲覧情報は、閲覧された病理画像の領域を特定可能な情報であれば如何なる情報であってもよい。例えば、表示制御装置１３は、閲覧された病理画像に対応するタイル画像を識別するタイル識別情報や、閲覧された病理画像に対応するタイル画像の位置示す情報を、病理画像の閲覧情報として記憶してもよい。また、図８では、図示することを省略したが、閲覧履歴記憶部１２ａには、患者、カルテ等を識別する情報が記憶される。すなわち、図８に示した閲覧履歴記憶部１２ａは、閲覧情報と、患者やカルテ等と対応付け可能に記憶される。
【0058】
［２－３．診断情報］
次に、図９Ａ～図９Ｃを用いて、医療情報システム３０に記憶される診断情報について説明する。図９Ａ～図９Ｃは、医療情報システム３０が有する診断情報記憶部を示す図である。図９Ａ～図９Ｃでは、それぞれ検査対象の臓器毎に異なるテーブルで診断情報を記憶する例を示す。例えば、図９Ａは、乳がん検査に関する診断情報を記憶するテーブルの例を示し、図９Ｂは、肺がん検査に関する診断情報を記憶するテーブルの例を示し、図９Ｃは、大腸検査に関する診断情報を記憶するテーブルの例を示す。
次に、図９Ａ～図９Ｃを用いて、医療情報システム３０に記憶される診断情報について説明する。図９Ａ～図９Ｃは、医療情報システム３０が有する診断情報記憶部を示す図である。図９Ａ～図９Ｃでは、それぞれ検査対象の臓器毎に異なるテーブルで診断情報を記憶する例を示す。例えば、図９Ａは、乳がん検査に関する診断情報を記憶するテーブルの例を示し、図９Ｂは、肺がん検査に関する診断情報を記憶するテーブルの例を示し、図９Ｃは、大腸検査に関する診断情報を記憶するテーブルの例を示す。
【0059】
図９Ａに示す診断情報記憶部３０Ａは、「患者ＩＤ」、「病理画像」、「診断結果」、「グレード」、「組織型」、「遺伝子検査」、「超音波検査」、「投薬」といった情報を記憶する。「患者ＩＤ」は、患者を識別するための識別情報を示す。「病理画像」は、病理医が診断時に保存した病理画像を示す。「病理画像」には、画像自体ではなく、全体画像に対する、保存対象の画像領域を示す位置情報（中心座標と倍率など）が記憶されてもよい。「診断結果」は、病理医による診断結果であり、例えば、病変部位の有無、病変部位の種類を示す。「グレード」は、病気部位の進行度を示す。「組織型」は、病気部位の種類を示す。「遺伝子検査」は、遺伝子検査の結果を示す。「超音波検査」は、超音波検査の結果を示す。投薬は、患者への投薬に関する情報を示す。
【0060】
図９Ｂに示す診断情報記憶部３０Ｂは、図９Ａに示した診断情報記憶部３０Ａに記憶される「超音波検査」の代わりに、肺がん検査で行われる「ＣＴ検査」に関する情報を記憶する。図９Ｃに示す診断情報記憶部３０Ｃは、図９Ａに示した診断情報記憶部３０Ａに記憶される「超音波検査」の代わりに、大腸検査で行われる「内視鏡検査」に関する情報を記憶する。
【0061】
図９Ａ～図９Ｃの例において、「診断結果」に「正常」が記憶されている場合には、病理診断の結果が陰性であったことを示し、「診断結果」に「正常」以外の情報が記憶されている場合には、病理診断の結果が陽性であったことを示す。
【0062】
［３．装置構成］
［３－１．第１の実施形態に係る導出装置］
次に、第１の実施形態に係る導出装置１００について説明する。ここでは、導出装置１００とともに表示制御装置２３についても説明する。図１０は、第１の実施形態に係る導出装置１００及び表示制御装置２３の一例を示す図である。図１０に示すように、導出装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有するコンピュータである。
［３－１．第１の実施形態に係る導出装置］
次に、第１の実施形態に係る導出装置１００について説明する。ここでは、導出装置１００とともに表示制御装置２３についても説明する。図１０は、第１の実施形態に係る導出装置１００及び表示制御装置２３の一例を示す図である。図１０に示すように、導出装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有するコンピュータである。
【0063】
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１０は、図示しないネットワークと有線又は無線で接続され、ネットワークを介して、病理システム１０、病理システム２０、医療情報システム３０等との間で情報の送受信を行う。後述する制御部１３０は、通信部１１０を介して、これらの装置との間で情報の送受信を行う。
【0064】
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、制御部１３０によって生成される学習モデル１２１を記憶する。学習モデル１２１については後述する。
【0065】
制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ(Micro Processing Unit)によって、導出装置１００内部に記憶されたプログラム（診断支援プログラムの一例）がＲＡＭ（random Access Memory）等を作業領域として実行されることにより実現される。また、制御部１３０は、例えばＡＳＩＣ（Application specific Integrated Circuit）やＦＰＧＡ（Field Programmable gate Array）等の集積回路により実行されてもよい。
【0066】
図１０に示すように、制御部１３０は、履歴情報取得部１３１と、診断情報取得部１３２と、学習部１３３と、導出部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１０に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0067】
履歴情報取得部１３１は、学習部１３３で行われる学習処理に用いられる情報を、通信部１１０を介し、取得する。具体的には、履歴情報取得部１３１は、病理システム１０のサーバ１２に記憶されている、第１の患部組織に対応する第１の病理画像と、第１の病理画像に対する閲覧に関する閲覧履歴情報とを取得する。履歴情報取得部１３１によって取得される閲覧履歴情報には、図８に示した例のように、病理医が第１の病理画像のうち拡大して閲覧した領域に関する情報や、病理医が第１の病理画像のうち相対的に長時間かけて閲覧した領域に関する情報や、病理医が第１の病理画像の各領域を閲覧した回数に関する情報が含まれる。
【0068】
診断情報取得部１３２は、学習部１３３で行われる学習処理に用いられる情報を、通信部１１０を介し、取得する。具体的には、診断情報取得部１３２は、医療情報システム３０から、第１の病理画像に対応する第１の患部組織に対する診断情報を取得する。
【0069】
学習部１３３は、履歴情報取得部１３１によって取得された第１の病理画像及び閲覧履歴情報と、診断情報取得部１３２によって取得された診断情報との対応を学習する。これにより、学習部１３３は、第２の病理画像における注目領域を推定するための学習モデルを生成する。そして、学習部１３３は、学習モデル１２１を記憶部１２０に記憶させる。
【0070】
学習部１３３による学習処理についてより具体的に説明する。最初に、学習部１３３は、学習データを生成する。具体的には、学習部１３３は、履歴情報取得部１３１によって取得された閲覧履歴情報に基づいて、第１の病理画像に注目領域に関する情報を反映させたヒートマップ画像を生成する。例えば、学習部１３３は、第１の病理画像の各画素に対して、閲覧者によって注目されたほど大きい指標値（以下、注目指標値と表記する）を対応付ける。
【0071】
一例を挙げると、学習部１３３は、表示倍率が高い画素ほど高い注目指標値を対応付ける。図７に示した例を用いて説明すると、領域Ｄ１に対応する病理画像が１．２５倍率の表示画像であり、領域Ｄ３に対応する病理画像が２０倍率の表示画像であり、領域Ｄ５に対応する病理画像が４０倍率の表示画像であるものとする。この場合、学習部１３３は、領域Ｄ１に含まれる各画素の注目指標値よりも、領域Ｄ３に含まれる各画素の注目指標値を高くする。また、学習部１３３は、領域Ｄ３に含まれる各画素の注目指標値よりも、領域Ｄ５に含まれる各画素の注目指標値を高くする。
【0072】
また、例えば、学習部１３３は、閲覧時間が長い画素ほど高い注目指標値を対応付ける。図８の例では、領域Ｄ１が３０秒程度閲覧され、領域Ｄ３が６０秒程度閲覧され、領域Ｄ５が９０秒程度閲覧されたことを示す。この場合、学習部１３３は、領域Ｄ１に含まれる各画素の注目指標値よりも、領域Ｄ３に含まれる各画素の注目指標値を高くする。また、学習部１３３は、領域Ｄ３に含まれる各画素の注目指標値よりも、領域Ｄ５に含まれる各画素の注目指標値を高くする。
【0073】
また、例えば、学習部１３３は、閲覧回数が多い画素ほど高い注目指標値を対応付ける。なお、学習部１３３は、拡大率、閲覧時間及び閲覧回数のうち、１つのみ情報を用いて注目指標値を対応付けてもよいし、２以上の情報を用いて注目指標値を対応付けてもよい。このようにして、学習部１３３は、履歴情報取得部１３１によって取得されたそれぞれの第１の病理画像の各画素に注目指標値を対応付けたヒートマップ画像を生成する。なお、ヒートマップ画像は、例えば、第１の病理画像の画素と、かかる画素に対応する注目指標値との組合せであるデータの集合であり、注目指標値により示した閲覧履歴情報であるといえる。
【0074】
続いて、学習部１３３は、第１の病理画像と、第１の病理画像に対応するヒートマップ画像と、第１の病理画像に対応する診断情報との組合せを学習データとして機械学習を行う。例えば、学習部１３３は、診断結果が陽性（例えば、診断情報記憶部３０Ａ～３０Ｃの診断結果が「正常」以外）である学習データを正例とし、診断結果が陰性（例えば、診断情報記憶部３０Ａ～３０Ｃの診断結果が「正常」）である学習データを負例として学習する。学習部１３３による学習処理はブラックボックスであるため概念的な説明になるが、学習部１３３は、新たな病理画像（第２の病理画像）の各領域の中から、診断結果が陽性であった第１の病理画像群において注目指標値が高い傾向にある領域と画像特徴量が類似する領域ほど高いスコア（以下、注目スコアとする）を出力する学習モデル１２１を生成する。
【0075】
学習モデル１２１によって出力される第２の病理画像の各領域に対する注目スコアは、かかる領域と同様の領域が過去に病理医によって注目された度合いを示すといえる。ここで、病理医は、病変部がある領域ほど注目して閲覧するので、病理医によって注目された領域とは、病変部が存在する可能性が高い領域であるといえる。すなわち、学習モデル１２１によって出力される注目スコアは、該当の領域に病変部が存在する確率を示すともいえる。例えば、学習データ用の第１の病理画像が癌検査に用いられた画像である場合には、各領域の注目スコアは、各領域に癌組織が存在する確率、すなわち、診断に影響があると推定される領域を示すともいえる。
【0076】
なお、上記例では、診断結果が陽性である第１の病理画像を正例としたが、診断結果が陽性であっても第１の病理画像に描出される全ての観察対象物が陽性であるわけではなく、第１の病理画像の一部領域に描出される観察対象物が病変部であることが多い。このため、学習部１３３は、診断結果が陽性である第１の病理画像のうち、注目指標値が所定の閾値ＴＨ１以上である領域のみを正例とし、注目指標値が所定の閾値ＴＨ１よりも小さい領域を負例として学習してもよい。また、学習部１３３は、診断結果が陽性である第１の病理画像のみを用いて学習してもよい。
【0077】
例えば、学習部１３３による学習は弱教師学習を適用することが可能であり、下記のような手法も用いることができる。
“WILDCAT: Weakly Supervised Learning of Deep ConvNets for Image Classification, Pointwise Localization and Segmentation”, CVPR 2017
(http://webia.lip6.fr/~durandt/pdfs/2017_CVPR/Durand_WILDCAT_CVPR_2017.pdf)
“Attention-based Deep Multiple Instance Learning”, 2018（https://arxiv.org/abs/1802.04712）
“WILDCAT: Weakly Supervised Learning of Deep ConvNets for Image Classification, Pointwise Localization and Segmentation”, CVPR 2017
(http://webia.lip6.fr/~durandt/pdfs/2017_CVPR/Durand_WILDCAT_CVPR_2017.pdf)
“Attention-based Deep Multiple Instance Learning”, 2018（https://arxiv.org/abs/1802.04712）
【0078】
ただし、学習部１３３による学習手法はいかなるアルゴリズムの基づくものであってもよい。例えば、学習部１３３は、多層のニューラルネットワーク（Deep Neural Network）による機械学習手法である深層学習（ディープラーニング）、サポートベクターマシン（support vector machine）、クラスタリング、強化学習等の各種学習アルゴリズムを用いて学習モデルを生成することができる。
【0079】
また、学習部１３３は、全ての第１の病理画像を用いて学習を行わなくてもよい。例えば、学習部１３３は、特に注目された第１の病理画像のみを用いて学習を行ってもよい。例えば、学習部１３３は、所定の時間以上閲覧された領域を含む第１の病理画像のみを用いて学習を行ってもよいし、所定の倍率で閲覧された領域を含む第１の病理画像のみを用いて学習を行ってもよいし、所定の回数以上閲覧された領域を含む第１の病理画像のみを用いて学習を行ってもよい。また、例えば、学習部１３３は、所定の時間以上閲覧された領域のみを用いて学習を行ってもよいし、所定の倍率で閲覧された領域のみを用いて学習を行ってもよいし、所定の回数以上閲覧された領域のみを用いて学習を行ってもよい。また、例えば、学習部１３３は、第１の病理画像のうち中心領域が注目された領域であるとして、第１の病理画像のうち中心領域のみを切り出して学習を行ってもよい。
【0080】
また、上記では、学習部１３３が学習データとしてヒートマップ画像を生成する例を示した。しかし、ヒートマップ画像を生成する処理は、顕微鏡１１や、サーバ１２などで行われてもよい。そして、ヒートマップ画像はサーバ１２に記憶されていてもよい。この場合、履歴情報取得部１３１は、閲覧履歴情報として、サーバ１２からヒートマップ画像とを取得する。
【0081】
導出部１３４は、表示制御装置２３から第２の病理画像を取得して、学習モデルに適応することで、閲覧履歴情報から推定される第２の病理画像の注目領域に基づいて、第２の病理画像の閲覧に関する情報である診断支援情報を導出する。具体的には、導出部１３４は、第１の病理画像の表示倍率が大きい領域ほど注目度が高い注目領域とし、または、第１の病理画像の閲覧時間が長い領域ほど注目度が高い注目領域とし、または、第１の病理画像の閲覧回数が多い領域ほど注目度が高い注目領域として、診断支援情報を導出する。そして、導出部１３４は、導出結果である診断支援情報を表示制御装置２３に出力する。
【0082】
一例を挙げて説明する。導出部１３４は、表示制御装置２３から第２の病理画像とともに、第２の病理画像の注目領域を推定する旨の要求を受け付ける。第２の病理画像は、例えば、病理医によって診断が行われている病理画像である。そして、導出部１３４は、記憶部１２０に記憶されている学習モデル１２１を用いて、第２の病理画像の注目領域を推定する。上記の通り、学習モデル１２１は、診断結果が陽性であった病理画像のうち、病理医に注目された領域と類似する領域ほど高くなる注目スコアを出力する。このような注目スコアは、病理診断における重要度、すわなち、診断への影響度を示すといえる。導出部１３４は、学習モデル１２１を用いて算出した注目スコアが所定の閾値ＴＨ２よりも高い第２の病理画像の領域を注目領域として特定する。そして、導出部１３４は、第２の病理画像の注目領域に関する位置情報を示す診断支援情報を表示制御装置２３へ送信する。例えば、導出部１３４は、位置情報として、座標やタイル画像に関する情報（タイル識別情報、または、階層識別情報とタイル識別情報の組合せ）を表示制御装置２３へ送信する。
【0083】
［３－２．第１の実施形態に係る表示制御装置］
続いて、表示制御装置２３について説明する。表示制御装置２３は、上述したタイル画像等の病理画像を表示するための病理画像表示制御プログラムが搭載される。ただし、これに限られず、病理画像表示制御プログラムは、サーバからダウンロード、またはＤＶＤ（Digital Versatile Disc）などの記憶媒体から、汎用的なコンピュータにインストールされることで、以下に説明する表示制御装置２３による処理を実現してもよい。また、一部の処理をサーバ上で行い、その他の処理を処理を表示制御装置２３等のクライアントコンピュータで行うなど、２台以上の機器で処理を行うことで、以下に説明する表示制御装置２３による処理を実現してもよい。また、病理画像表示制御プログラムがクラウド上で動作することで、以下に説明する表示制御装置２３による処理を実現してもよい。
続いて、表示制御装置２３について説明する。表示制御装置２３は、上述したタイル画像等の病理画像を表示するための病理画像表示制御プログラムが搭載される。ただし、これに限られず、病理画像表示制御プログラムは、サーバからダウンロード、またはＤＶＤ（Digital Versatile Disc）などの記憶媒体から、汎用的なコンピュータにインストールされることで、以下に説明する表示制御装置２３による処理を実現してもよい。また、一部の処理をサーバ上で行い、その他の処理を処理を表示制御装置２３等のクライアントコンピュータで行うなど、２台以上の機器で処理を行うことで、以下に説明する表示制御装置２３による処理を実現してもよい。また、病理画像表示制御プログラムがクラウド上で動作することで、以下に説明する表示制御装置２３による処理を実現してもよい。
【0084】
図１０に示すように、表示制御装置２３は、画像取得部２３ａ、表示制御部２３ｂとを有し、以下に説明する情報処理の機能や作用を実現または実行するコンピュータである。なお、表示制御装置２３の内部構成は、図１０に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、画像取得部２３ａ及び表示制御部２３ｂは、例えば、ＣＰＵやＭＰＵによって、表示制御装置２３内部に記憶された表示制御プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、画像取得部２３ａ及び表示制御部２３ｂは、例えばＡＳＩＣやＦＰＧＡ等の集積回路により実行されてもよい。
【0085】
画像取得部２３ａは、サーバ２２から第２の病理画像を取得し、取得した第２の病理画像を導出装置１００へ送信する。例えば、画像取得部２３ａは、病理医による操作に従って、病理医が診断しようとしている第２の病理画像を導出装置１００へ送信する。なお、画像取得部２３ａと表示制御部２３ｂとは同一であってよく、導出装置１００へ第２の病理画像を送信する処理は、表示制御部２３ｂが行ってもよい。
【0086】
表示制御部２３ｂは、第２の病理画像に対応する診断支援情報を導出装置１００から受け付ける。そして、表示制御部２３ｂは、診断支援情報に基づいて、診断に影響があると推測される領域である注目領域を視認可能な状態で第２の病理画像を表示するよう表示装置２４を制御する。なお、以下では、表示制御部２３ｂが表示装置２４を制御することで表示装置２４に病理画像等の各種情報を表示することを、単に、表示制御部２３ｂが各種情報を表示する、と表記する場合がある。
【0087】
図１１は、第１の実施形態に係る表示制御装置２３による病理画像の表示例を示す図である。図１１に示す例では、表示制御部２３ｂは、全体表示領域Ｈ１０に観察対象物Ａ１１を全体的に表示し、拡大表示領域Ｈ１１に観察対象物Ａ１１の一部領域を拡大して表示し、さらに支援情報ボタンＢ１０を表示する。例えば、表示制御部２３ｂは、全体表示領域Ｈ１０に、図６に示した階層構造のタイル画像群のうち、任意の階層のタイル画像から形成される病理画像Ｉ１を表示する。また、表示制御部２３ｂは、拡大表示領域Ｈ１１に、全体表示領域Ｈ１０に表示したタイル画像よりも下の階層のタイル画像から形成される病理画像Ｉ２を表示する。
【0088】
また、図１１に示すように、表示制御部２３ｂは、全体表示領域Ｈ１０に、拡大表示領域Ｈ１１に表示されている領域を示す拡大領域枠ＦＲを表示する。病理医等の閲覧者は、拡大領域枠ＦＲを移動操作（マウスのドラッグ操作など）することで、拡大表示領域Ｈ１１に表示させる観察対象物Ａ１１の領域を変更することができる。これにより、閲覧者は、全体表示領域Ｈ１０で観察対象物Ａ１１の全体を把握しながら、拡大表示領域Ｈ１１の病理画像を閲覧することで観察対象物Ａ１１の一部をより詳細に確認することができる。
【0089】
ここで、表示制御部２３ｂは、閲覧者によって支援情報ボタンＢ１０が選択された場合に、導出装置１００から受け付けた診断支援情報に基づいて、拡大表示領域Ｈ１１に表示されている病理画像Ｉ２のうち、注目すべき領域を視認可能な状態で表示する。例えば、表示制御部２３１は、拡大表示領域Ｈ１１に表示される病理画像Ｉ２を導出装置１００へ送信することで、病理画像Ｉ２に対応する診断支援情報を取得する。そして、表示制御部２３ｂは、導出装置１００から取得した診断支援情報に基づいて、注目すべき領域の外枠を点線で囲んだ枠画像ＲＩ１０を表示する。これにより、閲覧者は、拡大表示領域Ｈ１１に表示されている病理画像のうち、枠画像ＲＩ１０が示す領域をより注意して観察すべきであると判断できる。
【0090】
なお、表示制御部２３ｂは、枠画像ＲＩ１０が表示された状態で支援情報ボタンＢ１０が再度選択された場合には、表示済みの枠画像ＲＩ１０を非表示にしてもよい。これにより、閲覧者は、余計な情報が付加されていない病理画像を観察することができる。
【0091】
図１１の例では、拡大表示領域Ｈ１１に枠画像ＲＩ１０を表示する例を示したが、表示制御部２３ｂは、拡大表示領域Ｈ１１ではなく、全体表示領域Ｈ１０に病理画像Ｉ１に対応する枠画像を表示してもよい。この場合、画像取得部２３ａは、病理画像Ｉ１を導出装置１００へ送信することで、病理画像Ｉ１に対応する診断支援情報を取得する。これにより、閲覧者は、病理画像Ｉ１のうち枠画像が表示されている領域を拡大表示領域Ｈ１１に表示させることができるので、観察対象物Ａ１１のうち注目すべき領域を全て注意深く観察することができる。また、表示制御部２３ｂは、全体表示領域Ｈ１０と拡大表示領域Ｈ１１との双方に枠画像を表示してもよい。
【0092】
また、表示制御装置２３は、病理医が病理画像を閲覧するタイミングで診断支援情報を導出装置１００からリアルタイムに取得してもよいが、サーバ２２に記憶されている病理画像を定期的（例えば、１日１回）に導出装置１００へ送信することで診断支援情報を予め取得しておいてもよい。
【0093】
［４．処理手順］
［４－１．第１の実施形態に係る学習処理手順］
次に、図１２及び図１３を用いて、第１の実施形態に係る処理手順を説明する。図１２は、第１の実施形態に係る学習処理手順を示すフローチャートである。図１２に示すように、導出装置１００は、学習タイミングであるか否かを判定する（ステップＳ１０１）。例えば、学習を行う学習日時が予め決められている場合、導出装置１００は、現在日時が学習日時であるか否かを判定する。
［４－１．第１の実施形態に係る学習処理手順］
次に、図１２及び図１３を用いて、第１の実施形態に係る処理手順を説明する。図１２は、第１の実施形態に係る学習処理手順を示すフローチャートである。図１２に示すように、導出装置１００は、学習タイミングであるか否かを判定する（ステップＳ１０１）。例えば、学習を行う学習日時が予め決められている場合、導出装置１００は、現在日時が学習日時であるか否かを判定する。
【0094】
そして、導出装置１００は、学習タイミングである場合（ステップＳ１０１；Ｙｅｓ）、第１の病理画像と、第１の病理画像の閲覧履歴情報とをサーバ１２から取得する（ステップＳ１０２）。また、導出装置１００は、サーバ１２から取得した第１の病理画像に対応する診断情報を医療情報システム３０から取得する（ステップＳ１０３）。
【0095】
続いて、導出装置１００は、閲覧履歴情報（閲覧時間、閲覧回数、拡大倍率など）に基づくヒートマップ画像と診断結果との関係を学習する（ステップＳ１０４）。これにより、導出装置１００は、学習モデル１２１を生成する（ステップＳ１０５）。そして、導出装置１００は学習済みの学習モデル１２１を記憶部１２０に格納する。
【0096】
なお、図１２では、新たに学習モデル１２１を生成する例を示したが、導出装置１００は、学習済みの学習モデル１２１を再学習する場合もある。この場合、導出装置１００は、新たな学習データを用いて、学習モデル１２１を補正することになる。
【0097】
［４－２．第１の実施形態に係る導出処理手順］
図１３は、第１の実施形態に係る導出処理手順を示すフローチャートである。図１３に示すように、導出装置１００は、表示制御装置２３から第２の病理画像を受け付けたか否かを判定する（ステップＳ２０１）。
図１３は、第１の実施形態に係る導出処理手順を示すフローチャートである。図１３に示すように、導出装置１００は、表示制御装置２３から第２の病理画像を受け付けたか否かを判定する（ステップＳ２０１）。
【0098】
そして、導出装置１００は、第２の病理画像を受け付けた場合（ステップＳ２０１；Ｙｅｓ）、記憶部１２０から学習済みの学習モデル１２１を取得する（ステップＳ２０２）。続いて、導出装置１００は、学習モデル１２１を用いて、第２の病理画像のうち注目すべき領域を示す情報である診断支援情報を導出する（ステップＳ２０３）。そして、導出装置１００は、診断支援情報を表示制御装置２３へ送信する（ステップＳ２０４）。これにより、表示制御装置２３は、図１１に示した例のように、診断支援情報とともに第２の病理画像を表示するよう表示装置２４を制御する。
【0099】
【0100】
［５－１．表示例（１）］
図１１では、１つの注目領域を示す情報（枠画像ＲＩ１０）を表示する例を示したが、表示制御部２３ｂは、複数の注目スコアの閾値毎に、かかる閾値以上の注目スコアに対応する注目領域を示す情報を表示してもよい。このとき、表示制御部２３ｂは、注目スコア毎に注目領域を示す情報の表示態様を変更してもよい。また、図１１では、注目領域を示す情報として、点線で囲まれた枠画像ＲＩ１０を表示する例を示した。しかし、表示制御部２３ｂは、注目領域を示す情報として、注目領域を半透明に覆うマスク画像を表示してもよい。また、表示制御部２３ｂは、注目領域を示す情報が重畳されていない病理画像と、注目領域を示す情報が重畳されている病理画像とを並べて表示してもよい。
図１１では、１つの注目領域を示す情報（枠画像ＲＩ１０）を表示する例を示したが、表示制御部２３ｂは、複数の注目スコアの閾値毎に、かかる閾値以上の注目スコアに対応する注目領域を示す情報を表示してもよい。このとき、表示制御部２３ｂは、注目スコア毎に注目領域を示す情報の表示態様を変更してもよい。また、図１１では、注目領域を示す情報として、点線で囲まれた枠画像ＲＩ１０を表示する例を示した。しかし、表示制御部２３ｂは、注目領域を示す情報として、注目領域を半透明に覆うマスク画像を表示してもよい。また、表示制御部２３ｂは、注目領域を示す情報が重畳されていない病理画像と、注目領域を示す情報が重畳されている病理画像とを並べて表示してもよい。
【0101】
この点について図１４を用いて説明する。図１４に示す例では、表示制御部２３ｂは、表示画面の左側に、注目領域を示す情報を重畳せずに病理画像Ｉ２１を表示し、表示画面の右側に、注目領域を示す情報を重畳した病理画像Ｉ２１を表示する。ここでは、表示制御部２３ｂは、注目領域を示す情報として、半透明に塗り潰されたマスク画像ＲＩ１１、ＲＩ１２及びＲＩ１３を表示する。なお、マスク画像ＲＩ１１、ＲＩ１２、ＲＩ１３の順に注目スコアが高いものとする。例えば、マスク画像ＲＩ１１は、注目スコアが閾値ＴＨ１１以上である領域に重畳され、マスク画像ＲＩ１２は、注目スコアが閾値ＴＨ１２（＞ＴＨ１１）以上である連続する領域に重畳され、マスク画像ＲＩ１３は、注目スコアが閾値ＴＨ１３（＞ＴＨ１２）以上である連続する領域に重畳される。表示制御部２３ｂは、注目スコアに応じて、マスク画像ＲＩ１１、ＲＩ１２、ＲＩ１３の彩度、輝度、または透過度を変更してもよい。
【0102】
また、図１４に示すように、表示制御部２３ｂは、表示切り替えボタンＢ１１を表示する。表示制御部２３ｂは、表示切り替えボタンＢ１１が閲覧者によって選択された場合には、図１４の下段に示すように、注目領域を示す情報が重畳されていない病理画像Ｉ２１を非表示にしてもよい。そして、表示制御部２３ｂは、注目領域を示す情報が重畳されていない病理画像Ｉ２１が非表示である状態で、表示切り替えボタンＢ１１が選択された場合には、図１４の上段に示すように、注目領域を示す情報が重畳されていない病理画像Ｉ２１を再度表示してもよい。この例に限られず、表示制御部２３ｂは、表示切り替えボタンＢ１１が選択されるたびに、注目領域を示す情報が重畳されていない病理画像Ｉ２１と、注目領域を示す情報が重畳されている病理画像Ｉ２１とを切り替えて表示してもよい。
【0103】
［５－２．表示例（２）］
図１４の例では、複数のマスク画像を表示する例を示した。しかし、表示制御部２３ｂは、注目スコアの閾値毎に複数の枠画像を表示してもよい。この点について図１５を用いて説明する。図１５に示す例では、表示制御部２３ｂは、注目領域を示す情報として、中が塗り潰されていない枠画像ＲＩ２１、ＲＩ２２及びＲＩ２３を病理画像Ｉ２１に重畳して表示する。ここでは、枠画像ＲＩ２１、ＲＩ２２、ＲＩ２３の順に注目スコアが高いものとする。図１４の例と同様に、表示制御部２３ｂは、注目スコアに応じて、枠画像ＲＩ２１、ＲＩ２２、ＲＩ２３の彩度、輝度、または透過度を変更してもよい。
図１４の例では、複数のマスク画像を表示する例を示した。しかし、表示制御部２３ｂは、注目スコアの閾値毎に複数の枠画像を表示してもよい。この点について図１５を用いて説明する。図１５に示す例では、表示制御部２３ｂは、注目領域を示す情報として、中が塗り潰されていない枠画像ＲＩ２１、ＲＩ２２及びＲＩ２３を病理画像Ｉ２１に重畳して表示する。ここでは、枠画像ＲＩ２１、ＲＩ２２、ＲＩ２３の順に注目スコアが高いものとする。図１４の例と同様に、表示制御部２３ｂは、注目スコアに応じて、枠画像ＲＩ２１、ＲＩ２２、ＲＩ２３の彩度、輝度、または透過度を変更してもよい。
【0104】
［５－３．表示例（３）］
また、表示制御部２３ｂは、所定の注目スコア以上の注目領域に対応する病理画像を自動的に表示してもよい。例えば、表示制御部２３ｂは、注目スコアが高い順に各病理画像を自動的に表示してもよい。また、例えば、表示制御部２３ｂは、閲覧者の操作に従って、同一表示エリアに各注目領域に対応する病理画像を切り替えて表示装置２４に表示してもよい。
また、表示制御部２３ｂは、所定の注目スコア以上の注目領域に対応する病理画像を自動的に表示してもよい。例えば、表示制御部２３ｂは、注目スコアが高い順に各病理画像を自動的に表示してもよい。また、例えば、表示制御部２３ｂは、閲覧者の操作に従って、同一表示エリアに各注目領域に対応する病理画像を切り替えて表示装置２４に表示してもよい。
【0105】
この点について図１６を用いて説明する。図１６の上段に示す例では、表示制御部２３ｂは、図１４に示した例と同様に、マスク画像ＲＩ１１、ＲＩ１２及びＲＩ１３を病理画像Ｉ２１に重畳して表示するとともに、自動検出ボタンＢ１２を表示する。ここでは、表示制御部２３ｂは、全体画像の中で注目スコアが最も高い領域を含む画像として、全体画像の一部領域に該当する病理画像Ｉ２１を自動的に初期表示するものとする。そして、表示制御部２３ｂは、自動検出ボタンＢ１２が閲覧者によって選択された場合には、図１６の下段に示すように、全体画像の中で注目スコアが２番目に高い領域を含む病理画像Ｉ２２に表示を切り替える。表示制御部２３ｂは、自動検出ボタンＢ１２が選択されるたびに、注目スコアが次点に高い病理画像へ表示を切り替える。
【0106】
【0107】
この点について図１７を用いて説明する。図１７の上段に示す例では、表示制御部２３ｂは、図１４に示した例と同様に、マスク画像ＲＩ１１、ＲＩ１２及びＲＩ１３を病理画像Ｉ２１に重畳して表示するとともに、表示変更ボタンＢ１３を表示する。ここでは、表示制御部２３ｂは、３つのマスク画像ＲＩ１１、ＲＩ１２及びＲＩ１３を初期表示するものとする。そして、表示制御部２３ｂは、表示変更ボタンＢ１３が閲覧者によって選択された場合には、図１７の中段に示すように、マスク画像ＲＩ１１、ＲＩ１２及びＲＩ１３のうち、注目スコアが最も低いマスク画像ＲＩ１３を非表示にする。そして、表示制御部２３ｂは、表示変更ボタンＢ１３が更に選択された場合には、図１７の下段に示すように、注目スコアが２番目に低いマスク画像ＲＩ１２を非表示にすることで、マスク画像ＲＩ１１のみを表示する。そして、表示制御部２３ｂは、表示変更ボタンＢ１３が更に選択された場合には、図１７の上段に示すように、全てのマスク画像ＲＩ１１、ＲＩ１２及びＲＩ１３を再度表示する。なお、表示制御部２３ｂは、図１７の下段の状態において表示変更ボタンＢ１３が選択された場合には、マスク画像ＲＩ１１を非表示にして、全てのマスク画像ＲＩ１１、ＲＩ１２及びＲＩ１３を非表示にしてもよい。
【0108】
［５－５．表示例（５）］
また、表示制御部２３ｂは、病理画像の異なる複数の領域に、注目領域を示す情報を同時に表示してもよい。この点について図１８を用いて説明する。図１８に示す例では、表示制御部２３ｂは、観察対象物Ａ１０が全体的に描出される病理画像Ｉ１を表示するとともに、病理画像Ｉ１に枠画像ＲＩ２１～ＲＩ２５を重畳して表示する。枠画像ＲＩ２１～ＲＩ２５は、病理画像Ｉ１の注目領域を示すので、閲覧者は、枠画像ＲＩ２１～ＲＩ２５に対応する領域を順に拡大しながら詳細に観察することができる。
また、表示制御部２３ｂは、病理画像の異なる複数の領域に、注目領域を示す情報を同時に表示してもよい。この点について図１８を用いて説明する。図１８に示す例では、表示制御部２３ｂは、観察対象物Ａ１０が全体的に描出される病理画像Ｉ１を表示するとともに、病理画像Ｉ１に枠画像ＲＩ２１～ＲＩ２５を重畳して表示する。枠画像ＲＩ２１～ＲＩ２５は、病理画像Ｉ１の注目領域を示すので、閲覧者は、枠画像ＲＩ２１～ＲＩ２５に対応する領域を順に拡大しながら詳細に観察することができる。
【0109】
［５－６．表示例（６）］
また、表示制御部２３ｂは、図１８の例において、非注目領域を示す枠画像やマスク画像を表示してもよい。例えば、表示制御部２３ｂは、学習モデル１２１によって出力される注目スコアが所定の閾値ＴＨ３よりも低い領域に非注目領域を示す枠画像等を表示する。この点について図１９を用いて説明する。図１９に示す例では、表示制御部２３ｂは、観察対象物Ａ１０が全体的に描出される病理画像Ｉ１を表示するとともに、注目領域を示す枠画像ＲＩ２１～ＲＩ２３を表示し、さらに、非注目領域を示す枠画像ＲＩ３１及びＲＩ３２を表示する。枠画像ＲＩ３１及びＲＩ３２は、過去に注目して閲覧された領域でないことを示すので、枠画像ＲＩ３１及びＲＩ３２に対応する領域については簡易な観察で済ませることができるので、効率的に病理診断を行うことができる。なお、表示制御装置２３は、診断支援情報として病理画像Ｉ１の各領域に対応する注目スコアを導出装置１００から取得することで、非注目領域を特定することができる。
また、表示制御部２３ｂは、図１８の例において、非注目領域を示す枠画像やマスク画像を表示してもよい。例えば、表示制御部２３ｂは、学習モデル１２１によって出力される注目スコアが所定の閾値ＴＨ３よりも低い領域に非注目領域を示す枠画像等を表示する。この点について図１９を用いて説明する。図１９に示す例では、表示制御部２３ｂは、観察対象物Ａ１０が全体的に描出される病理画像Ｉ１を表示するとともに、注目領域を示す枠画像ＲＩ２１～ＲＩ２３を表示し、さらに、非注目領域を示す枠画像ＲＩ３１及びＲＩ３２を表示する。枠画像ＲＩ３１及びＲＩ３２は、過去に注目して閲覧された領域でないことを示すので、枠画像ＲＩ３１及びＲＩ３２に対応する領域については簡易な観察で済ませることができるので、効率的に病理診断を行うことができる。なお、表示制御装置２３は、診断支援情報として病理画像Ｉ１の各領域に対応する注目スコアを導出装置１００から取得することで、非注目領域を特定することができる。
【0110】
［５－７．表示例（７）］
また、表示制御部２３ｂは、複数の注目領域に対応する病理画像を並べて表示してもよい。この点について、図２０を用いて説明する。図２０に示すように、表示制御部２３ｂは、全体表示領域Ｈ１０と、拡大表示領域Ｈ１１とを含む画面を表示する。図２０の例では、表示制御部２３ｂは、全体表示領域Ｈ１０に、図１８に示した病理画像Ｉ１と枠画像ＲＩ２１～ＲＩ２５を表示する。そして、表示制御部２３ｂは、拡大表示領域Ｈ１１には、枠画像ＲＩ２１～ＲＩ２５に対応する病理画像を並べて表示する。図２０の例では、表示制御部２３ｂは、枠画像ＲＩ２１に対応する病理画像Ｉ４１と、枠画像ＲＩ２２に対応する病理画像Ｉ４２と、枠画像ＲＩ２３に対応する病理画像Ｉ４３と、枠画像ＲＩ２４に対応する病理画像Ｉ４４と、枠画像ＲＩ２５に対応する病理画像Ｉ４５とを表示する。このとき、表示制御部２３ｂは、注目スコアが高い順に、病理画像Ｉ４１～Ｉ４５を表示してもよい。
また、表示制御部２３ｂは、複数の注目領域に対応する病理画像を並べて表示してもよい。この点について、図２０を用いて説明する。図２０に示すように、表示制御部２３ｂは、全体表示領域Ｈ１０と、拡大表示領域Ｈ１１とを含む画面を表示する。図２０の例では、表示制御部２３ｂは、全体表示領域Ｈ１０に、図１８に示した病理画像Ｉ１と枠画像ＲＩ２１～ＲＩ２５を表示する。そして、表示制御部２３ｂは、拡大表示領域Ｈ１１には、枠画像ＲＩ２１～ＲＩ２５に対応する病理画像を並べて表示する。図２０の例では、表示制御部２３ｂは、枠画像ＲＩ２１に対応する病理画像Ｉ４１と、枠画像ＲＩ２２に対応する病理画像Ｉ４２と、枠画像ＲＩ２３に対応する病理画像Ｉ４３と、枠画像ＲＩ２４に対応する病理画像Ｉ４４と、枠画像ＲＩ２５に対応する病理画像Ｉ４５とを表示する。このとき、表示制御部２３ｂは、注目スコアが高い順に、病理画像Ｉ４１～Ｉ４５を表示してもよい。
【0111】
［５－８．表示例（８）］
また、表示制御部２３ｂは、図２０の例において、注目領域に対応する複数の病理画像を選択可能に表示してもよい。そして、表示制御部２３ｂは、選択された病理画像を診断結果情報としてサーバ２２の記憶部に保存してもよい。この点について、図２１を用いて説明する。図２１に示すように、表示制御部２３ｂは、図２０の例と同様に、全体表示領域Ｈ１０に、病理画像Ｉ１に枠画像ＲＩ２１～ＲＩ２５を重畳して表示する。また、表示制御部２３ｂは、拡大表示領域Ｈ１１には、病理画像Ｉ４１～Ｉ４５を選択可能に並べて表示する。具体的には、表示制御部２３ｂは、病理画像Ｉ４１～Ｉ４５のそれぞれを選択するためのチェックボックスＣＨ１１～ＣＨ１５を表示する。そして、表示制御部２３ｂは、これらのチェックボックスが選択された状態で図示しない保存ボタンが押下された場合に、選択された病理画像をサーバ２２又は医療情報システム３０の記憶部に保存する。
また、表示制御部２３ｂは、図２０の例において、注目領域に対応する複数の病理画像を選択可能に表示してもよい。そして、表示制御部２３ｂは、選択された病理画像を診断結果情報としてサーバ２２の記憶部に保存してもよい。この点について、図２１を用いて説明する。図２１に示すように、表示制御部２３ｂは、図２０の例と同様に、全体表示領域Ｈ１０に、病理画像Ｉ１に枠画像ＲＩ２１～ＲＩ２５を重畳して表示する。また、表示制御部２３ｂは、拡大表示領域Ｈ１１には、病理画像Ｉ４１～Ｉ４５を選択可能に並べて表示する。具体的には、表示制御部２３ｂは、病理画像Ｉ４１～Ｉ４５のそれぞれを選択するためのチェックボックスＣＨ１１～ＣＨ１５を表示する。そして、表示制御部２３ｂは、これらのチェックボックスが選択された状態で図示しない保存ボタンが押下された場合に、選択された病理画像をサーバ２２又は医療情報システム３０の記憶部に保存する。
【0112】
［５－９．表示例（９）］
また、表示制御部２３ｂは、学習モデルを生成する開発者向けに、学習パラメータを変更した場合の学習結果を表示してもよい。また、表示制御部２３ｂは、異なる学習パラメータに対応する学習結果を比較可能に並べて表示してもよい。なお、学習パラメータの例としては、例えばヒートマップ画像のうち所定の注目指標値以下は０にするような閾値ＴＨ４や、学習のバッチサイズや入力サイズ、ディープラーニングのネットワーク構成といったものが挙げられる。
また、表示制御部２３ｂは、学習モデルを生成する開発者向けに、学習パラメータを変更した場合の学習結果を表示してもよい。また、表示制御部２３ｂは、異なる学習パラメータに対応する学習結果を比較可能に並べて表示してもよい。なお、学習パラメータの例としては、例えばヒートマップ画像のうち所定の注目指標値以下は０にするような閾値ＴＨ４や、学習のバッチサイズや入力サイズ、ディープラーニングのネットワーク構成といったものが挙げられる。
【0113】
この点について、図２２を用いて説明する。図２２の例では、表示制御部２３ｂは、２つの学習結果を並べて表示する。具体的には、表示制御部２３ｂは、画面の左側に、学習パラメータＡが「ＸＸＸ」、学習パラメータＢが「ＹＹＹ」、学習パラメータＣが「ＺＺＺ」である場合における学習結果を表示する。また、表示制御部２３ｂは、画面の右側に、学習パラメータＡ、Ｂ、Ｃが「ＰＰＰ」、「ＱＱＱ」、「ＲＲＲ」である場合における学習結果を表示する。表示制御部２３ｂは、学習結果として、例えば注目領域を示す情報（図２２の例ではマスク画像）を病理画像Ｉ２１に重畳して表示する。また、表示制御部２３ｂは、図２２に示すように、機械学習における学習回数と損失関数の出力との関係をグラフＧ１１、Ｇ１２を表示する。図２２に示したグラフＧ１１、Ｇ１２の縦軸は損失関数の出力を示し、横軸は学習回数を示す。学習回数とは、例えば、ニューラルネットワークを学習させる際に行われるバックプロパゲーションの回数（すなわち、重みを更新した回数）等が該当する。なお、学習は随時行われているので、表示制御部２３ｂは、学習結果ボタンＢ３１又はＢ３２が選択された場合に、最新の学習結果の情報を表示する。
【0114】
［５－１０．表示例（１０）］
また、上記では、病理画像に重畳表示する診断支援情報の例として、枠画像やマスク画像を説明した。しかし、表示制御部２３ｂは、診断支援情報の例として、注目領域を指し示す矢印画像を病理画像に重畳表示してもよいし、注目領域に関する説明であるテキスト情報を表示してもよい。
また、上記では、病理画像に重畳表示する診断支援情報の例として、枠画像やマスク画像を説明した。しかし、表示制御部２３ｂは、診断支援情報の例として、注目領域を指し示す矢印画像を病理画像に重畳表示してもよいし、注目領域に関する説明であるテキスト情報を表示してもよい。
【0115】
［５－１１．撮像条件の異なる病理画像］
また、［２－１．病理画像］で説明したように、病理画像であるタイル画像は、焦点距離や染色条件等の撮像条件毎に生成されてもよい。撮像条件毎にタイル画像が生成される場合、表示制御部２３ｂは、図１１及び図１４～図２２を用いて説明した例において、例えば特定の撮像条件に対応する病理画像（以下、特定の病理画像とする）を表示する。このとき、表示制御部２３ｂは、特定の病理画像とともに、特定の撮像条件と異なる撮像条件に対応する他の病理画像であって、特定の病理画像と同一領域の他の病理画像を並べて表示してもよい。この場合、表示制御部２３ｂは、他の病理画像のうち、特定の病理画像の注目領域と対応する位置に注目領域を示す情報（マスク画像や枠画像等）を表示する。なお、特定の撮像条件は、閲覧者に指定されてもよい。また、表示制御部２３ｂは、閲覧者に複数の撮像条件が指定された場合には、各撮像条件に対応する同一領域の病理画像を並べて表示してもよい。
また、［２－１．病理画像］で説明したように、病理画像であるタイル画像は、焦点距離や染色条件等の撮像条件毎に生成されてもよい。撮像条件毎にタイル画像が生成される場合、表示制御部２３ｂは、図１１及び図１４～図２２を用いて説明した例において、例えば特定の撮像条件に対応する病理画像（以下、特定の病理画像とする）を表示する。このとき、表示制御部２３ｂは、特定の病理画像とともに、特定の撮像条件と異なる撮像条件に対応する他の病理画像であって、特定の病理画像と同一領域の他の病理画像を並べて表示してもよい。この場合、表示制御部２３ｂは、他の病理画像のうち、特定の病理画像の注目領域と対応する位置に注目領域を示す情報（マスク画像や枠画像等）を表示する。なお、特定の撮像条件は、閲覧者に指定されてもよい。また、表示制御部２３ｂは、閲覧者に複数の撮像条件が指定された場合には、各撮像条件に対応する同一領域の病理画像を並べて表示してもよい。
【0116】
［５－１２．診断予測結果］
また、表示制御部２３ｂは、図１１及び図１４～図２２に示した例において、注目領域を示す情報（マスク画像や枠画像等）とともに、診断結果と予測される情報を表示してもおい。上記の通り、学習モデル１２１を用いて導出される注目スコアは、病変部が存在する確率を示すともいえる。すなわち、第２の病理画像の各領域に対応する注目スコアは、各領域に病変が存在する確率を示すともいえる。表示制御部２３ｂは、このような注目スコアから定まる病変の存在確率に関する情報を表示してもよい。例えば、表示制御部２３ｂは、図１１及び図１４～図２２に示した例において、注目領域を示す情報（マスク画像や枠画像等）とともに、病変の存在確率に関する情報を重畳表示してもよい。
また、表示制御部２３ｂは、図１１及び図１４～図２２に示した例において、注目領域を示す情報（マスク画像や枠画像等）とともに、診断結果と予測される情報を表示してもおい。上記の通り、学習モデル１２１を用いて導出される注目スコアは、病変部が存在する確率を示すともいえる。すなわち、第２の病理画像の各領域に対応する注目スコアは、各領域に病変が存在する確率を示すともいえる。表示制御部２３ｂは、このような注目スコアから定まる病変の存在確率に関する情報を表示してもよい。例えば、表示制御部２３ｂは、図１１及び図１４～図２２に示した例において、注目領域を示す情報（マスク画像や枠画像等）とともに、病変の存在確率に関する情報を重畳表示してもよい。
【0117】
また、表示制御部２３ｂによって表示される情報はこれまで説明した情報に限られず、表示制御部２３ｂは、付加情報を適宜表示してよい。例えば、表示制御部２３ｂは、病理画像の解像度を表示してもよい。また、表示制御部２３ｂは、閲覧履歴情報に基づいて、観察対象を表示する推奨サイズ等を表示してもよい。また、表示制御部２３ｂは、同一患者の過去の病理画像を並べて表示してもよい。また、表示制御部２３ｂは、表示対象の病理画像と類似する他の患者の病理画像を表示してもよい。
【0118】
［６．変形例２］
以下、学習処理の変形例を説明する。
以下、学習処理の変形例を説明する。
【0119】
［６－１．学習処理（１）］
上記実施形態では、学習部１３３が、サーバ１２から取得した閲覧履歴情報を用いて学習する例を示した。しかし、学習部１３３は、閲覧履歴情報として、医療情報システム３０に記憶されている病理画像を取得してよい。具体的には、図９Ａ～図９Ｃを用いて説明したように、医療情報システム３０の診断情報記憶部には、病理医が診断時に保存した病理画像が記憶される。病理医は、病変部があった病理画像の領域を拡大して保存しておくことが多い。すなわち、診断情報記憶部に記憶される病理画像は、全体画像の一部領域の画像であって、病変部があった領域、または、病変部がある可能性の高い領域に該当することが多い。このため、学習部１３３は、医療情報システム３０に記憶されている病理画像が注目すべき領域であるものとして学習する。例えば、学習部１３３は、サーバ１２に記憶されている第１の病理画像からヒートマップ画像を生成する場合に、第１の病理画像のうち、医療情報システム３０から取得した病理画像に対応する領域の注目指標値を所定値だけ加算する。これにより、学習部１３３は、病理医による閲覧操作だけでなく、病理医が実際に注目して保存した病理画像を加味して学習することができるので、精度の高い学習モデル１２１を生成することができる。
上記実施形態では、学習部１３３が、サーバ１２から取得した閲覧履歴情報を用いて学習する例を示した。しかし、学習部１３３は、閲覧履歴情報として、医療情報システム３０に記憶されている病理画像を取得してよい。具体的には、図９Ａ～図９Ｃを用いて説明したように、医療情報システム３０の診断情報記憶部には、病理医が診断時に保存した病理画像が記憶される。病理医は、病変部があった病理画像の領域を拡大して保存しておくことが多い。すなわち、診断情報記憶部に記憶される病理画像は、全体画像の一部領域の画像であって、病変部があった領域、または、病変部がある可能性の高い領域に該当することが多い。このため、学習部１３３は、医療情報システム３０に記憶されている病理画像が注目すべき領域であるものとして学習する。例えば、学習部１３３は、サーバ１２に記憶されている第１の病理画像からヒートマップ画像を生成する場合に、第１の病理画像のうち、医療情報システム３０から取得した病理画像に対応する領域の注目指標値を所定値だけ加算する。これにより、学習部１３３は、病理医による閲覧操作だけでなく、病理医が実際に注目して保存した病理画像を加味して学習することができるので、精度の高い学習モデル１２１を生成することができる。
【0120】
［６－２．学習処理（２）］
また、上記実施形態において、学習部１３３は、第１の病理画像のうち、全体画像のみを用いて学習してもよい。そして、学習部１３３は、学習処理に用いる閲覧履歴情報を、全体画像のうち注目して閲覧された領域の位置情報としてもよい。これにより、学習部１３３は、観察対象物全体に対応する全体画像の中で、特に注目すべき領域を推定することが可能な学習モデル１２１を生成することができる。
また、上記実施形態において、学習部１３３は、第１の病理画像のうち、全体画像のみを用いて学習してもよい。そして、学習部１３３は、学習処理に用いる閲覧履歴情報を、全体画像のうち注目して閲覧された領域の位置情報としてもよい。これにより、学習部１３３は、観察対象物全体に対応する全体画像の中で、特に注目すべき領域を推定することが可能な学習モデル１２１を生成することができる。
【0121】
［６－３．学習処理（３）］
また、学習部１３３は、観察対象物（ここでは第１の患部組織）に関する情報に基づき重みづけを行って学習を行ってもよい。例えば、学習部１３３は、観察対象物に関する情報として、第１の患部組織が採取された患者に関する情報（性別、年齢、病歴など）や、第１の患部組織の部位情報（大腸、肺等）、第１の患部組織を染色した試薬、第１の患部組織を染色した機関に関する情報、観察対象物の病変部位の種類や進行度などを用いることができる。
また、学習部１３３は、観察対象物（ここでは第１の患部組織）に関する情報に基づき重みづけを行って学習を行ってもよい。例えば、学習部１３３は、観察対象物に関する情報として、第１の患部組織が採取された患者に関する情報（性別、年齢、病歴など）や、第１の患部組織の部位情報（大腸、肺等）、第１の患部組織を染色した試薬、第１の患部組織を染色した機関に関する情報、観察対象物の病変部位の種類や進行度などを用いることができる。
【0122】
例えば、学習部１３３は、患者の年齢が高いほど、かかる患者に対応する第１の病理画像の重みを重くして学習してもよい。また、例えば、学習部１３３は、第１の患部組織を染色した機関の信頼性が高いほど、かかる機関が染色した第１の患部組織に対応する第１の病理画像の重みを重くして学習してもよい。
【0123】
また、学習部１３３は、第１の患部組織に関する情報毎に分けて学習することで、第１の患部組織に関する情報毎に学習モデルを生成してもよい。例えば、学習部１３３は、男性だけの第１の病理画像に基づいて男性用の学習モデルを生成し、女性だけの第１の病理画像に基づいて女性用の学習モデルを生成する。この場合、導出部１３４は、予測対象の第２の病理画像に対応する患者の性別と一致する学習モデルを用いて導出処理を行う。他の例についても同様に、学習部１３３は、大腸用の学習モデルと、肺用の学習モデルを生成してもよいし、染色機関Ａ用の学習モデルと、染色機関Ｂ用の学習モデルとを生成してもよい。また、学習部１３３は、例えば、大腸用の学習モデルを生成する場合には、大腸の発生率が高い男性の第１の病理画像を女性の第１の病理画像よりも重みを重くして学習してもよい。また、学習部１３３は、例えば、乳がん用の学習モデルを生成する場合には、乳がんの発生率が高い女性の第１の病理画像を男性の第１の病理画像よりも重みを重くして学習してもよい。
【0124】
なお、学習部１３３が第１の患部組織に関する情報毎に学習モデルを生成した場合、導出部１３４は、各学習モデルを用いて、診断支援情報を導出してもよい。例えば、導出部１３４は、染色機関Ａ用の学習モデルを用いて診断支援情報Ｘ１を導出するとともに、染色機関Ｂ用の学習モデルを用いて診断支援情報Ｘ２を導出してもよい。そして、表示制御部２３ｂは、診断支援情報Ｘ１に基づく注目領域を示す情報（マスク画像等）と、診断支援情報Ｘ２に基づく注目領域を示す情報との双方を同一の病理画像に重畳表示してもよい。このとき、表示制御部２３ｂは、診断支援情報の信頼度に応じて、注目領域を示す情報の表示態様（彩度、輝度、透過度など）を変更してもよい。例えば、表示制御部２３ｂは、染色機関Ａよりも染色機関Ｂの方が信頼度が高い場合には、診断支援情報Ｘ１よりも診断支援情報Ｘ２の方が信頼度が高いとする。また、表示制御部２３ｂは、図１６の例において、診断支援情報の信頼度に応じて、病理画像の表示を切り替えてもよい。例えば、表示制御部２３ｂは、診断支援情報の信頼度が高い順に、かかる診断支援情報によって特定される領域に対応する病理画像を表示する。また、表示制御部２３ｂは、図２０の例において、診断支援情報の信頼度に応じて、病理画像を並べて表示してもよい。例えば、表示制御部２３ｂは、診断支援情報の信頼度が高い順に、かかる診断支援情報によって特定される領域に対応する病理画像を並べて表示する。
【0125】
また、学習部１３３が観察対象物の病変部位の種類（図９Ａ～図９Ｃに示した組織型）毎に学習モデルを生成するものとする。この場合には、導出部１３４は、第２の病理画像を各学習モデルに適用することで、病変部位の種類毎に、第２の病理画像の各領域に対応する注目スコア、すなわち、病変部が存在する確率を導出することができる。表示制御部２３ｂは、このような注目スコアに基づいて、病変部位の種類毎に、病変部が存在する確率を注目領域を示す情報（マスク画像や枠画像等）とともに表示してもよい。同様に、学習部１３３が観察対象物の進行度（図９Ａ～図９Ｃに示したグレード）毎に学習モデルを生成した場合には、表示制御部２３ｂは、病変部のグレードに関する情報を表示してもよい。
【0126】
［６－４．学習処理（４）］
また、学習部１３３は、第１の病理画像の撮像に関する情報に基づき重みづけを行って学習を行ってもよい。例えば、学習部１３３は、第１の病理画像の撮像に関する情報として、第１の病理画像を撮像した機器、第１の病理画像を撮像した機関に関する情報などを用いることができる。
また、学習部１３３は、第１の病理画像の撮像に関する情報に基づき重みづけを行って学習を行ってもよい。例えば、学習部１３３は、第１の病理画像の撮像に関する情報として、第１の病理画像を撮像した機器、第１の病理画像を撮像した機関に関する情報などを用いることができる。
【0127】
例えば、学習部１３３は、第１の病理画像を撮像した機器が高精度であるほど、かかる機器により撮像された第１の病理画像の重みを重くして学習してもよい。また、例えば、学習部１３３は、第１の病理画像を撮像した機関の信頼性が高いほど、かかる機関により撮像された第１の病理画像の重みを重くして学習してもよい。また、学習部１３３は、第１の病理画像の撮像に関する情報毎に分けて学習することで、第１の病理画像の撮像に関する情報毎に学習モデルを生成してもよい。また、表示制御部２３ｂは、各学習モデルを用いて導出された複数の診断支援情報を表示してもよい。また、表示制御部２３ｂは、撮像機器や撮像機関の信頼度で定まる診断支援情報の信頼度に応じて、注目領域を示す情報の表示態様を変更してもよい。
【0128】
［６－５．学習処理（５）］
また、学習部１３３は、第１の病理画像の表示に関する情報に基づき重みづけを行って学習を行ってもよい。例えば、学習部１３３は、第１の病理画像の表示に用いた機器、第１の病理画像の表示に用いたプログラム、１の記病理画像の表示された領域の閲覧時間、または、第１の病理画像の表示された領域の表示回数に関する情報などを用いることができる。
また、学習部１３３は、第１の病理画像の表示に関する情報に基づき重みづけを行って学習を行ってもよい。例えば、学習部１３３は、第１の病理画像の表示に用いた機器、第１の病理画像の表示に用いたプログラム、１の記病理画像の表示された領域の閲覧時間、または、第１の病理画像の表示された領域の表示回数に関する情報などを用いることができる。
【0129】
例えば、学習部１３３は、第１の病理画像に表示に用いられた表示機器が高精度であるほど、かかる表示機器により表示されて診断された第１の病理画像の重みを重くして学習してもよい。また、例えば、学習部１３３は、第１の病理画像に表示に用いられたプログラムが高精度であるほど、かかるプログラムにより表示されて診断された第１の病理画像の重みを重くして学習してもよい。なお、閲覧時間や表示回数については既に説明したように、学習部１３３は、閲覧時間や表示回数に応じた重みとして注目指標値を反映させたヒートマップ画像に基づいて学習を行う。また、学習部１３３は、第１の病理画像の表示に関する情報毎に分けて学習することで、第１の病理画像の表示に関する情報毎に学習モデルを生成してもよい。また、表示制御部２３ｂは、各学習モデルを用いて導出された複数の診断支援情報を表示してもよい。また、表示制御部２３ｂは、表示機器や表示プログラムの信頼度で定まる診断支援情報の信頼度に応じて、注目領域を示す情報の表示態様を変更してもよい。
【0130】
［６－６．学習処理（６）］
また、学習部１３３は、閲覧履歴情報に対応するユーザ（すなわち、第１の病理画像の閲覧者）に関する情報に基づき重みづけを行って学習を行ってもよい。例えば、学習部１３３は、閲覧履歴情報に対応するユーザに関する情報として、第１の病理画像を診断した診断者を特定する情報、または診断者の能力ランクを示す情報などを用いることができる。
また、学習部１３３は、閲覧履歴情報に対応するユーザ（すなわち、第１の病理画像の閲覧者）に関する情報に基づき重みづけを行って学習を行ってもよい。例えば、学習部１３３は、閲覧履歴情報に対応するユーザに関する情報として、第１の病理画像を診断した診断者を特定する情報、または診断者の能力ランクを示す情報などを用いることができる。
【0131】
例えば、学習部１３３は、第１の病理画像を診断した診断者の診断レベルや能力ランクが高いほど、かかる診断者によって閲覧された第１の病理画像の重みを重くして学習してもよい。診断者の診断レベルや能力ランクは、経験年数、経験した症例数などに基づいて定まる。また、学習部１３３は、閲覧履歴情報に対応するユーザに関する情報毎に分けて学習することで、閲覧履歴情報に対応するユーザに関する情報毎に学習モデルを生成してもよい。また、表示制御部２３ｂは、各学習モデルを用いて導出された複数の診断支援情報を表示してもよい。また、表示制御部２３ｂは、診断者の診断レベルや能力ランクの信頼度で定まる診断支援情報の信頼度に応じて、注目領域を示す情報の表示態様を変更してもよい。
【0132】
［６－７．学習処理（７）］
また、上記実施形態では、ヒートマップ画像を用いて学習を行う例を示したが、学習部１３３は、ヒートマップ画像を用いずに学習を行ってもよい。例えば、学習部１３３は、第１の病理画像の各領域に対する病理医の閲覧時間、閲覧回数、拡大率などを説明変数とし、病理画像の各領域に対する病理医の注目度合いを示す注目スコア（例えば、０～１）を目的変数として学習してもよい。このとき、学習部１３３は、閲覧時間が長い領域ほど注目スコアが高くなり、閲覧回数が多い領域ほど注目スコアが高くなり、拡大して閲覧された領域ほど注目スコアが高くなり、拡大率が高い領域ほど注目スコアが高くなるように学習する。
また、上記実施形態では、ヒートマップ画像を用いて学習を行う例を示したが、学習部１３３は、ヒートマップ画像を用いずに学習を行ってもよい。例えば、学習部１３３は、第１の病理画像の各領域に対する病理医の閲覧時間、閲覧回数、拡大率などを説明変数とし、病理画像の各領域に対する病理医の注目度合いを示す注目スコア（例えば、０～１）を目的変数として学習してもよい。このとき、学習部１３３は、閲覧時間が長い領域ほど注目スコアが高くなり、閲覧回数が多い領域ほど注目スコアが高くなり、拡大して閲覧された領域ほど注目スコアが高くなり、拡大率が高い領域ほど注目スコアが高くなるように学習する。
【0133】
［６－８．学習処理（８）］
また、図８に示した閲覧履歴記憶部１２ａは、第１の病理画像を閲覧した際の閲覧者の視線情報を記憶してもよい。例えば、閲覧履歴記憶部１２ａは、視線情報として、閲覧者が所定時間以上閲覧した第１の病理画像の領域や、所定回数以上閲覧した第１の病理画像の領域の位置情報を記憶する。このような視線情報は、アイトラッキング等の技術により取得可能である。そして、学習部１３３は、閲覧履歴記憶部１２ａに記憶されている視線情報を加味して学習してもよい。例えば、学習部１３３は、上述したヒートマップ画像に、視線情報に基づく注目指標値を反映した上で学習する。
また、図８に示した閲覧履歴記憶部１２ａは、第１の病理画像を閲覧した際の閲覧者の視線情報を記憶してもよい。例えば、閲覧履歴記憶部１２ａは、視線情報として、閲覧者が所定時間以上閲覧した第１の病理画像の領域や、所定回数以上閲覧した第１の病理画像の領域の位置情報を記憶する。このような視線情報は、アイトラッキング等の技術により取得可能である。そして、学習部１３３は、閲覧履歴記憶部１２ａに記憶されている視線情報を加味して学習してもよい。例えば、学習部１３３は、上述したヒートマップ画像に、視線情報に基づく注目指標値を反映した上で学習する。
【0134】
（第２の実施形態）
上記第１の実施形態では、学習モデルを用いて診断支援情報を導出する例を示した。第２の実施形態では、学習モデルを用いずに診断支援情報を導出する例について説明する。
上記第１の実施形態では、学習モデルを用いて診断支援情報を導出する例を示した。第２の実施形態では、学習モデルを用いずに診断支援情報を導出する例について説明する。
【0135】
【0136】
記憶部２２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部２２０は、履歴情報記憶部２２１を有する。
【0137】
制御部２３０は、例えば、ＣＰＵやＭＰＵによって、導出装置２００内部に記憶された診断支援プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部２３０は、例えばＡＳＩＣやＦＰＧＡ等の集積回路により実行されてもよい。図２３に示すように、制御部２３０は、履歴情報取得部２３１と、診断情報取得部２３２と、導出部２３４とを有する。
【0138】
履歴情報取得部２３１は、病理システム１０のサーバ１２から第１の病理画像と、第１の病理画像に対する閲覧に関する閲覧履歴情報とを取得し、取得した第１の病理画像と閲覧履歴情報を履歴情報記憶部２２１に格納する。
【0139】
診断情報取得部２３２は、医療情報システム３０から、第１の病理画像に対応する第１の患部組織に対する診断情報を取得し、取得した診断情報を履歴情報記憶部２２１に格納する。
【0140】
導出部２３４は、表示制御装置２３から第２の病理画像を受け付けた場合に、履歴情報記憶部２２１を参照することで、第２の病理画像との類似度が所定の閾値ＴＨ４よりも高い第１の病理画像に関する閲覧履歴情報に基づいて、診断支援情報を導出する。具体的には、導出部２３４は、履歴情報記憶部２２１に記憶されている第１の病理画像のうち、第２の病理画像と特徴量の類似度が閾値ＴＨ４よりも高く、かつ診断結果が陽性である第１の病理画像を特定する。そして、導出部２３４は、特定した第１の病理画像に対応する閲覧履歴情報に基づいて、第１の病理画像の注目領域と類似する第２の病理画像の領域の位置情報等を診断支援情報として導出する。
【0141】
なお、導出部２３４は、第２の病理画像との相関度が所定の閾値ＴＨ５よりも高い第１の病理画像に関する閲覧履歴情報に基づいて、診断支援情報を導出してもよい。ここでいう相関度とは、患者の属性（性別、年齢など）の同一性や、患部組織の同一性等に該当する。
【0142】
このように、第２の実施形態に係る導出装置２００は、学習モデルを用いずに診断支援情報を導出することができる。なお、第１の実施形態で説明した表示制御装置２３による表示処理は、第２の実施形態に適用することができる。
【0143】
（その他の実施形態）
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
【0144】
［表示装置］
上記実施形態では、据え置きタイプの表示装置２４に表示される病理画像に、マスク画像等の注目領域を示す情報を重畳表示する例を示した。しかし、注目領域を示す情報は、表示装置２４に表示される病理画像を閲覧している閲覧者が装着している装着装置（ヘッドマウントディスプレイ等）に表示されてもよい。これにより、表示装置２４に表示される病理画像に、装着装置に表示される注目領域を示す情報を重畳させてもよい。また、注目領域を示す情報は、表示装置２４の前面を覆うように装着される透明型ディスプレイに表示されてもよい。これにより、表示装置２４に表示される病理画像に、透明型ディスプレイに表示される注目領域を示す情報を重畳させてもよい。
上記実施形態では、据え置きタイプの表示装置２４に表示される病理画像に、マスク画像等の注目領域を示す情報を重畳表示する例を示した。しかし、注目領域を示す情報は、表示装置２４に表示される病理画像を閲覧している閲覧者が装着している装着装置（ヘッドマウントディスプレイ等）に表示されてもよい。これにより、表示装置２４に表示される病理画像に、装着装置に表示される注目領域を示す情報を重畳させてもよい。また、注目領域を示す情報は、表示装置２４の前面を覆うように装着される透明型ディスプレイに表示されてもよい。これにより、表示装置２４に表示される病理画像に、透明型ディスプレイに表示される注目領域を示す情報を重畳させてもよい。
【0145】
［撮像装置］
また、上記実施形態では、観察対象物を撮像する装置として顕微鏡を例に挙げて説明したが、これに限られない。例えば、観察対象物を撮像する装置は、患者の体内を撮像する内視鏡、ＣＴ（Computed Tomography）、またはＭＲＩ（Magnetic Resonance Image）などの医療画像取得装置でもよい。この場合、サーバ１２やサーバ２２には、内視鏡により生成される二次元の静止画像または動画像や、ＣＴやＭＲＩにより生成される三次元画像等の医用画像が保存される。また、サーバ１２やサーバ２２は、これらの画像と対応づけて、撮像条件やその画像に対する診断結果などの画像に関連する情報を記憶してもよい。
また、上記実施形態では、観察対象物を撮像する装置として顕微鏡を例に挙げて説明したが、これに限られない。例えば、観察対象物を撮像する装置は、患者の体内を撮像する内視鏡、ＣＴ（Computed Tomography）、またはＭＲＩ（Magnetic Resonance Image）などの医療画像取得装置でもよい。この場合、サーバ１２やサーバ２２には、内視鏡により生成される二次元の静止画像または動画像や、ＣＴやＭＲＩにより生成される三次元画像等の医用画像が保存される。また、サーバ１２やサーバ２２は、これらの画像と対応づけて、撮像条件やその画像に対する診断結果などの画像に関連する情報を記憶してもよい。
【0146】
［サーバ］
また、サーバ１２やサーバ２２には、顕微鏡により生成された病理画像に対応付けて、内視鏡やＣＴやＭＲＩ等の他の医療画像取得装置で撮像された他の病理画像が記憶されてもよい。この場合、表示制御部２３ｂは、顕微鏡により生成された病理画像に加えて、参照用に、他の撮像装置で撮像された他の病理画像を並べて表示してもよい。
また、サーバ１２やサーバ２２には、顕微鏡により生成された病理画像に対応付けて、内視鏡やＣＴやＭＲＩ等の他の医療画像取得装置で撮像された他の病理画像が記憶されてもよい。この場合、表示制御部２３ｂは、顕微鏡により生成された病理画像に加えて、参照用に、他の撮像装置で撮像された他の病理画像を並べて表示してもよい。
【0147】
［病理画像］
サーバ１２やサーバ２２に保存される病理画像の中には、解像度が低い病理画像もある。すなわち、閲覧履歴情報はあるものの、かかる閲覧履歴情報に対応する病理画像の解像度が適切に学習が行える程度でない場合がある。ここで、観察対象物が収められたガラススライドが保存されている場合には、ガラススライドを高解像度の顕微鏡で再撮像を行い高解像度の病理画像を新たに生成することがある。このため、導出装置１００は、学習用の第１の病理画像の解像度が適切な学習が行える程度でなく、かつ、再撮像された病理画像がある場合には、かかる第１の病理画像の閲覧履歴情報と、再撮像された病理画像とを対応付けて上述してきた学習を行ってもよい。このとき、導出装置１００は、第１の病理画像と、再撮像された病理画像との位置合わせを行い、第１の病理画像の閲覧履歴情報によってしめされる注目領域が再撮像された病理画像の領域に対応するよう処理を行う。
サーバ１２やサーバ２２に保存される病理画像の中には、解像度が低い病理画像もある。すなわち、閲覧履歴情報はあるものの、かかる閲覧履歴情報に対応する病理画像の解像度が適切に学習が行える程度でない場合がある。ここで、観察対象物が収められたガラススライドが保存されている場合には、ガラススライドを高解像度の顕微鏡で再撮像を行い高解像度の病理画像を新たに生成することがある。このため、導出装置１００は、学習用の第１の病理画像の解像度が適切な学習が行える程度でなく、かつ、再撮像された病理画像がある場合には、かかる第１の病理画像の閲覧履歴情報と、再撮像された病理画像とを対応付けて上述してきた学習を行ってもよい。このとき、導出装置１００は、第１の病理画像と、再撮像された病理画像との位置合わせを行い、第１の病理画像の閲覧履歴情報によってしめされる注目領域が再撮像された病理画像の領域に対応するよう処理を行う。
【0148】
［ハードウェア構成］
上述してきた各実施形態に係る導出装置１００、２００や表示制御装置２３等の情報機器は、例えば図２４に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係る導出装置１００を例に挙げて説明する。図２４は、導出装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
上述してきた各実施形態に係る導出装置１００、２００や表示制御装置２３等の情報機器は、例えば図２４に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係る導出装置１００を例に挙げて説明する。図２４は、導出装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
【0149】
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
【0150】
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0151】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る応答生成プログラムを記録する記録媒体である。
【0152】
通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
【0153】
入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、コンピュータ読み取り可能な所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0154】
例えば、コンピュータ１０００が第１の実施形態に係る導出装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた診断支援プログラムを実行することにより、履歴情報取得部１３１、診断情報取得部１３２、学習部１３３、導出部１３４等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る診断支援プログラムや、記憶部１２０内のデータが格納される。また、例えば、コンピュータ１０００が第１の実施形態に係る表示制御装置２３として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた表示制御プログラムを実行することにより、画像取得部２３ａ、表示制御部２３ｂ等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る表示制御プログラムが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらの診断支援プログラムや表示制御プログラムを取得してもよい。
【0155】
［その他］
上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0156】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0157】
また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0158】
（効果）
上述してきたように、導出装置１００（又は２００）は、第１の患部組織に対応する第１の病理画像と、第１の病理画像に対する閲覧履歴に関する履歴情報（上述した閲覧履歴情報）と、第１の病理画像に対応する第１の患部組織に対する診断情報とに基づいて、診断対象の第２の患部組織に対応する第２の病理画像の診断を支援する診断支援情報を導出する導出手順をコンピュータに実行させる。また、診断支援システム１は、顕微鏡１１（又は２１）と、診断を支援する情報である診断支援情報を導出する導出装置１００（又は２００）とを備える。なお、導出装置１００による処理は、顕微鏡１１（又は２１）により撮像される対象物に対応する病理画像の処理に使われるソフトウェアによって実現されてよい。なお、以下の効果の説明では、導出装置１００を導出装置２００と読み替えることができる。
上述してきたように、導出装置１００（又は２００）は、第１の患部組織に対応する第１の病理画像と、第１の病理画像に対する閲覧履歴に関する履歴情報（上述した閲覧履歴情報）と、第１の病理画像に対応する第１の患部組織に対する診断情報とに基づいて、診断対象の第２の患部組織に対応する第２の病理画像の診断を支援する診断支援情報を導出する導出手順をコンピュータに実行させる。また、診断支援システム１は、顕微鏡１１（又は２１）と、診断を支援する情報である診断支援情報を導出する導出装置１００（又は２００）とを備える。なお、導出装置１００による処理は、顕微鏡１１（又は２１）により撮像される対象物に対応する病理画像の処理に使われるソフトウェアによって実現されてよい。なお、以下の効果の説明では、導出装置１００を導出装置２００と読み替えることができる。
【0159】
これにより、上記実施形態によれば、診断支援情報に基づき、診断精度を向上させることができる。
【0160】
また、導出装置１００は、診断支援情報として、閲覧に関する情報を導出する。
【0161】
これにより、上記実施形態によれば、閲覧時の診断精度を向上させることができる。
【0162】
また、導出装置１００は、診断結果が陽性である診断情報に対応する閲覧履歴情報を用いて、診断支援情報を導出する。
【0163】
これにより、上記実施形態によれば、陽性時の閲覧履歴情報を加味した診断支援情報を導出するので、陽性の診断精度を向上させることができる。
【0164】
また、閲覧履歴情報は、第１の病理画像の診断時に保存された第１の病理画像の一部領域の画像に関する情報を含む。また、導出装置１００は、第１の病理画像に対応する患者の情報が登録された医療情報システムから、第１の病理画像の一部領域の画像を取得する。
【0165】
これにより、上記実施形態によれば、病理医が実際に注目して保存した病理画像を加味して診断支援情報を導出するので、診断精度をより向上させることができる。
【0166】
また、第１の病理画像は、第１の患部組織の全体を撮像した全体画像である。また、閲覧履歴情報は、第１の病理画像が閲覧された位置を示す位置情報である。
【0167】
これにより、上記実施形態によれば、第１の患部組織全体の診断支援情報を導出することができるので、第１の患部組織全体を漏れなく診断することを支援することができる。
【0168】
また、閲覧履歴情報は、第１の病理画像が閲覧された位置を示す位置情報、および第１の病理画像が閲覧された時間または回数を示す情報である。
【0169】
これにより、上記実施形態によれば、病理医が注目して閲覧した領域に基づいて診断支援情報を導出するので、診断精度をより向上させることができる。
【0170】
また、第１の病理画像は、第１の患部組織の各領域に対応する部分画像により形成される画像である。また、閲覧履歴情報は、各領域に対応する部分画像のうち、閲覧された部分画像を示す部分画像情報である。また、部分画像情報は、部分画像の位置を示す、または部分画像を特定する情報である。
【0171】
これにより、上記実施形態によれば、部分画像により病理画像が形成されるシステムであっても、診断精度を向上させることができる。
【0172】
また、導出装置１００は、閲覧履歴情報から推定される第２の病理画像の注目領域に基づいて、診断支援情報を導出する。
【0173】
これにより、上記実施形態によれば、診断対象の第２の病理画像のうち注目すべき領域を提供できるので、診断作業を容易にし、かつ、診断のばらつきを低減することができる。
【0174】
また、導出装置１００は、閲覧履歴情報に基づいて、表示倍率が大きい領域ほど注目度が高い注目領域とし、または、閲覧時間が長い領域ほど注目度が高い注目領域とし、または、閲覧回数が多い領域ほど注目度が高い注目領域として、診断支援情報を導出する。
【0175】
これにより、上記実施形態によれば、注目すべき領域を高精度に特定することができるので、診断精度をより向上させることができる。
【0176】
また、診断情報は、病変部位の有無、病変部位の種類、または病変部位の進行度に関する情報である。また、診断情報は、第１の病理画像に対応する患者の情報が登録された医療情報システムから、取得される。
【0177】
これにより、上記実施形態によれば、病変部位の有無、病変部位の種類、または病変部位の進行度に応じた診断支援情報を導出することができる。
【0178】
また、導出装置１００は、第１の病理画像と、閲覧履歴情報と、診断情報との対応を学習する。また、導出装置１００は、学習結果を用いて、診断支援情報を導出する。
【0179】
これにより、上記実施形態によれば、閲覧履歴情報を用いるので、弱教師学習などの詳細なアノテーションデータを必要としない教師学習の枠組みで精度良く診断支援情報を導出することができる。
【0180】
また、導出装置１００は、第１の患部組織に関する情報に基づき重みづけを行って学習、または第１の患部組織に関する情報ごとに分けて学習する。また、第１の患部組織に関する情報は、第１の患部組織が採取された患者に関する情報、第１の患部組織の部位情報、第１の患部組織を染色した試薬、または第１の患部組織を染色した機関に関する情報である。
【0181】
これにより、上記実施形態によれば、第１の患部組織に関する情報を用いることで、より高精度に診断支援情報を導出することができる。
【0182】
また、導出装置１００は、第１の病理画像の撮像に関する情報に基づき重みづけを行って学習、または第１の病理画像の撮像に関する情報ごとに分けて学習する。また、第１の病理画像の撮像に関する情報は、第１の病理画像を撮像した機器、または第１の病理画像を撮像した機関に関する情報である。
【0183】
これにより、上記実施形態によれば、第１の病理画像の撮像に関する情報を用いることで、より高精度に診断支援情報を導出することができる。
【0184】
また、導出装置１００は、第１の病理画像の表示に関する情報に基づき重みづけを行って学習、または第１の病理画像の表示に関する情報ごとに分けて学習する。また、第１の病理画像の表示に関する情報は、第１の病理画像の表示に用いた機器、第１の病理画像の表示に用いたプログラム、第１の記病理画像の表示された領域の閲覧時間、または第１の病理画像の表示された領域の表示回数に関する情報である。
【0185】
これにより、上記実施形態によれば、第１の病理画像の表示に関する情報を用いることで、より高精度に診断支援情報を導出することができる。
【0186】
また、導出装置１００は、閲覧履歴情報に対応するユーザに関する情報に基づき重みづけを行って学習、または閲覧履歴情報に対応するユーザに関する情報ごとに分けて学習する。また、閲覧履歴情報に対応するユーザに関する情報は、第１の病理画像を診断した診断者を特定する情報、または診断者の能力ランクを示す情報である。
【0187】
これにより、上記実施形態によれば、閲覧履歴情報に対応するユーザに関する情報を用いることで、より高精度に診断支援情報を導出することができる。
【0188】
また、導出装置１００は、診断結果が陽性を示す診断情報と、かかる診断情報に対応する閲覧履歴情報とを対応付けて学習する。
【0189】
これにより、上記実施形態によれば、陽性時の閲覧履歴情報を加味した診断支援情報を導出するので、陽性の診断精度を向上させることができる。
【0190】
また、導出装置１００は、診断結果が陰性を示す診断情報と、かかる診断情報に対応する閲覧履歴情報とを対応付けて学習する。
【0191】
これにより、上記実施形態によれば、陰性時の閲覧履歴情報を加味した診断支援情報を導出するので、陰性の診断精度を向上させることができる。
【0192】
また、導出装置１００は、第２の病理画像のうち注目領域以外の領域を、診断結果が陰性を示す診断情報として学習する。
【0193】
これにより、上記実施形態によれば、注目すべき領域をより高精度に推定することが可能になるので、診断精度をより向上させることができる。
【0194】
また、導出装置２００は、第２の病理画像との類似度が閾値よりも高い第１の病理画像、または第２の病理画像との相関度が閾値よりも高い第１の病理画像に対応する閲覧履歴に関する閲覧履歴情報に基づいて、診断支援情報を導出する。
【0195】
これにより、上記実施形態によれば、診断支援情報に基づき、診断精度を向上させることができる。
【0196】
また、表示制御装置２３は、診断支援情報に基づいて、診断に影響があると推測される領域である注目領域を視認可能な状態で第２の病理画像に重畳して表示するよう制御する。また、表示制御装置２３は、注目領域を覆う画像であるマスク画像、注目領域の外枠を示す画像である枠画像、注目領域を指し示す矢印画像、または注目領域を説明するテキスト情報で、第２の病理画像に重畳して表示するよう制御する。
【0197】
これにより、上記実施形態によれば、第２の病理画像のうち注目して診断すべき領域を表示するので、診断精度の向上及び診断の効率化を図ることができる。
【0198】
また、表示制御装置２３は、診断支援情報に基づいて、診断への影響度、または診断支援情報の信頼度に応じて、注目領域の表示態様を変える。また、表示態様は、彩度、輝度、または透過度である。
【0199】
これにより、上記実施形態によれば、影響度や信頼度が反映された情報を表示するので、診断精度の向上及び診断の効率化を図ることができる。
【0200】
また、表示制御装置２３は、注目領域に対応する第２の患部組織の一部画像を表示するよう制御する。
【0201】
これにより、上記実施形態によれば、注目すべき領域自体を表示するので、診断精度の向上及び診断の効率化を図ることができる。
【0202】
また、表示制御装置２３は、注目領域が複数ある場合は、各注目領域に対応する病理画像を表示するよう制御する。また、表示制御装置２３は、各注目領域に対応する病理画像を表示画面内に並べて表示するよう制御する。
【0203】
これにより、上記実施形態によれば、第１の患部組織全体を漏れなく診断することを支援することができる。
【0204】
また、表示制御装置２３は、各注目領域に対応する病理画像を、表示画面内に診断への影響度、または診断支援情報の信頼度の高い順に並べて表示するよう制御する。
【0205】
これにより、上記実施形態によれば、影響度や信頼度が反映された情報を表示するので、診断精度の向上及び診断の効率化を図ることができる。
【0206】
また、表示制御装置２３は、各注目領域に対応する病理画像を同一表示エリアに切り替えて表示するよう制御する。
【0207】
これにより、上記実施形態によれば、第１の患部組織全体を漏れなく診断することを支援することができる。
【0208】
また、表示制御装置２３は、各注目領域に対応する病理画像を、診断への影響度、または診断支援情報の信頼度の高い順に、同一表示エリアに切り替えて表示するよう制御する。
【0209】
これにより、上記実施形態によれば、影響度や信頼度が反映された情報を表示するので、診断精度の向上及び診断の効率化を図ることができる。
【0210】
また、診断支援情報は、第１の患部組織に対する診断結果と予測される診断予測結果である。また、診断予測結果とは、病変部位の有無、病変部位の種類、病変部位の進行度、または病変部位である確率である。
【0211】
これにより、上記実施形態によれば、診断予測結果という付加情報を導出することで、診断精度を向上させることができる。
【0212】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0213】
なお、本技術は以下のような構成も取ることができる。
（１）
第１の患部組織に対応する第１の病理画像と、前記第１の病理画像に対する閲覧履歴に関する履歴情報と、前記第１の病理画像に対応する第１の患部組織に対する診断情報とを取得する取得手順と、
前記第１の病理画像と、前記履歴情報と、前記診断情報とに基づいて、診断対象の第２の患部組織に対応する第２の病理画像の診断を支援する診断支援情報を導出する導出手順と、
を情報処理装置に実行させる診断支援プログラム。
（２）
前記導出手順は、
前記診断支援情報として、閲覧に関する情報を導出する、
前記（１）に記載の診断支援プログラム。
（３）
前記導出手順は、
診断結果が陽性である前記診断情報に対応する履歴情報を用いて、前記診断支援情報を導出する、
前記（１）又は（２）に記載の診断支援プログラム。
（４）
前記履歴情報は、前記第１の病理画像の診断時に保存された前記第１の病理画像の一部領域の画像に関する情報を含む
前記（１）～（３）のいずれか１つに記載の診断支援プログラム。
（５）
前記導出手順は、
前記第１の病理画像に対応する患者の情報が登録された医療情報システムから、前記第１の病理画像の一部領域の画像を取得する
前記（４）に記載の診断支援プログラム。
（６）
前記第１の病理画像は、前記第１の患部組織の全体を撮像した全体画像であり、
前記履歴情報は、前記第１の病理画像が閲覧された位置を示す位置情報である、
前記（１）～（５）のいずれか１つに記載の診断支援プログラム。
（７）
前記履歴情報は、前記第１の病理画像が閲覧された位置を示す位置情報、および前記第１の病理画像が閲覧された時間または回数を示す情報である、
前記（６）に記載の診断支援プログラム。
（８）
前記第１の病理画像は、前記第１の患部組織の各領域に対応する部分画像により形成される画像であり、
前記履歴情報は、前記各領域に対応する部分画像のうち、閲覧された部分画像を示す部分画像情報である、
前記（１）～（７）のいずれか１つに記載の診断支援プログラム。
（９）
前記部分画像情報は、前記部分画像の位置を示す、または前記部分画像を特定する情報である、
前記（８）に記載の診断支援プログラム。
（１０）
前記導出手順は、
前記履歴情報から推定される前記第２の病理画像の注目領域に基づいて、前記診断支援情報を導出する、
前記（１）～（９）のいずれか１つに記載の診断支援プログラム。
（１１）
前記導出手順は、
前記履歴情報に基づいて、表示倍率が大きい領域ほど注目度が高い注目領域とし、または、閲覧時間が長い領域ほど注目度が高い注目領域とし、または、閲覧回数が多い領域ほど注目度が高い注目領域として、前記診断支援情報を導出する、
前記（１０）に記載の診断支援プログラム。
（１２）
前記診断情報は、病変部位の有無、前記病変部位の種類、または前記病変部位の進行度に関する情報である、
前記（１）～（１１）のいずれか１つに記載の診断支援プログラム。
（１３）
前記診断情報は、前記第１の病理画像に対応する患者の情報が登録された医療情報システムから、取得される、
前記（１）～（１２）のいずれか１つに記載の診断支援プログラム。
（１４）
前記第１の病理画像と、前記履歴情報と、前記診断情報との対応を学習する学習手順をさらに前記コンピュータに実行させ、
前記導出手順は、
前記学習手順による学習結果を用いて、前記診断支援情報を導出する、
前記（１）～（１３）のいずれか１つに記載の診断支援プログラム。
（１５）
前記学習手順は、
前記第１の患部組織に関する情報に基づき重みづけを行って学習、または前記第１の患部組織に関する情報ごとに分けて学習する
前記（１４）に記載の診断支援プログラム。
（１６）
前記第１の患部組織に関する情報は、前記第１の患部組織が採取された患者に関する情報、前記第１の患部組織の部位情報、前記第１の患部組織を染色した試薬、または前記第１の患部組織を染色した機関に関する情報である、
前記（１５）に記載の診断支援プログラム。
（１７）
前記学習手順は、
前記第１の病理画像の撮像に関する情報に基づき重みづけを行って学習、または前記第１の病理画像の撮像に関する情報ごとに分けて学習する
前記（１４）～（１６）のいずれか１つに記載の診断支援プログラム。
（１８）
前記第１の病理画像の前記撮像に関する情報は、前記第１の病理画像を撮像した機器、または前記第１の病理画像を撮像した機関に関する情報である、
前記（１７）に記載の診断支援プログラム。
（１９）
前記学習手順は、
前記第１の病理画像の表示に関する情報に基づき重みづけを行って学習、または前記第１の病理画像の表示に関する情報ごとに分けて学習する
前記（１４）～（１８）のいずれか１つに記載の診断支援プログラム。
（２０）
前記第１の病理画像の前記表示に関する情報は、前記第１の病理画像の表示に用いた機器、前記第１の病理画像の表示に用いたプログラム、前記第１の記病理画像の表示された領域の閲覧時間、または前記第１の病理画像の表示された領域の表示回数に関する情報である、
前記（１９）に記載の診断支援プログラム。
（２１）
前記学習手順は、
前記履歴情報に対応するユーザに関する情報に基づき重みづけを行って学習、または前記履歴情報に対応するユーザに関する情報ごとに分けて学習する
前記（１４）～（２０）のいずれか１つに記載の診断支援プログラム。
（２２）
前記履歴情報に対応する前記ユーザに関する情報は、前記第１の病理画像を診断した診断者を特定する情報、または前記診断者の能力ランクを示す情報である、
前記（２１）に記載の診断支援プログラム。
（２３）
前記学習手順は、
診断結果が陽性を示す前記診断情報と、前記診断情報に対応する前記履歴情報とを対応付けて学習する、
前記（１４）～（２２）のいずれか１つに記載の診断支援プログラム。
（２４）
前記学習手順は、
診断結果が陰性を示す前記診断情報と、前記診断情報に対応する前記履歴情報とを対応付けて学習する、
前記（１４）～（２３）のいずれか１つに記載の診断支援プログラム。
（２５）
前記学習手順は、
前記第２の病理画像のうち注目領域以外の領域を、診断結果が陰性を示す前記診断情報として学習する、
前記（２４）に記載の診断支援プログラム。
（２６）
前記導出手順は、
前記第２の病理画像との類似度が閾値よりも高い前記第１の病理画像、または前記第２の病理画像との相関度が閾値よりも高い前記第１の病理画像に対応する閲覧履歴に関する履歴情報に基づいて、前記診断支援情報を導出する
前記（１）～（２５）のいずれか１つに記載の診断支援プログラム。
（２７）
顕微鏡と、
診断を支援する情報である診断支援情報を導出する導出装置、
とを備え、
前記導出装置は、
第１の患部組織に対応する第１の病理画像と、前記第１の病理画像に対する閲覧履歴に関する履歴情報と、前記第１の患部組織に対する診断情報とに基づいて、前記顕微鏡によって撮像された診断対象の第２の患部組織に対応する第２の病理画像の診断を支援する診断支援情報を導出する、
診断支援システム。
（２８）
顕微鏡と、前記顕微鏡により撮像される対象物に対応する病理画像の処理に使われるソフトウェアとを含んで構成される診断支援システムであって、
前記ソフトウェアは、
第１の患部組織に対応する第１の病理画像と、前記第１の病理画像に対する閲覧履歴に関する履歴情報と、前記第１の患部組織に対する診断情報とに基づいて、前記顕微鏡によって撮像された診断対象の第２の患部組織に対応する第２の病理画像の診断を支援する診断支援情報を導出する処理を情報処理装置に実行させる、
診断支援システム。
（２９）
前記診断支援システムは、さらに表示制御装置を備え、
前記表示制御装置は、
前記診断支援情報に基づいて、診断に影響があると推測される領域である注目領域を視認可能な状態で前記第２の病理画像に重畳して表示するよう制御する、
前記（２７）又は（２８）に記載の診断支援システム。
（３０）
前記表示制御装置は、
前記注目領域を覆う画像であるマスク画像、前記注目領域の外枠を示す画像である枠画像、前記注目領域を指し示す矢印画像、または前記注目領域を説明するテキスト情報で、前記第２の病理画像に重畳して表示するよう制御する、
前記（２９）に記載の診断支援システム。
（３１）
前記表示制御装置は、
前記診断支援情報に基づいて、前記診断への影響度、または前記診断支援情報の信頼度に応じて、前記注目領域の表示態様を変える、
前記（２９）又は（３０）に記載の診断支援システム。
（３２）
前記表示態様は、彩度、輝度、または透過度である、
前記（３１）に記載の診断支援システム。
（３３）
前記表示制御装置は、
前記注目領域に対応する前記第２の患部組織の一部画像を表示するよう制御する、
前記（２９）～（３２）のいずれか１つに記載の診断支援システム。
（３４）
前記表示制御装置は、
前記注目領域が複数ある場合は、各注目領域に対応する病理画像を表示するよう制御する、
前記（２９）～（３３）のいずれか１つに記載の診断支援システム。
（３５）
前記表示制御装置は、
前記各注目領域に対応する病理画像を表示画面内に並べて表示するよう制御する、
前記（３４）に記載の診断支援システム。
（３６）
前記表示制御装置は、
前記各注目領域に対応する病理画像を、表示画面内に前記診断への影響度、または前記診断支援情報の信頼度の高い順に並べて表示するよう制御する、
前記（３５）に記載の診断支援システム。
（３７）
前記表示制御装置は、
前記各注目領域に対応する病理画像を同一表示エリアに切り替えて表示するよう制御する、
前記（３４）に記載の診断支援システム。
（３８）
前記表示制御装置は、
前記各注目領域に対応する病理画像を、前記診断への影響度、または前記診断支援情報の信頼度の高い順に、前記同一表示エリアに切り替えて表示するよう制御する、
前記（３７）に記載の診断支援システム。
（３９）
前記診断支援情報は、前記第１の患部組織に対する診断結果と予測される診断予測結果である、
前記（２８）～（３８）のいずれか１つに記載の診断支援システム。
（４０）
前記診断予測結果とは、病変部位の有無、前記病変部位の種類、前記病変部位の進行度、または前記病変部位である確率である、
前記（３９）に記載の診断支援システム。
（４１）
コンピュータが、
第１の患部組織に対応する第１の病理画像と、前記第１の病理画像に対する閲覧履歴に関する履歴情報と、前記第１の病理画像に対応する第１の患部組織に対する診断情報とに基づいて、診断対象の第２の患部組織に対応する第２の病理画像の診断を支援する診断支援情報を導出する
診断支援方法。
（４２）
医療画像取得装置と、前記医療画像取得装置により撮像される対象物に対応する医療画像の処理に使われるソフトウェアとを含んで構成される診断支援システムであって、
前記ソフトウェアは、
第１の患部組織に対応する第１の医療画像と、前記第１の医療画像に対する閲覧履歴に関する履歴情報と、前記第１の患部組織に対する診断情報とに基づいて、前記医療画像取得装置によって撮像された診断対象の第２の患部組織に対応する第２の医療画像の診断を支援する診断支援情報を導出する処理を情報処理装置に実行させる、
診断支援システム。
（１）
第１の患部組織に対応する第１の病理画像と、前記第１の病理画像に対する閲覧履歴に関する履歴情報と、前記第１の病理画像に対応する第１の患部組織に対する診断情報とを取得する取得手順と、
前記第１の病理画像と、前記履歴情報と、前記診断情報とに基づいて、診断対象の第２の患部組織に対応する第２の病理画像の診断を支援する診断支援情報を導出する導出手順と、
を情報処理装置に実行させる診断支援プログラム。
（２）
前記導出手順は、
前記診断支援情報として、閲覧に関する情報を導出する、
前記（１）に記載の診断支援プログラム。
（３）
前記導出手順は、
診断結果が陽性である前記診断情報に対応する履歴情報を用いて、前記診断支援情報を導出する、
前記（１）又は（２）に記載の診断支援プログラム。
（４）
前記履歴情報は、前記第１の病理画像の診断時に保存された前記第１の病理画像の一部領域の画像に関する情報を含む
前記（１）～（３）のいずれか１つに記載の診断支援プログラム。
（５）
前記導出手順は、
前記第１の病理画像に対応する患者の情報が登録された医療情報システムから、前記第１の病理画像の一部領域の画像を取得する
前記（４）に記載の診断支援プログラム。
（６）
前記第１の病理画像は、前記第１の患部組織の全体を撮像した全体画像であり、
前記履歴情報は、前記第１の病理画像が閲覧された位置を示す位置情報である、
前記（１）～（５）のいずれか１つに記載の診断支援プログラム。
（７）
前記履歴情報は、前記第１の病理画像が閲覧された位置を示す位置情報、および前記第１の病理画像が閲覧された時間または回数を示す情報である、
前記（６）に記載の診断支援プログラム。
（８）
前記第１の病理画像は、前記第１の患部組織の各領域に対応する部分画像により形成される画像であり、
前記履歴情報は、前記各領域に対応する部分画像のうち、閲覧された部分画像を示す部分画像情報である、
前記（１）～（７）のいずれか１つに記載の診断支援プログラム。
（９）
前記部分画像情報は、前記部分画像の位置を示す、または前記部分画像を特定する情報である、
前記（８）に記載の診断支援プログラム。
（１０）
前記導出手順は、
前記履歴情報から推定される前記第２の病理画像の注目領域に基づいて、前記診断支援情報を導出する、
前記（１）～（９）のいずれか１つに記載の診断支援プログラム。
（１１）
前記導出手順は、
前記履歴情報に基づいて、表示倍率が大きい領域ほど注目度が高い注目領域とし、または、閲覧時間が長い領域ほど注目度が高い注目領域とし、または、閲覧回数が多い領域ほど注目度が高い注目領域として、前記診断支援情報を導出する、
前記（１０）に記載の診断支援プログラム。
（１２）
前記診断情報は、病変部位の有無、前記病変部位の種類、または前記病変部位の進行度に関する情報である、
前記（１）～（１１）のいずれか１つに記載の診断支援プログラム。
（１３）
前記診断情報は、前記第１の病理画像に対応する患者の情報が登録された医療情報システムから、取得される、
前記（１）～（１２）のいずれか１つに記載の診断支援プログラム。
（１４）
前記第１の病理画像と、前記履歴情報と、前記診断情報との対応を学習する学習手順をさらに前記コンピュータに実行させ、
前記導出手順は、
前記学習手順による学習結果を用いて、前記診断支援情報を導出する、
前記（１）～（１３）のいずれか１つに記載の診断支援プログラム。
（１５）
前記学習手順は、
前記第１の患部組織に関する情報に基づき重みづけを行って学習、または前記第１の患部組織に関する情報ごとに分けて学習する
前記（１４）に記載の診断支援プログラム。
（１６）
前記第１の患部組織に関する情報は、前記第１の患部組織が採取された患者に関する情報、前記第１の患部組織の部位情報、前記第１の患部組織を染色した試薬、または前記第１の患部組織を染色した機関に関する情報である、
前記（１５）に記載の診断支援プログラム。
（１７）
前記学習手順は、
前記第１の病理画像の撮像に関する情報に基づき重みづけを行って学習、または前記第１の病理画像の撮像に関する情報ごとに分けて学習する
前記（１４）～（１６）のいずれか１つに記載の診断支援プログラム。
（１８）
前記第１の病理画像の前記撮像に関する情報は、前記第１の病理画像を撮像した機器、または前記第１の病理画像を撮像した機関に関する情報である、
前記（１７）に記載の診断支援プログラム。
（１９）
前記学習手順は、
前記第１の病理画像の表示に関する情報に基づき重みづけを行って学習、または前記第１の病理画像の表示に関する情報ごとに分けて学習する
前記（１４）～（１８）のいずれか１つに記載の診断支援プログラム。
（２０）
前記第１の病理画像の前記表示に関する情報は、前記第１の病理画像の表示に用いた機器、前記第１の病理画像の表示に用いたプログラム、前記第１の記病理画像の表示された領域の閲覧時間、または前記第１の病理画像の表示された領域の表示回数に関する情報である、
前記（１９）に記載の診断支援プログラム。
（２１）
前記学習手順は、
前記履歴情報に対応するユーザに関する情報に基づき重みづけを行って学習、または前記履歴情報に対応するユーザに関する情報ごとに分けて学習する
前記（１４）～（２０）のいずれか１つに記載の診断支援プログラム。
（２２）
前記履歴情報に対応する前記ユーザに関する情報は、前記第１の病理画像を診断した診断者を特定する情報、または前記診断者の能力ランクを示す情報である、
前記（２１）に記載の診断支援プログラム。
（２３）
前記学習手順は、
診断結果が陽性を示す前記診断情報と、前記診断情報に対応する前記履歴情報とを対応付けて学習する、
前記（１４）～（２２）のいずれか１つに記載の診断支援プログラム。
（２４）
前記学習手順は、
診断結果が陰性を示す前記診断情報と、前記診断情報に対応する前記履歴情報とを対応付けて学習する、
前記（１４）～（２３）のいずれか１つに記載の診断支援プログラム。
（２５）
前記学習手順は、
前記第２の病理画像のうち注目領域以外の領域を、診断結果が陰性を示す前記診断情報として学習する、
前記（２４）に記載の診断支援プログラム。
（２６）
前記導出手順は、
前記第２の病理画像との類似度が閾値よりも高い前記第１の病理画像、または前記第２の病理画像との相関度が閾値よりも高い前記第１の病理画像に対応する閲覧履歴に関する履歴情報に基づいて、前記診断支援情報を導出する
前記（１）～（２５）のいずれか１つに記載の診断支援プログラム。
（２７）
顕微鏡と、
診断を支援する情報である診断支援情報を導出する導出装置、
とを備え、
前記導出装置は、
第１の患部組織に対応する第１の病理画像と、前記第１の病理画像に対する閲覧履歴に関する履歴情報と、前記第１の患部組織に対する診断情報とに基づいて、前記顕微鏡によって撮像された診断対象の第２の患部組織に対応する第２の病理画像の診断を支援する診断支援情報を導出する、
診断支援システム。
（２８）
顕微鏡と、前記顕微鏡により撮像される対象物に対応する病理画像の処理に使われるソフトウェアとを含んで構成される診断支援システムであって、
前記ソフトウェアは、
第１の患部組織に対応する第１の病理画像と、前記第１の病理画像に対する閲覧履歴に関する履歴情報と、前記第１の患部組織に対する診断情報とに基づいて、前記顕微鏡によって撮像された診断対象の第２の患部組織に対応する第２の病理画像の診断を支援する診断支援情報を導出する処理を情報処理装置に実行させる、
診断支援システム。
（２９）
前記診断支援システムは、さらに表示制御装置を備え、
前記表示制御装置は、
前記診断支援情報に基づいて、診断に影響があると推測される領域である注目領域を視認可能な状態で前記第２の病理画像に重畳して表示するよう制御する、
前記（２７）又は（２８）に記載の診断支援システム。
（３０）
前記表示制御装置は、
前記注目領域を覆う画像であるマスク画像、前記注目領域の外枠を示す画像である枠画像、前記注目領域を指し示す矢印画像、または前記注目領域を説明するテキスト情報で、前記第２の病理画像に重畳して表示するよう制御する、
前記（２９）に記載の診断支援システム。
（３１）
前記表示制御装置は、
前記診断支援情報に基づいて、前記診断への影響度、または前記診断支援情報の信頼度に応じて、前記注目領域の表示態様を変える、
前記（２９）又は（３０）に記載の診断支援システム。
（３２）
前記表示態様は、彩度、輝度、または透過度である、
前記（３１）に記載の診断支援システム。
（３３）
前記表示制御装置は、
前記注目領域に対応する前記第２の患部組織の一部画像を表示するよう制御する、
前記（２９）～（３２）のいずれか１つに記載の診断支援システム。
（３４）
前記表示制御装置は、
前記注目領域が複数ある場合は、各注目領域に対応する病理画像を表示するよう制御する、
前記（２９）～（３３）のいずれか１つに記載の診断支援システム。
（３５）
前記表示制御装置は、
前記各注目領域に対応する病理画像を表示画面内に並べて表示するよう制御する、
前記（３４）に記載の診断支援システム。
（３６）
前記表示制御装置は、
前記各注目領域に対応する病理画像を、表示画面内に前記診断への影響度、または前記診断支援情報の信頼度の高い順に並べて表示するよう制御する、
前記（３５）に記載の診断支援システム。
（３７）
前記表示制御装置は、
前記各注目領域に対応する病理画像を同一表示エリアに切り替えて表示するよう制御する、
前記（３４）に記載の診断支援システム。
（３８）
前記表示制御装置は、
前記各注目領域に対応する病理画像を、前記診断への影響度、または前記診断支援情報の信頼度の高い順に、前記同一表示エリアに切り替えて表示するよう制御する、
前記（３７）に記載の診断支援システム。
（３９）
前記診断支援情報は、前記第１の患部組織に対する診断結果と予測される診断予測結果である、
前記（２８）～（３８）のいずれか１つに記載の診断支援システム。
（４０）
前記診断予測結果とは、病変部位の有無、前記病変部位の種類、前記病変部位の進行度、または前記病変部位である確率である、
前記（３９）に記載の診断支援システム。
（４１）
コンピュータが、
第１の患部組織に対応する第１の病理画像と、前記第１の病理画像に対する閲覧履歴に関する履歴情報と、前記第１の病理画像に対応する第１の患部組織に対する診断情報とに基づいて、診断対象の第２の患部組織に対応する第２の病理画像の診断を支援する診断支援情報を導出する
診断支援方法。
（４２）
医療画像取得装置と、前記医療画像取得装置により撮像される対象物に対応する医療画像の処理に使われるソフトウェアとを含んで構成される診断支援システムであって、
前記ソフトウェアは、
第１の患部組織に対応する第１の医療画像と、前記第１の医療画像に対する閲覧履歴に関する履歴情報と、前記第１の患部組織に対する診断情報とに基づいて、前記医療画像取得装置によって撮像された診断対象の第２の患部組織に対応する第２の医療画像の診断を支援する診断支援情報を導出する処理を情報処理装置に実行させる、
診断支援システム。
【符号の説明】
【0214】
１ 診断支援システム
１１、２１ 顕微鏡
１２、２２ サーバ
１３、２３ 表示制御装置
１４、２４ 表示装置
２３ａ 画像取得部
２３ｂ 表示制御部
１００、２００ 導出装置
１３１、２３１ 履歴情報取得部
１３２、２３２ 診断情報取得部
１３３ 学習部
１３４、２３４ 導出部
１１、２１ 顕微鏡
１２、２２ サーバ
１３、２３ 表示制御装置
１４、２４ 表示装置
２３ａ 画像取得部
２３ｂ 表示制御部
１００、２００ 導出装置
１３１、２３１ 履歴情報取得部
１３２、２３２ 診断情報取得部
１３３ 学習部
１３４、２３４ 導出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】