特許 7596092 情報処理装置、情報処理方法、情報処理システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-29

(45)【発行日】2024-12-09

(54)【発明の名称】情報処理装置、情報処理方法、情報処理システム及びプログラム

(51)【国際特許分類】

   G16H 50/20 20180101AFI20241202BHJP

   A61B 3/14 20060101ALI20241202BHJP

   G06T 7/00 20170101ALI20241202BHJP

   G16H 50/30 20180101ALI20241202BHJP

【ＦＩ】

G16H50/20

A61B3/14

G06T7/00 612

G16H50/30

【請求項の数】 26

(21)【出願番号】P 2020132816

(22)【出願日】2020-08-05

(65)【公開番号】P2021039748

(43)【公開日】2021-03-11

【審査請求日】2023-06-20

(31)【優先権主張番号】P 2019158973

(32)【優先日】2019-08-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】福島 聡

(72)【発明者】

【氏名】平田 吉洋

(72)【発明者】

【氏名】富田 律也

【審査官】安田 明央

(56)【参考文献】

【文献】国際公開第２０１８／０３５４７３（ＷＯ，Ａ２）

【文献】特開２０１９－１１８８１４（ＪＰ，Ａ）

【文献】特表２０１７－５０３５６１（ＪＰ，Ａ）

【文献】特開２００５－０６３４５６（ＪＰ，Ａ）

【文献】国際公開第２０１７／０９４２６７（ＷＯ，Ａ１）

【文献】特開２０１９－０８２８８１（ＪＰ，Ａ）

【文献】国際公開第２０１９／１５０８１３（ＷＯ，Ａ１）

【文献】特開２０１７－０００３８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

Ｇ１６Ｈ ５０／２０

Ｇ０６Ｔ ７／００

Ｇ１６Ｈ ５０／３０

(57)【特許請求の範囲】

【請求項1】

眼底画像から取得される特徴量と該特徴量から評価される疾患を発症するリスクとの関係を学習した学習済みモデルを用いて、被検者が疾患を発症するリスクを推定する推定手段と、
前記推定された疾患を発症するリスクを、前記被検者の生体情報ごとに定められた重みづけ係数を用いて補正する補正手段と、
を備える情報処理装置。

【請求項2】

眼底画像から取得される特徴量と該特徴量から評価される疾患を発症するリスクとの関係を学習した学習済みモデルを用いて、被検者が疾患を発症するリスクを推定する推定手段と、
前記推定された疾患を発症するリスクを、前記被検者の生体情報に基づいて補正する補正手段と、を備え、
前記疾患を発症するリスクの推定に関する検者からの指示は、文字認識用の学習済モデルと音声認識用の学習済モデルとジェスチャー認識用の学習済モデルとのうち少なくとも１つの学習済モデルを用いて得た情報である情報処理装置。

【請求項3】

前記推定手段は、前記眼底画像から取得される特徴量と該特徴量から評価される第１の疾患を発症するリスクとの関係および、前記眼底画像から取得される特徴量と該特徴量から評価される第２の疾患を発症するリスクとの関係を学習した学習済みモデルを用いて、前記被検者が前記第１の疾患および前記第２の疾患を発症するリスクを推定する請求項１又は２に記載の情報処理装置。

【請求項4】

前記推定手段は、前記眼底画像から取得される特徴量と該特徴量から評価される第１の疾患を発症するリスクとの関係を学習した第１の学習済みモデルと、前記眼底画像から取得される特徴量と該特徴量から評価される第２の疾患を発症するリスクとの関係を学習した第２の学習済みモデルとを用いて、前記被検者が前記第１の疾患および前記第２の疾患を発症するリスクを推定する請求項１又は２に記載の情報処理装置。

【請求項5】

被検者の眼底画像を取得する取得手段をさらに備え、
前記推定手段は、前記学習済みモデルに対して前記被検者の眼底画像から得られる特徴量を入力することにより、前記被検者が疾患を発症するリスクとして確率を推定する請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項6】

前記学習済みモデルは、前記眼底画像から取得される血管の形態と、前記血管の形態から評価される心血管疾患を発症するリスクとの関係を学習し、
前記血管の形態は、動脈径、静脈径、動脈径と静脈径の比、血管の分岐角度、前記分岐の非対称性、動脈静脈狭窄または血管の捻じれを示す特徴量のうち少なくとも一つを含む請求項１乃至５のいずれか１項に記載の情報処理装置。

【請求項7】

眼底画像から取得される血管の形態と、該血管の形態から評価される心血管の疾患を発症するリスクとの関係を学習した学習済みモデルを用いて、被検者が疾患を発症するリスクを推定する推定手段と、
前記推定された疾患を発症するリスクを、前記被検者の生体情報に基づいて補正する補正手段と、を備え、
前記血管の形態は、動脈径、静脈径、動脈径と静脈径の比、血管の分岐角度、前記分岐の非対称性、動脈静脈狭窄または血管の捻じれを示す特徴量のうち少なくとも一つを含む情報処理装置。

【請求項8】

被検者の眼底を撮像した眼底画像を取得する取得手段と、
眼底画像と該眼底画像から評価される疾患を発症するリスクとの関係を深層学習した学習済みモデルに対して、前記取得された眼底画像を入力することにより前記被検者が疾患を発症するリスクを推定する推定手段と、
前記推定された疾患を発症するリスクを、前記被検者の生体情報ごとに定められた重みづけ係数を用いて補正する補正手段と、
を備える情報処理装置。

【請求項9】

被検者の眼底を撮像した眼底画像を取得する取得手段と、
眼底画像と該眼底画像から評価される疾患を発症するリスクとの関係を深層学習した学習済みモデルに対して、前記取得された眼底画像を入力することにより前記被検者が疾患を発症するリスクを推定する推定手段と、
前記推定された疾患を発症するリスクを、前記被検者の生体情報に基づいて補正する補正手段と、を備え、
前記疾患を発症するリスクの推定に関する検者からの指示は、文字認識用の学習済モデルと音声認識用の学習済モデルとジェスチャー認識用の学習済モデルとのうち少なくとも１つの学習済モデルを用いて得た情報である情報処理装置。

【請求項10】

前記補正手段は、前記被検者の血圧、ＢＭＩ指数、年齢、性別、病歴または喫煙習慣の有無のうち少なくとも一つの生体情報を用いて補正する請求項１乃至９のいずれか１項に記載の情報処理装置。

【請求項11】

前記補正された疾患を発症するリスクを、表示部に表示させる表示制御手段を更に備える請求項１乃至１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記表示制御手段は、前記補正された疾患を発症するリスクを、複数のクラスに分類した状態、又は前記被検者の眼底画像と並列した状態で、前記表示部に表示させる請求項１１に記載の情報処理装置。

【請求項13】

前記表示制御手段は、前記補正された疾患を発症するリスクに対応する確率に基づいたグラフを、前記表示部に表示させる請求項１１又は１２に記載の情報処理装置。

【請求項14】

前記表示制御手段は、前記疾患と相関の高い部位が強調された状態で、前記被検者の眼底画像を前記表示部に表示させる請求項１１乃至１３のいずれか１項に記載の情報処理装置。

【請求項15】

前記表示制御手段は、前記補正された疾患を発症するリスク及び該疾患の種類に応じて推奨される医療機関を、前記表示部に表示させる請求項１１乃至１４のいずれか１項に記載の情報処理装置。

【請求項16】

前記推奨された医療機関の予約が完了した場合には、前記疾患を発症するリスクの推定に用いられた眼底画像と、前記推定された疾患を発症するリスクの補正に用いられた生体情報と、前記推定された疾患を発症するリスクとを、前記推奨された医療機関のシステムを介して、前記推奨された医療機関に送信するように構成される請求項１５に記載の情報処理装置。

【請求項17】

前記補正された疾患を発症するリスク及び該疾患の種類に応じて、映像通信可能なシステムを介して、前記推奨された医療機関の医師の診断あるいはコンサルテーションを受けることができるように構成される請求項１５又は１６に記載の情報処理装置。

【請求項18】

眼底画像から取得される特徴量および検査装置により取得される生体情報と、疾患を発症するリスクとの関係を学習した学習済みモデルを用いて、被検者が疾患を発症するリスクを推定する推定手段と、
前記推定された疾患を発症するリスクを表示部に表示させる表示制御手段と、を備え、
前記疾患を発症するリスクの推定に関する検者からの指示は、文字認識用の学習済モデルと音声認識用の学習済モデルとジェスチャー認識用の学習済モデルとのうち少なくとも１つの学習済モデルを用いて得た情報である情報処理装置。

【請求項19】

前記表示制御手段は、眼底画像を学習して得た解析結果生成用の学習済モデルを用いて生成された解析結果であって、前記疾患を発症するリスクの推定に用いられた眼底画像に関する解析結果と、眼底画像を学習して得た診断結果生成用の学習済モデルを用いて生成された診断結果であって、前記疾患を発症するリスクの推定に用いられた眼底画像に関する診断結果と、眼底画像を学習して得た類似症例画像検索用の学習済モデルを用いて検索された類似症例画像であって、前記疾患を発症するリスクの推定に用いられた眼底画像に関する類似症例画像と、眼底画像を学習して得た物体認識用の学習済モデルまたはセグメンテーション用の学習済モデルを用いて生成された物体検出結果またはセグメンテーション結果であって、前記疾患を発症するリスクの推定に用いられた眼底画像に関する物体検出結果またはセグメンテーション結果とのうち少なくとも１つを、前記表示部に表示させる請求項１１乃至１８のいずれか１項に記載の情報処理装置。

【請求項20】

前記表示制御手段は、眼底画像が入力された敵対的生成ネットワーク又はオートエンコーダーを用いて生成された画像と、該敵対的生成ネットワーク又はオートエンコーダーに入力された眼底画像との差に関する情報を、異常部位に関する情報として前記表示部に表示させる請求項１１乃至１９のいずれか１項の記載の情報処理装置。

【請求項21】

被検者の眼底画像を撮影する眼科装置と、
前記被検者を検査し、生体情報を取得する検査装置と、
請求項１乃至２０のいずれか１項に記載の情報処理装置と、
を備える情報処理システム。

【請求項22】

眼底画像から取得される特徴量と該特徴量から評価される疾患を発症するリスクとの関係を学習した学習済みモデルを用いて、被検者が疾患を発症するリスクを推定する推定工程と、
前記推定された疾患を発症するリスクを、前記被検者の生体情報ごとに定められた重みづけ係数を用いて補正する補正工程と、
を含む情報処理方法。

【請求項23】

眼底画像から取得される血管の形態と、該血管の形態から評価される心血管の疾患を発症するリスクとの関係を学習した学習済みモデルを用いて、被検者が疾患を発症するリスクを推定する推定工程と、
前記推定された疾患を発症するリスクを、前記被検者の生体情報に基づいて補正する補正工程と、を含み、
前記血管の形態は、動脈径、静脈径、動脈径と静脈径の比、血管の分岐角度、前記分岐の非対称性、動脈静脈狭窄または血管の捻じれを示す特徴量のうち少なくとも一つを含む情報処理方法。

【請求項24】

被検者の眼底を撮像した眼底画像を取得する取得工程と、
眼底画像と該眼底画像から評価される疾患を発症するリスクとの関係を学習した学習済みモデルに対して、前記取得された眼底画像を入力することにより、前記被検者が前記疾患を発症するリスクを推定する推定工程と、
前記推定された疾患を発症するリスクを、前記被検者の生体情報ごとに定められた重みづけ係数を用いて補正する補正工程と、
を含む情報処理方法。

【請求項25】

眼底画像から取得される特徴量および検査装置により取得される生体情報と、疾患を発症するリスクとの関係を学習した学習済みモデルを用いて、被検者が疾患を発症するリスクを推定する推定工程と、
前記推定された疾患を発症するリスクを表示部に表示させる表示制御工程と、を含み、
前記疾患を発症するリスクの推定に関する検者からの指示は、文字認識用の学習済モデルと音声認識用の学習済モデルとジェスチャー認識用の学習済モデルとのうち少なくとも１つの学習済モデルを用いて得た情報である情報処理方法。

【請求項26】

請求項２２乃至２５のいずれか１項に記載の情報処理方法をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の開示は、情報処理装置、情報処理方法、情報処理システム及びプログラムに関する。

【背景技術】

【0002】

疾患のスクリーニングや診断には一般Ｘ線撮影法、Ｘ線コンピュータ断層撮影法、核磁気共鳴画像法、超音波検査法、陽電子放出断層撮影法あるいは単一光子放射断層撮影法などを用いた多様な画像診断装置が用いられ、生体の様々な部位を撮影している。

【0003】

特に、眼は体外から直接血管を観察できる唯一の部位で、眼の検査を通して糖尿病性網膜症、加齢黄斑変性症といった眼疾患の診断が行われている。また、眼疾患にとどまらず、動脈硬化や糖尿病などの生活習慣病の早期診断や、例えば脳梗塞や認知症のリスク判定など様々な疾患のスクリーニングへの応用が検討されている。例えば、眼科検査装置を用いて疾患のリスクを判定する技術が知られている。特許文献１は眼科検査装置から得られた検査データを解析することにより、特定疾患のリスクを示すリスク情報を生成することを開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－３８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、画像診断装置や眼科検査装置などで撮影された生体画像から得られる情報だけでは、十分なリスク判定精度を得ることが難しかった。

【0006】

本明細書の開示は、上記課題に鑑み、疾患のリスク判定における判定精度を向上させることを目的の一つとする。

【0007】

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の１つとして位置付けることができる。

【課題を解決するための手段】

【0008】

本明細書に開示の情報処理装置は、
眼底画像から取得される特徴量と該特徴量から評価される疾患を発症するリスクとの関係を学習した学習済みモデルを用いて、被検者が疾患を発症するリスクを推定する推定手段と、
前記推定された疾患を発症するリスクを、前記被検者の生体情報ごとに定められた重みづけ係数を用いて補正する補正手段と、を備える。

【発明の効果】

【0009】

本明細書の開示によれば、疾患のリスク判定における判定精度を向上させることができる。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態に係る検査システムの全体構成の一例を示す図

【図2】第１の実施形態に係る情報処理装置の機能の構成の一例を示すブロック図

【図3】第１の実施形態に係る情報処理装置の処理手順の一例を示すフロー図

【図4】第１の実施形態に係る疾患のリスク推定結果の表示例を示す図

【図5】第１の実施形態の変形例に係る診療予約システムの構成の一例を示した図

【図6】第２の実施形態に係るリスク推定のフローを示した図

【図7】第１の実施形態に係る検査システムの全体構成の一例を示す図

【図8】第１の実施形態に係る検査システムの全体構成の一例を示す図

【図9】変形例４に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す図

【図10】変形例８に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す図

【図11】変形例８に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す図

【発明を実施するための形態】

【0011】

本実施形態に係る情報処理装置は、画像診断装置や眼科検査装置で撮影された生体画像（被検体の医用画像）と他の検査等で得られた生体情報に基づいて疾患のリスク推定を行うことを特徴とする。

【0012】

以下、添付図面に従って本明細書に開示の情報処理装置の好ましい実施形態について詳説する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本明細書に開示の情報処理装置の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、本明細書の開示は下記実施形態に限定されるものではなく、本明細書の開示の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本明細書の開示の範囲から除外するものではない。即ち、後述する各実施形態及びその変形例を組み合わせた構成も全て本明細書に開示の実施形態に含まれるものである。

【0013】

なお、以下の実施形態においては、疾患のリスク推定に用いる生体画像を撮像する撮像装置として眼底カメラを用いた場合を代表例として説明するが、これに限定されるものでなく、他の画像診断装置や眼科検査装置であっても好適に適用できる。例えば、リスク推定を行う疾患に応じて、眼底や前眼部の画像を撮影可能な光干渉断層撮影装置（ＯＣＴ装置）など他の眼科検査装置を用いてもよい。また、一般Ｘ線撮影法、Ｘ線コンピュータ断層撮影法、核磁気共鳴画像法、超音波検査法、陽電子放出断層撮影法、単一光子放射断層撮影法など疾患のスクリーニングや診断に用いられる画像診断装置を用いてもよい。

【0014】

［第１の実施形態］
図１は、本実施形態に係る情報処理装置を含む情報処理システム１００の全体構成を示す図である。

【0015】

情報処理システム１００は、眼底カメラ１０１、生体情報検査装置１０２、クラウドサーバ１０３、情報処理装置１０４を含み構成される。

【0016】

眼底カメラ１０１は、疾患のリスク推定に用いる生体画像である眼底画像を撮影する。

【0017】

眼底カメラ１０１での撮影には、例えば、近赤外光を用いてもよい。一般に、撮影の際には被検者の眼の位置や体動や瞬き、異物の画像への混入など、静止画像の品質を低下させる要因がある。そのため、撮影時の画像が画像特徴量の算出に不適の場合、再度取り直しが必要となるが、従来の眼底カメラで用いられる可視光によるフラッシュ撮影では縮瞳が起こり、再撮影までにある程度時間が必要となる。そのため、近赤外光を用いることによって縮瞳を避けることができ、連続的な繰り返しの撮影が可能となる。また、近赤外光を用いることにより縮瞳することなく動画像を撮影することも容易となる。

【0018】

もしくは、眼底カメラ１０１での撮影に、微弱な可視光を用いてもよい。上述のように、一般に撮影の際には被検者の眼の位置や体動や瞬き、異物の画像への混入など、静止画像の品質を低下させる要因があり、撮影時の画像が画像特徴量の算出に不適の場合、再度取り直しが必要となる。しかしながら、従来の眼底カメラで用いられる可視光によるフラッシュ撮影では縮瞳が起こり、再撮影までにある程度時間が必要となる。そのため、微弱な可視光を用いることによって、縮瞳を避けることができ、連続的な繰り返しの撮影が可能となる。また、微弱な可視光を用いることにより縮瞳することなく動画像を撮影できる。

【0019】

または、眼底カメラ１０１での撮影に、前眼部の位置検索に用いる観察光と同じ光源もしくは同じ照度の光源を用いてもよい。

【0020】

なお、上記は、あくまで例示であって、眼底画像を取得できれば撮影手法は上記に限定されない。

【0021】

本実施形態では、眼底カメラ１０１により撮影された眼底画像は、一旦、生体情報検査装置１０２に送信される。送信方法はＵＳＢなどの有線もしくはＷｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信手段が使用される。なお、眼底画像は、生体情報検査装置１０２を介さずにクラウドサーバ１０３に送信されてもよいし、情報処理装置１０４に送信されてもよい。

【0022】

生体情報検査装置１０２は、疾患のリスク推定に用いる生体情報を取得する。生体情報検査装置１０２は、例えば、被検者の身長、体重、体脂肪率、収縮期血圧、拡張期血圧、不規則脈波、心拍数あるいは体温等の生体情報を測定できる。なお、生体情報は必ずしも検査や測定などから取得する必要はなく、例えば、喫煙習慣の有無や病歴などをユーザからの入力により取得してもよい。さらに、例えば、被検者の血液から血糖値、赤血球数、ヘモグロビン、尿酸などを測定する血液検査機能や、被検者の尿を検査する尿検査機能などを備えていてもよい。なお、血液検査や尿検査など生体由来の検体を用いる検査の場合には、図８に示すように、生体情報検査キット１０８を被検者に郵送などを通して提供する。そして、被検者が自ら検査した結果をパーソナルコンピュータ１０７や携帯情報端末１０６を介してクラウドサーバ１０３に保存してもよい。また、例えば、検体を用いない、血圧計１０９や体重計１１０で測定した血圧や体重などのデータも被検者が同様の手法によりクラウドサーバ１０３に保存してもよい。なお、上記の生体検査方法の種類やデータの受送信の流れは一例であってこれに限定されず、必要な生体情報を情報処理装置１０４に送信できればよい。

【0023】

クラウドサーバ１０３は、眼底カメラ１０１で撮影された画像や生体情報検査装置１０２により取得された生体情報等のデータを記憶及び管理する。

【0024】

情報処理装置１０４は、図２に示すように、その機能的な構成として、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３、記憶部１１４、操作部１１５、表示部１１６、及び制御部１１７を備える。

【0025】

通信ＩＦ１１１は、ＬＡＮカード等で実現され、外部装置（例えば、クラウドサーバ１０３）と情報処理装置１０４との間の通信を司る。ＲＯＭ１１２は、不揮発性のメモリ等で実現され、各種プログラム等を記憶する。ＲＡＭ１１３は、揮発性のメモリ等で実現され、各種情報を一時的に記憶する。記憶部１１４は、コンピュータ読み取り記憶媒体の一例であり、ハードディスクドライブ（ＨＤＤ）やソリッドステイトドライブ（ＳＳＤ）に代表される大容量情報記憶装置等で実現され、各種情報を記憶する。操作部１１５は、キーボードやマウス等で実現され、ユーザからの指示を装置に入力する。表示部１１６は、ディスプレイ等で実現され、各種情報をユーザに表示する。制御部１１７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で実現され、情報処理装置１０４における各処理を統括制御する。

【0026】

制御部１１７は、その機能的な構成として、取得部１１８、推定部１１９、補正部１２０及び表示制御部１２１を備える。

【0027】

取得部１１８は、眼底カメラ１０１で撮影した被検者の眼底画像や生体情報検査装置１０２により取得された被検者の生体情報等のデータをクラウドサーバ１０３から読み取り取得する。なお、データは、必ずしもクラウドサーバ１０３から取得しなくてもよく、例えば、眼底カメラ１０１や生体情報検査装置１０２から直接送信されてきたデータを取得してもよい。

【0028】

推定部１１９は、取得部１１８が取得した被検者の眼底画像から該被検者の疾患のリスクを推定する。なお、本実施形態において、疾患のリスクとは、一定期間内に疾患を発症する確率を示す。疾患を発症する確率は、パーセント表示等のように定量的な表現でもよいし、リスクが高い、あるいは低い等のように定性的な表現でもよい。

【0029】

補正部１２０は、推定部１１９により推定された疾患リスクの推定結果を補正し、最終的な疾患リスクを算出する。より具体的には、生体情報検査装置１０２により得られた複数の生体情報ごとに予め設定された各疾患に発症する確率の重みづけ係数を用いて、学習済モデルにより推定された疾患リスクの推定結果を補正する。すなわち、補正部１２０は、生体情報ごとに定められた所定の重みづけ係数を用いて、疾患に発症するリスクを補正する補正手段の一例に相当する。

【0030】

表示制御部１２１は、補正部１２０が補正した最終的な疾患リスクの推定結果を表示部１１６に表示させる。

【0031】

次に、本実施形態に係る情報処理装置１０４の疾患のリスク推定を行う処理手順について、図３のフローチャートを用いて説明する。

【0032】

（Ｓ３０００）（眼底画像の読み込み）
Ｓ３０００において、取得部１１８は、クラウドサーバ１０３に記憶されてある眼底カメラ１０１により撮像された眼底画像を読み込み取得する。あるいは、眼底カメラ１０１から直接送信される眼底画像を取得する。

【0033】

（Ｓ３０１０）（画像特徴量の算出）
Ｓ３０１０において、推定部１１９は、クラウドサーバ１０３から取得した眼底画像から疾患のリスクを推定するための特徴量を検出する。

【0034】

もしくは、眼底カメラ１０１で撮影した動画像をクラウドサーバ１０３から取得し、その動画像から所望の画像特徴量を検出してもよい。一般に撮影の際には被検者の眼の位置や体動や瞬き、異物の画像への混入など、静止画像の品質を低下させる要因がある。そのため、動画像の中で画像品質に問題がなく、画像特徴量の算出に適した部分から画像特徴量を算出することにより、適切に疾患のリスクを推定できる。動画像中の至適部分の選定には、画像の明度やコントラスト、鮮鋭度やあらかじめ登録したパターンとのマッチングなどを適宜用いることが出来る。

【0035】

検出される特徴量は、例えば血管の径、曲率、角度あるいは分岐などの欠陥部分の形態的な特徴や色情報が挙げられる。あるいは、例えば、出血や白斑などによる血管部分以外の異常な形状や画像コントラスト、色情報であってもよい。なお、リスク推定に用いられる特徴量はこれに限定されるものではなく様々な特徴量を用いることができる。

【0036】

（Ｓ３０２０）（疾患のリスクを推定）
Ｓ３０２０において、推定部１１９は、Ｓ３０１０で検出された特徴量を学習済みモデルに入力することにより、疾患のリスクを推定する。すなわち、推定部１１９は、眼底画像から取得される特徴量と該特徴量から評価される疾患を発症するリスクとの関係を学習した学習済みモデルを用いて、被検者が疾患を発症するリスクを推定する推定手段の一例に相当する。より具体的には、学習済みモデルに対して被検者の眼底画像から得られる特徴量を入力することにより前記被検者が疾患を発症する確率を推定する推定手段の一例に相当する。

【0037】

ここで、学習済みモデルとは、サポートベクターマシン等の機械学習アルゴリズムに従った機械学習モデルであって、予め適切な学習データを用いて学習を行った機械学習モデルを示す。なお、学習済みモデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできる。

【0038】

学習データは、一つ以上の、入力データと出力データ（正解データ）とのペア群で構成される。本実施形態に係る学習済みモデルは、任意の学習アルゴリズムに従い、入力データ（眼底画像等の生体画像から検出される複数の特徴量に関するデータ）に対する出力データ（疾患のリスクに関するデータ）を学習データとして学習している。具体的には、例えば、眼底画像から検出される出血や白斑などによる血管部分以外の異常な形状と、糖尿病性網膜症を発症する確率との相関を学習する。あるいは、例えば、動脈径、静脈径、動脈径と静脈径の比、血管の分岐角度、前記分岐の非対称性、動脈静脈狭窄または血管の捻じれなどを示す血管の形態に関する特徴量と、該特徴量から評価される心血管疾患や脳卒中などを発症するリスクとの相関を学習する。なお、上述のように疾患を発症するリスクは、パーセンテージで出力されても良いし、高リスク、低リスクなどの定性的な複数のクラスに識別されて出力されてもよい。また、学習する入力データと出力データの相関は上記の組み合わせに限定されず、疾患のリスク推定に関係する種々の相関を学習できる。

【0039】

また、学習済みモデルは、入力データと出力データを含むデータ集合に基づく学習を反復実行できる。

【0040】

なお、本実施形態において、疾患リスクの推定を行う学習済みモデルは、情報処理装置１０４により生成されてもよいし、情報処理装置１０４とは異なる情報処理装置により生成されたモデルであってもよい。

【0041】

情報処理装置１０４が疾患リスクの推定を行う学習済みモデルの生成も行う場合、情報処理装置１０４はさらに生成部（不図示）を備える。

【0042】

生成部は、上述のように、任意の学習アルゴリズムに従い、入力データに対する出力データを教師データとして学習し、学習済みモデルを生成する。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。ニューラルネットワークを利用した深層学習を行う場合には、眼底画像と該眼底画像から評価される疾患を発症するリスクとを組にして学習することにより学習済みモデルを得る。例えば、網膜細動脈と呼ばれる血管は、サイズが細い人の方が太い人に比べて高血圧に発症するリスクが高いため、上記のように網膜細動脈が細いと評価される眼底画像に対して、高いリスクを学習データとして組にして学習を行う。

【0043】

すなわち、推定部１１９は、眼底画像と該眼底画像から評価される疾患を発症するリスクとの関係を深層学習した学習済みモデルに対して、前記取得手段により取得された前記被検者の眼底画像を入力することにより前記被検者が疾患を発症するリスクを推定する推定手段の一例に相当する。

【0044】

なお、学習する入力データと出力データの関係は上記の組み合わせに限定されず、疾患のリスク推定に関係する種々の相関を学習できる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用できる。

【0045】

なお、学習済モデルは、リスクを推定したい疾患に応じて複数生成しても良いし、１つの学習済モデルが複数の疾患のリスクを推定可能なように生成してもよい。

【0046】

すなわち、推定部１１９は、眼底画像から取得される特徴量と該特徴量から評価される第１の疾患を発症するリスクとの関係および、眼底画像から取得される特徴量と該特徴量から評価される第２の疾患を発症するリスクとの関係を学習した学習済みモデルを用いて、前記被検者が前記第１の疾患および前記第２の疾患を発症するリスクを推定する推定手段の一例に相当する。

【0047】

あるいは、推定部１１９は、眼底画像から取得される特徴量と該特徴量から評価される第１の疾患を発症するリスクとの関係を学習した第１の学習済みモデルと、眼底画像から取得される特徴量と該特徴量から評価される第２の疾患を発症するリスクとの関係を学習した第２の学習済みモデルとを用いて、被検者が前記第１の疾患および前記第２の疾患を発症するリスクを推定する推定手段の一例に相当する。

【0048】

（Ｓ３０３０）（推定結果の保存）
Ｓ３０３０において、情報処理装置１０４は、推定された疾患のリスクを記憶部１１４に保存する。あるいは、通信ＩＦ１１１を介してクラウドサーバ１０３に転送し、クラウドサーバ１０３に保存する。なお、記憶部１１４とクラウドサーバ１０４の両方に保存してもよい。

【0049】

（Ｓ３０４０）（生体情報の読み込み）
Ｓ３０４０において、情報処理装置１０４は、クラウドサーバ１０３に記憶されてある生体情報検査装置１０２から得られた生体情報を読み込む。あるいは、生体情報検査装置１０２から直接送信される生体情報を取得する。

【0050】

（Ｓ３０５０）（推定結果の読み込み）
Ｓ３０５０において、取得部１１８は、記憶部１１４あるいはクラウドサーバ１０３に記憶されてある疾患リスクの推定結果を読み込む。

【0051】

（Ｓ３０６０）（推定結果の補正）
Ｓ３０６０において、補正部１２０は、推定部１１９により推定された疾患リスクの推定結果を補正し、最終的な疾患リスクを算出する。より具体的には、生体情報検査装置１０２を用いて、測定・検査された複数の生体情報ごとにあらかじめ設定された各疾患に発症する確率の重みづけ係数を用いて、各疾患に発症する確率を補正する。例えば、被検者の血圧や身長・体重から求められる体格指数（ＢＭＩ）に応じて発症する疾患を発症する確率が異なるので、眼底画像から取得される特徴量に基づき算出された確率を、生体情報に基づいて補正する。補正量は、疾患の罹患者と健常者を被検者とした眼底画像から取得される特徴量と生体情報の評価結果から算出された値を用いる。

【0052】

その後、補正された確率を最終的なリスク推定結果として算出する。なお、発症する確率に複数の閾値を設定し、閾値を用いて複数のリスク段階のカテゴリーに分類し、分類されたカテゴリーを最終的なリスク推定結果としてもよい。例えば、疾患に発症する確率を「０～３３％、３４％～６６％、６７％～１００％」の３段階に分け、それぞれを、「低リスク、中リスク、高リスク」というカテゴリーに分類する。なお、分類方法は、上記に限定されず、例えば２段階に分けても良いし、４段階以上でもよい。また、閾値の値も一例であって、これに限定されない。すなわち、出力される推定結果の出力方法は上記に限定されず、被検者が疾患の発症するリスクの程度を認識できるように出力されればよい。さらに、上記では補正した推定結果をカテゴリーに分類したが、学習済みモデルを学習する際に予め出力データを「低リスク、中リスク、高リスク」などの複数のクラスに分類して学習させ、Ｓ３０２０において疾患リスクを推定された段階で推定結果が分類された形で出力されるようにしてもよい。

【0053】

（Ｓ３０７０）（補正された推定結果の保存）
Ｓ３０７０において、情報処理装置１０４は、補正された疾患のリスクを記憶部１１４に保存する。あるいは、通信ＩＦ１１１を介してクラウドサーバ１０３に転送し、クラウドサーバ１０３に保存する。なお、記憶部１１４とクラウドサーバ１０４の両方に保存してもよい。

【0054】

（Ｓ３０８０）（結果の表示・プリント出力）
Ｓ３０８０において、表示制御部１２１は、推定された最終的な疾患リスクを表示部１１６に表示させる。あるいは、別体のプリンタに送信し、出力する。

【0055】

図４に疾患のリスク推定結果の表示例を示す。図４（ａ）は、疾患のリスク段階として算出された疾患のリスク推定結果を高リスク、中リスク、低リスクの３段階に分類し表示した様子を示している。すなわち、表示制御手段１２１は、補正された疾患を発症するリスクを複数のクラスに分類して表示部に表示している。さらに、それぞれのカテゴリーがどのような状態を示しているのかについての説明を表示している。例えば、推定されたカテゴリーが「低リスク」の場合には、「発症するリスクが低い。健康な生活習慣を続けてください。」などの説明を表示する。なお、上記の説明は一例であって、上記に限定されない。さらに、必ずしも説明を併記しなくてもよく、高リスクと推定された場合など、被検者がその疾患についてより詳細に知りたい場合にのみ補足説明を行うタブなどを備えていてもよい。あるいは、簡易な説明のみを併記し、より詳細に知りたい場合に補足説明を行うタブなどを備えていてもよい。

【0056】

また、疾患のリスク推定結果をグラフ表示してもよく、図４（ｂ）のように、レーダーチャートを用いて複数の疾患のリスク推定結果を示してもよいし、図４（ｃ）のように、棒グラフを用いて複数の疾患のリスク推定結果を示してもよい。なお、上記は一例であって、疾患のリスク推定結果を視覚的に二次元で表したものであれば形態は限定されない。

【0057】

また、図４（ｄ）～（ｆ）は、眼底カメラ１０１で撮影された眼底画像を表示した状態を示しており、例えば、図４（ａ）～（ｃ）の結果と並列表示することによって、疾患リスクの推定結果と眼底画像を同時に見られるようにしてもよい。すなわち、表示制御部１２１は、補正された疾患を発症するリスク推定結果を被検者の眼底画像と並列表示して表示してもよい。

【0058】

具体的には、図４（ｄ）は、左右の眼の画像を並列表示した状態を示している。また、図４（ｅ）は、互いに異なる時刻に撮像された２つの画像（現在画像と過去画像）を並列表示した状態を示している。さらに、図４（ｆ）は、リスク推定にかかわる主な画像部分を示し、説明を加えたものの例を示している。すなわち、眼底画像における疾患と相関の高い部位を強調して表示している。

【0059】

なお、表示方法はこれらに限定されるものではなくリスク推定結果の様々な表示方法や、他に撮影画像のみならず、生体情報やそれらの過去情報、経過推移などを用いた表示を行うことができる。さらに、情報処理装置１０４の表示部１１６に表示するだけでなく、生体情報検査装置１０２が備える表示部に推定結果を表示してもよい。あるいは、図７に示すように、検査システム専用のアプリケーションソフトウェアを携帯情報端末１０６にインストールする。これにより、受信された疾患のリスク推定結果や他の検査システムに係る情報を、アプリケーションソフトウェアを介して携帯情報端末１０６に表示可能にしてもよい。すなわち、推定結果を表示する装置は必ずしも情報処理装置１０４でなくてもよい。

【0060】

また、表示部に疾患リスクの推定結果を表示するだけでなく、別体のプリンタに送信し、出力してもよい。

【0061】

以上によって、情報処理装置１０４の処理が実施される。

【0062】

上記によれば、被検者の疾患のリスクを推定する場合に、眼底画像から取得される特徴量によって推定された推定結果を、複数の生体情報ごとに予め設定された各疾患に発症する確率の重みづけ係数を用いて補正することにより、推定結果の精度を向上できる。また、疾患のリスク推定にあたって専門性を要さないため、ユーザによらず簡易に疾患のリスク推定を行うことができる。さらに、疾患のリスクを複数の段階に分類し、被検者にとって分かりやすい表示形態で推定結果を表示することにより、直感的に疾患のリスクを認識できる。また、検査対象となった眼底画像等の生体画像を推定結果と並列に表示することによって疾患の箇所を認識しやすくなる。

【0063】

（変形例１）
第１の実施形態では、疾患のリスクを推定し、それらを表示あるいはプリント等の出力を行った。本変形例では、被検者が追加検査や適切な医療機関や診療科への受診、生活習慣指導などのコンサルテーションを受けることができるように、推定結果を医療機関等に送信する。

【0064】

図５は、医療機関１３０との連携や被検者へのアドバイスを行うシステムの構成を示したものである。

【0065】

本実施形態の検査システムでは、予め登録した複数の医療機関１３０から疾患の種類やリスク推定結果に応じて、推奨する医療機関１３０や診療科をリスク推定結果とともに出力する。被検者は例えば上記の出力結果を生体情報検査装置１０２の表示部、プリント等、もしくは携帯情報端末１０６やパーソナルコンピュータ１０７で確認できる。

【0066】

クラウドサーバ１０３には、疾患の種類、疾患のリスクの程度に応じた医療機関１０２や該当診療科が保存されている。そして、リスク推定結果に応じてクラウドサーバ１０３からこれらの情報を読み出すことにより、医療機関１３０や診療科を生体情報検査装置１０２、携帯情報端末１０６やパーソナルコンピュータ１０７に送り、被検者に提示できる。

【0067】

さらに生体情報検査装置１０２、携帯情報端末１０６やパーソナルコンピュータ１０７上で当該医療機関１３０の予約を行うことができる。生体情報検査装置１０２には医療機関の予約を行うための予約用のアプリケーションソフトウェアがインストールされている。

【0068】

また携帯情報端末１０６やパーソナルコンピュータ１０７で予約を行う場合には予約用のアプリケーションソフトウェアをダウンロードしてインストールする。

【0069】

予約用のアプリケーションソフトウェアは、医療機関１３０の診療予約システム１３２と通信して被検者のＩＤと希望する予約日時を照会する。そして、診療予約システムに保存された最新の予約状況と照合して予約が可能であれば、診療予約システム１３２がＩＤでの予約を登録する。また、予約が完了した場合には受診にあわせて撮影画像、生体情報、リスク推定結果を医療機関１３０に転送できる。予約用のアプリケーションソフトウェア上で撮影画像、生体情報、リスク推定結果の転送を選択する。この操作により、撮影画像、生体情報、リスク推定結果などの情報がクラウドサーバ１０３から読み出され、セキュアに転送され医療機関１３０の診療予約システム１３２にある受診者情報記憶部１３３に保存される。

【0070】

また、本実施形態の検査システムでは、本検査システムで得られた疾患リスクに応じて医師の診断やコンサルテーションをシステム上で受けることができる。例えば、眼底カメラ１０１の画像を用いたリスク推定結果として眼底疾患のリスクが高い場合には、当該眼底画像が医師に転送される。そして、それをもとに生体情報検査装置１０２に組み込まれた映像通信機能（映像通信可能なシステム）や、被検者の有する携帯情報端末１０６やパーソナルコンピュータ１０７を介して医師とフェース・トゥ・フェースの診断やコンサルテーションを受けることができる。

【0071】

同様に他の疾患リスクが高い場合などには、追加検査や適切な医療機関や診療科の受診、生活習慣指導などのコンサルテーションを受けることができる。

【0072】

さらに、本実施形態の検査システムでは、リスク推定結果や生体情報システム１０２で得られた結果などに基づいて、本検査システムにより直接生活習慣の改善、サプリメントや一般薬の摂取などを提案できる。

【0073】

このとき、クラウドサーバ１０３には、疾患の種類、疾患のリスクの程度に応じた生活習慣の改善内容、推奨するサプリメント、一般薬が保存されている。

【0074】

そして、リスク推定結果に応じてクラウドサーバ１０３からこれらの情報を読み出すことにより、前述した提案を生体情報検査装置１０２、携帯情報端末１０６やパーソナルコンピュータ１０７に送り、被検者に提示できる。

【0075】

これらのサービスは上記のものに限定されるものではなく、上記リスク推定結果に応じて様々なサービスを提供できる。

【0076】

［第２の実施形態］
第１の実施形態では、生体画像から得られる複数の特徴量を学習済みモデルに入力することにより推定された疾患のリスクを、生体検査により得られた生体情報ごとに予め設定された重みづけ係数を用いて補正することにより疾患のリスク推定の精度を向上させた。

【0077】

一方、本実施形態では、眼底カメラ１０１で撮影された画像から得られた画像特徴量と疾患を発症する確率、及び生体情報検査装置１０２により得られた生体情報と、疾患を発症する確率を学習させた学習済みモデルを用いて疾患のリスクを推定する。

【0078】

本実施形態における情報処理システムの全体構成は第１の実施形態と同様である。また本実施形態において用いる眼底カメラ１０１、生体情報検査装置１０２、クラウドサーバ１０３は第１の実施形態と同様である。

【0079】

以下、図６を用いて本実施形態の処理工程を説明する。なお、Ｓ６０００～Ｓ６０４０、Ｓ６０７０については、第１の実施形態と同様のため説明は省略する。

【0080】

（Ｓ６０５０：疾患のリスクを推定（判定））
Ｓ６０５０において、まず、取得部１１８は、クラウドサーバ１０３に保存された被検者の眼底画像から得られる特徴量と生体情報検査装置１０２を用いて測定・検査された生体情報を取得する。そして、推定部１１９は、取得部１１８により取得された特徴量と生体情報を予め生成された学習済みモデルに対して入力することにより、被検者が疾患に発症するリスクを推定する。

【0081】

具体的には、例えば、動脈径、静脈径、動脈径と静脈径の比、血管の分岐角度、前記分岐の非対称性、動脈静脈狭窄または血管の捻じれなどの眼底画像から得られる特徴量と血圧、ＢＭＩ指数、年齢、性別、病歴または喫煙習慣の有無などの生体情報を入力データとして、該特徴量及び生体情報から評価される心血管疾患や脳血管疾患などの疾患を発症する確率との相関を学習する。

【0082】

なお、学習する入力データと出力データの相関は上記の組み合わせに限定されず、疾患のリスク推定に関係する種々の相関を学習できる。

【0083】

また、本実施形態において、疾患リスクの推定を行う学習済みモデルは、情報処理装置１０４により生成されてもよいし、情報処理装置１０４とは異なる情報処理装置により生成されたモデルであってもよい。

【0084】

（Ｓ６０６０：推定結果の保存）
Ｓ６０６０において、情報処理装置１０４は、疾患のリスクの推定結果を記憶部１１４に保存する。あるいは、通信ＩＦ１１１を介してクラウドサーバ１０３に転送し、クラウドサーバ１０３に保存する。なお、記憶部１１４とクラウドサーバ１０４の両方に保存してもよい。

【0085】

以上によって、情報処理装置１０４の処理が実施される。

【0086】

上記によれば、被検者の疾患のリスクを推定する場合に、眼底画像から取得される特徴量及び生体検査により取得される生体情報から評価される疾患を発症する確率との相関を学習した学習済みモデルを用いることにより疾患のリスク推定の精度を向上できる。

【0087】

（変形例２）
上述した様々な実施形態及び変形例において、被検体の疾患に関する推定処理に用いる学習済モデル（推定用の学習済モデル）を被検者毎に調整（チューニング）する学習を行い、その被検者専用の学習済モデルを生成してもよい。例えば、被検者の過去の検査において取得された断層画像を用いて、被検体の疾患を推定するための汎用的な学習済モデルの転移学習を行い、その被検者専用の学習済モデルを生成することができる。被検者専用の学習済モデルを被検者のＩＤと紐付けて記憶部１１４やサーバ等の外部装置に記憶させておくことで、制御部１１７は、被検者の現在の検査を行う際に、被検者のＩＤに基づいて被検者専用の学習済モデルを特定し、利用することができる。被検者専用の学習済モデルを用いることで、被検者毎の疾患に関する推定精度を向上させることができる。

【0088】

（変形例３）
上述した様々な実施形態及び変形例において、制御部１１７は、撮影により取得した画像等を用いて様々な画像処理を行ってよい。例えば、制御部１１７は、撮影により取得した画像について、高画質化用の学習済モデル（高画質化モデル）を用いて画質を改善した高画質画像を生成してもよい。ここで、画質の改善とは、ノイズの低減や、撮影対象を観察しやすい色や階調への変換、解像度や空間分解能の向上、及び解像度の低下を抑えた画像サイズの拡大等を含む。

【0089】

高画質化用の機械学習モデルとしては、例えばＣＮＮ等を用いることができる。また、高画質化モデルの学習データとしては、前眼画像やＳＬＯ画像等の各種画像を入力データとし、入力された画像に対応する、例えば高画質化処理を施した高画質な画像を出力データとする。ここで、高画質化処理とは、空間的に同じ位置を複数回撮影した画像について位置合わせを行い、それら位置合わせ済みの画像を加算平均処理することが挙げられる。なお、高画質化処理は加算平均処理に限られず、例えば、平滑化フィルタを用いた処理や最大事後確率推定処理（ＭＡＰ推定処理）、階調変換処理等であってもよい。また、高画質化処理された画像としては、例えば、ノイズ除去とエッジ強調などのフィルタ処理を行った画像でもよいし、低輝度な画像から高輝度な画像とするようなコントラストが調整された画像を用いてもよい。さらに、高画質化モデルに係る学習データの出力データは、高画質な画像であればよいため、入力データである断層画像を撮影した際のＯＣＴ装置よりも高性能なＯＣＴ装置を用いて撮影された画像や、高負荷な設定により撮影された画像であってもよい。

【0090】

ただし、適切に高画質化処理が行われていない画像を学習データの出力データとして用いて機械学習を行うと、当該学習データを用いて学習した学習済モデルを用いて得た画像も適切に高画質化処理が行われていない画像となってしまう可能性がある。そのため、そのような画像を含むペアを教師データから取り除くことで、学習済モデルを用いて適切でない画像が生成される可能性を低減させることができる。

【0091】

制御部１１７は、このような高画質化モデルを用いて高画質化処理を行うことで、精度良く高画質化された画像をより高速に取得することができる。

【0092】

なお、高画質化モデルは、入力データである各種画像の種類毎に用意されてもよい。例えば、前眼画像用の高画質化モデルや、ＳＬＯ画像用の高画質化モデル、断層画像用の高画質化モデル、ＯＣＴＡ正面画像用の高画質化モデル等が用意されてよい。また、ＯＣＴＡ正面画像やＥｎ－Ｆａｃｅ画像については、画像を生成するための深度範囲毎に高画質化モデルが用意されてもよい。例えば、表層用の高画質化モデルや深層用の高画質化モデル等が用意されてよい。さらに、高画質化モデルは、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）毎の画像について学習を行ったものでもよいし、撮影部位に関わらず学習を行ったものであってもよい。

【0093】

このとき、例えば、眼底ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像を高画質化し、さらに、前眼ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、前眼ＯＣＴＡ正面画像を高画質化してもよい。また、高画質化モデルは、撮影部位を関わらず学習を行ったものであってもよい。ここで、例えば、眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像は、撮影対象である血管の分布の様子が互いに比較的類似していることがある。このように、撮影対象の様子が互いに比較的類似しているような複数の種類の医用画像では、互いの特徴量が比較的類似していることがある。そこで、例えば、眼底ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像を高画質化するだけでなく、前眼ＯＣＴＡ正面画像も高画質化可能に構成されてもよい。また、例えば、前眼ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、前眼ＯＣＴＡ正面画像を高画質化するだけでなく、眼底ＯＣＴＡ正面画像も高画質化可能に構成されてもよい。すなわち、眼底ＯＣＴＡ正面画像と前眼ＯＣＴＡ正面画像との少なくとも一つの種類の正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像と前眼ＯＣＴＡ正面画像との少なくとも一つの種類の正面画像を高画質化可能に構成されてもよい。

【0094】

ここで、眼底撮影可能なＯＣＴ装置において、前眼も撮影可能である場合を考える。このとき、ＯＣＴＡのＥｎ－Ｆａｃｅ画像には、例えば、眼底撮影モードにおいては眼底ＯＣＴＡ正面画像が適用され、また、前眼部撮影モードにおいては前眼ＯＣＴＡ正面画像が適用されてもよい。このとき、高画質化ボタンが押下されると、例えば、眼底撮影モードにおいては、ＯＣＴＡのＥｎ－Ｆａｃｅ画像の表示領域において、低画質の眼底ＯＣＴＡ正面画像と高画質の眼底ＯＣＴＡ正面画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。また、高画質化ボタンが押下されると、例えば、前眼部撮影モードにおいては、ＯＣＴＡのＥｎ－Ｆａｃｅ画像の表示領域において、低画質の前眼ＯＣＴＡ正面画像と高画質の前眼ＯＣＴＡ正面画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。

【0095】

なお、眼底撮影可能なＯＣＴ装置において、前眼も撮影可能とする場合に、前眼アダプタが装着可能に構成されてもよい。また、前眼アダプタを用いずに、ＯＣＴ装置の光学系が被検眼の眼軸長程度の距離、移動可能に構成されてもよい。このとき、ＯＣＴ装置のフォーカス位置が前眼に結像する程度、正視側に大きく変更可能に構成されてもよい。

【0096】

また、断層画像には、例えば、眼底撮影モードにおいては眼底ＯＣＴ断層画像が適用され、また、前眼部撮影モードにおいては前眼ＯＣＴ断層画像が適用されてもよい。また、上述した眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像の高画質化処理は、例えば、眼底ＯＣＴ断層画像及び前眼ＯＣＴ断層画像の高画質化処理として適用することも可能である。このとき、高画質化ボタンが押下されると、例えば、眼底撮影モードにおいては、断層画像の表示領域において、低画質の眼底ＯＣＴ断層画像と高画質の眼底ＯＣＴ断層画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。また、高画質化ボタンが押下されると、例えば、前眼部撮影モードにおいては、断層画像の表示領域において、低画質の前眼ＯＣＴ断層画像と高画質の前眼ＯＣＴ断層画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。

【0097】

また、断層画像には、例えば、眼底撮影モードにおいては眼底ＯＣＴＡ断層画像が適用され、また、前眼部撮影モードにおいては前眼ＯＣＴＡ断層画像が適用されてもよい。また、上述した眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像の高画質化処理は、例えば、眼底ＯＣＴＡ断層画像及び前眼ＯＣＴＡ断層画像の高画質化処理として適用することも可能である。このとき、例えば、眼底撮影モードにおいては、断層画像の表示領域において、眼底ＯＣＴＡ断層画像における血管領域（例えば、閾値以上のモーションコントラストデータ）を示す情報が、対応する位置の眼底ＯＣＴ断層画像に重畳して表示されるように構成されてもよい。また、例えば、前眼部撮影モードにおいては、断層画像の表示領域において、前眼ＯＣＴＡ断層画像における血管領域を示す情報が、対応する位置の前眼ＯＣＴ断層画像に重畳して表示されてもよい。

【0098】

このように、例えば、複数の種類の医用画像の特徴量（撮影対象の様子）が互いに比較的類似していると考えられるような場合には、複数の種類の医用画像の少なくとも一つの種類の医用画像を学習データとして学習して得た高画質化モデルを用いて、複数の種類の医用画像の少なくとも一つの種類の医用画像を高画質化可能に構成されてもよい。これにより、例えば、共通の学習済モデル（共通の高画質化モデル）を用いて、複数の種類の医用画像の高画質化を実行可能に構成することができる。

【0099】

なお、眼底撮影モードの表示画面と前眼部撮影モードの表示画面とは、同じ表示レイアウトであってもよいし、それぞれの撮影モードに対応する表示レイアウトであってもよい。眼底撮影モードと前眼部撮影モードとで、撮影条件や解析条件等の種々の条件が同じであってもよいし、異なっていてもよい。

【0100】

ここで、高画質化処理の対象画像は、例えば、（複数の深度範囲に対応する）複数のＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像、モーションコントラストのＥｎ－Ｆａｃｅ画像）であってもよい。また、高画質化処理の対象画像は、例えば、１つの深度範囲に対応する１つのＯＣＴＡ正面画像であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像の代わりに、例えば、輝度の正面画像（輝度のＥｎ－Ｆａｃｅ画像）、あるいはＢスキャン画像であるＯＣＴ断層画像やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像だけでなく、例えば、輝度の正面画像及びＢスキャン画像であるＯＣＴ断層画像やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）等の種々の医用画像であってもよい。すなわち、高画質化処理の対象画像は、例えば、表示部１１６の表示画面上に表示されている種々の医用画像の少なくとも１つであればよい。このとき、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＯＣＴＡ正面画像に対応する高画質化用の学習済モデルを用いてＯＣＴＡ正面画像を高画質化処理するだけでなく、ＯＣＴ断層画像に対応する高画質化用の学習済モデルを用いてＯＣＴ断層画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＯＣＴＡ正面画像に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴＡ正面画像の表示に変更されるだけでなく、ＯＣＴ断層画像に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴ断層画像の表示に変更されるように構成されてもよい。このとき、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じてＯＣＴＡ正面画像上で移動可能に構成されてもよい。また、高画質化ボタンの表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応するＯＣＴ断層画像を高画質化処理して得た高画質なＯＣＴ断層画像の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎に高画質化ボタンが表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。

【0101】

また、ＯＣＴＡ断層画像における血管領域（例えば、閾値以上のモーションコントラストデータ）を示す情報が、対応する位置のＢスキャン画像であるＯＣＴ断層画像に重畳して表示されてもよい。このとき、例えば、ＯＣＴ断層画像が高画質化されると、対応する位置のＯＣＴＡ断層画像が高画質化されてもよい。そして、高画質化して得たＯＣＴＡ断層画像における血管領域を示す情報が、高画質化して得たＯＣＴ断層画像に重畳して表示されてもよい。なお、血管領域を示す情報は、色等の識別可能な情報であれば何でもよい。また、血管領域を示す情報の重畳表示と非表示とが検者からの指示に応じて変更可能に構成されてもよい。また、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像上で移動されると、ラインの位置に応じてＯＣＴ断層画像の表示が更新されてもよい。このとき、対応する位置のＯＣＴＡ断層画像も更新されるため、ＯＣＴＡ断層画像から得られる血管領域を示す情報の重畳表示が更新されてもよい。これにより、例えば、任意の位置において、血管領域と注目領域との位置関係を容易に確認しながら、血管領域の３次元の分布や状態を効果的に確認することができる。また、ＯＣＴＡ断層画像の高画質化は、高画質化用の学習済モデルを用いる代わりに、対応する位置で取得した複数のＯＣＴＡ断層画像の加算平均処理等による高画質化処理であってもよい。また、ＯＣＴ断層画像は、ＯＣＴボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴ断層画像であってもよい。また、ＯＣＴＡ断層画像は、ＯＣＴＡボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴＡ断層画像であってもよい。なお、任意の位置は、少なくとも１つの任意の位置であればよく、また、検者からの指示に応じて変更可能に構成されてもよい。このとき、複数の位置に対応する複数の疑似断層画像が再構成されるように構成されてもよい。

【0102】

なお、表示される断層画像（例えば、ＯＣＴ断層画像あるいはＯＣＴＡ断層画像）は、１つだけ表示されてもよいし、複数表示されてもよい。複数の断層画像が表示される場合には、それぞれ異なる副走査方向の位置で取得された断層画像が表示されてもよいし、例えばクロススキャン等により得られた複数の断層画像を高画質化して表示する場合には、異なる走査方向の画像がそれぞれ表示されてもよい。また、例えばラジアルスキャン等により得られた複数の断層画像を高画質化して表示する場合には、一部選択された複数の断層画像（例えば基準ラインに対して互いに対称な位置の２つの断層画像）がそれぞれ表示されてもよい。さらに、経過観察用の表示画面（フォローアップ用の表示画面）に複数の断層画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚み等）の表示が行われてもよい。このとき、表示される複数の断層画像は、被検眼の所定部位の異なる日時に得た複数の断層画像であってもよいし、同一検査日の異なる時間に得た複数の断層画像であってもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいて断層画像に高画質化処理を実行してもよい。

【0103】

同様に、ＳＬＯ画像を高画質化して表示する場合には、例えば、同一の表示画面に表示されるＳＬＯ画像を高画質化して表示してもよい。さらに、輝度の正面画像を高画質化して表示する場合には、例えば、同一の表示画面に表示される輝度の正面画像を高画質化して表示してよい。さらに、経過観察用の表示画面に複数のＳＬＯ画像や輝度の正面画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚み等）の表示が行われてもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいてＳＬＯ画像や輝度の正面画像に高画質化処理を実行してもよい。なお、断層画像、ＳＬＯ画像、及び輝度の正面画像の表示は例示であり、これらの画像は所望の構成に応じて任意の態様で表示されてよい。また、ＯＣＴＡ正面画像、断層画像、ＳＬＯ画像、及び輝度の正面画像の少なくとも２つ以上が、一度の指示で高画質化され表示されてもよい。

【0104】

このような構成により、高画質化処理して得た高画質画像を表示制御部１２１が表示部１１６に表示させることができる。なお、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも１つの条件が選択されている場合には、表示画面が遷移されても、選択された条件が維持されるように構成されてもよい。なお、各種高画質画像や上記ライン、血管領域を示す情報等の表示の制御は、表示制御部１２１によって行われてよい。

【0105】

また、高画質化モデルは、表示制御部１２１によって表示部１１６に表示されるプレビュー画面において、ライブ動画像のすくなくとも１つのフレーム毎に用いられてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。例えば、アライメント処理に用いる前眼画像について、前眼画像用の高画質化モデルを用いて高画質化された画像を用いてもよい。同様に各種画像における所定領域の検出処理について用いられる各種画像について、それぞれの画像用の高画質化モデルを用いて高画質化された画像を用いてもよい。

【0106】

このとき、例えば、検者からの指示に応じて高画質化ボタンが押下された場合には、異なる種類の複数のライブ動画像（例えば、前眼画像、ＳＬＯ画像、断層画像）の表示を（同時に）、それぞれ高画質化処理されることにより得た高画質動画像の表示に変更されるように構成されてもよい。このとき、高画質動画像の表示は、各フレームを高画質化処理して得た高画質画像の連続表示であってもよい。また、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、検者からの指示に応じて高画質化ボタンが押下されると、前眼画像に対応する高画質化モデルを用いて前眼画像を高画質化処理するだけでなく、ＳＬＯ画像に対応する高画質化モデルを用いてＳＬＯ画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、前眼画像に対応する高画質化モデルを用いて生成された高画質な前眼画像の表示に変更されるだけでなく、ＳＬＯ画像に対応する高画質化モデルを用いて生成された高画質なＳＬＯ画像の表示に変更されるように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＳＬＯ画像に対応する高画質化モデルを用いてＳＬＯ画像を高画質化処理するだけでなく、断層画像に対応する高画質化モデルを用いて断層画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＳＬＯ画像に対応する高画質化モデルを用いて生成された高画質なＳＬＯ画像の表示に変更されるだけでなく、断層画像に対応する高画質化モデルを用いて生成された高画質な断層画像の表示に変更されるように構成されてもよい。このとき、断層画像の位置を示すラインがＳＬＯ画像に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じてＳＬＯ画像上で移動可能に構成されてもよい。また、高画質化ボタンの表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応する断層画像を高画質化処理して得た高画質な断層画像の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎に高画質化ボタンが表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。

【0107】

これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、プレビュー画面を確認しながら操作者がアライメント位置を修正する場合に、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。また、制御部１１７は、撮影開始に関する指示に応じて、撮影の途中あるいは撮影の最後に、セグメンテーション処理等により得たアーチファクト領域等の部分領域が再度撮影（リスキャン）されるように、上述した走査手段を駆動制御してもよい。なお、被検眼の動き等の状態によっては、１回のリスキャンでは上手く撮影できない場合があるため、所定の回数のリスキャンが繰り返されるように駆動制御されてもよい。このとき、所定の回数のリスキャンの途中でも、操作者からの指示に応じて（例えば、撮影キャンセルボタンの押下後に）リスキャンが終了されるように構成されてもよい。このとき、操作者からの指示に応じてリスキャンが終了されるまでの撮影データが保存されるように構成されてもよい。なお、例えば、撮影キャンセルボタンの押下後に確認ダイアログが表示され、撮影データの保存か、撮影データの破棄かを、操作者からの指示に応じて選択可能に構成されてもよい。また、例えば、撮影キャンセルボタンの押下後には、（現在のリスキャンは完了するまで実行されるが）次のリスキャンは実行されずに、確認ダイアログにおける操作者からの指示（入力）があるまで待機するように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を自動的に行うように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を検者からの指示に応じて実行可能な状態に変更（実行禁止状態を解除）するように構成されてもよい。

【0108】

ここで、オートアライメント中では、被検眼Ｅの網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン画像）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。なお、高画質化ボタンは、高画質化処理の実行を指定するためのボタンである。もちろん、高画質化ボタンは、高画質画像の表示を指示するためのボタンであってもよい。

【0109】

また、スキャンパターン等が異なる撮影モード毎に異なる高画質化モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化モデルが用いられてもよい。

【0110】

ここで、眼科装置、例えばＯＣＴ装置では、撮影モード毎に測定に用いる光束のスキャンパターンや撮影部位が異なる。そのため、断層画像を入力データとする学習済モデルに関しては、撮影モード毎に学習済モデルを用意し、操作者の指示に応じて選択された撮影モードに対応する学習済モデルが選択されるように構成してもよい。この場合、撮影モードとしては、例えば、網膜撮影モード、前眼部撮影モード、硝子体撮影モード、黄斑部撮影モード、及び視神経乳頭部撮影モード、ＯＣＴＡ撮影モード等が含まれてよい。また、スキャンパターンとしては、３Ｄスキャン、ラジアルスキャン、クロススキャン、サークルスキャン、ラスタスキャン、及びリサージュスキャン（リサージュ曲線に沿った走査）等が含まれてよい。なお、ＯＣＴＡ撮影モードでは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように、駆動制御部（不図示）が上述した走査手段を制御する。ＯＣＴＡ撮影モードでも、スキャンパターンとして、例えばラスタスキャンや、ラジアルスキャン、クロススキャン、サークルスキャン、リサージュスキャン等を設定することができる。また、断層画像を入力データとする学習済モデルに関しては、異なる方向の断面に応じた断層画像を学習データに用いて学習を行うことができる。例えば、ｘｚ方向の断面の断層画像やｙｚ方向の断面の断層画像等を学習データに用いて学習を行ってよい。

【0111】

なお、高画質化モデルによる高画質化処理の実行（又は高画質化処理して得た高画質画像の表示）の要否の判断は、表示画面に設けられる高画質化ボタンについて、操作者の指示に応じて行われてもよいし、予め記憶部１１４に記憶されている設定に応じて行われてもよい。なお、学習済モデル（高画質化モデル）を用いた高画質化処理である旨を高画質化ボタンのアクティブ状態等で表示してもよいし、その旨をメッセージとして表示画面に表示させてもよい。また、高画質化処理の実行は、眼科装置の前回の起動時における実行状態を維持してもよいし、被検者毎に前回の検査時の実行状態を維持してもよい。

【0112】

また、高画質化モデル等の種々の学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部１１４に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部１１４に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン画像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化エンジンにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成されてもよい。

【0113】

なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されても良いし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン画像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン画像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。

【0114】

また、高画質化モデルは、検者からの指示に応じて設定（変更）された割合の値を学習データとする追加学習により更新されてもよい。例えば、入力画像が比較的暗いときに、高画質画像に対する入力画像の割合を検者が高く設定する傾向にあれば、学習済モデルはそのような傾向となるように追加学習することになる。これにより、例えば、検者の好みに合った合成の割合を得ることができる学習済モデルとしてカスタマイズすることができる。このとき、設定（変更）された割合の値を追加学習の学習データとして用いるか否かを、検者からの指示に応じて決定するためのボタンが表示画面に表示されていてもよい。また、学習済モデルを用いて決定された割合をデフォルトの値とし、その後、検者からの指示に応じて割合の値をデフォルトの値から変更可能となるように構成されてもよい。また、高画質化モデルは、高画質化モデルを用いて生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。

【0115】

（変形例４）
上述した様々な実施形態及び変形例において、制御部１１７は、撮影により取得した画像について、画像セグメンテーション用の学習済モデルを用いてラベル画像を生成し、画像セグメンテーション処理を行ってもよい。ここでラベル画像とは、当該断層画像について画素毎に領域のラベルが付されたラベル画像をいう。具体的には、取得された画像に描出されている領域群のうち、任意の領域を特定可能な画素値（以下、ラベル値）群によって分けている画像のことである。ここで、特定される任意の領域には関心領域や関心体積（ＶＯＩ：Ｖｏｌｕｍｅ Ｏｆ Ｉｎｔｅｒｅｓｔ）等が含まれる。

【0116】

画像から任意のラベル値を持つ画素の座標群を特定すると、画像中において対応する網膜層等の領域を描出している画素の座標群を特定できる。具体的には、例えば、網膜を構成する神経節細胞層を示すラベル値が１である場合、画像の画素群のうち画素値が１である座標群を特定し、画像から該座標群に対応する画素群を抽出する。これにより、当該画像における神経節細胞層の領域を特定できる。

【0117】

なお、画像セグメンテーション処理には、ラベル画像に対する縮小又は拡大処理を実施する処理が含まれてもよい。このとき、ラベル画像の縮小又は拡大に用いる画像補完処理手法は、未定義のラベル値や対応する座標に存在しないはずのラベル値を誤って生成しないような、最近傍法等を使うものとする。

【0118】

画像セグメンテーション処理とは、画像に描出された臓器や病変といった、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）やＶＯＩと呼ばれる領域を、画像診断や画像解析に利用するために特定する処理のことである。例えば、画像セグメンテーション処理によれば、後眼部を撮影対象としたＯＣＴの撮影によって取得された画像から、網膜を構成する層群の領域群を特定することができる。なお、画像に特定すべき領域が描出されていなければ特定される領域の数は０である。また、画像に特定すべき複数の領域群が描出されていれば、特定される領域の数は複数であってもよいし、又は、該領域群を含むように囲む領域１つであってもよい。

【0119】

特定された領域群は、その他の処理において利用可能な情報として出力される。具体的には、例えば、特定された領域群のそれぞれを構成する画素群の座標群を数値データ群として出力することができる。また、例えば、特定された領域群のそれぞれを含む矩形領域や楕円領域、長方体領域、楕円体領域等を示す座標群を数値データ群として出力することもできる。さらに、例えば、特定された領域群の境界にあたる直線や曲線、平面、又は曲面等を示す座標群を数値データ群として出力することもできる。また、例えば、特定された領域群を示すラベル画像を出力することもできる。

【0120】

ここで、画像セグメンテーション用の機械学習モデルとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ）を用いることができる。ここで、図９を参照して、本変形例に係る機械学習モデルを、ＣＮＮで構成する例について説明する。図９は、画像セグメンテーション用の学習済モデルの構成の一例を示している。当該学習済モデルの例では、例えば、断層画像１３０１が入力されると、特定された領域群を示すラベル画像１３０２を出力することができる。

【0121】

図９に示す機械学習モデルは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該機械学習モデルの構成に含まれる層の種類としては、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅｒ）層がある。

【0122】

畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。

【0123】

ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。

【0124】

アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、線形補間処理がある。

【0125】

合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。

【0126】

なお、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。

【0127】

また、上述したようなパラメータを変更するという方法だけでなく、ＣＮＮの構成を変更することによって、ＣＮＮがより良い特性を得られる場合がある。より良い特性とは、例えば、より精度の高いアライメント位置の情報を出力したり、処理時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。

【0128】

なお、本変形例で用いるＣＮＮの構成は、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ－ｎｅｔ型の機械学習モデルである。Ｕ－ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。

【0129】

図示しないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込む等をしてもよい。ＣＮＮのこれらのステップを通して、撮影画像の特徴を抽出することができる。

【0130】

なお、本変形例に係る機械学習モデルとしては、例えば、図９で示したようなＣＮＮ（Ｕ－ｎｅｔ型の機械学習モデル）、ＣＮＮとＬＳＴＭを組み合わせたモデル、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることができる。また、所望の構成に応じて、物体認識を行う機械学習モデル等を用いることもできる。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルを用いることもできる。領域単位で物体認識を行う機械学習モデルとしては、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅＳｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。

【0131】

また、画像セグメンテーション用の機械学習モデルの学習データは、ＯＣＴにより取得された断層画像を入力データとし、当該断層画像について画素毎に領域のラベルが付されたラベル画像を出力データとする。ラベル画像としては、例えば、内境界膜（ＩＬＭ）、神経線維層（ＮＦＬ）、神経節細胞層（ＧＣＬ）、視細胞内節外節接合部（ＩＳＯＳ）、網膜色素上皮層（ＲＰＥ）、ブルッフ膜（ＢＭ）、及び脈絡膜等のラベルが付されたラベル画像を用いることができる。なお、その他の領域として、例えば、硝子体、強膜、外網状層（ＯＰＬ）、外顆粒層（ＯＮＬ）、内網状層（ＩＰＬ）、内顆粒層（ＩＮＬ）、角膜、前房、虹彩、及び水晶体等のラベルが付された画像を用いてもよい。

【0132】

また、画像セグメンテーション用の機械学習モデルの入力データは断層画像に限られない。前眼画像やＳＬＯ画像、ＯＣＴＡ画像等であってもよい。この場合、学習データは、各種画像を入力データとし、各種画像の画素毎に領域名等がラベル付けされたラベル画像を出力データとすることができる。例えば、学習データの入力データがＳＬＯ画像である場合には、出力データは、視神経乳頭の周辺部、Ｄｉｓｃ、及びＣｕｐ等のラベルが付された画像であってよい。

【0133】

なお、出力データとして用いられるラベル画像は、医師等により断層画像において各領域にラベルが付された画像であってもよいし、ルールベースの領域検出処理により各領域にラベルが付された画像であってもよい。ただし、適切にラベル付けが行われていないラベル画像を学習データの出力データとして用いて機械学習を行うと、当該学習データを用いて学習した学習済モデルを用いて得た画像も適切にラベル付けが行われていないラベル画像となってしまう可能性がある。そのため、そのようなラベル画像を含むペアを学習データから取り除くことで、学習済モデルを用いて適切でないラベル画像が生成される可能性を低減させることができる。ここで、ルールベースの領域検出処理とは、例えば網膜の形状の規則性等の既知の規則性を利用した検出処理をいう。

【0134】

制御部１１７は、このような画像セグメンテーション用の学習済モデルを用いて、画像セグメンテーション処理を行うことで、各種画像について特定の領域を高速に精度良く検出することが期待できる。なお、画像セグメンテーション用の学習済モデルも、入力データである各種画像の種類毎に用意されてもよい。また、ＯＣＴＡ正面画像やＥｎ－Ｆａｃｅ画像については、画像を生成するための深度範囲毎に学習済モデルが用意されてもよい。さらに、画像セグメンテーション用の学習済モデルも、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）毎の画像について学習を行ったものでもよいし、撮影部位を関わらず学習を行ったものであってもよい。

【0135】

また、画像セグメンテーション用の学習済モデルについては、操作者の指示に応じて手動で修正されたデータを学習データとして追加学習が行われてもよい。また、追加学習の要否の判断やサーバにデータを送信するか否かの判断も同様の方法で行われてよい。これらの場合にも、各処理の精度を向上させたり、検者の好みの傾向に応じた処理を行えたりすることが期待できる。

【0136】

さらに、制御部１１７は、学習済モデルを用いて、被検眼Ｅの部分領域（例えば、注目部位、アーチファクト領域、異常部位等）を検出する場合には、検出した部分領域毎に所定の画像処理を施すこともできる。例として、硝子体領域、網膜領域、及び脈絡膜領域のうちの少なくとも２つの部分領域を検出する場合について述べる。この場合には、検出された少なくとも２つの部分領域に対してコントラスト調整等の画像処理を施す際に、それぞれ異なる画像処理のパラメータを用いることで、各領域に適した調整を行うことができる。各領域に適した調整が行われた画像を表示することで、操作者は部分領域毎の疾病等をより適切に診断することができる。なお、検出された部分領域毎に異なる画像処理のパラメータを用いる構成については、学習済モデルを用いずに被検眼Ｅの部分領域を検出して求めた被検眼Ｅの部分領域について同様に適用されてもよい。

【0137】

（変形例５）
上述した様々な実施形態及び変形例における表示制御部１２１は、断層画像撮影後に表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、毛細血管領域、動脈領域、静脈領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。ここで、注目部位は、例えば、Ｈａｌｌｅｒ層における血管（脈絡膜領域の一部の深度範囲における血管の一例）の眼外への流出口である渦静脈等であってもよい。このとき、注目部位に関するパラメータは、例えば、渦静脈の個数（例えば、領域毎の個数）や、視神経乳頭部から各渦静脈までの距離、視神経乳頭を中心とする各渦静脈の位置する角度等であってもよい。これにより、例えば、Ｐａｃｈｙｃｈｏｒｏｉｄ（肥厚した脈絡膜）に関する種々の疾患（例えば、脈絡膜新生血管症）等を精度よく診断することが可能となる。また、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、上述した種々の解析結果を精度の良い解析結果として表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、表示制御部１２１は、上述したような様々なアーチファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示部１１６に表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、及びシュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また、標準データベースを用いて得た標準値や標準範囲と、解析結果とを比較して得た比較結果が表示されてもよい。

【0138】

また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。

【0139】

また、画像解析を行うための学習データは、画像セグメンテーション処理用の学習済モデルを用いて生成されたラベル画像と、当該ラベル画像を用いた医用画像の解析結果とを含んだものでもよい。この場合、制御部１１７は、例えば、解析結果生成用の学習済モデルを用いて、画像セグメンテーション処理の結果から、断層画像の解析結果を生成する、解析結果生成部の一例として機能することができる。さらに、学習済モデルは、後述のＥｎ－Ｆａｃｅ画像及びモーションコントラスト正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像）のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。

【0140】

また、高画質化モデルを用いて生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。この場合、学習データに含まれる入力データとしては、高画質化用の学習済モデルを用いて生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。なお、学習データは、学習済モデルを用いて高画質化された画像について、手動又は自動で少なくとも一部に修正が施された画像であってもよい。

【0141】

また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、操作者からの指示に応じて、解析結果生成用の学習済モデルを用いて得た解析結果が表示されるように構成されてもよい。

【0142】

また、上述した実施形態及び変形例における推定部１１９は、例えば、上述したような各種のアーチファクトの低減処理が適用された画像を推定処理に用いることで、精度の良い推定結果を出力することができる。また、表示制御部１２１は、推定結果を、特定された異常部位等の位置を画像上に表示させてもよいし、異常部位の状態等を文字等によって表示させてもよい。さらに、表示制御部１２１は、疾患についての推定結果とは別に、異常部位等の分類結果（例えば、カーティン分類）を診断結果として表示させてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報（例えば、割合を示す数値）が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、ＯＣＴＡ画像における血管領域に異常部位が検出された場合には、ＯＣＴＡよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。また、診断結果は、被検者の今後の診療方針等に関する情報であってもよい。また、診断結果は、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、及び診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報であってもよい。このとき、例えば、検者からの指示に応じて入力された診断名等の診断結果よりも確からしい診断結果を医用支援情報として表示させてもよい。また、複数の種類の医用画像が用いられた場合には、例えば、診断結果の根拠となり得る種類の医用画像が識別可能に表示されてもよい。また、診断結果の根拠としては、学習済モデルが抽出した特徴量を可視化したマップ（注意マップ、活性化マップ）で、例えば、特徴量をカラーで示したカラーマップ（ヒートマップ）であってもよい。このとき、例えば、入力データとした医用画像にヒートマップを重畳表示させてもよい。なお、ヒートマップは、例えば、予測（推定）されるクラスの出力値への寄与が大きい領域（勾配が大きい領域）を可視化する手法であるＧｒａｄ－ＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）やＧｕｉｄｅｄ Ｇｒａｄ－ＣＡＭ等を用いて得ることができる。

【0143】

なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。

【0144】

また、学習データは、画像セグメンテーション処理用の学習済モデルを用いて生成されたラベル画像と、当該ラベル画像を用いた医用画像の診断結果とを含んだものでもよい。この場合、制御部１１７は、例えば、診断結果生成用の学習済モデルを用いて、画像セグメンテーション処理の結果から、断層画像の診断結果を生成する、診断結果生成部の一例として機能することができる。

【0145】

さらに、高画質化用の学習済モデルを用いて生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。この場合、学習データに含まれる入力データとしては、高画質化用の学習済モデルを用いて生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。なお、学習データは、学習済モデルを用いて高画質化された画像について、手動又は自動で少なくとも一部に修正が施された画像であってもよい。

【0146】

また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータを用いてもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルを用いて得た診断結果が表示されるように構成されてもよい。

【0147】

なお、入力データとして用いる情報毎又は情報の種類毎に学習済モデルを用意し、学習済モデルを用いて、診断結果を取得してもよい。この場合、各学習済モデルから出力された情報に統計的な処理を行い、最終的な診断結果を決定してもよい。例えば、各学習済モデルから出力された情報の割合を各種類の情報毎に加算し、他の情報よりも割合の合計が高い情報を最終的な診断結果として決定してもよい。なお、統計的な処理は合計の算出に限られず、平均値や中央値の算出等であってもよい。また、例えば、各学習済モデルから出力された情報のうち、他の情報よりも割合の高い情報（最も割合の高い情報）を用いて診断結果を決定してもよい。同様に、各学習済モデルから出力された情報のうち、閾値以上である割合の情報を用いて診断結果を決定してもよい。

【0148】

また、操作者の指示（選択）に応じて、決定された診断結果の良否の判定（承認）が可能に構成されてもよい。また、操作者の指示（選択）に応じて、各学習済モデルから出力された情報から診断結果を決定してもよい。このとき、例えば、表示制御部１２１が、各学習済モデルから出力された情報及びその割合を並べて表示部１１６に表示させてもよい。そして、操作者が、例えば、他の情報よりも割合の高い情報を選択することにより、選択された情報を診断結果として決定するように構成されてもよい。さらに、各学習済モデルから出力された情報から、機械学習モデルを用いて、診断結果を決定してもよい。この場合には、機械学習アルゴリズムとして、診断結果生成に用いられた機械学習アルゴリズムとは異なる種類の機械学習アルゴリズムであってもよく、例えば、ニューラルネットワーク、サポートベクターマシン、アダブースト、ベイジアンネットワーク、又はランダムフォレスト等を用いてよい。

【0149】

なお、上述した種々の学習済モデルの学習は、教師あり学習（ラベル付きの学習データで学習）だけでなく、半教師あり学習であってもよい。半教師あり学習は、例えば、複数の識別器（分類器）がそれぞれ教師あり学習を行った後、ラベルのない学習データを識別（分類）し、識別結果（分類結果）の信頼度に応じて（例えば、確からしさが閾値以上の識別結果を）自動的にラベル付け（アノテーション）し、ラベル付けされた学習データで学習を行う手法である。半教師あり学習は、例えば、共訓練（Ｃｏ－Ｔｒａｉｎｉｎｇ、あるいはＭｕｌｔｉｖｉｅｗ）であってもよい。このとき、診断結果生成用の学習済モデルは、例えば、正常な被検体の医用画像を識別する第１の識別器と、特定の病変を含む医用画像を識別する第２の識別器とを用いて半教師あり学習（例えば、共訓練）して得た学習済モデルであってもよい。なお、診断目的に限らず、例えば撮影支援等を目的としてもよい。この場合、第２の識別器は、例えば、注目部位やアーチファクト領域等の部分領域を含む医用画像を識別するものであってもよい。

【0150】

また、上述した様々な実施形態及び変形例に係る表示制御部１２１は、表示画面のレポート画面において、上述したような注目部位、アーチファクト領域、及び異常部位等の部分領域の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け（アノテーション）した学習データを学習して得た学習済モデル（物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル）を用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。

【0151】

また、異常部位を検出する場合には、制御部１１７は、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｋｓ）や変分オートエンコーダー（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）を用いてもよい。例えば、医用画像の生成を学習して得た生成器と、生成器が生成した新たな医用画像と本物の医用画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＧＡＮ）を機械学習モデルとして用いることができる。

【0152】

ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された医用画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな医用画像を生成する。その後、入力された医用画像と生成された新たな医用画像との差分を異常部位として抽出（検出）することができる。また、ＶＡＥを用いる場合には、例えば、入力された医用画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな医用画像を生成する。その後、入力された医用画像と生成された新たな医用画像像との差分を異常部位として抽出することができる。

【0153】

さらに、制御部１１７は、畳み込みオートエンコーダー（ＣＡＥ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）を用いて、異常部位を検出してもよい。ＣＡＥを用いる場合には、学習時に入力データ及び出力データとして同じ医用画像を学習させる。これにより、推定時に異常部位がある医用画像をＣＡＥに入力すると、学習の傾向に従って異常部位がない医用画像が出力される。その後、ＣＡＥに入力された医用画像とＣＡＥから出力された医用画像の差分を異常部位として抽出することができる。

【0154】

これらの場合、制御部１１７は、敵対的生成ネットワーク又はオートエンコーダーを用いて得た医用画像と、該敵対的生成ネットワーク又はオートエンコーダーに入力された医用画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、制御部１１７は、高速に精度よく異常部位を検出することが期待できる。例えば、異常部位の検出精度の向上のために異常部位を含む医用画像を学習データとして数多く集めることが難しい場合であっても、比較的に数多く集め易い正常な被検体の医用画像を学習データとして用いることができる。このため、例えば、異常部位を精度よく検出するための学習を効率的に行うことができる。ここで、オートエンコーダーには、ＶＡＥやＣＡＥ等が含まれる。また、敵対的生成ネットワークの生成部の少なくとも一部がＶＡＥで構成されてもよい。これにより、例えば、同じようなデータを生成してしまう現象を低減しつつ、比較的鮮明な画像を生成することができる。例えば、制御部１１７は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダーを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダーに入力された医用画像との差に関する情報を、異常部位に関する情報として生成することができる。また、例えば、表示制御部１２１は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダーを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダーに入力された医用画像との差に関する情報を、異常部位に関する情報として表示部１１６に表示させることができる。

【0155】

また、特に診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。

【0156】

また、特に診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元ＯＣＴ画像（三次元断層画像）と眼底の視神経乳頭のサークルスキャン（又はラスタスキャン）断層画像とをセットとする入力データ等も考えられる。

【0157】

なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、処理の結果を向上することができる。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。

【0158】

また、上述した推定結果と解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、操作者は、撮影直後であっても精度の良い結果を確認することができる。

【0159】

また、例えば、特定の物体が認識されると、認識された物体を囲う枠がライブ動画像に重畳表示させるように構成されてもよい。このとき、物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、例えば、物体を囲う枠の色が変更される等のように強調表示されてもよい。これにより、検者は、物体をライブ動画上で容易に識別することができる。

【0160】

なお、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。また、例えば、結果の精度が低い医用画像については、検者が該医用画像上に、学習済モデルが抽出した特徴量を可視化したマップ（注意マップ、活性化マップ）の一例である、特徴量をカラーで示したカラーマップ（ヒートマップ）を確認しながらラベル付け（アノテーション）した画像を入力データとして追加学習するように構成されてもよい。例えば、学習済モデルにおける結果を出力する直前等のレイヤー上のヒートマップにおいて、注目すべき箇所が検者の意図と異なる場合には、検者が注目すべきと考える箇所にラベル付け（アノテーション）した医用画像を追加学習してもよい。これにより、例えば、学習済モデルは、医用画像上の部分領域であって、学習済モデルの出力結果に対して比較的影響が大きな部分領域の特徴量を、他の領域よりも優先して（重みを付けて）追加学習することができる。

【0161】

ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワークを用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダー（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。また、学習には、各ユニット（各ニューロン、あるいは各ノード）をランダムに不活性化する手法（ドロップアウト）が用いられてもよい。また、学習には、多階層のニューラルネットワークの各層に伝わったデータを、活性化関数（例えばＲｅＬｕ関数）が適用される前に、正規化する手法（バッチ正規化）が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。

【0162】

なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本変形例では、学習部（不図示）の一例である制御部１１７による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵ又はＧＰＵのみにより演算が行われてもよい。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部１１９）も、学習部と同様にＧＰＵを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

【0163】

また、上述した物体認識や、セグメンテーション、高画質化等に用いられる機械学習モデルとしては、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ－ｎｅｔ型の機械学習モデルが適用可能である。Ｕ－ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。

【0164】

また、上述した物体認識や、セグメンテーション、高画質化等に用いられる機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。

【0165】

また、機械学習モデルは、例えば、カプセルネットワーク（Ｃａｐｓｕｌｅ Ｎｅｔｗｏｒｋ；ＣａｐｓＮｅｔ）でもよい。ここで、一般的なニューラルネットワークでは、各ユニット（各ニューロン、あるいは各ノード）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。

【0166】

（変形例６）
上述した様々な実施形態及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも１つのフレーム毎に上述した種々の学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。

【0167】

なお、複数のライブ動画像は、例えば、ＸＹＺ方向のアライメントのための前眼部の動画像、及び眼底観察光学系のフォーカス調整やＯＣＴフォーカス調整のための眼底の正面動画像であってよい。また、複数のライブ動画像は、例えば、ＯＣＴのコヒーレンスゲート調整（測定光路長と参照光路長との光路長差の調整）のための眼底の断層動画像等であってもよい。このようなプレビュー画像が表示される場合、上述した物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された領域が所定の条件を満たすように、上述した各種調整が行われるように制御部１１７を構成してもよい。例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層等に関する値（例えば、コントラスト値あるいは強度値）が閾値を超える（あるいはピーク値になる）ように、ＯＣＴフォーカス調整等の各種調整が行われるように構成されてもよい。また、例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層が深さ方向における所定の位置になるように、ＯＣＴのコヒーレンスゲート調整が行われるように構成されてもよい。

【0168】

これらの場合には、制御部１１７は、学習済モデルを用いて、動画像について高画質化処理を行って、高画質な動画像を生成することができる。また、駆動制御部（不図示）は、高画質な動画像が表示された状態で、セグメンテーション処理等により得た注目部位等の部分領域が表示領域における所定の位置になるように、参照ミラー等の撮影範囲を変更するための光学部材を駆動制御することができる。このような場合には、駆動制御部は、精度の高い情報に基づいて、所望される領域が表示領域の所定の位置になるように自動的にアライメント処理を行うことができる。なお、撮影範囲を変更する光学部材としては、例えばコヒーレンスゲート位置を調整する光学部材であってよく、具体的には参照光を反射する参照ミラーであってよい。また、コヒーレンスゲート位置は、測定光路長及び参照光路長の光路長差を変更する光学部材によって調整されることができ、当該光学部材は、例えば、不図示の測定光の光路長を変更するためのミラー等であってもよい。なお、撮影範囲を変更する光学部材は、例えばステージ部（不図示）であってもよい。また、駆動制御部、撮影開始に関する指示に応じて、撮影の途中あるいは撮影の最後に、セグメンテーション処理等により得たアーチファクト領域等の部分領域が再度撮影（リスキャン）されるように、走査手段を駆動制御してもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各種調整や撮影開始等を自動的に行うように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を検者からの指示に応じて実行可能な状態に変更（実行禁止状態を解除）するように構成されてもよい。

【0169】

また、上述した種々の学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部１１４に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部１１４に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化用の学習済モデルにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成してもよい。

【0170】

なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。

【0171】

ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。

【0172】

また、例えば、スキャンパターン等が異なる撮影モード毎に異なる高画質化用の学習済モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化用の学習済モデルが用いられてもよい。

【0173】

（変形例７）
上述した実施形態及び変形例においては、各種学習済モデルが追加学習の実行中である場合、追加学習の実行中の学習済モデル自体を用いて出力（推論・予測）することが難しい可能性がある。このため、追加学習の実行中の学習済モデルに対する学習データ以外の医用画像の入力を禁止するように構成されることがよい。また、追加学習の実行前の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習の実行中には、予備の学習済モデルに対する学習データ以外の医用画像の入力が実行可能なように構成されることがよい。そして、追加学習が完了した後に、追加学習の実行後の学習済モデルを評価し、問題がなければ、予備の学習済モデルから追加学習の実行後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。

【0174】

なお、追加学習の実行後の学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け（アノテーション）されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時（予測時）の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報（例えば、割合を示す数値）と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理（例えば、位置合わせして得た複数の低画質画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれてもよい。また、追加学習の実行後の学習済モデルの評価としては、例えば、追加学習の実行後の学習済モデルと追加学習の実行前の学習済モデル（予備の学習済モデル）とをそれぞれ用いて同一の画像から得た複数の高画質画像を比較、あるいは該複数の高画質画像の解析結果を比較してもよい。このとき、例えば、該複数の高画質画像の比較結果（追加学習による変化の一例）、あるいは該複数の高画質画像の解析結果の比較結果（追加学習による変化の一例）が所定の範囲であるか否かを判定し、判定結果が表示されてもよい。

【0175】

また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第１の撮影部位（例えば、前眼部、後眼部等）を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、制御部１１７は、これら複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、制御部１１７は、選択された学習済モデルに対して追加学習を実行する制御手段を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。

【0176】

なお、選択手段及び制御手段は、制御部１１７のＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。

【0177】

また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざんや、追加学習時のシステムトラブル等による信頼性低下を低減することが有用である。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わないものとする。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。

【0178】

また、上述したような一致性の確認によるデータの保護は、追加学習用の学習データに限らず、医用画像を含むデータに適用可能である。また、複数の施設のサーバの間の医用画像を含むデータの取引が分散型のネットワークにより管理されるように画像管理システムが構成されてもよい。また、取引履歴と、前のブロックのハッシュ値とが一緒に記録された複数のブロックを時系列につなぐように画像管理システムが構成されてもよい。なお、一致性の確認等を行うための技術としては、量子ゲート方式等の量子コンピュータを用いても計算が困難な暗号（例えば、格子暗号、量子鍵配送による量子暗号等）が用いられてもよい。ここで、画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムであってもよい。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。また、画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。

【0179】

なお、各種学習済モデルについて、追加学習を行う際には、ＧＰＵを用いて高速に処理を行うことができる。ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができるため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵで処理を行うことが有効である。なお、追加学習の処理は、ＧＰＵとＣＰＵ等が協働して行ってもよい。

【0180】

（変形例８）
上述した様々な実施形態及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル（音声認識エンジン、音声認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル（文字認識エンジン、文字認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル（ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。

【0181】

また、検者からの指示は、表示部１１６における表示画面上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、表示部１１６における表示画面の周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。

【0182】

このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部１１６に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、撮影パラメータの自動設定を行うか否かの実行命令及び当該命令用のボタンをアクティブ状態に変更するための実行命令等を正解データとする学習データであってもよい。なお、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス又はタッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。

【0183】

ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｒｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。ここで、本変形例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるＲＮＮに関して、図１０（ａ）及び（ｂ）を参照して説明する。また、ＲＮＮの一種であるＬｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図１１（ａ）及び（ｂ）を参照して説明する。

【0184】

図１０（ａ）は、機械学習モデルであるＲＮＮの構造を示す。ＲＮＮ３５２０は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘ^ｔ３５１０を入力し、データｈ^ｔ３５３０を出力する。ＲＮＮ３５２０はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図１０（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘ^ｔ３５１０にはＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。また、ＲＮＮ３５２０より出力されるデータｈ^ｔ３５３０には入力データに対応するＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。

【0185】

しかし、ＲＮＮでは誤差逆伝搬時に長期時間の情報を扱うことができないため、ＬＳＴＭが用いられることがある。ＬＳＴＭは、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図１１（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ３５４０において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃ^ｔ－１と出力データｈ^ｔ－１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。

【0186】

次に、図１１（ｂ）にＬＳＴＭ３５４０の詳細を示す。図１１（ｂ）において、ＦＧは忘却ゲートネットワーク、ＩＧは入力ゲートネットワーク、ＯＧは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。ＣＵは、セル更新候補ネットワークであり、活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。

【0187】

なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）が適用されてもよい。このとき、自然言語処理に関する技術としては、例えば、入力される文章毎に出力されるモデルが適用されてもよい。また、上述した種々の学習済モデルは、検者からの指示に限らず、検者に対する出力に適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。

【0188】

また、自然言語処理に関する技術としては、文書データを教師なし学習により事前学習して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、事前学習して得た学習済モデルをさらに目的に応じて転移学習（あるいはファインチューニング）して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、例えば、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）が適用されてもよい。また、自然言語処理に関する技術としては、文章内の特定の単語を左右両方の文脈から予測することで、文脈（特徴量）を自ら抽出（表現）可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、入力される時系列データにおける２つのシーケンス（センテンス）の関係性（連続性）を判断可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、隠れ層にＴｒａｎｓｆｏｒｍｅｒのＥｎｃｏｄｅｒが用いられ、ベクトルのシーケンスが入力、出力されるモデルが適用されてもよい。

【0189】

ここで、本変形例が適用可能な検者からの指示は、上述した様々な実施形態及び変形例に記載のような種々の画像や解析結果の表示の変更、Ｅｎ－Ｆａｃｅ画像の生成のための深度範囲の選択、追加学習用の学習データとして用いるか否かの選択、学習済モデルの選択、種々の学習済モデルを用いて得た結果の出力（表示や送信等）や保存等、に関する少なくとも１つの指示であれば何でもよい。また、本変形例が適用可能な検者からの指示は、撮影後の指示だけでなく、撮影前の指示であってもよく、例えば、種々の調整に関する指示、種々の撮影条件の設定に関する指示、撮影開始に関する指示であってもよい。また、本変形例が適用可能な検者からの指示は、表示画面の変更（画面遷移）に関する指示であってもよい。

【0190】

なお、機械学習モデルとしては、ＣＮＮ等の画像に関する機械学習モデルとＲＮＮ等の時系列データに関する機械学習モデルとを組み合わせた機械学習モデルであってもよい。このような機械学習モデルでは、例えば、画像に関する特徴量と時系列データに関する特徴量との関係性を学習することができる。機械学習モデルの入力層側がＣＮＮで、出力層側がＲＮＮである場合には、例えば、医用画像を入力データとし、該医用画像に関する文章（例えば、病変の有無、病変の種類、次の検査のレコメンド等）を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、医用画像に関する医療情報が自動的に文章で説明されるため、医療経験が浅い検者であっても、医用画像に関する医療情報を容易に把握することができる。また、機械学習モデルの入力層側がＲＮＮで、出力層側がＣＮＮである場合には、例えば、病変、所見、診断等の医療に関する文章を入力データとし、該医療に関する文章に対応する医用画像を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、検者が確認したい症例に関係する医用画像を容易に検索することができる。

【0191】

また、検者からの指示や検者に対する出力には、文字や音声等の文章を任意の言語に機械翻訳する機械翻訳エンジン（機械翻訳モデル、機械翻訳用の学習済モデル）が用いられてもよい。なお、任意の言語は、検者からの指示に応じて選択可能に構成されてもよい。また、任意の言語は、言語の種類を自動認識する学習済モデルを用いることで自動選択可能に構成されてもよい。また、自動選択された言語の種類を検者からの指示に応じて修正可能に構成されてもよい。機械翻訳エンジンには、例えば、上述した自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）が適用されてもよい。例えば、機械翻訳エンジンに入力された文章が機械翻訳された後に、機械翻訳された文章を文字認識エンジン等に入力するように構成されてもよい。また、例えば、上述した種々の学習済モデルから出力された文章を機械翻訳エンジンに入力し、機械翻訳エンジンから出力された文章が出力されるように構成されてもよい。

【0192】

また、上述した種々の学習済モデルが組み合わせて用いられてもよい。例えば、検者からの指示に対応する文字が文字認識エンジンに入力され、入力された文字から得た音声を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された文字が文字認識エンジンに入力され、入力された文字から得た音声が出力されるように構成されてもよい。また、例えば、検者からの指示に対応する音声が音声認識エンジンに入力され、入力された音声から得た文字を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された音声が音声認識エンジンに入力され、入力された音声から得た文字が表示部１１６に表示されるように構成されてもよい。このとき、検者に対する出力として文字による出力か音声による出力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示として文字による入力か音声による入力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示による選択によって、上述した種々の構成が採用されるようにしてもよい。

【0193】

（変形例９）
本撮影により取得された画像に関するラベル画像や高画質画像等は、操作者からの指示に応じて記憶部１１４に保存されてもよい。このとき、例えば、高画質画像を保存するための操作者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、又は最後の箇所）に、高画質化用の学習済モデルを用いた処理（高画質化処理）により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、操作者からの指示に応じて編集可能な状態で表示されてもよい。なお、同様に、ラベル画像等についても、学習済モデルを用いた処理により生成された画像である情報を含むファイル名が表示されてもよい。

【0194】

また、レポート画面等の種々の表示画面において、表示部１１６に高画質画像を表示させる際に、表示されている画像が高画質化モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、操作者は、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。例えば、画像セグメンテーション処理用の学習済モデルを用いたセグメンテーション結果の解析結果を表示する際にも、画像セグメンテーション用の学習済モデルを用いた結果に基づいた解析結果であることを示す表示が、解析結果とともに表示されてもよい。

【0195】

このとき、レポート画面等の表示画面は、操作者からの指示に応じて、画像データとして記憶部１１４に保存されてもよい。例えば、高画質画像等と、これらの画像が学習済モデルを用いた処理により生成された画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部１１４に保存されてもよい。

【0196】

また、高画質化モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部１１６に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、例えば画像セグメンテーション処理等上述した種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部１１６に表示されてもよい。

【0197】

また、学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。なお、高画質化モデルを用いた処理だけでなく、例えば画像セグメンテーション処理等の上述した種々の学習済モデルを用いた処理により得た画像についても、同様に処理してよい。

【0198】

また、レポート画面の初期表示画面として、高画質化処理ボタン等がアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、当該ボタンがアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ－Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されてもよい。なお、当該ボタンが画像セグメンテーション処理の切り替えを表す場合に関しても、同様に処理されてよい。

【0199】

（変形例１０）
上述した実施形態及び変形例において、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルで得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、所定領域検出結果を示す画像、セグメンテーション結果を示す画像）を、第１の種類とは異なる第２の種類の学習済モデルに入力してもよい。このとき、第２の種類の学習済モデルの処理による結果（例えば、推定結果、解析結果、診断結果、所定領域検出結果、セグメンテーション結果）が生成されるように構成されてもよい。

【0200】

また、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルの処理による結果（例えば、推定結果、解析結果、診断結果、所定領域検出結果、セグメンテーション結果）を用いて、第１の種類の学習済モデルに入力した画像から、第１の種類とは異なる第２の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第２の種類の学習済モデルを用いて処理する画像として適した画像である可能性が高い。このため、生成された画像を第２の種類の学習済モデルに入力して得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、所定領域検出結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。

【0201】

なお、共通の画像が、第１の種類の学習済モデルと第２の種類の学習済モデルとに入力されることで、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を実行するように構成されてもよい。このとき、例えば、検者からの指示に応じて、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を一括して（連動して）実行するように構成されてもよい。また、入力させる画像の種類（例えば、高画質画像、物体認識結果、セグメンテーション結果、類似症例画像）、生成（あるいは表示）させる処理結果の種類（例えば、高画質画像、推定結果、診断結果、解析結果、物体認識結果、セグメンテーション結果、類似症例画像）、入力の種類や出力の種類（例えば、文字、音声、言語）等をそれぞれ検者からの指示に応じて選択可能に構成されてもよい。また、入力の種類は、入力の種類を自動認識する学習済モデルを用いることで自動選択可能に構成されてもよい。また、出力の種類は、入力の種類と対応する（例えば、同じ種類になる）ように自動選択可能に構成されてもよい。また、自動選択された種類を検者からの指示に応じて修正可能に構成されてもよい。このとき、選択された種類に応じて少なくとも１つの学習済モデルが選択されるように構成されてもよい。このとき、複数の学習済モデルが選択された場合には、選択された種類に応じて複数の学習済モデルの組み合わせ方（例えば、データを入力させる順番等）が決定されてもよい。なお、例えば、入力させる画像の種類と、生成（あるいは表示）させる処理結果の種類とが、異なるように選択可能に構成されてもよいし、同じである場合には異なるように選択することを促す情報を検者に対して出力するように構成されてもよい。また、各学習済モデルはどの場所で実行されてもよい。例えば、複数の学習済モデルのうちの一部がクラウドサーバで用いられ、他はフォグサーバやエッジサーバ等の別のサーバで用いられるように構成されてもよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。これらにより、例えば、硝子体、白内障、緑内障、角膜屈折矯正、外眼等の手術や、レーザ光凝固等の治療が、遠隔であってもリアルタイムに支援することができる。このとき、例えば、これらの手術や治療に関する装置により得た種々の医用画像の少なくとも１つを無線により受信したフォグサーバやエッジサーバ等が種々の学習済モデルの少なくとも１つを用いて得た情報を手術や治療に関する装置に無線で送信するように構成されてもよい。また、例えば、手術や治療に関する装置に無線で受信した情報が、上述したような光学系や光学部材の移動量（ベクトル）であってもよく、この場合、手術や治療に関する装置が自動制御されるように構成されてもよい。また、例えば、検者による操作の支援を目的として、検者の許可を伴う自動制御（半自動制御）として構成されてもよい。

【0202】

また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。また、上述したような種々の学習済モデルの処理による物体認識結果やセグメンテーション結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。なお、データベースにおいて保存されている複数の医用画像が、既に機械学習等によって該複数の医用画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、医用画像自体を検索キーとする類似症例画像検索エンジン（類似症例画像検索モデル、類似症例画像検索用の学習済モデル）が用いられてもよい。例えば、制御部１１７は、（高画質化用の学習済モデルとは異なる）類似症例画像検索用の学習済モデルを用いて、種々の医用画像から該医用画像に関連する類似症例画像の検索を行うことができる。また、例えば、表示制御部１２１は、種々の医用画像から類似症例画像検索用の学習済モデルを用いて得た類似症例画像を表示部１１６に表示させることができる。このとき、類似症例画像は、例えば、学習済モデルに入力された医用画像の特徴量と類似する特徴量の画像である。また、類似症例画像は、例えば、学習済モデルに入力された医用画像において異常部位等の部分領域が含まれる場合には、異常部位等の部分領域の特徴量と類似する特徴量の画像である。このため、例えば、類似症例画像を精度よく検索するための学習を効率的に行うことができるだけでなく、医用画像において異常部位が含まれる場合には、検者は異常部位の診断を効率よく行うことができる。また、複数の類似症例画像が検索されてもよく、特徴量が類似する順番が識別可能に複数の類似症例画像が表示されてもよい。また、複数の類似症例画像のうち、検者からの指示に応じて選択された画像と該画像との特徴量とを含む学習データを用いて、類似症例画像検索用の学習済モデルが追加学習されるように構成されてもよい。

【0203】

また、各種学習済モデルの学習データは、実際の撮影を行う眼科装置自体を用いて得たデータに限られず、所望の構成に応じて、同型の眼科装置を用いて得たデータや、同種の眼科装置を用いて得たデータ等であってもよい。

【0204】

なお、上述した実施形態及び変形例に係る各種学習済モデルは制御部１１７に設けられることができる。学習済モデルは、例えば、ＣＰＵや、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、制御部１１７と接続される別のサーバの装置等に設けられてもよい。この場合には、制御部１１７は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。

【0205】

（変形例１１）
上述した様々な実施形態及び変形例による制御部１１７によって処理される医用画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、医用画像処理装置又は医用画像処理方法によって作成された画像を含むことができる。

【0206】

さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。特に、上述した様々な実施形態及び変形例では、被検眼に係る医用画像を推定処理に用いた。これに関し、上述した様々な実施形態及び変形例に推定処理に用いられる医用画像に関する被検体は、被検眼に限られず、左右方向、上下方向、又は左右上下方向において対称性を有する被検体であればよく、例えば肺等の他の臓器であってもよい。ただし、上述した様々な実施形態及び変形例に関する被検体は、対称性を有する被検体に限られなくてよい。なお、被検体を肺等の臓器とする場合には、撮影装置は、例えば、内視鏡等の構成を有してよい。

【0207】

また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底又は前眼部のＳＬＯ画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（３次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ－Ｆａｃｅ画像を含む。Ｅｎ－Ｆａｃｅ画像は、３次元のＯＣＴＡデータ（３次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ－Ｆａｃｅ画像（モーションコントラスト正面画像）であってもよい。また、３次元のＯＣＴデータや３次元のモーションコントラストデータは、３次元の医用画像データの一例である。

【0208】

ここで、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するＯＣＴアンギオグラフィ（ＯＣＴＡ）に関するＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像）とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。なお、略同一位置を測定光が複数回走査されるように走査手段を制御する際に、一つの走査（一つのＢスキャン）と次の走査（次のＢスキャン）との時間間隔（タイムインターバル）が変更（決定）されるように構成されてもよい。これにより、例えば、血管の状態によって血流速度が異なる場合があっても、血管領域を精度よく可視化することができる。このとき、例えば、検者からの指示に応じて、上記時間間隔が変更可能に構成されてもよい。また、例えば、検者からの指示に応じて、予め設定されている複数の時間間隔に対応する複数のモーションコントラスト画像から、いずれかのモーションコントラスト画像が選択可能に構成されてもよい。また、例えば、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータとを対応づけて記憶部１１４に記憶可能に構成されてもよい。また、例えば、表示制御部１２１、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータに対応するモーションコントラスト画像とを表示部１１６に表示させてもよい。また、例えば、上記時間間隔が自動的に決定、あるいは上記時間間隔の少なくとも１つの候補が決定されるように構成されてもよい。このとき、例えば、機械学習モデルを用いて、モーションコントラスト画像から、上記時間間隔が決定（出力）されるように構成されてもよい。このような機械学習モデルは、例えば、複数の時間間隔に対応する複数のモーションコントラスト画像を入力データとし、該複数の時間間隔から所望のモーションコントラスト画像を取得した際の時間間隔までの差を正解データとする学習データを学習することにより得ることができる。

【0209】

また、Ｅｎ－Ｆａｃｅ画像は、例えば、２つの層境界の間の範囲のデータをＸＹ方向に投影して生成した正面画像である。このとき、正面画像は、光干渉を用いて得たボリュームデータ（３次元の断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影又は積算して生成される。Ｅｎ－Ｆａｃｅ画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを２次元平面に投影して生成された正面画像である。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を２次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。

【0210】

また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施形態及び変形例に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。なお、上述の各実施形態や変形例に係る構成を、これら撮影装置に適用することができる。この場合、上述の予測すべき被検眼の動きに対応する被検体の動きとしては、例えば、顔や体の動き、心臓の動き（心拍）等であってよい。

【0211】

なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ－ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ－ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）装置を含んでよい。また、ＯＣＴ装置は、ライン光を用いたＬｉｎｅ－ＯＣＴ装置（あるいはＳＳ－Ｌｉｎｅ－ＯＣＴ装置）を含んでよい。また、ＯＣＴ装置は、エリア光を用いたＦｕｌｌ Ｆｉｅｌｄ－ＯＣＴ装置（あるいはＳＳ－Ｆｕｌｌ Ｆｉｅｌｄ－ＯＣＴ装置）を含んでよい。また、ＯＣＴ装置は、Ｄｏｐｐｌｅｒ－ＯＣＴ装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ－ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ－ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ－ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ－ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、病理顕微鏡ＳＬＯ装置や病理顕微鏡ＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ハンドヘルド型のＳＬＯ装置やハンドヘルド型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、カテーテルＳＬＯ装置やカテーテルＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ヘッドマウント型のＳＬＯ装置やヘッドマウント型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、双眼鏡型のＳＬＯ装置や双眼鏡型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置は、光学変倍可能な構成によって、撮影画角を変更可能なものであってもよい。また、ＳＬＯ装置は、ＲＧＢの各光源を用いて、１つの受光素子で時分割に受光する構成又は複数の受光素子で同時に受光する構成によって、カラー画像や蛍光画像を取得可能なものであってもよい。

【0212】

また、上述の実施形態及び変形例では、制御部１１７はＯＣＴ装置の一部として構成されてもよいし、制御部１１７はＯＣＴ装置と別体として構成されてもよい。この場合、制御部１１７は、ＯＣＴ装置のような撮影装置等とインターネット等を介して接続されてもよい。また、ＯＣＴ装置の構成は、上記の構成に限られず、ＯＣＴ装置に含まれる構成の一部を、例えばＳＬＯ撮影部等をＯＣＴ装置と別体の構成としてもよい。

【0213】

なお、上述した変形例に係る音声認識用や文字認識用、ジェスチャー認識用等の学習済モデルでは、時系列のデータを用いて学習を行っているため、入力される連続する時系列のデータ値間の傾きを特徴量の一部として抽出し、推定処理に用いているものと考えられる。このような学習済モデルは、具体的な数値の時間的な変化による影響を推定処理に用いることで、精度のよい推定を行うことができると期待される。また、上述の実施形態及び変形例に係る、推定処理用、高画質化用、セグメンテーション処理用、画像解析用、診断結果生成用の学習済モデルでも、断層画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推定処理に用いているものと考えらえる。

【0214】

［その他の実施形態］
また、本明細書に開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、１つの機器からなる装置に適用しても良い。

【0215】

また、本明細書に開示の技術の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本明細書に開示の技術を構成することになる。

【0216】

また、本明細書に開示の技術は、上述の実施形態及び変形例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。

【0217】

プロセッサー又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】