特許 7406901 情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-20

(45)【発行日】2023-12-28

(54)【発明の名称】情報処理装置及び情報処理方法

(51)【国際特許分類】

   A61B 3/10 20060101AFI20231221BHJP

   A61B 3/14 20060101ALI20231221BHJP

   A61B 3/12 20060101ALI20231221BHJP

   G06T 1/00 20060101ALI20231221BHJP

【ＦＩ】

A61B3/10 100

A61B3/14

A61B3/12 300

G06T1/00 290Z

【請求項の数】 19

(21)【出願番号】P 2019220765

(22)【出願日】2019-12-05

(65)【公開番号】P2021058563

(43)【公開日】2021-04-15

【審査請求日】2022-04-08

(31)【優先権主張番号】P 2019068893

(32)【優先日】2019-03-29

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2019183352

(32)【優先日】2019-10-03

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】▲高▼橋 理宇眞

(72)【発明者】

【氏名】富田 律也

【審査官】小野 健二

(56)【参考文献】

【文献】特開２０１６－２０９１３２（ＪＰ，Ａ）

【文献】特開２０１２－１１０６９３（ＪＰ，Ａ）

【文献】特表２０１３－５２７７７５（ＪＰ，Ａ）

【文献】特開２０１８－００５８４１（ＪＰ，Ａ）

【文献】特開２０１８－１４３５２６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

(57)【特許請求の範囲】

【請求項1】

異なる種類の複数の撮影毎に個別に且つ前記異なる種類の複数の撮影前に設定された情報であって、前記異なる種類の複数の撮影により得た複数の撮影データのそれぞれに関する送信設定として設定された自動送信の有無を少なくとも含む情報を記憶する記憶手段と、
前記異なる種類の複数の撮影のいずれかの撮影により得た第１の医用画像よりも高画質な第２の医用画像であって、被検体の医用画像を学習して得た学習済モデルを用いた高画質化処理により前記第１の医用画像から生成された第２の医用画像をレポート画面に表示するように表示手段を制御する表示制御手段と、
前記異なる種類の複数の撮影により得た複数の撮影データのそれぞれを、前記記憶された情報に応じて送信する送信手段であって、前記いずれかの撮影の送信設定としてレポート画像データの自動送信がオンに設定された情報が記憶されている場合であり、且つ前記レポート画面の初期表示の設定として前記高画質化処理がオンである場合には、前記生成された第２の医用画像を含むレポート画像データを自動送信する送信手段と、
を有する情報処理装置。

【請求項2】

前記送信手段は、前記いずれかの撮影の送信設定として自動送信がオンに設定された情報が記憶されている場合、前記いずれかの撮影を行う撮影画面から他の表示画面に変更するための検者からの指示を送信開始のトリガーとして、前記いずれかの撮影により得た撮影データを、前記記憶された情報に応じて送信する請求項１に記載の情報処理装置。

【請求項3】

前記送信手段は、前記異なる種類の複数の撮影のうち他の撮影の送信設定として自動送信がオフに設定された情報が記憶されている場合、前記送信開始のトリガーがあったとしても、前記他の撮影により得た被検体の撮影データを送信しないように構成される請求項２に記載の情報処理装置。

【請求項4】

前記異なる種類の複数の撮影を前記被検体の被検眼に対して実行するための複数の眼科撮影装置は、眼底カメラ及びＯＣＴ装置を含む請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

前記送信設定は、複数パターンの登録が可能に構成され、
前記送信手段は、前記登録された複数パターンの順番に、前記いずれかの撮影により得た被検体の撮影データを、前記記憶された情報に応じて送信する請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記送信設定は、検者からの指示に応じて、前記異なる種類の複数の撮影毎に個別に設定可能に構成されている請求項１乃至５のいずれか１項に記載の情報処理装置。

【請求項7】

前記送信設定は、送信内容と送信タイプと送信先とを共通設定とし、画像サイズと前記自動送信の有無とを個別設定とする請求項１乃至６のいずれか１項に記載の情報処理装置。

【請求項8】

前記送信設定は、前記第１の医用画像と前記第２の医用画像とをセットとするデータを追加学習用の学習データとして送信する送信設定が可能に構成される請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

前記表示制御手段は、前記第２の医用画像として生成されたＯＣＴＡ正面画像であって、前記第２の医用画像として生成されたＯＣＴ断層画像の位置を示すラインが重畳表示されたＯＣＴＡ正面画像と、検者からの指示に応じて該ＯＣＴＡ正面画像上で移動された該ラインの位置に対応する該ＯＣＴ断層画像とを前記表示手段に表示させる請求項１乃至８のいずれか１項に記載の情報処理装置。

【請求項10】

前記表示制御手段は、前記第２の医用画像として生成されたＯＣＴＡ断層画像であって、前記ラインの位置に対応するＯＣＴＡ断層画像における血管領域を示す情報を、前記ラインの位置に対応する前記ＯＣＴ断層画像に重畳表示させる請求項９に記載の情報処理装置。

【請求項11】

前記生成された第２の医用画像のファイル名は、前記学習済モデルを用いた高画質化処理を行って生成された画像であることを示す情報を、検者からの指示に応じて編集可能な状態で含む請求項１乃至１０のいずれか１項に記載の情報処理装置。

【請求項12】

追加学習の実行中である学習済モデルに対する学習データ以外の医用画像の入力を禁止し、前記追加学習の実行前の学習済モデルと同じ学習済モデルである予備の学習済モデルに対する学習データ以外の医用画像の入力を実行可能に構成される請求項１乃至１１のいずれか１項に記載の情報処理装置。

【請求項13】

前記表示制御手段は、前記追加学習の実行後の学習済モデルを用いて得た画像と、前記追加学習の実行前の学習済モデルを用いて得た画像とを用いて得た比較結果、または該比較結果が所定の範囲であるか否かの判定結果を、前記表示手段に表示される請求項１２に記載の情報処理装置。

【請求項14】

前記表示制御手段は、被検体の医用画像を学習して得た解析結果生成用の学習済モデルを用いて生成された解析結果であって、前記いずれかの撮影により得た医用画像に関する解析結果と、被検体の医用画像を学習して得た診断結果生成用の学習済モデルを用いて生成された診断結果であって、前記いずれかの撮影により得た医用画像に関する診断結果と、被検体の医用画像を学習して得た物体認識用の学習済モデルを用いて生成された物体認識結果であって、前記いずれかの撮影により得た医用画像に関する物体認識結果と、被検体の医用画像を学習して得たセグメンテーション用の学習済モデルを用いて生成されたセグメンテーション結果であって、前記いずれかの撮影により得た医用画像に関するセグメンテーション結果と、被検体の医用画像を学習して得た類似症例画像検索用の学習済モデルを用いて検索された類似症例画像であって、前記いずれかの撮影により得た医用画像に関する類似症例画像とのうちの少なくとも一つを前記表示手段に表示させる請求項１乃至１３のいずれか１項に記載の情報処理装置。

【請求項15】

前記表示制御手段は、前記いずれかの撮影により得た医用画像と、前記いずれかの撮影により得た医用画像が入力データとして入力された敵対的生成ネットワーク又はオートエンコーダを用いて生成された画像との差に関する情報を、異常部位に関する情報として前記表示手段に表示させる請求項１乃至１４のいずれか１項の記載の情報処理装置。

【請求項16】

前記送信手段による送信の開始のトリガーに関する検者からの指示は、文字認識用の学習済モデルと音声認識用の学習済モデルとジェスチャー認識用の学習済モデルとのうち少なくとも１つの学習済モデルを用いて得た情報である請求項１乃至１５のいずれか１項に記載の情報処理装置。

【請求項17】

異なる種類の撮影を行う複数の撮影装置と、
前記複数の撮影装置のうち少なくとも１つの撮影装置と通信可能に接続された請求項１乃至１６のいずれか１項に記載の情報処理装置と、
を備える眼科撮影システム。

【請求項18】

異なる種類の複数の撮影毎に個別に且つ前記異なる種類の複数の撮影前に設定された情報であって、前記異なる種類の複数の撮影により得た複数の撮影データのそれぞれに関する送信設定として設定された自動送信の有無を少なくとも含む情報を記憶する工程と、
前記異なる種類の複数の撮影のいずれかの撮影により得た第１の医用画像よりも高画質な第２の医用画像であって、被検体の医用画像を学習して得た学習済モデルを用いた高画質化処理により前記第１の医用画像から生成された第２の医用画像をレポート画面に表示するように表示手段を制御する工程と、
前記異なる種類の複数の撮影により得た複数の撮影データのそれぞれを、前記記憶された情報に応じて送信する工程であって、前記いずれかの撮影の送信設定としてレポート画像データの自動送信がオンに設定された情報が記憶されている場合であり、且つ前記レポート画面の初期表示の設定として前記高画質化処理がオンである場合には、前記生成された第２の医用画像を含むレポート画像データを自動送信する工程と、
を有する情報処理方法。

【請求項19】

請求項１８に記載の情報処理方法の各工程をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

従来、眼底カメラと光干渉断層計（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ：ＯＣＴ）との２つの光学系の光路を一部共通として構成された眼科撮影装置が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－４９７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、従来のように、異なる種類の撮影を行うための複数の光学系を含む撮影装置が通信可能に接続された情報処理装置や、該撮影装置の内部の情報処理装置により、異なる種類の撮影に関する設定や撮影データに関する設定等が行われる場合がある。また、眼底カメラやＯＣＴ装置等のような、異なる種類の撮影を行うための複数の撮影装置のうち少なくとも１つを通信可能に接続可能な情報処理装置により、上述したような種々の設定等が行われる場合がある。このとき、上述したような情報処理装置において、異なる種類の複数の撮影データに関する設定を一括して設定することしかできない場合があり、検者の利便性の向上が望まれる。

【0005】

開示の技術の目的の一つは、異なる種類の撮影データに関する設定を個別に設定可能とすることである。なお、上記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の１つとして位置付けることができる。

【課題を解決するための手段】

【0006】

開示の情報処理装置の一つは、
異なる種類の複数の撮影毎に個別に且つ前記異なる種類の複数の撮影前に設定された情報であって、前記異なる種類の複数の撮影により得た複数の撮影データのそれぞれに関する送信設定として設定された自動送信の有無を少なくとも含む情報を記憶する記憶手段と、
前記異なる種類の複数の撮影のいずれかの撮影により得た第１の医用画像よりも高画質な第２の医用画像であって、被検体の医用画像を学習して得た学習済モデルを用いた高画質化処理により前記第１の医用画像から生成された第２の医用画像をレポート画面に表示するように表示手段を制御する表示制御手段と、
前記異なる種類の複数の撮影により得た複数の撮影データのそれぞれを、前記記憶された情報に応じて送信する送信手段であって、前記いずれかの撮影の送信設定としてレポート画像データの自動送信がオンに設定された情報が記憶されている場合であり、且つ前記レポート画面の初期表示の設定として前記高画質化処理がオンである場合には、前記生成された第２の医用画像を含むレポート画像データを自動送信する送信手段と、を有する。

【発明の効果】

【0007】

開示の技術の一つによれば、異なる種類の撮影データに関する設定を個別に設定可能とすることができる。

【図面の簡単な説明】

【0008】

【図1】実施例１に係る眼科撮影システムの構成を概略的に示す図である。

【図2】実施例１に係る眼科撮影システムの自動転送設定画面の一例を示す図である。

【図3】実施例１に係る眼科撮影システムの撮影画面の一例を示す図である。

【図4】実施例１に係る眼科撮影システムの撮影画面の一例を示す図である。

【図5】実施例１に係る眼科撮影システムの動作のフローチャートの一例を示す図である。

【図6】実施例２に係る表示部に表示するレポート画面の一例を示す図である。

【図7】実施例２に係る高画質化処理の一例を示す図である。

【図8】実施例２に係るユーザーインターフェースの一例を示す図である。

【図9】変形例６に係る機械学習エンジンとして用いられるニューラルネットワークの構成の一例を示す図である。

【図10】変形例６に係る機械学習エンジンとして用いられるニューラルネットワークの構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。また、各図面において説明上重要ではない構成要素、部材、処理の一部は省略して記載する場合がある。

【0010】

（実施例１）
図１から図５を参照して、情報処理装置の一例である本実施例の眼科撮影システム１００について説明する。本実施例の眼科撮影システム１００は、撮影を行った眼科撮影装置に応じて、予め設定されたデータ形式に撮影データを変換して自動的にデータを転送することができる。なお、以下において、扱われる眼科装置として、眼底カメラと光干渉断層計（ＯＣＴ）を例として説明する。

【0011】

（システムの構成）
図１を参照して、システムの構成を説明する。図１は眼科撮影システム１００の構成を概略的に示す。眼科撮影システム１００は撮影データ取得部１０１、撮影データ記憶部１０２、表示制御部１０３、操作部１０４、自動転送情報記憶部１０５、自動転送実施部１０６が設けられている。ここで、本実施例等における「転送」とは、例えば、撮影装置からの撮影信号（例えば、ＯＣＴの干渉信号）をそのまま撮影データとして送信する場合であってもよい。また、本実施例等における「転送」とは、撮影信号から生成された画像として加工された撮影データを送信する場合であってもよい。また、本実施例等における「転送」とは、撮影信号から生成された画像を含むレポート画面に対応するレポート画像として加工されたデータを撮影データとして送信してもよい。また、撮影信号から生成された画像は、例えば、少なくとも１つの断層画像（Ｂスキャン像）や、異なる位置で得た複数の断層画像データ（３次元断層画像データ、ボリュームデータ）の少なくとも一部の深度範囲を用いて得た正面画像（Ｅｎ－Ｆａｃｅ画像）であってもよい。また、検者からの指示に応じて深度範囲が設定可能なように構成されてもよい。このとき、断層画像のセグメンテーション処理により得た層境界の位置を、検者からの指示に応じて断層画像上で変更することにより、深度範囲が設定されるように構成されてもよい。また、本実施例等における「自動転送」とは、撮影データの送信開始のトリガーとして、検者からの指示を全くトリガーとしないという意味ではない。例えば、転送設定としてその撮影が自動設定されている場合には、撮影データの送信開始の指示を本来の目的とはしていない検者による別の指示（例えば、検査終了指示）が、撮影データの送信開始の指示も兼ねるということを意図している。すなわち、本実施例等における「自動転送」とは、撮影データの送信開始を直接目的としない別の指示が、撮影データの送信開始の指示も兼ねるように構成されたものであれば何でもよい。

【0012】

撮影データ取得部１０１は、少なくとも２つ以上の眼科撮影装置１１０から撮影された撮影データを受け取ることができる。本実施例での撮影データ取得部１０１では眼底カメラと光干渉断層計からそれぞれ眼底画像と網膜断層データを受け取ることができる。このとき、異なる種類の撮影を行うための複数の撮影装置は、情報処理装置に対して同時に、通信可能に接続することが可能ではあるが、本実施例等においては少なくとも１つが接続されていれば適用可能である。すなわち、いずれか１つの撮影装置が情報処理装置に通信可能に接続されている状況において、複数の撮影装置による撮影データに対して個別に送信設定することが可能に構成されている。なお、本実施例の情報処理装置は、異なる種類の撮影を行うための複数の光学系を含む撮影装置が通信可能に接続された情報処理装置や、該撮影装置の内部の情報処理装置であってもよい。また、本実施例の情報処理装置は、例えば、パーソナルコンピュータであってもよく、デスクトップＰＣ、ノート型ＰＣ、タブレット型ＰＣ（携帯型の情報端末）が用いられてもよい。

【0013】

撮影データ記憶部１０２は、撮影データ取得部１０１が取得した撮影データを受け取り、記録する。この時、撮影データの付加情報として患者（被検者）の名前、生年月日、性別、患者ＩＤ、人種データなどの患者情報と検査日時、受付番号、検査識別ＩＤなどの検査情報、及び撮影時間、撮影モード名、撮影パラメータ、装置名、撮影判定などの撮影情報を付加して登録する。

【0014】

表示制御部１０３は、撮影データを取得する際の眼科撮影装置１１０の撮影操作画面や、撮影データ取得部１０１が取得して撮影データ記憶部１０２に記録された撮影データを表示するための確認画面を表示部の一例である不図示のモニタに表示させる。

【0015】

操作部１０４は、マウスやキーボードを介して撮影操作画面上で眼科撮影装置１１０での撮影を実施することや、撮影結果確認画面上に表示された撮影データの撮影成功・失敗の判定の選択などができる。撮影データの撮影成功・失敗の判定については、例えば、操作者が撮影結果確認画面上に表示された撮影データを確認し、同画面上に表示されている成功・失敗ボタンを押すことで撮影判定情報を入力することができる。さらに操作部１０４を介して自動転送（自動送信）を開始することができる。例えば、撮影操作画面以外の画面に遷移することで、自動転送の開始トリガーにすることや、撮影操作画面上に表示された検査完了ボタンを押すことを自動転送の開始トリガーにすることができる。なお、表示部がタッチパネル式のディスプレイであってもよく、この場合には表示部は操作部１０４として兼用される。

【0016】

自動転送情報記憶部１０５は、自動的に撮影データを転送するために予め用意された設定が記憶されている。設定として自動転送する対象となる眼科装置、自動転送先や転送する撮影データのデータ形式などが記憶されている。

【0017】

自動転送実施部１０６は、表示制御部１０３を介して操作部１０４より指示された自動転送の開始トリガーを受けて、自動転送情報記憶部１０５から取得した自動転送情報に基づいて自動転送先となる転送データ保管システム１２０に撮影データを転送する。この時、自動転送実施部１０６は、自動転送情報がどの撮影装置の撮影データを対象としているかを確認し、該当する撮影データを自動転送情報が指定するデータ形式に変換して、転送データ保管システム１２０に転送を行う。

【0018】

（本実施例に係る自動転送情報）
次に、図２を参照して、自動転送情報記憶部１０５が記憶している自動転送情報について説明する。図２は本実施例に係る自動転送（自動送信）の内容を設定する画面の例を示す。本画面は１つの自動転送の設定を行う画面で、撮影装置毎で設定が異なる場合や、複数の転送先（送信先）に自動転送を実施する場合などでは、それぞれで設定を行うことで、複数の自動転送設定を自動転送記憶情報記憶部１０５に登録することができる。
転送設定画面２００は、共通設定領域２１０、ＯＣＴ検査設定領域２２０、眼底検査領域２３０を持つ。なお、ＯＣＴ検査設定領域２２０及び眼底検査領域２３０は、個別設定領域の一例である。

【0019】

共通設定領域２１０は、転送設定（送信設定）でＯＣＴ検査・眼底検査共通の項目を設定する領域で、転送内容設定２１１、転送タイプ設定２１２、転送先設定２１３、匿名化設定２１４を持つ。

【0020】

転送内容設定２１１（送信内容設定）は、転送先（送信先）に送るデータの内容として「画像」または「レポート」を選択することができる。転送内容設定として「画像」が選択された場合には、眼科撮影装置１１０で被検者の被検眼を撮影して得た撮影データの画像を転送する設定になる。例えば、眼底カメラで被検眼を撮影して得た撮影データの場合は眼底カメラ画像が転送され、ＯＣＴで被検眼を撮影して得た撮影データの場合は、少なくとも１つの断層画像（Ｂスキャン像）が転送（送信）される。ＯＣＴの撮影は、一度の撮影で複数の断層画像が取得できるため、その場合は複数の断層画像すべてが転送される設定としてもよい。さらに、ＯＣＴの撮影は、ＳＬＯなどの網膜正面画像も同時に撮影する場合があり、その時は、網膜正面画像も一緒に転送できる設定でもよい。また、ＯＣＴで３次元に網膜を撮影した場合には、ＯＣＴの撮影データから正面画像を再構成した網膜正面画像も一緒に転送できる設定でもよい。さらには、一枚の画像内に断層画像と網膜正面画像を並べた画像にして、網膜正面画像上に断層画像の撮像位置を示した画像を転送する設定でもよい。また、転送内容設定として「レポート」が選択された場合には、複数の撮影データを並べて表示や、撮影データの解析情報などを並べて表示する等、特定のレイアウトに撮影データと関連するデータを配置したレポート画像を転送する設定になる。例えば、眼底カメラの場合、撮影した複数の画像を格子状に並べたレポート画像が転送され、ＯＣＴの場合は断層画像と網膜正面画像以外に網膜正面画像上に各位置の網膜厚をカラースケールで示すマップ画像を表示したレポート画像が転送するなどがある。またレポート画像には、撮影データに付加情報として撮影データ記憶部１０２に登録した患者情報・検査情報・撮影情報も画像内に含まれてもよい。なお、転送内容（送信内容）の選択項目には、各種の２次元の医用画像やレポート画像などのような２次元画像に限らず、例えばＯＣＴの３次元構造データなどを転送できてもよい。

【0021】

転送タイプ設定２１２（送信タイプ設定）は、転送内容設定２１１で設定した内容のデータ転送方法及び画像形式を選択することができる。例えば、転送先（送信先）がＤＩＣＯＭストレージサーバである場合は、ＤＩＣＯＭ通信、ハードディスクやＮＡＳといったストレージの場合は、ファイル保存を選択し、ファイル保存の場合は、ビットマップ、ＪＰＥＧ、ＤＩＣＯＭの中から保存したい画像形式を選択する。すなわち、送信タイプが異なると、保存形式に応じて、送信される撮影データの内容（付帯情報等）も異なる。
転送先設定２１３（送信先設定）では、撮影データの転送先を設定することができる。転送先の設定方法は転送タイプ設定２１２でデータの転送方法がＤＩＣＯＭ通信かファイル保存かで異なり、選択に応じて画面内の入力項目が変わる。ＤＩＣＯＭ通信を選択した場合は、転送先のＤＩＣＯＭストレージサーバと通信するために必要なホスト名、ポート番号、サーバＡＥタイトルを入力できる。その際、入力した転送先と通信ができるかを確認する機能を本画面上に有してもよい。ファイル保存を選択した場合は、保存先のパスを入力できる。

【0022】

匿名化設定２１４は、転送したデータ内に含まれる個人情報を匿名化するかを選択することができる。匿名化を設定した場合には、レポート画像内やＤＩＣＯＭやＪＰＥＧのタグ情報内、ファイル名に含まれる患者の名前などの個人情報が匿名化されて転送する設定となる。なお匿名化の設定は、予め決められた方法で匿名化してもよいし、匿名化設定画面を設けて細かく匿名化方法を設定しても、転送設定画面上に直接設けてもよい。

【0023】

ＯＣＴ検査設定領域２２０は、ＯＣＴで撮影された撮影データを転送する時に適用する項目を設定する領域で、ＯＣＴ検査画像サイズ設定２２１とＯＣＴ検査自動転送設定２２２を持つ。

【0024】

ＯＣＴ検査画像サイズ設定２２１は、転送内容設定２１１が画像だった時に有効になる項目で、転送する断層画像の画像サイズを設定することができる。ＯＣＴで撮影された撮影データそのままのサイズで転送する場合はオリジナルサイズを選択し、モニタ上で眼科撮影システム１００が表示するサイズで転送する場合は表示サイズにリサイズを選択する。

【0025】

ＯＣＴ検査自動転送設定２２２は、ＯＣＴ検査の自動転送を選択することができる。例えば、自動送信にチェックを付けると、自動送信がオンに設定される。そして、自動転送する場合は、自動転送実施部１０６が自動転送の開始トリガーを受け取った時に、撮影データが撮影された眼科撮影装置がＯＣＴだった場合に、本転送設定画面２００で設定した内容を自動的に転送するようになる。

【0026】

眼底検査設定領域２３０は、眼底カメラで撮影された撮影データを転送する時に適用する項目を設定する領域で、眼底検査撮影サイズ設定２３１と眼底検査自動転送２３２を持つ。

【0027】

眼底検査撮影サイズ設定２３１は、転送内容設定２１１が画像だった時に有効になる項目で、転送する眼底カメラ画像の画像サイズを設定することができる。眼底カメラ画像を撮影したそのままのサイズで転送する場合はオリジナルサイズを選択し、サイズを変更して転送する場合は特定の幅の項目を選択する。なお、転送の際に選択した幅以下の画像を転送する場合は、オリジナルサイズで転送する設定になる。

【0028】

眼底検査自動転送設定２３２は、眼底検査の自動転送（自動送信）を選択することができる。例えば、自動送信にチェックを付けると、自動送信がオンに設定される。そして、自動転送する場合は、自動転送実施部１０６が自動転送の開始トリガーを受け取った時に、撮影データが撮影された眼科撮影装置が眼底カメラだった場合に、本転送設定画面２００で設定した内容で自動的に転送するようになる。

【0029】

（本実施例に係る撮影画面）
図３及び図４は、表示制御部１０３が表示する眼科撮影装置の検査を行う画面の例を示す。なお、本実施例では、眼科撮影装置１１０の撮影を行う画面から別の画面へ移動した時を自動転送の開始トリガーとする画面の例となる。

【0030】

眼科撮影システム画面３００は複数の画面を表示することができ、タブ形式で画面を切り替えることができる。図３は、ＯＣＴの撮影を行う画面の例を示しＯＣＴ撮影タブ３０１が選択されている時に表示される。また、図４は、眼底カメラの撮影を行う画面の例を示し眼底撮影タブ３０２が選択されている時に表示される。ＯＣＴ撮影タブ３０１が選択されると、ＯＣＴ撮影画面３１０がタブ内に表示され、ＯＣＴの撮影や撮影結果の表示を行うことができる。このとき、図３のようなプレビュー画面においては、前眼部の動画像が左上の表示領域に表示され、眼底のＳＬＯ動画像が左下の表示領域に表示され、ＯＣＴ断層画像の動画像が右側の表示領域に表示されている。このとき、プレビュー画面において、アライメント、フォーカス、コヒーレンスゲート等の各光学調整やＯＣＴ撮影が実行されると、不図示の撮影確認画面の表示に変更されるように構成されてもよい。なお、撮影確認画面においてＯＣＴ撮影がＯＫであれば、プレビュー画面の表示に変更されるように構成されてもよい。また、眼底撮影タブ３０２が選択されると、眼底カメラ撮影画面３２０がタブ内に表示され、眼底カメラで撮影された画像を表示することができる。
撮影画面以外のタブとしては、撮影した患者の撮影データを表示するレポート画面を表示するレポートタブ３０３、別の患者の検査を開始したり別の患者の撮影データを表示したりするために患者を作成・選択するための患者画面を表示する患者タブ３０４がある。このとき、レポート画面においては、経過観察用の表示画面や３次元ボリュームレンダリング表示画面等の種々の表示画面が変更可能に構成されてもよい。また、レポート画面の初期表示画面として、上述したような種々の表示画面のうち、いずれかの表示画面が設定可能に構成されてもよい。また、レポート画面の初期表示として、初期表示画面だけでなく、高画質化処理の有無、解析結果の表示の有無、正面画像を生成するための深度範囲等が設定可能に構成されてもよい。このとき、上述した送信内容として「レポート」が選択された場合、レポート画面の初期表示として設定された内容に基づいて生成されたレポート画像が送信されてもよい。また、レポート画面は、眼底撮影後にＯＣＴ撮影する等のユースケースにおいて利用される表示画面であって、眼底画像とＯＣＴ画像等とを一緒に表示させる表示画面であってもよい。例えば、送信設定としてレポート画像の送信がオンに設定された情報が記憶され、且つレポート画面の初期表示の設定として高画質化処理がオンである場合を考える。この場合、送信手段は、高画質化処理して得た医用画像が表示されるレポート画面に対応するレポート画像を撮影データとして送信することができる。
さらに、眼科撮影システムの使用を終了するためにログアウトしてログイン画面を表示するためのログアウトボタン３０５がある。これら撮影画面以外のタブ又はログアウトボタン３０５を選択することで、自動転送が開始される。その場合、ＯＣＴ撮影タブ３０１から眼底撮影タブ３０２に移動した時と眼底撮影タブ３０２からＯＣＴ撮影タブ３０１に移動した時は、自動転送を実施しないため、眼底撮影とＯＣＴ撮影の両方を実施後に両方の撮影データをまとめて自動転送する動作となる。このように、撮影タブ間で自動転送を実施しないことで、操作者が自動転送処理によって撮影が妨げられることが回避できる。例えば、自動転送処理を画面操作と並行して行う場合は自動転送処理の負荷によって撮影操作側の処理が失敗することを回避できるし、画面操作と並行せずに自動転送処理完了してから次の撮影画面表示をする場合は患者への一連の撮影の中で自動転送処理によって患者を待たせることを回避できる。なお、自動転送処理を画面操作と並行して行う場合で、システムが十分な性能を持っている場合には、ＯＣＴ撮影タブ３０１から眼底撮影タブ３０２に移動した時と眼底撮影タブ３０２からＯＣＴ撮影タブ３０１に移動した時も自動転送の開始トリガーとして扱ってもよい。その時は、自動転送する眼科撮影装置の撮影データは必ず１つの眼科撮影装置の撮影データで自動転送が実施される。また、レポート画面に遷移する場合を自動転送の開始トリガーとして扱わず、患者タブ３０４とログアウトボタン３０５だけを自動転送開始のトリガーとして扱って、患者から別の患者に移るまでの単位で自動転送を行ってもよい。この場合、レポート画面内で追加・編集された情報も自動転送時に付加する情報の１つとして扱うことができる。

【0031】

（本実施例に係る自動転送処理フロー）
次に、図５を参照して本実施例に係る自動転送処理のフローについて説明する。図５は、本実施例に係る自動転送処理の動作のフローチャートを示す。

【0032】

転送設定ごとで、自動転送する対象となる眼科撮影装置が異なる場合がある。そのため、自動転送実施部１０６は自動転送を実施する際に、自動転送情報記憶部１０５の自動転送設定内容と撮影データ記憶部１０２の自動転送対象とする眼科撮影装置１１０を確認し、眼科撮影装置１１０が自動転送の対象となっている時のみ転送データ保管システム１２０に自動転送する。

【0033】

具体的には、ステップＳ５００で、操作者は眼科撮影装置１１０を使用して撮影を行い、撮影データ取得部１０１が撮影データを撮影装置１１０から取得する。この時、撮影データ取得部は表示制御部１０３を介して撮影データを表示し、操作者は撮影の成功・失敗を入力する。

【0034】

ステップＳ５０１では、撮影データ取得部１０１が撮影データ記憶部１０２に対して、ステップＳ５００で取得した撮影データと操作者が入力した撮影の成功・失敗の結果を付加情報とともに保存する。なお、撮影失敗と入力された場合は、撮影データを保存しない、又は撮影データ記憶部１０２とは別の場所に記憶してもよい。

【0035】

ステップＳ５０２では、操作者が検査を継続する場合は、撮影を実施しステップＳ５００に戻る。操作者が眼科撮影システム画面３００上で、ＯＣＴ撮影タブ３０１及び眼科撮影タブ３０２等の撮影タブ以外のタブを選択（押下）した場合、これらの撮影画面が他の表示画面に変更される。このとき、検査が終了したと判断して自動転送実施部１０６に自動転送の開始トリガーを自動転送実施部１０６に送る。ここで、例えば、眼底撮影が終了したのでＯＣＴ撮影タブが押下されても、ＯＣＴプレビュー中の処理（例えば、前眼部の動画像、眼底のＳＬＯ動画像、ＯＣＴ断層画像の動画像、各光学調整のための処理）の負担が大きい。このため、ＯＣＴプレビュー中に眼底撮影データを送信してしまうと、ＯＣＴプレビュー中の処理が上手くいかなくなる可能性が生じる。このため、現在の撮影タブだけでなく、他の撮影タブが選択されている場合にも、自動転送が行われないように構成されてもよい。ただし、本実施例等においては、撮影タブであっても、現在選択されているタブ以外のタブが選択された場合には、自動転送が行われるように構成されてもよい。なお、撮影画面の表示中にログアウトボタン３０５が選択された場合、表示画面がログイン画面に変更され、検査が終了したと判断するように構成されてもよい。この場合に、ログアウトボタン３０５の選択を自動転送の開始トリガーとすることができる。
ステップＳ５０３では、自動転送実施部１０６が自動転送情報記憶部１０５から転送設定を一つずつ読み込み自動転送設定があるかを確認する。自動転送設定がある場合は、ステップＳ５０４に進み、無い場合は自動転送実施部１０６が自動転送処理を終了する。なお、転送設定が１つしか登録できない構成であれば、ステップＳ５０３以降のステップは必須ではない。上述したように、転送設定は、複数パターンを登録することが可能としてもよい。このとき、登録された転送設定が複数パターンある場合には、ステップＳ５０３において、複数パターンの転送設定の設定内容に対応する情報（データ）を順番に送信するようにしてもよい。例えば、第１の転送設定と第２の転送設定とが互いに矛盾する転送設定であっても、これらの設定内容で順番にデータ送信すればよい。

【0036】

ステップＳ５０４では、自動転送記憶部１０６がステップＳ５０３で確認した自動転送設定の自動転送対象となる眼科撮影装置とステップＳ５０１で保存した撮影データの眼科撮影装置を確認し、撮影データの中に自動転送対象の眼科撮影装置が含まれるかを判定する。自動転送対象の眼科撮影装置設定は転送設定画面２００内のＯＣＴ検査自動転送設定２２２および眼底検査自動転送設定２３２の設定内容を確認する。撮影データの中に自動転送対象がある場合、ステップＳ５０５に進み自動転送処理に入り、自動転送対象の眼科撮影装置で撮影された撮影データがない場合は、ステップＳ５０３に戻り、次の自動転送設定の有無の確認を行う。

【0037】

ステップＳ５０５では、撮影データ記憶部１０２に保存された撮影データの中から自動転送の対象となる眼科撮影装置の撮影データを順に読み込む。

【0038】

ステップＳ５０６では、ステップＳ５０５で読み込んだ撮影データを、転送設定内容に従いデータ変換を行う。例えば、眼底カメラの撮影データの時、転送内容設定２１１で画像を選択し、画像サイズ設定２３１で１６００ピクセル（幅）を選択している場合、眼底カメラで撮影した画像を１６００ピクセルの幅の画像情報に変換する。さらに、転送タイプ設定２１２がＪＰＥＧファイル保存の場合はＪＰＥＧ形式のデータ変換を行い、ＪＰＥＧタグの中に患者情報、検査情報、撮影情報を付加する。この時、匿名化設定２１４が設定されている場合は、ＪＰＥＧタグの情報から個人情報を匿名化して付加する。

【0039】

ステップＳ５０７では、ステップＳ５０６で変換したデータを、転送先設定２１３で設定した転送先に転送を行う。転送タイプ設定２１２でファイル保存を選択している場合は、ファイルを指定のパスに保存を実行する。ＤＩＣＯＭ通信を選択している場合は転送先の転送データ保管システムにデータの転送を実施する。

【0040】

ステップＳ５０８では、ステップＳ５０７で実施したデータ転送の結果を確認する。転送が正常に完了した場合は、ステップＳ５１０に進み、もし転送が失敗した場合は、ステップＳ５０９で再転送の処理を行う。

【0041】

ステップＳ５０９では、転送に失敗したデータを再転送対象として記録する。例えば、保存先の容量が足りない場合や、ネットワーク異常により保存先や通信先にアクセスできない場合は、再転送を次回ログイン時や一定時間経った後に自動転送を再実施する設定を登録する。なお、再転送を自動ではなく、操作者より手動で実行できてもよい。

【0042】

ステップＳ５１０では、ステップＳ５０３で確認した自動転送設定の候補となる他の撮影データがないかを確認する。ある場合はステップＳ５０５に進み次の撮影データの自動転送を実施する。ない場合は、ステップＳ５０３に進み、他の自動転送設定がないかを確認する。この時ステップＳ５０３ですべての自動転送が完了した場合は、自動転送を終了する。その際に自動転送の結果を通知してもよい。通知内容としては、すべての自動転送設定のすべての対象となる撮影データの自動転送が成功したかどうかを通知する。なおステップＳ５０９で再転送登録になった撮影データの情報を操作者に通知してもよい。

【0043】

本自動転送処理フローの中で、ステップＳ５０３から後の処理においては、自動転送開始から自動転送処理が終了するまでを、表示制御部１０３での画面表示とは別で並行して自動転送処理を行って操作者が画面層さを行えてもよいし、自動転送処理が完了するまで画面を操作されないように画面上に転送中メッセージを表示して提示してもよい。自動転送処理が画面表示と並行して実行されている場合は、自動転送処理完了後の自動転送結果の通知は、画面上に結果表示領域を用意し、自動転送が終了した段階で結果のみを表示し、その時ユーザーが結果表示領域を選択することにより、自動転送結果の詳細を表示してもよい。

【0044】

上述した、本実施例によれば、眼科撮影システム１００で撮影した撮影データの自動転送を行う際、撮影データの眼科撮影装置の種類に応じて、転送内容を変更して自動転送を行うことができる。これにより、眼科撮影装置で必要な撮影データのみが自動転送先に適切に転送され、非常に好ましかった。

【0045】

なお、本実施例では眼科撮影装置での撮影が完了して別画面に移動した時に自動転送を開始したが、１度の撮影毎でもよい。その場合、ステップＳ５０１で撮影データ保存を行った後、ステップＳ５０３に移り、自動転送を実施する。この時、レポート画像など複数の撮影データが必要な自動転送においては、必要な撮影データが揃ったと判断された時に、自動転送を行う動作となる。また、本実施例では、眼底カメラとＯＣＴの２つの機器からそれぞれ取得した撮影データで自動転送を実施したが、これに限らない。１つの機器で眼底カメラとＯＣＴなど複数の眼科撮影装置の機能を持っているというような場合も同様に、それぞれの撮影データがどの眼科撮影装置の撮影データで取得したかを確認し、自動転送対象となる眼科撮影装置の撮影データを自動転送することで適切に眼科撮影装置毎の自動転送ができる。また、本実施例では、自動転送の開始を撮影実施後の自動転送の開始トリガーとしたが、これに限らない。撮影画面以外の画面でまとめて転送するボタンを用意して、操作者の任意のタイミングで転送を開始し、自動転送対象となる眼科撮影装置に従って転送する方法でもよい。その場合は、操作者に自動転送する設定や自動転送する撮影データなどの情報を提示することや、操作者が対象となる自動転送する設定や撮影データの範囲を変更して自動転送を開始できてもよい。

【0046】

（実施例２）
本実施例に係る情報処理装置は、モーションコントラストデータを高画質化する高画質化手段として、機械学習による高画質化処理を適用するための高画質化部（不図示）を備える。このとき、情報処理装置における高画質化部は、少ない枚数の断層画像から生成した低画質なモーションコントラスト画像を機械学習モデルに入力することにより、多数枚の断層画像から生成した場合と同等の高画質な（低ノイズかつ高コントラストな）モーションコントラスト画像を生成する。ここで、機械学習モデルとは、処理対象として想定される所定の撮影条件で取得された低画質な画像である入力データと、入力データに対応する高画質画像である出力データ（正解データ）のペア群で構成された学習データを用いて機械学習を行うことにより生成した関数のことを指す。なお、所定の撮影条件には撮影部位、撮影方式、撮影画角、及び画像サイズ等が含まれる。

【0047】

ここで、低画質なモーションコントラスト画像は、例えば、以下のように取得される。まず、操作者が操作部１０４を操作して撮影画面（プレビュー画面）中の撮影開始（Ｃａｐｔｕｒｅ）ボタンを押下することにより、操作者からの指示に応じて設定された撮影条件によるＯＣＴＡ撮影が開始される。このとき、情報処理装置における制御部（不図示）は、光干渉断層計（ＯＣＴ）に対して操作者が指示した設定に基づいてＯＣＴＡ撮影を実施することを指示し、ＯＣＴが対応するＯＣＴ断層画像を取得する。また、ＯＣＴは、波長分離部材の一例であるダイクロイックミラーを用いて光路分離されたＳＬＯ光学系を用いてＳＬＯ画像の取得も行い、ＳＬＯ動画像に基づく追尾処理を実行する。ここで、撮影条件の設定は、例えば、１）Ｍａｃｕｌａｒ Ｄｉｓｅａｓｅ検査セットの登録、２）ＯＣＴＡスキャンモードの選択、３）以下の撮影パラメータ、等の設定である。また、撮影パラメータとしては、例えば、３－１）走査パターン：３００Ａスキャン（本）×３００Ｂスキャン（枚）、３－２）走査領域サイズ：３ｘ３ｍｍ、３－３）主走査方向：水平方向、等が設定される。また、撮影パラメータとしては、更に、例えば、３－４）走査間隔：０．０１ｍｍ、３－５）固視灯位置：黄斑（中心窩）、３－６）１クラスタあたりのＢスキャン数：４、３－７）コヒーレンスゲート位置：硝子体側、３－８）既定表示レポート種別：単眼検査用レポート、等が設定する。また、撮影データ取得部１０１は、取得されたＯＣＴ断層画像に基づいて、モーションコントラスト画像（モーションコントラストデータ）を生成する。このとき、モーションコントラスト画像が生成された後、不図示の補正部が、モーションコントラスト画像上に生じたプロジェクションアーティファクトを抑制する処理を実行してもよい。そして、表示制御部１０３は、生成された断層画像、３次元のモーションコントラスト画像、モーションコントラスト正面画像、撮影条件に関する情報等を、表示部（不図示）に表示させる。このとき、本実施例では、ユーザーが図６（ａ）のレポート画面右上に示すボタン９１１（高画質化ボタンの一例）を押下することにより、高画質化部がモーションコントラスト画像に対する高画質化処理を実施するものとする。すなわち、高画質化ボタンは、高画質化処理の実行を指示するためのボタンである。もちろん、高画質化ボタンは、（高画質化ボタンを押下する前に生成された）高画質画像の表示を指示するためのボタンであってもよい。

【0048】

本実施例において、学習データとして用いる入力データは、断層画像数の少ない単一クラスタから生成された低画質モーションコントラスト画像とする。また、学習データとして用いる出力データ（正解データ）は、位置合わせ済の複数のモーションコントラストデータを加算平均して得られた高画質モーションコントラスト画像とする。なお、学習データとして用いる出力データはこれに限らず、例えば、多数枚の断層画像で構成される単一クラスタから生成された高画質なモーションコントラスト画像でもよい。また、学習データとして用いる出力データは、入力画像より高解像度な（高倍率な）モーションコントラスト画像を入力画像と同解像度（同倍率）にすることによって得られた高画質なモーションコントラスト画像でもよい。なお、機械学習モデルのトレーニングに用いる入力画像と出力画像のペアは上記に限られるものではなく、任意の公知の画像の組み合わせを用いてよい。例えば、断層画像撮影装置１００や他の装置で取得したモーションコントラスト画像に第一のノイズ成分を付加した画像を入力画像とし、該（断層画像撮影装置１００や他の装置で取得した）モーションコントラスト画像に（第一のノイズ成分とは異なる）第二のノイズ成分を付加した画像を出力画像として機械学習モデルのトレーニングに用いてもよい。すなわち、高画質化部は、眼底のモーションコントラストデータを含む学習データを学習して得た高画質化用の学習済モデルを用いて、入力画像として入力されたモーションコントラストデータを高画質化するものであれば何でもよい。

【0049】

本実施例に係る高画質化部における機械学習モデルの構成例を図７に示す。機械学習モデルは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＮｅｕｒａｌＮｅｔｗｏｒｋ；ＣＮＮ）であり、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、上記構成に含まれる層の種類として、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、合成（Ｍｅｒｇｅｒ）層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、上記フィルタのカーネルサイズの次元数も変更してもよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。具体的には、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。このような構成では、入力画像１３０１を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力画像１３０１を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で高画質画像１３０２に成形される。なお、図示はしないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込む等をしても良い。なお、図７では説明を簡単にするため処理対象画像を２次元画像として説明しているが、本発明はこれに限定されない。例えば、３次元の低画質モーションコントラスト画像を高画質化部に入力して３次元の高画質モーションコントラスト画像を出力する場合も本発明に含まれる。

【0050】

ここで、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本実施例では、学習部（不図示）の一例である情報処理装置による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵまたはＧＰＵのみにより演算が行われても良い。また、高画質化部も、学習部と同様にＧＰＵを用いても良い。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

【0051】

また、操作者は操作部１０４を用いてＯＣＴＡ解析処理の開始を指示することができる。本実施例では、レポート画面である図６（ｂ）のモーションコントラスト画像上をダブルクリックすることで、レポート画面の一例である図６（ａ）に移行（画面遷移）する。モーションコントラスト画像が拡大表示され、情報処理装置を用いて解析処理を行うことができる。解析処理の種類として任意の解析処理を行ってよく、本実施例では、図６（ａ）のＤｅｎｓｉｔｙ Ａｎａｌｙｓｉｓ９０３もしくはＴｏｏｌｓボタン９０４を選択して表示される項目９０５に示す解析の種類と、必要に応じて解析の次元数に関する項目９１２を選択することにより、所望の解析の種類を指定することができる。これにより、例えば、操作者からの指示に応じて、高画質化用の学習済モデルにより高画質化されたモーションコントラスト画像を用いて、上述した実施例における解析処理を実行することができる。このため、例えば、上述した実施例における解析処理の精度を向上することができる。

【0052】

ここで、画面遷移における高画質化処理の実行について、図６（ａ）と（ｂ）を用いて説明を行う。図６（ａ）は、図６（ｂ）におけるＯＣＴＡ画像を拡大表示したレポート画面の一例である。図６（ａ）においても、図６（ｂ）と同様にボタン９１１を表示する。図６（ｂ）から図６（ａ）への画面遷移は、例えば、ＯＣＴＡ画像をダブルクリックすることで遷移し、図６（ａ）から図６（ｂ）へは閉じるボタン（不図示）で遷移する。なお、画面遷移に関しては、ここで示した方法に限らず、不図示のユーザーインターフェースを用いてもよい。

【0053】

画面遷移の際に高画質化処理の実行が指定されている場合（ボタン９１１がアクティブ）、画面遷移時においてもその状態を保つ。すなわち、図６（ｂ）の画面で高画質画像を表示している状態で図６（ａ）の画面に遷移する場合、図６（ａ）の画面においても高画質画像を表示する。そして、ボタン９１１はアクティブ状態にする。図６（ａ）から図６（ｂ）へ遷移する場合にも同様である。図６（ａ）において、ボタン９１１を指定して低画質画像に表示を切り替えることもできる。

【0054】

画面遷移に関して、ここで示した画面に限らず、経過観察用の表示画面、又はパノラマ用の表示画面など同じ撮影データを表示する画面への遷移であれば、高画質画像の表示状態を保ったまま遷移を行う。すなわち、遷移後の表示画面において、遷移前の表示画面における高画質化ボタンの状態に対応する画像が表示される。例えば、遷移前の表示画面における高画質化ボタンがアクティブ状態であれば、遷移後の表示画面において高画質画像が表示される。また、例えば、遷移前の表示画面における高画質化ボタンのアクティブ状態が解除されていれば、遷移後の表示画面において低画質画像が表示される。なお、経過観察用の表示画面における高画質化ボタン（例えば、後述する図８のボタン３４２０）がアクティブ状態になると、経過観察用の表示画面に並べて表示される異なる日時（異なる検査日）で得た複数の画像が高画質画像に切り換わるようにしてもよい。すなわち、経過観察用の表示画面における高画質化ボタンがアクティブ状態になると、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。

【0055】

なお、経過観察用の表示画面の例を、図８に示す。検者からの指示に応じてタブ３８０１が選択されると、図８のように、経過観察用の表示画面が表示される。このとき、解析対象領域の深度範囲を、リストボックスに表示された既定の深度範囲セット（３８０２及び３８０３）から検者が選択することで変更できる。例えば、リストボックス３８０２では網膜表層が選択され、また、リストボックス３８０３では網膜深層が選択されている。上側の表示領域には網膜表層のモーションコントラスト画像の解析結果が表示され、また、下側の表示領域には網膜深層のモーションコントラスト画像の解析結果が表示されている。すなわち、深度範囲が選択されると、異なる日時の複数の画像について、選択された深度範囲の複数のモーションコントラスト画像の解析結果の並列表示に一括して変更される。

【0056】

このとき、解析結果の表示を非選択状態にすると、異なる日時の複数のモーションコントラスト画像の並列表示に一括して変更されてもよい。そして、検者からの指示に応じてボタン３４２０が指定されると、複数のモーションコントラスト画像の表示が複数の高画質画像の表示に一括して変更される。なお、ボタン３４２０は、上述した図６（ａ）及び（ｂ）のボタン９１１と同様に、高画質化ボタンの一例である。

【0057】

また、解析結果の表示が選択状態である場合には、検者からの指示に応じてボタン３４２０が指定されると、複数のモーションコントラスト画像の解析結果の表示が複数の高画質画像の解析結果の表示に一括して変更される。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。

【0058】

また、深度範囲の指定に用いる層境界の種類とオフセット位置をそれぞれ、３８０５，３８０６のようなユーザーインターフェースから一括して変更することができる。なお、断層画像も一緒に表示させ、断層画像上に重畳された層境界データを検者からの指示に応じて移動させることにより、異なる日時の複数のモーションコントラスト画像の深度範囲を一括して変更されてもよい。このとき、異なる日時の複数の断層画像を並べて表示し、１つの断層画像上で上記移動が行われると、他の断層画像上でも同様に層境界データが移動されてもよい。また、画像投影法やプロジェクションアーティファクト抑制処理の有無を、例えば、コンテキストメニューのようなユーザーインターフェースから選択することにより変更してもよい。また、選択ボタン３８０７を選択して選択画面を表示させ、該選択画面上に表示された画像リストから選択された画像が表示されてもよい。なお、図８の上部に表示されている矢印３８０４は現在選択されている検査であることを示す印であり、基準検査（Ｂａｓｅｌｉｎｅ）はＦｏｌｌｏｗ－ｕｐ撮影の際に選択した検査（図８の一番左側の画像）である。もちろん、基準検査を示すマークを表示部に表示させてもよい。

【0059】

また、「Ｓｈｏｗ Ｄｉｆｆｅｒｅｎｃｅ」チェックボックス３８０８が指定された場合には、基準画像上に基準画像に対する解析値分布（マップもしくはセクタマップ）を表示する。さらに、この場合には、それ以外の検査日に対応する領域に基準画像に対して算出した解析値分布と当該領域に表示される画像に対して算出した解析分布との差分解析値マップを表示する。解析結果としては、レポート画面上にトレンドグラフ（経時変化解析によって得られた各検査日の画像に対する解析値のグラフ）を表示させてもよい。すなわち、異なる日時の複数の画像に対応する複数の解析結果の時系列データ（例えば、時系列グラフ）が表示されてもよい。このとき、表示されている複数の画像に対応する複数の日時以外の日時に関する解析結果についても、表示されている複数の画像に対応する複数の解析結果と判別可能な状態で（例えば、時系列グラフ上の各点の色が画像の表示の有無で異なる）時系列データとして表示させてもよい。また、該トレンドグラフの回帰直線（曲線）や対応する数式をレポート画面に表示させてもよい。

【0060】

本実施例においては、モーションコントラスト画像に関して説明を行ったが、これに限らない。本実施例に係る表示、高画質化、及び画像解析等の処理に関する画像は、断層画像でもよい。さらには、断層画像だけではなく、ＳＬＯ画像、眼底写真、又は蛍光眼底写真など、異なる画像であっても構わない。その場合、高画質化処理を実行するためのユーザーインターフェースは、種類の異なる複数の画像に対して高画質化処理の実行を指示するもの、種類の異なる複数の画像から任意の画像を選択して高画質化処理の実行を指示するものがあってもよい。

【0061】

例えば、高画質化処理の対象画像は、（複数の深度範囲に対応する）複数のＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像、モーションコントラストのＥｎ－Ｆａｃｅ画像）ではなく、例えば、１つの深度範囲に対応する１つのＯＣＴＡ正面画像であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像の代わりに、例えば、輝度の正面画像（輝度のＥｎ－Ｆａｃｅ画像）、あるいはＢスキャンであるＯＣＴ断層画像やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像だけでなく、例えば、輝度の正面画像及びＢスキャンであるＯＣＴ断層画像やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）等の種々の医用画像であってもよい。すなわち、高画質化処理の対象画像は、例えば、表示部の表示画面上に表示されている種々の医用画像の少なくとも一つであればよい。このとき、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、ボタン９１１あるいはボタン３４２０が押下されると、ＯＣＴＡ正面画像に対応する高画質化用の学習済モデルを用いてＯＣＴＡ正面画像を高画質化処理するだけでなく、ＯＣＴ断層画像に対応する高画質化用の学習済モデルを用いてＯＣＴ断層画像も高画質化処理するように構成されてもよい。また、例えば、ボタン９１１あるいはボタン３４２０が押下されると、ＯＣＴＡ正面画像に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴＡ正面画像の表示に変更されるだけでなく、ＯＣＴ断層画像に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴ断層画像の表示に変更されるように構成されてもよい。このとき、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じてＯＣＴＡ正面画像上で移動可能に構成されてもよい。また、ボタン９１１あるいはボタン３４２０の表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応するＯＣＴ断層画像を高画質化処理して得た高画質なＯＣＴ断層画像の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎にボタン３４２０に相当する高画質化ボタンが表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。

【0062】

また、ＯＣＴＡ断層画像における血管領域（例えば、閾値以上のモーションコントラストデータ）を示す情報が、対応する位置のＢスキャンであるＯＣＴ断層画像に重畳して表示されてもよい。このとき、例えば、ＯＣＴ断層画像が高画質化されると、対応する位置のＯＣＴＡ断層画像が高画質化されてもよい。そして、高画質化して得たＯＣＴＡ断層画像における血管領域を示す情報が、高画質化して得たＯＣＴ断層画像に重畳して表示されてもよい。なお、血管領域を示す情報は、色等の識別可能な情報であれば何でもよい。また、血管領域を示す情報の重畳表示と非表示とが検者からの指示に応じて変更可能に構成されてもよい。また、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像上で移動されると、ラインの位置に応じてＯＣＴ断層画像の表示が更新されてもよい。このとき、対応する位置のＯＣＴＡ断層画像も更新されるため、ＯＣＴＡ断層画像から得られる血管領域を示す情報の重畳表示が更新されてもよい。これにより、例えば、任意の位置において、血管領域と注目領域との位置関係を容易に確認しながら、血管領域の３次元の分布や状態を効果的に確認することができる。また、ＯＣＴＡ断層画像の高画質化は、高画質化用の学習済モデルを用いる代わりに、対応する位置で取得した複数のＯＣＴＡ断層画像の加算平均処理等による高画質化処理であってもよい。また、ＯＣＴ断層画像は、ＯＣＴボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴ断層画像であってもよい。また、ＯＣＴＡ断層画像は、ＯＣＴＡボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴＡ断層画像であってもよい。なお、任意の位置は、少なくとも１つの任意の位置であればよく、また、検者からの指示に応じて変更可能に構成されてもよい。このとき、複数の位置に対応する複数の疑似断層画像が再構成されるように構成されてもよい。

【0063】

なお、表示される断層画像（例えば、ＯＣＴ断層画像あるいはＯＣＴＡ断層画像）は、１つだけ表示されてもよいし、複数表示されてもよい。複数の断層画像が表示される場合には、それぞれ異なる副走査方向の位置で取得された断層画像が表示されてもよいし、例えばクロススキャン等により得られた複数の断層画像を高画質化して表示する場合には、異なる走査方向の画像がそれぞれ表示されてもよい。また、例えばラジアルスキャン等により得られた複数の断層画像を高画質化して表示する場合には、一部選択された複数の断層画像（例えば基準ラインに対して互いに対称な位置の２つの断層画像）がそれぞれ表示されてもよい。さらに、図８に示されるような経過観察用の表示画面に複数の断層画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚さ等）の表示が行われてもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいて断層画像に高画質化処理を実行してもよい。

【0064】

同様に、ＳＬＯ眼底画像を高画質化して表示する場合には、例えば、同一の表示画面に表示されるＳＬＯ眼底画像を高画質化して表示してもよい。さらに、輝度の正面画像を高画質化して表示する場合には、例えば、同一の表示画面に表示される輝度の正面画像を高画質化して表示してよい。さらに、図８に示されるような経過観察用の表示画面に複数のＳＬＯ眼底画像や輝度の正面画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚さ等）の表示が行われてもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいてＳＬＯ眼底画像や輝度の正面画像に高画質化処理を実行してもよい。なお、断層画像、ＳＬＯ眼底画像、及び輝度の正面画像の表示は例示であり、これらの画像は所望の構成に応じて任意の態様で表示されてよい。また、ＯＣＴＡ正面画像、断層画像、ＳＬＯ眼底画像、及び輝度の正面画像の少なくとも２つ以上が、一度の指示で高画質化され表示されてもよい。

【0065】

このような構成により、本実施例に係る高画質化部（不図示）が処理した画像を表示制御部１０３が表示部に表示することができる。このとき、上述したように、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも１つが選択された状態である場合には、表示画面が遷移されても、選択された状態が維持されてもよい。

【0066】

また、上述したように、複数の条件のうち少なくとも１つが選択された状態である場合には、他の条件が選択された状態に変更されても、該少なくとも１つが選択された状態が維持されてもよい。例えば、表示制御部１０３は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、ボタン９１１あるいはボタン３４２０が指定されると）、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部１０３は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、ボタン９１１あるいはボタン３４２０の指定が解除されると）、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。

【0067】

また、表示制御部１０３は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部１０３は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部１０３は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部１０３は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。

【0068】

また、高画質画像の表示が非選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部１０３は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、低画質画像の第１の種類の解析結果の表示を低画質画像の第２の種類の解析結果の表示に変更してもよい。また、高画質画像の表示が選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部１０３は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、高画質画像の第１の種類の解析結果の表示を高画質画像の第２の種類の解析結果の表示に変更してもよい。

【0069】

なお、経過観察用の表示画面においては、上述したように、これらの表示の変更が、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。

【0070】

また、上述した実施例において、表示制御部１０３は、高画質化部によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部に表示させることができる。また、表示制御部１０３は、検者からの指示に応じて、表示部における表示画面上の表示を撮影画像（入力画像）から高画質画像に切り替えてもよい。すなわち、表示制御部１０３は、検者からの指示に応じて、低画質画像の表示を高画質画像の表示に変更してもよい。また、表示制御部１０３は、検者からの指示に応じて、高画質画像の表示を低画質画像の表示に変更してもよい。

【0071】

さらに、情報処理装置における高画質化部が、高画質化エンジン（高画質化用の学習済モデル）による高画質化処理の開始（高画質化エンジンへの画像の入力）を検者からの指示に応じて実行し、表示制御部１０３が、高画質化部によって生成された高画質画像を表示部に表示させてもよい。これに対し、撮影装置（ＯＣＴ）によって入力画像が撮影されると、高画質化エンジンが自動的に入力画像に基づいて高画質画像を生成し、表示制御部１０３が、検者からの指示に応じて高画質画像を表示部に表示させてもよい。ここで、高画質化エンジンとは、上述した画質向上処理（高画質化処理）を行う学習済モデルを含む。

【0072】

なお、これらの処理は解析結果の出力についても同様に行うことができる。すなわち、表示制御部１０３は、検者からの指示に応じて、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部１０３は、検者からの指示に応じて、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。もちろん、表示制御部１０３は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部１０３は、検者からの指示に応じて、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部１０３は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部１０３は、検者からの指示に応じて、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。

【0073】

また、表示制御部１０３は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の他の種類の解析結果の表示に変更してもよい。また、表示制御部１０３は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の他の種類の解析結果の表示に変更してもよい。

【0074】

ここで、高画質画像の解析結果の表示は、高画質画像の解析結果を任意の透明度により高画質画像に重畳表示させたものであってもよい。また、低画質画像の解析結果の表示は、低画質画像の解析結果を任意の透明度により低画質画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。

【0075】

（変形例１）
上述した実施例の情報処理装置には、眼科撮影装置で撮影された撮影データを予め指定した保存先に、撮影データ又は指定した形式に変換したデータを自動的に転送する自動転送機能が備わっている。ここで、実際の病院での運用の中で、自動転送機能のユースケースとしては、記録保管システム（いわゆるＰＡＣＳ）へ転送する場合と、電子カルテなどの診断用システムへ転送する場合があった。これらの運用では、眼科撮影装置毎に異なるデータの内容で転送することが要求されることがあった。例えば、撮影データの記録保管システムに転送する場合は、眼底カメラだと眼底画像で、ＯＣＴだと断層画像を転送することが多い。診断用のシステムに転送する場合は、眼底カメラだと眼底画像で、ＯＣＴだと断層画像ではなく網膜厚のマップなど解析結果を含んだレポート画像を転送することが多い。上述した実施例の情報処理装置は、例えば、このようなユースケースにも対応することができる。

【0076】

なお、上述した実施例において、レポート画面等の表示画面において、個別の撮影データを検者が手動送信（手動転送）可能なように構成されてもよい。例えば、レポート画像において、検者からの指示に応じて、手動送信用のボタンが押下されると、レポート画面に表示されている画像や、レポート画面に対応するレポート画像が撮影データとして送信されるように構成されてもよい。また、例えば、患者画面において、検者からの指示に応じて任意の検査が指定されている場合には、指定されている検査に関連する撮影データを、検者からの指示に応じて送信可能としてもよい。また、患者画面において、検者からの指示に応じて任意の患者が指定されている場合には、指定された患者の少なくとも１つの検査に関連する撮影データを、検者からの指示に応じて送信可能としてもよい。

【0077】

また、レポート画面の初期表示画面として、高画質画像の表示を指示するためのボタン（高画質化ボタン）がアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、高画質画像の表示を指示するためのボタンがアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ－Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されもよい。

【0078】

（変形例２）
上述した実施例において、送信設定における送信可能な画像の種類としては、少なくとも１つの断層画像（Ｂスキャン像）だけでなく、正面画像（Ｅｎ－Ｆａｃｅ画像）であってもよい。ここで、高画質化用の学習済モデル（高画質化モデル、高画質化エンジン）を用いて、撮影データに対応する低画質画像（第１の医用画像）から得た高画質画像（第２の医用画像）と該低画質画像とをセットとするデータを送信可能としてもよい。このとき、追加学習用の学習データサーバに送信可能としてもよい。また、このような目的ではないサーバであっても、上記セットで管理しておけば、高画質化用の学習済モデルを生成する際に上記セットを学習データとして利用し易い。なお、高画質化用の学習済モデルは、低画質画像を入力データとし、高画質画像を正解データ（教師データ）とする学習データを機械学習して得た学習済モデル（機械学習モデル、機械学習エンジン）であってもよい。

【0079】

ここで、上記学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を機械学習モデルとして用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。また、高画質化エンジンは、高画質化エンジンにより生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。

【0080】

（変形例３）
上述した様々な実施例及び変形例における表示制御部１０３は、表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。このとき、例えば、各種のアーティファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーティファクトは、例えば、血管領域等による光吸収により生じる偽像領域、プロジェクションアーティファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーティファクト等であってもよい。また、アーティファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、上述したような様々なアーティファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、シュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また、標準データベースを用いて得た標準値や標準範囲と、解析結果とを比較して得た比較結果が表示されてもよい。

【0081】

また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。

【0082】

また、学習済モデルは、輝度正面画像（輝度断層画像）及びモーションコントラスト正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、輝度正面画像は断層画像のＥｎ－Ｆａｃｅ画像に対応し、モーションコントラスト正面画像はＯＣＴＡのＥｎ－Ｆａｃｅ画像に対応する。

【0083】

また、高画質化エンジンにより生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。なお、高画質化用の学習済モデルは、第一の画像を入力データとし、第一の画像よりも高画質な第二の画像を正解データとする学習データを学習して得たものであってもよい。このとき、第二の画像は、例えば、複数の第一の画像の重ね合わせ処理（例えば、位置合わせして得た複数の第一の画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像であってもよい。

【0084】

また、学習データに含まれる入力データとしては、高画質化エンジンにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。

【0085】

また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、解析結果生成用の学習済モデルにより得た解析結果が表示されるように構成されてもよい。

【0086】

また、上述した様々な実施例及び変形例における表示制御部１０３は、表示画面のレポート画面において、緑内障や加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーティファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果は、特定された異常部位の位置を画像上に表示されてもよいし、また、異常部位の状態等を文字等によって表示されてもよい。また、異常部位等の分類結果（例えば、カーティン分類）を診断結果として表示させてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報（例えば、割合を示す数値）が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、ＯＣＴＡ画像における血管領域に異常部位が検出された場合には、ＯＣＴＡよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。また、診断結果は、被検者の今後の診療方針等に関する情報であってもよい。また、診断結果は、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報であってもよい。このとき、例えば、検者からの指示に応じて入力された診断名等の診断結果よりも確からしい診断結果を医用支援情報として表示させてもよい。また、複数の種類の医用画像が用いられた場合には、例えば、診断結果の根拠となり得る種類の医用画像が識別可能に表示されてもよい。

【0087】

なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。また、高画質化エンジンにより生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。

【0088】

また、学習データに含まれる入力データとしては、高画質化エンジンにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルにより得た診断結果が表示されるように構成されてもよい。

【0089】

なお、上述した種々の学習済モデルの学習は、教師あり学習（ラベル付きの学習データで学習）だけでなく、半教師あり学習であってもよい。半教師あり学習は、例えば、複数の識別器（分類器）がそれぞれ教師あり学習を行った後、ラベルのない学習データを識別（分類）し、識別結果（分類結果）の信頼度に応じて（例えば、確からしさが閾値以上の識別結果を）自動的にラベル付け（アノテーション）し、ラベル付けされた学習データで学習を行う手法である。半教師あり学習は、例えば、共訓練（Ｃｏ－Ｔｒａｉｎｉｎｇ、あるいはＭｕｌｔｉｖｉｅｗ）であってもよい。このとき、診断結果生成用の学習済モデルは、例えば、正常な被検体の医用画像を識別する第１の識別器と、特定の病変を含む医用画像を識別する第２の識別器とを用いて半教師あり学習（例えば、共訓練）して得た学習済モデルであってもよい。なお、診断目的に限らず、例えば撮影支援等を目的としてもよい。この場合、第２の識別器は、例えば、注目部位やアーティファクト領域等の部分領域を含む医用画像を識別するものであってもよい。

【0090】

また、上述した様々な実施例及び変形例における表示制御部１０３は、表示画面のレポート画面において、上述したような注目部位、アーティファクト領域、異常部位等の部分領域の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け（アノテーション）した学習データを学習して得た学習済モデル（物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル）を用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。
また、異常部位を検出する場合には、情報処理装置は、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｋｓ）や変分オートエンコーダ―（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ－ｅｎｃｏｄｅｒ）を用いてもよい。例えば、断層画像の生成を学習して得た生成器と、生成器が生成した新たな断層画像と本物の断層画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（ＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌ ＧＡＮ）を機械学習モデルとして用いることができる。

【0091】

ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された断層画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像との差分を異常部位として抽出（検出）することができる。また、ＶＡＥを用いる場合には、例えば、入力された断層画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像像との差分を異常部位として抽出することができる。なお、入力データの例として断層画像を例として説明したが、眼底画像や前眼の正面画像等を用いてもよい。

【0092】

さらに、情報処理装置は、畳み込みオートエンコーダ（ＣＡＥ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）を用いて、異常部位を検出してもよい。ＣＡＥを用いる場合には、学習時に入力データ及び出力データとして同じ画像を学習させる。これにより、推定時に異常部位がある画像をＣＡＥに入力すると、学習の傾向に従って異常部位がない画像が出力される。その後、ＣＡＥに入力された画像とＣＡＥから出力された画像の差分を異常部位として抽出することができる。なお、この場合にも、断層画像だけでなく、眼底画像や前眼の正面画像等を入力データとして用いてもよい。

【0093】

これらの場合、情報処理装置は、敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又はオートエンコーダに入力された医用画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、情報処理装置は、高速に精度よく異常部位を検出することが期待できる。例えば、異常部位の検出精度の向上のために異常部位を含む医用画像を学習データとして数多く集めることが難しい場合であっても、比較的に数多く集め易い正常な被検体の医用画像を学習データとして用いることができる。このため、例えば、異常部位を精度よく検出するための学習を効率的に行うことができる。ここで、オートエンコーダには、ＶＡＥやＣＡＥ等が含まれる。また、敵対的生成ネットワークの生成部の少なくとも一部がＶＡＥで構成されてもよい。これにより、例えば、同じようなデータを生成してしまう現象を低減しつつ、比較的鮮明な画像を生成することができる。例えば、情報処理装置は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として生成することができる。また、例えば、表示制御部１０３は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として表示部に表示させることができる。

【0094】

また、疾病眼では、疾病の種類に応じて画像特徴が異なる。そのため、上述した様々な実施例や変形例において用いられる学習済モデルは、疾病の種類毎又は異常部位毎にそれぞれ生成・用意されてもよい。この場合には、例えば、情報処理装置は、操作者からの被検眼の疾病の種類や異常部位等の入力（指示）に応じて、処理に用いる学習済モデルを選択することができる。なお、疾病の種類や異常部位毎に用意される学習済モデルは、網膜層の検出や領域ラベル画像等の生成に用いられる学習済モデルに限られず、例えば、画像の評価用のエンジンや解析用のエンジン等で用いられる学習済モデルであってもよい。このとき、情報処理装置は、別に用意された学習済モデルを用いて、画像から被検眼の疾病の種類や異常部位を識別してもよい。この場合には、情報処理装置は、当該別に用意された学習済モデルを用いて識別された疾病の種類や異常部位に基づいて、上記処理に用いる学習済モデルを自動的に選択することができる。なお、当該被検眼の疾病の種類や異常部位を識別するための学習済モデルは、断層画像や眼底画像等を入力データとし、疾病の種類やこれら画像における異常部位を出力データとした学習データのペアを用いて学習を行ってよい。ここで、学習データの入力データとしては、断層画像や眼底画像等を単独で入力データとしてもよいし、これらの組み合わせを入力データとしてもよい。

【0095】

また、特に診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データは、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとする入力データや、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとする入力データ等が考えられる。また、異なる種類の複数の医療画像は、異なるもモダリティ、異なる光学系、異なる原理等により取得されたものであれば何でもよい。

【0096】

また、特に診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データは、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データや、眼底の黄斑の３次元ＯＣＴ画像と眼底の視神経乳頭のサークルスキャン（またはラスタスキャン）断層画像とをセットとする入力データ等が考えられる。

【0097】

なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した種々の学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、各処理の結果を向上することができる。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。

【0098】

また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した種々の学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、検者は、撮影直後であっても精度の良い結果を確認することができる。また、例えば、特定の物体が認識されると、認識された物体を囲う枠がライブ動画像に重畳表示させるように構成されてもよい。このとき、物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、例えば、物体を囲う枠の色が変更される等のように強調表示されてもよい。これにより、検者は、物体をライブ動画上で容易に識別することができる。また、上述した低画質画像と高画質画像との表示の変更は、例えば、低画質画像の解析結果と高画質画像の解析結果との表示の変更であってもよい。

【0099】

ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を機械学習モデルとして用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。また、学習には、各ユニット（各ニューロン、あるいは各ノード）をランダムに不活性化する手法（ドロップアウト）が用いられてもよい。また、学習には、多階層のニューラルネットワークの各層に伝わったデータを、活性化関数（例えばＲｅＬｕ関数）が適用される前に、正規化する手法（バッチ正規化）が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。

【0100】

なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本変形例では、学習部（不図示）の一例である情報処理装置による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵまたはＧＰＵのみにより演算が行われても良い。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部）も、学習部と同様にＧＰＵを用いても良い。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

【0101】

また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ－ｎｅｔ型の機械学習モデルが適用可能である。Ｕ－ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。

【0102】

また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（ＹｏｕＯｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＤｅｔｅｃｔｏｒあるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。

【0103】

また、機械学習モデルは、例えば、カプセルネットワーク（Ｃａｐｓｕｌｅ Ｎｅｔｗｏｒｋ；ＣａｐｓＮｅｔ）でもよい。ここで、一般的なニューラルネットワークでは、各ユニット（各ニューロン、あるいは各ノード）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。

【0104】

また、高画質化エンジン（高画質化用の学習済モデル）は、高画質化エンジンにより生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。なお、これらの構成は、高画質化用の学習済モデルに限らず、上述した様々な学習済モデルに対しても適用可能である。また、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。

【0105】

なお、上述した様々な実施例及び変形例において、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて被検眼の部分領域（例えば、注目部位、アーティファクト領域、異常部位等）を検出する場合には、検出した領域毎に所定の画像処理を施すこともできる。例えば、硝子体領域、網膜領域、及び脈絡膜領域のうちの少なくとも２つの部分領域を検出する場合を考える。この場合には、検出された少なくとも２つの領域に対してコントラスト調整等の画像処理を施す際に、それぞれ異なる画像処理のパラメータを用いることで、各領域に適した調整を行うことができる。各領域に適した調整が行われた画像を表示することで、操作者は領域毎の疾病等をより適切に診断することができる。なお、検出された領域毎に異なる画像処理のパラメータを用いる構成については、例えば、学習済モデルを用いずに検出された被検眼の領域について同様に適用されてもよい。

【0106】

（変形例４）
上述した様々な実施例及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも１つのフレーム毎に上述した種々の学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。

【0107】

なお、複数のライブ動画像は、例えば、ＸＹＺ方向のアライメントのための前眼部の動画像、眼底観察光学系のフォーカス調整やＯＣＴフォーカス調整のための眼底の正面動画像であってもよい。また、複数のライブ動画像は、例えば、ＯＣＴのコヒーレンスゲート調整（測定光路長と参照光路長との光路長差の調整）のための眼底の断層動画像等であってもよい。このとき、上述した物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された領域が所定の条件を満たすように、上述した各種調整が行われるように構成されてもよい。例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層等に関する値（例えば、コントラスト値あるいは強度値）が閾値を超える（あるいはピーク値になる）ように、ＯＣＴフォーカス調整等の各種調整が行われるように構成されてもよい。また、例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層が深さ方向における所定の位置になるように、ＯＣＴのコヒーレンスゲート調整が行われるように構成されてもよい。

【0108】

これらの場合には、情報処理装置における高画質化部（不図示）は、学習済モデルを用いて、動画像について高画質化処理を行って、高画質な動画像を生成することができる。また、情報処理装置における制御部（不図示）は、高画質な動画像が表示された状態で、セグメンテーション処理等により特定した異なる領域のいずれかが表示領域における所定の位置になるように、ＯＣＴにおける参照ミラー（不図示）等の撮影範囲を変更する光学部材を駆動制御することができる。このような場合には、制御部は、精度の高い情報に基づいて、所望される領域が表示領域の所定の位置になるように自動的にアライメント処理を行うことができる。なお、撮影範囲を変更する光学部材としては、例えばコヒーレンスゲート位置を調整する光学部材であってよく、具体的には参照ミラー等であってよい。また、コヒーレンスゲート位置は、測定光路長及び参照光路長の光路長差を変更する光学部材によって調整されることができ、当該光学部材は、例えば、不図示の測定光の光路長を変更するためのミラー等であってもよい。なお、撮影範囲を変更する光学部材は、例えば撮影装置のステージ部（不図示）であってもよい。また、制御部は、撮影開始に関する指示に応じて、撮影の途中あるいは撮影の最後に、セグメンテーション処理等により得たアーティファクト領域等の部分領域が再度撮影（リスキャン）されるように、上述した走査部を駆動制御してもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を自動的に行うように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を検者からの指示に応じて実行可能な状態に変更（実行禁止状態を解除）するように構成されてもよい。

【0109】

また、上述した種々の学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化エンジンにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成されてもよい。

【0110】

なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されても良いし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層像（Ｂスキャン像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。

【0111】

ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。なお、高画質化ボタンは、高画質化処理の実行を指定するためのボタンである。もちろん、高画質化ボタンは、高画質画像の表示を指示するためのボタンであってもよい。

【0112】

また、走査パターン等が異なる撮影モード毎に異なる高画質化用の学習済モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化用の学習済モデルが用いられてもよい。

【0113】

（変形例５）
上述した様々な実施例及び変形例においては、学習済モデルが追加学習の実行中である場合、追加学習の実行中の学習済モデル自体を用いて出力（推論・予測）することが難しい可能性がある。このため、追加学習の実行中の学習済モデルに対する学習データ以外の医用画像の入力を禁止するように構成されることがよい。また、追加学習の実行前の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習の実行中には、予備の学習済モデルに対する学習データ以外の医用画像の入力が実行可能なように構成されることがよい。そして、追加学習が完了した後に、追加学習の実行後の学習済モデルを評価し、問題なければ、予備の学習済モデルから追加学習の実行後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。なお、追加学習の実行後の学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け（アノテーション）されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時（予測時）の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報（例えば、割合を示す数値）と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理（例えば、位置合わせして得た複数の低画質画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれてもよい。また、追加学習の実行後の学習済モデルの評価としては、例えば、追加学習の実行後の学習済モデルと追加学習の実行前の学習済モデル（予備の学習済モデル）とをそれぞれ用いて同一の画像から得た複数の高画質画像を比較、あるいは該複数の高画質画像の解析結果を比較してもよい。このとき、例えば、該複数の高画質画像の比較結果（追加学習による変化の一例）、あるいは該複数の高画質画像の解析結果の比較結果（追加学習による変化の一例）が所定の範囲であるか否かを判定し、判定結果が表示されてもよい。

【0114】

また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第１の撮影部位（肺、被検眼等）を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、情報処理装置は、選択された学習済モデルに対して追加学習として実行する制御手段（不図示）を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。

【0115】

なお、選択手段及び制御手段は、情報処理装置のＣＰＵやＭＰＵ等のプロセッサによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。

【0116】

また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざん、追加学習時のシステムトラブル等による信頼性低下を低減したい。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わない。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。

【0117】

また、上述したような一致性の確認によるデータの保護は、追加学習用の学習データに限らず、医用画像を含むデータに適用可能である。また、複数の施設のサーバの間の医用画像を含むデータの取引が分散型のネットワークにより管理されるように画像管理システムが構成されてもよい。また、取引履歴と、前のブロックのハッシュ値とが一緒に記録された複数のブロックを時系列につなぐように画像管理システムが構成されてもよい。なお、一致性の確認等を行うための技術としては、量子ゲート方式等の量子コンピュータを用いても計算が困難な暗号（例えば、格子暗号、量子鍵配送による量子暗号等）が用いられてもよい。ここで、画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムであってもよい。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。特に、下記実施形態に係る画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。

【0118】

（変形例６）
上述した様々な実施例及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識エンジン（音声認識モデル、音声認識用の学習済モデル）を含む機械学習エンジン（機械学習モデル）が用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識エンジン（文字認識モデル、文字認識用の学習済モデル）を含む機械学習エンジンが用いられても良い。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識エンジン（ジェスチャー認識モデル、ジェスチャー認識用の学習済モデル）を含む機械学習エンジンが用いられてもよい。

【0119】

また、検者からの指示は、表示部における表示画面（モニタ）上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、表示部における表示画面（モニタ）の周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。

【0120】

このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データまたは音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、高画質化用の学習済モデルで得た高画質画像の表示の指示を示す文字データまたは音声データ等を入力データとし、高画質画像の表示の実行命令と高画質画像の表示を指示するためのボタンをアクティブ状態に変更するための実行命令とを正解データとする学習データであってもよい。もちろん、学習データとしては、例えば、文字データまたは音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字または音声等による指示と、マウス、タッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字または音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。

【0121】

ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｒｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。ここで、本変形例に係る機械学習エンジンの一例として、時系列情報を扱うニューラルネットワークであるＲＮＮに関して、図９（ａ）及び（ｂ）を参照して説明する。また、ＲＮＮの一種であるＬｏｎｇｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図１０（ａ）及び（ｂ）を参照して説明する。

【0122】

図９（ａ）は、機械学習エンジンであるＲＮＮの構造を示す。ＲＮＮ３５２０は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘ^ｔ３５１０を入力し、データｈ^ｔ３５３０を出力する。ＲＮＮ３５２０はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図９（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘ^ｔ３５１０にはＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。また、ＲＮＮ３５２０より出力されるデータｈ^ｔ３５３０には入力データに対応するＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。

【0123】

しかし、ＲＮＮでは誤差逆伝搬時に長期時間の情報を扱うことができないため、ＬＳＴＭが用いられることがある。ＬＳＴＭは、忘却ゲート、入力ゲート、出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図１０（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ３５４０において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃ^ｔ－１と出力データｈ^ｔ－１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。

【0124】

次に、図１０（ｂ）にＬＳＴＭ３５４０の詳細を示す。図１０（ｂ）において、ＦＧは忘却ゲートネットワーク、ＩＧは入力ゲートネットワーク、ＯＧは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。ＣＵは、セル更新候補ネットワークであり、活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。

【0125】

なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習エンジンは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字または音声等による入力の場合には、自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）が適用されてもよい。このとき、自然言語処理に関する技術としては、例えば、入力される文章毎に出力されるモデルが適用されてもよい。また、上述した種々の学習済モデルは、検者からの指示に限らず、検者に対する出力に適用されてもよい。また、検者に対して文字または音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。

【0126】

また、自然言語処理に関する技術としては、文書データを教師なし学習により事前学習して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、事前学習して得た学習済モデルを更に目的に応じて転移学習（あるいはファインチューニング）して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、例えば、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）が適用されてもよい。また、自然言語処理に関する技術としては、文章内の特定の単語を左右両方の文脈から予測することで、文脈（特徴量）を自ら抽出（表現）可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、入力される時系列データにおける２つのシーケンス（センテンス）の関係性（連続性）を判断可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、隠れ層にＴｒａｎｓｆｏｒｍｅｒのＥｎｃｏｄｅｒが用いられ、ベクトルのシーケンスが入力、出力されるモデルが適用されてもよい。

【0127】

ここで、本変形例が適用可能な検者からの指示は、上述した様々な実施例及び変形例に記載のような種々の画像や解析結果の表示の変更、Ｅｎ－Ｆａｃｅ画像の生成のための深度範囲の選択、追加学習用の学習データとして用いるか否かの選択、学習済モデルの選択、種々の学習済モデルを用いて得た結果の出力（表示や送信等）や保存等、に関する少なくとも１つの指示であれば何でもよい。また、本変形例が適用可能な検者からの指示は、撮影後の指示だけでなく、撮影前の指示であってもよく、例えば、種々の調整に関する指示、種々の撮影条件の設定に関する指示、撮影開始に関する指示であってもよい。また、本変形例が適用可能な検者からの指示は、表示画面の変更（画面遷移）に関する指示であってもよい。

【0128】

なお、機械学習モデルとしては、ＣＮＮ等の画像に関する機械学習モデルとＲＮＮ等の時系列データに関する機械学習モデルとを組み合わせた機械学習モデルであってもよい。このような機械学習モデルでは、例えば、画像に関する特徴量と時系列データに関する特徴量との関係性を学習することができる。機械学習モデルの入力層側がＣＮＮで、出力層側がＲＮＮである場合には、例えば、医用画像を入力データとし、該医用画像に関する文章（例えば、病変の有無、病変の種類、次の検査のレコメンド等）を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、医用画像に関する医療情報が自動的に文章で説明されるため、医療経験が浅い検者であっても、医用画像に関する医療情報を容易に把握することができる。また、機械学習モデルの入力層側がＲＮＮで、出力層側がＣＮＮである場合には、例えば、病変、所見、診断等の医療に関する文章を入力データとし、該医療に関する文章に対応する医用画像を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、検者が確認したい症例に関係する医用画像を容易に検索することができる。

【0129】

また、検者からの指示や検者に対する出力には、文字や音声等の文章を任意の言語に機械翻訳する機械翻訳エンジン（機械翻訳モデル、機械翻訳用の学習済モデル）が用いられてもよい。なお、任意の言語は、検者からの指示に応じて選択可能に構成されてもよい。機械翻訳エンジンには、例えば、上述した自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ）が適用されてもよい。例えば、機械翻訳エンジンに入力された文章が機械翻訳された後に、機械翻訳された文章を文字認識エンジン等に入力するように構成されてもよい。また、例えば、上述した種々の学習済モデルから出力された文章を機械翻訳エンジンに入力し、機械翻訳エンジンから出力された文章が出力されるように構成されてもよい。

【0130】

また、上述した種々の学習済モデルが組み合わせて用いられてもよい。例えば、検者からの指示に対応する文字が文字認識エンジンに入力され、入力された文字から得た音声を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された文字が文字認識エンジンに入力され、入力された文字から得た音声が出力されるように構成されてもよい。また、例えば、検者からの指示に対応する音声が音声認識エンジンに入力され、入力された音声から得た文字を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された音声が音声認識エンジンに入力され、入力された音声から得た文字が表示部に表示されるように構成されてもよい。このとき、検者に対する出力として文字による出力か音声による出力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示として文字による入力か音声による入力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示による選択によって、上述した種々の構成が採用されるようにしてもよい。

【0131】

（変形例７）
上述した様々な実施例及び変形例において、高画質画像等は、検者からの指示に応じて記憶部に保存されてもよい。このとき、高画質画像等を保存するための検者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、最後の箇所）に、高画質化用の学習済モデルを用いた処理（高画質化処理）により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、検者からの指示に応じて編集可能な状態で表示されてもよい。また、レポート画面等の種々の表示画面において、表示部に高画質画像を表示させる際に、表示されている画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、ユーザーは、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。

【0132】

このとき、レポート画面等の表示画面は、検者からの指示に応じて、画像データとして記憶部に保存されてもよい。例えば、高画質画像等と、これらの画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部に保存されてもよい。また、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化用の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。

【0133】

また、高画質化用の学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、高画質画像等に重畳した状態で表示または保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。

【0134】

また、レポート画面の初期表示画面として、高画質化ボタンがアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像が外部記憶部等のサーバに送信されるように構成されてもよい。また、高画質化ボタンがアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ－Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されもよい。

【0135】

（変形例８）
上述した様々な実施例及び変形例において、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルで得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）を、第１の種類とは異なる第２の種類の学習済モデルに入力してもよい。このとき、第２の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）が生成されるように構成されてもよい。

【0136】

また、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）を用いて、第１の種類の学習済モデルに入力した画像から、第１の種類とは異なる第２の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第２の種類の学習済モデルにより処理する画像として適した画像である可能性が高い。このため、生成された画像を第２の種類の学習済モデルに入力して得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。なお、共通の画像が、第１の種類の学習済モデルと第２の種類の学習済モデルとに入力されることで、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を実行するように構成されてもよい。このとき、例えば、検者からの指示に応じて、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を一括して（連動して）実行するように構成されてもよい。また、入力させる画像の種類（例えば、高画質画像、物体認識結果、セグメンテーション結果、類似症例画像）、生成（あるいは表示）させる処理結果の種類（例えば、高画質画像、診断結果、解析結果、物体認識結果、セグメンテーション結果、類似症例画像）、入力の種類や出力の種類（例えば、文字、音声、言語）等をそれぞれ検者からの指示に応じて選択可能に構成されてもよい。このとき、選択された種類に応じて少なくとも１つの学習済モデルが選択されるように構成されてもよい。このとき、複数の学習済モデルが選択された場合には、選択された種類に応じて複数の学習済モデルの組み合わせの方（例えば、データを入力させる順番等）が決定されてもよい。なお、例えば、入力させる画像の種類と、生成（あるいは表示）させる処理結果の種類とが、異なるように選択可能に構成されてもよいし、同じである場合には異なるように選択することを促す情報を検者に対して出力するように構成されてもよい。また、各学習済モデルはどの場所で実行されてもよい。例えば、複数の学習済モデルのうちの一部がクラウドサーバで用いられ、他はフォグサーバやエッジサーバ等の別のサーバで用いられるように構成されてもよい。

【0137】

また、上述したような種々の学習済モデルは、被検体の２次元の医用画像を含む学習データを学習して得た学習済モデルであってもよいし、また、被検体の３次元の医用画像を含む学習データを学習して得た学習済モデルであってもよい。

【0138】

また、上述したような種々の学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。また、上述したような種々の学習済モデルの処理による物体認識結果やセグメンテーション結果等を検索キーとして、サーバ等に格納された外部のデータベースを医用した類似症例画像検索を行ってもよい。なお、データベースにおいて保存されている複数の画像が、既に機械学習等によって該複数の画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、画像自体を検索キーとする類似症例画像検索エンジン（類似症例画像検索モデル、類似症例画像検索用の学習済モデル）が用いられてもよい。例えば、情報処理装置は、（高画質化用の学習済モデルとは異なる）類似症例画像検索用の学習済モデルを用いて、種々の医用画像から該医用画像に関連する類似症例画像の検索を行うことができる。また、例えば、表示制御部１０３は、種々の医用画像から類似症例画像検索用の学習済モデルを用いて得た類似症例画像を表示部に表示させることができる。このとき、類似症例画像は、例えば、学習済モデルに入力された医用画像の特徴量と類似する特徴量の画像である。また、類似症例画像は、例えば、学習済モデルに入力された医用画像において異常部位等の部分領域が含まれる場合には、異常部位等の部分領域の特徴量と類似する特徴量の画像である。このため、例えば、類似症例画像を精度よく検索するための学習を効率的に行うことができるだけでなく、医用画像において異常部位が含まれる場合には、検者は異常部位の診断を効率よく行うことができる。また、複数の類似症例画像が検索されてもよく、特徴量が類似する順番が識別可能に複数の類似症例画像が表示されてもよい。また、複数の類似症例画像のうち、検者からの指示に応じて選択された画像と該画像との特徴量とを含む学習データを用いて、類似症例画像検索用の学習済モデルが追加学習されるように構成されてもよい。

【0139】

（変形例９）
上述した様々な実施例及び変形例におけるモーションコントラストデータの生成処理は、断層画像の輝度値に基づいて行われる構成に限られない。各種処理は、光干渉断層計（ＯＣＴ）で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、同様の効果を奏することができる。例えば、分割手段として光カプラーを使用したファイバー光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、ＯＣＴの構成は、ＯＣＴに含まれる構成の一部をＯＣＴと別体の構成としてもよい。また、ＯＣＴの干渉光学系としてマイケルソン型干渉計の構成が用いられてもよいし、マッハツェンダー干渉計の構成が用いられてもよい。また、ＯＣＴとして、ＳＬＤを光源として用いたスペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ）であってもよいし、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）等の他の任意の種類のＯＣＴであってもよい。また、ライン光を用いたＬｉｎｅ－ＯＣＴ装置（あるいはＳＳ－Ｌｉｎｅ－ＯＣＴ装置）に対して本発明を適用することもできる。また、エリア光を用いたＦｕｌｌ Ｆｉｅｌｄ－ＯＣＴ装置（あるいはＳＳ－Ｆｕｌｌ Ｆｉｅｌｄ－ＯＣＴ装置）にも本発明を適用することもできる。また、情報処理装置は、ＯＣＴで取得された干渉信号や情報処理装置で生成された３次元断層画像等を取得しているが、情報処理装置がこれらの信号や画像を取得する構成はこれに限られない。例えば、情報処理装置は、ＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。

【0140】

なお、学習済モデルは、情報処理装置に設けられることができる。学習済モデルは、例えば、ＣＰＵ等のプロセッサによって実行されるソフトウェアモジュール等で構成されることができる。また、学習済モデルは、情報処理装置と接続される別のサーバ等に設けられてもよい。この場合には、情報処理装置は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、学習済モデルを用いて高画質化処理を行うことができる。

【0141】

（変形例１０）
上述した様々な実施例及び変形例による情報処理装置（医用画像処理装置）又は情報処理方法（医用画像処理方法）によって処理される医用画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、医用画像処理装置又は医用画像処理方法によって作成された画像を含むことができる。

【0142】

さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。

【0143】

また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（３次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ－Ｆａｃｅ画像を含む。Ｅｎ－Ｆａｃｅ画像は、３次元のＯＣＴＡデータ（３次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ－Ｆａｃｅ画像（モーションコントラスト正面画像）であってもよい。また、３次元のＯＣＴデータや３次元のモーションコントラストデータは、３次元の医用画像データの一例である。

【0144】

ここで、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するＯＣＴアンギオグラフィ（ＯＣＴＡ）に関するＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像）とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。

【0145】

また、Ｅｎ－Ｆａｃｅ画像は、例えば、２つの層境界の間の範囲のデータをＸＹ方向に投影して生成した正面画像である。このとき、正面画像は、光干渉を用いて得たボリュームデータ（３次元の断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影又は積算して生成される。Ｅｎ－Ｆａｃｅ画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを２次元平面に投影して生成された正面画像である。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を２次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。

【0146】

また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施例及び変形例に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。

【0147】

なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ－ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ－ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）装置を含んでよい。また、ＯＣＴ装置は、Ｄｏｐｐｌｅｒ－ＯＣＴ装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ－ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ－ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ－ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ－ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、病理顕微鏡ＳＬＯ装置や病理顕微鏡ＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ハンドヘルド型のＳＬＯ装置やハンドヘルド型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、カテーテルＳＬＯ装置やカテーテルＯＣＴ装置等を含んでよい。

【0148】

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した様々な実施例及び変形例の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【0149】

また、本発明は、上述した様々な実施例及び変形例の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。

【0150】

このとき、プロセッサ又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサ又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】