特許7467830視覚シミュレーション方法、および、視覚シミュレーションプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-08
(45)【発行日】2024-04-16
(54)【発明の名称】視覚シミュレーション方法、および、視覚シミュレーションプログラム
(51)【国際特許分類】
A61B 3/00 20060101AFI20240409BHJP
A61F 9/007 20060101ALI20240409BHJP
【ＦＩ】
A61B3/00
A61F9/007 200Z
【請求項の数】
2
(21)【出願番号】P 2019088524
(22)【出願日】2019-05-08
(65)【公開番号】P2020182680
(43)【公開日】2020-11-12
【審査請求日】2022-04-08
(73)【特許権者】
【識別番号】000135184
【氏名又は名称】株式会社ニデック
(72)【発明者】
【氏名】竹野 直樹
(72)【発明者】
【氏名】相原 良一
【審査官】佐々木 創太郎
(56)【参考文献】
【文献】特開２００６－１４９６５４（ＪＰ，Ａ）
【文献】国際公開第２０１３／１７５９２３（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１２／０１５４７４２（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００－ ３／１８
Ａ６１Ｆ ９／００－１１／３０
(57)【特許請求の範囲】
【請求項1】
ある時点での患者眼における視覚状態を示す推定情報を、コンピュータが取得する推定情報取得ステップと、前記ある時点での患者眼における見え方を示すシミュレーション画像であって、前記推定情報に応じたシミュレーション画像を前記コンピュータが出力する出力ステップと、を含み、
前記推定情報取得ステップでは、左右の患者眼のそれぞれの前記推定情報を取得し、
前記出力ステップでは、左右の患者眼のそれぞれの前記推定情報に応じた前記シミュレーション画像を、前記左右の患者眼に個別に呈示するために出力し、
更に、
前記推定情報取得ステップでは、将来のある時点における視覚状態を示す前記推定情報として、障害の進行速度が第１の速度である場合における第１推定情報と、障害の進行速度が前記第１の速度とは異なる第２の速度である場合における第２推定情報とを、取得し、
前記コンピュータは、同一の視野に関して障害の進行速度が互いに異なる前記シミュレーション画像として、前記第１推定情報に基づく第１シミュレーション画像および前記第２推定情報に基づく第２シミュレーション画像を生成する、視覚シミュレーション方法。
【請求項2】
請求項１記載の視覚シミュレーション方法を、前記コンピュータに実行させる視覚シミュレーションプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、視覚シミュレーション方法、および、視覚シミュレーションプログラムに関する。
【背景技術】
【0002】
眼の疾患として、緑内障等、視野に障害を生じる疾患が知られている。疾患の進行状況は、視野計、および、OCT（光干渉断層計）等の検査装置によって検査できる。
【0003】
近年、将来における患者の視野を推定する手法が提案されている。例えば、特許文献１に開示された手法では、複数回にわたる視野計での検査結果に基づいて、将来における患者の視野が推定される。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１４－１６６２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
視野の障害は、患者の自覚がないまま徐々に進行する場合が多い。また、視野の障害は、非可逆的である。故に、障害の進行を防いで失明を予防するためには、治療に関して、患者が積極的に関わり、通院および服薬等が適切に行われることが重要となる。
【0006】
しかしながら、特に、視野の障害の初期の段階では、患者が症状を自覚しにくい。また、視野の障害は進行が遅く、非可逆的であることから、治療効果を患者が実感し難い。そこで、本発明者は、治療に対する動機付けを患者に対して効果的に与える手法に着目し、検討を行った。
【0007】
本開示は、上記事情に鑑みてなされたものであり、眼の治療に対する動機付けを、患者に対して効果的に与えること、を技術課題とする。
【課題を解決するための手段】
【0008】
本開示の第１態様に係る視覚シミュレーション方法は、ある時点での患者眼における視覚状態を示す推定情報を、コンピュータが取得する推定情報取得ステップと、前記ある時点での患者眼における見え方を示すシミュレーション画像であって、前記推定情報に応じたシミュレーション画像を前記コンピュータが出力する出力ステップと、を含み、前記推定情報取得ステップでは、左右の患者眼のそれぞれの前記推定情報を取得し、前記出力ステップでは、左右の患者眼のそれぞれの前記推定情報に応じた前記シミュレーション画像を、前記左右の患者眼に個別に呈示するために出力し、更に、前記推定情報取得ステップでは、将来のある時点における視覚状態を示す前記推定情報として、障害の進行速度が第１の速度である場合における第１推定情報と、障害の進行速度が前記第１の速度とは異なる第２の速度である場合における第２推定情報とを、取得し、前記コンピュータは、同一の視野に関して障害の進行速度が互いに異なる前記シミュレーション画像として、前記第１推定情報に基づく第１シミュレーション画像および前記第２推定情報に基づく第２シミュレーション画像を生成する。
【0009】
本開示の第２態様に係る視覚シミュレーションプログラムは、第１態様に係る視覚シミュレーション方法を、前記コンピュータに実行させる。
【発明の効果】
【0010】
本開示によれば、眼の治療に対する動機付けを、患者に対して効果的に与えることができる。
【図面の簡単な説明】
【0011】
【図1】第１実施形態に係る、眼科システムの概要を示した図である。
【図2】患者端末の詳細構成を示した図である。
【図3】実施形態における視覚シミュレーション方法の流れを説明するための図である。
【図4】障害の進行速度が互いに異なる場合のMD値の経時変化を示したグラフである。
【発明を実施するための形態】
【0012】
以下、図面を参照しつつ、本開示を、実施形態に基づいて説明する。
【0013】
図１は、第１実施形態における眼科システム１の概略構成を示している。眼科システム１は、ある時点での患者眼における見え方を示すシミュレーション画像を患者眼に呈示するために利用される。ここでいう、ある時点とは、現在以外の時点であってもよく、過去および将来のある時点であってもよい。また、過去、現在、および将来のある時点であってもよい。以下の説明において、眼科システム１は、一例として、将来の時点と対応するシミュレーション画像を呈示するために利用される。
【0014】
図１に示した眼科システム１は、眼検査装置１０と、ＰＣ２０と、患者端末３０と、を含む。各装置は、ネットワークを介して、相互に接続されてもよい。
【0015】
＜眼検査装置＞
眼検査装置１０は、患者眼の視機能を検査するために利用される。
眼検査装置１０は、患者眼の視機能を検査するために利用される。
【0016】
第１実施形態では、視機能として主に網膜機能が検査される。眼検査装置１０は、部位ごとの網膜視感度を検査するために利用されてもよい。このような眼検査装置１０は、例えば、視野計であってもよいし、ＥＲＧ（electroretinogram）であってもよいし、ＦＲＧ（functional retinography）であってもよい。視野計は、静的視野計（例えば、ハンフリー視野計、および、マイクロペリメータ等）であってもよいし、動的視野計（例えば、ゴールドマン視野計等）であってもよい。
【0017】
また、近年では、眼底イメージング装置で撮影される網膜の構造的な特徴に基づいて、患者の視覚状態を推定する手法が注目されている。このような手法へ利用可能な眼底イメージング装置としては、ＯＣＴ、眼底カメラ、および、ＳＬＯ等が挙げられる。眼底イメージング装置は、細胞レベルで眼底を撮影する装置であってもよい。網膜の構造的な特徴に基づいて患者の視覚状態を推定する手法の一例として、光干渉断層計（ＯＣＴ）で計測される網膜の層厚情報（層厚の分布情報）から、患者の視野を推定する手法が、次の文献において提案されている。
【文献】Sugiura, H. et al. (2018) Estimating Glaucomatous Visual Sensitivity from Retinal Thickness with Pattern-Based Regularization and Visualization, in Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining - KDD ’18. New York, New York, USA: ACM Press, pp. 783-792.
【0018】
以下、特に断りが無い限り、眼検査装置１０は視野計であって、眼検査装置１０による検査結果として、部位ごとの網膜の視感度を示す情報が得られるものとして、説明する。
【0019】
＜コンピュータ＞
第１実施形態では、ＰＣ２０によって、視覚シミュレーションプログラムが実行される。第１実施形態では、ＰＣ２０によって、シミュレーション画像が生成され、表示装置（第１実施形態では、患者端末）へ出力される。シミュレーション画像は、ある時点での患者眼における見え方を示した画像であり、ここでは、将来の見え方を示す。第１実施形態において、シミュレーション画像は、ＰＣ２０による画像処理によって生成されるものとして説明する。
第１実施形態では、ＰＣ２０によって、視覚シミュレーションプログラムが実行される。第１実施形態では、ＰＣ２０によって、シミュレーション画像が生成され、表示装置（第１実施形態では、患者端末）へ出力される。シミュレーション画像は、ある時点での患者眼における見え方を示した画像であり、ここでは、将来の見え方を示す。第１実施形態において、シミュレーション画像は、ＰＣ２０による画像処理によって生成されるものとして説明する。
【0020】
第１実施形態において、ＰＣ２０は、プロセッサ２１（処理装置）を備える。第１実施形態において、プロセッサ２１は、画像処理器を兼用する。ＰＣ２０が備えるユーザインターフェイス（図示せず）を介して、ＰＣ２０は、検者等からの操作入力を受け付けてもよい。例えば、ＰＣ２０は、見え方をシミュレーションする時点を示す情報（例えば、患者の年齢）を、ユーザインターフェースを介して受け付けてもよく、受け付けた「時点」でのシミュレーション画像が、後述の各処理によって生成されてもよい。
【0021】
第１実施形態において、視覚シミュレーションプログラムは、プロセッサ２１からアクセス可能な、ＰＣ２０の不揮発性メモリ（例えば、メモリ２２）に格納されていてもよい。
【0022】
＜患者端末＞
第１実施形態において、患者端末３０は、表示装置として利用される。つまり、患者端末３０によって、シミュレーション画像が、患者眼に対して呈示される。第１実施形態において、患者端末３０は、左右の患者眼のそれぞれに、個別の画像を、同時に呈示し得る。つまり、左右の被検眼の間で、互いに異なるシミュレーション画像を呈示できる。
第１実施形態において、患者端末３０は、表示装置として利用される。つまり、患者端末３０によって、シミュレーション画像が、患者眼に対して呈示される。第１実施形態において、患者端末３０は、左右の患者眼のそれぞれに、個別の画像を、同時に呈示し得る。つまり、左右の被検眼の間で、互いに異なるシミュレーション画像を呈示できる。
【0023】
患者端末３０は、ウェアラブルデバイスであってもよく、一例として、図１，２に示すようなヘッドマウントディスプレイであってもよい。説明の便宜のため、以下では、患者端末３０は、画像を患者に観察させるための画面３１を備えるものとして説明する。第１実施形態において、画面３１は、左右２つの領域に区分される。画面３１の左半分（患者から見たときの左半分）は、左眼に対して画像を呈示するために用いられ、画面３１の右半分（患者から見たときの右半分）は、右眼に対して画像を呈示するために用いられる。
【0024】
但し、必ずしもこれに限られるものでは無く、患者端末３０は、患者眼の網膜へ直接画像を投影するプロジェクタを備えていてもよい。この場合、左右の患者眼のそれぞれに対し、プロジェクタは個別に画像を投影するものであってもよい。具体例として、左右の患者眼毎に、プロジェクタが１基ずつ設けられていてもよい。患者端末３０がヘッドマウントディスプレイである場合、患者端末３０は、スマートフォンおよびタブレット等のポータブルコンピュータを、ヘッドセットへ装着したものであってもよいし、スタンドアローン型の装置であってもよい。
【0025】
なお、患者端末３０は、視度補正部を備えていてもよい。画面３１と、患者眼との間に、配置される補正レンズ３３を、視度補正部は有していてもよい。視度補正部は、患者眼の屈折誤差を補正するために利用される。視度補正部は、画面３１または補正レンズの位置を、前後方向へ移動させる機構を含んでいてもよい。
【0026】
【0027】
＜検査ステップ＞
事前に、眼検査装置１０によって、患者眼についての視機能に関する検査が、複数回にわたって行われる。各回の検査は、例えば、数ヶ月間隔で実施されることが望ましい。また、例えば、前述の特許文献１に開示された推定処理の手法を利用して、ある時点（ここでは、将来のある時点）における患者眼の視機能の状態（視覚状態）を推定するためには、検査の回数は、３回以上であることが好ましい。
事前に、眼検査装置１０によって、患者眼についての視機能に関する検査が、複数回にわたって行われる。各回の検査は、例えば、数ヶ月間隔で実施されることが望ましい。また、例えば、前述の特許文献１に開示された推定処理の手法を利用して、ある時点（ここでは、将来のある時点）における患者眼の視機能の状態（視覚状態）を推定するためには、検査の回数は、３回以上であることが好ましい。
【0028】
第１実施形態では、眼検査装置１０は、事前に、左右の患者眼に対し、視機能に関する検査を複数回行う。これにより、各回の検査で、左右の患者眼のそれぞれにおける視感度の分布を示すデータが取得される。
【0029】
視感度の分布を示すデータは、眼検査装置１０からＰＣ２０に転送されることで、ＰＣ２０のメモリ（例えば、メモリ２２）に格納される。第１実施形態では、この状態で、ＰＣ２０によって、視覚シミュレーションプログラムが実行される。
【0030】
＜推定情報取得ステップ＞
まず、ＰＣ２０は、推定情報を取得する。推定情報は、患者眼におけるある時点（ここでは、将来の時点）での視覚状態を示す。第１実施形態においては、図３に示すように、左右の患者眼のそれぞれにおける推定情報が取得される。推定情報は、所定の時点（例えば、１年後、３年後、１０年後等・・・）における視覚状態を示すものであってもよいし、検者または患者の所望の時点における視覚状態を示すものであってもよい。所望の時点については、例えば、入力インタフェースに対する操作入力に基づいて事前に設定されてもよい。また、将来の複数の時点における視覚状態を示す、複数の推定情報が取得されてもよい。なお、ここでは、推定情報が、ＰＣ２０のプロセッサ２１によって処理可能な状態に置かれることを指す。例えば、プロセッサ２１によってアクセス可能な所定のメモリ領域へ、推定情報が記憶されることによって、推定情報が取得される。
まず、ＰＣ２０は、推定情報を取得する。推定情報は、患者眼におけるある時点（ここでは、将来の時点）での視覚状態を示す。第１実施形態においては、図３に示すように、左右の患者眼のそれぞれにおける推定情報が取得される。推定情報は、所定の時点（例えば、１年後、３年後、１０年後等・・・）における視覚状態を示すものであってもよいし、検者または患者の所望の時点における視覚状態を示すものであってもよい。所望の時点については、例えば、入力インタフェースに対する操作入力に基づいて事前に設定されてもよい。また、将来の複数の時点における視覚状態を示す、複数の推定情報が取得されてもよい。なお、ここでは、推定情報が、ＰＣ２０のプロセッサ２１によって処理可能な状態に置かれることを指す。例えば、プロセッサ２１によってアクセス可能な所定のメモリ領域へ、推定情報が記憶されることによって、推定情報が取得される。
【0031】
第１実施形態では、過去の検査結果に基づく推定処理（「予後推定」ともいう）が、ＰＣ２０のプロセッサ２１によって実行され、その結果として、推定情報が取得される。推定処理では、過去の複数回の検査結果に基づいて、患者眼における将来の視覚状態が推定される。
【0032】
推定処理には、例えば、特許文献１の処理内容を適用し得る。この場合、例えば、複数回の過去の検査でそれぞれ得られた、患者眼の各部の網膜視感度を示すデータに基づいて、将来（を含む任意の時点）における各部の網膜視感度を示すデータを、プロセッサ２１が、ベイズ推定によって推定してもよい。また、推定法は、ベイズ推定に必ずしも限定されるものではなく、他の推定法が用いられてもよい。
【0033】
また、プロセッサ２１は、機械学習による学習モデルに照らして、複数回の過去の検査結果から、将来（を含む任意の時点）における視覚状態を示すデータ（例えば、各部の網膜視感度を示すデータ）を推定してもよい。この場合、学習モデルは、例えば、複数の患者眼のそれぞれにおける複数回の検査結果に基づいて形成され得る。各患者眼につき、数年～数十年にわたる経過観察によって蓄積された検査結果に基づいて、学習モデルは形成されてもよい。
【0034】
＜画像処理ステップ＞
第１実施形態では、推定情報に基づいて入力画像に対する画像処理がプロセッサ２１によって行われ、その結果として、シミュレーション画像が生成される。シミュレーション画像は、入力画像が画像処理によって加工されたものであり、患者眼での将来における入力画像の見え方を示した画像である。入力画像に対し、視覚状態が悪い箇所を隠すような加工（換言すれば、見づらくする加工）が、プロセッサ２１によって施されることで、シミュレーション画像が生成される。
第１実施形態では、推定情報に基づいて入力画像に対する画像処理がプロセッサ２１によって行われ、その結果として、シミュレーション画像が生成される。シミュレーション画像は、入力画像が画像処理によって加工されたものであり、患者眼での将来における入力画像の見え方を示した画像である。入力画像に対し、視覚状態が悪い箇所を隠すような加工（換言すれば、見づらくする加工）が、プロセッサ２１によって施されることで、シミュレーション画像が生成される。
【0035】
第１実施形態においては、図３に示すように、左眼用の推定情報（Ｌ）に基づいて、左眼用のシミュレーション画像（Ｌ）が生成され、右眼用の推定情報（Ｒ）に基づいて、右眼用のシミュレーション画像（Ｒ）が生成される。
【0036】
また、将来の複数の時点毎に対応するシミュレーション画像を各々の推定情報に基づいて生成する。
【0037】
入力画像は、例えば、外界を表した画像であって、例えば、図３に示すような風景を示した画像であってもよい。また、人物又は動物の画像であってもよい。入力画像は、静止画であってもよいし、動画であってもよい。動画である場合、リアルタイムに撮影されてもよい。この場合、例えば、患者端末３０には、入力画像と動画をリアルタイムに撮影するための外界カメラが更に設けられていてもよい。また、左眼用の入力画像と右眼用の入力画像との間には、視差があってもよいし、無くてもよい。
【0038】
入力画像における各領域と、推定情報と対応する視野内の各領域（換言すれば、網膜の各部位）とは、１対１で互いに対応付けられ得る。この対応関係を利用し、プロセッサ２１は、入力画像に対して視覚状態が悪い箇所を隠すような加工（換言すれば、見づらくする加工）を、画像処理によって行い、シミュレーション画像を生成する。
【0039】
第１実施形態では、例えば、入力画像における各領域のうち、視覚状態の程度がより悪い領域ほど（ここでは、網膜視感度が低い領域ほど）、画像処理によって、より見づらくされる。このとき、入力画像の各領域は、視覚状態の程度に応じて３段階以上で区分けされてもよいし、視覚状態の程度が比較的良い領域と、悪い領域との２段階で区分けされてもよい。
【0040】
シミュレーション画像を生成するための画像処理（視覚状態が悪い箇所を隠すような加工）は、例えば、インペインティング（修復処理）であってもよいし、内挿処理であってもよいし、ぼかし処理であってもよいし、塗りつぶし処理であってもよい。
【0041】
例えば、インペインティングおよび内挿処理では、入力画像のうち、視覚状態の程度が悪い箇所を劣化領域として、劣化領域の情報を、その周辺領域の情報に基づいて補間する。このとき、劣化領域は、入力画像の情報を持たない画素によって形成されてもよい。但し、必ずしも、劣化領域は、入力画像の情報を持たない画素のみで形成される必要は無く、入力画像の情報を残したままの画素が一部存在してもよい。入力画像の情報を残したままの画素の数は、視覚状態に応じて設定されてもよく、視覚状態が悪いほど低減されてもよい。なお、例えば、劣化領域に対してディザリングを行うことで、入力画像の情報を残したままの画素を、劣化領域内に設けることができる。また、この場合、入力画像の情報を持たない画素を対象として、インペインティング又は内挿処理が行われる。
【0042】
インペインティングおよび内挿処理は、それぞれ、種々のアルゴリズムが知られており、適宜、いずれかのアルゴリズムを適用可能である。例えば、インペインティングのアルゴリズムは、例えば、Fast Marching Methodを基にしたアルゴリズム（非特許文献２参照）であってもよいし、偏微分方程式（例えば、ナビエ・ストークス方程式）を利用したアルゴリズム（非特許文献３参照）であってもよいし、機械学習を用いたアルゴリズム（非特許文献４参照）であってもよい。また、内挿処理には、多項式補間、スプライン補間、線形補間、キュービック補間など各種補間手法のうちいずれかを用いても良い。
【文献】Telea, Alexandru. “An image inpainting technique based on the fast marching method.” Journal of graphics tools 9.1 (2004): 23-34.
【文献】Bertalmio, Marcelo, Andrea L. Bertozzi, and Guillermo Sapiro. “Navier-stokes, fluid dynamics, and image and video inpainting.” In Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on, vol. 1, pp. I-355. IEEE, 2001.
【文献】Liu et al. “Image Inpainting for Irregular Holes Using Partial Convolutions.” arXiv: 1804.07723
【0043】
ぼかし処理では、視覚状態が悪い箇所を強くぼかし、良い箇所を弱くぼかしてもよい。ぼかし処理には、平均値フィルタ、ガウシアンフィルタ、メディアンフィルタを用いても良い。また、塗りつぶしの場合、前述の劣化領域（より詳細には、その中でも、入力画像の情報を持たない各画素）を、所定の色（例えば、グレー）で塗りつぶしても良い。又は、画像全体、もしくは一部の平均的な色で塗りつぶしてもよい。更には、視覚状態に応じて、各領域を異なる色で塗りつぶしもよい。例えば、視覚状態が比較的良い領域は、明るい色、視覚状態が比較的悪い領域は、暗い色、でそれぞれ塗りつぶしても良い。
【0044】
入力画像の画角は、推定情報と対応する視野と、形状および大きさが略一致していることが好ましい。図３に示すように、推定情報と対応する視野が円形で、入力画像が矩形である場合、入力画像内には、対応する推定情報が無い領域が存在する場合があり得る。この場合、対応する推定情報が無い領域は、劣化領域と同様に、前述のインペインティング、および、塗りつぶし処理のうちいずれかの画像処理が行われても良い。又は、外挿処理が行われても良い。
【0045】
＜出力・呈示ステップ＞
次に、ＰＣ２０は、推定情報に応じたシミュレーション画像を、患者眼へ呈示するために出力する。第１実施形態において、シミュレーション画像は、患者端末３０へ出力される。これに伴い、患者端末３０が、シミュレーション画像を患者眼へ呈示する。結果、シミュレーション画像を通じて、将来の視覚状態を、患者が直感的に把握し得る。結果、視野の障害への治療に対する動機付けを、患者に対して効果的に与えることができる。つまり、患者のアドヒアランスが向上することが期待される。
次に、ＰＣ２０は、推定情報に応じたシミュレーション画像を、患者眼へ呈示するために出力する。第１実施形態において、シミュレーション画像は、患者端末３０へ出力される。これに伴い、患者端末３０が、シミュレーション画像を患者眼へ呈示する。結果、シミュレーション画像を通じて、将来の視覚状態を、患者が直感的に把握し得る。結果、視野の障害への治療に対する動機付けを、患者に対して効果的に与えることができる。つまり、患者のアドヒアランスが向上することが期待される。
【0046】
＜左右の患者眼に対して、個別にシミュレーション画像を出力・呈示＞
第１実施形態では、画像処理ステップにおいて、左右それぞれの患者眼に対するシミュレーション画像が得られている。ＰＣ２０は、左右それぞれの患者眼に対するシミュレーション画像を、左右それぞれの患者眼に対して個別に呈示するために出力してもよい。つまり、左眼用のシミュレーション画像は左眼に、右眼用のシミュレーション画像は右眼に、それぞれ呈示されるように、ＰＣ２０は、シミュレーション画像を出力してもよい。更には、シミュレーション画像と共に、端末装置３０における呈示態様を指示するための情報が、ＰＣ２０から出力されてもよい。一例として、第１実施形態では、左眼用のシミュレーション画像と、右眼用のシミュレーション画像と、のそれぞれにおける画面３１上の表示位置を指示するための情報が、ＰＣ２０から出力されてもよい。端末装置３０は、指示情報に基づいて、左眼用のシミュレーション画像を、画面３１の左半分へ、右眼用のシミュレーション画像を、画面３１の右半分へ、それぞれ表示してもよい。左眼用のシミュレーション画像と、右眼用のシミュレーション画像とは、同時に呈示されてもよいし、片方ずつ呈示されてもよい。視野の障害において患者が症状を自覚し難い理由の１つとして、両眼視することで、片眼において視野が欠けた領域が、反対眼によって補完されることが挙げられる。上記のように、左眼用のシミュレーション画像と、右眼用のシミュレーション画像とが同時に呈示されることで、補完を考慮した両眼視の状態での見え方を、患者に体験させることができる。また、左右それぞれの患者眼に対するシミュレーション画像を、片方ずつ呈示することで、各眼における将来の見え方を、直感的に、良好に示すことができる。片方ずつ呈示する場合において、患者端末３０は、左右いずれの患者眼に対するシミュレーション画像であるかを識別する指標（例えば、「Ｌ」「Ｒ」等の記号でもよい）を、シミュレーション画像と同時に表示させてもよい。
第１実施形態では、画像処理ステップにおいて、左右それぞれの患者眼に対するシミュレーション画像が得られている。ＰＣ２０は、左右それぞれの患者眼に対するシミュレーション画像を、左右それぞれの患者眼に対して個別に呈示するために出力してもよい。つまり、左眼用のシミュレーション画像は左眼に、右眼用のシミュレーション画像は右眼に、それぞれ呈示されるように、ＰＣ２０は、シミュレーション画像を出力してもよい。更には、シミュレーション画像と共に、端末装置３０における呈示態様を指示するための情報が、ＰＣ２０から出力されてもよい。一例として、第１実施形態では、左眼用のシミュレーション画像と、右眼用のシミュレーション画像と、のそれぞれにおける画面３１上の表示位置を指示するための情報が、ＰＣ２０から出力されてもよい。端末装置３０は、指示情報に基づいて、左眼用のシミュレーション画像を、画面３１の左半分へ、右眼用のシミュレーション画像を、画面３１の右半分へ、それぞれ表示してもよい。左眼用のシミュレーション画像と、右眼用のシミュレーション画像とは、同時に呈示されてもよいし、片方ずつ呈示されてもよい。視野の障害において患者が症状を自覚し難い理由の１つとして、両眼視することで、片眼において視野が欠けた領域が、反対眼によって補完されることが挙げられる。上記のように、左眼用のシミュレーション画像と、右眼用のシミュレーション画像とが同時に呈示されることで、補完を考慮した両眼視の状態での見え方を、患者に体験させることができる。また、左右それぞれの患者眼に対するシミュレーション画像を、片方ずつ呈示することで、各眼における将来の見え方を、直感的に、良好に示すことができる。片方ずつ呈示する場合において、患者端末３０は、左右いずれの患者眼に対するシミュレーション画像であるかを識別する指標（例えば、「Ｌ」「Ｒ」等の記号でもよい）を、シミュレーション画像と同時に表示させてもよい。
【0047】
但し、左右それぞれの患者眼に対するシミュレーション画像を、片方ずつ呈示する場合は、必ずしも片眼のみにシミュレーション画像が呈示される必要はなく、片眼と対応するシミュレーション画像が、両眼に提示されてもよい。つまり、同一のシミュレーション画像が両眼に呈示されてもよい。各眼における将来の見え方を、患者に両眼視で良好に観察させることができる。
【0048】
＜複数の時点に対応する複数のシミュレーション画像を出力・呈示＞
画像処理ステップにおいて、患者眼における将来の複数の時点に対応する複数のシミュレーション画像が得られている場合、ＰＣ２０は、複数のシミュレーション画像を患者端末３０へ出力してもよい。将来の複数の時点に対応する複数のシミュレーション画像は、例えば、患者端末３０によって、時系列に患者眼に呈示されてもよい。シミュレーション画像によって示される見え方が、過去または現在から、未来へ推移するように、シミュレーション画像が時系列に切り替えられつつ、呈示されてもよい。但し、必ずしもこれに限られるものではなく、複数の時点に対応する複数のシミュレーション画像が、患者眼に対して同時に（換言すれば、並列的に）呈示されてもよい。この場合、患者は、複数の時点における見え方を一覧でき、また、比較できる。
画像処理ステップにおいて、患者眼における将来の複数の時点に対応する複数のシミュレーション画像が得られている場合、ＰＣ２０は、複数のシミュレーション画像を患者端末３０へ出力してもよい。将来の複数の時点に対応する複数のシミュレーション画像は、例えば、患者端末３０によって、時系列に患者眼に呈示されてもよい。シミュレーション画像によって示される見え方が、過去または現在から、未来へ推移するように、シミュレーション画像が時系列に切り替えられつつ、呈示されてもよい。但し、必ずしもこれに限られるものではなく、複数の時点に対応する複数のシミュレーション画像が、患者眼に対して同時に（換言すれば、並列的に）呈示されてもよい。この場合、患者は、複数の時点における見え方を一覧でき、また、比較できる。
【0049】
＜障害の進行速度毎に、シミュレーション画像を生成、出力（および、呈示）＞
ＰＣ２０は、将来のある時点における視覚状態を示す推定情報を、障害の進行速度毎にコンピュータが取得してもよく、この場合、更に、画像処理ステップにおいて、将来のある時点における見え方を示すシミュレーション画像を、障害の進行速度毎に生成してもよい。
ＰＣ２０は、将来のある時点における視覚状態を示す推定情報を、障害の進行速度毎にコンピュータが取得してもよく、この場合、更に、画像処理ステップにおいて、将来のある時点における見え方を示すシミュレーション画像を、障害の進行速度毎に生成してもよい。
【0050】
例えば、障害の進行の程度の経時変化は、図４に示すグラフによって示される。図４に示すグラフでは、縦軸がMD(mean deviation)値 [dB]を示しており、横軸が時間を示している。MD値は、視野における平均感度低下を示しており、視野検査によって得られる、視野の障害の程度を示す指標の一種である。図４において、各時点でのMD値に対してフィッティングされる直線（曲線であってもよい）は、MD slopeと呼ばれる。障害の進行速度は、MD slopeの傾き[dB/year]によって記述され得る。例えば、過去の検査点でのMD 値を用いて、過去と将来で進行速度が変わらない場合における、MD slopeを求めることができる。MD slopeに基づいて、ある年齢でのMD値を推定できる。
【0051】
このとき、障害の進行速度は、適切に治療された場合と、されなかった場合と、の間で互いに異なる。適切に治療された場合の進行速度は、より緩やかであり、適切に治療されなかった場合の進行速度は、より早くなる。
【0052】
そこで、第１実施形態では、上記のMD slope（便宜上、第１のMD slopeという）とは異なる第２のMD slopeを想定することで、これまでとは異なる速度で障害が進行するときにおける、将来の各時点での患者眼における視覚状態が、第２のMD slopeによって特定される。ここで、第１のMD slopeにおけるある時点での視覚状態を示す推定情報は、上記推定処理に基づいて求めることができる。また、MD値と視覚状態データが一対一の関係であると仮定されることによって、第２のMD slopeにおけるある時点での視覚状態は、第１のMD slopeにおける別の時点での視覚状態と同じと考えられる。よって、第１のMD slopeと第２のMD slopeとのMD値による対応関係に基づいて、上記推定処理において視覚状態を求める時点を補正することで、第２のMD slopeにおける任意の時点での視覚状態を示す推定情報を、求めることができる。また、求めた推定情報に基づいて、第２のMD slopeにおける任意の時点でのシミュレーション画像を得ることができる。
【0053】
なお、図４において、第２のMD slopeは、第１のMD slopeに対して、より悪い予後を示すものである。第２のMD slopeと第１のMD slopeとの間における傾きの差は、過去の複数の患者眼のMD slopeに基づく、統計的な値であってもよい。この値は、例えば、既定値であってもよいし、機械学習に基づく値であってもよい。
【0054】
第１実施形態では、以上のようにして、将来のある時点における見え方を示すシミュレーション画像が、障害の進行速度毎に生成され、それぞれのシミュレーション画像が、患者眼に呈示される。進行速度が互いに異なる２つシミュレーション画像は、治療が適切に行われる場合と、行われなかった場合と、に対応しているため、それぞれのシミュレーション画像が呈示されることで、患者は、障害の進行速度の違いによる、将来の見え方の違いを、良好に比較できる。その結果、治療に対する動機付けを、より効果的に患者に与えることができる。
【0055】
なお、障害の進行速度が互いに異なる複数のシミュレーション画像は、同時に、患者眼に呈示されてもよいし、交互に切り替えて患者眼に呈示されてもよい。これによって、患者は、障害の進行速度の違いによる、将来の見え方の違いを、良好に比較できる。障害の進行速度が互いに異なる複数のシミュレーション画像が、交互に切り替えて患者眼に呈示される場合は、障害の進行速度がより遅い場合を想定したシミュレーション画像と、障害の進行速度がより遅い場合を想定したシミュレーション画像と、の呈示順序が予め定められていてもよい。また、呈示順序は、検者からの操作入力に応じて変更可能であってもよい。
【0056】
また、障害の進行速度が互いに異なる複数のシミュレーション画像を呈示する際に、併せて、寿命が尽きる前に失明するか否かを示す情報が、患者に対して呈示されてもよい。
【0057】
また、ＰＣ２０は、ユーザインターフェースを介して障害の程度を示す情報を受け付け、その障害の程度によるシミュレーション画像を生成し出力すると共に、その障害の程度に至るまでの期間を求めて出力してもよい。障害の程度を示す情報は、例えば、MD値であってもよいし、初期、中期、後期等の情報であってもよい。例えば、あるMD値を受け付けた場合に、そのMD値での見え方を示すシミュレーション画像と共に、何年後にその見え方に至るかを示す情報を、ＰＣ２０は、例えば、前述のMD slopeに基づいて取得し、表示装置へ出力してもよい。入力された障害の程度に至るまでの期間を示す情報は、例えば、障害の進行速度毎に複数求められてもよい。
【0058】
＜所望の時点におけるシミュレーション画像の表示＞
ＰＣ２０がユーザインターフェースを介してシミュレーション画像によって見え方を示す「時点」に関する情報を受け付け、該時点におけるシミュレーション画像を生成する場合においても、上述のMD slopeは利用され得る。例えば、上述のMD slopeにおける、入力された「時点」と対応するMD値に基づいて、該時点での見え方を示すシミュレーション画像を生成してもよい。これにより、検者又は患者の所望の時点における見え方を確認できる。
ＰＣ２０がユーザインターフェースを介してシミュレーション画像によって見え方を示す「時点」に関する情報を受け付け、該時点におけるシミュレーション画像を生成する場合においても、上述のMD slopeは利用され得る。例えば、上述のMD slopeにおける、入力された「時点」と対応するMD値に基づいて、該時点での見え方を示すシミュレーション画像を生成してもよい。これにより、検者又は患者の所望の時点における見え方を確認できる。
【0059】
また、ＰＣ２０は、障害の進行速度が互いに異なる第１のMD slopeと第２のMD slopeとの時間（例えば、年齢）による対応関係に基づいて、入力された「時点」での、シミュレーション画像を、障害の進行速度毎（例えば、MD slope毎）に生成し、更に出力してもよい。
【0060】
＜正常者の見え方との比較表示＞
ＰＣ２０は、シミュレーション画像と正常者の見え方を示す画像とを、患者眼に対して、同時に、又は、交互に切換えて呈示するために出力してもよい。正常者の見え方を示す画像は、例えば、入力画像であってもよい。シミュレーション画像と正常者の見え方を示す画像とが呈示されることで、患者は、将来の見え方を、より良好に把握できる。
ＰＣ２０は、シミュレーション画像と正常者の見え方を示す画像とを、患者眼に対して、同時に、又は、交互に切換えて呈示するために出力してもよい。正常者の見え方を示す画像は、例えば、入力画像であってもよい。シミュレーション画像と正常者の見え方を示す画像とが呈示されることで、患者は、将来の見え方を、より良好に把握できる。
【0061】
以上、実施形態に基づいて説明したが、本開示は、必ずしも上記実施形態に限定されるものではなく、適宜変形し、実施し得る。
【0062】
＜視覚シミュレーションプログラムの実行主体について＞
例えば、第１実施形態では、ＰＣ２０において、視覚シミュレーションプログラムが実行される場合について説明した。しかし、必ずしもこれに限られるものでは無く、視覚シミュレーションプログラムは、ＰＣ２０以外のコンピュータにおいて実行されてもよい。例えば、検査装置１０、および、患者端末３０のいずれかで実行されてもよいし、図示なきサーバコンピュータにおいて実行されてもよい。
例えば、第１実施形態では、ＰＣ２０において、視覚シミュレーションプログラムが実行される場合について説明した。しかし、必ずしもこれに限られるものでは無く、視覚シミュレーションプログラムは、ＰＣ２０以外のコンピュータにおいて実行されてもよい。例えば、検査装置１０、および、患者端末３０のいずれかで実行されてもよいし、図示なきサーバコンピュータにおいて実行されてもよい。
【0063】
また、第１実施形態では、患者眼の視機能を検査する装置と、推定情報に基づいてシミュレーション画像を得る装置と、シミュレーション画像を患者眼に呈示する装置と、が別体であった。しかし、必ずしもこれに限られるものではなく、上記のいずれか２つまたは全部が一体化されてもよい。例えば、特開2017-217016号公報には、ヘッドマウント型の視野計が開示されている。このようなデバイスで更に、シミュレーション画像を推定情報に基づいて取得し、更にはシミュレーション画像を患者眼に呈示してもよい。
【0064】
＜程度分類ベースで、将来の視覚状態を推定＞
例えば、第１実施形態では、シミュレーション画像は、推定情報に基づいて患者端末２０が画像処理することによって生成されるものとして説明した。但し、シミュレーション画像は、必ずしも画像処理によって得られる必要は無い。例えば、シミュレーション画像は、障害の程度分類に応じて、予め複数用意されていてもよい。
例えば、第１実施形態では、シミュレーション画像は、推定情報に基づいて患者端末２０が画像処理することによって生成されるものとして説明した。但し、シミュレーション画像は、必ずしも画像処理によって得られる必要は無い。例えば、シミュレーション画像は、障害の程度分類に応じて、予め複数用意されていてもよい。
【0065】
例えば、緑内障による程度分類としては、一例として、湖崎分類、Aulhorn 分類Greve 変法、および、Humphery 視野計における視野欠損の程度分類等が知られており、例えば、これらいずれかの分類に応じて、複数のシミュレーション画像が予め用意されていてもよい。
【0066】
＜出力・呈示ステップにおけるシミュレーション画像の出力先について＞
例えば、第１実施形態では、出力・呈示ステップにおいて、シミュレーション画像がＰＣ２０から患者端末３０へ出力される場合について説明した。しかし、必ずしもこれに限られるものではなく、シミュレーション画像は、ＰＣ２０からアクセス可能なメモリ（例えば、非一過性のメモリ２２、および、サーバコンピュータのメモリ等）に出力されてもよい。また、患者端末３０そのものが推定情報に基づいてシミュレーション画像を得る場合、出力・呈示ステップにおけるシミュレーション画像の出力は、モニタまたはプロジェクタを介した患者眼への呈示出力によって実現され得る。
例えば、第１実施形態では、出力・呈示ステップにおいて、シミュレーション画像がＰＣ２０から患者端末３０へ出力される場合について説明した。しかし、必ずしもこれに限られるものではなく、シミュレーション画像は、ＰＣ２０からアクセス可能なメモリ（例えば、非一過性のメモリ２２、および、サーバコンピュータのメモリ等）に出力されてもよい。また、患者端末３０そのものが推定情報に基づいてシミュレーション画像を得る場合、出力・呈示ステップにおけるシミュレーション画像の出力は、モニタまたはプロジェクタを介した患者眼への呈示出力によって実現され得る。
【0067】
＜ヘッドマウントディスプレイによるトラッキング＞
端末装置３０は、患者眼の視線方向を検出し、視線方向に応じて、画面上におけるシミュレーション画像の表示位置を制御してもよい（トラッキング）。これにより、患者眼の視線方向が変化しても、将来における患者眼の視覚状態を、患者が適切に観察できる。
端末装置３０は、患者眼の視線方向を検出し、視線方向に応じて、画面上におけるシミュレーション画像の表示位置を制御してもよい（トラッキング）。これにより、患者眼の視線方向が変化しても、将来における患者眼の視覚状態を、患者が適切に観察できる。
【0068】
＜表示装置（呈示装置）の他の実施例＞
また、例えば、上記実施形態において、シミュレーション画像を患者に呈示するための表示装置は、ヘッドマウントディスプレイ（患者端末３０）であるものとして説明した。但し、必ずしもこれに限られるものではない。表示装置は、例えば、据え置き型のディスプレイであってもよいし、スクリーンに画像を投影するプロジェクタであってもよいし、他の表示装置であってもよい。表示装置として、据え置き型のディスプレイやプロジェクタが利用される場合は、患者だけでなく、その家族、および、検者（例えば、医師）と共に、推定された視覚状態を見ることができ、インフォームドコンセントに有用である。
また、例えば、上記実施形態において、シミュレーション画像を患者に呈示するための表示装置は、ヘッドマウントディスプレイ（患者端末３０）であるものとして説明した。但し、必ずしもこれに限られるものではない。表示装置は、例えば、据え置き型のディスプレイであってもよいし、スクリーンに画像を投影するプロジェクタであってもよいし、他の表示装置であってもよい。表示装置として、据え置き型のディスプレイやプロジェクタが利用される場合は、患者だけでなく、その家族、および、検者（例えば、医師）と共に、推定された視覚状態を見ることができ、インフォームドコンセントに有用である。
【0069】
なお、上記実施形態では、ヘッドマウントディスプレイ（患者端末３０）を表示装置として利用することで、患者眼の左眼と右眼とに、独立に画像を呈示可能であった。しかし、例えば、上記のような据え置き型のディスプレイやプロジェクタが表示装置として利用される場合は、患者眼の両眼に、同一の画像が呈示される。このとき、表示装置には、ある時点における両眼視の状態での見え方を１枚で示すシミュレーション画像が表示されてもよい。両眼視の状態での見え方を１枚で示すシミュレーション画像は、例えば、左右各眼に対する２枚のシミュレーション画像の論理和によるものであってもよい。なお、両眼視の状態での見え方を１枚で示すシミュレーション画像は、表示装置が据え置き型ディスプレイやプロジェクタである場合に限らず、各種表示装置において表示されてもよい。
【0070】
＜前眼部に関する視覚状態の推定結果への適用＞
上記実施形態では、患者眼における視機能として、ある時点における網膜機能が推定され、推定される網膜機能に基づいてシミュレーション画像が生成および呈示される場合について説明した。患者眼における視機能として、ある時点における患者眼の前眼部に関する機能が推定され、推定される前眼部の機能に基づいてシミュレーション画像が生成および呈示されてもよい。また、前眼部と網膜との両方の機能が推定されてもよく、推定される両方の機能を考慮して、シミュレーション画像が生成および呈示されてもよい。前眼部の機能としては、例えば、屈折機能（眼屈折力）が推定されてもよいし、眼軸長値が推定されてもよいし、調節機能（調節力）が推定されてもよいし、透光体における混濁の程度が推定されてもよい。これらの各種機能は、種々の眼科測定装置によって、適宜測定され得る。
上記実施形態では、患者眼における視機能として、ある時点における網膜機能が推定され、推定される網膜機能に基づいてシミュレーション画像が生成および呈示される場合について説明した。患者眼における視機能として、ある時点における患者眼の前眼部に関する機能が推定され、推定される前眼部の機能に基づいてシミュレーション画像が生成および呈示されてもよい。また、前眼部と網膜との両方の機能が推定されてもよく、推定される両方の機能を考慮して、シミュレーション画像が生成および呈示されてもよい。前眼部の機能としては、例えば、屈折機能（眼屈折力）が推定されてもよいし、眼軸長値が推定されてもよいし、調節機能（調節力）が推定されてもよいし、透光体における混濁の程度が推定されてもよい。これらの各種機能は、種々の眼科測定装置によって、適宜測定され得る。
【0071】
例えば、屈折機能が推定される場合、推定される屈折力に応じたＰＳＦ（点像強度分布）を取得し、ＰＳＦと入力画像との画像処理（例えば、コンボリューション積分）によって、推定された屈折力での見え方を示すシミュレーション画像が生成されてもよい。また、点像強度分布（ＰＳＦ）を更にフーリエ変換することによって得られる光学伝達関数（ＯＴＦ）を、入力画像と画像処理（コンボリューション積分）することによって、シミュレーション画像が生成されてもよい。屈折力の推定は、例えば、過去の複数回の検査に基づいて推定される。例えば、過去の検査点のフィッティング直線（または曲線）に基づいて推定されてもよいし、機械学習に基づく値であってもよい。
【0072】
患者眼における視機能を推定するうえで、患者眼に関するその他の測定結果を利用してもよい。更には、脳を含む、眼以外の身体を撮像するMRI, CT, PET, 超音波などあらゆる検査装置の検査結果を利用して、患者眼における視機能を推定しても良い。
【0073】
＜補足：本開示に含まれる実施形態＞
また、本開示の実施形態は、以下の第１の視覚シミュレーション方法、および、視覚シミュレーション方法をコンピュータに実行させる視覚シミュレーションプログラムであり得る。
また、本開示の実施形態は、以下の第１の視覚シミュレーション方法、および、視覚シミュレーション方法をコンピュータに実行させる視覚シミュレーションプログラムであり得る。
【0074】
第１の視覚シミュレーション方法は、患者眼（被検眼）の現在の視覚状態とは異なる視覚状態での見え方を示したシミュレーション画像であって、患者眼の左眼と右眼と間で互いに異なるシミュレーション画像を取得する取得ステップと、患者眼の左眼と右眼とに、独立に画像を呈示可能な表示装置を介して、左眼用のシミュレーション画像を左眼に、右眼用のシミュレーション画像を右眼に、同時に呈示する呈示ステップと、を含む。第１の視覚シミュレーション方法によれば、視覚状態が変化したときの見え方を、左眼と右眼とで個別に想定でき、そのときの両眼視による見え方を、患者（被検者）に体験させることができる。従って、より実際の見え方に近い形で、視覚状態が変化したときの見え方を体験させることができる。
【符号の説明】
【0075】
１０ 眼検査装置
２０ ＰＣ
３０ 患者端末
Ｅ 患者眼
２０ ＰＣ
３０ 患者端末
Ｅ 患者眼
【図1】
【図2】
【図3】
【図4】
