IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特開2024-162916情報処理装置、画像処理方法、およびプログラム
<>
  • 特開-情報処理装置、画像処理方法、およびプログラム 図1
  • 特開-情報処理装置、画像処理方法、およびプログラム 図2
  • 特開-情報処理装置、画像処理方法、およびプログラム 図3
  • 特開-情報処理装置、画像処理方法、およびプログラム 図4
  • 特開-情報処理装置、画像処理方法、およびプログラム 図5
  • 特開-情報処理装置、画像処理方法、およびプログラム 図6
  • 特開-情報処理装置、画像処理方法、およびプログラム 図7
  • 特開-情報処理装置、画像処理方法、およびプログラム 図8
  • 特開-情報処理装置、画像処理方法、およびプログラム 図9
  • 特開-情報処理装置、画像処理方法、およびプログラム 図10
  • 特開-情報処理装置、画像処理方法、およびプログラム 図11
  • 特開-情報処理装置、画像処理方法、およびプログラム 図12
  • 特開-情報処理装置、画像処理方法、およびプログラム 図13
  • 特開-情報処理装置、画像処理方法、およびプログラム 図14
  • 特開-情報処理装置、画像処理方法、およびプログラム 図15
  • 特開-情報処理装置、画像処理方法、およびプログラム 図16
  • 特開-情報処理装置、画像処理方法、およびプログラム 図17
  • 特開-情報処理装置、画像処理方法、およびプログラム 図18
  • 特開-情報処理装置、画像処理方法、およびプログラム 図19
  • 特開-情報処理装置、画像処理方法、およびプログラム 図20
  • 特開-情報処理装置、画像処理方法、およびプログラム 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162916
(43)【公開日】2024-11-21
(54)【発明の名称】情報処理装置、画像処理方法、およびプログラム
(51)【国際特許分類】
   A61B 3/10 20060101AFI20241114BHJP
【FI】
A61B3/10 100
【審査請求】未請求
【請求項の数】19
【出願形態】OL
(21)【出願番号】P 2023078905
(22)【出願日】2023-05-11
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】和田 悦朗
(72)【発明者】
【氏名】岩瀬 好彦
(72)【発明者】
【氏名】酒向 司
【テーマコード(参考)】
4C316
【Fターム(参考)】
4C316AA09
4C316AB02
4C316FB13
4C316FB21
(57)【要約】
【課題】 鼻側の領域の層厚の対称性と、耳側の領域の層厚の対称性と、を適切に評価できる方法を提供する。
【解決手段】 本開示の情報処理装置は、
眼底画像における黄斑に関する第1の特徴部を通り耳側に位置する第1の直線と、前記第1の特徴部と前記眼底画像における乳頭に関する第2の特徴部とを通り鼻側に位置する第2の直線とのなす角が180度に近づくように、前記眼底画像における第1の領域及び前記第1の領域より大きい第2の領域であって、前記第1の直線と前記第2の直線とにより規定される前記第1の領域及び前記第2の領域を変形する変形手段を備える。
【選択図】 図1
【特許請求の範囲】
【請求項1】
眼底画像における黄斑に関する第1の特徴部を通り耳側に位置する第1の直線と、前記第1の特徴部と前記眼底画像における乳頭に関する第2の特徴部とを通り鼻側に位置する第2の直線とのなす角が180度に近づくように、前記眼底画像における第1の領域及び前記第1の領域より大きい第2の領域であって、前記第1の直線と前記第2の直線とにより規定される前記第1の領域及び前記第2の領域を変形する変形手段を備える情報処理装置。
【請求項2】
前記変形手段は、前記第1の直線と前記第2の直線とのなす角が180度に近づくように、前記第1の特徴部を支点として前記第2の直線を回転することにより、前記第1の領域及び前記第2の領域を変形する請求項1記載の情報処理装置。
【請求項3】
前記変形手段は、前記第1の直線と前記第2の直線とのなす角が180度に近づくように、前記第1の領域を拡大し、かつ、前記第2の領域を縮小することにより、前記第1の領域及び前記第2の領域を変形する請求項1記載の情報処理装置。
【請求項4】
前記変形手段は、
前記第1の領域において、前記第1の特徴部を通り前記第1の領域に位置する第3の直線より耳側の領域を変形せず前記第3の直線より鼻側の領域を変形し、前記第2の領域において、前記第1の特徴部を通り前記第2の領域に位置する第4の直線より耳側の領域を変形せず前記第4の直線より鼻側の領域を変形する請求項1記載の情報処理装置。
【請求項5】
前記変形手段は、
前記第1の領域において、前記第1の特徴部を通り前記第1の領域に位置する第3の直線より鼻側の領域を変形せず前記第3の直線より耳側の領域を変形し、前記第2の領域において、前記第1の特徴部を通り前記第2の領域に位置する第4の直線より鼻側の領域を変形せず前記第4の直線より耳側の領域を変形する請求項1記載の情報処理装置。
【請求項6】
前記変形手段によって変形して得た眼底画像において、複数の評価領域を規定するグリッドと前記評価領域における評価指標とが重畳された第2の眼底画像を生成する画像生成手段をさらに備える請求項1記載の情報処理装置。
【請求項7】
前記変形手段は、前記第2の眼底画像における前記第1の直線と前記第2の直線とのなす角が、前記眼底画像の前記第1の直線と前記第2の直線とのなす角に近づくように前記第2の眼底画像を逆変形する請求項6記載の情報処理装置。
【請求項8】
前記評価指標は、前記評価領域に含まれる眼底の厚み情報の平均値、中央値、標準偏差、分散、の少なくとも1つである請求項6記載の情報処理装置。
【請求項9】
前記画像生成手段は、
前記第1の直線に対して対称関係にある評価領域の前記評価指標の差分情報と、
前記第2の直線に対して対称関係にある評価領域の前記評価指標の差分情報と、がさらに重畳された第3の眼底画像を生成する請求項6記載の情報処理装置。
【請求項10】
前記眼底画像は、厚みマップである請求項1記載の情報処理装置。
【請求項11】
前記第1の特徴部と前記第2の特徴部との少なくとも1つは、操作者からの指示により指定される、又は、前記眼底画像の解析結果に基づいて指定される請求項1記載の情報処理装置。
【請求項12】
被検者の右眼または左眼の一方の眼底画像において、前記第1の特徴部と前記第2の特徴部との少なくとも1つが操作者からの指示により指定された場合、前記指定された情報を用いて、前記被検者の他方の眼底画像において、前記第1の特徴部と前記第2の特徴部との少なくとも1つを指定する請求項1記載の情報処理装置。
【請求項13】
前記眼底画像と前記変形手段により変形して得た眼底画像と、の少なくとも1つを表示するように表示部を制御する表示制御部をさらに備える請求項1記載の情報処理装置。
【請求項14】
前記表示制御部は、前記変形手段により変形して得た右眼の眼底画像と前記変形手段により変形して得た左眼の眼底画像と並べて表示するように表示部を制御する請求項13記載の情報処理装置。
【請求項15】
前記表示制御部は、異なる時間に被検眼を撮影して得た複数の眼底画像と前記複数の眼底画像を前記変形手段により変形して得た複数の眼底画像とを並べて表示するように表示部を制御する請求項13記載の情報処理装置。
【請求項16】
前記変形手段は、前記表示部に表示された眼底画像のうち、いずれか1つの眼底画像において、前記第1の特徴部と前記第2の特徴部との少なくとも1つが操作者からの指示により指定された場合、前記指定された情報を用いて、他の眼底画像において、前記第1の特徴部と前記第2の特徴部との少なくとも1つを指定する請求項14又は15記載の情報処理装置。
【請求項17】
眼底画像における黄斑に関する第1の特徴部を通り耳側に位置する第1の直線と、前記第1の特徴部と前記眼底画像における乳頭に関する第2の特徴部とを通り鼻側に位置する第2の直線とのなす角が180度に近づくように、前記眼底画像における第1の領域及び前記第1の領域より大きい第2の領域であって、前記第1の直線と前記第2の直線とにより規定される前記第1の領域及び前記第2の領域を変形する変形方法。
【請求項18】
請求項17に記載の変形方法をコンピュータに実行させるプログラム。
【請求項19】
前記眼底画像を撮影する撮影装置と、
前記撮影装置と通信可能に接続された、請求項1乃至16のいずれか1項に記載の情報処理装置と、
を備える情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【0002】
眼科装置として、眼底の断層画像を取得するOCT(Optical Coherence Tomography)装置が広く普及している。医師は、断層画像から得られる網膜の厚さ(層厚)を評価することにより、緑内障などの眼科疾患の有無を診断する。
【0003】
ここで、特許文献1には、黄斑部と乳頭部とを通る直線に対する層厚の対称性を評価する方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2022-38751号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、網膜の厚さ(層厚)は、黄斑部から鼻側の領域においては、黄斑部と乳頭部とを通る直線に対して対称性を有するが、黄斑部から耳側の領域においては、黄斑部と乳頭部とを通る直線に対して対称性を有しない場合がある。すなわち、対称性の基準となる直線が異なるため、例えば、鼻側の領域においては層厚の対称性を適切に評価できるが、耳側の領域においては層厚の対称性を適切に評価できない可能性がある。
【0006】
そこで、本開示の目的は、鼻側の領域の層厚の対称性と、耳側の領域の層厚の対称性と、を適切に評価できる方法を提供することである。
【課題を解決するための手段】
【0007】
本開示の情報処理装置は、
眼底画像における黄斑に関する第1の特徴部を通り耳側に位置する第1の直線と、前記第1の特徴部と前記眼底画像における乳頭に関する第2の特徴部とを通り鼻側に位置する第2の直線とのなす角が180度に近づくように、前記眼底画像における第1の領域及び前記第1の領域より大きい第2の領域であって、前記第1の直線と前記第2の直線とにより規定される前記第1の領域及び前記第2の領域を変形する変形手段を備える。
【発明の効果】
【0008】
本開示によれば、鼻側の領域の層厚の対称性と、耳側の領域の層厚の対称性と、を適切に評価できる。
【図面の簡単な説明】
【0009】
図1】情報処理装置100のブロック図である。
図2】制御部102の動作を示すフローチャートである。
図3】眼底画像の特徴を示す図である。
図4】眼底画像の特徴を示す図である。
図5】眼底画像の変形方法を示す図である。
図6】眼底画像の変形方法を示す図である。
図7】眼底画像の変形方法を示す図である。
図8】グリッドを示す図である。
図9】第2の実施形態に係る眼底画像の変形方法を示す図である。
図10】第2の実施形態に係る眼底画像の変形方法を示す図である。
図11】第2の実施形態に係る眼底画像の変形方法を示す図である。
図12】眼底画像の変形方法を示す図である。
図13】グリッドを重畳した眼底画像を示す図である。
図14】第3の実施形態に係るグリッドを重畳した眼底画像を示す図である。
図15】第4の実施形態に係る眼底画像の特徴を示す図である。
図16】第3の実施形態に係る制御部102の動作を示すフローチャートである。
図17】モニタ1700に表示するGUIを示す図である。
図18】モニタ1700に表示するGUIを示す図である。
図19】厚みマップ1900を示す図である。
図20】眼底画像の変形方法を示す図である。
図21】眼底画像の変形方法を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本開示を実施するための例示的な実施の形態を詳細に説明する。図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。また、各図面において説明上重要ではない構成要素、部材、処理の一部は省略して表示する場合がある。
【0011】
また、本明細書において、眼底画像とは、OCT装置、眼底カメラ、走査型レーザ検眼鏡(SLO)など各撮影技術(モダリティ)で取得される眼底に関する画像であるとして記載している。例えば、眼底画像には、断層画像、厚みマップ、EnFace画像、Projection画像を含む。さらに、本明細書において、眼底の深さ方向をZ方向とする。また、Z方向に垂直な平面をXY平面とする。
【0012】
本開示の実施の形態について説明する。
【0013】
図1は、本実施形態における情報処理装置100のブロック図である。情報処理装置100は、入力部101と、制御部102と、表示制御部103と、操作部104と、記憶部105と、を含んで構成される。情報処理装置100は、例えば、コンピュータやタブレット端末(可搬型の情報端末)である。情報処理装置100は、OCT装置などの眼科装置と別体である必要はない。例えば、OCT装置などの眼科装置が含まれる情報処理システムに組み込まれていても良い。
【0014】
入力部101は、例えば、USB(Universal Serial Bus、登録商標)に対応したコネクタである。入力部101には、OCT装置などの眼科装置からデータが入力される。入力部101と眼科装置とは、例えば、ケーブルで接続される。ここで、眼科装置から入力されるデータには、眼底画像を含む。また、眼科装置から入力されるデータには、被検者に関するデータ(識別番号、眼軸長、年齢、視力、人種、病歴、および強度近視の該非等)やカルテの画像を含んでいてもよい。カルテの画像が含まれる場合は、カルテの画像からテキストマイニング技術などを用いて被検者に関するデータを抽出してもよい。ここで、入力部101には、眼科装置の他、サーバ等の外部装置からデータが入力されてもよい。また、入力部101と外部装置とはケーブルで直接接続されてもよいし、ネットワークを介して接続されてもよい。また、入力部101と外部装置とは、有線による接続に限らず、無線による接続であってもよい。入力部101と外部装置とが通信可能であれば、その通信方式は問わない。
【0015】
眼科装置から入力されたデータは、制御部102へ出力される。
【0016】
制御部102は、例えば、CPU(Central Processing Unit)である。制御部102は、入力部101から入力されたデータに対して画像処理を行う。画像処理には、眼底画像の変形処理を含む。制御部102は、記憶部105に格納されているプログラムに従って実行される。ここで、制御部102は、CPUの他、MPU(Micro Processing Unit)、GPU(Graphical Processing Unit)やFPGA(Field-Programmable Gate Array)でもよい。
【0017】
表示制御部103は、例えば、ディスプレイ等の表示部を制御する。表示制御部103は、例えば、CPUに備えられた機能の1つである。表示制御部103は、制御部102から入力されたデータを表示するように表示部を制御する。表示部に表示するデータは、例えば、被検者に関するデータ、各種画像、眼科疾患に関する推定結果等である。
【0018】
操作部104は、例えば、マウスやキーボードである。操作部104は、検者により操作される。検者による操作情報は、制御部102へ入力される。
【0019】
記憶部105は、例えば、不揮発メモリである。記憶部105には、制御部102を実行するためのプログラムが格納されている。また、記憶部105には、オペレーティングシステム(OS)、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。また、記憶部105には、各種演算に必要なデータが保存されている。
【0020】
[眼底画像の特徴について]
初めに、図3(a0)及び図3(c0)を用いて一般的な眼底画像の特徴を説明する。図3(a0)は右眼の眼底画像300の模式図を示している。眼底画像300には、黄斑部301、乳頭部302、血管303が含まれる。ここで、右眼の眼底画像300の場合は、眼底画像300の右方が鼻側であり、眼底画像300の左方が耳側である。また、眼底画像300の上方が頭部側であり、眼底画像300の下方が脚側である。図3(c0)は左眼の眼底画像300の模式図を示している。眼底画像300には、右眼と同様に、黄斑部301、乳頭部302、血管303が含まれる。ここで、左眼の眼底画像300の場合は、右眼とは異なり、眼底画像300の右方が耳側であり、眼底画像300の左方が鼻側である。また、右眼と同様に、眼底画像300の上方が頭部側であり、眼底画像300の下方が脚側である。本明細書では、耳側とは、右眼の眼底画像における左方、及び左眼の眼底画像における右方であるとして記載する。また、鼻側とは、右眼の眼底画像における右方、及び左眼の眼底画像における左方であるとして記載する。
【0021】
眼科装置を用いた撮影において、検者は、黄斑部301が眼底画像の中心に位置するように固視灯の位置を設定する。そして、検者は、被検眼が固視灯を正視した状態であることを確認した後、撮影する。このように撮影された眼底画像では、右眼の場合は、図3(a0)の眼底画像300で示されるように、黄斑部301が眼底画像300の略中心に位置し、かつ、乳頭部302が黄斑部301より鼻側上方に位置することが一般的である。
【0022】
続いて、図3及び図4を用いて一般的な網膜層の特徴を説明する。ここで、網膜層とは、網膜神経線維層、神経節細胞層、内網状層などを指す。
【0023】
図3(a1)の眼底画像300(a1)には、黄斑部301から鼻側及び耳側に伸ばした直線304を記載している。直線304は、眼底画像300(a1)に対して略水平に伸ばしている。また、直線304は、黄斑部301から耳側へ伸ばした直線を実線で記載している。また、直線304は、黄斑部301から鼻側へ伸ばした直線を破線で記載している。また、図4(a2)の眼底画像300(a2)には、黄斑部301を通り直線304と直交する直線401を記載している。ここで、直線304と直線401により分けられた4つの領域のうち、耳側上方の領域403の網膜層の厚み(層厚)と耳側下方の領域404の層厚とは、直線304に対して対称性の傾向があることが知られている。
【0024】
図3(b1)の眼底画像300(b1)には、黄斑部301と乳頭部302とを結ぶ直線305を記載している。直線305は、黄斑部301から鼻側へ伸ばした直線を実線で記載している。また直線305は、黄斑部301から耳側へ伸ばした直線を破線で記載している。また、図4(b2)の眼底画像300(b2)には、黄斑部301を通り直線305と直交する直線402を記載している。ここで、直線305と直線402により分けられた4つの領域のうち、鼻側上方の領域405の網膜層の厚み(層厚)と鼻側下方の領域406の層厚とは、直線305に対して対称性の傾向があることが知られている。
【0025】
従来、対称性の評価方法として、黄斑部301と乳頭部302とを結ぶ直線305が略水平となるよう眼底画像300を幾何学変形(例えば、拡大、縮小、回転、平行移動、アフィン変換)し、その幾何学変形された眼底画像を用いて、層厚の対称性を評価する方法が知られている。しかしながら、幾何学変形された眼底画像では、鼻側上方の領域405の層厚と鼻側下方の領域406の層厚との対称性は適切に評価できるが、耳側上方の領域403の層厚と耳側下方の領域404の層厚との対称性は、直線304が略水平とならないため、適切に評価できないといった課題がある。
【0026】
本実施形態では、鼻側上方の領域405の層厚と鼻側下方の領域406の層厚との対称性と、耳側上方の領域403の層厚と耳側下方の領域404の層厚との対称性と、を適切に評価できるようにするための変形方法について説明する。
【0027】
[第1の実施形態]
本実施形態では、主に右眼の眼底画像を用いて説明するが、左眼の眼底画像に関しても当てはまるものである。
【0028】
図2のフローチャートに、第1の実施形態に係る制御部102の動作を示す。
【0029】
[ステップS1:画像入力]
ステップS1では、入力部101から制御部102へ、OCT装置で取得された眼底の断層画像が入力される。ここで、断層画像とは、複数のBスキャン位置で撮影されたものを含む。ステップS1の動作により、制御部102は被検眼の眼底に関する3次元データを取得することができる。ここで、Aスキャンとは、被検眼の一点から断層の情報を取得することを指す。また、Aスキャンを任意の横断方向(主走査方向)において複数回行うことで被検眼Eの当該横断方向と深さ方向の二次元の断層の情報を取得することをBスキャンという。本実施形態では、同一の被検者に対して、右眼と左眼の両方の断層画像を入力する。右眼と左眼で眼軸長に差がある場合は、これを補正する処理を行ってもよい。
【0030】
[ステップS2:画像処理]
ステップS2では、制御部102は入力部101から入力された断層画像を画像処理する。ステップS2は、ステップS21(厚みマップ生成)、ステップS22(厚みマップ変形)、ステップS23(画像解析)、の各処理で構成される。
【0031】
[ステップS21:厚みマップ生成]
ステップS21では、制御部102は、ステップS1で入力された断層画像を用いて厚みマップを生成する。厚みマップとは、被検眼の深さ方向(Z方向)に垂直なXY平面における、任意の座標(XY座標)に対して、網膜内の解剖学的に定められる観察対象層の厚み(層厚)を輝度値等で表したマップ(マップ画像)である。観察対象層の一例は、神経繊維層(NFL)、神経節細胞層(GCL)、内網状層(IPL)の3層であり、これらの層厚を積算することで厚みマップを生成することができる。また、神経線維層(NFL)のみの層厚から厚みマップを生成してもよいし、任意の層を選択し、選択した層の層厚に基づいて厚みマップを生成してもよい。任意の層を選択する方法としては、断層画像上に手動で線を引くことで各層の境界を指定してもよいし、セグメンテーション処理により得られる各層の境界から選択してもよい。セグメンテーション処理とは、断層画像の各層を分割する処理である。具体的には、被検眼の断層画像から層構造を抽出し、各層を分割し、各層の厚みを算出する。なお、セグメンテーション処理の手法及び厚みの算出方法は、公知の任意の手法を用いてよい。
【0032】
厚みマップにおいて、任意の座標(XY座標)の層厚は、疑似カラーで表示されてもよい。あるいは、厚みマップにおいて、任意の座標(XY座標)の層厚は、グレースケールの輝度値で表示されてもよい。あるいは、疑似カラーで表示された厚みマップと、グレースケールの輝度値で表示された厚みマップとを並べて表示してもよい。あるいは、疑似カラーで表示された厚みマップと、グレースケールの輝度値で表示された厚みマップとを切り替えられるように表示してもよい。図19図3の眼底画像300に対応する厚みマップ1900の一例である。厚みマップ1900では、層厚はグレースケールの輝度値で表示されている。図19では、色が薄い(輝度値が高い)ほど、層厚が薄いことが示されている。
【0033】
ここで、制御部102は、入力された断層画像に対して縮小処理やトリミング処理を行ってから厚みマップを生成しても良い。この方法によれば、処理負荷を低減する効果が期待できる。
【0034】
次に、制御部102は、生成した厚みマップに対して補正処理を行う。補正処理の例を、以下で説明する。補正処理の一例は、厚みマップにおいて、診断に用いることができない領域の輝度値を補正する処理(エラー補正処理)である。たとえば、層のセグメンテーション処理でエラーが生じた場合、その位置の厚みは特異的な値となり、厚みマップにおいて白飛びあるいは黒つぶれとして表示される。制御部102は、特異的な値を有する領域を診断に用いることができない領域として判断する。そして、診断に用いることができない領域の輝度値を、周辺の平均的な値に置換する処理を行う。あるいは、制御部102は、診断に用いることができない領域を厚みマップから除去してもよい。また、制御部102は、乳頭部内など、診断に不要と考えられる領域の輝度値を同様に置換あるいは除去してもよい。
【0035】
また、入力部101から入力された画像データの画質が低く、診断に用いることができないと判断された場合、制御部102は、再撮影を促すメッセージを表示制御部103へ表示させることができる。この判断は検者が目視で判断してもよい。あるいは、画像の明るさやセグメンテーションの成功率などに基づいたルールベースによって判断してもよい。あるいは、機械学習を用いた方法によって判断してもよい。
【0036】
また、厚みマップを生成する際に、被検眼の眼軸長データに基づいて、層厚の値を補正することもできる。ここで、被検眼の眼軸長データは、ステップS1において取得されてもよいし、検者から入力されてもよい。正常眼データベースと比べて被検眼の眼軸長が長い場合、網膜が引き伸ばされることで層厚全体が薄くなる影響がある。そのため、制御部102は、眼軸長に応じた層厚の影響を低減するように厚みマップを補正することができる。なお、眼軸長に応じた層厚の補正は公知の任意の手法を用いて行われてよい。このような補正によって、病変により層厚が薄くなっている場合と健常時から層厚が薄くなっている場合とを識別することができる。また、眼軸長が異なるとスキャン角度に対する眼底の撮影範囲が変わるため、制御部102は、厚みマップのスケールを補正する処理を行ってもよい。また、被検者が強度近視である場合は眼軸長が長くなっている傾向がある。そのため、被検者が強度近視である場合には、制御部102は厚みマップについて同様の補正を行ってもよい。なお、被検眼の眼軸長や強度近視の該非に関しては、入力された被検者に関するデータに基づいて判断されてよい。
【0037】
本実施形態では主に厚みマップを用いて説明しているが、厚みマップに限らず、層厚を正常眼データベースと比較した際の差分を用いた差分マップや、OCTAngiography画像を用いて生成された血管密度マップなどを使用してもよい。
【0038】
[ステップS22:厚みマップ変形]
ステップS22では、制御部102は、ステップS21で生成された厚みマップを変形する。本実施形態では、入力部101から入力された断層画像からEnFace画像を生成し、その生成されたEnFace画像を変形することにより、厚みマップを変形する例を説明する。ここで、EnFace画像とは、断層画像を深さ方向(Z方向)に投影することで生成される画像である。一般的に、同一の断層画像からEnFace画像及び厚みマップを生成した場合は、EnFace画像を変形することにより、厚みマップも同様に変形される。なお、厚みマップを変形する制御部102は、変形手段の一例である。
【0039】
具体的な変形方法について図5を用いて説明する。
【0040】
はじめに、眼底画像を分割する。
【0041】
図5の眼底画像300(a3)は、入力部101から入力された断層画像から生成されたEnFace画像とする。眼底画像300(a3)には、図4の眼底画像300(a2)に記載された直線304及び直線401の他、黄斑部301と乳頭部302とを結ぶ直線305を追加している。また、直線401と直線305により分割された領域のうち鼻側上方の領域を領域501とする。また、領域501における直線401と直線305とのなす角をα1とする。また、直線401と直線305により分割された領域のうち鼻側下方の領域を領域502とする。また、領域502における直線401と直線305とのなす角をβ1とする。ここで、黄斑部301、乳頭部302の位置は操作者からの指示により設定されてもよいし、眼底画像を解析することにより自動で設定されてもよい。ここで、直線401及び直線305は、必ずしも黄斑部301それ自体を通る必要はなく、黄斑部301の周辺部を通ってもよい。また、直線305は、必ずしも乳頭部302それ自体を通る必要はなく、乳頭部302の周辺部を通ってもよい。なお、黄斑部301あるいは黄斑部301の周辺部は、黄斑に関する第1の特徴部の一例である。また、乳頭部302あるいは乳頭部302の周辺部は、乳頭に関する第2の特徴部の一例である。また、直線304の実線部は、第1の直線の一例である。また、直線305は、第2の直線の一例である。
【0042】
直線401および直線305に代わる任意の直線を手動で設定してもよいし、角度α1、β1の値を手動で指定できるようにしてもよい。それぞれの指定方法は問わず、眼底画像上で直接指定できるようにしてもよいし、不図示のユーザーインターフェースを用いて座標や数値を入力することで指定してもよいし、設定されている数値の中から選択することで指定してもよい。
【0043】
続いて、眼底画像を変形する。
【0044】
本実施形態では、耳側の領域403、404(図5の点描の領域)は変形せず、鼻側の領域501、502を変形する例を説明する。眼底画像300(a4)は、制御部102が、眼底画像300(a3)を変形した後の画像である。眼底画像300(a4)における領域501b、502bは、制御部102が、領域501、502を変形した後の領域である。本実施形態では、制御部102が、直線304と直線305とのなす角(=90度+α1)が180度に近づくように、領域501を拡大し、領域502を縮小している。言い換えると、制御部102が、直線305が直線304の破線部に近づくように、黄斑部301を支点として直線305を回転することで、変形を行う。変形が行われた直線305は、眼底画像300(a4)における直線305bである。眼底画像300(a4)では、変形の結果、直線304と直線305bとのなす角は、90度+α2となった例を示している。なお、直線304と直線305bとのなす角(90度+α2)は、必ずしも180度となるように変形せずともよい。直線304と直線305とのなす角(=90度+α1)より、直線304と直線305bとのなす角(90度+α2)のほうが180度に近ければ、本開示の効果を発生しうる。
【0045】
この変形により、鼻側上方の領域501は円周方向に引き伸ばされるように変形されて領域501bとなる。すなわち、鼻側上方の領域501は拡大される。また、角度α1は角度α2(>α1)に変形される。一方で、鼻側下方の領域502は円周方向に押し縮められる方向に変形されて領域502bとなる。すなわち、鼻側下方の領域502は縮小される。また、角度β1は角度β2(<β1)に変形される。なお、領域403及び領域501からなる領域は、第1の領域の一例である。第1の領域は、眼底画像において、直線304と直線305とにより規定された領域である。また、領域404及び領域502からなる領域は、第2の領域の一例である。第2の領域も、眼底画像において、直線304と直線305とにより規定された領域である。
【0046】
より具体的な変形方法について図6を用いて説明する。黄斑部301を原点、直線304をx軸、直線401をy軸とした座標系において、直線305とx軸の成す角θ(β1-β2)を求め、角θを基に直線305上の任意の点P1に対応するx軸上の点P2に変形する。点P2の座標を求める方法は問わないが、点P1の回転角をθとして回転座標系の数式を用いることでも点P2の座標を容易に求めることができる。
【0047】
同様に鼻側上方の領域501を領域501bに、鼻側下方の領域502を領域502bに変形する方法を図7を用いて説明する。領域501上の任意の点Q1と黄斑301を結ぶ不図示の直線とy軸の成す角をθ1とすると、点Q1に対応する点Q2の回転角θ2は
θ2=θ1(α2/α1)-θ1=θ1((α2/α1)-1)
で求めることができる。また、領域502上の任意の点R1と黄斑301を結ぶ不図示の直線と直線305の成す角をθ3とすると、点R1に対応する点R2の回転角θ4は
θ4=θ3(β2/β1)+(β1―β2-θ3)=θ3((β2/β1)-1)+(β1-β2)
で求めることができる。
【0048】
以上のように領域501および領域502の各座標に対して同様の変形処理を適用することで、領域501bおよび領域502bに変形することができる。変形後の領域501bおよび領域502bにおいて、直交座標系の任意の点S‘(不図示)に対応する変形元の点S(不図示)が存在しない(値が割り当てられない)場合、隣接する座標のデータをそのまま使用してもよいし、近傍のデータから補間してもよい。また、画像端部など変形元の点が存在せず、近傍から補間することもできない場合、黒抜きや斜線などデータがないことが分かるように表示してもよい。逆に、画像端部において変形後の座標が画像外になる場合、画像サイズを大きくすることで情報落ちしないようにしてもよい。また、ある点S’に対応する変形元の点が複数(点S1、S2)存在する場合、点S‘には点S1、S2のいずれかのデータを使用するか、S1、S2のデータを平均化するなどして使用してもよい。
【0049】
また、本例では点P2、Q2、R2は黄斑部301を中心とした回転座標系を用いて変形する例を説明したが、黄斑部301以外の点を中心として同様の変形処理を適用してもよいし、説明で用いた各直線も黄斑部301を通らない直線に置き換えてもよい。
【0050】
また、回転角度α1、β1は使用せずに、別の変形手法を用いて座標変形してもよい。例えば、直交座標系においてy座標成分のみを用いて変形してもよい。例えば図12の眼底画像300の直線305上の任意の点P1から直線304の破線部に直交する直線1201を伸ばし、直線1201と直線304の交点がP2となるように直線1201上で変形する。同様に領域501上の任意の点Q1および領域502上の任意の点R1についても直線1201上で点Q2および点P2に変形することで、領域501および領域502を変形してもよい。また。本例では直線304と直交する直線1201を用いて説明したが、直線304に対して任意の傾きを持つ直線を1201として使用しても構わない。
【0051】
また、座標変形時に眼軸長や網膜の歪みなどの特性を用いて重み付けを行ってもよい。また、本例では耳側上方の領域403と耳側下方の領域404が黄斑部301から略水平に伸ばした直線304に対して対称である想定で説明したが、撮影時の状況などにより眼底画像全体が回転することがあり、領域403と領域404が直線304に対して対称になるとは限らない。その場合、領域403と領域404の差分が小さくなるような角度を付けた不図示の直線304‘を使用してもよい。このとき、直線304’が略水平になるように眼底画像300全体を回転してから変形処理を行うとよい。
【0052】
また、眼底画像300を複数の眼底画像に分割しても良い。例えば、図20図4の各眼底画像300(a2)および300(b2)の点描部分を切り出した部分画像2000(a)および部分画像2000(b)を示している。このとき、元の眼底画像300の一部領域が両方の部分画像に重複して含まれていても良いし、いずれの部分画像にも含まれていなくても良い。例えば、図21は部分画像2000(a)および部分画像2000(b)を重ねた図を示している。このとき、濃灰の領域2101は両方の部分領域に重複して含まれており、白抜きの領域2102はいずれの部分領域にも含まれていない。ここで、部分画像2000(a)、2000(b)のそれぞれ任意の変形処理を適用し、後段のステップS23(画像解析)を実施しても良い。また、部分画像2000(a)、2000(b)は必ずしも変形する必要はなく、変形処理は行わずに後段のステップを実施しても良い。また、それぞれの部分画像に対して後段のステップS23(画像解析)を実施して複数の解析結果を取得した場合、複数の解析結果をそれぞれ表示しても良いし、複数の解析結果を総合した単一の結果を取得しても良い。
【0053】
また、本例ではEnFace画像やProjection画像を変形することで対応する厚みマップも合わせて変形する例を説明しているが、EnFace画像やProjection画像は変形せずに厚みマップだけを変形してもよい。また、EnFace画像の代わりに、眼底写真やSLOなど別の機器で取得した眼底画像を用いてもよい。この場合、予め変形前の眼底写真やSLOと厚みマップを位置合わせしておき、眼底写真やSLOの変形に合わせて厚みマップにも同様の変形処理を適用するとよい。
【0054】
また、変形する対象は2次元画像に限らず、OCT3次元データを変形してもよい。本実施形態で説明する2次元画像(例えば、EnFace画像、Projection画像、厚みマップ)は、OCTのAスキャン内の情報をZ方向に投影することで生成される画像である。したがって、2次元画像における各XYの座標変換が計算出来れば、OCT3次元におけるAスキャンの座標変換も可能である。AスキャンのXY座標を変更することで、変形したOCT3次元データが構成される。そして、変形したOCT3次元データを用いて、変形した任意の2次元画像(EnFace画像、Projection画像、厚みマップ)を生成することが出来る。
【0055】
[ステップS23:画像解析]
ステップS23では、制御部102は、ステップS22で変形された眼底画像及び厚みマップを用いて眼底画像を解析する。具体的には、制御部102は、眼底画像における複数の評価領域を規定するグリッドと評価指標とを、変形して得た眼底画像300(a4)に重畳する。グリッドの一例として、図8に、右眼用の正方グリッド801および同心円グリッド802を示す。各グリッドに含まれる複数の評価領域(A1、B1等)には、評価指標として、評価領域内の厚みマップの平均値や中央値を割り当てる。ここで、評価領域には便宜上符号を割り当てている。例えば、4行5列の正方グリッド801では上方から順にA、B、C、D行とし、耳側から順に1~5列とし、各評価領域にA1~E5の符号を割り当てている。また、内側・外側それぞれ4分割の同心円グリッド802では内側グリッドをI、外側グリッドをEとし、耳側上方を1、鼻側上方を2、耳側下方を3、鼻側下方を4とし、各評価領域にI1~I4、E1~E4の符号を割り当てている。一方で、左眼用の正方グリッド803および左眼用の同心円グリッド804の符号は右眼用グリッドの符号と左右反転の関係としている。なお、評価領域内の厚みマップの平均値や中央値は、眼底の厚み情報を用いて生成された評価指標の一例である。また、制御部102は、グリッドと評価指標とが重畳された眼底画像を生成する画像生成手段の一例である。なお、評価指標は、厚みマップの標準偏差や分散でもよい。
【0056】
図13に、図5の眼底画像300(a4)に正方グリッド801と同心円グリッド802のそれぞれを重畳した眼底画像1301と眼底画像1302を示す。なお、眼底画像1301及び眼底画像1302は、第2の眼底画像の一例である。ここで、各評価領域の対称性について考える。眼底画像1301の正方グリッド801の場合、A行とD行のそれぞれ同じ列の評価領域に対称性の傾向がある(例えば、A1とD1に対称性の傾向がある)。また、B行とC行のそれぞれ同じ列の評価領域に対称性の傾向がある(例えば、B1とC1に対称性の傾向がある)。眼底画像1302の同心円グリッド802の場合、I1とI3に対称性の傾向がある。また、I2とI4に対称性の傾向がある。また、E1とE3に対称性の傾向がある。また、E2とE4に対称性の傾向がある。したがって、検者は、対称性の対応関係があるグリッド同士を比較することで眼底画像の対称性を評価する。対称性の評価方法については種々の方法が考えられる。例えば、各評価領域の値を平均値で正規化し、対称関係のある評価領域において、上方に位置する評価領域(例えば、A1)の値(厚み)から下方に位置する評価領域(例えば、D1)の値(厚み)を減算することで、上方に位置する評価領域の厚みと下方に位置する評価領域の厚みとの差分情報を算出する方法がある。算出された差分情報をR、基準値をNとすると、R<-N(グループ1)であれば上方が薄く、-N≦R≦N(グループ2)であれば上下差分無し(対称)、N<R(グループ3)であれば下方が薄いと評価できる。さらに、グループ1またはグループ3の評価領域が多い場合は、対称性が崩れていると評価することができる。ここで、対称性の評価方法はこれに限らず、差分の2乗和を利用したり、各グリッドに重み付けをしても構わない。また、基準値Nは手動で設定してもよいし、各評価領域の平均値から自動的に設定してもよい。また、算出された差分情報R、あるいは基準値Nを用いて分類されたグループ1~3の情報は、眼底画像1301あるいは眼底画像1302に対して、さらに重畳されてもよい。なお、これらが重畳された眼底画像1301あるいは眼底画像1302は、第3の眼底画像の一例である。
【0057】
また、本例ではグリッド及び厚みマップを用いて対称性を判定する例を説明したが、正常眼データベースと比較した差分マップや、OCTAngiography画像から求めた血管密度マップなど別の解析値をマップに割り当てることで対称性を解析してもよい。また、変形後の眼底画像を他の眼底画像や正常眼データベースと比較する場合、比較対象の眼底画像や正常眼データベースにもステップS22と同様の変形処理を適用してから比較するとよい。もちろんステップS22で眼底画像を変形する前に差分マップなどを生成してから、ステップS22で差分マップを変形してもよい。
【0058】
[ステップS3:表示]
ステップS3では、制御部102は、ステップS23で生成された眼底画像を表示制御部103へ出力する。ここで、出力する画像は、ステップS23で生成された眼底画像の他、変形して得た眼底画像、厚みマップ、グリッド、解析結果などを任意に合成して生成された画像でもよい。眼底画像がモニタに表示される場合は、変形前の眼底画像及び厚みマップと、変形後の眼底画像及び厚みマップとを並べて表示してもよい。あるいは、変形前の眼底画像及び厚みマップと変形後の眼底画像及び厚みマップとを切り替えて表示してもよい。また、比較または経過観察などのために左右眼の眼底画像や、複数の同一眼を並べて、または切り替えて表示する際に、全ての眼底画像に同様の変形処理を適用して表示するとよい。また、眼底画像は、モニタの他、プリンタなどに出力されてもよい。あるいは、記憶部105や不図示の外部記憶媒体に出力されてもよい。
【0059】
例えば、図17では左右眼の眼底画像をモニタ1700に表示するGUIの例を示している。初めに、右眼の眼底画像1701(a)に対して黄斑部301(a)および乳頭部302(a)を画面上の座標を手動で指定することで変形眼底画像1701(c)が生成されて表示される。同様に左眼の眼底画像1701(b)に対して黄斑部301(b)および乳頭部301(b)を画面上の座標を手動で指定することで変形眼底画像1701(d)が生成されて表示される。また、黄斑部301および乳頭部302を指定する際、不図示の自動選択ボタンを押下することで黄斑部301および乳頭部302を自動的に検出して指定されるようにしてもよい。また、左右眼のいずれか一方の眼底画像に対して操作者からの指示により指定された黄斑部301および乳頭部302の情報を用いて、もう一方の眼底画像の黄斑部301および乳頭部302を自動的に検出して指定されるようにしてもよい。例えば、右眼の眼底画像1701(a)で指定した黄斑部301(a)および乳頭部302(a)の座標を左右反転して左眼の眼底画像1701(b)上に適用することでも黄斑部301(b)および乳頭部302(b)を指定することが可能である。また、変形前の眼底画像1701(a)、1701(b)および変形の眼底画像1701(c)、1701(d)は図17のように並べて表示してもよいし、1枚ごとに切り替えて表示してもよい。また、黄斑部301および乳頭部302の指定方法は上述した方法に限らず、黄斑部301、乳頭部302の代わりに図5で説明した直線305や角度α1、β1など眼底画像を変形するための値を任意に指定できるようにしてもよい。
【0060】
また、変形眼底画像1701(c)および1701(d)にはそれぞれに正方マップ801および803を重畳する。正方グリッド801および803のそれぞれにおいて、上下で対応するA行とD行、および対応するB行とC行を比較することで対称性を評価して結果を表示するとよい。また、正方グリッド801および803において、同一符号のグリッド同士を比較することで左右眼の眼底画像の対称性を評価して結果を表示してもよい。左右眼の眼底画像の対称性の評価方法は、片眼で用いた評価方法と同じ評価方法でもよいし、異なる評価方法でもよい。また、正方グリッド801および803ではなく、同心円グリッド802および804を用いてもよい。
【0061】
また、図18では経過観察のために異なる時間に被検眼を撮影した眼底画像を変形して解析結果をモニタ1700に表示するGUIの例を示している。異なる時間に被検眼を撮影した眼底画像とは、例えば、本日に撮影した眼底画像、1年前に撮影した眼底画像、2年前に撮影した眼底画像、を指す。モニタ1700には眼底画像1801(a)~(d)とそれぞれに対応した変形眼底画像1801(e)~(h)を生成して表示している。表示される各眼底画像は1枚ごとに表示してもよいし、切り替えて表示してもよい。また、眼底画像1801(a)~(d)のいずれかに対して、変形するための値(黄斑部301の位置及び乳頭部302の位置など)を変更した場合、その他の眼底画像にも同様の値を適用することで、全ての眼底画像をまとめて変形してもよい。例えば、1801(a)の眼底画像の黄斑部301の位置及び乳頭部302の位置が操作者により変更された場合、その他の眼底画像(b)~(h)の黄斑部301の位置及び乳頭部302の位置も同じように変更してもよい。このとき、眼底画像(b)~(h)の黄斑部301の位置及び乳頭部302の位置については、画像を画像解析することで得てもよい。例えば、1801(a)の黄斑部301の特徴量に基づいて、眼底画像(b)~(h)に含まれる類似した特徴量を有する位置が各々の眼底画像の黄斑部301であると特定する、といった方法が考えられる。また、それぞれ個別で設定した値に基づいて変形するようにしてもよい。また、経過観察において厚みの差分情報を比較する際、変形前の眼底画像1801(a)~(d)各々の厚みの差分情報を比較した結果を表示してもよいし、変形眼底画像1801(e)~(h)各々の厚みの差分情報を比較した結果を表示してもよい。
【0062】
[第2の実施形態]
第1実施形態では、図5(a3)で示すように直線304、305、401で分けられた領域のうち耳側領域403、404は変形せずに、鼻側領域501、502を変形するケースを説明した。第1実施形態では黄斑部301より耳側が対称であるとの仮定のもと、直線304に直交する直線として直線401を設定していた。しかし、実際の眼底画像では個人差などの影響により必ずしも直線401より耳側で対称となるとは限らない。
【0063】
そのため、本実施形態では第1実施形態の一部を変更することにより課題を解決する。本実施形態に係る情報処理装置は、図1と同様の構成を持つため、同じ参照符号を用いて説明を省略する。また、本実施形態に係る情報処理装置は、図2と同様のフローチャートの処理を行うため、同じ参照符号を用いて説明する。以下、第1実施形態との違いを中心に本実施形態に係る制御部102について説明する。
【0064】
[ステップS22:厚みマップ変形]
ステップS22では入力された眼底画像を変形する。具体的な方法について図9を用いて説明する。図9(a)の眼底画像300の黄斑部301に対して略水平な直線304、黄斑部301と乳頭部302を結ぶ直線305とし、直線304に対して任意の角度γ1、γ2を持つ直線901、902を黄斑部301から延ばし、直線304,305,901,902により分割される領域において、耳側上方を領域403、耳側下方の領域404、鼻側上方の領域501、鼻側下方の領域502とする。ここで、領域501における黄斑部301の角の角度をα1、領域502における黄斑部301の角の角度をβ1とし、領域403、404の合成領域の黄斑部301の角の角度をγ=γ1+γ2とする。このとき、第1実施形態と同様に、眼底画像300の領域403および領域404は変形せずに、直線305を直線304の破線部と一致するように変形することで、領域501および領域502を変形できる。変形後を図9(b)に示す。なお、直線901は、第3の直線の一例である。また、直線902は、第4の直線の一例である。
【0065】
任意の角度γ1、γ2は手動で設定してもよいし、直線304に対する対称性を示す指標が最も高くなるように任意の角度γ1、γ2を自動で設定してもよい。対称性を示す指標は、例えば基準となる直線に対して垂線方向の同一距離における厚みマップの差分から求めるとよい。また、図10で示すように任意の角度γ1、γ2の角度は0でも構わない。また、図11で示すように直線304の代わりに黄斑部301から任意の傾きを持つ直線1101を使用してもよい。直線1101は手動で設定してもよいし、直線1101に対する対称性の指標が最も高くなるように直線1101を自動で設定してもよい。また、直線1101の黄斑部301より耳側を実線、鼻側を破線で示しているが、直線305を直線1101の破線部と一致するように変形することで、領域501および領域502を変形できる。もしくは、直線1101が略水平になる(直線304と一致する)ように眼底画像300全体をあらかじめ回転させてから変形してもよい。
【0066】
また、γ1とγ2の値が異なる場合、γ1=γ2=γ/2になるように直線1101を回転することにより、耳側の領域403、404を変形してもよいし、直線901、902を回転することにより領域403、404、501、502を変形してもよい。直線901、902を回転する場合、鼻側の領域501、502の直線901、902の近傍以外は変形しないようにしてもよいし、耳側の領域403、404は変形せずに鼻側の領域501、502を回転方向に圧縮(縮小)、または引き延ばす(拡大する)ことで変形してもよい。また、耳側の領域403、404および鼻側の領域501、502の一部または全ての領域を回転方向に圧縮(縮小)または引き延ばす(拡大する)ことで変形しても良い。また、必ずしもγ1=γ2である必要はなく、変形前がγ1=γ2であっても変形処理を適用してもよいし、変形後がγ1≠γ2であっても構わない。
【0067】
また、図11で説明した各直線は必ずしも黄斑部301および乳頭部302を通る必要はなく、眼底画像上または座標などにより自由な位置を指定できてよい。また、各直線が成す角の角度も自由に設定できてよい。
【0068】
また、本処理を左右眼の眼底画像に適用する場合、任意の角度γ1、γ2および直線1101は各眼底画像でそれぞれ個別の値を設定してもよいし、左右眼で連動するようにしてもよい。また、別の機器で撮影された眼底画像や経過観察などにおいて複数の眼底画像を表示する場合、1つの眼底画像を対象に任意の角度α1、β1、γ1、γ2および直線305、901、902、1101などを変更した場合、その他の眼底画像も連動して変更してもよい。また、検者が厚みマップの対象とする層を切り替えるなど、表示するマップの種類を変更する場合、任意の角度および直線はマップ変更前と同じ値を保持してもよいし、マップの種類ごとに別の値を保持してもよい。また、任意の眼底画像に対して適用した値を別の眼底画像に対して共通の値を適用して変形してもよい。また、これらの画像を任意に組み合わせて並べたり、切り替えたり、重畳して表示してもよい。
【0069】
[第3の実施形態]
第1、第2実施形態では、変形した眼底画像や厚みマップに、正方グリッド801や同心円グリッド802を重畳する方法を説明した。本実施形態では第1、第2の実施形態の一部を変更することにより、変形前の眼底画像や厚みマップにグリッドを重畳する方法について説明する。
【0070】
本実施形態に係る情報処理装置は、図1と同様の構成を持つため、同じ参照符号を用いて説明を省略する。また、本実施形態に係る情報処理装置は、図2と同様のフローチャートの処理を行うため、同じ参照符号を用いて説明する。以下、第1実施形態との違いを中心に本実施形態に係る制御部102について説明する。
【0071】
図16では図2のステップS23の後にステップS24(厚みマップ逆変形)を追加している。
【0072】
[ステップS24:厚みマップ逆変形]
ステップS24ではステップS22において変形して得た厚みマップを変形前に戻るように逆変形する。このとき、ステップS23で解析した結果も合わせて逆変形する。具体的には、図13で示すグリッドを重畳した眼底画像1301および1302は逆変換により、図14で示す眼底画像1401および眼底画像1402に変形し、重畳しているグリッド801および802はグリッド801bおよび802bに変形する。
【0073】
本実施形態では、説明の都合上、一度変形した眼底画像を逆変形により元の眼底画像に戻す方法を説明したが、眼底画像は変形せず、変形したグリッド801bおよび802bを変形前の眼底画像に直接重畳してもよい。
【0074】
[第4の実施形態]
第1、第2実施形態では、図3で示すように直線304、305を直線と設定し、耳側と鼻側の領域に分割して変形する方法を説明した。しかし、眼底画像は、図15(a)で示すように、直線ではなく曲線1501に対して対称性を有する場合がある。その場合、耳側と鼻側の分割だけでは十分ではない場合がある。
【0075】
そのため、本実施形態では第1、第2実施形態の一部を変更することにより課題を解決する。本実施形態に係る情報処理装置は、図1と同様の構成を持つため、同じ参照符号を用いて説明を省略する。また、本実施形態に係る情報処理装置は、図2と同様のフローチャートの処理を行うため、同じ参照符号を用いて説明する。以下、第1実施形態との違いを中心に本実施形態に係る制御部102について説明する。
【0076】
[ステップS22:厚みマップ変形]
ステップS22では入力された眼底画像を変形する。具体的な方法について図15を用いて説明する。図15では、眼底画像300において、曲線1501を直線1501bになるように変形することで眼底画像300bを生成する例を示している。
【0077】
図15(a)には、曲線1501上の任意の点において曲線1501と直交する補助直線1502を示している。曲線1501を直線1501bに変形した際、補助直線1502は直線1501bに直交する補助直線1502bに変形される。同様に、補助直線1502上の任意の点は直線1502b上に変形することで、血管303は血管303bに変形される。
【0078】
ここで、任意の曲線1501は手動で設定してもよい。あるいは、変形後の直線1501bに対する対称性の指標が最も高くなるように曲線1501を自動で設定してもよい。また、本実施形態では補助直線1502を設定することで、眼底画像を変形する方法を説明したが、眼底画像を図15(a)に示す複数の領域に分割し、それぞれの領域を変形する方法でも構わない。
【0079】
以上、本開示の好ましい実施形態について説明したが、本開示はこれらの実施形態に限定されないことは言うまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
【0080】
(その他の実施形態)
また、開示の技術は、以下の処理を実行することによっても実現される。即ち、開示の技術は、上述した様々な実施形態の1以上の機能を実現するソフトウェア(プログラム)を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理でも実現可能である。コンピュータは、1つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。このとき、プロセッサー又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。
【0081】
本実施形態の開示は、以下の構成、方法及びプログラムを含む。
【0082】
(構成1)
眼底画像における黄斑に関する第1の特徴部を通り耳側に位置する第1の直線と、前記第1の特徴部と前記眼底画像における乳頭に関する第2の特徴部とを通り鼻側に位置する第2の直線とのなす角が180度に近づくように、前記眼底画像における第1の領域及び前記第1の領域より大きい第2の領域であって、前記第1の直線と前記第2の直線とにより規定される前記第1の領域及び前記第2の領域を変形する変形手段を備える情報処理装置。
【0083】
(構成2)
前記変形手段は、前記第1の直線と前記第2の直線とのなす角が180度に近づくように、前記第1の特徴部を支点として前記第2の直線を回転することにより、前記第1の領域及び前記第2の領域を変形する構成1記載の情報処理装置。
【0084】
(構成3)
前記変形手段は、前記第1の直線と前記第2の直線とのなす角が180度に近づくように、前記第1の領域を拡大し、かつ、前記第2の領域を縮小することにより、前記第1の領域及び前記第2の領域を変形する構成1又は2記載の情報処理装置。
【0085】
(構成4)
前記変形手段は、
前記第1の領域において、前記第1の特徴部を通り前記第1の領域に位置する第3の直線より耳側の領域を変形せず前記第3の直線より鼻側の領域を変形し、前記第2の領域において、前記第1の特徴部を通り前記第2の領域に位置する第4の直線より耳側の領域を変形せず前記第4の直線より鼻側の領域を変形する構成1乃至3のいずれかに記載の情報処理装置。
【0086】
(構成5)
前記変形手段は、
前記第1の領域において、前記第1の特徴部を通り前記第1の領域に位置する第3の直線より鼻側の領域を変形せず前記第3の直線より耳側の領域を変形し、前記第2の領域において、前記第1の特徴部を通り前記第2の領域に位置する第4の直線より鼻側の領域を変形せず前記第4の直線より耳側の領域を変形する構成1乃至4のいずれかに記載の情報処理装置。
【0087】
(構成6)
前記変形手段によって変形して得た眼底画像において、複数の評価領域を規定するグリッドと前記評価領域における評価指標とが重畳された第2の眼底画像を生成する画像生成手段をさらに備える構成1乃至5のいずれかに記載の情報処理装置。
【0088】
(構成7)
前記変形手段は、前記第2の眼底画像における前記第1の直線と前記第2の直線とのなす角が、前記眼底画像の前記第1の直線と前記第2の直線とのなす角に近づくように前記第2の眼底画像を逆変形する構成1乃至6のいずれかに記載の情報処理装置。
【0089】
(構成8)
前記評価指標は、前記評価領域に含まれる眼底の厚み情報の平均値、中央値、標準偏差、分散、の少なくとも1つである構成6に記載の情報処理装置。
【0090】
(構成9)
前記画像生成手段は、
前記第1の直線に対して対称関係にある評価領域の前記評価指標の差分情報と、
前記第2の直線に対して対称関係にある評価領域の前記評価指標の差分情報と、がさらに重畳された第3の眼底画像を生成する構成6に記載の情報処理装置。
【0091】
(構成10)
前記眼底画像は、厚みマップである構成1乃至9のいずれかに記載の情報処理装置。
【0092】
(構成11)
前記第1の特徴部と前記第2の特徴部との少なくとも1つは、操作者からの指示により指定される、又は、前記眼底画像の解析結果に基づいて指定される構成1乃至10のいずれかに記載の情報処理装置。
【0093】
(構成12)
被検者の右眼または左眼の一方の眼底画像において、前記第1の特徴部と前記第2の特徴部との少なくとも1つが操作者からの指示により指定された場合、前記指定された情報を用いて、前記被検者の他方の眼底画像において、前記第1の特徴部と前記第2の特徴部との少なくとも1つを指定する構成1乃至11のいずれかに記載の情報処理装置。
【0094】
(構成13)
前記眼底画像と前記変形手段により変形して得た眼底画像と、の少なくとも1つを表示するように表示部を制御する表示制御部をさらに備える構成1乃至12のいずれかに記載の情報処理装置。
【0095】
(構成14)
前記表示制御部は、前記変形手段により変形して得た右眼の眼底画像と前記変形手段により変形して得た左眼の眼底画像と並べて表示するように表示部を制御する構成13記載の情報処理装置。
【0096】
(構成15)
前記表示制御部は、異なる時間に被検眼を撮影して得た複数の眼底画像と前記複数の眼底画像を前記変形手段により変形して得た複数の眼底画像とを並べて表示するように表示部を制御する構成13記載の情報処理装置。
【0097】
(構成16)
前記変形手段は、前記表示部に表示された眼底画像のうち、いずれか1つの眼底画像において、前記第1の特徴部と前記第2の特徴部との少なくとも1つが操作者からの指示により指定された場合、前記指定された情報を用いて、他の眼底画像において、前記第1の特徴部と前記第2の特徴部との少なくとも1つを指定する構成14又は15記載の情報処理装置。
【0098】
(構成17)
前記眼底画像を撮影する撮影装置と、
前記撮影装置と通信可能に接続された、構成1乃至16のいずれか1項に記載の情報処理装置と、
を備える情報処理システム。
【0099】
(方法1)
眼底画像における黄斑に関する第1の特徴部を通り耳側に位置する第1の直線と、前記第1の特徴部と前記眼底画像における乳頭に関する第2の特徴部とを通り鼻側に位置する第2の直線とのなす角が180度に近づくように、前記眼底画像における第1の領域及び前記第1の領域より大きい第2の領域であって、前記第1の直線と前記第2の直線とにより規定される前記第1の領域及び前記第2の領域を変形する変形方法。
【0100】
(プログラム1)
方法1に記載の変形方法をコンピュータに実行させるプログラム。
【符号の説明】
【0101】
101 入力部
102 制御部
103 表示制御部
104 操作部
105 記憶部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21