特開 2022-57576 眼底画像処理プログラムおよび眼底撮影装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022057576

(43)【公開日】2022-04-11

(54)【発明の名称】眼底画像処理プログラムおよび眼底撮影装置

(51)【国際特許分類】

   A61B 3/14 20060101AFI20220404BHJP

【ＦＩ】

A61B3/14

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2020165902

(22)【出願日】2020-09-30

(71)【出願人】

【識別番号】000135184

【氏名又は名称】株式会社ニデック

(72)【発明者】

【氏名】熊谷 佳紀

(72)【発明者】

【氏名】柴 涼介

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA09

4C316AB18

4C316FB24

(57)【要約】

【技術課題】眼底形状に起因する歪みが良好に抑制された眼底画像を得ること。
【解決手段】眼底撮影装置１のプロセッサが眼底画像処理プログラムを実行することで、取得ステップ（Ｓ１）、補正ステップ（Ｓ２）、および、合成ステップ（Ｓ３）が、実行される。取得ステップ（Ｓ１）では、互いに異なる撮影位置で撮影光学系１０，２０を介して撮影された２枚以上の眼底画像であって、互いに一部が重複する２枚以上の眼底画像が取得される。補正ステップ（Ｓ２）では、互いに一部が重複する２枚以上の眼底画像の画像情報に基づいて、該２枚以上の眼底画像に含まれる一部または全部の画像の歪みが補正される。合成ステップ（Ｓ３）では、歪みが補正された２枚以上の眼底画像が合成されることでパノラマ眼底画像が生成される。
【選択図】図３

【特許請求の範囲】

【請求項1】

被検眼の眼底を撮影した眼底画像のデータを処理するコンピュータによって実行される眼底画像処理プログラムであって、
前記眼底画像処理プログラムが前記コンピュータのプロセッサによって実行されることで、
互いに異なる撮影位置で撮影光学系を介して撮影された２枚以上の眼底画像であって、互いに一部が重複する２枚以上の眼底画像を取得する取得ステップと、
互いに一部が重複する２枚以上の眼底画像の画像情報に基づいて、該２枚以上の眼底画像に含まれる一部または全部の画像の歪みを補正する補正ステップと、
歪みが補正された２枚以上の眼底画像を合成することでパノラマ眼底画像を生成する合成ステップと、
が前記コンピュータによって実行される眼底画像処理プログラム。

【請求項2】

前記補正ステップは、
互いに一部が重複する２枚以上の眼底画像の間で対応点を複数設定する対応点設定ステップを含み、
該２枚以上の眼底画像に含まれる一部または全部の画像の歪みを設定された前記対応点に基づいて補正する請求項１記載の眼底画像処理プログラム。

【請求項3】

前記補正ステップは、前記撮影光学系の像面湾曲および眼底の湾曲を考慮した制約条件の下で前記複数の対応点間の距離が最小化する座標変換を求めて、前記座標変換を対応点が設定された眼底画像に適用する座標変換ステップを、更にを含み、
前記合成ステップでは、前記座標変換が適用された２枚以上の前記眼底画像を合成することでパノラマ眼底画像を生成する、請求項２記載の眼底画像処理プログラム。

【請求項4】

前記補正ステップでは、歪みが補正される各々の眼底画像について、画像中心部の座標変化量が画像周辺部における座標変化量よりも抑制されること、を前記制約条件として前記座標変換を行う請求項３記載の眼底画像処理プログラム。

【請求項5】

被検眼の眼底を撮影した眼底画像のデータを処理するコンピュータによって実行される眼底画像処理プログラムであって、
前記眼底画像処理プログラムが前記コンピュータのプロセッサによって実行されることで、
互いに異なる撮影位置で撮影光学系を介して撮影された２枚以上の眼底画像であって、互いに一部が重複する２枚以上の眼底画像を取得する取得ステップと、
互いに一部が重複する２枚以上の眼底画像の画像情報に基づいて、該２枚以上の眼底画像に含まれる一部または全部の画像の歪みを補正する補正ステップと、
が前記コンピュータによって実行される眼底画像処理プログラム。

【請求項6】

前記補正ステップは、
互いに一部が重複する２枚以上の眼底画像の間で対応点を複数設定する対応点設定ステップを含み、
該２枚以上の眼底画像に含まれる一部または全部の画像の歪みを設定された前記対応点に基づいて補正する請求項５記載の眼底画像処理プログラム。

【請求項7】

前記補正ステップは、前記撮影光学系の像面湾曲および眼底の湾曲を考慮した制約条件の下で前記複数の対応点間の距離のばらつきを最小化する座標変換を求めて、前記座標変換を対応点が設定された眼底画像に適用する座標変換ステップを、更に含む、請求項６記載の眼底画像処理プログラム。

【請求項8】

前記補正ステップでは、歪みが補正される各々の眼底画像について、画像中心部の座標変化量が画像周辺部における座標変化量よりも抑制されること、を前記制約条件として前記座標変換を行う請求項７記載の眼底画像処理プログラム。

【請求項9】

前記撮影光学系と、
請求項１から８のいずれかに記載の眼底画像処理プログラムを実行する画像処理装置と、を備える眼底撮影装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、被検眼の眼底画像を処理するための眼底画像処理プログラム、および眼底撮影装置に関する。

【背景技術】

【0002】

眼底撮影装置として、無散瞳眼底カメラが広く利用されてきた。無散瞳眼底カメラの多くは４５°程度の画角で眼底画像を撮影する。特許文献１に開示されているように、固視位置が互いに異なる複数の眼底画像をパノラマ合成することで、眼底の広範囲をパノラマ画像によって一枚絵で表現する手法も知られている。

【0003】

一方、近年は、より広角な眼底画像を撮影できる装置が注目されている。例えば、特許文献１には、９０度以上の画角でカラー眼底画像を撮影する眼底撮影装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６－１２３４５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

通常、眼底撮影装置で撮影された眼底画像には歪みが存在している。この歪みは、画像の周辺側ほど大きくなる。また、画角が広角であるほど、周辺側の歪みは、より顕著に現れるようになる。

【0006】

ここで、眼底画像の歪みは、装置の光学系と、眼底形状と、の両方に起因している。このうち、装置の光学系に由来する歪みについては、形状が既知のチャート等を撮影することで、予め補正式を求めることができる。しかしながら、眼球の光学系は個人差があるので、少なくとも眼底形状に起因する歪みを、装置の光学系に由来する歪みと同様の方法で補正することはできない。

【0007】

また、４５°程度の画角で眼底画像をパノラマ合成するうえでは、被検眼の眼底形状に起因する歪みは、特段問題視されていなかった。

【0008】

本開示は、従来技術の問題点に基づいてなされたものであり、眼底形状に起因する歪みが良好に抑制された眼底画像を得ることができる、眼底画像処理プログラムおよび眼底撮影装置を提供することである。

【課題を解決するための手段】

【0009】

本開示の第１態様に係る眼底画像処理プログラムは、被検眼の眼底を撮影した眼底画像のデータを処理するコンピュータによって実行される眼底画像処理プログラムであって、前記眼底画像処理プログラムが前記コンピュータのプロセッサによって実行されることで、互いに異なる撮影位置で撮影光学系を介して撮影された２枚以上の眼底画像であって、互いに一部が重複する２枚以上の眼底画像を取得する取得ステップと、互いに一部が重複する２枚以上の眼底画像の画像情報に基づいて、該２枚以上の眼底画像に含まれる一部または全部の画像の歪みを補正する補正ステップと、歪みが補正された２枚以上の眼底画像を合成することでパノラマ眼底画像を生成する合成ステップと、
が前記コンピュータによって実行される。

【0010】

本開示の第２態様に係る眼底画像処理プログラムは、被検眼の眼底を撮影した眼底画像のデータを処理するコンピュータによって実行される眼底画像処理プログラムであって、前記眼底画像処理プログラムが前記コンピュータのプロセッサによって実行されることで、互いに異なる撮影位置で撮影光学系を介して撮影された２枚以上の眼底画像であって、互いに一部が重複する２枚以上の眼底画像を取得する取得ステップと、互いに一部が重複する２枚以上の眼底画像の画像情報に基づいて、該２枚以上の眼底画像に含まれる一部または全部の画像の歪みを補正する補正ステップと、が前記コンピュータによって実行される。

【0011】

本開示の第３態様に係る眼底撮影装置は、前記撮影光学系と、第１態様または第２態様に係る眼底画像処理プログラムを実行する画像処理装置と、を備える。

【発明の効果】

【0012】

本開示によれば、眼底形状に起因する歪みが良好に抑制された眼底画像を得ることができる。

【図面の簡単な説明】

【0013】

【図1】眼底撮影装置１の概略構成を示す図である。

【図2】撮影光学系２の概略構成を示す図である。

【図3】眼底画像処理の各ステップの処理内容を示した図である。

【発明を実施するための形態】

【0014】

「概要」
まず、本開示の例示的な実施形態である第１実施形態を説明する。

【0015】

第１実施形態では、複数の眼底画像からパノラマ眼底画像を生成する手法について説明する。第１実施形態では、コンピュータによって、被検眼の眼底画像のデータが処理される。第１実施形態に係る眼底画像処理プログラムがコンピュータのプロセッサによって実行されることにより、取得ステップ、補正ステップ、および、合成ステップが実行される。

【0016】

＜取得ステップ＞
取得ステップでは、撮影光学系を介して撮影された２枚以上の眼底画像が取得される。取得される２枚以上の眼底画像は、互いに一部が重複している。２枚以上の眼底画像は、互いに異なる固視位置で撮影することで、互いに一部が重複する２枚以上の眼底画像が撮影されてもよい。各々の眼底画像は、プロセッサによってアクセス可能なメモリに保存される。

【0017】

取得ステップで取得される眼底画像は、眼底の正面画像（２次元画像）であってもよい。但し、必ずしもこれに限られるものではなく、眼底画像は、正面画像（２次元画像）に対して深さ方向の情報が加わった３次元画像（ボリュームデータ）であってもよい。

【0018】

取得される各々の眼底画像は、標準的な眼底カメラの画角である４５°よりも大きな画角で撮影されていてもよい。

【0019】

＜補正ステップ＞
補正ステップでは、互いに一部が重複する２枚以上の眼底画像の画像情報に基づいて、該２枚以上の眼底画像に含まれる一部または全部の画像の歪みが補正される。つまり、本実施形態によれば、眼底画像以外に、装置の光学系の情報、および、眼底形状に関する情報、のいずれについても必ずしも必要としないで、画像の歪みが適切に補正される。すなわち、撮影光学系に由来する像面湾曲だけでなく、眼底の湾曲形状に由来する被検眼毎に異なる歪みの影響も抑制される。

【0020】

補正ステップは、次のような、対応点設定ステップと座標変換ステップとを更に含んでいてもよい。

【0021】

＜対応点設定ステップ＞
対応点設定ステップでは、２枚以上の眼底画像の間で対応点が複数設定される。換言すれば、２枚以上の眼底画像における重複部分に対応点が複数設定される。対応点は、２枚以上の眼底画像の間で共通する特徴の位置に設定されてもよい。眼底画像においては、例えば、血管の分岐等の組織の構造上の特徴に対して対応点が設定されてもよい。

【0022】

ここで、２枚以上の眼底画像の間で複数の対応点を設定する方法は、適宜選択できる。例えば、プロセッサは、２枚以上の眼底画像の１つ（「ターゲット画像」という）の画像領域内から、対応点を求めるための組織上の点（特徴点）を複数検出する。特徴点の検出には、例えば、ｏｐｅｎｃｖのｇｏｏｄ Ｆｅａｔｕｒｅｓ Ｔｏ Ｔｒａｃｋ関数等を利用して、位置合わせに適した点を検出してもよいし、等間隔に設置してもよい。次いで、２枚以上の眼底画像のうち、ターゲット画像以外の画像（「ソース画像」という）の画像領域内から、ターゲット画像の特徴点と対応する対応点を検出する。ソース画像の対応点の検出には、例えば、テンプレートマッチングやブロックマッチング法等を利用できる。

【0023】

＜座標変換ステップ＞
次に、座標変換ステップについて説明する。ここでは、便宜上、座標変換ステップの処理対象となる眼底画像を入力画像と称し、処理結果を出力画像と称する場合がある。

【0024】

座標変換ステップでは、複数の対応点がそれぞれに設定された複数の眼底画像の間で、複数の対応点の位置関係を互いに一致させるような座標変換がプロセッサによって求められる。例えば、第１実施例では、撮影光学系の像面湾曲および眼底の湾曲を考慮した制約条件の下で、２枚以上の入力画像における複数の対応点間の距離が最小化する座標変換（座標変換式）がプロセッサによって求められる。座標変換（座標変換式）は、歪み補正モデルと、平行移動と、の足し合わせによって表現されてもよい（具体例は、実施例を参照されたい）。

【0025】

次に、求めた座標変換が２枚以上の入力画像に適用される。換言すれば、制約条件の下で得られた座標変換式に基づいて、入力画像の各画素に対する変換後の座標が求められる。これにより、入力画像の各画素の画素値を、変換後の座標に対してそれぞれ与えることで、出力画像が得られる。このとき、座標変換が適用されることで、それぞれの入力画像が、変形および移動される。これにより、それぞれの眼底画像において歪みが補正され、更には、位置合わせが行われる。

【0026】

本実施形態において、制約条件は、像面湾曲および眼底の湾曲の実際の程度に関わらず、予め定められていてもよい。ここで、各々の眼底画像の画像中心部は画像周辺部に比べて、眼底の湾曲に起因する歪みが少ないものと考えられる。また、画像中心部は画像周辺部に比べて、撮影光学系の像面湾曲に起因する歪みも少ない。そこで、歪みが補正される各々の眼底画像について、「画像中心部の座標変化量が画像周辺部における座標変化量よりも抑制される」ことが制約条件として用いられてもよい。より好適には、「画像中心部は歪み補正モデルによる座標の変化が無い」ことが制約条件として用いられてもよい。ここでいう画像中心部は、それぞれの眼底画像の画像中心にある、位置、形状、および、大きさが予め定められた領域であってもよい。

【0027】

なお、撮影光学系の光軸に対して視軸を傾けて撮影された眼底画像においては、眼底の湾曲に起因する歪みが最も少なくなる領域が、光軸と視軸との傾斜量に応じて画像中心部から変位すると考えられる。このため、画像中心部における歪みが画像周辺部の歪みに対して十分少ない画角と傾斜角度の範囲において、「画像中心部は歪み補正モデルによる座標の変化が無い」ことが制約条件として用いられてもよい。或いは、制約条件において「歪み補正モデルによる座標の変化が無い」とする画像領域が、画角と傾斜角度とに応じて、画像毎に変更されてもよい。

【0028】

＜合成ステップ＞
合成ステップでは、歪みが補正された２枚以上の眼底画像を合成（結合）することでパノラマ眼底画像が生成される。事前に座標変換ステップが実行されている場合は、それぞれに座標変換が適用された２枚以上の眼底画像が合成される。重複部分については、加算平均、または、加重平均によって各画素の画素値が設定されてもよい。加重平均の場合には、各眼底画像における眼底領域の端に近い領域ほど重み付係数を小さく設定することで、画像のつなぎ目が目立ちにくくなる。合成の結果として、パノラマ眼底画像として、合成の基となった眼底画像よりも広角な画像を得ることができる。合成の基となった眼底画像では画像周辺部においてより大きな歪みが存在したが、補正ステップによって歪みが適切に補正されるため、パノラマ眼底画像における画像同士の継ぎ目において眼底の構造が不連続に接続されてしまうことが、適切に軽減される。すなわち、複数の対応点がそれぞれに設定された複数の眼底画像の間で、複数の対応点の位置関係を互いに一致させるような座標変換が適用されていることで、画像同士の継ぎ目における不連続さが抑制される。また、撮影光学系の像面湾曲および眼底の湾曲を考慮した制約条件の下で、２枚以上の入力画像における複数の対応点間の距離が最小化する座標変換によって、歪みが補正されたため、周辺部の組織を観察しやすいパノラマ眼底画像を得ることができる。

【0029】

＜第２実施形態＞
第１実施形態の補正ステップにおける座標変換は、パノラマ眼底画像を得ることを前提としたものである。眼底画像に含まれる一部または全部の画像の歪みを補正するだけであれば、必ずしも、２枚以上の入力画像における複数の対応点間の距離が「最小化する」座標変換（座標変換式）を求めることは要求されない。眼底画像に含まれる一部または全部の画像の歪みを補正するだけであれば、２枚以上の入力画像における複数の対応点間の距離のばらつきを最小化する座標変換（座標変換式）を求め、求めた座標変換を、座標変換を、対応点が設定された２枚以上の眼底画像のうち一部または全部に適用すれば足りると考えられる。

【0030】

このように、パノラマ眼底画像の生成が必ずしも実施されず、歪み補正が行われる場合においても、第１実施形態の＜＞で示した各説明の一部または全部が適宜援用できる。
＜実施例＞
以下、１つの実施例を説明する。実施形態では、眼底画像を撮影する眼底撮影装置１自身が、撮影した眼底画像を処理する。つまり、本実施例の眼底撮影装置１は、眼底画像を処理するコンピュータとして機能する。従って、眼底撮影装置１は、眼底画像を撮影しつつ、撮影した眼底画像を処理できる。しかし、コンピュータとして機能できるデバイスは、眼底撮影装置１に限定されない。例えば、眼底撮影装置１によって撮影された眼底画像のデータを取得することが可能なパーソナルコンピュータ、サーバ、携帯端末、またはスマートフォン等が、以下説明する眼底画像処理を実行するコンピュータとして機能してもよい。また、複数のデバイスの制御部が、協働して眼底画像処理を実行してもよい。

【0031】

図１および図２を参照して、眼底撮影装置１の概略構成について説明する。図１に示すように、眼底撮影装置１は、光学ユニット１Ａと制御ユニット１Ｂを備える。光学ユニット１Ａには、撮影光学系２（図２参照）が格納されている。制御ユニット１Ｂは、プロセッサ（ＣＰＵ）７０および記憶装置（メモリ）７５を備える。プロセッサ７０は、眼底撮影装置１の制御を司る制御部である。記憶装置７５には、眼底画像処理プログラムが記憶されている。制御ユニット１Ｂには、操作部８５およびモニタ９０が接続されている。操作部８５は、マウスおよびタッチパネル等のポインティングデバイスであってもよいし、その他のユーザインターフェースであってもよい。モニタ９０は、撮影された眼底画像等の各種画像を表示させることができる。制御ユニット１Ｂとして、パーソナルコンピュータ（ＰＣ）等が使用されてもよい。また、光学ユニット１Ａと制御ユニット１Ｂは、同一の筐体に収容されてもよいし、別々の筐体に収容されてもよい。

【0032】

図２を参照して、撮影光学系２について説明する。図２に例示する撮影光学系２は、走査型の光学系である。詳細には、本実施例の撮影光学系２は、二次元スキャンタイプの光学系である。二次元スキャンタイプの光学系では、照明光が眼底上でスポット状に形成されると共に、眼底上で二次元的に走査される。ただし、走査型の光学系として、ラインスキャンタイプ（あるいは、スリットスキャンタイプ）の光学系が採用されてもよい。この場合、照明光が眼底上でライン状またはスリット状に形成されると共に、照明光の光束の断面長手方向と交差する方向に走査される。また、撮影光学系は走査型の光学系でなくてもよい。例えば、撮影光学系は、眼底上の二次元領域に同時に照明光を照射することで、二次元の眼底正面画像を撮影してもよい。撮影光学系２は、照射光学系１０および受光光学系２０を備える。

【0033】

照射光学系１０について説明する。照射光学系１０は、光源１１、ビームスプリッタ１３、レンズ１４、走査部１６、および対物レンズ１７を備える。

【0034】

本実施例の照射光学系１０は、眼底上でポイント状に集光させた照明光を、走査部１６によって走査させる。走査部１６は、互いに異なる２方向に照明光を走査する。説明の便宜上、以下では、ラスタースキャンによって照明光が走査される場合を例示する。この場合、走査部１６は、主走査用の第１の光スキャナ１６Ａと、副走査用の第２の光スキャナ１６Ｂを含む。ただし、走査部１６の構成を変更することも可能である。例えば、走査部は、２自由度のデバイス（例えばＭＥＭＳ等）であってもよい。光スキャナは、ガルバノミラー、ポリゴンミラー、レゾナントスキャナ、ＭＥＭＳ、および音響光学素子（ＡＯＭ）等の少なくともいずれかが適宜選択されてもよい。

【0035】

照射光学系１０は、光源１１が出射した照明光を、被検眼Ｅの眼底Ｅｒへ照射する。照射光学系１０は、複数の波長域の光（波長が互いに異なる複数の照明光）を同時に照射可能であってもよいし、複数の波長域の光を選択的に切り替えて照射可能であってもよい。本実施例の照射光学系１０は、可視光と不可視光（本実施例では赤外光）を切り替えて眼底Ｅｒに照射することが可能である。また、複数の波長域の可視光を同時に眼底Ｅｒに照射することが可能である。

【0036】

ビームスプリッタ１３は、照射光学系１０の光路と受光光学系２０の光路を結合および分離する。ビームスプリッタ１３は、穴あきミラーであってもよいし、他の部材であってもよい。レンズ１４はフォーカシングレンズであり、駆動部（図示せず）によって変位される。レンズ１４が光軸に沿って変位されることで、フォーカス（視度）が調整される。

【0037】

対物レンズ１７は、走査部１６によって走査される照明光（本実施例ではレーザ光）を、被検眼Ｅの眼底Ｅｒに向けて出射する。対物レンズ１７は、射出瞳の位置に旋回点Ｐを形成する。旋回点Ｐでは、走査部１６を経た照明光が旋回される。その結果、照明光が眼底Ｅｒ上で走査される。波長が互いに異なる複数の照明光が同時に出射される場合、複数の照明光は、被検眼Ｅの瞳孔を通過する同一の光路で眼底Ｅｒに照射される。照明光の眼底反射光は、平行光として瞳孔から出射される。

【0038】

受光光学系２０について説明する。本実施例の受光光学系２０は、対物レンズ１７からビームスプリッタ１３までの光路上に配置された各部材を、照射光学系１０と共用する。眼底Ｅｒからの光（例えば、照明光の眼底反射光、または蛍光等）は、照射光学系１０の光路を遡って、ビームスプリッタ１３まで導光される。ビームスプリッタ１３は、眼底Ｅｒからの光を受光光学系２０の独立光路へ導く。

【0039】

受光光学系２０の独立光路には、レンズ２１、ピンホール板２３、および光分離部３０が設けられている。ピンホール板２３は、眼底共役面に配置されており、眼底Ｅｒの集光点あるいは焦点面以外の位置からの光を取り除くと共に、集光点あるいは焦点面からの光を光分離部３０へ導光する。光分離部３０は、眼底Ｅｒからの光を分離させる。本実施例では、光分離部３０によって、眼底Ｅｒからの光が波長選択的に分離される。つまり、光分離部３０は、受光光学系２０の光路を光の波長に応じて分岐させる。図２に示すように、本実施例の光分離部３０は、光分離特性（波長分離特性）が互いに異なる２つのダイクロイックミラー３１，３２を含む複数のダイクロイックミラーを含んでいてもよい。受光光学系２０の光路は、複数のダイクロイックミラーによって、３つ以上の光路に分岐される。分岐された複数の光路の各々には、受光素子２５，２７，２９の１つがそれぞれ配置される。

【0040】

本実施例の光分離部３０は、眼底Ｅｒからの光を波長毎に分離させ、３つの受光素子２５，２７，２９の各々に、互いに異なる波長域の光を受光させる。詳細には、３つの受光素子２５，２７，２９の各々は、青、緑、および赤の３色の光のいずれかを受光する。従って、眼底撮影装置１は、眼底Ｅｒについて、青、緑、および赤の各々の波長の照明光によって撮影された複数（本実施例では３つ）の眼底正面画像を同時に撮影することができる。同時に撮影された複数の眼底正面画像によって、カラー眼底正面画像を生成することも可能である。なお、眼底正面画像とは、照明光の光軸方向から眼底を見た場合の二次元の画像である。

【0041】

また、前述したように、本実施例の照射光学系１０は、可視光と赤外光を切り替えて眼底Ｅｒに照射することが可能である。眼底撮影装置１は、赤外光を眼底Ｅｒに照射し、眼底Ｅｒからの赤外光の反射光を受光素子によって受光することで、眼底Ｅｒの赤外画像（二次元正面画像）を撮影することができる。赤外画像が撮影される間、被検者はまぶしさを感じることが無いので、瞬き等によって赤外画像の品質が低下する可能性は低い。

【0042】

眼底撮影装置１は、更に、固視呈示光学系を有する。本実施例では、照射光学系１０によって、固視呈示光学系が兼用される。固視光学系は、被検眼に対して固視標を呈示する。より詳細には、光照射部１１により照射される可視光が、固視標として利用される。この場合、光出射部１０において可視光を、所定の走査位置で点灯させ、その他の走査位置では消灯させることによって、被検眼の固視を誘導してもよい。光スキャナ１６Ａ，１６Ｂの位置を制御することによって、固視標の呈示位置を変更できる。

【0043】

図３を参照して、眼底撮影装置１が実行する眼底画像処理について説明する。前述したように、眼底撮影装置１は、コンピュータの一例である。従って、図３に例示する眼底画像処理を実行するデバイスは、眼底撮影装置１に限定されない。以下説明する眼底画像処理が、眼底撮影装置１とは異なるデバイスによって実行される場合、画像の「撮影・取得」の処理は、眼底撮影装置１によって撮影された画像のデータを取得する処理に読み替えられる。本実施例の眼底画像処理では、撮影光学系２によって撮影された複数枚の眼底画像が合成されることで、パノラマ眼底画像が生成される。

【0044】

ここでは、説明の簡略化のため、パノラマ眼底画像を構成するうえでの眼底画像の枚数は、最小である２枚である場合について説明する。但し、必ずしもこれに限られるものでは無く、３枚以上の眼底画像に基づいてパノラマ眼底画像を生成してもよい。

【0045】

図３に示すように、眼底画像処理が開始されると、眼底撮影装置１のプロセッサ７０は、同一の被検眼の眼底を撮影対象として、眼底上の複数の撮影位置で眼底画像を撮影し、画像データを取得する（Ｓ１）。これにより、互いに異なる撮影位置で撮影された複数枚の眼底画像が取得される。

【0046】

例えば、被検眼に呈示される固視標の位置が変更されることで、撮影位置が変更される。ここでは、左右方向に異なる２つの撮影位置で撮影が行われることで、２枚の眼底画像（５Ａ，５Ｂ）が取得されるものとする。このとき、２枚の眼底画像５Ａ，５Ｂの撮影位置は、互いの画像の一部が重複するように設定される。また、本実施例では、一例として、眼底画像５Ａは、撮影光学系の光軸と視軸とが一致した状態で撮影された画像（つまり、中心窩が画像の略中心部に位置する画像）とし、眼底画像５Ｂを、眼底画像５Ａに対して左右方向に変位した位置で撮影された画像とする。但し、必ずしもこれに限られるものではない。なお、以下の説明では、説明の簡略化のため、特段の断りが無い限り、２枚の撮影画像５Ａ，５Ｂを撮影するうえで上下方向に関する撮影位置のズレは考慮しない（生じていない）ものとする。

【0047】

次いで、プロセッサ７０は、補正処理を実行する（Ｓ２）。補正処理（Ｓ２）では、２枚の眼底画像５Ａ，５Ｂのうち、互いに一部が重複する複数の眼底画像の画像情報に基づいて、該複数の眼底画像の歪みが補正される。また、本実施例の補正処理（Ｓ２）による処理結果として、互いに一部が重複する２枚の眼底画像５Ａ，５Ｂの歪みがそれぞれ補正されるだけでなく、位置合わせが行われる。但し、必ずしもこれに限られるものではなく、歪みの補正と、位置合わせとは、個別の処理によって段階的に実行されてもよい。

【0048】

以下、補正処理（Ｓ２）の詳細について説明する。本実施例では、左右方向に異なる２つの撮影位置で撮影された２枚の眼底画像５Ａ，５Ｂの画像情報に基づいて、それぞれの画像の歪みであって、左右方向の歪み成分が、補正処理（Ｓ２）によって補正される。

【0049】

まず、プロセッサ７０は、２枚の眼底画像５Ａ，５Ｂの対応点６ａ，６ｂを複数設定する。ここでは、眼底画像５Ａがターゲット画像として、眼底画像５Ｂがソース画像として、それぞれ扱われるものとする。まず、プロセッサ７０は、ターゲット画像である眼底画像５Ａの画像領域内から、対応点を求めるための組織上の点（特徴点）を複数検出する。一例として、特徴点の検出には、公知のｏｐｅｎｃｖのｇｏｏｄ Ｆｅａｔｕｒｅｓ Ｔｏ Ｔｒａｃｋ関数等が利用される。その結果、眼底画像５Ａの画像領域の全域に、略均等となるように複数の特徴点が検出される。詳細には、本実施例では、単位面積中の特徴点の数が所定範囲内の数となるように、複数の特徴点が配置される。

【0050】

次に、プロセッサ７０は、ソース画像である眼底正面画像５Ｂの画像領域内から、ターゲット画像である眼底画像５Ａの特徴点と対応する対応点６ｂを検出する。対応点６ｂの検出には、例えばテンプレートマッチングまたはブロックマッチング法等を利用できる。眼底画像５Ａに設定される複数の特徴点のうち、眼底画像５Ｂに対応点６ｂが存在する一部が、眼底画像５Ａにおける対応点６ａとして扱われる。

【0051】

次に、２枚の眼底画像５Ａ，５Ｂの対応点間の距離（つまり、互いに同一の特徴に設定される対応点６ａ，６ｂの距離）が最小化する座標変換式が求められる。本実施例において、座標変換式は、歪み補正モデルを示す式と、平行移動を示す式と、の足し合わせによって表現される。本実施例における歪み補正モデルを示す式は、歪曲補正の式が用いられる。点ｉについての座標変換式を、［数１］として示す。

【0052】

【数1】

【0053】

数１において、”x_ai(1+k_a1r_ai ²+k_a2r_ai ⁴+ k_a3r_ai ⁶)”が、歪み補正モデルを表す。また、x_shift_aが、平行移動を表す。なお、ｘ_ａｉは、眼底画像５Ａの点ｉのｘ座標であり、ｘ_ａｉ´は、変換後の眼底画像５Ａ´における点ｉのｘ座標であり、ｒ_ａｉは、眼底画像５Ａにおける点ｉの原点からの距離である。なお、ここでの原点は、画像中心である。眼底画像５Ｂの座標変換式についても、［数１］と同様の形式で表すことができる。

【0054】

上記の座標変換式の係数を、本実施例では、最小二乗法を用いて解く。対応点間の距離を最小化することは、［数２］として数式化できる。［数２］の係数が導出されることで、２枚の眼底画像５Ａ，５Ｂの対応点間の距離が最小化される座標変換式を得ることができる。

【0055】

【数2】

【0056】

但し、単に、対応点間の距離を最小化するだけでは、２枚の眼底画像５Ａ，５Ｂを、実際の歪みに対して不適切に変形して位置合わせするような場合もあり得る。そこで、本実施例では、以下の制約条件に基づく制約付き最小二乗法を解くことで、係数が導出される。
・制約条件１：任意の１画像は平行移動による座標の変化がない。
・制約条件２：画像中心部は歪み補正モデルによる座標の変化が無い。

【0057】

＜制約条件１について＞
制約条件１は、複数の画像を位置合わせする際に、適当な画像を基準として定める必要があることから導かれる。本実施例では、眼底画像５Ａの座標変換から平行移動を除外することで、眼底画像５Ａにおける原点が、変換後の画像の原点として固定される。

【0058】

＜制約条件２について＞
撮影光学系の光軸付近では、撮影光学系の像面湾曲と眼底面の光軸方向に関する変位とのそれぞれが、被検眼の形状の個体差、および、撮影光学系の光軸と視軸との角度等に関わらず、ほとんど無いと考えられる。本実施例のように、撮影光学系の光軸と視軸との位置関係を変えることで撮影位置を変更する場合には、それぞれの眼底画像５Ａ，５Ｂの画像中心部が、それぞれの画像において最も歪みの少ない領域となることから、制約条件２が導かれる。

【0059】

制約条件１，２は、例えば、以下のような式で表すことができる。制約条件１に基づいて、［数３］が導かれる。また、制約条件２によれば、それぞれの眼底画像５Ａ，５Ｂにおける中心付近（ｘ＝０．１）では歪み補正で座標が動かないことから、［数４］，［数５］がそれぞれ導かれる。

【0060】

【数3】

【0061】

【数4】

【0062】

【数5】

【0063】

［数２］～［数５］を解くことで求められる座標変換式が、それぞれの眼底画像５Ａ，５Ｂの各画素に適用されることで、変換後の各画素の座標を求めることができる。これにより、入力画像（変換前の眼底画像５Ａ，５Ｂ）の各画素の画素値を、変換後の座標に対してそれぞれ与えることで、出力画像が得られる。ここで、出力画像の中で画素値が与えられなかった画素については、周辺画素の補間により画素値を求めることができる。。

【0064】

画像の歪みは、２枚の眼底画像５Ａ，５Ｂの撮影位置を結ぶ方向である左右方向（ｘ方向）だけでなく、左右方向と垂直である上下方向（ｙ方向）にも生じている。ｙ方向に関しても同様の方法で変換式を求めることができるが、本実施例のように撮影位置が左右方向に異なる画像のみを扱う場合、上下方向の歪みを適切に補正するのは困難である。そこで、例えば、一方の眼底画像（好ましくは、撮影光学系の光軸と視軸とが一致した状態で撮影された眼底画像５Ａ；中心窩が画像の略中心部に位置する画像）においては、ｘ方向の歪みとｙ方向の歪みが同等であると仮定して、眼底画像５Ａ，５Ｂのｙ座標毎のｙ方向に関する座標変換を求めてもよい。

【0065】

本実施例では、このようにして、眼底画像５Ａ，５Ｂにおける各画素が、制約条件の下で得られた座標変換式に基づいて、移動される。

【0066】

詳細には、歪み補正モデルの式に基づいて、それぞれの眼底画像５Ａ，５Ｂにおける歪みが補正される。上記のように、画像中心部は歪み補正モデルによる座標の変化が無いとの条件（条件１）の下で、眼底画像５Ａ，５Ｂの対応点間の距離を最小化するように変形されることで、各々の画像中心部から離れるほど増大する歪みが適切に抑制される。このとき、変換後の眼底画像５Ａ，５Ｂは、変換前の眼底画像５Ａ，５Ｂに対して、画像周辺部が画像中心部と比べて引き延ばされる。このようにして、本実施例では、装置の光学系の情報、および、眼底形状に関する情報、のいずれについても必ずしも必要としないで、眼底画像５Ａ，５Ｂにおける歪みを適切に補正できる。すなわち、撮影光学系１０，２０に由来する像面湾曲だけでなく、眼底の湾曲形状に由来する被検眼毎に異なる歪みの影響も抑制される。更には、平行移動の式に基づいて位置合わせが行われる。

【0067】

以上のようにして補正処理が行われた後、眼底画像５Ａ，５Ｂが結合される（Ｓ３）。これにより、２枚の眼底画像５Ａ，５Ｂに基づくパノラマ眼底画像が得られる。合成の基となった眼底画像５Ａ，５Ｂでは画像周辺部においてより大きな歪みが存在したが、補正ステップ（Ｓ２）によって歪みが適切に補正されているため、パノラマ眼底画像における画像同士の継ぎ目の不自然さが適切に軽減される。また、合成の基となった変換後の眼底画像５Ａ，５Ｂは各々の変換前に対して歪みの大きな画像周辺部が引き延ばされているため、周辺部の組織を観察しやすいパノラマ眼底画像を得ることができる。

【0068】

＜変形例＞
上記実施例で開示された技術は一例に過ぎない。従って、上記実施例で例示された技術を変更することも可能である。

【0069】

例えば、上記実施例では、２枚の眼底画像５Ａ，５Ｂに基づいて歪み補正が行われ、更には、パノラマ眼底画像が生成される場合について説明した。但し、必ずしもこれに限られるものでは無く、例えば、３枚以上の眼底画像に基づいて歪み補正が行われてもよく、更には、パノラマ眼底画像が生成されてもよい。

【0070】

例えば、上記実施例で示した２枚の眼底画像５Ａ，５Ｂに加えて、少なくとも第３の眼底画像５Ｃが用いられてもよい。第３の眼底画像５Ｃは、２枚の眼底画像５Ａ，５Ｂとは、ｙ方向に関して異なる撮影位置で撮影された眼底画像であり、２枚の眼底画像５Ａ，５Ｂの少なくともいずれかと一部が重複する画像であってもよい。

【0071】

入力画像として、３枚の眼底画像５Ａ，５Ｂ，５Ｃが存在する場合には３枚の画像の座標変換を同時に解いてもよい。すなわち、上記実施例で示した眼底画像５Ａ，５Ｂの対応点間の距離の最小化に加え、眼底画像５Ａ，５Ｃの対応点間の距離の最小化を満たす各画像の座標変換の係数を求める。ここで、上記実施例で示した制約条件に加え、眼底画像５Ｃにおいても中心付近の歪みが無いとの制約条件の下で、各画像の座標変換の係数を求める。これをｘ方向，ｙ方向それぞれに対し行うことで、５Ａ，５Ｂ，５Ｃの歪みの補正、および、位置合わせに用いられる、座標変換式を求めることができる。

【0072】

本手法では、ｙ方向に関する歪みの補正が、２枚の眼底画像５Ａ，５Ｂとは、ｙ方向に関して異なる撮影位置で撮影された第３の眼底画像５Ｃの画像情報を用いた座標変換に基づいて実施されるため、被検眼の実際の形状に即して、適正に歪みが補正されやすくなる。

【符号の説明】

【0073】

１ 眼底撮影装置

【図1】

【図2】

【図3】