(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-16
(45)【発行日】2023-06-26
(54)【発明の名称】眼科装置
(51)【国際特許分類】
A61B 3/10 20060101AFI20230619BHJP
A61B 3/14 20060101ALI20230619BHJP
【FI】
A61B3/10 100
A61B3/14
(21)【出願番号】P 2019157609
(22)【出願日】2019-08-30
【審査請求日】2022-08-01
(73)【特許権者】
【識別番号】501299406
【氏名又は名称】株式会社トーメーコーポレーション
(74)【代理人】
【識別番号】110000660
【氏名又は名称】Knowledge Partners弁理士法人
(72)【発明者】
【氏名】原 直子
(72)【発明者】
【氏名】加藤 千比呂
(72)【発明者】
【氏名】岡本 圭一郎
【審査官】小野 健二
(56)【参考文献】
【文献】特開2011-025046(JP,A)
【文献】特開2016-054854(JP,A)
【文献】特開2012-081330(JP,A)
【文献】特開2011-087651(JP,A)
【文献】特開2011-177273(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
(57)【特許請求の範囲】
【請求項1】
カラーカメラによって被検眼の正面を撮影して2次元画像を取得する2次元画像取得部と、
光干渉断層撮影によって前記被検眼の3次元画像を取得する3次元画像取得部と、
前記被検眼の所定の部位が前記3次元画像として撮影された場合の前記3次元画像内での位置と、前記2次元画像として撮影された場合の前記2次元画像内での位置と、を対応づけた対応関係定義データを生成する対応関係定義データ生成部と、
を備え、
前記2次元画像取得部は、
複数の色パッチを有するカラーチャートを白色光源によって照明し、前記カラーカメラによって撮影した画像であるチャート画像を取得し、
前記チャート画像における複数の前記色パッチの階調値と、基準の色空間で複数の前記色パッチの色を表現した場合の階調値とに基づいて、前記2次元画像の階調値を前記基準の色空間の階調値に変換するための校正データを取得し、
前記被検眼を前記白色光源によって照明し、前記カラーカメラによって撮影して前記2次元画像を取得し、
前記校正データに基づいて前記2次元画像の色を補正する、
眼科装置。
【請求項2】
前記校正データは、
前記チャート画像における前記色パッチの階調値を、前記基準の色空間での階調値に変換するn次多項式(nは2以上の整数)における各項の係数である、
請求項
1に記載の眼科装置。
【請求項3】
前記2次元画像取得部は、
前記白色光源によって照明して前記カラーチャートを前記カラーカメラによって撮影した画像から、前記白色光源を消灯して前記カラーチャートを前記カラーカメラによって撮影した画像を除去して前記チャート画像を取得し、
前記白色光源によって照明して前記被検眼を前記カラーカメラによって撮影した画像から、前記白色光源を消灯して前記被検眼を前記カラーカメラによって撮影した画像を除去して前記2次元画像を補正する、
請求項
1または請求項
2に記載の眼科装置。
【請求項4】
前記白色光源の平均演色評価数は、80以上である、
請求項
1~請求項
3のいずれか一項に記載の眼科装置。
【請求項5】
前記対応関係定義データは、
前記3次元画像の3次元座標と前記2次元画像の2次元座標とを対応付けたデータである、
請求項1~請求項
4のいずれか一項に記載の眼科装置。
【請求項6】
前記対応関係定義データは、
前記被検眼と前記カラーカメラとの関係および前記カラーカメラの光学系の特性に基づいて、前記3次元画像の3次元座標を前記2次元画像の2次元座標に変換するデータである、
請求項
5に記載の眼科装置。
【請求項7】
前記被検眼の虹彩についての前記対応関係定義データは、
前記虹彩からの光が角膜によって屈折された光線の光線追跡に基づいて、前記虹彩の3次元座標と2次元座標とを対応付けたデータである、
請求項
5または請求項
6のいずれか一項に記載の眼科装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、眼科装置に関する。
【背景技術】
【0002】
従来、被検眼の断層像に基づいて3次元画像を取得する光干渉断層撮影(OCT)が知られている。光干渉断層撮影によって被検眼の3次元画像を取得するための方式としては、種々の方式が知られている(例えば、特許文献1)。また、特許文献2においては、被検眼の眼軸に対して傾斜した光軸に沿って投受光を行って隅角の全周画像を撮影し、光干渉断層撮影によって隅角の断面情報を取得し、全周画像と断面情報との位置関係を対応づける構成が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2017-469号公報
【文献】特開2019-42304号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1のような光干渉断層撮影によって得られた3次元画像を用いて検査や診断が行われる場合、2次元画像が併用される場合が多い。例えば、3次元画像とともに、カラーの2次元画像を表示させることにより、被検眼の色に基づいて検査や診断が可能になる。しかし、従来の構成においては、3次元画像と2次元画像とを対応づけることが困難であった。例えば、3次元画像で示された特定の部位について色を特定したい場合、従来は、カラーカメラで撮影された2次元画像と、グレースケールで表現された3次元画像とを対比する必要があった。しかし、3次元画像内で着目すべき部位を発見したとしても、当該部位が2次元画像上でどの部位に相当するのか対応づけることが困難である場合があった。この場合、着目すべき部位の色を特定することが困難である。また、2次元画像で示された特定の色の部位について3次元画像で構造を特定したい場合もある。この場合において2次元画像内で着目すべき部位を発見したとしても、当該部位が3次元画像上でどの部位に相当するのか対応づけることが困難である場合があった。この場合、着目した色の部位に対応する3次元構造を特定することが困難である。
【0005】
さらに、特許文献2においては、隅角の全周画像と断面情報との位置関係を対応づけているが、被検眼の任意の部位、例えば、虹彩や被検眼表面の血管等について断面情報と他の画像とを対応づけることは開示されていない。従って、被検眼を正面から見た場合に視認される部位の色を、3次元画像上で特定することはできない。
本発明は、前記課題にかんがみてなされたもので、被検眼の局所的な構造と被検眼の正面に現れている色とを対応づけることを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するため、眼科装置は、カラーカメラによって被検眼の正面を撮影して2次元画像を取得する2次元画像取得部と、光干渉断層撮影によって被検眼の3次元画像を取得する3次元画像取得部と、被検眼の所定の部位が3次元画像として撮影された場合の3次元画像内での位置と、2次元画像として撮影された場合の2次元画像内での位置と、を対応づけた対応関係定義データを生成する対応関係定義データ生成部と、を備える。また、対応関係定義データ生成部に代えて、または対応関係定義データ生成部に加えて、2次元画像が示す色によって着色した3次元画像を表示部に表示させる表示制御部を備える構成も採用可能である。
【0007】
すなわち、3次元画像内での位置と、2次元画像内での位置と、を対応づけた対応関係定義データが得られると、当該対応関係定義データによって、被検眼の3次元構造と2次元画像として撮影された色とを対応づけることができる。この結果、被検眼の局所的な構造とその色とを対応づけることができる。さらに、3次元画像内の局所的な位置を2次元画像の色で着色して表示すれば、検者は、容易に被検眼の局所的な構造と被検眼の正面に現れている色とを対応づけることができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の一実施形態に係る光干渉断層撮影装置1の構成を示す図である。
【
図2】スキャニング-アライメント光学系の構成を説明する模式図である。
【
図4】2次元画像および3次元画像の表示例を示す図である。
【
図5】
図5Aは校正データ生成処理のフローチャート、
図5Bは対応関係定義データ生成処理のフローチャート、
図5Cはキャリブレーション用構造体を示す図である。
【発明を実施するための形態】
【0009】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)眼科装置の構成:
(2)制御部の構成:
(3)校正データ生成処理:
(4)撮影処理:
(4-1)対応関係定義データ生成処理:
(5)他の実施形態:
【0010】
(1)眼科装置の構成:
以下、本発明の一実施例に係る眼科装置である光干渉断層撮影装置1を説明する。
図1は、本発明の一実施形態に係る光干渉断層撮影装置1の構成を示す図である。光干渉断層撮影装置1は、大きく分けてOCT干渉系100とk-clock生成用干渉光学系400と制御部240とを備える。
【0011】
OCT干渉系100は、光干渉断層撮影法により被検眼の前眼部の断層画像を得るための光学系である。本実施例では、SS-OCT(Swept Source-OCT)が採用されており、波長掃引光源10は、時間的に波長を変化させて走査しながら光を出力する光源である。この波長掃引光源10としては、例えば、中心波長1μm以上で掃引幅70nm以上の帯域を有する50KHz以上の高速スキャンが実現可能な性能を有する光源が用いられる。波長掃引光源10から出射される入力光は、単一モードファイバ(Singlemodefiber)などの光ファイバにより導かれ、サンプル20の断層画像撮影に利用されるとともに、k-clockの生成にも利用される。
【0012】
波長掃引光源10とOCT干渉系100およびk-clock生成用干渉光学系400との間には、出射された入力光を分岐させるSMFC(単一モードファイバカプラ)101が設けられている。入力光は、SMFC101によりOCT干渉系100およびk-clock生成用干渉光学系400に向けて分岐される。
【0013】
OCT干渉系100は、SMFC102,103と、測定側サーキュレータ104と、参照側サーキュレータ105と、バランスドディテクタ110と、偏波コントローラ120と、スキャニング-アライメント光学系200と、参照光学系300と、を備えている。SMFC102は、SMFC101により分岐された入力光の一方が入射される装置であり、入射された入力光を分岐し、一方の光をスキャニング-アライメント光学系200側に導き、他方の光を参照光学系300側に導く。
【0014】
すなわち、SMFC102によって分岐された一方の光は、測定側サーキュレータ104を介してスキャニング-アライメント光学系200に入力され、サンプル20の測定を行う測定光となる。SMFC102によって分岐された他方の光は、参照側サーキュレータ105を介して参照光学系300に入力され、参照光となる。
【0015】
サンプル20に入射した光はサンプルで反射され、測定光として測定側サーキュレータ104を介してSMFC103に入力する。参照光学系300に入射した光は、参照部301によって参照光となって参照光学系300から出力され、参照側サーキュレータ105および偏波コントローラ120を介してSMFC103に入力する。
【0016】
測定光と参照光とがSMFC103に入力すると、SMFC103で合成された測定干渉光となる。測定干渉光は、バランスドディテクタ110に入力される。バランスドディテクタ110は、測定干渉光を受光して測定干渉信号を出力する。測定干渉信号は、当該測定干渉信号に基づいてサンプル20の断層画像を演算処理により求める制御部240に入力される。
【0017】
スキャニング-アライメント光学系200は、測定側サーキュレータ104から入力された光をサンプル20に照射するとともに、サンプル20からの反射光をSMFC103に導くための光学系である。スキャニング-アライメント光学系200の詳細については後述する。
【0018】
測定側サーキュレータ104は、SMFC102とスキャニング-アライメント光学系200とSMFC103との間に配置された光学素子である。測定側サーキュレータ104により、SMFC102から導かれた測定光はスキャニング-アライメント光学系200へと導かれ、スキャニング-アライメント光学系200から導かれた反射光はSMFC103へ導かれる。
【0019】
参照光学系300には、入力光を参照光に変換する参照部301と、入力光を参照光学系300に導くと共に参照光をSMFC103に導く参照側サーキュレータ105とが設けられている。本実施例において、参照部301は入射された入力光を参照光として出射するプリズムである。参照部301は、サンプル20を測定する前にスキャニング-アライメント光学系200の光路長と参照光学系300の光路長とを一致させるために移動可能とされている。サンプル20の測定中は、参照部301の位置は固定される。
【0020】
参照側サーキュレータ105は、SMFC102と参照部301とSMFC103との間に配置された光学素子である。SMFC102から導かれた入力光は、参照側サーキュレータ105によって参照部301へ導かれ、参照部301から導かれた参照光は参照側サーキュレータ105によってSMFC103へ導かれる。SMFC103はスキャニング-アライメント光学系200から導かれた反射光と、参照光学系300から導かれた参照光とを合成して測定干渉光を生成する。また、SMFC103は、合成された測定干渉光を180°位相が異なる2つの測定干渉光に分岐させてバランスドディテクタ110に導く。
【0021】
バランスドディテクタ110は、SMFC103にて合成された測定干渉光を受光する光検出器である。スキャニング-アライメント光学系200および参照光学系300と、バランスドディテクタ110と、の間にはSMFC103が配置され、参照光学系300とSMFC103との間には偏波コントローラ120が配置されている。
【0022】
偏波コントローラ120は、参照光学系300からSMFC103に導かれる参照光の偏光を制御する素子である。偏波コントローラ120としては、インライン型やパドル型など、種々の態様のコントローラを用いることができ、特に限定されない。制御部240は、バランスドディテクタ110から出力される測定干渉信号に基づいてサンプル20の断層画像を演算処理により求める装置であり、ここで求められた断層画像はディスプレイ230に表示される。
【0023】
図2は、スキャニング-アライメント光学系200の構成を示している。スキャニング-アライメント光学系は、スキャニング光学系、前眼部撮影系、固視標光学系、アライメント光学系を備える。スキャニング光学系では、SMFC102から出力された光が、測定側サーキュレータ104に入力され、さらに測定側サーキュレータ104からコリメータレンズ201を通ってガルバノスキャナ202に入力される。
【0024】
ガルバノスキャナ202は、入力光を走査させるための装置であり、図示しないガルバノドライバにより駆動される。ガルバノスキャナ202から出力された入力光は、ホットミラー203により90°の角度で反射され、対物レンズ204を通って被検眼Eに入射される。被検眼Eに入射された入力光は、前眼部Ecの各組織部分(角膜、前房、虹彩、水晶体等)にて反射して測定光となり、当該測定光が上記と逆に対物レンズ204、ホットミラー203、ガルバノスキャナ202、コリメータレンズ201を順に通り、測定側サーキュレータ104を介してSMFC103に入力される。
【0025】
そして、SMFC103において前眼部Ecからの反射光と参照光とが合波され、その信号がバランスドディテクタ110に入力される。バランスドディテクタ110においては、波長毎の干渉が計測され、計測された測定干渉信号が制御部240に入力される。制御部240において、測定干渉信号に対する逆フーリエ変換などの処理が行われ、これにより走査線に沿う前眼部Ecの断層画像が取得される。
【0026】
前眼部撮影系は、白色光源205、205、対物レンズ204、ホットミラー203、ビームスプリッタ206、結像レンズ207、エリアセンサ208を備えて構成される。白色光源205、205は、被検眼Eの正面に可視光領域の照明光を照射するようになっており、被検眼Eからの反射光が対物レンズ204、ホットミラー203、ビームスプリッタ206、結像レンズ207を通って、エリアセンサ208に入力される。これにより、被検眼Eの正面画像が撮影され、撮影された2次元画像は、制御部240によって画像処理が行われる。
【0027】
本実施形態において、白色光源205は、白色光を出力する光源である。白色光は、当該白色光が照射された被検眼Eがフルカラーで視認され得るような分光分布であれば良い。なお、被検眼Eの色を正確に再現するため、白色光源205は、演色性が高い光源であることが好ましく、例えば、白色光源の平均演色評価数(Ra)は80以上であることが好ましい。本実施形態において白色光源205の平均演色評価数(Ra)は、95である。
【0028】
また、本実施形態においては、白色光源205の色温度が5500Kであるとして説明するが、色温度は限定されない。本実施形態において、エリアセンサ208から出力される画像データは、2次元的に配置された各画素について、RGB(R:レッド、G:グリーン、B:ブルー)の各色の光の検出強度を示す階調値が指定されたデータである。本実施形態においては、前眼部撮影系がカラーカメラに相当する。
【0029】
固視標光学系は、被検者が固視灯を見つめることにより眼球(被検眼E)を極力動かさないようにさせるための光学系である。本実施形態において、固視標光学系は、固視標光源210、可変焦点用可動式レンズ211、コールドミラー212、ホットミラー213、リレーレンズ214、ビームスプリッタ215、ビームスプリッタ206、ホットミラー203、対物レンズ204から構成されている。これにより、固視標光源210から出力された光は、可変焦点用可動式レンズ211、コールドミラー212、ホットミラー213、リレーレンズ214、ビームスプリッタ215、ビームスプリッタ206、ホットミラー203、対物レンズ204を順に介して、被検眼Eに向けて出力されるようになっている。
【0030】
ここで、可変焦点用可動式レンズ211は、固視標のピントを自在に可変できるように移動可能に構成されている。すなわち、可変焦点用可動式レンズ211を任意の位置に移動させることにより、例えば、被検眼Eの屈折力値の位置に固視標のピントが来るように可変焦点用可動式レンズ211を移動させて、被検者が自然視できるようにした状態(水晶体に負荷がかかっていない状態)にして計測できるようにすることが可能となる。また、水晶体のピント調節機能の研究などで使用する場合には、自然視の状態と自然視よりも固視標のピントが近くに見えるように可変焦点用可動式レンズ211を移動させて調節負荷をかけた状態とを撮影して水晶体の形状比較を行ったり、可変焦点用可動式レンズ211を徐々に移動させて水晶体の形状が変化する様子を動画で撮影したりすることも可能となる。
【0031】
アライメント光学系は、被検眼E(角膜頂点)のXY方向の位置(本体に対する上下左右のずれ)を検出するためのXY方向位置検出系、被検眼E(角膜頂点)の前後方向(Z方向)の位置を検出するためのZ方向位置検出系から構成される。XY方向位置検出系は、XY位置検出光源216、ホットミラー213、リレーレンズ214、ビームスプリッタ215、ビームスプリッタ206、ホットミラー203、対物レンズ204、結像レンズ217、2次元位置センサ218を備えて構成されている。XY位置検出光源216からは、位置検出用のアライメント光が出力され、ホットミラー213、リレーレンズ214、ビームスプリッタ215、ビームスプリッタ206、ホットミラー203、対物レンズ204を介して、被検眼Eの前眼部Ec(角膜)に向けて出射される。
【0032】
このとき、被検眼Eの角膜表面が球面状をなすことにより、アライメント光は、被検眼Eの角膜頂点の内側で輝点像を形成するようにして角膜表面で反射され、その反射光が対物レンズ204から入射されるようになっている。角膜頂点からの反射光(輝点)は、対物レンズ204、ホットミラー203、ビームスプリッタ206、ビームスプリッタ215、結像レンズ217を介して2次元位置センサ218に入力される。2次元位置センサ218によってその輝点の位置が検出されることにより、角膜頂点の位置(X方向およびY方向の位置)が検出されるようになっている。
【0033】
2次元位置センサ218の検出信号は、制御部240に入力される。本実施形態においては、2次元位置センサ218と前眼部撮影系との間でのアライメントがとられている場合における、角膜頂点の所定(正規)の画像取得位置(断層画像取得時に追従させるべき位置)が予め設定されている。角膜頂点の正規の画像取得位置は、例えば撮像素子の撮影画像の中心位置等である。制御部240は、2次元位置センサ218の検出に基づいて、正規の位置と、検出された角膜頂点(輝点)のX方向およびY方向の位置ずれ量を求める。
【0034】
Z方向位置検出系は、Z位置検出光源219、結像レンズ220、ラインセンサ221を備えて構成されている。Z位置検出光源219は、被検眼Eに対して斜め方向から検出用の光(スリット光またはスポット光)を照射し、角膜からの斜め方向の反射光が結像レンズ220を介してラインセンサ221に入射されるようになっている。このとき、被検眼Eの前後方向(Z方向)の位置によって、ラインセンサ221に入射される反射光の入射位置が異なるので、被検眼EのZ方向位置が検出される。
【0035】
ここで、図示しないが、光干渉断層撮影装置1の装置本体は、保持台に対してX方向(左右方向)およびY方向(上下方向)ならびにZ方向(前後方向)に移動可能に支持されており、制御部240によって装置本体が前記保持台に対してX方向、Y方向、Z方向にそれぞれ自在に移動するようになっている。また、装置本体の前面側(被検者側)には、被検者が顎を載せる顎受け部と、額を当てる額当て部が固定的に設けられており、被検者の眼(被検眼E)が装置本体の前面に設けられた検査窓の正面に配置されるようになっている。制御部240は、XY方向位置検出系により検出された角膜頂点(輝点)のX方向およびY方向の位置ずれ量並びにZ方向位置検出系により検出された被検眼Eの位置ずれ量を、すべて0とするように装置本体を保持台に対して移動させる。
【0036】
図1に示すk-clock生成用干渉光学系400は、等間隔周波数にて測定干渉信号のサンプリングを行うために、SMFC101から分岐された入力光からサンプルクロック(k-clock)を光学的に生成する装置である。そして、生成されたk-clock信号は、制御部240に向けて出力される。これにより、測定干渉信号の歪みが抑えられ、分解能が悪化することが防止される。
【0037】
(2)制御部の構成:
本実施形態において、制御部240は、図示しないCPU,RAM,ROM等を備えている。制御部240は、記憶媒体245に記憶されたプログラムを実行し、光干渉断層撮影装置1が備える記憶媒体245に記憶されたデータを利用して各種の演算処理を実行することができる。制御部240は、OCT干渉系100やスキャニング-アライメント光学系200、参照光学系300、k-clock生成用干渉光学系400が備える各制御対象、例えば、アライメントのためのモータやエリアセンサ208等を制御することができる。
【0038】
また、制御部240は、OCT干渉系100やスキャニング-アライメント光学系200等から出力された情報に基づいて演算処理を実行することができる。本実施形態においては、OCT干渉系100から出力された3次元画像およびスキャニング-アライメント光学系200から出力された2次元画像に基づいて、制御部240が処理を行うことで両画像の位置を対応づけることができる。
【0039】
図3は、位置を対応づけるための演算処理に関連する構成を示す図である。制御部240は、図示しないプログラムが実行されることによって、2次元画像取得部240a、3次元画像取得部240b、対応関係定義データ生成部240c、表示制御部240dとして機能する。2次元画像取得部240aは、カラーカメラによって被検眼Eの2次元画像を取得する機能を制御部240に実行させるプログラムモジュールである。
【0040】
すなわち、制御部240は、2次元画像取得部240aの機能により、カラーカメラとして機能する前眼部撮影系(エリアセンサ208等)を制御して、カラーカメラの視野内に存在する被写体の2次元画像を取得することができる。従って、被検者が光干渉断層撮影装置1の顎受け部に顎を載せ、額当て部に額を当て、被検者の眼(被検眼E)が装置本体の前面に設けられた検査窓の正面に配置された状態で2次元画像が取得されると、被検眼Eの2次元画像が取得される。被検眼Eが配置される部分に任意の物、例えば、カラーチャート、ホワイトバランス調整用ターゲット、キャリブレーション構造体(いずれも後述)を撮影すると、これらの物の2次元画像を取得することができる。
【0041】
いずれにしても、2次元画像が取得されると、当該2次元画像を示す2次元画像データ245aが記憶媒体245に記録される。本実施形態において、2次元画像データは、2次元的に配置された各画素について、RGB(R:レッド、G:グリーン、B:ブルー)の各チャネルの光の検出強度を示す階調値が指定されたデータである。本実施形態においては、当該2次元画像の各画素の位置を示す座標を(u,v)と表記する。uは横方向(X方向に平行な方向)の位置、vは縦方向(Y方向に平行な方向)の位置を示す変数である。
【0042】
なお、本実施形態において、2次元画像データ245aが示す階調値は、RGBのそれぞれについて0~255の値を取り得る。本実施形態においては、特定の色が撮影されて2次元画像データ245aが得られた場合に、当該2次元画像データ245aによってディスプレイやプリンターで出力される色は、撮影された特定の色と一致しないことが多い。この意味で、2次元画像データ245aの階調値(後述する校正データ245cによる補正前の階調値)は機器依存色空間で表現された色を示している。
【0043】
本実施形態において制御部240は、表示制御部240dの機能により、撮影した2次元画像をディスプレイ230に表示させる。すなわち、2次元画像データ245aが取得されると、制御部240は、ディスプレイ230を制御し、2次元画像データ245aが示す2次元画像を既定の位置に表示させる。
図4は、2次元画像Ieの表示例を示す図である。
図4においては表現されていないが、2次元画像Ieはカラー画像である。
【0044】
また、本実施形態において、ディスプレイ230に表示される2次元画像Ieは、後述する校正データ245cによって色が校正された状態の画像である。本実施形態において、校正データ245cは、2次元画像の階調値を基準の色空間の階調値に変換するためのデータであり、2次元画像の階調値が示す被写体の色を、機器非依存色空間である基準の色空間で色を表現した場合の階調値に変換するための変換式を示すデータである。制御部240は、校正データ245cに基づいて2次元画像データ245aを補正し、基準の色空間を利用して色を表現したデータとする。制御部240は、補正後のデータによって2次元画像データ245aを更新する。ディスプレイ230においては、基準の色空間を利用して表現された色を指定通りの色で表現するカラーマッチングが既に実施済であるため、ディスプレイ230に表示される色は被検眼Eが検者に視認される色と同等である。
【0045】
3次元画像取得部240bは、光干渉断層撮影によって被検眼Eの3次元画像を取得する機能を制御部240に実行させるプログラムモジュールである。すなわち、制御部240は、3次元画像取得部240bの機能により、OCT干渉系100、スキャニング-アライメント光学系200(ガルバノスキャナ202等)、k-clock生成用干渉光学系400を制御して、測定干渉信号を取得する。制御部240は、測定干渉信号に対する逆フーリエ変換などの処理を行い、走査線に沿う前眼部Ecの断層画像を取得する。
【0046】
制御部240は、ガルバノスキャナ202における走査方向を変更し、複数の切断面について断層画像を取得する。本実施形態においては、被検眼Eの前眼部全域を網羅する複数の切断面について断層画像を取得することで、被検眼Eの3次元画像を取得する構成になっている。ガルバノスキャナ202における走査方向は、種々の方向であってよい。例えば、X方向およびZ方向に平行な方向の切断面をY方向において一定間隔毎に複数個設定することで被検眼Eの前眼部全域を網羅してもよい。また、角膜頂点を通りZ方向に平行な切断面を想定し、角膜頂点を通りZ方向に平行な軸を回転軸として一定角度毎に切断面を回転させることで被検眼Eの前眼部全域を網羅してもよい。
【0047】
複数の断層画像のそれぞれは、切断面の位置毎に被検眼Eの構造に応じた明暗を示している。そこで、制御部240は、複数の断層画像の各位置を光干渉断層撮影における座標系での座標毎に明暗を示す1チャネルの情報を有する3次元画像データ245bとし、記憶媒体245に記録させる。なお、3次元画像データ245bが示す座標は予め定義された座標系で表現されればよく、本実施形態においては、アライメントに利用されるXYZ座標系において3次元画像データ245bが定義される例を想定している。すなわち、3次元画像データ245bは、XYZ座標系内の複数の座標について被検眼Eの構造に応じた階調値が指定されたデータである。本実施形態においては、当該XYZ座標系内の座標を(X,Y,Z)と表記する。
【0048】
本実施形態において制御部240は、表示制御部240dの機能により、撮影した3次元画像をディスプレイ230に表示させる。すなわち、3次元画像データ245bが取得されると、制御部240は、ディスプレイ230を制御し、3次元画像データ245bが示す任意の部分の3次元画像を既定の位置に表示させる。
図4においては、2次元画像Ieの右側に垂直方向の断層画像(Y方向およびZ方向に平行な切断面)Iovが表示される例を示している。また、
図4においては、2次元画像Ieの下側に水平方向の断層画像(X方向およびZ方向に平行な切断面)Iohが表示され、2次元画像Ieの右下側に角膜頂点を通るZ方向に平行な軸に対して任意角度回転させた切断面の断層画像Iorが表示される例を示している。これらの断層画像Iov,Ioh,Iorは、切断面の画像であるため2次元的に表記されているが、3次元画像データ245bの一部を表示しているため、3次元画像の表示であるとも言える。
【0049】
上述のように、3次元画像データ245bは、XYZ座標系内の複数の座標毎に1チャネルの階調値を有するデータである。従って、3次元画像データ245bに基づいて断層画像Iov,Ioh,Iorを表示すると、通常はグレースケールの画像になる。しかし、3次元画像を用いて検査や診断が行われる場合や、3次元画像を用いて義眼を作成する場合、被検眼Eの部位毎の色が人によって視認される色であることが好ましい。
【0050】
そこで、本実施形態においては、光干渉断層撮影によって得られた3次元的な構造の各部位を2次元画像に基づいて着色する構成を有している。当該着色を行うため、本実施形態においては、3次元画像の3次元座標と2次元画像の2次元座標とを対応付ける対応関係定義データを生成する。具体的には、対応関係定義データ生成部240cは、被検眼Eの所定の部位が3次元画像として撮影された場合の3次元画像内での位置と、2次元画像として撮影された場合の2次元画像内での位置と、を対応づけた対応関係定義データを生成する機能を制御部240に実行させるプログラムモジュールである。すなわち、本実施形態においては、制御部240が、対応関係定義データ245dを生成することによって3次元画像の3次元座標と2次元画像の2次元座標とを対応付け、当該対応関係定義データ245dによって3次元画像の着色が行われる。
【0051】
本実施形態において、対応関係定義データ245dは、3次元画像の3次元座標と2次元画像の2次元座標とを対応付けたデータである。すなわち、2次元画像は、2次元画像を構成する画素毎にRGBの各色チャネルについて階調値が定義されており、各画素の位置は2次元座標(u,v)で特定される。従って、2次元画像の各画素を示す2次元座標(u,v)を特定すると、色が特定されたことになる。そこで、3次元画像の任意の3次元座標(X,Y,Z)に対して、当該3次元座標の部分が、2次元画像として撮影された2次元座標(u,v)を対応づけることで、任意の3次元座標(X,Y,Z)が着色されたとみなすことができる。
【0052】
このように、対応関係定義データ245dは、3次元画像の3次元座標と2次元画像の2次元座標とを対応付けたデータであり、本実施形態においては、同一の被検眼Eを撮影した2次元画像データ245aおよび3次元画像データ245bに基づいて生成される。なお、カラーカメラの光学系における歪み等は被検眼E毎に変化しないが、被検眼Eの角膜は被検眼E毎に(被験者毎に)変化する。
【0053】
そこで、本実施形態においては、角膜を透過して撮影される虹彩については被検眼E毎に光線追跡によって対応関係を定義する。一方、虹彩以外の部位(被検眼Eを正面から見た場合に虹彩より外側の部位)については被検眼Eとカラーカメラとの関係およびカラーカメラの光学系の特性に基づいて対応関係を定義する。このような対応関係の定義について、詳細は後述する。いずれにしても、制御部240は、対応関係定義データ生成部240cの機能により、次元画像の3次元座標と2次元画像の2次元座標との対応関係を示す対応関係定義データ245dを生成し、2次元画像データ245aおよび3次元画像データ245bに対応づけて記憶媒体245に記録させる。
【0054】
対応関係定義データ245dが生成されると、当該対応関係定義データ245dは、種々の用途に利用することができる。例えば、2次元画像データ245aおよび3次元画像データ245bと対応関係定義データ245dとをセットにして他の出力装置(例えば、プリンター)で利用すれば、被検眼Eの実際の色に非常に近い色で着色された被検眼Eの3次元画像を出力することができる。
【0055】
本実施形態においては、ディスプレイ230に3次元画像が表示される際に、被検眼Eの各部を着色するために対応関係定義データ245dが利用される。すなわち、制御部240は、表示制御部240dの機能により、3次元画像データ245bから任意の切断面上に存在する3次元座標を抽出する。また、制御部240は、対応関係定義データ245dを参照し、当該3次元座標に対応する2次元座標を特定する。さらに、制御部240は、2次元画像データ245aを参照し、校正データ245cによって補正された後の階調値を、3次元座標における階調値とみなす。そして、制御部240は、3次元画像データ245bが示す当該3次元座標の色が当該階調値であるとみなして、ディスプレイ230を制御し、3次元画像(断層画像Iov,Ioh,Ior)を表示させる。
【0056】
以上の結果、
図4においては表現できないが、断層画像Iov,Ioh,Iorが着色されて表示される。なお、対応関係定義データ245dにおいては、3次元画像を表現するための3次元画像の全てにおいて2次元座標との対応関係が定義されていなくてもよい。例えば、カラーカメラの視野外の部位や透明であることによって着色がされない部位、被検眼Eの奥に存在することによってカラーカメラで撮影されない部位等については、対応関係定義データ245dが定義されていなくてもよい。この場合、制御部240は、対応関係定義データ245dが存在しない部位について、3次元画像データ245bが示す階調値で表現可能な色(すなわち、グレースケールの画像)で表示するなどの構成を採用可能である。また、着色される部位(所定の部位)は、例えば、虹彩、虹彩および角膜以外の前眼部表面、瞼等である。
【0057】
なお、3次元画像の表示態様としては、種々の態様を採用可能であり、切断面は
図4に示す例に限定されず、むろん、検者の指定によって任意の切断面を選択可能であってよい。また、Z方向に平行な切断面が選択されてもよい。さらに、ある方向から見た投影図(例えば、Z方向に平行な切断面に対してZ方向の既定範囲の情報を投影した図)が表示されてもよい。さらに、3次元画像に基づいて3次元モデルが生成され、3次元モデルを任意の方向から見た場合の図が着色されて表示されてもよい。このような例としては、例えば、ボリュームレンダリングやサーフェスレンダリングによって表示された3次元モデルが着色されて表示されてもよい。
【0058】
以上の構成によれば、光干渉断層撮影によって得られた3次元画像に基づいて特定される被検眼Eの局所的な構造と、被検眼Eの正面に現れている色とを対応づけることにより、局所的な構造をカラー化することができる。従って、本実施形態は、色を用いて前眼部を観察する各種の目的、例えば、鑑別診断や病態把握、経過観察を行うために、患部の色や形態、血管の分布などを評価する目的等に利用可能である。なお、対象となる疾患は幅広く、例えば、結膜の充血を伴うアレルギー性結膜疾患、角膜混濁を伴う感染性角膜炎や遺伝子の異常に伴い発症する角膜ジストロフィ、ドライアイなどに起因する角膜上皮障害、結膜組織の一部が血管を伴って角膜に進展する翼状片、虹彩や結膜、眼瞼に発症する腫瘍や瞳孔から観察可能な網膜芽細胞腫、虹彩に新生血管が現れる血管緑新生内障などが挙げられる。
【0059】
また、角膜移植後や羊膜移植後の経過観察、緑内障における濾過胞手術後の濾過胞の機能評価やチューブシャントのインプラント手術の経過観察などにおいても、着色された前眼部によって観察を容易にすることができる。さらに、本実施形態のように着色が行われていると、正しく病態を把握し、細かな変化を見逃さない確率が高くなる。さらに、各疾患において、その分類や重症度・悪性度の指標として充血度合いや患部の色、病巣の広がりなどの臨床評価基準を設けている場合もあるが、本実施形態においては校正データによって色の再現性が担保されている。従って、分類や重症度・悪性度の判別を正しく行うことができ、誤診や見落としが生じる可能性を低減することができる。
【0060】
さらに、分類や重症度・悪性度等を判別する際の判別方法としては、重症度ごとに準備された代表症例の見本となるカラー画像やコメント付きのシェーマなどと被検眼Eの前眼部カラー画像を目視で比較することにより、何れのグレードに属するかを判断する方法が用いられることが多い。この場合であっても、本実施形態においては、色再現性が担保されているため、各種色成分に基づく定量評価が可能となり、より客観的で安定した評価が可能となる。
【0061】
さらに近年では、3Dプリンターを用いた義眼の制作において瞭眼の細隙灯顕微鏡カラー画像を用いる試みも始まっており、義眼にプリントされる虹彩の色やテクスチャ、結膜の血管などを瞭眼と合わせるためには、カラー画像の色再現性が担保されていることが好ましい。さらに、カラー画像は眼表面の情報しか捉えることができないが、病巣の深さ方向を含む3次元画像やOCTによる3次元非侵襲血管造影手法として知られるOCTアンギオグラフィー画像を組合せることで、内部組織への浸潤の程度や3次元的形態、組織内部における疾患部位への血管侵入の特徴などを捉え、より正確な診断を行うことが可能となる。
【0062】
(3)校正データ生成処理:
次に、カラーカメラで撮影された2次元画像の色の再現性を担保するために使用される校正データの生成処理を詳細に説明する。
図5Aは、校正データ生成処理のフローチャートである。本実施形態において、校正データ生成処理は、光干渉断層撮影装置1の出荷前に実施される。校正データ生成処理が開始されると、白色光源205,205が第1の条件で点灯される(ステップS100)。すなわち、校正データ生成のオペレータは、図示しない入力部を介して発光条件を第1の条件に設定し、白色光源205,205を点灯させる指示を行う。この結果、制御部240は、設定された第1の条件で白色光源205,205を点灯させる。なお、第1の条件は、カラーカメラによって2次元画像データ245aを撮影するために被検眼Eを照明する際の条件と同一であり、本実施形態においては、5500Kの色温度で既定の明るさ(光度、輝度、照度等)の白色光を白色光源205,205から出力させる条件である。
【0063】
次に、ホワイトバランス調整用ターゲットが撮影される(ステップS105)。すなわち、オペレータは、被検眼Eが撮影される際に被検眼Eが配置される位置にホワイトバランス調整用ターゲットをセットする。ホワイトバランス調整用ターゲットは、予め用意された無彩色の色見本であり、本実施形態においては、白に近いライトグレーの色見本である。オペレータは、ホワイトバランス調整用ターゲットがセットされた状態で、図示しない入力部を介して撮影指示を行う。この結果、制御部240は、2次元画像取得部240aの機能により、スキャニング-アライメント光学系200のエリアセンサ208を制御し、ホワイトバランス調整用ターゲットを撮影した画像を取得する。
【0064】
次に、制御部240は、カラーカメラのホワイトバランスを調整する(ステップS110)。すなわち、制御部240は、ステップS105で撮影されたホワイトバランス調整用ターゲットの色を示す階調値を既定の階調値にするための調整を行う。ホワイトバランスの調整法は、種々の手法であってよく、例えば、RGBそれぞれの光の強度を検出し、アナログデジタル変換する際のゲインを調整してもよいし、RGBそれぞれの色を検出する光電変換素子の出力値であるRAWデータを調整してもよい。いずれにしても、ホワイトバランス調整用ターゲットの色として検出されるべきRGBの階調値は予め決まっており、制御部240は、ゲイン調整やRAWデータからRGB階調値に変換する際の変換式の調整等を行うことにより、ホワイトバランス調整を実施する。このように、ホワイトバランス調整が行われると、以後、再度ホワイトバランス調整が行われるまで、ホワイトバランス設定が維持される。
【0065】
次に、カラーチャートの撮影が行われる(ステップS115)。すなわち、オペレータは、被検眼Eが撮影される際に被検眼Eが配置される位置にカラーチャートをセットする。カラーチャートは、複数の色パッチを有する色見本であり、色空間の全域に渡る色を網羅するために、既定の有彩色の色パッチと無彩色の色パッチとを有している。オペレータは、カラーチャートがセットされた状態で、図示しない入力部を介して撮影指示を行う。
【0066】
この結果、制御部240は、2次元画像取得部240aの機能により、スキャニング-アライメント光学系200のエリアセンサ208を制御し、カラーチャートを撮影した画像であるチャート画像を取得する。なお、カラーチャートには色パッチが複数個(例えば、24個)含まれるので、各色パッチのそれぞれについてチャート画像が取得される。
【0067】
本実施形態においては、カラーチャートや被検眼Eが屋内照明下で撮影されることが想定されている。この場合、屋内照明による影響が画像のバックグラウンドになり、一般に、屋内照明は撮影環境毎に異なるため、バックグラウンドを含む状態で処理が行われると色の再現性が悪くなる可能性がある。そこで、本実施形態においては、バックグラウンドを除去するための処理が行われる。
【0068】
具体的には、制御部240は、2次元画像取得部240aの機能により、白色光源205,205を消灯させる(ステップS120)。この際、屋内照明は点灯された状態に維持される。次に、バックグラウンドが撮影される(ステップS125)。すなわち、制御部240は、2次元画像取得部240aの機能により、スキャニング-アライメント光学系200のエリアセンサ208を制御し、ステップS115でセットされたカラーチャートを撮影し、バックグラウンド画像として取得する。なお、バックグラウンド画像の撮影の際には、露光調整は行われずステップS115における露光条件と同一の条件で撮影が行われる。
【0069】
次に、制御部240は、チャート画像からバックグラウンド画像を除去して補正後のチャート画像を取得する(ステップS130)。すなわち、制御部240は、ステップS115で取得されたチャート画像の各階調値からステップS125で取得されたバックグラウンド画像の各階調値を除去し、補正後のチャート画像として取得する。以上の構成によれば、屋内照明による影響をチャート画像から除去することができる。
【0070】
次に、制御部240は、色空間を変換する多項式の係数を取得する(ステップS135)。すなわち、本実施形態において、カラーカメラで撮影された画像の階調値は、機器依存色空間で表現された色を示している。従って、チャート画像で表現された階調値を用いてディスプレイ230での出力等が行われると、色パッチの色が実際の色と一致することが担保されない。そこで、本実施形態においては、3次多項式を用いて、チャート画像における色パッチの階調値を、基準の色空間(sRGB)での階調値に変換することを想定する。
【0071】
このような3次多項式による変換を可能にするため、制御部240は、チャート画像として得られた各色パッチのRGB階調値と、各色パッチの色として既知のsRGB階調値とに基づいて3次多項式の係数を取得する。具体的には、3次多項式は以下の式(1)~(3)で表現される。
【数1】
【0072】
式(1)は2次元画像データ245aのRGB階調値からsRGB色空間のR階調値を算出する変換式であり、式(2)は2次元画像データ245aのRGB階調値からsRGB色空間のG階調値を算出する変換式である。式(3)は2次元画像データ245aのRGB階調値からsRGB色空間のB階調値を算出する変換式である。また、各式における符号nは、色パッチの番号を示している。従って、色パッチが24個存在するならば、nは1~24の整数値となる。
【0073】
以上の表記により、各式において(Rn,Gn,Bn)は、n番目の色パッチをカラーカメラで撮影して得られた階調値であることを意味する。各式においては、各階調値について0次~3次までの項が含まれ、各項に乗じられる係数α0~α9が存在する。本実施形態において、これらの係数はR,G,Bそれぞれで異なるため、式(1)~式(3)のそれぞれにおいては、係数を区別するために式(1)~式(3)のそれぞれについいてr、g、bの符号がつけられている。
【0074】
色パッチがN個存在する場合、式(1)~式(3)のそれぞれがN個得られる。例えば、1番目の色パッチのsRGB階調値のR成分がRs1であり、カラーカメラで撮影した階調値が(R1,G1,B1)である場合、左辺がRs1であり右辺に(R1,G1,B1)が代入され、係数αr0~αr9が未知である式が1個得られる。この代入をN個の色パッチについて実施すれば、N個の式が得られる。そこで、制御部240は、最小二乗法等によってN個の式から係数αr0~αr9を特定する。同様に式(2)、式(3)についても係数を決定すれば、カラーカメラで撮影して得られた任意の階調値をsRGB階調値に変換するための式(1)~(3)が得られた状態になる。以上のようにして多項式の係数が得られると、制御部240は、校正データを保存する(ステップS140)。すなわち、制御部240は、ステップS135で取得された係数値を、校正データ245cとして記憶媒体245に記録させる。
【0075】
(4)撮影処理:
次に、2次元画像および3次元画像の撮影処理を説明する。撮影処理は、被検眼Eが検査窓の正面に配置され、被検眼Eがカラーカメラの視野およびOCT干渉系100による撮影可能位置に存在する状態で、検者の指示によって実行される。撮影処理が開始されると、白色光源205,205が第2の条件で点灯される(ステップS200)。すなわち、検者は、図示しない入力部を介して発光条件を第2の条件に設定し、白色光源205,205を点灯させる指示を行う。この結果、制御部240は、設定された第2の条件で白色光源205,205を点灯させる。
【0076】
なお、第2の条件は、スキャニング-アライメント光学系200によるアライメントと、カラーカメラによって撮影された2次元画像のライブ表示とを行う際の発光条件であり予め設定される。本実施形態においては、色温度は限定されないが、ライブ表示される画像の色をライブ表示後に撮影される2次元画像の色と近づけるためには、当該2次元画像の照明条件である第1の条件における色温度に近いことが好ましい。ただし、白色光源205,205の明るさ(光度、輝度、照度等)は第1の条件よりも小さいことが好ましい。
【0077】
すなわち、ステップS200以降においては、アライメントや光干渉断層撮影など、比較的時間を要する処理を行う期間にわたって照明が行われるため、瞬きの増加や被検眼Eの動作の不安定化、瞳孔における過度の収縮等を抑制するために、第1の条件より明るさ(光度、輝度、照度等)が小さく、過度に暗くはないことが好ましい。また、第1の条件で照明された状態で撮影される2次元画像は、色の再現性を担保する必要があるため、常に固定の条件であり、校正データ245cを作成する際の条件と同一の条件で照明される必要がある。しかし、ライブ表示等のためには、色の再現性を厳密に求める必要がないため、第2の条件では第1の条件より白色光の明るさ(光度、輝度、照度等)が小さくてよい。例えば、快適な職場環境の形成を促進するなど目的で規定されたJIS Z9110においては、集会所や事務所に適した照度が200~2000lx程度であることが規定されている。また、「照度変化に伴う瞼裂高・瞳孔径の変動」(臨眼 50(4):769-722,1999)によれば、200lx~2000lxの照度であれば瞳孔径が照度の増加とともに安定的に小さくなるが、2000lxを超える照度では瞳孔径が照度の増加に対して不安定に変化するとされている。従って、第2の条件においては、白色光の照度が200lx~2000lxであり、第1の条件においては当該範囲から選択された第2の条件での照度より大きい照度であることが好ましい。むろん、瞬きの増加等の影響が考慮されなくてよいのであれば、第1の条件と第2の条件とが同一であってもよい。
【0078】
次に、制御部240は、光干渉断層撮影およびカラー画像のライブ表示を開始する(ステップS205)。すなわち、制御部240は、2次元画像取得部240aの機能により、カラーカメラとして機能する前眼部撮影系(エリアセンサ208等)を制御して、被検眼Eの2次元画像を取得する。この際、制御部240は、撮影した2次元画像を示す2次元画像データ245aを記憶媒体245に記録してもよいし、図示しないRAMに記憶してもよい。2次元画像が取得されると、制御部240は、表示制御部240dの機能により、ディスプレイ230を制御して2次元画像を表示させる。ライブ表示の態様は限定されないが、例えば、
図4に示す2次元画像Ieのような表示を採用可能である。
【0079】
さらに、制御部240は、3次元画像取得部240bの機能により、OCT干渉系100、スキャニング-アライメント光学系200(ガルバノスキャナ202等)、k-clock生成用干渉光学系400を制御して、測定干渉信号を取得する。制御部240は、測定干渉信号に対する逆フーリエ変換などの処理を行い、走査線に沿う前眼部Ecの断層画像を取得する。制御部240は、ガルバノスキャナ202における走査方向を表示対象の断層画像を得るための切断面に限定し、表示対象の切断面についての断層画像を取得する。
【0080】
この際、制御部240は、撮影した断層画像のデータを記憶媒体245に記録してもよいし、図示しないRAMに記憶してもよい。3次元画像が取得されると、制御部240は、表示制御部240dの機能により、ディスプレイ230を制御して3次元画像を表示させる。ライブ表示の態様は限定されないが、例えば、
図4に示す断層画像Iov,Ioh,Iorのような表示を採用可能である。なお、ステップS205におけるライブ表示はアライメントが完了する前の段階で実行開始されるため、初期においては、被検眼Eの角膜中心部分がライブ表示される画像の中心に存在しないこともあり得る。
【0081】
次に、制御部240は、アライメントを実施する(ステップS210)。すなわち、制御部240は、XY位置検出光源216を制御し、X-Y方向の位置検出用のアライメント光を出力させる。アライメント光は、被検眼Eの角膜頂点の内側で輝点像を形成するようにして角膜表面で反射され、その反射光は2次元位置センサ218で検出される。制御部240は、当該2次元位置センサ218の出力信号に基づいて、輝点の位置、すなわち、角膜頂点の位置(X方向およびY方向の位置)を特定する。さらに、制御部240は、角膜頂点からを示す輝点を撮像素子の既定位置に一致させるために必要なX方向およびY方向の位置ずれ量を求める。そして、制御部240は、当該位置ずれ量を0にするために、当該位置ずれの逆方向に装置本体を移動させる。
【0082】
さらに、制御部240は、Z位置検出光源219を制御し、被検眼Eに対して斜め方向から検出用の光(スリット光またはスポット光)を照射させる。この結果、角膜で反射した反射光が結像レンズ220を介してラインセンサ221に入射される。制御部240は、ラインセンサ221の出力信号に基づいて、被検眼EのZ方向位置を検出する。さらに、制御部240は、角膜からの反射光をラインセンサ221の既定位置に一致させるために必要なZ方向の位置ずれ量を求める。そして、制御部240は、当該位置ずれ量を0にするために、当該位置ずれの逆方向に装置本体を移動させる。
【0083】
なお、以上のようなXYZ方向への移動は、予め決められた移動距離毎に実施されるため、一般的にはアライメントが繰り返されることによりアライメントが完了する。そこで、制御部240は、アライメントが完了したか否かを判定する(ステップS215)。すなわち、制御部240は、ずれ量が0(またはずれ量の絶対値が閾値以下)になった場合に、アライメントが完了したと判定する。ステップS215において、アライメントが完了したと判定されない場合、制御部240は、ステップS210以降の処理を繰り返す。
【0084】
ステップS215において、アライメントが完了したと判定された場合、制御部240は、アイトラッキングを実施する(ステップS220)。アイトラッキングは、被検眼の位置変位に応じて3次元画像の撮影位置を変化させる動作である。具体的には、被検眼の特徴点(例えば、輝点や予め決められた特徴を有する部位等)を2次元位置センサ218またはエリアセンサ208によって検出し、アライメント後の被検眼の位置変化を特定する。そして、制御部240は、当該位置変化がキャンセルされるようにガルバノスキャナ202の走査位置を修正するフィードバック制御を行う。この結果、アライメント完了後の被検眼の位置変化が無かった場合と同等の3次元画像が取得可能になる。
【0085】
次に、制御部240は、3次元画像取得部240bの機能により、3次元画像を取得する(ステップS225)。すなわち、制御部240は、3次元画像取得部240bの機能により、OCT干渉系100、スキャニング-アライメント光学系200(ガルバノスキャナ202等)、k-clock生成用干渉光学系400を制御して、測定干渉信号を取得する。制御部240は、測定干渉信号に対する逆フーリエ変換などの処理を行い、走査線に沿う前眼部Ecの断層画像を取得する。
【0086】
制御部240は、ガルバノスキャナ202における走査方向を変更することで、被検眼Eの前眼部全域を網羅する複数の切断面について断層画像を取得する。そして、制御部240は、得られた複数の断層画像に基づいて、3次元画像を生成し、得られた3次元画像を示す3次元画像データ245bを記憶媒体245に記録する。3次元画像が取得されると、制御部240は、アイトラッキングを終了させる(ステップS230)。
【0087】
次に白色光源205,205が第1の条件で点灯される(ステップS235)。すなわち、検者は、図示しない入力部を介して発光条件を第1の条件に設定し、白色光源205,205を点灯させる指示を行う。この結果、制御部240は、設定された第1の条件(5500Kの色温度、既定の明るさ(光度、輝度、照度等))で白色光源205,205を点灯させる。
【0088】
次に、制御部240は、2次元画像取得部240aの機能により、被検眼Eの画像を撮影する(ステップS240)。すなわち、制御部240は、2次元画像取得部240aの機能により、カラーカメラとして機能する前眼部撮影系(エリアセンサ208等)を制御して、被検眼Eの画像を取得する。
【0089】
次に、制御部240は、バックグラウンドを除去するための処理を実行する。具体的には、制御部240は、2次元画像取得部240aの機能により、白色光源205,205を消灯させる(ステップS245)。この際、屋内照明は点灯された状態に維持される。次に、バックグラウンドが撮影される(ステップS250)。すなわち、制御部240は、2次元画像取得部240aの機能により、スキャニング-アライメント光学系200のエリアセンサ208を制御し、被検眼Eを撮影し、バックグラウンド画像として取得する。なお、バックグラウンド画像の撮影の際には、露光調整は行われずステップS240における露光条件と同一の条件で撮影が行われる。
【0090】
次に、制御部240は、2次元画像取得部240aの機能により、被検眼Eの画像からバックグラウンド画像を除去して2次元画像を取得する(ステップS255)。すなわち、制御部240は、ステップS240で取得された被検眼Eの画像の各階調値からステップS250で取得されたバックグラウンド画像の各階調値を除去し、補正後の2次元画像として取得する。そして、制御部240は、当該2次元画像を示す2次元画像データ245aを、記憶媒体245に記録する。以上の構成によれば、屋内照明による影響を被検眼Eの2次元画像から除去することができる。
【0091】
次に、制御部240は、2次元画像取得部240aの機能により、カラー校正を実行する(ステップS260)。すなわち、制御部240は、記憶媒体245に記録された校正データ245cを参照し、2次元画像データ245aが示す各2次元座標の階調値を補正する。例えば、ある座標(u,v)における階調値が(Ri,Gi,Bi)である場合、補正後の階調値(Ro,Go,Bo)の赤成分Roは式(1)に(Ri,Gi,Bi)を代入して得られた値である。また、補正後の緑成分Goは式(2)に(Ri,Gi,Bi)を代入して得られた値であり、補正後の青成分Boは式(3)に(Ri,Gi,Bi)を代入して得られた値である。2次元画像の全画素について補正が行われると、制御部240は、補正後の2次元画像を示す2次元画像データ245aで記憶媒体245を更新する。以上の処理によれば、出力装置に依存しない状態で色を記述した2次元画像データ245aを生成することができ、色の再現性を担保することが可能である。
【0092】
(4-1)対応関係定義データ生成処理:
次に、制御部240は、対応関係定義データ生成部240cの機能により、対応関係定義データ生成処理を実行する(ステップS265)。
図5Bは、対応関係定義データ生成処理を示すフローチャートである。対応関係定義データ生成処理において、制御部240は、白色光源を第1の条件で点灯させる(ステップS300)。すなわち、制御部240は、カラーカメラで2次元画像の撮影が行われた際の条件と同一の条件で白色光源205,205を点灯させる。
【0093】
次に、キャリブレーション用構造体の撮影が行われる(ステップS305)。対応関係定義データは、3次元画像の3次元座標と2次元画像の2次元座標との対応関係を規定するデータである。そこで、本実施形態においては、カラーカメラによって実際にキャリブレーション用構造体を撮影することによって対応関係を規定する構成が採用されている。
【0094】
キャリブレーション用構造体は、3次元画像の3次元座標と2次元画像の2次元座標との対応関係を明らかにするための3次元構造体であり、例えば、
図5Cに示すような構造体である。
図5Cに示す構造体は、歪んだ空洞の直方体を斜めに切断したような形状を有しており、内部の空洞が複数の壁面で仕切られたような形状である。当該構造体は、内部の空洞がカラーカメラの視野に含まれるように、装置本体の前面に設けられた検査窓の正面に配置される。従って、
図2に示すZ方向は、
図5Cの上から下に向けた方向になる。
【0095】
キャリブレーション用構造体においては、このような方向から眺めた場合に、キャリブレーション用構造体の特定の位置が画像内で明らかになるような形状とされている。例えば、
図5Cに示す構造体において、壁面の交点(P
1,P
2,P
3等)は、3次元画像や2次元画像として撮影された際に、画像内で位置を特定することが容易である。ここでは、このような点を基準点と呼ぶ。
【0096】
本実施形態においては、このようなキャリブレーション用構造体が装置本体にセットされた状態で2次元画像および3次元画像を撮影する。すなわち、制御部240は、2次元画像取得部240aの機能により、カラーカメラとして機能する前眼部撮影系(エリアセンサ208等)を制御して、キャリブレーション用構造体の2次元画像を取得する。また、制御部240は、3次元画像取得部240bの機能により、OCT干渉系100、スキャニング-アライメント光学系200(ガルバノスキャナ202等)、k-clock生成用干渉光学系400を制御して、キャリブレーション用構造体の3次元画像を取得する。
【0097】
次に、制御部240は、基準点を特定する(ステップS310)。すなわち、制御部240は、ステップS305で撮影された2次元画像に基づいて基準点を特定し、基準点の2次元座標を特定する。また、制御部240は、ステップS305で撮影された3次元画像に基づいて基準点を特定し、基準点の3次元座標を特定する。なお、基準点は、種々の手法で特定されてよく、検者による入力によって特定されてもよいし、2次元画像および3次元画像のそれぞれから基準点の特徴を示す特徴量を取得し、特徴量に基づいて基準点が特定されてもよい。いずれにしても、複数の基準点のそれぞれについて、同一の基準点についての2次元画像と3次元画像とが対応づけられる。
【0098】
以上の結果、複数の基準点が撮影された位置においては、3次元画像の3次元座標と2次元画像の2次元座標とが対応づけられた状態になる。そこで、本実施形態においては、これらの対応関係から、より多数の座標についての対応関係を規定する。このため、制御部240は、内部パラメータおよび外部パラメータを取得する(ステップS315)。具体的には、カラーカメラにおいて、視野内の被写体を撮影して画像が得られた場合に、被写体の座標と画像の座標との関係は、公知の関係式(4)によって記述することができる。
【数2】
【0099】
ここで、3次元座標(X,Y,Z)は3次元画像データ245bにおいて3次元的な位置を記述する座標であり、2次元座標(u,v)は2次元画像データ245aにおいて2次元的な位置を記述する座標である。式(4)において、3次元座標(X,Y,Z)を含む列ベクトル(X,Y,Z,1)には、2種類の行列が乗じられている。3行3列の行列は、カラーカメラの内部パラメータを示しており、(cx,cy)は主点(本実施形態においては2次元画像の中心)を示し、fx,fyはピクセル単位で表される焦点距離である。一方、式(4)において3行4列の行列は、外部パラメータを示しており、カメラから見た3次元座標を光干渉断層撮影の結果が記述される3次元座標に変換するための回転(r11~r33)および並進(t1~t3)を示している。
【0100】
内部パラメータは、カラーカメラの光学系の特性を示すパラメータであり、カラーカメラの光学系、すなわち、前眼部撮影系に基づいて決定される。本実施形態において内部パラメータ245eは、予め記憶媒体245に記録されている(内部パラメータ245e)。外部パラメータは、カラーカメラの外部のワールド座標系とカラーカメラから見た3次元の座標系とを対応づけるためのパラメータであり、被検眼Eとカラーカメラとの関係に基づいて決定される。本実施形態においては、ワールド座標系が光干渉断層撮影で得られた3次元画像で使用される3次元座標系と一致するように、カラーカメラの光学系と、被写体となる被検眼Eが配置される空間との関係に基づいて予め外部パラメータが特定されている。本実施形態において外部パラメータも予め決められ、記憶媒体245に記録されている(外部パラメータ245f)。
【0101】
以上のような内部パラメータ245eおよび外部パラメータ245fによれば、光干渉断層撮影で撮影された被検眼Eの各部位の位置を示す3次元座標と、カラーカメラで撮影された被検眼Eの2次元画像上での位置を示す2次元座標とを対応づけることができる。しかし、カラーカメラのレンズ(対物レンズ204、結像レンズ207)は、各種の歪みを有しているため、本実施形態においては、外部パラメータ245fによって得られた結果を、歪みによる影響を含むように式(4)を変形する。
【0102】
具体的には、外部パラメータ245fによって3次元座標(X,Y,Z)を変形する式は以下の式(5)で表現される。
【数3】
ここで、Rは外部パラメータ245fの回転(r
11~r
33)を示す行列であり、tは外部パラメータ245fの並進(t
1~t
3)を示すベクトルである。
【0103】
そして、歪みの影響を組み込んだ式は以下の式(6)~式(12)で表現される。
【数4】
すなわち、式(5)で得られた座標(x,y,z)を式(6)、式(7)に代入すると、座標(x',y')が得られる。得られた座標(x',y')を式(8)、式(9)に代入し、式(10)を利用すると、座標(x'',y'')が得られる。そして、得られた座標(x'',y'')が式(11)、式(12)に代入され、内部パラメータ245eに基づいて計算が行われると、2次元座標(u,v)が得られる。
【0104】
以上のようにして3次元座標(X,Y,Z)を2次元座標(u,v)に変換することができる。従って、式(6)~式(12)に含まれる未知の係数である歪み係数k1,k2,p1,p2が特定されると、3次元画像の3次元座標と2次元画像の2次元座標との対応関係が定義されることになる。そこで、制御部240は、ステップS310で特定された、複数の基準点についての2次元画像と3次元画像との対応関係に基づいて、歪み係数k1,k2,p1,p2を取得する(ステップS320)。例えば、制御部240は、基準点についての対応関係を利用して式(6)~式(12)から歪み係数k1,k2,p1,p2を解くための方程式を特定し、特定する構成等が挙げられる。むろん、より多数の基準点についての対応関係を利用して、歪み係数k1,k2,p1,p2の真の値に近くなるように解を算出してもよい。
【0105】
いずれにしても、歪み係数が取得されると、制御部240は、歪み係数の値を含む式(6)~式(12)の情報を対応関係定義データ245dとして記憶媒体245に記録する。なお、本実施形態において、着色が行われる部位(所定の部位)は、予め決められている。そこで、制御部240は、所定の部位としての虹彩、虹彩および角膜以外の前眼部表面、瞼等について、対応関係定義データ245dを生成する。
【0106】
以上のような歪み係数および式(6)~式(12)によれば、被検眼Eの3次元画像の3次元座標と、2次元画像の2次元座標との対応関係を規定することができる。しかし、この対応関係においてはレンズとして機能する被検眼Eの角膜が考慮されていない。従って、角膜による屈折を考慮しない状態であれば、被検眼Eの3次元画像の3次元座標と、2次元画像の2次元座標とを対応づけることができる。
【0107】
本実施形態においては、角膜による屈折を考慮して、被検眼Eの実際の見え方により忠実になるように対応関係を規定する。具体的には、角膜の奥側に存在する虹彩については、光線追跡を考慮して対応関係を規定する。このために、制御部240は、光線追跡の対象エリアを取得する(ステップS325)。本実施形態においては、角膜の屈折による影響を受け、かつ、透明ではない部位、すなわち、虹彩が光線追跡の対象エリアとなる。そこで、制御部240は、2次元画像データ245aおよび3次元画像データ245bから虹彩の像が撮影された部分を抽出し、光線追跡の対象エリアとする。なお、虹彩の像を抽出する手法は、種々の手法であってよく、例えば、制御部240が、検者による範囲指定を受け付けてもよいし、3次元画像、2次元画像のそれぞれから虹彩の特徴を示す特徴量を抽出しすることによって制御部240が対象エリアを特定してもよい。
【0108】
対象エリアが取得されると、制御部240は、対象エリアについて、光線追跡に基づいて3次元座標と2次元座標の対応関係を取得する(ステップS330)。すなわち、制御部240は、対象エリアに含まれ、透明ではない虹彩の任意の部分について、光線追跡を行う。
【0109】
図7は、光線追跡の一例を説明する図である。
図7においては、角膜Cおよびその周辺の被検眼Eの構造を、角膜中心を通りZ方向およびY方向に平行な面を切断面として示している。なお、
図7においては、角膜頂点を通りZ方向に平行な光軸ALを一点鎖線で示しており、仮想的な光線を二点鎖線で示している。
【0110】
制御部240は、
図7に示すような切断面における被検眼Eの構造を、3次元画像データ245bによって特定することができる。制御部240は、3次元画像データ245bによって特定された角膜の形状に基づいて、当該切断面上で、焦点の位置Pfと主点の位置Ppとを決定する。
【0111】
なお、焦点の位置Pfは、例えば3次元座標(X1,Y1,Z1)に関する光線追跡を実行する際に、3次元座標(X1,Y1,Z1)から光軸に平行な方向(Z方向)に延びる光線を仮想的に想定し、角膜に達したら、角膜の屈折力によって屈折し、光軸ALと交わる点を特定するなどして定義可能である。なお、角膜での屈折は、予め決められた屈折率で1回屈折が起こるとみなされてもよいし、角膜の裏面および表面で1回ずつ屈折が起こり、各面での屈折率がそれぞれ異なる既定の値であるとみなされてもよい。
【0112】
焦点の位置Ppは、例えば、光軸ALと角膜前面との交点(角膜頂点)であるなどして定義可能である。すなわち、角膜主点位置は、ほぼ角膜前面と等しいと考えられる(例えば、<レクチャー>眼光学の基礎(視覚研究会(現日本視覚学会)会誌「VISION」1巻1号(1989年1月)))。そこで、3次元画像データ245bが示す角膜Cの前面と、光軸ALと交わる点を主点の位置Ppとして特定するなどして定義可能である。
【0113】
むろん、焦点の位置Pfや主点の位置Ppの取得法は一例であり、他の手法で取得されてもよい。例えば、主点の位置Ppは、光線追跡に基づいて特定される主点の位置Ppの一般式から算出されてもよい。具体的には、以下のパラメータを利用すると、主点の位置Ppを取得することができる。角膜前面の曲率半径=r1、角膜後面の曲率半径=r2、空気の屈折率=n1、角膜実質の屈折率=n2、前房水の屈折率=n3、角膜中心の厚さ=d、角膜の前面屈折率=D1、角膜の後面屈折率=D2、角膜の全屈折率=Dt。
【0114】
なお、角膜前面の曲率半径r1、角膜後面の曲率半径r2は、制御部240が3次元画像データ245bに基づいて、特徴量等に基づいて角膜前面と角膜後面とを特定し、それぞれの面の少なくとも3点に基づいて曲率中心を算出し、各面までの距離を算出することによって取得可能である。角膜中心の厚さdは、制御部240が角膜前面と角膜後面との距離を、例えば、光軸AL上で特定することによって取得可能である。空気の屈折率n、角膜実質の屈折率n2、前房水の屈折率n3は、既知の値(例えば、それぞれについて1.0,1.376,1.336等)を利用可能である。
角膜の前面屈折率D1は、D1=(n2-n1)/r1
角膜の後面屈折率D2は、D2=(n3-n2)/r2
角膜の全屈折率Dtは、Dt=D1+D2-(d/n2)・D1・D2
角膜前面から像側主点位置までの距離は以下のe'+dである。
e'+d=-d・n3・D1/(n2・Dt)+d
制御部240は、このようにして算出された像側主点位置に基づいて、角膜前面と光軸ALとの交点から像側に距離e'+dの位置を主点の位置Ppとみなしてもよい。
【0115】
焦点の位置Pfと主点の位置Ppとが決定されると、3次元座標(X
1,Y
1,Z
1)からの光(Z方向に平行な光)が角膜で屈折されて焦点の位置Pfに向かう光線Lfを被検眼Eの奥側に延長した線と、主点の位置Ppと3次元座標(X
1,Y
1,Z
1)とを結ぶ線Lpとの交点の座標(Xv,Yv,Zv)が虚像の位置であると定義することができる。
図7においては、虹彩および水晶体の虚像を破線によって模式的に示している。
【0116】
制御部240が、以上のような処理によって、虚像の位置を示す座標(Xv,Yv,Zv)を取得すると、3次元座標(X1,Y1,Z1)の部分が2次元座標として撮影される2次元座標(u1,v1)を特定することができる。具体的には、2次元座標(u1,v1)には、座標(Xv,Yv,Zv)に存在するように見える虚像が撮影される。そこで、制御部240は、対応関係定義データ245dに基づいて、式(6)~式(12)によって、3次元座標(Xv,Yv,Zv)に対応する2次元座標(u1,v1)を取得する。そして、制御部240は、3次元座標(X1,Y1,Z1)と2次元座標(u1,v1)とを対応づける。
【0117】
制御部240は、以上のような処理を虹彩の複数の部分について実行することにより、虹彩の複数の部位の3次元座標(X,Y,Z)と2次元座標(u,v)とを対応づけ、対象エリアを示す情報とともに対応関係定義データ245dとして記憶媒体245に記録する。なお、対応関係定義データ245dは、被検眼Eの画像である2次元画像データ245aおよび3次元画像データ245bに対応づけて記録される。以上の処理によれば、角膜における屈折の影響も含めて対応関係定義データ245dを定義することができる。
【0118】
以上のようにして対応関係定義データ245dが記憶媒体245に記録されると、制御部240は、
図6に示す撮影処理に復帰して処理を続ける。すなわち、制御部240は、表示制御部240dの機能により、3次元画像を2次元画像で着色し、2次元画像とともに表示する(ステップS275)。すなわち、制御部240は、記憶媒体245に記録された3次元画像データ245bに基づいて、表示対象の切断面(検者に指定された切断面等)の断層画像を生成する。
【0119】
そして、制御部240は、当該断層画像において、対応関係定義データ245dで定義された3次元座標が含まれるか否か判定する。対応関係定義データ245dで定義された3次元座標が含まれる場合、制御部240は、対応関係定義データ245dに基づいて対応する2次元座標を特定し、当該2次元画像の階調値が当該3次元座標の色であるとみなす。そして、制御部240は、ディスプレイ230を制御して、断層画像を表示するとともに、色が特定された3次元座標については、対応する2次元座標の階調値で着色する。
【0120】
さらに、制御部240は、2次元画像データ245aを取得し、ディスプレイ230を制御して2次元画像を表示させる。以上の結果、例えば、
図4に示す2次元画像Ie、断層画像Iov,Ioh,Iorが表示され、2次元画像Ieがカラー表示されるのみならず、断層画像Iov,Ioh,Iorについても、所定の部位がカラー表示される。
【0121】
(5)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。従って、上述の実施形態の少なくとも一部の構成が省略、置換、された構成や処理の少なくとも一部が省略、置換、順序の入れ替え等がなされた構成であってもよい。例えば、対応関係定義データの中で、ステップS300~ステップS320は、予め、例えば、出荷前に実行されてもよい。この場合、被検眼Eを撮影した後に、ステップS300,ステップS325,S330が実行されて対応関係定義データ245dの生成が完了する。また、校正データ生成処理は、光干渉断層撮影装置1の出荷後の任意のタイミングで実行されてもよい。また、キャリブレーション用構造体は、
図5Cに示す構造体に限定されない。すなわち、キャリブレーション用構造体は、交点等の基準点を複数個有する構造体であれば良い。従って、例えば、内壁を有する円筒を軸に対して斜めに切断したような形状等であってもよいし、他の立体構造であってもよい。
【0122】
さらに、ライブ表示を行う際に点灯される光源は白色光源でなくてもよい。例えば、赤外線を出力する光源や、緑色光を出力する光源が利用されても良い。具体的には、室内照明がライブ表示に充分な明るさである場合や、固指標の明るさが被検眼の固視のために充分な明るさである場合、白色光源の代わりに赤外光で照明してライブ画像を取得することも可能である。赤外光であれば眩しさが軽減されるため、より被検眼Eが安定する。さらに、赤外光照明で撮影した2次元画像においては、白色光照明で撮影した2次元画像よりも虹彩のテクスチャがより鮮明に描画される。従って、アイトラッキング用の特徴点としてより容易に利用可能である。また、赤外光照明で撮影した2次元画像においては、白色光照明で撮影した2次元画像よりも、瞳孔と虹彩との間のコントラストが鮮明になる。従って、瞳孔の重心位置などをトラッキングの特徴点として利用することも可能になる。さらに、赤外光照明で撮影した2次元画像においては、白色光照明で撮影した2次元画像よりも虹彩や、瞳孔と虹彩との間のコントラストをより鮮明に表現することができる。
【0123】
さらに、緑色光照明で撮影した2次元画像においては、白色光照明で撮影した2次元画像よりも血管が強調される。従って、血管構造の特徴点を容易にアイトラッキングの特徴点として利用することが可能である。さらに、白色光源と他の色の光源とが備えられている構成において、各光源が交互に点灯されてもよい。なお、任意の色の光で照明されて撮影されたライブ表示された2次元画像は、ライブ表示以外の用途に利用されても良い。この場合、ライブ表示された2次元画像も記憶媒体245に保存される。
【0124】
2次元画像取得部は、カラーカメラによって被検眼Eの正面を撮影して2次元画像を取得することができればよい。すなわち、カラーカメラは、光干渉断層撮影の対象となる被検眼Eと同一の被検眼Eの正面を撮影し、カラー画像として出力できればよい。被検眼Eの正面は被検眼Eの前方の面であり、被検眼Eの正面を撮影するための構成としては、例えば、被検眼Eの視線方向と一致する眼軸と、カラーカメラの光軸とが一致する構成が挙げられる。むろん、被検眼Eには固視微動等のブレが存在するため、眼軸と光軸との一致は厳密には要求されず、固視状態において被検眼Eの眼軸が向く方向と、カラーカメラの光軸が略一致することにより、被検眼Eの前眼部が撮影可能であれば良い。また、カラーカメラは、2次元画像を取得すればよいため、カラーカメラは被検眼Eから反射される可視光を2次元的に撮影可能なセンサ(エリアセンサや走査可能なラインセンサ等)を備えていればよい。むろん、カラーカメラを構成する光学系における光学素子の数や形態、配置等は
図2に示された構成に限定されない。また、カラーカメラの視野に被検眼E以外の物体(カラーチャート等)を配置すれば、被検眼Eと同じ条件(照明条件等)で当該物体の2次元画像を取得することができる。
【0125】
3次元画像取得部は、光干渉断層撮影によって被検眼Eの3次元画像を取得することができればよい。光干渉断層撮影は、光源の光を分岐して、測定対象と参照光生成部(ミラー等)とによって反射された光を合成してその干渉を測定することにより、測定対象の深さ方向(測定光進行方向)における測定対象の情報を得る手法であり、種々の方式を採用し得る。従って、光干渉断層撮影の方式は、上述のSS-OCT(Swept Source Optical Coherence Tomography)に限定されず、TD-OCT(Time Domain Optical Coherence Tomography)やフーリエドメインの他の方式、例えば、SD-OCT(Spectral Domain Optical Coherence Tomography)等であってもよい。
【0126】
また、光干渉断層撮影を行うための光学系も上述の実施形態の構成に限定されず、光学素子の数や、形態、配置等は
図1に示された構成に限定されない。むろん、断層像を取得する際のガルバノスキャナ202における入力光の走査方向も、各種の態様とされてよい。
【0127】
対応関係定義データ生成部は、被検眼Eの所定の部位が3次元画像として撮影された場合の3次元画像内での位置と、2次元画像として撮影された場合の2次元画像内での位置と、を対応づけた対応関係定義データを生成することができればよい。すなわち、対応関係定義データによって、被検眼Eの同一部位が、3次元画像内でどの位置に撮影され、2次元画像内でどの位置に撮影されるのか定義されればよい。所定の部位は、3次元画像の3次元座標と2次元画像の2次元画像とが対応づけられる部位であればよく、被検眼の一部であってもよいし全体であってもよい。なお、2次元画像は画素毎の階調値によって定義され、階調値によって色が規定されるため、対応関係定義データによれば、2次元画像の色に基づいて3次元画像の色を定義することができる。対応関係定義データは、画像毎の位置の対応関係を定義していればよく、種々の態様で定義されていてよい。上述の実施形態のように、3次元画像の3次元座標と2次元画像の2次元座標とを対応付けた構成に限定されない。
【0128】
例えば、光干渉断層撮影によって得られる3次元画像は、複数の断層像(2次元画像)を重ねることによって3次元空間内で被検眼Eの構造を示すが、この情報から生成された情報を用いて他の形式のデータが生成され、対応関係定義データとされてもよい。より具体的な例としては、光干渉断層撮影によって得られた3次元画像は複数の3次元座標のそれぞれにおける1チャネルの階調値で示されている。そこで、3次元座標に基づいて被検眼Eの構造体(被検眼Eの表面や虹彩等)の表面を示すポリゴンを生成し、各ポリゴンに対応する2次元画像の位置(2次元座標等)を定義して対応関係定義データとしてもよい。この場合、各ポリゴンの色やテクスチャが2次元画像に基づいて特定される構成となる。このようなデータは種々の態様で定義されてよいが、汎用的な形式(例えば、STL(Stereolithography)データ等)であると好ましい。
【0129】
また、対応関係定義データにおいて3次元画像の3次元座標と2次元画像の2次元座標とを対応付ける手法も、上述の実施形態における態様に限定されない。例えば、上述の実施形態においては、所定の部位に含まれる任意の3次元座標と2次元座標との対応関係が定義されていたが、所定の部位に含まれる代表点において3次元座標と2次元座標との対応関係が定義される構成であってもよい。この場合、代表点以外の任意の座標における3次元座標と2次元座標との対応関係は、複数の代表点における対応関係から補間等によって算出されればよい。
【0130】
代表点は、種々の手法で決められてよい。例えば、2次元画像の被検眼Eにおいて他の部位と異なる特徴を有する部位を構成する座標が代表点となり得る。すなわち、被検眼E表面に現れている血管が他と区別可能な特徴的な形状をしている部位や、虹彩の模様が他と区別可能な特徴的な模様である部位等が代表点となり得る。
【0131】
なお、代表点が特定の色の部位である場合、当該特定の色を強調するように処理が行われてもよい。当該強調のための処理としては、特定の色の強度を他の色と比較して強調する処理であれば良く、2次元画像の特定の色成分の強度を増加させる補正が行われてもよいし、特定の色成分以外の色成分を減少させる補正が行われてもよいし、照明の色が調整されてもよい。例えば、赤い血管を強調するために、R成分の強度が増加されてもよいし、G成分とB成分との少なくとも一方の強度が減少されてもよいし、血管によって吸収される緑色の照明で撮影されてもよい。さらに、3次元画像の代表点を抽出するために、OCTによる3次元非侵襲血管造影手法であるOCTアンギオグラフィー画像が構築され、血管構造等の特徴点が抽出されて代表点とされてもよい。
【0132】
また、代表点は、検者による指定が受け付けられることによって特定されてもよいし、2次元画像および3次元画像において特徴的な形状や模様等を抽出する特徴量抽出アルゴリズム等によって自動的に特定されてもよい。代表点を特定する際には、2次元画像や3次元画像が画像処理されてもよい。例えば、3次元画像に基づいて深さ方向の情報を加算し(加算平均でも可)、深さ方向の垂直な面に投影して得られるEnface画像に基づいて代表点を特定してもよい。
【0133】
Enface画像に基づいて代表点を特定して3次元座標と2次元座標とを対応づけるための手法としては、種々の手法を採用可能である。例えば、ホモグラフィー変換を利用すれば、Enface画像と2次元画像とを対応付け、この対応関係から3次元座標と2次元座標とを対応づけることができる。具体的には、ホモグラフィー変換は以下の式(13)によって表現される。
【数5】
【0134】
ここで、h11、h12、h21、h22は、座標位置に不変の固定倍率の拡大縮小を含む回転に、h13、h23は平行移動に用いられる。h31、h32は、座標位置に応じて拡大縮小の倍率が変わる台形状の変換効果があり、sは定数の係数である。以上の式(13)によれば、平面上の座標(X,Y)を別の平面上の座標(x、y)に射影することができる。以上の式(13)に含まれるh11等のパラメータは、複数の代表点についての対応関係を特定すれば決定可能である。従って、検者による指定や特徴量抽出アルゴリズム等でパラメータ算出のために必要な数の代表点を抽出し、式(13)に代入すれば、各パラメータを特定可能であり、この結果、3次元座標と2次元座標とを対応づけることができる。なお、座標(X,Y)、座標(x,y)は、いずれの座標がEnface画像の座標であってもよいし、2次元画像の座標であってもよい。
【0135】
さらに、代表点は、機械学習等によって生成されてもよい。この場合、2次元画像や3次元画像を入力し、代表点の座標を出力する、ニューラルネットワーク等の機械学習モデルが機械学習される。機械学習が終了すると、機械学習モデルに2次元画像や3次元画像を入力することで代表点を特定することができる。
【0136】
さらに、機械学習は、3次元座標と2次元座標との対応関係を定義するための手法として用いられてもよい。このような構成は、例えば、3次元座標および2次元座標を入力し、3次元座標と2次元座標との対応関係を示す情報(例えば、上述の実施形態における変換式の係数等)を出力する機械学習モデルを定義する構成等で実現可能である。すなわち、このような機械学習が終了すると、3次元座標および2次元座標を入力することにより、両座標の対応関係を示す情報が得られ、当該情報を対応関係定義データとみなすことができる。
【0137】
対応関係定義データの態様は、種々の態様であってよい。例えば、上述の実施形態においては、被検眼Eの虹彩部分と虹彩以外の部分とで異なる手法で3次元座標と2次元座標とを対応づけていた。すなわち、虹彩部分においては光線追跡、虹彩以外の部分においてはカラーカメラの内部パラメータおよび外部パラメータによって座標を対応づけていた。しかし、この態様に限定されず、例えば、被検眼Eの全ての部分について光線追跡で座標が対応づけられてもよいし、カラーカメラの内部パラメータおよび外部パラメータによって座標が対応づけられてもよい。
【0138】
基準の色空間は、少なくとも、被検眼Eの色を出力する際にデバイスによる色の変動を抑制するような色空間であれば良い。従って、上述のように、デバイスに依存せずに色を表現可能な色空間(sRGB,CIEXYZ,CIELAB等)が基準の色空間となる構成以外にも、対応関係定義データの利用目的によって基準の色空間が選定されてもよい。例えば、対応関係定義データを利用することによって特定の出力デバイスで表現される色が適正な色であることが保証されればよいのであれば、出力デバイスでの色を表現するための色空間が基準の色空間となってよい。出力デバイスとしては、種々のデバイスが挙げられ、ディスプレイ、プリンター(3Dプリンターを含む)、プロジェクターなど、種々のデバイスであってよい。
【0139】
カラーチャートは、色の校正を行うために参照される複数の色パッチを有していればよく、標準的なカラーチャートに限定されない。例えば、被検眼Eに含まれる色に近い色パッチが標準的なカラーチャートより多ければ、被検眼Eの色校正がより正確になる可能性を高めることができる。
【0140】
白色光源は、検者が知覚する色と同等の色による反射光を発生させ、当該色によって被検眼Eがカラーカメラで撮影されるように被検眼Eを照明することができればよい。従って、色温度は、上述の実施形態における5500Kに限定されず、種々の色温度であってよい。例えば、被検眼Eの対応関係定義データが表示やプリント等に利用される環境に近い状態を再現し得る色温度が選択されてもよい。
【0141】
校正データは、2次元画像の階調値を、基準の色空間の色として表現するための階調値に変換することができればよい。従って、変換方式としては、多項式による変換に限定されず、例えば、代表点における階調値の対応関係を示す色変換テーブルが定義され、当該色変換テーブルに基づいて補間演算が行われることによって階調値の変換が行われてもよい。
【0142】
白色光源を消灯して撮影された画像を除去することで実現させるバックグラウンドの除去は、バックグラウンドとなる光が存在しない状況や、バックグラウンドとなる光の影響が少ない状況においては省略可能である。例えば、眼科装置が備える白色光源以外の光源(例えば、部屋の照明器具等)が消灯された状態で2次元画像が撮影されるのであれば、バックグラウンドの除去は省略されてよい。
【0143】
さらに、光線追跡を利用する際に、光線追跡の結果と内部パラメータ245eおよび外部パラメータ245fとを利用して3次元座標と2次元座標とを対応づける構成に限定されない。例えば、被検眼Eからカラーカメラのレンズ(対物レンズ204、結像レンズ207)を経てエリアセンサ208に至る光線の追跡が行われてもよい。
【0144】
さらに、2次元画像が示す色によって着色する3次元画像には、各種の加工がなされていてもよい。例えば、光干渉断層撮影によって得られた前眼部の3次元画像とOCTアンギオグラフィーで得られた3次元画像とを結合した3次元画像に対して、2次元画像が示す色による着色が行われてもよい。
【0145】
さらに、着色された3次元画像の表示態様は、上述の実施形態のような態様に限定されない。例えば、3次元画像から得られた任意の方向への断層像に対して着色が行われて表示されてもよいし、Enface画像(深さ方向の和)が着色されてもよい。また、仮想的な3次元モデル(被検眼Eの少なくとも一部を斜視図で表現した状態)が着色されてもよい。なお、3次元画像のカラー表示に際しては、校正データ245cに基づく色の構成が実行されず、カラーカメラによって撮影された2次元画像の階調値が利用されてカラー表示が行われてもよい。むろん、検者の選択等によって着色が行われていない状態で3次元画像(断層画像)が表示されてもよい。さらに、対応関係定義データを利用した表示は、着色表示に限定されない。例えば、3次元画像の任意の部位が指示されると、対応関係定義データに基づいて対応する2次元画像の部位が特定され、2次元画像上で示される構成であってもよい。また、2次元画像の任意の部位が指示されると、対応関係定義データに基づいて対応する3次元画像の部位が特定され、3次元画像上で示される構成であってもよい。
【符号の説明】
【0146】
1…光干渉断層撮影装置、10…波長掃引光源、20…サンプル、100…OCT干渉系、104…測定側サーキュレータ、105…参照側サーキュレータ、110…バランスドディテクタ、120…偏波コントローラ、200…アライメント光学系、201…コリメータレンズ、202…ガルバノスキャナ、203…ホットミラー、204…対物レンズ、205…白色光源、206…ビームスプリッタ、207…結像レンズ、208…エリアセンサ、210…固視標光源、211…可変焦点用可動式レンズ、212…コールドミラー、213…ホットミラー、214…リレーレンズ、215…ビームスプリッタ、216…XY位置検出光源、217…結像レンズ、218…2次元位置センサ、219…Z位置検出光源、220…結像レンズ、221…ラインセンサ、230…ディスプレイ、240…制御部、240a…2次元画像取得部、240b…3次元画像取得部、240c…対応関係定義データ生成部、240d…表示制御部、245…記憶媒体、245a…2次元画像データ、245b…3次元画像データ、245c…校正データ、245d…対応関係定義データ、245e…内部パラメータ、245f…外部パラメータ、300…参照光学系、301…参照部、400…k-clock生成用干渉光学系