(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023070264
(43)【公開日】2023-05-19
(54)【発明の名称】走査型イメージング装置、その制御方法、プログラム、及び記録媒体
(51)【国際特許分類】
A61B 3/10 20060101AFI20230512BHJP
【FI】
A61B3/10 100
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2021182322
(22)【出願日】2021-11-09
(71)【出願人】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(74)【代理人】
【識別番号】100124626
【弁理士】
【氏名又は名称】榎並 智和
(72)【発明者】
【氏名】山口 達夫
【テーマコード(参考)】
4C316
【Fターム(参考)】
4C316AA09
4C316AB03
4C316AB04
4C316AB11
4C316FB16
4C316FB29
4C316FZ01
(57)【要約】
【課題】スキャンの成否の判定の迅速化を図る。
【解決手段】例示的な実施形態の眼科検査装置1(走査型イメージング装置)は、互いに交差する一連のサイクルを含む2次元パターンに従う光走査を被検物に適用してデータセットを収集し、このデータセットに基づいて画像データを構築するように構成されている。更に、例示的な実施形態の眼科検査装置1は、画像データを構築するためのサンプリングにおけるサンプル個数を変更するように構成されている。
【選択図】
図3
【特許請求の範囲】
【請求項1】
互いに交差する一連のサイクルを含む2次元パターンに従う光走査を被検物に適用してデータセットを収集するデータセット収集部と、
前記データセットに基づいて画像データを構築する画像データ構築部と、
前記画像データを構築するためのサンプリングにおけるサンプル個数を変更するサンプリング制御部と
を含む、走査型イメージング装置。
【請求項2】
前記サンプリング制御部は、前記サンプリングにおける前記サンプル個数を、第1サンプル個数と、前記第1サンプル個数よりも多い第2サンプル個数とに変更し、
前記画像データ構築部は、前記第1サンプル個数が適用された第1サンプリングで得られた第1データセットに基づいて第1画像データを構築し、前記第2サンプル個数が適用された第2サンプリングで得られた第2データセットに基づいて第2画像データを構築する、
請求項1の走査型イメージング装置。
【請求項3】
前記サンプリング制御部は、前記第1サンプル個数の適用の後に前記第2サンプル個数の適用を行う、
請求項2の走査型イメージング装置。
【請求項4】
前記サンプリング制御部は、前記サンプリングにおける前記サンプル個数を段階的に増加する、
請求項3の走査型イメージング装置。
【請求項5】
前記サンプリング制御部は、
前記画像データ構築部により構築された画像データの品質が良好であるか判定し、
前記画像データの前記品質が良好でないと判定された場合に前記サンプル個数を変更する、
請求項1~4のいずれかの走査型イメージング装置。
【請求項6】
前記サンプリング制御部は、
前記画像データ構築部により構築された画像データの品質が良好であるか判定し、
前記画像データの前記品質が良好であると判定された場合に前記サンプル個数を所定の最大個数に変更する、
請求項1~5のいずれかの走査型イメージング装置。
【請求項7】
前記画像データ構築部により構築された画像データに基づいて表示装置に画像を表示させる表示制御部と、
前記表示装置に表示された前記画像に基づく指示をユーザーが入力するための操作部と
を更に含み、
前記サンプリング制御部は、前記操作部に入力された前記指示に基づいて前記サンプル個数を変更する、
請求項1~4のいずれかの走査型イメージング装置。
【請求項8】
前記サンプリング制御部は、前記サンプル個数を変更するために、前記データセット収集部を制御して前記光走査におけるスキャン点の個数を変更する第1のサンプリング制御部を含む、
請求項1~7のいずれかの走査型イメージング装置。
【請求項9】
前記第1のサンプリング制御部は、前記光走査におけるスキャン点の間隔を変更するように前記データセット収集部を制御する、
請求項8の走査型イメージング装置。
【請求項10】
前記第1のサンプリング制御部は、前記光走査における前記一連のサイクルに含まれるサイクルの個数を変更するように前記データセット収集部を制御する、
請求項8又は9の走査型イメージング装置。
【請求項11】
前記第1のサンプリング制御部は、前記光走査の適用エリアの寸法を変更するように前記データセット収集部を制御する、
請求項8~10のいずれかの走査型イメージング装置。
【請求項12】
前記画像データ構築部は、
前記画像データ収集部により収集された前記データセットからサブデータセットを抽出するデータサンプリングを実行し、
前記データサンプリングにより前記データセットから抽出された前記サブデータセットに基づいて前記画像データを構築し、
前記サンプリング制御部は、前記サンプル個数を変更するために、前記画像データ構築部を制御して、前記データサンプリングにおいて前記データセットから抽出される前記サブデータセットに含まれるデータの個数を変更する第2のサンプリング制御部を含む、
請求項1~11のいずれかの走査型イメージング装置。
【請求項13】
前記第2のサンプリング制御部は、前記データサンプリングにおけるデータ抽出間隔を変更するように前記画像データ構築部を制御する、
請求項12の走査型イメージング装置。
【請求項14】
前記第2のサンプリング制御部は、前記光走査における前記一連のサイクルのうち前記データサンプリングにおけるデータ抽出の対象となるサイクルの個数を変更するように前記画像データ構築部を制御する、
請求項12又は13の走査型イメージング装置。
【請求項15】
前記第2のサンプリング制御部は、前記光走査の適用エリアのうち前記データサンプリングにおけるデータ抽出の対象となるエリアの寸法を変更するように前記画像データ構築部を制御する、
請求項12~14のいずれかの走査型イメージング装置。
【請求項16】
前記データセット収集部は、
光走査のための光を互いに異なる2つの方向に偏向可能な偏向器を含み、
前記2つの方向のうちの一方の方向に沿った偏向方向の変化を第1周期で繰り返しつつ他方の方向に沿った偏向方向の変化を前記第1周期と異なる第2周期で繰り返すことによって前記第1光走査を前記サンプルに適用する、
請求項1~15のいずれかの走査型イメージング装置。
【請求項17】
光走査を行うスキャナと前記光走査で収集されたデータセットから画像データを構築するプロセッサとを含む走査型イメージング装置を制御する方法であって、
前記スキャナ及び前記プロセッサの少なくとも一方の制御を実行して、前記画像データを構築するためのサンプリングにおけるサンプル個数を変更させる、
方法。
【請求項18】
前記サンプル個数を変更するための前記制御は、前記光走査におけるスキャン点の個数を変更するための前記スキャナの制御、及び、データサンプリングによって前記データセットから抽出されるデータの個数を変更するための前記プロセッサの制御の少なくとも一方を含む、
請求項17の方法。
【請求項19】
請求項17又は18の方法をコンピュータに実行させるプログラム。
【請求項20】
請求項19のプログラムが記録されたコンピュータ可読な非一時的記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、走査型イメージング装置、その制御方法、プログラム、及び記録媒体に関する。
【背景技術】
【0002】
イメージング技術の1つに走査型イメージングがある。走査型イメージングとは、被検物の複数の箇所に順次にビームを照射してデータを収集し、収集されたデータから被検物の像を構築する技術である。走査型イメージングの手法には、例えば、投影像がスポット状のビームを用いるスポット型の走査手法、投影像がライン状のビームを用いるライン型の走査手法、及び、投影像がエリア状のビームを用いるエリア型の走査手法などがあり、これらの手法の代表的な例として、それぞれ、フーリエドメイン型の光コヒーレンストモグラフィ(OCT;光干渉断層撮影法)、ラインスキャンカメラ、及び、フルフィールド型のOCTがある。
【0003】
光を利用した走査型イメージングモダリティの例としてOCTが知られている。OCTは、光散乱媒質をマイクロメートルレベル又はそれ以下の分解能で画像化することが可能な技術であり、医用イメージングや非破壊検査などに応用されている。
【0004】
OCTは、低コヒーレンス干渉法に基づく技術である。医用イメージングでは、深達性や侵襲性を考慮し、近赤外領域のプローブ光(測定光)が利用されている。なお、近赤外光以外の波長帯の光(電磁波)や超音波や放射線を利用した走査型イメージングも知られている。
【0005】
OCTの応用が最も進んでいる分野として眼科分野があり、フーリエドメインOCT機能を搭載した製品がクリニックにまで普及している。眼科画像診断では、2次元的なイメージングだけでなく、3次元的なイメージング・構造解析・機能解析なども実用化されており、診断の強力なツールとして広く利用されるに至っている。また、眼科分野では、走査型光検眼鏡(SLO)、ラインスキャンカメラ、フルフィールドOCTなど、フーリエドメインOCT以外の走査型イメージングも利用されている。
【0006】
OCTやSLOで利用される走査モードには様々なものがあるが、モーションアーティファクト補正などを目的とした所謂「リサジュー(Lissajous)スキャン」が近年注目を集めている(例えば、特許文献1~3を参照)。
【0007】
リサジュースキャンは、互いに直交する2つの単振動を合成して得られるリサジュー曲線として生成される2次元パターンに従って実行されるスキャンである。リサジュースキャンでは、或る程度の大きさを持つ複数のループ(互いに交差する複数のサイクル)を描くように測定光を高速走査するため、1つのサイクルからのデータ取得時間の差を実質的に無視することができる。また、異なるサイクルの交差領域を参照してサイクル間の位置合わせを行えるため、被検物の動きに起因するモーションアーティファクトを補正することが可能である。このようなリサジュースキャンの特徴に着目し、眼科分野では眼球運動に起因するモーションアーティファクトへの対処を図っている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2018-68578号公報
【特許文献2】特開2018-140004号公報
【特許文献3】特開2018-140049号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
データ収集中に発生したイベント(例えば、眼球運動、瞬き)や、装置の動作(例えば、制御パラメータ)の影響により、診断のために十分な品質の画像データが得られないことがある。従来のリサジュースキャン技術では、被検物からのデータの収集とこのデータからの画像データの構築とが完了するまで、そのスキャンが成功したかどうか判断することができない。しかも、リサジュースキャンにおいては、他のスキャンモード(例えば、ラスタースキャン)と比べて、画像データ構築のためのデータ処理に多大な時間やリソースを要する。そのため、リサジュースキャンの成否判定には他のスキャンモードの場合よりも多くの時間や手間が掛かり、リサジュースキャンのやり直し(再スキャン)が実用上難しい場面も考え得る。
【0010】
この発明の1つの目的は、スキャンの成否の判定の迅速化を図ることにある。
【課題を解決するための手段】
【0011】
実施形態の例示的な態様に係る走査型イメージング装置は、データセット収集部と、画像データ構築部と、サンプリング制御部とを含む。データセット収集部は、互いに交差する一連のサイクルを含む2次元パターンに従う光走査を被検物に適用してデータセットを収集する。画像データ構築部は、データセット収集部により収集されたデータセットに基づいて画像データを構築する。サンプリング制御部は、画像データを構築するためのサンプリングにおけるサンプル個数を変更する。
【発明の効果】
【0012】
実施形態の例示的な態様によれば、スキャンの成否の判定の迅速化を図ることが可能になる。
【図面の簡単な説明】
【0013】
【
図1】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の構成の一例を表す概略図である。
【
図2】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の構成の一例を表す概略図である。
【
図3】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の構成の一例を表す概略図である。
【
図4A】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の構成の一例を表す概略図である。
【
図4B】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の構成の一例を表す概略図である。
【
図4C】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の構成の一例を表す概略図である。
【
図5】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)が実行するリサジュースキャンのパターンの例を示す概略図である。
【
図6A】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。
【
図6B】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。
【
図6C】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。
【
図6D】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。
【
図6E】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。
【
図7A】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を説明するための図である。
【
図7B】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を説明するための図である。
【
図7C】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を説明するための図である。
【
図8】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を説明するための図である。
【
図9】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。
【
図10】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。
【
図11】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。
【
図12】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。
【
図13】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を説明するための図である。
【
図14】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。
【
図15】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。
【
図16】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。
【
図17】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の動作の一例を表すフローチャートである。
【
図18】実施形態の例示的な態様に係る走査型イメージング装置(眼科検査装置)の構成の一例を表す概略図である。
【発明を実施するための形態】
【0014】
本開示は、実施形態の幾つかの例示的な態様について図面を参照しながら説明する。以下に説明される例示的な態様は、走査型イメージング装置、走査型イメージング装置の制御方法、プログラム、及び記録媒体に関するものであるが、実施形態はこれらの態様に限定されない。
【0015】
また、以下に説明される例示的な態様では眼科分野への幾つかの応用を提供するが、実施形態はこれらの態様に限定されず、例えば、眼科以外の診療科への応用や、診断方法などの医学的方法への応用や、医療分野以外の分野(生物学、非破壊検査など)への応用など、任意の分野への応用であってもよい。
【0016】
本明細書にて引用された文献に開示されている任意の事項や、実施形態に係る技術分野における公知技術に関する任意の事項や、他の技術分野における公知技術に関する任意の事項を、例示的な態様に組み合わせることが可能である。また、本明細書では、特に言及しない限り、「画像データ」とそれに基づき形成及び/又は出力される「画像」とを区別しないものとし、また、被検者(特に被検眼)の「部位」とその「画像データ」及び「画像」とを区別しないものとする。
【0017】
以下に説明する例示的な態様に係る走査型イメージング装置は、眼科分野の検査に使用される装置(眼科検査装置と呼ぶ)であり、フーリエドメインOCT(より具体的には、スウェプトソースOCT)を利用して生体眼の眼底を計測及び画像化することが可能に構成されている。実施形態に採用可能なOCTのタイプは、スウェプトソースOCTに限定されず、例えばスペクトラルドメインOCT又はタイムドメインOCTであってもよい。
【0018】
幾つかの例示的な態様に係る走査型イメージング装置は、OCT以外の走査型イメージングモダリティを利用可能であってよい。例えば、幾つかの例示的な態様は、SLOなどの任意の光走査型イメージングモダリティを採用することができる。
【0019】
幾つかの例示的な態様に係る眼科検査装置は、OCTスキャンで収集されたデータの処理及び/又はSLOで収集されたデータの処理に加え、他のイメージングモダリティで取得されたデータを処理可能であってよい。この「他のイメージングモダリティ」は、例えば、眼底カメラ、スリットランプ顕微鏡、眼科手術用顕微鏡などの任意の眼科イメージングモダリティであってよい。幾つかの例示的な態様に係る眼科検査装置は、OCT及びSLO以外のイメージングモダリティの機能を有していてよい。また、幾つかの例示的な態様に係る眼科検査装置は、特開2013-248376号公報(米国特許出願公開第2015/085252号明細書、米国特許出願公開第2016/345822号明細書)に開示された、2以上の前眼部カメラを用いたアライメント手法(ステレオアライメントなどと呼ばれる)を実行可能であってよい。
【0020】
以下に説明する例示的な態様に係る走査型イメージング装置は、スポット型の走査手法を用いているが、他のタイプの走査手法(例えば、ライン型の走査手法、エリア型の走査手法)を用いる走査型イメージング装置に対して本開示に係る任意の事項を適用できることは、当業者であれば理解できるであろう。
【0021】
また、以下に説明する例示的な態様に係る走査型イメージング装置は、光走査型イメージングモダリティを用いているが、他のタイプの走査型イメージングモダリティ(例えば、光以外の電磁波を利用した走査型イメージングモダリティ、超音波を利用した走査型イメージングモダリティ)を用いる走査型イメージング装置に対して本開示に係る任意の事項を適用できることは、当業者であれば理解できるであろう。
【0022】
走査型イメージングが適用される対象(被検物)は任意であってよい。例示的な態様で説明される眼科応用では眼底に走査型イメージングが適用されるが、前眼部や硝子体など眼の任意の部位に適用してもよい。幾つかの例示的な態様に係る構成や機能を、眼以外の生体の部位(組織)の計測やイメージングに応用することが可能であり、また、生体以外の物体(例えば、動きを伴うもの)又はその部分の計測やイメージングに応用することが可能である。すなわち、幾つかの例示的な態様の産業上の利用分野は、眼科関連分野に限定されず、医療関連分野や獣医学関連分野や生物学関連分野を含んでもよく、より一般に、局所的運動及び/又は大域的運動を伴う任意の被検物に関連する分野を含んでいてもよい。なお、幾つかの例示的な態様の産業上の利用分野は、運動を伴わない被検物に関連する分野を含んでいてもよい。
【0023】
以下に説明する実施形態の様々な態様はいずれも単なる例示に過ぎず、本開示に係る発明を限定することを意図したものではない。
【0024】
実施形態の第1の態様は、互いに交差する一連のサイクルを含む2次元パターンに従う光走査を被検物に適用してデータセットを収集するデータセット収集部と、前記データセットに基づいて画像データを構築する画像データ構築部と、前記画像データを構築するためのサンプリングにおけるサンプル個数を変更するサンプリング制御部とを含む、走査型イメージング装置である。
【0025】
実施形態の第2の態様は、第1の態様の走査型イメージング装置であって、前記サンプリング制御部は、前記サンプリングにおける前記サンプル個数を、第1サンプル個数と、前記第1サンプル個数よりも多い第2サンプル個数とに変更し、前記画像データ構築部は、前記第1サンプル個数が適用された第1サンプリングで得られた第1データセットに基づいて第1画像データを構築し、前記第2サンプル個数が適用された第2サンプリングで得られた第2データセットに基づいて第2画像データを構築する。
【0026】
実施形態の第3の態様は、第2の態様の走査型イメージング装置であって、前記サンプリング制御部は、前記第1サンプル個数の適用の後に前記第2サンプル個数の適用を行う。
【0027】
実施形態の第4の態様は、第3の態様の走査型イメージング装置であって、前記サンプリング制御部は、前記サンプリングにおける前記サンプル個数を段階的に増加する。
【0028】
実施形態の第5の態様は、第1~第4の態様のいずれかの走査型イメージング装置であって、前記サンプリング制御部は、前記画像データ構築部により構築された画像データの品質が良好であるか判定し、前記画像データの前記品質が良好でないと判定された場合に前記サンプル個数を変更する。
【0029】
実施形態の第6の態様は、第1~第5の態様のいずれかの走査型イメージング装置であって、前記サンプリング制御部は、前記画像データ構築部により構築された画像データの品質が良好であるか判定し、前記画像データの前記品質が良好であると判定された場合に前記サンプル個数を所定の最大個数に変更する。
【0030】
実施形態の第7の態様は、第1~第4の態様のいずれかの走査型イメージング装置であって、前記画像データ構築部により構築された画像データに基づいて表示装置に画像を表示させる表示制御部と、前記表示装置に表示された前記画像に基づく指示をユーザーが入力するための操作部とを更に含み、前記サンプリング制御部は、前記操作部に入力された前記指示に基づいて前記サンプル個数を変更する。
【0031】
実施形態の第8の態様は、第1~第7の態様のいずれかの走査型イメージング装置であって、前記サンプリング制御部は、前記サンプル個数を変更するために、前記データセット収集部を制御して前記光走査におけるスキャン点の個数を変更する第1のサンプリング制御部を含む。
【0032】
実施形態の第9の態様は、第8の態様の走査型イメージング装置であって、前記第1のサンプリング制御部は、前記光走査におけるスキャン点の間隔を変更するように前記データセット収集部を制御する。
【0033】
実施形態の第10の態様は、第8又は第9の態様の走査型イメージング装置であって、前記第1のサンプリング制御部は、前記光走査における前記一連のサイクルに含まれるサイクルの個数を変更するように前記データセット収集部を制御する。
【0034】
実施形態の第11の態様は、第8~第10の態様のいずれかの走査型イメージング装置であって、前記第1のサンプリング制御部は、前記光走査の適用エリアの寸法を変更するように前記データセット収集部を制御する。
【0035】
実施形態の第12の態様は、第1~第11の態様のいずれかの走査型イメージング装置であって、前記画像データ構築部は、前記画像データ収集部により収集された前記データセットからサブデータセットを抽出するデータサンプリングを実行し、前記データサンプリングにより前記データセットから抽出された前記サブデータセットに基づいて前記画像データを構築し、前記サンプリング制御部は、前記サンプル個数を変更するために、前記画像データ構築部を制御して、前記データサンプリングにおいて前記データセットから抽出される前記サブデータセットに含まれるデータの個数を変更する第2のサンプリング制御部を含む。
【0036】
実施形態の第13の態様は、第12の態様の走査型イメージング装置であって、前記第2のサンプリング制御部は、前記データサンプリングにおけるデータ抽出間隔を変更するように前記画像データ構築部を制御する。
【0037】
実施形態の第14の態様は、第12又は第13の態様の走査型イメージング装置であって、前記第2のサンプリング制御部は、前記光走査における前記一連のサイクルのうち前記データサンプリングにおけるデータ抽出の対象となるサイクルの個数を変更するように前記画像データ構築部を制御する。
【0038】
実施形態の第15の態様は、第12~第14の態様のいずれかの走査型イメージング装置であって、前記第2のサンプリング制御部は、前記光走査の適用エリアのうち前記データサンプリングにおけるデータ抽出の対象となるエリアの寸法を変更するように前記画像データ構築部を制御する。
【0039】
実施形態の第16の態様は、第1~第15の態様のいずれかの走査型イメージング装置であって、前記データセット収集部は、光走査のための光を互いに異なる2つの方向に偏向可能な偏向器を含み、前記2つの方向のうちの一方の方向に沿った偏向方向の変化を第1周期で繰り返しつつ他方の方向に沿った偏向方向の変化を前記第1周期と異なる第2周期で繰り返すことによって前記第1光走査を前記サンプルに適用する。
【0040】
実施形態の第17の態様は、光走査を行うスキャナと前記光走査で収集されたデータセットから画像データを構築するプロセッサとを含む走査型イメージング装置を制御する方法であって、前記スキャナ及び前記プロセッサの少なくとも一方の制御を実行して、前記画像データを構築するためのサンプリングにおけるサンプル個数を変更させる。
【0041】
実施形態の第18の態様は、第17の態様の方法であって、前記サンプル個数を変更するための前記制御は、前記光走査におけるスキャン点の個数を変更するための前記スキャナの制御、及び、データサンプリングによって前記データセットから抽出されるデータの個数を変更するための前記プロセッサの制御の少なくとも一方を含む。
【0042】
実施形態の第19の態様は、第17又は第18の態様の方法をコンピュータに実行させるプログラムである。
【0043】
実施形態の第20の態様は、第19の態様のプログラムが記録されたコンピュータ可読な非一時的記録媒体である。
【0044】
実施形態の態様は上記した第1~第20の態様に限定されない。例えば、第1の態様に組み合わせることが可能な事項(例えば、第2~第16の態様に係る事項、本開示の実施形態における任意の事項、任意の公知技術など)を、第17~第20の態様に組み合わせることが可能である。
【0045】
後述の例示的な態様は、次の文献に記載されたリサジュースキャン技術を利用している:Yiwei Chen, Young-Joo Hong, Shuichi Makita, and Yoshiaki Yasuno, ”Three-dimensional eye motion correction by Lissajous scan optical coherence tomography”, Biomedical Optics EXPRESS, Vol. 8, No. 3, 1 Mar 2017, PP. 1783-1802。本明細書では、この文献を「Chen」と呼ぶ。実施形態において利用可能なスキャン技術は、これに限定されない。幾つかの例示的な態様は、Chenとは別の文献に記載されたスキャン技術(リサジュースキャン技術、又は、他のスキャンモードに関する技術)を少なくとも部分的に利用してもよい。
【0046】
Chenに記載された技術は、リサジュースキャンで被検物から収集されたデータセットを比較的大きな動きが介在しない複数のサブボリュームに分割し、各サブボリュームの正面プロジェクション画像(en face projection)を構築する。このような正面プロジェクション画像はストリップと呼ばれる。これらストリップの間のレジストレーションを行うことでモーションアーティファクトが補正された画像が得られる。
【0047】
<第1の実施形態>
第1の実施形態について説明する。本実施形態に係る走査型イメージング装置は、リサジュースキャンなどの光走査で被検物から収集されたデータセットに基づき画像データを構築する走査型イメージング装置であって、画像データを構築するためのサンプリングにおけるサンプル個数を変更する機能を具備している。サンプルは、サンプリングにより取得されるデータ(例えば、値又は値の集合)である。
【0048】
このサンプリングは、光走査におけるサンプリング(走査サンプリングと呼ぶ)、及び、光走査で収集されたデータの処理におけるサンプリング(データサンプリングと呼ぶ)の少なくとも一方を含んでいてよい。
【0049】
走査サンプリングは、被検物の複数の部分から(選択的に)データを取得する動作であってよい。本実施形態の走査サンプリングは、例えば、被検物に対する光走査の適用、被検物からのデータセットの収集などであってよい。本実施形態では、走査サンプリング及びそれに関する処理の幾つかの例示的な態様が説明される。
【0050】
データサンプリングは、光走査で収集されたデータ又はそれに基づき生成されたデータから、複数の部分データを抽出する動作であってよい。本開示に係るデータサンプリングは、例えば、連続的データから離散的データを抽出する処理(連続信号の離散信号化、アナログ信号のデジタル信号化、A/D変換)、連続的データから複数の連続的部分データを抽出する処理、連続的データから1以上の連続的部分データ及び1以上の離散的部分データを抽出する処理、離散的データから複数の離散的部分データを抽出する処理などであってよく、又は、これらの処理から任意に選択された処理の組み合わせであってもよい。また、本開示に係るデータサンプリングは、例えば、画像データから複数の部分画像データを抽出する処理、画像データに基づき生成されたデータから複数の部分データを抽出する処理、画像データセット(複数の画像データからなる集合)から複数の部分データセット(複数の画像データからなる集合の部分集合)を抽出する処理、又は、これらの処理から任意に選択された処理の組み合わせであってもよい。データサンプリング及びそれに関する処理については、それらの幾つかの例が第2の実施形態において説明される。
【0051】
<眼科検査装置の構成>
図1に示す眼科検査装置1は、実施形態に係る走査型イメージング装置の例示的な態様である。眼科検査装置1は、眼底カメラユニット2、OCTユニット100、及び処理ユニット200を含む。
【0052】
眼底カメラユニット2には、被検眼Eを正面から撮影するための要素群(光学要素、機構など)が設けられている。眼底カメラユニット2の代わりに、又はそれに加えて、SLOユニットが設けられていてもよい。
【0053】
OCTユニット100には、被検眼EにOCTスキャンを適用するための要素群(光学要素、機構など)の一部が設けられている。OCTスキャンのための要素群の他の一部は、眼底カメラユニット2に設けられている。
【0054】
処理ユニット200は、各種の処理(演算、画像処理、変換、解析、制御など)を実行する1以上のプロセッサを含んでいる。
【0055】
これらのユニットに加え、眼科検査装置1は、被検者の顔を支持するための要素や、OCTスキャンが適用される部位を切り替えるための要素を備えていてもよい。前者の要素の例として、顎受けや額当てがある。後者の要素の例として、OCTスキャン適用部位を眼底から前眼部に切り替えるために使用されるレンズユニットがある。
【0056】
本明細書に開示された幾つかの要素の機能は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。回路構成又は処理回路構成は、開示された機能を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能を実行するハードウェア、又は、開示された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
【0057】
<眼底カメラユニット2>
眼底カメラユニット2には、被検眼Eの眼底Efを撮影するための光学系が設けられている。取得される眼底Efの画像(眼底像、眼底写真などと呼ばれる)は、観察画像、撮影画像などの正面画像である。観察画像は、例えば近赤外光を用いた動画撮影により得られ、アライメント、フォーカシング、トラッキングなどに利用される。撮影画像は、例えば可視領域又は赤外領域のフラッシュ光を用いた静止画像である。
【0058】
眼底カメラユニット2は、照明光学系10と撮影光学系30とを含む。照明光学系10は被検眼Eに照明光を照射する。撮影光学系30は、被検眼Eからの照明光の戻り光を検出する。OCTユニット100からの測定光は、眼底カメラユニット2内の光路を通じて被検眼Eに導かれ、その戻り光は、同じ光路を通じてOCTユニット100に導かれる。
【0059】
照明光学系10の観察光源11から出力された光(観察照明光)は、凹面鏡12により反射され、集光レンズ13を経由し、可視カットフィルタ14を透過して近赤外光となる。更に、観察照明光は、撮影光源15の近傍にて一旦集束し、ミラー16により反射され、リレーレンズ系17、リレーレンズ18、絞り19、及びリレーレンズ系20を経由する。そして、観察照明光は、孔開きミラー21の周辺部(孔部の周囲の領域)にて反射され、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて被検眼E(眼底Ef)を照明する。観察照明光の被検眼Eからの戻り光は、対物レンズ22により屈折され、ダイクロイックミラー46を透過し、孔開きミラー21の中心領域に形成された孔部を通過し、ダイクロイックミラー55を透過し、撮影合焦レンズ31を経由し、ミラー32により反射される。更に、この戻り光は、ハーフミラー33Aを透過し、ダイクロイックミラー33により反射され、結像レンズ34によりイメージセンサ35の受光面に結像される。イメージセンサ35は、所定のフレームレートで戻り光を検出する。なお、撮影光学系30のフォーカス(焦点位置)は、眼底Ef又は前眼部に合致するように調整される。
【0060】
撮影光源15から出力された光(撮影照明光)は、観察照明光と同様の経路を通って眼底Efに照射される。被検眼Eからの撮影照明光の戻り光は、観察照明光の戻り光と同じ経路を通ってダイクロイックミラー33まで導かれ、ダイクロイックミラー33を透過し、ミラー36により反射され、結像レンズ37によりイメージセンサ38の受光面に結像される。
【0061】
液晶ディスプレイ(LCD)39は固視標(固視標画像)を表示する。LCD39から出力された光束は、その一部がハーフミラー33Aに反射され、ミラー32に反射され、撮影合焦レンズ31及びダイクロイックミラー55を経由し、孔開きミラー21の孔部を通過する。孔開きミラー21の孔部を通過した光束は、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて眼底Efに投射される。LCD39における固視標画像の表示位置を変更することで、被検眼Eの視線を誘導する方向(固視方向、固視位置)が変更される。LCDなどの表示デバイスの代わりに、例えば、発光素子アレイ、又は、発光素子とこれを移動する機構との組み合わせを用いてもよい。
【0062】
アライメント光学系50は、被検眼Eに対する光学系の位置合わせ(アライメント)に用いられるアライメント指標を生成する。発光ダイオード(LED)51から出力されたアライメント光は、絞り52、絞り53、及びリレーレンズ54を経由し、ダイクロイックミラー55により反射され、孔開きミラー21の孔部を通過し、ダイクロイックミラー46を透過し、対物レンズ22を介して被検眼Eに投射される。アライメント光の被検眼Eからの戻り光(角膜反射光など)は、観察照明光の戻り光と同じ経路を通ってイメージセンサ35に導かれる。その受光像(アライメント指標像)に基づいてマニュアルアライメントやオートアライメントを実行できる。
【0063】
フォーカス光学系60は、被検眼Eに対するフォーカス調整に用いられるスプリット指標を生成する。撮影光学系30の光路(撮影光路)に沿った撮影合焦レンズ31の移動に連動して、フォーカス光学系60は照明光学系10の光路(照明光路)に沿って移動される。反射棒67は、照明光路に対して挿脱される。フォーカス調整を行う際には、反射棒67の反射面が照明光路に傾斜配置される。LED61から出力されたフォーカス光は、リレーレンズ62を通過し、スプリット指標板63により2つの光束に分離され、二孔絞り64を通過し、ミラー65により反射され、集光レンズ66により反射棒67の反射面に一旦結像されて反射される。更に、フォーカス光は、リレーレンズ20を経由し、孔開きミラー21に反射され、ダイクロイックミラー46を透過し、対物レンズ22を介して被検眼Eに投射される。フォーカス光の被検眼Eからの戻り光(眼底反射光など)は、アライメント光の戻り光と同じ経路を通ってイメージセンサ35に導かれる。その受光像(スプリット指標像)に基づいてマニュアルフォーカシングやオートフォーカシングを実行できる。
【0064】
孔開きミラー21とダイクロイックミラー55との間の撮影光路に、視度補正レンズ70及び71を選択的に挿入することができる。視度補正レンズ70は、強度遠視を補正するためのプラスレンズ(凸レンズ)である。視度補正レンズ71は、強度近視を補正するためのマイナスレンズ(凹レンズ)である。
【0065】
ダイクロイックミラー46は、眼底撮影用光路とOCT用光路(測定アーム)とを合成する。ダイクロイックミラー46は、OCTに用いられる波長帯の光を反射し、眼底撮影用の光を透過させる。測定アームには、OCTユニット100側から順に、コリメータレンズユニット40、リトロリフレクタ41、分散補償部材42、OCT合焦レンズ43、光スキャナ44、及びリレーレンズ45が設けられている。
【0066】
リトロリフレクタ41は、
図1に示す矢印の方向に移動可能とされ、それにより測定アームの長さが変更される。測定アーム長の変更は、例えば、眼軸長に応じた光路長補正や、干渉状態の調整などに利用される。
【0067】
分散補償部材42は、参照アームに配置された分散補償部材113(後述)とともに、測定光LSの分散特性と参照光LRの分散特性とを合わせるよう作用する。
【0068】
OCT合焦レンズ43は、測定アームのフォーカス調整を行うために測定アームに沿って移動される。撮影合焦レンズ31の移動、フォーカス光学系60の移動、及びOCT合焦レンズ43の移動を連係的に制御することができる。
【0069】
光スキャナ44は、実質的に、被検眼Eの瞳孔と光学的に共役な位置に配置される。光スキャナ44は、測定アームにより導かれる測定光LSを偏向する。光スキャナ44は、例えば、x方向のスキャンを行うためのガルバノミラーと、y方向のスキャンを行うためのガルバノミラーとを含む、2次元スキャンが可能なガルバノスキャナである。
【0070】
<OCTユニット100>
図2に例示するように、OCTユニット100には、スウェプトソースOCTを適用するための光学系が設けられている。この光学系は干渉光学系を含む。この干渉光学系は、波長可変光源(波長掃引型光源)からの光を測定光と参照光とに分割し、測定アームによって被検眼Eに導かれた測定光の戻り光と参照アームによって導かれた参照光とを重ね合わせて干渉光を生成し、この干渉光を検出する。干渉光学系により得られたデータ(検出信号)は、干渉光のスペクトルを表すアナログ信号であり、処理ユニット200に送られる。
【0071】
光源ユニット101は、例えば、少なくとも近赤外波長帯において出射波長を高速で変化させる近赤外波長可変レーザーを含む。光源ユニット101から出力された光L0は、光ファイバ102により偏波コントローラ103に導かれてその偏光状態が調整される。更に、光L0は、光ファイバ104によりファイバカプラ105に導かれて測定光LSと参照光LRとに分割される。測定光LSの光路は測定アームと呼ばれ、参照光LRの光路は参照アームと呼ばれる。
【0072】
参照光LRは、光ファイバ110によりコリメータ111に導かれて平行光束に変換され、光路長補正部材112及び分散補償部材113を経由し、リトロリフレクタ114に導かれる。光路長補正部材112は、参照光LRの光路長と測定光LSの光路長とを合わせるよう作用する。分散補償部材113は、測定アームに配置された分散補償部材42とともに、参照光LRと測定光LSとの間の分散特性を合わせるよう作用する。リトロリフレクタ114は、これに入射する参照光LRの光路に沿って移動可能であり、それにより参照アームの長さが変更される。参照アーム長の変更は、例えば、眼軸長に応じた光路長補正や、干渉状態の調整などに利用される。
【0073】
リトロリフレクタ114を経由した参照光LRは、分散補償部材113及び光路長補正部材112を経由し、コリメータ116によって平行光束から集束光束に変換され、光ファイバ117に入射する。光ファイバ117に入射した参照光LRは、偏波コントローラ118に導かれてその偏光状態が調整され、光ファイバ119を通じてアッテネータ120に導かれてその光量が調整され、光ファイバ121を通じてファイバカプラ122に導かれる。
【0074】
一方、ファイバカプラ105により生成された測定光LSは、光ファイバ127により導かれてコリメータレンズユニット40によって平行光束に変換され、リトロリフレクタ41、分散補償部材42、OCT合焦レンズ43、光スキャナ44及びリレーレンズ45を経由し、ダイクロイックミラー46により反射され、対物レンズ22により屈折されて被検眼Eに投射される。測定光LSは、被検眼Eの様々な深さ位置において散乱及び反射される。測定光LSの被検眼Eからの戻り光は、往路と同じ経路を逆向きに進行してファイバカプラ105に導かれ、光ファイバ128を経由してファイバカプラ122に到達する。
【0075】
ファイバカプラ122は、光ファイバ128を介して入射された測定光LSと、光ファイバ121を介して入射された参照光LRとを重ね合わせて干渉光を生成する。ファイバカプラ122は、生成された干渉光を所定の分岐比(例えば1:1)で分岐することで一対の干渉光LCを生成する。一対の干渉光LCは、それぞれ光ファイバ123及び124を通じて検出器125に導かれる。
【0076】
検出器125は、例えばバランスドフォトダイオードを含む。バランスドフォトダイオードは、一対の干渉光LCをそれぞれ検出する一対のフォトディテクタを有し、これらにより得られた一対の検出結果の差分を出力する。検出器125からの出力(検出信号)は、画像データ構築部220に送られる。
【0077】
本例では、測定アーム長を変更するための要素(例えば、リトロリフレクタ41)と、参照アーム長を変更するための要素(例えば、リトロリフレクタ114、又は参照ミラー)との双方が設けられているが、一方の要素のみが設けられていてもよい。また、測定アーム長と参照アーム長との間の差(光路長差)を変更するための要素はこれらに限定されず、任意の要素(光学部材、機構など)であってよい。
【0078】
<制御系・処理系>
眼科検査装置1の制御系及び処理系の構成例を
図3、
図4A、
図4B、及び
図4Cに示す。制御部210、画像データ構築部220、及びデータ処理部230は、例えば、処理ユニット200に設けられている。眼科検査装置1は、外部装置との間でデータ通信を行うための通信デバイスを含んでいてもよい。眼科検査装置1は、記録媒体からのデータ読み出しと、記録媒体へのデータ書き込みとを行うためのドライブ装置(リーダ/ライタ)を含んでいてもよい。
【0079】
<制御部210>
制御部210は、各種の制御を実行する。制御部210は、主制御部211と記憶部212とを含む。
図4Aに示すように、主制御部211は走査制御部2111を含み、記憶部212は走査プロトコル2121を記憶している。
図4Cに示す走査制御部2111Aは、走査制御部2111の例示的な態様であり、サンプリング制御部2112を含んでいる。
【0080】
<主制御部211>
主制御部211は、眼科検査装置1の各要素を制御する。主制御部211は、プロセッサを含むハードウェアと、制御ソフトウェアとの協働によって実現される。走査制御部2111は、OCTスキャンの制御を行う。
【0081】
撮影合焦駆動部31Aは、主制御部211の制御の下に、撮影光路に配置された撮影合焦レンズ31と照明光路に配置されたフォーカス光学系60とを移動する。リトロリフレクタ(RR)駆動部41Aは、主制御部211の制御の下に、測定アームに設けられたリトロリフレクタ41を移動する。OCT合焦駆動部43Aは、主制御部211の制御の下に、測定アームに配置されたOCT合焦レンズ43を移動する。リトロリフレクタ(RR)駆動部114Aは、主制御部211の制御の下に、参照アームに配置されたリトロリフレクタ114を移動する。各駆動部は、主制御部211の制御の下に動作するパルスモータなどのアクチュエータを含む。光スキャナ44は、主制御部211(走査制御部2111)の制御の下に動作する。移動機構150は、眼底カメラユニット2を3次元的に移動するように構成されている。
【0082】
<記憶部212>
記憶部212は各種のデータを記憶する。記憶部212に記憶されるデータとしては、OCT画像、眼底像、被検眼情報、制御情報などがある。被検眼情報は、患者IDや氏名などの被検者情報や、左眼/右眼の識別情報や、電子カルテ情報などを含む。制御情報は、特定の制御に関する情報である。本実施形態の制御情報は、走査プロトコル2121を含む。
【0083】
走査プロトコル2121は、OCTスキャンのための制御の内容に関する取り決めであり、各種制御パラメータ(走査制御パラメータ)の組を含む。走査プロトコル2121は、走査モード毎のプロトコルを含む。本実施形態の走査プロトコル2121は、リサジュースキャンのプロトコルを少なくとも含んでおり、更に、Bスキャン(ラインスキャン)、クロススキャン、ラジアルスキャン、ラスタースキャンなどのプロトコルを含んでいてもよい。
【0084】
本実施形態の走査制御パラメータは、光スキャナ44に対する制御の内容を示すパラメータを少なくとも含む。このパラメータは、例えば、スキャンパターンを示すパラメータ、スキャン速度を示すパラメータ、スキャン点(Aスキャンのxy位置)の個数を示すパラメータ、スキャン点の間隔(スキャン間隔)を示すパラメータ、スキャンが適用されるエリア(走査エリア)の寸法を示すパラメータ、走査エリアの形状を示すパラメータ、走査エリアの位置を示すパラメータなどがある。スキャンパターンは、スキャンの経路の形状を示し、その例として、リサジューパターン、ラインパターン、クロスパターン、ラジアルパターン、ラスターパターンなどがある。スキャン速度は、例えば、Aスキャンの繰り返しレートとして定義されていてよい。スキャン点の個数は、例えば、スキャンパターン全体に含まれるスキャン点の個数、又は、スキャンパターンの一部に含まれるスキャン点の個数として定義されていてよい。後者の例として、リサジュースキャンに関するスキャン点の個数は、1つのサイクルに含まれるスキャン点の個数として定義されていてよい。スキャン間隔は、例えば、隣接するAスキャンの間隔(つまり、スキャン点の配列間隔)、又は、スキャン点の分布密度として定義されていてよい。走査エリアの寸法は、例えば、実空間の距離(例えば、センチメートル)、又は、光スキャナ44の駆動範囲(偏向角度の範囲)として定義されていてよい。走査エリアの形状は、例えば、実空間における形状、又は、光スキャナ44のx方向の駆動範囲及びy方向の駆動範囲として定義されていてよい。走査エリアの位置は、例えば、最大走査エリアの部分エリア、又は、光スキャナ44の最大駆動範囲の部分範囲として定義されていてよい。
【0085】
特許文献1~3やChenに開示されているような従来技術と同様に、本実施形態の「リサジュースキャン」は、互いに直交する2つの単振動を順序対として得られる点の軌跡が描くパターン(リサジューパターン、リサジュー図形、リサジュー曲線、リサジュー関数、バウディッチ曲線)を経路とした「狭義の」リサジュースキャンだけでなく、一連のサイクルを含む所定の2次元パターンに従う「広義の」リサジュースキャンであってもよい。
【0086】
本実施形態の光スキャナ44は、例えば、x方向に測定光LSを偏向する第1ガルバノミラーと、y方向に測定光LSを偏向する第2ガルバノミラーとを含む。リサジュースキャンは、x方向に沿った偏向方向の変化を第1周期で繰り返すように第1ガルバノミラーの制御を行いつつ、y方向に沿った偏向方向の変化を第2周期で繰り返すように第2ガルバノミラーの制御を行うことによって実現される。ここで、第1周期と第2周期とは互いに異なる。
【0087】
例えば、本実施形態のリサジュースキャンは、2つの正弦波の組み合わせから得られる狭義のリサジューパターンのスキャンだけでなく、正弦波に特定項(例えば、奇数次の多項式)を加えて得られるパターンのスキャンや、三角波に基づくパターンのスキャンであってもよい。
【0088】
「サイクル」は、一般に、或る長さを持つ複数のサンプリング点から構成されるオブジェクトを意味する。本実施形態のサイクルは、例えば、閉曲線又はほぼ閉曲線(実質的閉曲線、略閉曲線)であってよい。換言すると、本実施形態のサイクルは、その始点と終点とが一致又はほぼ一致していてよい。
【0089】
典型的には、走査プロトコル2121はリサジュー関数に基づいて設定される。Chenの式(9)に示すように、リサジュー関数は、例えば、次のパラメトリック方程式系(x(ti)、y(ti))で表現される:x(ti)=A・cos(2π・(fA/n)・ti)、y(ti)=A・cos(2π・(fA・(n-2)/n2)・ti)。
【0090】
ここで、「x」はリサジュー曲線が定義される2次元座標系の横軸、「y」は縦軸、「ti」はリサジュースキャンにおける第i番目のAラインの収集時点、「A」はスキャン範囲(振幅)、「fA」はAラインの収集レート(スキャン速度、Aスキャンの繰り返しレート)、nはx方向(横軸方向)の各サイクルにおけるAラインの個数をそれぞれ示す。
【0091】
このような例示的なリサジュースキャンにおけるスキャンラインの分布(スキャンパターン)の例を
図5に示す。
【0092】
(狭義又は広義の)リサジュースキャンに含まれる任意のサイクル対(サイクルのペア)は、少なくとも1点(特に2点以上)で互いに交差する。このような交差を利用することで、リサジュースキャンにおける任意のサイクル対から収集されたデータ対の間のレジストレーションを行うことが可能となり、Chenに開示された手法(画像構築手法とモーションアーティファクト補正手法との組み合わせ)を実装することが可能となる。以下、特に言及しない限り、Chenに記載された手法を適用する場合について説明するが、Chenに記載された手法と同等及び/又は類似の手法を適用することや、それら以外の手法を適用することも可能である。
【0093】
記憶部212に記憶される制御情報は上記の例に限定されない。例えば、制御情報はフォーカス制御を行うための情報(フォーカス制御パラメータ)を含んでいてよい。
【0094】
フォーカス制御パラメータは、OCT合焦駆動部43Aに対する制御の内容を示すパラメータである。フォーカス制御パラメータの例として、測定アームの焦点位置を示すパラメータ、焦点位置の移動速度を示すパラメータ、焦点位置の移動加速度を示すパラメータなどがある。焦点位置を示すパラメータは、例えば、OCT合焦レンズ43の位置を示すパラメータである。焦点位置の移動速度を示すパラメータは、例えば、OCT合焦レンズ43の移動速度を示すパラメータである。焦点位置の移動加速度を示すパラメータは、例えば、OCT合焦レンズ43の移動加速度を示すパラメータである。移動速度は、一定であってもよいし、一定でなくてもよい。移動加速度についても同様である。
【0095】
このようなフォーカス制御パラメータによれば、眼底Efの形状(典型的には、中心部が深く且つ周辺部が浅い凹形状)や収差分布に応じたフォーカス調整が可能になる。フォーカス制御は、例えば、走査制御(リサジュースキャンの繰り返し制御)と連係的に実行される。それにより、モーションアーティファクトが補正され、且つ、スキャン範囲の全体に亘ってピントが合った、高品質の画像が得られる。
【0096】
<走査制御部2111>
走査制御部2111は、走査プロトコル2121に基づいて少なくとも光スキャナ44を制御する。走査制御部2111は、走査プロトコル2121に基づく光スキャナ44の制御と連係して光源ユニット101の制御を更に実行してもよい。走査制御部2111Aの制御の下に動作する要素は、光スキャナ44および光源ユニット101に限定されず、光走査を実行する要素群(データセット収集部)のうちの任意の要素であってよい。走査制御部2111は、プロセッサを含むハードウェアと、走査プロトコル2121を含む走査制御ソフトウェアとの協働によって実現される。
【0097】
<サンプリング制御部2112>
走査制御部2111の例示的な態様である
図4Cの走査制御部2111Aは、サンプリング制御部2112を含んでいる。サンプリング制御部2112は、前述した走査サンプリングに関する制御を実行する。本実施形態の走査サンプリングは、例えば、眼底Efの複数の部分(例えば、複数のAラインによりそれぞれ特定される複数の領域、換言すると、複数のスキャン点によりそれぞれ特定される複数の領域)からデータを収集するリサジュースキャンである。
【0098】
サンプリング制御部2112は、走査サンプリングとして実行されるリサジュースキャンにおけるサンプル個数に関する制御を行うように構成されている。各サンプルは、対応するAライン(対応するスキャン点)により特定される領域からリサジュースキャンで取得されるデータ(又はデータセット)である。
【0099】
サンプル個数は、複数のAライン(複数のスキャン点)により特定される複数の領域からリサジュースキャンで収集されるデータ(又はデータセット)の個数であり、これらAラインの個数、これらスキャン点の個数、及びこれら領域の個数に等しい。
【0100】
サンプル個数は、走査プロトコル2121に記録される走査制御パラメータに関連している。例えば、リサジュースキャンのサンプル個数は、サイクルの個数、スキャン間隔、走査エリアの寸法などに関連している。サイクルの個数については、例えば、或るパラメータ(例えば、スキャン間隔、走査エリアの寸法など)の値を固定すると、サイクルの個数が増加するほどサンプル個数は増加する。スキャン間隔については、例えば、或るパラメータ(例えば、サイクル個数、走査エリアの寸法など)の値を固定すると、スキャン間隔が減少するほどサンプル個数は増加する。走査エリアの寸法(例えば、xy座標系で定義される面積など)については、例えば、或るパラメータ(例えば、サイクルの個数、スキャン間隔など)の値を固定すると、走査エリアの寸法が増加するほどサンプル個数は増加する。他の走査制御パラメータについても同様に考えることができる。
【0101】
サンプリング制御部2112は、画像データを構築するためのサンプリングにおけるサンプル個数を変更するために、光走査(本実施形態ではリサジュースキャン)を実行するための所定の要素(データセット収集部の所定の要素)の制御を行うように構成されている。この制御は、例えば、光源ユニット101の制御、光スキャナ44の制御、OCT合焦駆動部43Aの制御、リトロリフレクタ駆動部41Aの制御、リトロリフレクタ駆動部114Aの制御、及び、検出器125の制御のうちのいずれか1つ以上を含んでいてよい。サンプリング制御部2112は、このような制御によって光走査におけるスキャン点の個数を変更することができ、その結果、画像データを構築するためのサンプリングにおけるサンプル個数を変更することができる。サンプリング制御部2112は、第1のサンプリング制御部の例示的な態様を提供する。
【0102】
幾つかの例示的な態様において、サンプリング制御部2112は、光走査におけるスキャン点の間隔(スキャン点の分布密度)を変更するようにデータセット収集部の制御を行うように構成されていてよい。また、幾つかの例示的な態様において、サンプリング制御部2112は、光走査における一連のサイクルに含まれるサイクルの個数を変更するようにデータセット収集部の制御を行うように構成されていてよい。また、幾つかの例示的な態様において、サンプリング制御部2112は、光走査が適用される走査エリアの寸法を変更するようにデータセット収集部の制御を行うように構成されていてよい。これらの例示的な制御は、例えば、対応する走査制御パラメータの値を変更する処理を含んでいてよい。
【0103】
サンプリング制御部2112により実行される制御の態様は、上記した例示的な制御に限定されず、光走査におけるスキャン点の個数を変更するための(したがって、画像データを構築するためのサンプリングにおけるサンプル個数を変更するための)任意の制御を含んでいてよい。
【0104】
走査制御部2111Aは、サンプリング制御部2112により実行された制御(例えば、走査制御パラメータの変更、つまり走査プロトコル2121の変更)に応じた光走査をデータセット収集部に実行させる。
【0105】
<画像データ構築部220>
画像データ構築部220は、OCTユニット100の検出器125からの出力(検出信号)に基づいてOCT画像データを構築するように構成されている。このOCT画像データ構築は、従来のフーリエドメインOCT(スウェプトソースOCT)と同様に、データサンプリング、ノイズ除去(ノイズ低減)、フィルタリング、高速フーリエ変換(FFT)などを含む。他のタイプのOCT手法が採用される場合、画像データ構築部220は、そのOCTタイプに対応した公知の処理を実行することによってOCT画像データを構築するように構成される。
【0106】
画像データ構築部220は、検出器125により生成された検出信号から各スキャン点(各Aライン)に対応する画像データ(Aスキャン画像データ)を構築する。Aスキャン画像データは、深さ方向(z方向、光軸方向、Aライン方向)に沿った信号プロファイル(反射強度プロファイル、散乱強度プロファイル)を可視化(画像化)することで得られる。
【0107】
本実施形態では、眼底Efにリサジュースキャンが適用される。画像データ構築部220は、リサジュースキャンによって収集されたデータセットに対して、例えばChenに開示された画像構築手法及びモーションアーティファクト補正手法を適用することにより、眼底Efの3次元画像データを構築することができる。
【0108】
画像データ構築部220(又はデータ処理部230)は、構築された3次元画像データにレンダリングを適用して表示用画像を形成することができる。適用可能なレンダリング法の例として、ボリュームレンダリング、サーフェスレンダリング、最大値投影(MIP)、最小値投影(MinIP)、多断面再構成(MPR)などがある。
【0109】
画像データ構築部220(又はデータ処理部230)は、構築された3次元画像データに基づいてOCT正面画像(en face OCT image)を構築することが可能である。例えば、画像データ構築部220(又はデータ処理部230)は、3次元画像データをz方向(Aライン方向、光軸方向、深さ方向)に投影することでプロジェクションデータを構築することができる。また、画像データ構築部220(又はデータ処理部230)は、3次元画像データの一部である部分的3次元画像データをz方向に投影することでシャドウグラムを構築することができる。この部分的3次元画像データは、任意のセグメンテーション手法を利用して設定されてよい。
【0110】
セグメンテーションは、画像中の部分領域を特定する処理である。セグメンテーションは、例えば、眼底Efの1つ以上の組織(部位)に相当する画像領域を特定するために実行される。セグメンテーションは、例えば、閾値処理、エッジ検出、フィルタリング、機械学習(例えば、セマンティックセグメンテーション)などを利用して実行される。
【0111】
眼科検査装置1は、OCT血管造影(OCT-Angiography)を実行可能であってよい。OCT血管造影は、OCTモーションコントラスト撮影(motion contrast imaging)などとも呼ばれ、血管が強調された画像を構築するイメージング技術である(例えば、特表2015-515894号公報を参照)。OCT血管造影では、眼科検査装置1は、眼底Efの同じ領域を所定回数だけ繰り返しスキャンする。例えば、眼科検査装置1は、前述した走査制御(リサジュースキャンの繰り返し制御)を所定回数だけ繰り返し実行する。それにより、リサジュースキャンの適用領域から複数の3次元データ(時系列な3次元データセット)が収集される。画像データ構築部220は、この3次元データセットからモーションコントラスト画像を構築する。このモーションコントラスト画像は、眼底Efの血流に起因する干渉信号の時間的変化が強調された血管造影画像であり、眼底Efの血管の3次元的な分布を表現した3次元血管造影画像データである。画像データ構築部220は、この3次元血管造影画像データから、任意の2次元血管造影画像データ及び/又は任意の擬似的3次元血管造影画像データを構築することができる。例えば、画像データ構築部220は、3次元血管造影画像データに多断面再構成を適用することにより、眼底Efの任意の断面を表す2次元血管造影画像データを構築することができる。また、画像データ構築部220は、3次元血管造影画像データにプロジェクション画像化又はシャドウグラム化を適用することにより、眼底Efの正面血管造影画像データを構築することができる。
【0112】
画像データ構築部220は、プロセッサを含むハードウェアと、画像構築ソフトウェアとの協働によって実現される。画像データ構築部220の例示的な態様を
図4Bに示す。この例示的な態様の画像データ構築部220は、データ収集システム(DAS)2200を含んでいる。更に、この例示的な態様の画像データ構築部220は、リサジュースキャンで収集されたデータセットを処理するための要素群として、ストリップ構築部2210と、マスク画像生成部2211と、範囲調整部2212と、合成画像生成部2213と、相互相関関数算出部2214と、相関係数算出部2215と、xyシフト量算出部2216と、レジストレーション部2217と、マージ処理部2218と、zシフト量算出部2220と、画像データ補正部2230とを含んでいる。
【0113】
画像データ構築部220は、リサジュースキャンで眼底Efから収集されたデータセットに基づいて複数のストリップを構築し、これらストリップに対してレジストレーション及びマージ処理を適用することでモーションアーティファクトが補正された画像を構築するように構成されている。
【0114】
リサジュースキャンの特性として、任意の2つのストリップはオーバーラップ領域を有している。Chenに記載された手法と同様に、画像データ構築部220は、ストリップ間のオーバーラップを利用してストリップ間のレジストレーションを行う。画像データ構築部220は、複数のストリップを大きさ(面積など)に従って順序付け(第1~第Nのストリップ)、最大のストリップである第1のストリップを初期基準ストリップに指定する。次に、画像データ構築部220は、第1のストリップを基準として第2のストリップのレジストレーションを行い、第1のストリップと第2のストリップとをマージする(合成する)。画像データ構築部220は、これにより得られたマージストリップを基準ストリップとして第3のストリップのレジストレーションを行い、このマージストリップと第3のストリップとをマージする。このようなレジストレーション及びマージ処理を上記順序に従って順次に実行することにより第1~第Nのストリップの位置合わせ及び貼り合わせがなされ、モーションアーティファクトが補正された画像が得られる。
【0115】
このようなレジストレーションでは、基準ストリップと他のストリップとの間の相対位置を求めるために相互相関関数が利用されるが、ストリップは任意の形状を有するため、各ストリップを特定形状(例えば正方形状)の画像として扱うためのマスクを用いてストリップ間の相関演算が行われる(ChenのAppendix Aを参照)。
【0116】
ストリップは所定階調の強度画像であり、マスク画像は二値画像である。そのため、ストリップの画素値の絶対値とマスクの画素値の絶対値との差が大きくなり、ストリップとマスクとを用いた相関演算におけるマスクの効果が無視されて正しい相関係数が得られないおそれがある。特に、コストなどの観点から、ストリップ間の相関係数を求めるために単精度浮動小数点型(フロート型)の演算を採用した場合、有効桁数の少なさに起因する丸め誤差の影響により、この問題が顕著に現れる。この丸め誤差の問題は、画像データ構築部220により実行される後述の処理によって解消される。
【0117】
<データ収集システム2200>
データ収集システム2200は、検出器125から入力される検出信号のデジタル化(サンプリング及び量子化)を行う。
【0118】
データ収集システム2200には、光源ユニット101からクロックKCが供給される。クロックKCは、光源ユニット101において、波長可変光源により所定の波長範囲内で掃引される各波長の出力タイミングに同期して生成される。光源ユニット101は、例えば、各出力波長の光L0を分岐して2つの分岐光を生成し、これら分岐光の一方を光学的に遅延させ、これら分岐光を合成し、得られた合成光を検出し、その検出結果に基づいてクロックKCを生成する。
【0119】
データ収集システム2200は、このクロックKCに基づいて、検出器125から入力される連続信号(検出信号)を一定の間隔で測定することにより離散信号として収集する。換言すると、データ収集システム2200は、このクロックKCを用いて検出信号のサンプリングを実行する。
【0120】
更に、データ収集システム2200は、このサンプリングで得られた信号に量子化を適用することでデジタル信号を生成する。データ収集システム2200は、このデジタル信号(又は、このデジタル信号に所定の信号処理を適用して得られたデジタル信号)を出力する。データ収集システム2200からの出力はストリップ構築部2210に入力される。
【0121】
<ストリップ構築部2210>
ストリップ構築部2210は、データ収集システム2200により生成されたデジタル信号に基づいて複数のストリップを構築する。Chenに記載されているように、ストリップ構築部2210は、リサジュースキャンで収集されたボリューム(3次元データ)を比較的大きな動きが介在しない複数のサブボリュームに分割し、各サブボリュームの正面プロジェクション画像(en face projection)を構築する。この正面プロジェクション画像がストリップである。
【0122】
詳細については後述するが、このようにして得られた複数のストリップに対してレジストレーション及びマージ処理を適用することによって、モーションアーティファクトが補正された画像が得られる。以下に説明する例では、任意の2つのストリップの一方が基準ストリップ(reference strip)を指定するとともに、この基準ストリップに対して他方のストリップ(対象ストリップ;registering strip)を位置合わせするようにレジストレーションを実行するが、画像データ構築の手法はこれに限定されない。
【0123】
<マスク画像生成部2211>
マスク画像生成部2211は、基準ストリップに応じた基準マスク画像と、対象ストリップに応じた対象マスク画像とを生成する。マスク画像の幾つかの例を以下に説明するが、これらに限定されるものではない。
【0124】
マスク画像の輪郭形状は、例えば矩形であり、典型的には正方形である。基準マスク画像の形状と対象マスク画像の形状とは同じであってよい。また、基準マスク画像の寸法と対象マスク画像の寸法とは同じであってよい。
【0125】
マスク画像の画素値の範囲は、例えば閉区間[0,1]に含まれるように設定される。典型的には、マスク画像は、画素値が0又は1の二値画像であってよい。具体例として、マスク画像は、ストリップの定義域に対応する領域内の画素の値が1であり、他の画素の値が0である二値画像である。換言すると、Chenの式(20)に示すように、例示的なマスク画像の画素値は、対応するストリップの画像エリアにおける値が1であり、他のエリアにおける値が0である。
【0126】
<範囲調整部2212>
範囲調整部2212は、基準マスク画像の画素値の範囲と、対象マスク画像の画素値の範囲とに基づいて、基準ストリップの画素値の範囲と、対象ストリップの画素値の範囲とを調整するように構成される。典型的には、範囲調整部2212は、ストリップの画素値の範囲とマスク画像の画素値の範囲との間の差を小さくするように、基準ストリップの画素値の範囲及び対象ストリップの画素値の範囲の調整を行う。
【0127】
一般に、範囲調整部2212は、基準ストリップの画素値の範囲と、対象ストリップの画素値の範囲と、マスク画像の画素値の範囲とを相対的に調整する。典型的な例では、基準ストリップに適用される基準マスク画像と、対象ストリップに適用される対象マスク画像とは異なり、範囲調整部2212は、基準ストリップの画素値の範囲と、対象ストリップの画素値の範囲と、基準マスク画像の画素値の範囲と、対象ストリップの画素値の範囲とを相対的に調整する。
【0128】
範囲調整部2212は、基準ストリップの画素値の範囲と基準マスク画像の画素値の範囲とを小さくするように基準ストリップの画素値の範囲と基準マスク画像の画素値の範囲とを調整し、且つ、対象ストリップの画素値の範囲と対象マスク画像の画素値の範囲とを小さくするように、対象ストリップの画素値の範囲と対象ストリップの画素値の範囲とを相対的に調整するように構成される。
【0129】
範囲調整部2212は、ストリップ及びマスク画像の一方の画素値の範囲を他方の画素値の範囲に一致させるように、ストリップの画素値の範囲とマスク画像の画素値の範囲とを調整するように構成されてよい。例えば、範囲調整部2212は、基準ストリップの画素値の範囲と基準マスク画像の画素値の範囲とを一致させるように基準ストリップの画素値の範囲と基準マスク画像の画素値の範囲とを調整し、且つ、対象ストリップの画素値の範囲と対象マスク画像の画素値の範囲とを一致させるように、対象ストリップの画素値の範囲と対象ストリップの画素値の範囲とを相対的に調整するように構成されてよい。
【0130】
例えば、範囲調整部2212は、マスク画像の画素値の範囲に応じてストリップの画素値の範囲を正規化するように構成される。この正規化(規格化)の幾つかの例を以下に説明するが、これらに限定されるものではない。
【0131】
正規化の第1の例を説明する。マスク画像の画素値の範囲が閉区間[0,1]に含まれる場合において、範囲調整部2212は、ストリップの各画素の値を、このストリップにおける最大画素値で除算する。本例では、範囲調整部2212は、まず、ストリップの全ての画素の値を比較して最大値(最大画素値)を特定し、このストリップの各画素の値を最大画素値で除算する。これにより、ストリップの画素値の範囲が、マスク画像の画素値の範囲と同じ閉区間[0,1]に一致される。
【0132】
正規化の第2の例を説明する。マスク画像の画素値の範囲が閉区間[0,1]に含まれる場合において、範囲調整部2212は、ストリップの各画素の値を、このストリップの画素値の範囲の最大値で除算する。ストリップの画素値の範囲は予め設定されており、範囲調整部2212は、この範囲の上限値(最大値)でストリップの各画素の値を除算する。本例によっても、ストリップの画素値の範囲が、マスク画像の画素値の範囲と同じ閉区間[0,1]に一致される。
【0133】
範囲調整部2212が実行する処理により、ストリップの画素値の絶対値とマスクの画素値の絶対値との差を小さくすることができ、ストリップとマスクとを用いた相関演算においてマスクの効果が無視されることが無くなり、相関係数の算出を正確に行うことが可能となる。特に、単精度浮動小数点型(フロート型)の演算を採用した場合であっても、有効桁数の少なさに起因する丸め誤差の影響を排除する(低減する)ことができる。
【0134】
本明細書ではストリップの画素値の範囲のみを変更する例について主に説明するが、マスク画像の画素値の範囲のみを変更してもよいし、ストリップの画素値の範囲とマスク画像の画素値の範囲との双方を変更してもよい。
【0135】
<合成画像生成部2213>
範囲調整部2212による画素値範囲調整が適用されたストリップ及びマスク画像について、合成画像生成部2213は、基準ストリップ及び対象ストリップのそれぞれにマスク画像を合成して2つの合成画像を生成する。典型的には、合成画像生成部2213は、基準ストリップに基準マスク画像を合成して基準合成画像を生成し、且つ、対象ストリップに対象マスク画像を合成して対象合成画像を生成する。
【0136】
ストリップとマスク画像とを合成する処理は、Chenと同じ要領で実行されてよい。ただし、Chenの手法とは異なり、本実施形態では、ストリップの画素値の範囲とマスク画像の画素値の範囲との間の差を小さくなるように調整されている。典型的には、基準マスク画像及び対象マスク画像の画素値の範囲に一致するように、基準ストリップ及び対象ストリップの画素値の範囲が正規化されている。
【0137】
例えば、Chenの式(19)と同じ要領で、合成画像生成部2213は、画素値範囲が正規化されたストリップを、マスク画像と同じ寸法及び同じ形状の画像に埋め込むように構成されてよい。
【0138】
更に、合成画像生成部2213は、ストリップの埋め込み画像とマスク画像との合成画像を生成する。この合成画像は、Chenにおける「f´(r)mf(r)」(第1800頁の第2行目など)に相当するが、前述したように、ストリップの埋め込み画像の値が式(19)のそれとは異なっている。
【0139】
<相互相関関数算出部2214>
相互相関関数算出部2214は、合成画像生成部2213により生成された2つの合成画像に基づいて複数の相互相関関数を求める。相互相関関数の算出は、Chenと同じ要領で実行されてよい。例えば、相互相関関数算出部2214は、基準ストリップ及び基準マスク画像から生成された基準合成画像と、対象ストリップ及び対象マスク画像から生成された対象合成画像とに基づいて、Chenの式(33)に含まれる6個の相互相関関数(画像相互相関、image cross-correlation)を算出する。
【0140】
<相関係数算出部2215>
相関係数算出部2215は、相互相関関数算出部2214により算出された複数の相互相関関数に基づいて相関係数を算出する。この演算は、Chenの式(33)に従って実行されてよい。
【0141】
<xyシフト量算出部2216>
xyシフト量算出部2216は、相関係数算出部2215により算出された相関係数に基づいて、基準ストリップと対象ストリップとの間のxy方向(ラテラル方向、横方向)のシフト量を算出する。
【0142】
例えば、xy方向シフト量を算出するための演算は、Chenの「rough lateral motion correction」(第1787頁)に相当する演算を含んでいてよい。この場合、xyシフト量算出部2216は、相互相関関数の最大値を求めることによってxy方向シフト量を推定するように構成される。
【0143】
更に、xyシフト量算出部2216は、スロードリフト(slow drift)やトレモア(tremor)などの眼球運動に起因するラテラル方向の小さなシフト量を算出するために、Chenの「fine lateral motion correction」(第1789頁)に相当する演算を実行するように構成されてもよい。
【0144】
<レジストレーション部2217>
レジストレーション部2217は、xyシフト量算出部2216により算出されたラテラル方向のシフト量に基づいて、ラテラル方向のレジストレーションを実行する。例えば、このレジストレーションは、Chenの「rough lateral motion correction」に相当する処理を含んでいてよい。レジストレーション部2217は、xyシフト量算出部2216により算出されたラテラル方向のシフト量を打ち消すように、基準ストリップと対象ストリップとの間のレジストレーションを実行するように構成される。
【0145】
xyシフト量算出部2216がChenの「fine lateral motion correction」に相当する演算を実行した場合、レジストレーション部2217は、この「fine lateral motion correction」に相当するレジストレーションを実行することによって、基準ストリップと対象ストリップとの間のラテラル方向の小さなモーションアーティファクトを除去することができる。
【0146】
<マージ処理部2218>
マージ処理部2218は、レジストレーション部2217により相対位置調整がなされた基準ストリップと対象ストリップとのマージ画像を構築する。この処理は、Chenに記載された手法と同じ要領で実行されてよい。
【0147】
前述したように、本例では、画像データ構築部220により構築された複数のストリップを大きさに応じた順序付けに従って、上記した一連の処理を逐次に実行する。これにより、画像データ構築部220によって構築された複数のストリップから、ラテラル方向のモーションアーティファクトが補正されたマージ画像が得られる。このマージ画像は、典型的には、リサジュースキャンが適用された範囲全体を表現した画像である。
【0148】
前述したように、複数のストリップは、リサジュースキャンで収集されたボリューム(3次元データ)を分割して得られた複数のサブボリュームに基づく複数の正面プロジェクション画像である。したがって、本例において複数のストリップから構築されるマージ画像は、ラテラル方向の位置調整がなされた複数のサブボリューム(及びそれらのマージ画像)を提供する。ラテラル方向に直交するアキシャル方向(z方向、Aライン方向、光軸方向、深さ方向)のレジストレーション及びマージ処理は、本例では、zシフト量算出部2220及び画像データ補正部2230によって実行される。
【0149】
<zシフト量算出部2220>
zシフト量算出部2220は、リサジュースキャンで収集されたボリュームを分割して得られた複数のサブボリューム(つまり、複数のストリップの元になった複数のサブボリューム)の間のz方向(Aライン方向、光軸方向、深さ方向)のシフト量を算出する。
【0150】
本例では、xy方向(ラテラル方向、横方向)の位置調整を実行した後に、zシフト量算出部2220及び画像データ補正部2230によってz方向の位置調整を実行する。本例のzシフト量算出部2220は、マスク画像生成部2211~マージ処理部2218により実行された処理で得られたデータ(例えば、xy方向シフト量データ、マージ画像)を利用してz方向のシフト量を算出するように構成されてよい。
【0151】
zシフト量算出部2220が実行する処理の例を説明する。xy方向シフト量算出において考慮されるストリップのペア(基準ストリップ及び対象ストリップ)と同様に、z方向シフト量算出においてもサブボリュームのペアが考慮される。サブボリュームのペアは、xy方向シフト量算出において考慮された基準ストリップ及び対象ストリップに対応する2つのサブボリュームであってよく、これらサブボリュームをそれぞれ基準サブボリューム及び対象サブボリュームと呼ぶ。
【0152】
対応する基準ストリップ及び対象ストリップの間のxy方向のレジストレーションの結果に基づいて、基準サブボリューム及び対象サブボリュームは、xy方向の位置調整がなされている。また、前述したように、リサジュースキャンにおける任意の2つのストリップは4箇所で重複(交差)しており、したがって、任意の2つのサブボリュームも4箇所で重複(交差)している。
【0153】
zシフト量算出部2220は、まず、xy方向の位置調整がなされた基準サブボリュームと対象サブボリュームとの交差領域(共通領域)を特定する。各交差領域は、3次元画像データである。
【0154】
次に、zシフト量算出部2220は、特定された交差領域に断面を設定する。この断面は、例えば、xy平面における任意の軸(例えば、x軸、y軸、又は、x軸及びy軸の双方に斜交する軸)とz軸とによって貼られた平面である。なお、断面は平面に限定されず、曲面などであってもよい。
【0155】
次に、zシフト量算出部2220は、設定された断面の画像を基準サブボリュームから構築し、且つ、同断面の画像を対象サブボリュームから構築する。基準サブボリュームから構築された断面画像を基準断面画像と呼び、対象サブボリュームから構築された断面画像を対象断面画像と呼ぶ。基準断面画像と対象断面画像とは、xy方向のレジストレーションがなされた基準サブボリュームと対象サブボリュームとの交差領域における同じ断面を表す画像である。
【0156】
次に、zシフト量算出部2220は、基準断面画像を解析して被検眼Eの所定部位の像を特定し、且つ、対象断面画像を解析して同部位の像を特定する。この部位は、任意の部位であってよく、例えば眼底Efの表面(網膜表面、内境界膜、網膜と硝子体との境界)であってよい。また、被検眼Eに人工物が移植されている場合、この人工物の像を特定してもよい。所定部位の像を特定するための解析は、例えば、セグメンテーションを含んでいてよい。
【0157】
次に、zシフト量算出部2220は、基準断面画像から特定された所定部位の像(基準像)のz座標を求め、且つ、対象断面画像から特定された所定部位の像(対象像)のz座標を求める。典型的には、所定部位の像は複数の画素からなり、これらの画素のz座標は一定ではない。例えば、一般に、網膜表面の大局的な形状は+z方向に凸な湾曲形状であり、その局所的箇所の像(基準像及び対象像の例)はz軸に対して少なくとも部分的に傾斜している。zシフト量算出部2220は、所定部位の像を構成する画素群の少なくとも1つの画素に基づいて、この像のz座標を求めることができる。例えば、この画素群からz座標の統計量を求め、この統計量を当該像のz座標に採用することができる。この統計量は、任意の代表値(要約統計量)であってよく、その例として、最大値、最小値、平均値、中央値、最頻値、分位点などがある。一方、所定部位の像が単一の画素からなる場合には、この画素のz座標を所定部位のz座標として採用することができる。
【0158】
次に、zシフト量算出部2220は、基準像のz座標と対象像のz座標との差(z方向のシフト量)を求める。幾つかの例示的な態様では、z方向シフト量が閾値を超える場合に画像データ補正部2230による補正処理を実行するように処理制御を行うことができる。この閾値は、例えば、ゼロ又は正値であり、予め設定された固定値又は可変値であってよい。
【0159】
上記した例では、3次元画像データ(サブボリューム)から2次元画像データ(断面画像)を構築してz方向シフト量を求めているが、幾つかの例示的な態様では、2次元画像データの構築を行うことなく3次元画像データからz方向シフト量を求めてもよい。この場合、基準断面画像及び対象断面画像のペアに対して実行されたものと同様の処理を基準サブボリューム及び対象サブボリュームのペアに対して実行することができる。
【0160】
上記した例では、3次元画像データ(サブボリューム)から2次元画像データ(断面画像)を構築し、この2次元画像データから所定部位の像を特定してz方向シフト量を求めているが、幾つかの例示的な態様では、3次元画像データから所定部位の像を特定し、この所定部位の像の2次元画像データを構築してz方向シフト量を求めてもよい。
【0161】
また、zシフト量算出部2220は、基準サブボリューム及び対象サブボリュームのペアに基づき算出される相関係数に基づいて、基準サブボリュームと対象サブボリュームとの間のz方向シフト量を求めるように構成されてもよい。サブボリューム間の相関係数を求める方法は、例えば、相関係数算出部2215により実行される相関係数演算方法と同様であってよい。
【0162】
z方向シフト量を算出するための方法は以上に例示した方法には限定されず、基準サブボリューム及び対象サブボリュームのペアに対して適用可能な任意の方法であってよく、又は、サブボリュームと異なるオブジェクトのペアに対して適用可能な任意の方法であってもよい。サブボリュームと異なるオブジェクトの例として、サブボリュームのレンダリング画像(x方向又はy方向にプロジェクションした画像など、z方向の次元を有する画像)がある。
【0163】
<画像データ補正部2230>
画像データ補正部2230は、マスク画像生成部2211~マージ処理部2218によりxy方向の位置調整がなされた複数のサブボリュームに対して、zシフト量算出部2220により取得されたz方向シフト量に基づくz方向の位置調整を適用するように構成されている。
【0164】
xy方向シフト量に基づくレジストレーションを実行するレジストレーション部2217と同様に、画像データ補正部2230は、zシフト量算出部2220により取得された対応するz方向シフト量を打ち消すように、基準サブボリュームと対象サブボリュームとの間のレジストレーションを実行する。
【0165】
前述したように、幾つかの例示的な態様では、画像データ補正部2230は、対応するz方向シフト量が閾値を超える場合にのみ、基準サブボリュームと対象サブボリュームとの間のレジストレーションを実行するように制御されてよい。
【0166】
画像データ補正部2230による位置調整の結果として得られる画像データは、x方向、y方向、及びz方向の全てにおいてレジストレーションがなされたサブボリューム群、つまり、3次元的レジストレーションがなされたサブボリューム群である。このようなレジストレーションを適用する前のサブボリューム群は、リサジュースキャンで収集されたボリュームである。データ処理部230は、3次元的レジストレーションにより得られたサブボリューム群を再合成することによって、3次元的レジストレーションが適用されたボリュームが得られる。
【0167】
3次元的レジストレーションが適用されたデータセットを、任意の処理(画像処理、後処理、解析、評価、可視化、レンダリングなど)に利用することができる。これにより、従来よりも高い正確度及び高い精度でモーションアーティファクトが補正された3次元データセットを用いて所望の処理を実行することが可能になる。
【0168】
なお、zシフト量算出部2220及び画像データ補正部2230は、z方向のモーションアーティファクトを除去するために、Chenの「axial motion correction (rough axial motion correction 及び/又は fine axial motion correction」(第1789頁~第1790頁)に相当するレジストレーションを実行するように構成されてもよい。
【0169】
<データ処理部230>
データ処理部230は、各種のデータ処理を適用するように構成されている。データ処理部230は、プロセッサを含むハードウェアと、データ処理ソフトウェアとの協働によって実現される。
【0170】
データ処理部230により実行されるデータ処理は、任意のデータ処理であってよく、例えば、画像処理、画像解析、数値解析、計算、制御、機械学習、数理最適化、統計演算、探索的データ解析(データマイニングなど)、機械知覚、自然言語処理、統語的パターン認識、検索、診断支援、バイオインフォマティクス処理、ブレインマシンインターフェイス処理、ケモインフォマティクス処理、音声認識、文字認識、物体認識、コンピュータビジョン、ソフトウェア工学処理などであってよい。
【0171】
データ処理部230により処理される画像データは、任意の画像データであってよく、例えば、画像データ構築部220により生成された画像データ、眼底カメラユニット2により生成された画像データ、任意のOCT画像データ、任意の観察画像データ、任意の撮影画像データ、任意のモダリティで取得された画像データ、任意の画像処理を介して生成された画像データ、コンピュータグラフィクスを用いて生成された画像データ、機械学習で訓練された人工知能エンジン(例えば、ニューラルネットワーク)を用いて生成された画像データ、電子カルテデータに記録されている画像データ(例えば、シェーマ図、イラスト)などであってよい。
【0172】
<ユーザーインターフェイス240>
ユーザーインターフェイス240は表示部241と操作部242とを含む。表示部241は表示装置3を含む。操作部242は各種の操作デバイスや入力デバイスを含む。ユーザーインターフェイス240は、例えばタッチパネルのような表示機能と操作機能とが一体となったデバイスを含んでいてもよい。ユーザーインターフェイス240の少なくとも一部を含まない実施形態を構築することも可能である。例えば、表示デバイスは、眼科検査装置1に接続された外部装置であってよい。
【0173】
<データ受付部250>
データ受付部250は、外部装置からデータを取得する。この外部装置は、例えば、コンピュータ、記憶装置、記録媒体、情報システム(例えば、病院情報システム、電子カルテシステム、画像アーカイビングシステム)などであってよい。また、外部装置は、例えば、眼科検査装置1に直接に接続された装置、ローカルエリアネットワーク(LAN)を介して眼科検査装置1に接続された装置、ワイドエリアネットワーク(WAN)を介して眼科検査装置1に接続された装置などであってよい。
【0174】
データ受付部250は、例えば、通信インターフェイス、ドライブ装置などを含んでいてもよい。また、データ受付部250は、紙葉類に記録されたデータを読み取るためのスキャナを含んでいてもよい。また、データ受付部250は、ユーザーがデータを入力するための入力デバイスを含んでいてもよい。入力デバイスは、キーボード、ペンタブレットなどであってよい。
【0175】
<動作>
眼科検査装置1の動作について説明する。ここに説明する動作は例示に過ぎない。例えば、幾つかの例示的な態様は、本開示に係る動作例における一連の工程の少なくとも一部の工程を実行するように構成されていてよい。幾つかの例示的な態様では、本開示に係る動作例における一連の工程の少なくとも一部の工程が他の工程に置換されてよい。幾つかの例示的な態様では、本開示に係る動作例における一連の工程の少なくとも一部の工程に任意の工程を組み合わせてもよい。
【0176】
<第1の動作例>
リサジュースキャンで収集されたデータセットから画像データを構築する処理の例について、
図6A~
図6Eを参照しつつ説明する。本例の画像データ構築は、モーションアーティファクト補正を内在している。なお、患者IDの入力、走査モードの設定(リサジュースキャンの指定)、固視標の提示、アライメント、フォーカス調整、OCT光路長調整など、従来と同様の準備動作が、ステップS1の前に実行される。
【0177】
(S1:リサジュースキャン)
所定の走査開始トリガー信号を受けて、走査制御部2111は、被検眼E(眼底Ef)に対するOCTスキャン(リサジュースキャン)の適用を開始する。このリサジュースキャンは前述した走査サンプリングの例である。このリサジュースキャンのサンプル個数は、サンプリング制御部2112(又はユーザー)によって予め設定された値でもよいし、デフォルト値でもよい。
【0178】
走査開始トリガー信号は、例えば、所定の準備動作(アライメント、フォーカス調整、OCT光路長調整など)が完了したことに対応して自動で生成され、又は、操作部242を用いて走査開始指示操作が行われたことに対応して生成される。
【0179】
走査制御部2111は、走査プロトコル2121(リサジュースキャンに対応したプロトコル)に従って光スキャナ44及びOCTユニット100などを制御することにより、眼底Efにリサジュースキャンを適用する。このリサジュースキャンで収集されたデータセット(アナログデータセット)は画像データ構築部220に送られる。
【0180】
(S2:複数のストリップを構築する)
画像データ構築部220のデータ収集システム2200は、ステップS1で収集されたアナログデータセットをデジタルデータセットに変換し、ストリップ構築部2210は、このデジタルデータセットに基づいて複数のストリップを構築する。
【0181】
(S3:基準ストリップと対象ストリップを設定する)
画像データ構築部220は、ステップS2で構築された複数のストリップを寸法(面積など)に従って順序付けする。本例では、ステップS2で構築された複数のストリップの個数をN個(Nは2以上の整数)とする。また、順序付けにより指定された順序に従って、これらN個のストリップを、第1のストリップ、第2のストリップ、・・・、第Nのストリップと呼ぶ。また、第1~第Nのストリップのうちの任意のストリップを第nのストリップと呼ぶことがある(n=1、2、・・・、N)。このように、第1のストリップは最も大きなストリップであり、第2のストリップは2番目に大きなストリップであり、第nのストリップはn番目に大きなストリップであり、第Nのストリップは最も小さなストリップである。
【0182】
本例において、画像データ構築部220は、第1のストリップを初期基準ストリップに設定し、第2のストリップを初期対象ストリップに設定する。
【0183】
基準ストリップ及び対象ストリップは、それぞれ、ChenのAppendix Aにおける任意形状の画像(arbitrary shaped images)f(r)及びg(r)に相当する。
【0184】
(S4:基準マスク画像と対象マスク画像を設定する)
マスク画像生成部2211は、基準ストリップに対応するマスク画像(基準マスク画像)と、対象ストリップに対応する対象マスク画像とを生成する。
【0185】
この段階では、マスク画像生成部2211は、第1のストリップ及び第2のストリップにそれぞれ対応する2つのマスク画像を生成する。画像データ構築部220は、第1のストリップに対応する第1のマスク画像を初期基準マスク画像に設定し、第2のストリップに対応する第2のマスク画像を初期対象マスク画像に設定する。
【0186】
なお、基準マスク画像及び対象マスク画像は、それぞれ、ChenのAppendix Aにおける矩形状の二値画像マスク(rectangular shaped binary image masks)mf(r)及びmg(r)に相当する。
【0187】
(S5:基準ストリップと対象ストリップを正規化する)
範囲調整部2212は、前述した要領で、ステップS3で設定された基準ストリップと対象ストリップに正規化を施す。ストリップの正規化は、マスク画像の画素値の範囲に応じて行われる。この段階においては、範囲調整部2212は、第1のストリップ(基準ストリップ)及び第2のストリップ(対象ストリップ)に正規化を適用する。なお、範囲調整部2212が実行する処理は正規化には限定されず、前述した範囲調整処理のいずれか又はそれに類する処理であってよい。
【0188】
本例において、各マスク画像の画素値の範囲は閉区間[0,1]に含まれるものとする。特に、本例の各マスク画像は、対応するストリップの定義域に相当する領域内の画素値が1に設定され且つ他の画素の値が0に設定された二値画像であるものとする。
【0189】
範囲調整部2212は、例えば、ストリップの各画素の値をこのストリップにおける最大画素値で除算することにより、又は、ストリップの各画素の値をこのストリップの画素値の範囲(階調範囲)の最大値で除算することにより、このストリップの正規化を行う。
【0190】
更に、合成画像生成部2213は、画素値範囲が正規化されたストリップを、対応するマスク画像と同じ寸法及び同じ形状の画像に埋め込む。正規化された第1のストリップf(r)の埋め込み画像は、ChenのAppendix Aにおける矩形状の画像(rectangular shaped image)f´(r)に類する画像であるが、第1のストリップf(r)の画像エリア内の値域の絶対値(|f(r)|)が1以下に正規化されている。この埋め込み画像を同じくf´(r)と表す。
【0191】
同様に、正規化された第2のストリップg(r)の埋め込み画像は、矩形状の画像g´(r)に類する画像であるが、第2のストリップg(r)の画像エリア内の値域の絶対値(|g(r)|)が1以下に正規化されている。この埋め込み画像を同じくg´(r)と表す。
【0192】
(S6:基準合成画像と対象合成画像を生成する)
合成画像生成部2213は、正規化されたストリップの埋め込み画像と、対応するマスク画像との合成画像を生成する。
【0193】
この段階においては、合成画像生成部2213は、正規化された第1のストリップ(基準ストリップ)の埋め込み画像と、第1のマスク画像(基準マスク画像)との合成画像を生成し、且つ、正規化された第2のストリップ(対象ストリップ)の埋め込み画像と、第2のマスク画像(対象マスク画像)との合成画像を生成する。前者の合成画像を基準合成画像と呼び、後者を対象合成画像と呼ぶ。
【0194】
ここで、基準合成画像及び対象合成画像は、それぞれ、ChenのAppendix Aにおける2つの矩形状の画像の組み合わせ(combination of two rectangle shaped images)f´(r)mf(r)及びg´(r)mg(r)に相当する。ただし、前述したように、第1のストリップf(r)の画像エリア内の値域の絶対値(|f(r)|)は1以下であり、且つ、第2のストリップg(r)の画像エリア内の値域の絶対値(|g(r)|)は1以下である。
【0195】
図7Aの画像311は、正規化された第1のストリップf(r)の埋め込み画像f´(r)の例であり、画像321は、第1のマスク画像の例である。これら2つの画像311及び321を組み合わせることによって基準合成画像f´(r)m
f(r)が得られる。同様に、
図7Bの画像312は、正規化された第2のストリップg(r)の埋め込み画像g´(r)の例であり、画像322は、第2のマスク画像の例である。これら2つの画像312及び322を組み合わせることによって基準合成画像g´(r)m
g(r)が得られる。
【0196】
(S7:複数の相互相関関数を算出する)
相互相関関数算出部2214は、ステップS6で生成された基準合成画像及び対象合成画像に基づいて複数の相互相関関数を算出する。本例では、相互相関関数算出部2214は、ステップS6で生成された基準合成画像及び対象合成画像に基づいて、Chenの式(33)に含まれる6個の相互相関関数を算出する。
【0197】
(S8:相関係数を算出する)
相関係数算出部2215は、ステップS7で算出された複数の相互相関関数に基づいて相関係数を算出する。本例では、相関係数算出部2215は、Chenの式(33)に従って、ステップS7で算出された複数の相互相関関数から相関係数(ρ(r´))を算出する。
【0198】
(S9:相関係数を記録する)
画像データ構築部220(又は制御部210)は、ステップS8で算出された相関係数(ρ(r´))を記録する。例えば、画像データ構築部220は、この相関係数と、対応する識別子(位置情報)とを互いに関連付けて記録する。この識別子は、例えば、画像データの定義座標系の座標、サイクル番号、スキャン番号、及びストリップ番号のいずれかであってよい。ステップS3~S14の繰り返しにより、相関係数と位置情報とのペアが蓄積されていく。
【0199】
(S10:基準ストリップと対象ストリップとの間のxy方向シフト量を算出する)
xyシフト量算出部2216は、ステップS8で算出された相関係数に基づいて、第1のストリップ(基準ストリップ)f(r)と第2のストリップ(対象ストリップ)g(r)との間のxy方向シフト量を算出する。本例では、ステップS8で算出された相関係数ρ(r´)のピークを検出することにより、基準ストリップf(r)と対象ストリップg(r)との間の相対的なxy方向シフト量(Δx、Δy)が求められる。
【0200】
(S11:xy方向シフト量を保存する)
ステップS10において当該ストリップペアについて算出されたxy方向シフト量は、記憶部212(及び/又は、他の記憶装置)に保存される。xy方向シフト量は、当該ストリップペアに対応する時間情報とともに記録されてもよい。この時間情報は、リサジュースキャンに対応する時間パラメータ又はそれに基づく情報であってもよいし、リサジュースキャンに関する順序情報又はそれに基づく情報であってもよい。時間情報の例として、サイクル番号、スキャン番号、ストリップ番号などがある。ステップS3~S13の繰り返しにより、xy方向シフト量と時間情報とのペアが蓄積される。
【0201】
(S12:基準ストリップと対象ストリップとの間のレジストレーションを行う)
基準ストリップ及び対象ストリップに対して、レジストレーション部2217は、ステップS10で算出されたxy方向シフト量に基づきxy方向のレジストレーション(rough lateral motion correction)を適用する。この段階では、第1のストリップf(r)と第2のストリップg(r)との間のレジストレーションが行われる。
【0202】
更に、レジストレーション部2217は、前述した「fine lateral motion correction」などの任意のxy方向のレジストレーションを基準ストリップ及び対象ストリップに対して適用してもよい。
【0203】
(S13:基準ストリップと対象ストリップとのマージ画像を構築する)
マージ処理部2218は、ステップS12のレジストレーションにより相対位置調整がなされた基準ストリップと対象ストリップとのマージ画像を構築する。
図7Cの画像330は、第1のストリップf(r)と第2のストリップg(r)とのマージ画像の例を示す。
【0204】
ここで、ステップS7~S13の処理の実装例を説明する。まず、f´(r)mf(r)、g´(r)mg(r)、mf(r)、mg(r)、(f´(r)mf(r))2、及び(g´(r)mg(r))2のそれぞれの虚部(imaginary part)を0に設定して実部(real part)のみを残す。
【0205】
次に、6個の実数値関数(実関数)f´(r)mf(r)、g´(r)mg(r)、mf(r)、mg(r)、(f´(r)mf(r))2、及び(g´(r)mg(r))2のそれぞれに対して高速フーリエ変換(FFT)を適用する。
【0206】
次に、これらの高速フーリエ変換で得られた6個の関数に基づいて、
図6AのステップS7に示された6個の相互相関関数を導出する。
【0207】
次に、導出された6個の相互相関関数のそれぞれに逆高速フーリエ変換(IFFT)を適用する。
【0208】
次に、Chenの式(33)の相関係数ρ(r´)を算出する。
【0209】
そして、相関係数ρ(r´)のピーク位置を特定することによって基準ストリップf(r)と対象ストリップg(r)との間の相対的なシフト量(Δx、Δy)を算出し、このシフト量に基づいて基準ストリップf(r)と対象ストリップg(r)との間のレジストレーション及びマージ処理を実行する。
【0210】
このような一連の処理をN個のストリップに対して逐次に適用することにより、N個のストリップの全てのマージ画像が得られる。また、ストリップペアについて求められたxy方向シフト量(Δx、Δy)を時間情報に関連付けて記録することができる。
【0211】
(S14:全てのストリップを処理したか?)
ステップS2で得られたN個のストリップの全てに対し、前述した順序に従って逐次に、ステップS3~S13の一連の処理が実行される。
【0212】
Nが3以上の場合において、ステップS13で第1のストリップと第2のストリップとのマージ画像が作成された場合(S14:No)、処理はステップS3に戻る。ステップS3では、第1のストリップと第2のストリップとのマージ画像が新たな基準ストリップに設定され、且つ、第3のストリップが新たな対象ストリップに設定される。新たな基準ストリップと新たな対象ストリップに基づきステップS4~S13の処理を実行することにより、新たな基準ストリップと新たな対象ストリップとのマージ画像が得られる。この新たなマージ画像は、第1~第3のストリップのマージ画像である。このような一連の処理をN個のストリップに対して逐次に適用することにより、N個のストリップの全てのマージ画像が得られる(S14:Yes)。
【0213】
(S15:xy方向のモーションアーティファクトが補正された画像を保存する)
以上に説明した繰り返し処理により最終的に得られたマージ画像は、xy方向のモーションアーティファクトが補正された画像であり、且つ、ステップS1のリサジュースキャンの適用範囲全体を表現した画像である。主制御部211は、この最終的なマージ画像を記憶部212(及び/又は、他の記憶装置)に保存することができる。
【0214】
画像データ構築部220(又はデータ処理部230)は、N個のストリップに基づくレジストレーションの結果を利用して、ステップS1で収集されたデータ(3次元データ)、及び/又は、この3次元データから構築された3次元画像データのレジストレーションを行うことができる。つまり、画像データ構築部220(又はデータ処理部230)は、最終的に得られたマージ画像を利用して3次元データや3次元画像データのレジストレーションを行うことができる。このレジストレーションは、リサジュースキャンの定義座標系を3次元直交座標系(xyz座標系)に変換する処理を含む。この座標変換は、Chenにおける「remapping」に相当する。このようにして、xy方向のモーションアーティファクトが補正された3次元画像データ(ボリューム)が得られる。主制御部211は、このxy方向モーションアーティファクト補正済みボリュームを、最終的なマージ画像とともに又はその代わりに、記憶部212(及び/又は、他の記憶装置)に保存することができる。
【0215】
(S16:基準ストリップを選択する)
本動作例は、z方向のモーションアーティファクトを補正するための処理に移行する。z方向モーションアーティファクト補正では、まず、zシフト量算出部2220が、xy方向モーションアーティファクトの補正がなされたボリュームに対応する複数のストリップから、1つのストリップ(基準ストリップ)を選択する。ここで選択される基準ストリップは、第1回目のステップS3で選択された第1のストリップであってもよいし、これとは異なるストリップであってもよい。
【0216】
(S17:対象ストリップを選択する)
次に、zシフト量算出部2220は、ステップS16で選択された基準ストリップとは別の1つのストリップ(対象ストリップ)を、xy方向モーションアーティファクトが補正されたボリュームに対応する複数のストリップからを選択する。ここで選択される基準ストリップは、第1回目のステップS3で選択された第2のストリップであってもよいし、これ以外のストリップであってもよい。
【0217】
(S18:基準ストリップに対応する基準サブボリュームを設定する)
次に、zシフト量算出部2220は、ステップS16で選択された基準ストリップに対応するサブボリュームを基準サブボリュームに設定する。ここで、基準サブボリュームの正面プロジェクション画像が基準ストリップである。
【0218】
(S19:対象ストリップに対応する対象サブボリュームを設定する)
同様に、zシフト量算出部2220は、ステップS17で選択された対象ストリップに対応するサブボリュームを対象サブボリュームに設定する。ここで、対象サブボリュームの正面プロジェクション画像が対象ストリップである。
【0219】
(S20:基準サブボリュームと対象サブボリュームとの交差領域を特定する)
次に、zシフト量算出部2220は、ステップS18で設定された基準サブボリュームと、ステップS19で設定された対象サブボリュームとの交差領域(共通領域)を特定する。
【0220】
前述したように、2つのサブボリュームには4つの交差領域がある。zシフト量算出部2220は、1つ又は2つ以上の交差領域を特定する。2つ以上の交差領域を特定する場合、特定された各交差領域について次のステップS21が実行される。
【0221】
(S21:基準サブボリュームと対象サブボリュームとの間のz方向シフト量を算出する)
次に、zシフト量算出部2220は、ステップS20で特定されたサブボリューム間の交差領域に基づいて、基準サブボリュームと対象サブボリュームとの間のz方向シフト量を算出する。
【0222】
例えば、zシフト量算出部2220は、ステップS20で特定された交差領域に断面(注目断面)を設定する。注目断面は、交差領域の任意の断面であってよい。次に、zシフト量算出部2220は、基準サブボリュームから注目断面の画像(基準断面画像)を構築し、且つ、対象サブボリュームから注目断面の画像(対象断面画像)を構築する。次に、zシフト量算出部2220は、基準断面画像を解析して被検眼Eの所定部位の像(基準像)を特定し、且つ、対象断面画像を解析して同部位の像(対象像)を特定する。次に、zシフト量算出部2220は、基準像のz座標と対象像のz座標とを求め、これら2つのz座標の差を算出する。本例では、算出された差が、基準サブボリュームと対象サブボリュームとの間のz方向シフト量に採用される。
【0223】
図8に具体例を示す。符号401は、基準サブボリュームに対応するストリップ402と対象サブボリュームに対応するストリップ403との交差状態を表している。本例では、白丸で囲まれた交差領域に着目する。x方向に沿った白丸の直径(点線で示されている)が注目断面である。2つのストリップ402及び403にもそれぞれ交差領域と注目断面とが同様に示されている。zシフト量算出部2220は、ストリップ402に対応する基準サブボリュームから、この注目断面の画像(基準断面画像)412を構築し、且つ、ストリップ403に対応する対象サブボリュームから、この注目断面の画像(対象断面画像)413を構築する。更に、zシフト量算出部2220は、基準断面画像412を解析して網膜表面の像のz位置(z座標)422を特定し、且つ、対象断面画像413を解析して網膜表面の像のz位置(z座標)423を特定する。加えて、zシフト量算出部2220は、基準サブボリュームと対象サブボリュームとの間のz方向シフト量として、2つの断面画像412及び413からそれぞれ特定された2つのz位置(2つのz座標)422及び423の間の差Δzを求める。
【0224】
基準サブボリュームと対象サブボリュームとの間のz方向シフト量を算出する手法は、これに限定されず、それらの交差領域を利用する任意の手法であってよい。例えば、前述したように、zシフト量算出部2220は、基準サブボリュームと対象サブボリュームとの間の相関係数を算出し、この相関係数に基づいてz方向シフト量を求めてもよい。
【0225】
図6BのステップS9と同様に、画像データ構築部220(又は制御部210)は、各サブボリュームペア算出された相関係数を記録する。例えば、画像データ構築部220(又は制御部210)は、z方向シフト量の算出において求められた相関係数と、対応する識別子(位置情報)とを互いに関連付けて記録する。この識別子は、画像データの定義座標系の座標、サイクル番号、スキャン番号、ストリップ番号、サブボリューム番号、及びマージ処理番号のいずれかであってよい。ステップS17~S25の繰り返しにより相関係数と位置情報とのペアが蓄積されていく。画像データ構築部220(又は制御部210)は、ステップS9で記録されるxy方向の相関係数と、ステップS21で記録されるz方向の相関係数とを、識別子(位置情報)を介して互いに関連付けることができる。これにより、3次元的な相関係数を求めることが可能になる。
【0226】
(S22:z方向シフト量を保存する)
ステップS21において当該サブボリュームペアについて算出されたz方向シフト量は、例えば記憶部212に保存される。xy方向シフト量の保存(ステップS11)と同様に、z方向シフト量は、例えば、当該サブボリュームペアに対応する時間情報とともに記録されてもよい。
【0227】
(S23:基準サブボリュームと対象サブボリュームとの間のレジストレーションを行う)
画像データ補正部2230は、ステップS21で算出されたz方向シフト量に基づいて、基準サブボリューム及び対象サブボリュームに対してz方向のレジストレーションを適用する。
【0228】
このレジストレーションは、例えば、
図8のz方向シフト量Δzを打ち消すように、つまり、基準断面画像412中の網膜表面の像と対象断面画像413中の網膜表面の像とが同じz位置(等しいz座標)に配置されるように、基準サブボリュームと対象サブボリュームとのz方向の相対位置を調整する処理である。
【0229】
(S24:基準サブボリュームと対象サブボリュームとのマージ画像を構築する)
画像データ補正部2230は、ステップS23のレジストレーションによりz方向の相対位置調整がなされた基準サブボリュームと対象サブボリュームとのマージ画像を構築する。これにより、xy方向及びz方向について相対位置調整がなされた基準サブボリュームと対象サブボリュームとのマージ画像が得られる。
【0230】
(S25:全てのサブボリュームを処理したか?)
全てのサブボリュームに対し、所定の順序(例えば、第1~第Nのストリップに割り当てられた順序)に従って逐次に、ステップS17~S25の一連の処理が実行される(S25:No)。なお、本例では、ステップS24で構築されたマージ画像が、次のルーチンにおける基準ストリップとして設定される。このような一連の処理を全てのサブボリュームに対して逐次に適用することにより、全てのサブボリュームのマージ画像が得られる(S25:Yes)。
【0231】
(S26:全てのサブボリュームがマージされたボリュームを保存する)
このようなステップS17~S25の反復により最終的に得られたマージ画像は、xy方向及びz方向のモーションアーティファクトが補正された画像であり、且つ、ステップS1のリサジュースキャンの適用範囲全体を表現した画像である。主制御部211は、この最終的なマージ画像を記憶部212(及び/又は、他の記憶装置)に保存することができる。
【0232】
以下の処理は、z方向のモーションアーティファクト補正をより精密に行うためのものである。ステップS16~S25では、z方向のモーションアーティファクト補正をサブボリューム単位(ストリップ単位)で行っている。これに対し、以下に説明するステップS27~S32では、z方向のモーションアーティファクト補正をサイクル単位で実行する。このサイクル単位の補正は、画像データ構築部220(例えば、画像データ補正部2230)によって実行される。
【0233】
なお、精密なz方向モーションアーティファクト補正は、サイクル単位で実行される必要はなく、サブボリュームの一部を構成するサイクル群を単位として実行するようにしてもよい。また、精密なz方向モーションアーティファクト補正は、全てのサイクル(全てのサイクル群)について実行される必要はなく、一部のサイクル(一部のサイクル群)についてのみ実行するようにしてもよい。
【0234】
(S27:マージされたボリュームからサイクルを選択する)
画像データ補正部2230は、全てのサブボリュームがマージされたボリュームから、1つのサイクル(に対応する部分データ)を選択する。
【0235】
最初に選択されるサイクルは、任意であってよい。例えば、ステップS1のリサジュースキャンにおける複数のサイクルのスキャン順(時系列順、スキャン番号、サイクル番号)に従ってサイクルが順次に選択される。或いは、複数のストリップ又は複数のサブボリュームに割り当てられた順序(ストリップ番号、サブボリューム番号)などに基づいてサイクルの選択順序が設定されてもよい。
【0236】
(S28:サイクルをボリュームから抜去する)
次に、画像データ補正部2230は、ステップS27で選択されたサイクルに対応する部分データをボリュームから抜き出す。
【0237】
(S29:サイクル抜去後のボリュームとサイクルとの間のz方向シフト量を算出する)
次に、画像データ補正部2230は、ステップS28で抜き出されたサイクルに対応する部分データと、当該サイクルが抜き出されたボリュームとの間におけるz方向シフト量を算出する。
【0238】
本ステップのz方向シフト量算出の手法は、ステップS21の手法と同様であってよい。例えば、画像データ補正部2230は、ステップS28でボリュームから抜去されたサイクルの部分データ(注目断面画像)を解析して被検眼Eの所定部位の像(第1の像)を特定し、且つ、注目断面画像が抜き出されたボリュームを解析して同部位の像(第2の像)を特定する。第2の像を特定するための解析は、注目断面画像が抜き出されたボリュームの全体に対して適用される必要はなく、例えば、注目断面画像に隣接する部分(隣接するサイクル)のみに対して適用されてよい。更に、画像データ補正部2230は、第1の像のz座標と第2の像のz座標とを求め、これら2つのz座標の差を算出する。本例では、算出された差が、当該サイクルと当該サイクル抜去後のボリュームとの間のz方向シフト量に採用される。
【0239】
(S30:z方向シフト量を更新する)
次に、主制御部211は、ステップS21で求められたz方向シフト量を、ステップS29で算出されたz方向シフト量に置き換える。ここでは、ステップS28で抜去されたサイクルに対応する部分データを含むサブボリュームのz方向シフト量が更新される。
【0240】
ステップS21のz方向シフト量の算出とステップS29のz方向シフト量の算出との双方において相関係数が用いられた場合、ステップS21で記録された情報(相関係数、識別子(位置情報)など)をステップS29で取得された情報(相関係数、識別子(位置情報)など)で置き換えることができ、又は、ステップS21で記録された情報とステップS29で取得された情報との双方を互いに関連付けて記録することができる。ここで、ステップS21で記録された情報とステップS29で取得された情報との間の対応付けは、識別子(位置情報)を介して行うことができる。ステップS21のz方向シフト量の算出及びステップS29のz方向シフト量の算出のいずれか一方のみにおいて相関係数が用いられた場合には、その一方の処理で得られた情報を記録することができる。ここに説明した各種の処理は、例えば画像データ構築部220によって実行される。
【0241】
(S31:レジストレーション及びマージングを行う)
次に、画像データ補正部2230は、ステップS29で求められたz方向シフト量を打ち消すように、ステップS28で抜去されたサイクルに対応する部分データと、サイクル抜去後のボリュームとの間のレジストレーションを実行する。更に、画像データ補正部2230は、このレジストレーションによりz方向の相対位置調整がなされた当該部分データとサイクル抜去後のボリュームとのマージ画像を構築する。これにより、xy方向について相対位置調整がなされ且つz方向について精密に相対位置調整がなされたボリュームが得られる。
【0242】
(S32:全てのサイクルを処理したか?)
全てのサイクルに対し、所定の順序に従って逐次に、ステップS27~S31の一連の処理が実行される(S32:No)。このような一連の処理を全てのサイクルに対して逐次に適用することにより、全サイクル間のz方向相対位置調整がなされたボリュームが得られる(S32:Yes)(エンド)。主制御部211は、この最終的なボリュームを記憶部212(及び/又は、他の記憶装置)に保存することができる。
【0243】
<第2の動作例>
リサジュースキャン(走査サンプリング)とサンプル個数の変更とを組み合わせた動作の一例について、
図9を参照しつつ説明する。本例のリサジュースキャン及び画像データ構築は第1の動作例と同じ要領で実行されてよく、他の事項についても特に言及しない限り第1の動作例と同じ要領で実行されてよいが、それらに限定されない。
【0244】
(S41:サンプル個数を第1サンプル個数に設定する)
まず、ユーザー又は眼科検査装置1(例えば、サンプリング制御部2112)によって、リサジュースキャンのサンプル個数が指定される。サンプリング制御部2112は、サンプル個数に関連する走査制御パラメータの値を、指定されたサンプル個数に対応する値に設定する。前述したように、この走査制御パラメータは、例えば、サイクル個数、スキャン間隔、及び走査エリア寸法のうちのいずれかであってよい。
【0245】
本ステップでは、少なくとも1つのサンプル個数が設定される。このサンプル個数を第1サンプル個数と呼ぶ。本動作例では2回(以上)のリサジュースキャンが被検眼Eに適用される。第1サンプル個数は、第1回目のリサジュースキャンに適用されるサンプル個数である。
【0246】
本ステップにおいて、本動作例で実行される2回(以上)のリサジュースキャンの全て又は一部に対応する2つ(以上)のサンプル個数を設定してもよい。その場合、ステップS43は、サンプル個数の値を、第1サンプル個数から、予め設定された別のサンプル個数に変更するように実行される。
【0247】
(S42:第1リサジュースキャンを被検眼に適用して第1データセットを取得する)
次に、ステップS41で設定された第1サンプル個数に基づくリサジュースキャンが被検眼Eに適用される。このリサジュースキャンを第1リサジュースキャンと呼ぶ。この第1リサジュースキャンにより被検眼Eから取得されるデータセットを第1データセットと呼ぶ。
【0248】
(S43:サンプル個数を第2サンプル個数に設定する)
サンプリング制御部2112は、サンプル個数に関連する走査制御パラメータの値を、ステップS42の第1リサジュースキャンにおける第1サンプル個数から、別の値(第2サンプル個数と呼ぶ)に変更する。
【0249】
本ステップは、ステップS41における第1サンプル個数の設定と同様に、第2サンプル個数を指定する工程と、走査制御パラメータの値を指定された第2サンプル個数に対応する値に設定する工程とを含んでいてよい。或いは、本ステップは、走査制御パラメータの値を、ステップS41で指定された第1サンプル個数から、同じくステップS41で指定された第2サンプル個数に変更する工程を含んでいてよい。
【0250】
第1サンプル個数と第2サンプル個数とは互いに異なる値であるが、それらの大小関係は任意であってよい。幾つかの例示的な態様では、第1サンプル個数よりも第2サンプル個数の方が多い。すなわち、幾つかの例示的な態様では、比較的少数の第1サンプル個数が適用された第1リサジュースキャンを実行した後に、比較的多数の第2サンプル個数が適用された第2リサジュースキャンを実行する。後述する各種の動作例は、そのようにして実行される。しかしながら、幾つかの例示的な態様では、比較的多数の第1サンプル個数が適用された第1リサジュースキャンを実行した後に、比較的少数の第2サンプル個数が適用された第2リサジュースキャンを実行してもよい。
【0251】
図9に示す例では、2回のリサジュースキャン(第1リサジュースキャン及び第2リサジュースキャン)が実行されるが、リサジュースキャンの実行回数は3回以上であってもよい。
【0252】
本ステップにより実行されるサンプル個数の変更の態様は、任意であってよく、例えば、サンプル個数の切り替え、サンプル個数の段階的な変更、サンプル個数の連続的な変更などであってよい。段階的変更及び連続的変更は、単調的な変更(単調増加又は単調減少)であってもよいし、非単調的な変更であってもよい。サンプル個数の変更量や、サンプル個数を増加させるか減少させるかの判断など、サンプル個数の変更に関するパラメータや条件は、例えば、ユーザー又は眼科検査装置1(例えば、サンプリング制御部2112)によって実行されてよい。
【0253】
(S44:第2リサジュースキャンを被検眼に適用して第2データセットを取得する)
次に、ステップS43で設定された第2サンプル個数に基づくリサジュースキャンが被検眼Eに適用される。このリサジュースキャンを第2リサジュースキャンと呼ぶ。この第2リサジュースキャンにより被検眼Eから取得されるデータセットを第2データセットと呼ぶ。
【0254】
(S45:第1データセットから第1画像データを構築する)
画像データ構築部220は、ステップS42で取得された第1データセットから画像データを構築する。この画像データを第1画像データと呼ぶ。本ステップは、例えば、第1の動作例のステップS2~S32と同じ要領で実行されてよい。
【0255】
(S46:第2データセットから第2画像データを構築する)
画像データ構築部220は、ステップS44で取得された第2データセットから画像データを構築する(エンド)。この画像データを第2画像データと呼ぶ。本ステップは、ステップS45と同じ要領で実行されてよい。
【0256】
本動作例によれば、互いに異なる複数のサンプル個数(換言すると、互いに異なる複数の画質(解像度、画素密度など))に対応する複数の画像データが得られる。本動作例に係る処理の用途や、本動作例で取得された画像データ(例えば、第1画像データ及び/又は第2画像データ)の用途は任意である。幾つかの例示的な用途が、後述する幾つかの動作例において説明される。
【0257】
<第3の動作例>
リサジュースキャン(走査サンプリング)とサンプル個数の変更とを組み合わせた動作の一例について、
図10を参照しつつ説明する。本例のリサジュースキャン及び画像データ構築は第1の動作例と同じ要領で実行されてよく、他の事項についても特に言及しない限り第1の動作例と同じ要領で実行されてよいが、それらに限定されない。
【0258】
(S51:サンプル個数を初期サンプル個数に設定する)
まず、ユーザー又は眼科検査装置1(例えば、サンプリング制御部2112)によって、リサジュースキャンの初期サンプル個数が指定される。この初期サンプル個数は、2回以上のリサジュースキャンを実行する本動作例において最初に適用されるサンプル個数である。サンプリング制御部2112は、サンプル個数に関連する走査制御パラメータの値を、指定された初期サンプル個数に対応する値(初期値)に設定する。この走査制御パラメータは、例えば、サイクル個数、スキャン間隔、及び走査エリア寸法のうちのいずれかであってよい。
【0259】
初期サンプル個数は、例えば、ユーザーが設定した値、デフォルト値、被検者の属性に応じた値、被検眼の属性に応じた値、過去の検査に応じた値(例えば、被検者の電子カルテに記録されている値)、検査条件に応じた値、及び、検査環境に応じた値のいずれかであってよい。初期サンプル個数は、比較的小さな値であってよい。例えば、初期サンプル個数は、サンプル個数の設定可能範囲における最小値又はそれに近い値であってよい。
【0260】
(S52:リサジュースキャンを被検眼に適用してデータセットを取得する)
次に、ステップS51で設定された初期サンプル個数に基づくリサジュースキャンが被検眼Eに適用されてデータセットが取得される。
【0261】
(S53:データセットから画像データを構築する)
画像データ構築部220は、ステップS52で取得されたデータセットから画像データを構築する。本ステップは、例えば、第1の動作例のステップS2~S32と同じ要領で実行されてよい。
【0262】
(S54:画像データの品質を評価する)
サンプリング制御部2112は、ステップS53で構築された画像データの品質を評価する。この品質評価は、任意の公知の画像評価技術を利用した処理であってよく、例えば、所定の画像品質パラメータを評価する処理であってよい。この画像品質パラメータは、画像データの品質を表す定量的又は定性的な事項であってよい。
【0263】
サンプリング制御部2112は、1つ以上の画像品質パラメータについて、ステップS53で構築された画像データの品質の評価を実行する。換言すると、サンプリング制御部2112は、1つ以上の画像品質パラメータについて、ステップS53で構築された画像データの品質が良好であるか否か判定する。
【0264】
サンプリング制御部2112は、機械学習により訓練された評価器を用いて画像データの品質を評価するように構成されていてもよい。この評価器は、例えば、ディープラーニングによって訓練された畳み込みニューラルネットワークを含んでいる。
【0265】
サンプリング制御部2112は、第1の動作例において記録された相関係数に基づいて画像データの品質を評価するように構成されていてもよい。例えば、サンプリング制御部2112は、評価対象の画像データについて記録された各相関係数の値を所定の閾値と比較し、全ての相関係数(相関係数集合)のうち当該閾値以上の相関係数の割合を求め、この割合に基づいてこの画像データの品質を判定するように構成されていてよい。その一例として、サンプリング制御部2112は、相関係数集合の全体における閾値以上の相関係数の割合が90パーセント以上である場合に、この画像データの品質は良好であると判定するように構成されていてよい。
【0266】
このように、本ステップで実行される品質評価の手法は、画像の品質評価に使用可能な任意の手法であってよく、その例として、鮮鋭性評価(例えば、点拡がり関数(PSF)、変調伝達関数(MTF)など)、ノイズ評価(例えば、二乗平均平方根(RMS)粒状度、ノイズスペクトル密度(NSDI、ウィーナースペクトルなど)、階調評価(例えば、量子化ビット数、ガンマ特性、コントラストなど)、空間特性評価(例えば、輝度ムラ、歪曲など)、機械学習を用いた評価、画像データ構築において算出された値(例えば、相関係数)を用いた評価などであってよい。
【0267】
(S55:画像データの品質は良好か?)
ステップS54の品質評価において、ステップS53で構築された画像データの品質が良好であると判定された場合(S55:Yes)、処理はステップS57に移行する。他方、ステップS54の品質評価において、ステップS53で構築された画像データの品質が良好でないと判定された場合(S55:No)、処理はステップS56に移行する。
【0268】
(S56:サンプル個数を変更する)
ステップS53で構築された画像データの品質が良好でないと判定された場合(S55:No)、サンプリング制御部2112は、リサジュースキャンのサンプル個数を変更する。このサンプル個数の変更は、例えば、サンプル個数を更新する処理、現在のサンプル個数を新たなサンプル個数で置換する処理などとも表現できる。
【0269】
第1回目の品質評価(S54)の結果が「No」であった場合、サンプリング制御部2112は、リサジュースキャンのサンプル個数を、ステップS1で設定された初期サンプル個数(サンプル個数の第1の設定値)から、新たなサンプル個数(サンプル個数の第2の設定値)に変更する。一般に、第T回目の品質評価(S54)の結果が「No」であった場合、サンプリング制御部2112は、リサジュースキャンのサンプル個数を、第Tの設定値から新たな第T+1の設定値に変更する(Tは1以上の整数)。
【0270】
幾つかの例示的な態様では、第T+1の設定値は、第Tの設定値よりも大きい。この場合、ステップS54の品質評価において画像データの品質が良好でないと判定された(S55:No)ことに対応して、サンプル個数が増加され、この増加されたサンプル個数で新たなリサジュースキャンが実行される(S52)。ステップS52~S56の一連の工程は、ステップS54の品質評価において画像データの品質が良好であると判定される(S55:Yes)まで繰り返し実行される。このようなステップS52~S56の一連の工程は、良好な品質の画像データが得られるまでサンプル個数を段階的に増やしていく処理、良好な品質の画像データが得られる最小限のサンプル個数(又は、それに近いサンプル個数)を探索する処理、又は、リサジュースキャンによって被検眼Eの良好な品質の画像データを取得できるか判定する処理と考えることができる。なお、幾つかの例示的な態様において、第T+1の設定値は、第Tの設定値よりも小さくてもよい。
【0271】
本ステップにおけるサンプル個数の変更量は、任意に決定されてよく、例えば、ユーザーが設定した値、デフォルト値、被検者の属性に応じた値、被検眼の属性に応じた値、過去の検査に応じた値、検査条件に応じた値、検査環境に応じた値、評価対象の画像データに応じた値、及び、ステップS54の品質評価の結果に応じた値のいずれかであってよい。
【0272】
(S57:サンプル個数を最大個数に変更する)
ステップS53で構築された画像データの品質が良好であると判定された場合(S55:Yes)、サンプリング制御部2112は、リサジュースキャンのサンプル個数を所定の最大個数に変更する。
【0273】
この最大個数は、任意に決定されてよく、例えば、サンプル個数の設定可能範囲における最大値又はそれに近い値、画像データの利用目的(スクリーニング、所定疾患の詳細解析、観察、読影、機械学習など)に応じた値、ユーザーが設定した値、被検者の属性に応じた値、被検眼の属性に応じた値、過去の検査に応じた値、検査条件に応じた値、検査環境に応じた値、評価対象の画像データに応じた値、及び、ステップS54の品質評価の結果に応じた値のいずれかであってよい。
【0274】
(S58:リサジュースキャンを被検眼に適用してデータセットを取得する)
眼科検査装置1は、ステップS57で設定された最大個数に基づくリサジュースキャンを被検眼Eに適用してデータセットを取得する。
【0275】
(S59:データセットから画像データを構築する)
画像データ構築部220は、ステップS58で取得されたデータセットから画像データを構築する(エンド)。本ステップは、例えば、ステップS53と同じ要領で実行されてよい。
【0276】
なお、ステップS54の品質評価において画像データの品質が良好であると判定されたとき(S55:Yes)のサンプル個数が上記の最大個数である場合(又は、所定の許容最小値以上である場合若しくは所定条件を満足する場合)、ステップS57~S59を省略することができる。
【0277】
本動作例によれば、リサジュースキャンによって被検眼Eの良好な品質の画像データを取得できるか否かについて自動で判定することができる。
【0278】
また、サンプル個数を少数の初期値から段階的に増加させながらリサジュースキャンを繰り返すことにより、リサジュースキャンの成否判断に掛かる時間(画像データ構築に掛かる時間及び品質評価に掛かる時間)も段階的に長くなっていく。よって、リサジュースキャンによって被検眼Eの良好な品質の画像データを取得できるか否かの判定結果を早期に得られる(可能性がある)という利点がある。
【0279】
<第4の動作例>
リサジュースキャン(走査サンプリング)とサンプル個数の変更とを組み合わせた動作の一例について、
図11を参照しつつ説明する。本例のリサジュースキャン及び画像データ構築は第1の動作例と同じ要領で実行されてよく、他の事項についても特に言及しない限り第1の動作例と同じ要領で実行されてよいが、それらに限定されない。
【0280】
(S61~S63)
ステップS61、S62、及びS63は、それぞれ、第3の動作例のステップS51、S52、及びS53と同じ要領で実行されてよい。
【0281】
(S64:画像を表示する)
制御部210(表示制御部としての主制御部211)は、ステップS63で構築された画像データに基づく画像を表示部241に表示させる。更に、主制御部211は、所定のグラフィカルユーザーインターフェイス(GUI)を表示部241に表示させる。
【0282】
(S65:表示画像の品質は良好か?)
ユーザーは、ステップS64で表示された画像を観察し、その品質が良好であるか判断する。ユーザーは、操作部242及び上記GUIを用いて、この判断の結果を眼科検査装置1に入力する。
【0283】
表示画像の品質が良好であるとの判断結果が入力された場合(S65:Yes)、本動作例の処理は終了となる(エンド)。他方、表示画像の品質が良好でないとの判断結果が入力された場合(S65:No)、処理はステップS66に移行する。
【0284】
(S66:サンプル個数を変更する)
表示画像の品質が良好でないとの判断結果が入力された場合(S65:No)、サンプリング制御部2112は、リサジュースキャンのサンプル個数を変更する。このサンプル個数の変更は、第3の動作例のステップS56と同じ要領で実行されてよい。
【0285】
ステップS62~S66の一連の工程は、ステップS65において表示画像の品質が良好であるとの判断結果が入力される(S65:Yes)まで繰り返し実行される。ステップS65において表示画像の品質が良好であるとの判断結果が入力されると(S65:Yes)、本動作例の処理は終了となる(エンド)。
【0286】
幾つかの例示的な態様において、ステップS65において表示画像の品質が良好であるとの判断結果が入力された場合に(S65:Yes)、第3の動作例のステップS57~S59と同様の一連の処理を実行してもよい。
【0287】
本動作例によれば、リサジュースキャンによって被検眼Eの良好な品質の画像データを取得できるか否かについてユーザーが判定することができる。
【0288】
また、サンプル個数を少数の初期値から段階的に増加させながらリサジュースキャンを繰り返すことにより、リサジュースキャンの成否判断に掛かる時間(画像データ構築に掛かる時間及び品質評価に掛かる時間)も段階的に長くなっていく。よって、リサジュースキャンによって被検眼Eの良好な品質の画像データを取得できるか否かの判定結果を早期に得られる(可能性がある)という利点がある。
【0289】
<第5の動作例>
リサジュースキャン(走査サンプリング)とサンプル個数の変更とを組み合わせた動作の一例について、
図12を参照しつつ説明する。本例のリサジュースキャン及び画像データ構築は第1の動作例と同じ要領で実行されてよく、他の事項についても特に言及しない限り第1の動作例と同じ要領で実行されてよいが、それらに限定されない。
【0290】
前述したように、本実施形態のリサジュースキャンのリサジュー関数は、次のパラメトリック方程式系(x(t
i)、y(t
i))で表現される:x(t
i)=A・cos(2π・(f
A/n)・t
i)、y(t
i)=A・cos(2π・(f
A・(n-2)/n
2)・t
i)。パラメータnは、x方向の各サイクルにおけるAラインの個数(スキャン点の個数)である。パラメータnを変化させたときのリサジュー関数(つまり、リサジュースキャンの軌跡)の3つの例を
図13に示す。これらの例から明らかなように、パラメータnの値が大きくなるほどリサジュースキャンの軌跡の密度が増加し、スキャン点の分布密度も増加する。本動作例では、パラメータnを変更することによってサンプル個数の変更を行う。
【0291】
(S71:アライメント)
眼科検査装置1は、被検眼Eに対する光学系のアライメントを行う。
【0292】
このアライメントの方式は任意であってよく、例えば、被検眼E(眼底Ef)の正面画像を用いたアライメント(例えば、眼底カメラユニット2により取得された観察画像を用いたアライメント、SLOで取得された画像を用いたアライメント)、ステレオアライメント、リサジュースキャンで取得されたデータを用いたアライメント、他のスキャンモードで取得されたデータを用いたアライメント、及び、他のモダリティで取得されたデータを用いたアライメントのうちのいずれかの手法であってよく、或いは、これらの手法のうちのいずれか2つ以上を組み合わせた手法であってもよい。
【0293】
本実施形態の幾つかの例示的な態様では、眼底カメラユニット2による観察画像の取得とリサジュースキャンとを並行して実行するとともに、この観察画像を参照してアライメントを実行しつつ、リサジュースキャンで取得したデータに基づきアライメント状態の判定を行うようにしてもよい。
【0294】
(S72:n=10)
サンプリング制御部2112は、パラメータnの初期値として、パラメータnの値を「10」に設定する。このパラメータn=10に対応するスキャン点の分布密度は「粗」である。
【0295】
パラメータnの初期値は、
図13に示す例では「10」であるが、これに限定されない。パラメータnの初期値は、例えば、ユーザーが設定した値、デフォルト値、被検者の属性に応じた値、被検眼の属性に応じた値、過去の検査に応じた値、検査条件に応じた値、検査環境に応じた値、及び、評価対象の画像に応じた値のいずれかであってよい。
【0296】
(S73:リサジュースキャン)
眼科検査装置1は、ステップS72で設定されたパラメータnの初期値「10」に基づくリサジュースキャンを被検眼Eに適用してデータセットを取得する。
【0297】
(S74:画像データの構築)
画像データ構築部220は、ステップS73で取得されたデータセットから画像データを構築する。本ステップは、例えば、第1の動作例のステップS2~S32と同じ要領で実行されてよい。
【0298】
(S75:画像の表示)
制御部210(表示制御部としての主制御部211)は、ステップS74で構築された画像データに基づく画像を表示部241に表示させる。更に、主制御部211は、所定のGUIを表示部241に表示させる。
【0299】
(S76:検査終了か?)
ユーザーは、ステップS75で表示された画像を観察し、被検眼Eの検査(眼底EfのOCT画像の取得)を終了するか判断する。例えば、ユーザーは、ステップS75で表示された画像が十分な品質を有していると判断した場合、被検眼Eの検査を終了すると判断する。ユーザーは、操作部242及び上記GUIを用いて、被検眼Eの検査を終了するか否かについての判断の結果を眼科検査装置1に入力する。
【0300】
被検眼Eの検査を終了するとユーザーが判断した場合(S76:Yes)、本動作例の処理はステップS79に移行する。他方、被検眼Eの検査を終了しないとユーザーが判断した場合(S76:No)、処理はステップS77に移行する。
【0301】
なお、幾つかの例示的な態様では、本ステップの判定を眼科検査装置1(例えば制御部210又はデータ処理部230)が実行してもよい。その場合、ステップS75の画像表示を行う必要はない。
【0302】
(S77:n>500?)
被検眼Eの検査を終了しないとユーザーが判断した場合(S76:No)、サンプリング制御部2112は、パラメータnの現在値が所定の閾値を超えているか否かについて判定を行う。
【0303】
パラメータnの閾値は、スキャン点の分布密度(サンプル個数)の許容範囲の下限を規定しており、
図13に示す例では「500」に設定されているが、これに限定されない。この閾値は、例えば、ユーザーが設定した値、デフォルト値、被検者の属性に応じた値、被検眼の属性に応じた値、過去の検査に応じた値、検査条件に応じた値、検査環境に応じた値、及び、評価対象の画像に応じた値のいずれかであってよい。
【0304】
パラメータnの現在値が閾値を超えている場合(S77:Yes)、処理はステップS79に移行する。他方、パラメータnの現在値が閾値を超えていない場合(S77:No)、処理はステップS78に移行する。
【0305】
(S78:n=n+10)
パラメータnの現在値が閾値を超えていない場合(S77:No)、サンプリング制御部2112は、パラメータnの値を変更する。本例において、パラメータnの値の変更は、スキャン点の分布密度(サンプル個数)を増加するものである。
【0306】
パラメータnの値の変更量は、スキャン点の分布密度(サンプル個数)の増加量を規定しており、
図13に示す例では「10」に設定されているが、これに限定されない。パラメータnの変更量は、例えば、ユーザーが設定した値、デフォルト値、被検者の属性に応じた値、被検眼の属性に応じた値、過去の検査に応じた値、検査条件に応じた値、検査環境に応じた値、及び、評価対象の画像に応じた値のいずれかであってよい。
【0307】
ステップS73~S78の一連の工程は、ステップS76において検査終了と判断される(S76:Yes)まで、又は、ステップS77においてパラメータnの現在値が閾値を超えていると判断される(S77:Yes)まで、繰り返し実行される。ステップS76において検査終了と判断されると(S76:Yes)、処理はステップS79に移行する。同様に、ステップS77においてパラメータnの現在値が閾値を超えていると判断されると(S77:Yes)、処理はステップS79に移行する。
【0308】
(S79:画像の保存)
ステップS76において検査終了と判断された場合(S76:Yes)、又は、ステップS77においてパラメータnの現在値が閾値を超えていると判断された場合(S77:Yes)、眼科検査装置1は、最後に実行されたステップS75で表示された画像の画像データを保存する。例えば、制御部210は、この画像データを記憶部212又は他の記憶装置に格納する。以上で、本動作例の処理は終了となる(エンド)。
【0309】
本動作例によれば、リサジュースキャンのサンプル個数を段階的に増加させながら、被検眼Eの良好な品質の画像データを取得できるか否かについてユーザーが判定することが可能である。また、ユーザーは、被検眼Eの検査を所望のタイミングで終えることができる。
【0310】
<第6の動作例>
リサジュースキャン(走査サンプリング)とサンプル個数の変更とを組み合わせた動作の一例について、
図14を参照しつつ説明する。本例のリサジュースキャン及び画像データ構築は第1の動作例と同じ要領で実行されてよく、他の事項についても特に言及しない限り第1の動作例と同じ要領で実行されてよいが、それらに限定されない。
【0311】
(S81~S85)
ステップS81~S85は、それぞれ、第5の動作例のステップS71~75と同じ要領で実行されてよい。なお、本動作例では、アライメントはステップS81で開始され、ステップS86で「Yes」と判断されたときに終了する。
【0312】
(S86:アライメントOKか?)
ユーザーは、ステップS85で表示された画像を観察してアライメント状態を判断する。ユーザーは、操作部242及び上記GUIを用いて、アライメント状態が良好であるか否かについての判断の結果を眼科検査装置1に入力する。
【0313】
アライメント状態が良好であるとユーザーが判断した場合(S86:Yes)、本動作例の処理はステップS88に移行する。他方、アライメント状態が良好でないとユーザーが判断した場合(S86:No)、処理はステップS87に移行する。
【0314】
なお、幾つかの例示的な態様では、本ステップの判定を眼科検査装置1(例えば制御部210又はデータ処理部230)が実行してもよい。その場合、ステップS85の画像表示を行う必要はない。
【0315】
(S87:アライメントの修正)
アライメント状態が良好でないとユーザーが判断した場合(S86:No)、眼科検査装置1は、例えば前述したオートアライメントを実行することによって、アライメント状態を修正する。
【0316】
ステップS83~S87の一連の工程は、ステップS86においてアライメント状態が良好であると判断される(S86:Yes)まで繰り返し実行される。ステップS86においてアライメント状態が良好であると判断されると(S86:Yes)、処理はステップS88に移行する。
【0317】
(S88:n=200)
ステップS86においてアライメント状態が良好であると判断されると(S86:Yes)、サンプリング制御部2112は、パラメータnの値を所定値に変更する。
【0318】
この所定値は、保存用(診断用)の画像データについてのパラメータnの値として設定された値である。この所定値は、
図14に示す例では「200」であるが、これに限定されない。この所定値は、例えば、ユーザーが設定した値、デフォルト値、被検者の属性に応じた値、被検眼の属性に応じた値、過去の検査に応じた値、検査条件に応じた値、検査環境に応じた値、及び、評価対象の画像に応じた値のいずれかであってよい。
【0319】
(S89:リサジュースキャン)
眼科検査装置1は、ステップS88で設定されたパラメータnの値「200」に基づくリサジュースキャンを被検眼Eに適用してデータセットを取得する。
【0320】
(S90:画像データの構築)
画像データ構築部220は、ステップS89で取得されたデータセットから画像データを構築する。本ステップは、例えば、第1の動作例のステップS2~S32と同じ要領で実行されてよい。
【0321】
(S91:画像の表示)
制御部210(表示制御部としての主制御部211)は、ステップS90で構築された画像データに基づく画像を表示部241に表示させる。
【0322】
(S92:画像の保存)
眼科検査装置1は、ステップS90で構築された画像データを保存する。例えば、制御部210は、この画像データを記憶部212又は他の記憶装置に格納する。以上で、本動作例の処理は終了となる(エンド)。
【0323】
本動作例によれば、少ないサンプル個数のリサジュースキャン(スキャン時間及び処理時間が短い)を用いてアライメント状態を確認することができるとともに、アライメント状態が良好になったことに対応して十分なサンプル数のリサジュースキャンを実行して高解像度の画像データを取得することが可能である。
【0324】
<第7の動作例>
リサジュースキャン(走査サンプリング)とサンプル個数の変更とを組み合わせた動作の一例について、
図15を参照しつつ説明する。本例のリサジュースキャン及び画像データ構築は第1の動作例と同じ要領で実行されてよく、他の事項についても特に言及しない限り第1の動作例と同じ要領で実行されてよいが、それらに限定されない。
【0325】
(S101~S106)
ステップS101~S106は、それぞれ、第5の動作例のステップS71~S76と同じ要領で実行されてよい。
【0326】
被検眼Eの検査を終了するとユーザーが判断した場合(S106:Yes)、本動作例の処理はステップS110に移行する。他方、被検眼Eの検査を終了しないとユーザーが判断した場合(S106:No)、処理はステップS107に移行する。
【0327】
なお、幾つかの例示的な態様では、本ステップの判定を眼科検査装置1(例えば制御部210又はデータ処理部230)が実行してもよい。その場合、ステップS105の画像表示を行う必要はない。
【0328】
(S107:品質OKか?)
被検眼Eの検査を終了しないとユーザーが判断した場合(S106:No)、サンプリング制御部2112は、ステップS104で構築された画像データの品質を評価する。この品質評価は、例えば、第3の動作例のステップS54と同じ要領で実行されてよい。このように、本動作例では、ユーザーによる判定(S106)に加えて自動判定(S107)も実行する。
【0329】
画像データの品質が良好であると判定された場合(S107:Yes)、本動作例の処理はステップS110に移行する。他方、画像データの品質が良好でないと判定された場合(S107:No)、処理はステップS108に移行する。
【0330】
(S108~S109)
ステップS108及びS109は、それぞれ、第5の動作例のステップS77及びS78と同じ要領で実行されてよい。
【0331】
ステップS103~S109の一連の工程は、ステップS106において検査終了と判断される(S106:Yes)まで、ステップS107において品質OKと判定される(S107:Yes)まで、又は、ステップS108においてパラメータnの現在値が閾値を超えていると判断される(S108:Yes)まで、繰り返し実行される。ステップS106において検査終了と判断されると(S106:Yes)、処理はステップS110に移行する。同様に、ステップS107において品質OKと判定されると(S107:Yes)、処理はステップS110に移行する。同様に、ステップS108においてパラメータnの現在値が閾値を超えていると判断されると(S108:Yes)、処理はステップS110に移行する。
【0332】
(S110:画像の表示・保存)
ステップS106において検査終了と判断された場合(S106:Yes)、ステップS107において品質OKと判定された場合(S107:Yes)、又は、ステップS108においてパラメータnの現在値が閾値を超えていると判断された場合(S108:Yes)、眼科検査装置1は、最後に実行されたステップS105で表示された画像の画像データを保存する。例えば、制御部210は、この画像データを記憶部212又は他の記憶装置に格納する。また、必要に応じて、主制御部211は、この画像データに基づく画像を表示部241に表示させることができる。以上で、本動作例の処理は終了となる(エンド)。
【0333】
本動作例によれば、リサジュースキャンのサンプル個数を段階的に増加させながら、被検眼Eの良好な品質の画像データを取得できるか否かについてユーザー及び眼科検査装置1が判定することが可能である。また、ユーザーは、被検眼Eの検査を所望のタイミングで終えることができる。なお、幾つかの例示的な態様では、ユーザー及び眼科検査装置の一方のみが当該判定を行うようにしてもよい。
【0334】
<第8の動作例>
リサジュースキャン(走査サンプリング)とサンプル個数の変更とを組み合わせた動作の一例について、
図16を参照しつつ説明する。本例のリサジュースキャン及び画像データ構築は第1の動作例と同じ要領で実行されてよく、他の事項についても特に言及しない限り第1の動作例と同じ要領で実行されてよいが、それらに限定されない。
【0335】
(S121~S123)
ステップS121~S123は、それぞれ、第5の動作例のステップS71~S73と同じ要領で実行されてよい。
【0336】
(S124:ストリップの構築)
画像データ構築部220は、ステップS103のリサジュースキャンで取得されたデータセットから画像データを構築する。本ステップでは、画像データ構築部220は、ステップS103のリサジュースキャンにおいて複数のサイクルについて逐次に取得される複数のデータセットから、各サイクルに対応するストリップを逐次に構築する。本ステップは、例えば、第1の動作例の少なくともステップS2と同じ要領で実行されてよく、更にステップS3~S32と同じ処理を含んでいてもよい。
【0337】
(S125:ストリップの表示)
制御部210(表示制御部としての主制御部211)は、ステップS124で構築された画像データ(ストリップ)に基づく画像を表示部241に表示させる。本ステップで表示される画像は、例えば、1つのストリップの画像、又は、2つ以上のストリップに基づくマージストリップの画像であってよい。更に、主制御部211は、所定のGUIを表示部241に表示させる。
【0338】
(S126:精細化必要か?)
ユーザーは、ステップS125で表示された画像を観察し、画像の精細化(スキャンの精細化、スキャン点の分布密度の増加、サンプル個数の増加)が必要であるか判断する。換言すると、ユーザーは、より高い品質の画像が必要であるか否か判断する。ユーザーは、操作部242及び上記GUIを用いて、この判断の結果を眼科検査装置1に入力する。
【0339】
精細化が必要であるとユーザーが判断した場合(S126:Yes)、本動作例の処理はステップS127に移行する。他方、精細化が必要でないとユーザーが判断した場合(S126:No)、処理はステップS128に移行する。
【0340】
なお、幾つかの例示的な態様では、本ステップの判定を眼科検査装置1(例えば制御部210又はデータ処理部230)が実行してもよい。その場合、ステップS125のストリップ表示を行う必要はない。
【0341】
(S127:n=n+10)
精細化が必要であるとユーザーが判断した場合(S126:Yes)、サンプリング制御部2112は、パラメータnの値を変更する。本ステップは、第5の動作例のステップS78と同じ要領で実行されてよい。パラメータnの値が変更された後、ステップS123~S126が再度実行される。
【0342】
(S128:処理完了か?)
リサジュースキャンの全てのサイクルについての処理(例えば、第1の動作例のステップS2~S32)が完了するまで、ステップS123~S128が繰り返し実行される(S128:No)。リサジュースキャンの全てのサイクルについての処理が完了すると(S128:Yes)、処理はステップS129に移行する。
【0343】
本動作例において、眼科検査装置1は、リサジュースキャン(S123)を実行しながら、このリサジュースキャンで取得されたデータセットの処理(S124~S128)を実行するように構成されていてよい。
【0344】
例えば、眼科検査装置1は、以下に示す一連の処理を実行するように構成されていてよい:ステップS122からステップS123に移行したことに対応してリサジュースキャン(1回のリサジュースキャン及び2回以上のリサジュースキャンのいずれでもよい)を開始する(S123);このリサジュースキャンで複数のサイクルについて逐次に取得される複数のデータセットから各サイクルのストリップを逐次に且つリアルタイムで構築する(S124);逐次に構築されるストリップを逐次に且つリアルタイムで表示する(S125);逐次に表示されるストリップに対するユーザーの判断結果の入力を受け付ける(S126);入力された判断結果に応じた処理をリアルタイムで実行する(S127、S128);この判断結果に応じた繰り返し処理(S123~S128)を必要に応じて実行する。
【0345】
(S129:画像の表示)
制御部210(表示制御部としての主制御部211)は、ステップS128で処理完了と判断された処理によって構築された画像データに基づく画像を表示部241に表示させる。
【0346】
(S130:画像の保存)
制御部210は、ステップS128で処理完了と判断された処理によって構築された画像データを記憶部212又は他の記憶装置に格納する。以上で、本動作例の処理は終了となる(エンド)。
【0347】
本動作例によれば、リサジュースキャンを実行しながら逐次に取得されるストリップに基づいて画像の良否判断を行うことができる。よって、リサジュースキャンの成否判定の迅速化を図ることができる。更に、より高精細の画像を取得したい場合にはリサジュースキャンのサンプル個数を増加することが可能である。また、ユーザーは、被検眼Eの検査を所望のタイミングで終えることができる。
【0348】
<第9の動作例>
リサジュースキャン(走査サンプリング)とサンプル個数の変更とを組み合わせた動作の一例について、
図17を参照しつつ説明する。本例のリサジュースキャン及び画像データ構築は第1の動作例と同じ要領で実行されてよく、他の事項についても特に言及しない限り第1の動作例と同じ要領で実行されてよいが、それらに限定されない。
【0349】
(S141~S142)
ステップS141及びS142は、それぞれ、第5の動作例のステップS71及びS72と同じ要領で実行されてよい。
【0350】
(S143:スキャンの中心・間隔の設定)
ユーザー又は眼科検査装置1は、リサジュースキャンに適用されるスキャン中心及びスキャン間隔を設定する。スキャン中心の設定は、例えば、眼底カメラユニット2により取得された観察画像及び/又は準備的なOCTスキャンにより取得されたOCT画像を参照して実行される。本ステップで実行される処理の非限定的な例を以下に説明する。
【0351】
幾つかの例示的な態様では、眼科検査装置1は、表示部241に表示された観察画像及び/又はOCT画像に対してユーザーが所望のスキャン中心位置を設定できるように構成されていてよい。更に、観察画像及び/又はOCT画像に対して所望のスキャン範囲を設定可能であってもよい。なお、この段階では、広いスキャン範囲が設定される(広角OCTスキャン)。また、ユーザーは、スキャン間隔(隣接するスキャン点の間の距離)を設定することができる。このとき、ユーザーは、ステップS142で設定されたパラメータnの値(本例では、n=10)を参照してもよい。
【0352】
幾つかの例示的な態様では、眼科検査装置1(例えば、サンプリング制御部2112及び/又はデータ処理部230)は、観察画像及び/又はOCT画像を解析して眼底Efの所定部位の像を検出する処理と、この像の位置に基づいてスキャン中心位置(及びスキャン範囲)を設定する処理とを実行するように構成されていてよい。例えば、眼科検査装置1は、観察画像及び/又はOCT画像を解析して黄斑(又は、視神経乳頭、眼底中心、病変、血管の特徴部位など)の像を検出し、この黄斑像の外縁を検出し、この外縁の近似円又は近似楕円を求め、この近似円又は近似楕円の中心を特定し、この中心の位置をスキャン中心に設定してもよい。更に、眼科検査装置1は、この黄斑像を含むようにスキャン範囲を設定してもよい。なお、この段階では、広いスキャン範囲が設定される(広角OCTスキャン)。また、眼科検査装置1は、スキャン間隔を設定するように構成されていてよい。この処理において、眼科検査装置1は、ステップS142で設定されたパラメータnの値(本例では、n=10)を参照してもよい。
【0353】
(S144:リサジュースキャン(広角・低精細))
眼科検査装置1は、ステップS142及びS143で設定された条件(パラメータn、スキャン中心、スキャン間隔、スキャン範囲など)を用いたリサジュースキャンを被検眼Eに適用してデータセットを取得する。本ステップのリサジュースキャンは、後段(ステップS150)のリサジュースキャンと比較して、広角且つ低精細である。
【0354】
(S145:画像データの構築)
画像データ構築部220は、ステップS144で取得されたデータセットから画像データを構築する。本ステップは、例えば、第1の動作例のステップS2~S32と同じ要領で実行されてよい。
【0355】
(S146:広角画像の表示)
制御部210(表示制御部としての主制御部211)は、ステップS145で構築された画像データに基づく画像を表示部241に表示させる。本ステップで表示される画像は、低精細の広角画像(広域画像)である。
【0356】
(S147:スキャン範囲の指定)
ユーザーは、ステップS146で表示された広角画像を参照して、高精細のリサジュースキャンが適用される範囲を指定する。
【0357】
なお、幾つかの例示的な態様では、本ステップの処理を眼科検査装置1(例えば制御部210又はデータ処理部230)が実行してもよい。その場合、ステップS145の広角画像表示を行う必要はない。
【0358】
(S148:スキャンの中心・間隔の設定)
ユーザー又は眼科検査装置1は、高精細のリサジュースキャンに適用されるスキャン中心及びスキャン間隔を設定する。
【0359】
(S149:n=100)
サンプリング制御部2112は、パラメータnの値を所定値に変更する。この所定値は、保存用(診断用)の画像データについてのパラメータnの値として設定された値である。この所定値は、
図17に示す例では「100」であるが、これに限定されない。この所定値は、例えば、ユーザーが設定した値、デフォルト値、被検者の属性に応じた値、被検眼の属性に応じた値、過去の検査に応じた値、検査条件に応じた値、検査環境に応じた値、及び、評価対象の画像に応じた値のいずれかであってよい。
【0360】
(S150:リサジュースキャン(高精細))
眼科検査装置1は、ステップS147~S149で設定された条件(スキャン範囲、スキャン中心、スキャン間隔、パラメータnなど)を用いたリサジュースキャンを被検眼Eに適用してデータセットを取得する。本ステップのリサジュースキャンは、ステップS144のリサジュースキャンと比較して、高精細である。
【0361】
(S151:画像データの構築)
画像データ構築部220は、ステップS150で取得されたデータセットから画像データを構築する。本ステップは、例えば、第1の動作例のステップS2~S32と同じ要領で実行されてよい。
【0362】
(S152:高精細画像の表示)
制御部210(表示制御部としての主制御部211)は、ステップS151で構築された画像データに基づく画像(ステップS147で指定された範囲の高精細画像)を表示部241に表示させる。
【0363】
(S153:高精細画像を広角画像に重ねて表示)
例えばユーザーの指示に応じて、制御部210(表示制御部としての主制御部211)は、ステップS151で構築された画像データに基づく高精細画像を、ステップS145で構築された画像データに基づく広角画像にオーバーラップ表示させることができる。
【0364】
高精細画像と広角画像との間のレジストレーションは、例えば、ステップS147で行われたスキャン範囲の指定の結果に基づいて実行されてよい。或いは、高精細画像中の特徴点と広角画像中の特徴点とを参照してレジストレーションを行ってもよい。
【0365】
(S154:画像の保存)
眼科検査装置1は、本動作例で取得された画像データを保存する。例えば、制御部210は、ステップS151で構築された画像データ(及び、ステップS145で構築された画像データ)を記憶部212又は他の記憶装置に格納する。以上で、本動作例の処理は終了となる(エンド)。
【0366】
本動作例によれば、少ないサンプル個数のリサジュースキャン(スキャン時間及び処理時間が短い)で取得された画像を用いて、十分なサンプル数のリサジュースキャンが適用される範囲を設定することが可能である。
【0367】
<効果>
第1の実施形態に係る眼科検査装置1の幾つかの効果について説明する。
【0368】
眼科検査装置1は、光走査を用いて画像データを構築する走査型イメージング装置であって、データセット収集部と画像データ構築部とサンプリング制御部とを含んでいる。
【0369】
データセット収集部は、互いに交差する一連のサイクルを含む2次元パターンに従う光走査を被検物に適用してデータセットを収集するように構成されている。本実施形態では、OCTデータを収集するための要素群がデータセット収集部に相当し、例えば、眼底カメラユニット2、OCTユニット100などがデータセット収集部に相当している。
【0370】
画像データ構築部は、データセット収集部により収集されたデータセットに基づいて画像データを構築するように構成されている。本実施形態では、画像データ構築部220が画像データ構築部に相当している。
【0371】
サンプリング制御部は、画像データを構築するためのサンプリングにおけるサンプル個数を変更するように構成されている。本実施形態では、サンプリング制御部2112がサンプリング制御部に相当している。
【0372】
従来のリサジュースキャン技術では、画像データ構築のためのデータ処理に多大な時間やリソースが必要とされ、このデータ処理が完了するまでスキャンの成否を判断することができなかった。
【0373】
これに対し、本実施形態の眼科検査装置1によれば、走査サンプリングにおけるサンプル個数を変更することができるので、データ処理に掛かる時間(更には、リサジュースキャンに掛かる時間)を変更することができる。特に、データ処理に要される時間(更には、リサジュースキャンに掛かる時間)の短縮やリソースの低減を図ることが可能である。したがって、スキャンの成否判定の迅速化を図ることが可能である。
【0374】
なお、スキャンの成否判定の迅速化という効果は、本実施形態の効果の1つに過ぎない。本実施形態は、その態様に応じて、前述した様々な効果を奏するものであり、また、その構成や動作に応じた効果を奏するものである。
【0375】
前述したように、走査型イメージングにおける画像データ構築のためのサンプリングには、光走査におけるサンプリング(走査サンプリング)と、光走査で収集されたデータの処理におけるサンプリング(データサンプリング)とがある。本実施形態は、走査サンプリングが適用される場合におけるサンプリング制御の幾つかの例示的な態様を扱っている。なお、データサンプリングが適用される場合におけるサンプリング制御については、第2の実施形態においてその幾つかの例示的な態様を説明する。
【0376】
本実施形態のサンプリング制御部(2112)は、走査サンプリングにおけるサンプル個数(光走査によって被検物から取得されるサンプルの個数)を変更するために、データセット収集部を制御して光走査におけるスキャン点の個数を変更するように構成されている(第1のサンプリング制御部)。
【0377】
第1のサンプリング制御部として機能する本実施形態のサンプリング制御部(2112)の第1の例示的な態様は、光走査におけるスキャン点の間隔(スキャン点の密度)を変更するようにデータセット収集部を制御することによって、走査サンプリングにおけるサンプル個数を変更するように構成されている。
【0378】
第1のサンプリング制御部として機能する本実施形態のサンプリング制御部(2112)の第2の例示的な態様は、光走査における一連のサイクルに含まれるサイクルの個数を変更するようにデータセット収集部を制御することによって、走査サンプリングにおけるサンプル個数を変更するように構成されている。
【0379】
第1のサンプリング制御部として機能する本実施形態のサンプリング制御部(2112)の第3の例示的な態様は、光走査の適用エリアの寸法を変更するようにデータセット収集部を制御することによって、走査サンプリングにおけるサンプル個数を変更するように構成されている。
【0380】
第1のサンプリング制御部として機能する本実施形態のサンプリング制御部(2112)は、第1~第3の例示的な態様に限定されるものではなく、光走査におけるスキャン点の個数を直接的に又は間接的に変更することが可能な任意の構成を備えたものであってよい。
【0381】
本実施形態において、サンプリング制御部(2112)は、走査サンプリングにおけるサンプル個数を、第1サンプル個数と、第1サンプル個数よりも多い第2サンプル個数とに変更することができるように構成されていてよい。この場合、画像データ構築部(220)は、(比較的少数の)第1サンプル個数が適用された第1サンプリングで得られた第1データセットに基づいて第1画像データを構築し、且つ、(比較的多数の)第2サンプル個数が適用された第2サンプリングで得られた第2データセットに基づいて第2画像データを構築することができる。
【0382】
走査サンプリングにおけるサンプル個数の種類は2つに限定されず、3つ以上であってもよい。上記の第1サンプル個数及び第2サンプル個数は、3つ以上のサンプル個数のうちの2つを表していてもよい。
【0383】
第1サンプル個数及び第2サンプル個数の適用の順序は任意であってよい。つまり、第1サンプリング及び第2サンプリングのいずれを先に実行してもよい。例えば、本実施形態の幾つかの動作例でも説明したが、サンプリング制御部(2112)は、比較的少数の第1サンプル個数の適用の後に、比較的多数の第2サンプル個数の適用を行うことができる。逆に、サンプリング制御部(2112)は、比較的多数の第2サンプル個数の適用の後に、比較的少数の第1サンプル個数の適用を行ってもよい。
【0384】
このような眼科検査装置1によれば、2つ以上のサンプル個数にそれぞれ対応する2つ以上の画像データを取得できるので、以下に例示するような応用が可能である:或るサンプル個数に対応する画像データを利用して、他のサンプル個数に対応する光走査を実行すること;或るサンプル個数に対応する画像データを利用して、他のサンプル個数に対応する画像データを処理すること;異なる2つ以上のサンプル個数にそれぞれ対応する2つ以上の画像データをユーザーに提供すること;異なる2つ以上のサンプル個数にそれぞれ対応する2つ以上の画像データを処理すること(解析、合成、比較など);異なる2つ以上のサンプル個数にそれぞれ対応する2つ以上の画像データを利用して機械学習を行うこと。
【0385】
本実施形態の幾つかの動作例でも説明したように、サンプリング制御部(2112)は、走査サンプリングにおけるサンプル個数を段階的に増加するように構成されていてよい。
【0386】
このような構成によれば、サンプル個数を徐々に増加させながら様々な処理を実行することが可能になる。例えば、サンプル個数が少ない段階では、データ処理時間の短さを利用してスキャンの成否判定やアライメントなどを行うことができるとともに、十分なサンプル個数に到達した段階では、十分な品質(解像度、精細度)の画像データを取得することができる。
【0387】
本実施形態において、サンプリング制御部(2112)は、画像データ構築部(220)により構築された画像データの品質が良好であるか判定するように構成されていてよい。更に、サンプリング制御部(2112)は、この画像データの品質が良好でないと判定された場合にサンプル個数を変更するように構成されていてよい。
【0388】
このような構成によれば、光走査を用いて取得された画像データの品質を自動で評価することができるので、スキャンの成否判定を迅速且つ自動で行うことが可能になる。また、画像データの品質が良好でない場合にサンプル個数を変更することで、異なる条件で更なる光走査を行うことが可能である。例えば、画像データの品質が良好でない場合にサンプル個数を増加して更なる光走査を行うことで、より高い品質の画像データの取得を試みることが可能になる。
【0389】
サンプリング制御部(2112)は、画像データ構築部(220)により構築された画像データの品質が良好であると判定された場合にサンプル個数を所定の最大個数に変更するように構成されていてよい。
【0390】
このような構成によれば、画像データの品質が良好である場合に最大サンプル個数で更なる光走査を行うことにより、高品質(解像度最大、精細度最大)の画像データの取得に自動で移行することが可能になる。
【0391】
本実施形態の眼科検査装置1は、画像データ構築部(220)により構築された画像データに基づいて表示装置(表示部241)に画像を表示させる表示制御部(制御部210、主制御部211)を備えているとともに、表示装置に表示された画像に基づく指示をユーザーが入力するための操作部(242)を備えている。更に、サンプリング制御部(2112)は、操作部に入力された指示に基づいてサンプル個数を変更するように構成されていてよい。
【0392】
このような構成によれば、ユーザーは、表示された画像を観察して所望のサンプル個数を設定することが可能である。
【0393】
<第2の実施形態>
第2の実施形態について説明する。第1の実施形態では、光走査として実行されるサンプリング(走査サンプリング)の制御に関する幾つかの例示的な態様を説明したが、本実施形態では、光走査で収集されたデータの処理におけるサンプリング(データサンプリング)の制御に関する幾つかの例示的な態様について説明する。
【0394】
前述したように、データサンプリングは、例えば、光走査で収集されたデータ又はそれに基づき生成されたデータから、複数の部分データを抽出する動作である。本実施形態のデータサンプリングは、例えば、連続的データから離散的データを抽出する処理(連続信号の離散信号化、アナログ信号のデジタル信号化、A/D変換)、連続的データから複数の連続的部分データを抽出する処理、連続的データから1以上の連続的部分データ及び1以上の離散的部分データを抽出する処理、離散的データから複数の離散的部分データを抽出する処理などであってよく、又は、これらの処理から任意に選択された処理の組み合わせであってもよい。また、本実施形態のデータサンプリングは、例えば、画像データから複数の部分画像データを抽出する処理、画像データに基づき生成されたデータから複数の部分データを抽出する処理、画像データセット(複数の画像データからなる集合)から複数の部分データセット(複数の画像データからなる集合の部分集合)を抽出する処理、又は、これらの処理から任意に選択された処理の組み合わせであってもよい。
【0395】
本実施形態では、特に言及しない限り、第1の実施形態と同様の事項(同様の構成、同様の要素、同様の機能、同様の作用、同様の効果など)が適用されるものとするが、それに限定されるものではない。
【0396】
本実施形態の眼科検査装置は、第1の実施形態の
図1~
図4Bに示す構成を備えているとともに、
図18に示す構成を備えている。
【0397】
なお、幾つかの例示的な態様では、第1の実施形態の
図1~
図4Bに示す構成に加えて、
図4Cに示す構成及び
図18に示す構成の双方を備えていてもよい。そのような態様では、走査サンプリングの制御及びデータサンプリングの制御の双方を実行可能であり、例えば、これらの制御を組み合わせて実行すること、及び/又は、これらの制御を選択的に実行することが可能である。
【0398】
図18の主制御部211Aは、
図3の主制御部211の例であり、
図4Aの走査制御部2111に加えてサンプリング制御部2113を含んでいる。サンプリング制御部2113は、データサンプリングに関する制御を実行するものであり、画像データ構築部220のデータ収集システム2200の制御を行うように構成されている。
【0399】
例えば、サンプリング制御部2113は、データ収集システム2200が実行するデジタル化処理におけるサンプリングの制御を行うように構成されている。より具体的には、サンプリング制御部2113は、データサンプリングとして実行される当該デジタル化処理のサンプリングによって抽出されるサンプルの個数を変更するための制御を行うように構成されている。
【0400】
幾つかの例示的な態様において、サンプリング制御部2113は、光源ユニット101からデータ収集システム2200に提供されるクロックKCを変調するように構成されていてよい。この信号変調は、例えば周波数変調であってよい。これにより、データ収集システム2200が実行するデータサンプリングの周波数を変化させることができる。
【0401】
また、幾つかの例示的な態様では、サンプリング制御部2113は、クロックKCを生成する光源ユニット101の制御を行うように構成されていてよい。すなわち、サンプリング制御部2113は、光源ユニット101により生成されるクロックKCの周波数を変化するための制御を実行するように構成されていてよい。これによっても、データ収集システム2200が実行するデータサンプリングの周波数を変化させることができる。
【0402】
データ収集システム2200が実行するデータサンプリングにおけるサンプル個数を変更するために実行される制御(つまり、サンプリング制御部2113の構成、機能、動作)は、上記した例に限定されない。例えば、幾つかの例示的な態様において、画像データ構築部220は、データ間引き処理(データ抽出処理)を実行するように構成された機能要素(プロセッサ)をデータ収集システム2200内(又は、データ収集システム2200とストリップ構築部2210との間、若しくは、他の任意の箇所)に備えていてよく、サンプリング制御部2113は、このプロセッサを制御することでデータ間引き処理により抽出されるデータの個数(サンプル個数)を変更するように構成されていてよい。
【0403】
以上に説明したように、本実施形態の画像データ構築部220は、被検眼Eに適用されたリサジュースキャンによって収集されたデータセットからサブデータセット(複数のサンプル)を抽出するデータサンプリングを、データ収集システム2200によって実行するように構成されている。更に、本実施形態の画像データ構築部220は、このデータサンプリングによりデータセットから抽出されたサブデータセットに基づく画像データ構築を、マスク画像生成部2211~画像データ補正部2230によって実行するように構成されている。加えて、本実施形態のサンプリング制御部2113は、画像データ構築部220により実行されるデータサンプリングのサンプル個数を変更するために画像データ構築部220を制御することで、このデータサンプリングにおいてデータセットから抽出されるサブデータセットに含まれるデータ(サンプル)の個数を変更するように構成されている。サンプリング制御部2113は、第2のサンプリング制御部の例示的な態様を提供する。
【0404】
幾つかの例示的な態様において、サンプリング制御部2113は、データサンプリングにおけるデータ抽出間隔を変更するように画像データ構築部220(データ収集システム2200)を制御するように構成されていてよい。また、幾つかの例示的な態様において、サンプリング制御部2113は、光走査における一連のサイクルのうちデータサンプリングにおけるデータ抽出の対象となるサイクルの個数を変更するように画像データ構築部220(データ収集システム2200)を制御するように構成されていてよい。また、幾つかの例示的な態様において、光走査の適用エリアのうちデータサンプリングにおけるデータ抽出の対象となるエリアの寸法を変更するように画像データ構築部220(データ収集システム2200)を制御するように構成されていてよい。
【0405】
本例のサンプリング制御部2113が実行する制御の対象となるデータサンプリング(つまり、データ収集システム2200が実行するデータサンプリング)は、前述した各種のデータサンプリングのうちの「連続的データから離散的データを抽出する処理」に相当しているが、本実施形態のサンプリング制御部が実行する制御の対象となるデータサンプリングはこれに限定されない。
【0406】
例えば、本実施形態のサンプリング制御部が実行する制御の対象となるデータサンプリングは、非限定的な例として以下に示す処理のうちのいずれか1つを含んでいてもよいし、いずれか2つ以上の少なくとも部分的な組み合わせを含んでいてもよい:連続的データから複数の連続的部分データを抽出する処理;連続的データから1以上の連続的部分データ及び1以上の離散的部分データを抽出する処理;離散的データから複数の離散的部分データを抽出する処理;画像データから複数の部分画像データを抽出する処理;画像データに基づき生成されたデータから複数の部分データを抽出する処理;画像データセットから複数の部分データセットを抽出する処理。
【0407】
幾つかの例示的な態様では、画像データ構築部220により構築された複数の画像データ(例えば、複数のストリップ、複数のサブボリュームなど)から画像データ群を抽出する処理をデータサンプリングとして実行してよく、サンプリング制御部2113は、このデータサンプリングの制御を実行するように構成されていてよい。例えば、サンプリング制御部2113は、このデータサンプリングにおける画像データ抽出間隔を変更するための制御、このデータサンプリングにおける画像データ抽出の対象となるサイクルの個数を変更するための制御、及び、光走査の適用エリアのうちこのデータサンプリングにおける画像データ抽出の対象となるエリアの寸法を変更するための制御のいずれかを実行可能に構成されていてよい。
【0408】
サンプリング制御部2113により実行される制御の態様は、上記した例示的な制御に限定されず、データサンプリングにより抽出されるデータの個数を変更するための(したがって、画像データを構築するためのサンプリングにおけるサンプル個数を変更するための)任意の制御を含んでいてよい。
【0409】
また、サンプリング制御部2113は、第1の実施形態のサンプリング制御部2112(又は、他の機能要素)によって実行可能な様々な処理のうちのいずれかを実行可能に構成されていてもよい。
【0410】
このように構成された本実施形態の眼科検査装置によれば、データサンプリングにおけるサンプル個数を変更することができるので、データ処理に掛かる時間を変更することができる。特に、データ処理に要される時間の短縮やリソースの低減を図ることが可能である。したがって、スキャンの成否判定の迅速化を図ることが可能である。
【0411】
なお、スキャンの成否判定の迅速化という効果は、本実施形態の効果の1つに過ぎない。本実施形態は、その態様に応じて、前述した様々な効果を奏するものであり、また、その構成や動作に応じた効果を奏するものである。
【0412】
また、第1の実施形態が奏する様々な効果のうちの幾つかの効果が本実施形態の眼科検査装置によって達成可能であることは、当業者であれば理解できるであろう。
【0413】
<他の実施形態>
本開示に係る実施形態は、第1及び第2の実施形態並びにそれらの変形例に限定されない。例えば、第1及び第2の実施形態は、各種の方法に係る実施形態、各種のプログラムに係る実施形態、各種の記録媒体に係る実施形態などを提供するものである。
【0414】
第1又は第2の実施形態は、走査型イメージング装置を制御する方法の実施形態を提供する。この実施形態に係る方法は、光走査を行うスキャナと、この光走査で収集されたデータセットから画像データを構築するプロセッサとを含む走査型イメージング装置を制御する方法である。このスキャナは第1の実施形態のデータセット収集部であってよく、このプロセッサは第1の実施形態の画像データ構築部220(及びデータ処理部230)であってよい。
【0415】
本実施形態に係る方法は、スキャナ及びプロセッサの少なくとも一方の制御を実行することによって、画像データを構築するためのサンプリングにおけるサンプル個数を変更させる工程を含んでいる。すなわち、本実施形態に係る方法は、画像データを構築するためのサンプリングにおけるサンプル個数を変更させるためにスキャナを制御する工程、画像データを構築するためのサンプリングにおけるサンプル個数を変更させるためにプロセッサを制御する工程、及び、画像データを構築するためのサンプリングにおけるサンプル個数を変更させるためにスキャナ及びプロセッサの双方を制御する工程のうちのいずれかを含んでいる。
【0416】
幾つかの例示的な態様において、スキャナを制御する工程は、光走査におけるスキャン点の個数を変更するための制御を含んでいてよい。また、幾つかの例示的な態様において、プロセッサを制御する工程は、データサンプリングによってデータセットから抽出されるデータの個数を変更するための制御を含んでいてよい。
【0417】
第1又は第2の実施形態において説明された任意の事項を、本実施形態に係る方法に組み合わせることが可能である。走査型イメージング装置の制御方法は、組み合わせられた事項に応じた作用及び効果を奏する。
【0418】
このような走査型イメージング装置の制御方法によれば、スキャンの成否の判定の迅速化を図ることが可能である。
【0419】
第1又は第2の実施形態は、走査型イメージング装置を用いたイメージング方法の実施形態を提供する。この実施形態に係る方法は、光走査を行うスキャナと、この光走査で収集されたデータセットから画像データを構築するプロセッサとを含む走査型イメージング装置を用いたイメージング方法である。このスキャナは第1の実施形態のデータセット収集部であってよく、このプロセッサは第1の実施形態の画像データ構築部220(及びデータ処理部230)であってよい。
【0420】
本実施形態に係る方法は、次の3つの工程を含んでいてよい。第1の工程は、スキャナにより、互いに交差する一連のサイクルを含む2次元パターンに従う光走査を被検物に適用してデータセットを収集する。第2の工程は、プロセッサにより、第1の工程で収集されたデータセットに基づいて画像データを構築する。第3の工程は、プロセッサにより、画像データを構築するためのサンプリングにおけるサンプル個数を変更する。
【0421】
このようなイメージング方法によれば、スキャンの成否の判定の迅速化を図ることが可能である。
【0422】
本開示は、実施形態に係る方法をコンピュータに実行させるプログラムを提供する。幾つかの例示的な実施形態は、走査型イメージング装置の制御方法をコンピュータに実行させるプログラムを提供する。幾つかの例示的な実施形態は、イメージング方法をコンピュータに実行させるプログラムを提供する。幾つかの例示的な実施形態は、本開示に係る技術によって実現可能な任意の方法をコンピュータに実行させるプログラムを提供する。
【0423】
本開示は、実施形態に係るプログラムが記録されたコンピュータ可読な非一時的記録媒体を提供する。幾つかの例示的な実施形態は、走査型イメージング装置の制御方法をコンピュータに実行させるプログラムが記録されたコンピュータ可読な非一時的記録媒体を提供する。幾つかの例示的な実施形態は、イメージング方法をコンピュータに実行させるプログラムが記録されたコンピュータ可読な非一時的記録媒体を提供する。幾つかの例示的な実施形態は、本開示に係る技術によって実現可能な任意の方法をコンピュータに実行させるプログラムが記録されたコンピュータ可読な非一時的記録媒体を提供する。実施形態の非一時的記録媒体は任意の形態であってよく、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。
【0424】
本開示は、幾つかの例示的な態様を例示するものに過ぎず、発明の限定を意図したものではない。この発明を実施しようとする者は、この発明の要旨の範囲内における任意の変形(省略、置換、付加など)を施すことが可能である。
【符号の説明】
【0425】
1 眼科検査装置
211 主制御部
2112、2113 サンプリング制御部
220 画像データ構築部
2200 データ収集システム