(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023180265
(43)【公開日】2023-12-21
(54)【発明の名称】眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体
(51)【国際特許分類】
A61B 3/135 20060101AFI20231214BHJP
【FI】
A61B3/135
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022093390
(22)【出願日】2022-06-09
(71)【出願人】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(74)【代理人】
【識別番号】100124626
【弁理士】
【氏名又は名称】榎並 智和
(72)【発明者】
【氏名】山口 達夫
【テーマコード(参考)】
4C316
【Fターム(参考)】
4C316AA01
4C316AA03
4C316AA08
4C316AB14
4C316AB19
4C316FA06
4C316FB21
4C316FB26
4C316FC01
4C316FY02
4C316FY09
4C316FZ01
4C316FZ03
(57)【要約】
【課題】光スキャンを用いた撮像方式の眼科装置の画質向上を図る。
【解決手段】一実施形態に係る眼科装置は、照明系、撮影系、移動機構、及び制御部を含む。照明系は、被検眼に照明光を投射する。撮影系は、被検眼を撮影する。撮影系は、撮像素子を含む。照明系及び撮影系は、シャインプルーフの条件を満足するように構成されている。移動機構は、照明系及び撮影系を移動する。制御部は、照明系、撮影系、及び移動機構の制御を行って撮影系に一連の画像を収集させる。制御部は、被検眼の一連の画像を撮影系に収集させるための制御において、被検眼に対する照明光の投射時間が撮像素子の露光時間よりも短くなるように、且つ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複するように、照明系及び撮影系の少なくとも一方を制御する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
被検眼に照明光を投射する照明系と、
前記被検眼を撮影する撮影系と、
前記照明系及び前記撮影系を移動する移動機構と、
前記照明系、前記撮影系、及び前記移動機構の制御を行って前記撮影系に一連の画像を収集させる制御部と
を含み、
前記撮影系は、撮像素子を含み、
前記照明系及び前記撮影系は、シャインプルーフの条件を満足するように構成されており、
前記制御部は、前記一連の画像を前記撮影系に収集させるための前記制御において、前記被検眼に対する前記照明光の投射時間が前記撮像素子の露光時間よりも短くなるように、且つ、前記被検眼に対する前記照明光の投射期間の少なくとも一部と前記撮像素子の露光期間の少なくとも一部とが重複するように、前記照明系及び前記撮影系の少なくとも一方を制御する、
眼科装置。
【請求項2】
前記制御部は、前記一連の画像を前記撮影系に収集させるための前記制御において、前記撮像素子の露光を反復するように前記撮影系の制御を実行する、
請求項1の眼科装置。
【請求項3】
前記制御部は、前記撮像素子の前記露光を反復するための前記撮影系の前記制御と並行して、前記照明光の強度を変調するための前記照明系の制御を実行する、
請求項2の眼科装置。
【請求項4】
前記制御部は、前記被検眼に前記照明光が断続的に投射されるように前記照明系の前記制御を実行する、
請求項3の眼科装置。
【請求項5】
前記制御部は、前記一連の画像を前記撮影系に収集させるための前記制御において、前記照明系と前記撮影系との同期制御を実行する、
請求項1の眼科装置。
【請求項6】
前記制御部は、前記照明光の前記投射時間及び不投射時間の合計時間と前記撮像素子の前記露光時間及び不露光時間の合計時間とが等しくなるように前記同期制御を実行する、
請求項5の眼科装置。
【請求項7】
前記制御部は、前記照明光の前記投射時間を変更するための前記照明系の制御を実行する、
請求項1の眼科装置。
【請求項8】
前記制御部は、前記移動機構により移動される前記照明系及び前記撮影系の速さに基づき前記照明系を制御して前記照明光の前記投射時間を変更する、
請求項7の眼科装置。
【請求項9】
前記制御部は、予め設定された2つ以上の撮影モードから選択された撮影モードに基づいて前記照明系及び前記撮影系の前記速さを決定する、
請求項8の眼科装置。
【請求項10】
前記制御部は、予め設定された2つ以上の撮影モードから選択された撮影モードに基づき前記照明系を制御して前記照明光の前記投射時間を変更する、
請求項7の眼科装置。
【請求項11】
前記制御部は、前記撮像素子の前記露光時間を変更するための前記撮影系の制御を実行する、
請求項1の眼科装置。
【請求項12】
前記制御部は、前記移動機構により移動される前記照明系及び前記撮影系の速さに基づき前記撮影系を制御して前記撮像素子の前記露光時間を変更する、
請求項11の眼科装置。
【請求項13】
前記制御部は、予め設定された2つ以上の撮影モードから選択された撮影モードに基づいて前記照明系及び前記撮影系の前記速さを決定する、
請求項12の眼科装置。
【請求項14】
前記制御部は、予め設定された2つ以上の撮影モードから選択された撮影モードに基づき前記撮影系を制御して前記撮像素子の前記露光時間を変更する、
請求項11の眼科装置。
【請求項15】
前記撮影系により収集された前記一連の画像に基づいて前記被検眼の評価情報を生成する評価処理部を更に含む、
請求項1の眼科装置。
【請求項16】
前記評価処理部は、前記被検眼の前記評価情報として、前記被検眼内に存在する浮遊物の評価情報を生成する、
請求項15の眼科装置。
【請求項17】
前記照明光はスリット光である、
請求項1の眼科装置。
【請求項18】
被検眼に照明光を投射する照明系と、撮像素子によって前記被検眼を撮影する撮影系と、前記照明系及び前記撮影系を移動する移動機構と、プロセッサとを含み、前記照明系及び前記撮影系がシャインプルーフの条件を満足するように構成された眼科装置を制御する方法であって、
前記プロセッサに、前記被検眼に対する前記照明光の投射時間が前記撮像素子の露光時間よりも短くなるように、且つ、前記被検眼に対する前記照明光の投射期間の少なくとも一部と前記撮像素子の露光期間の少なくとも一部とが重複するように前記照明系及び前記撮影系の少なくとも一方を制御させつつ、前記照明系、前記撮影系、及び前記移動機構の制御を行って前記撮影系に一連の画像を収集させる、
方法。
【請求項19】
被検眼に照明光を投射する照明系と、撮像素子によって前記被検眼を撮影する撮影系と、前記照明系及び前記撮影系を移動する移動機構とを含み、前記照明系及び前記撮影系がシャインプルーフの条件を満足するように構成された眼科装置の制御をコンピュータに実行させるプログラムであって、
前記コンピュータに、前記被検眼に対する前記照明光の投射時間が前記撮像素子の露光時間よりも短くなるように、且つ、前記被検眼に対する前記照明光の投射期間の少なくとも一部と前記撮像素子の露光期間の少なくとも一部とが重複するように前記照明系及び前記撮影系の少なくとも一方を制御させつつ、前記照明系、前記撮影系、及び前記移動機構の制御を行って前記撮影系に一連の画像を収集させる、
プログラム。
【請求項20】
被検眼に照明光を投射する照明系と、撮像素子によって前記被検眼を撮影する撮影系と、前記照明系及び前記撮影系を移動する移動機構とを含み、前記照明系及び前記撮影系がシャインプルーフの条件を満足するように構成された眼科装置の制御をコンピュータに実行させるプログラムが記録された、コンピュータ可読な非一時的記録媒体であって、
前記コンピュータに、前記被検眼に対する前記照明光の投射時間が前記撮像素子の露光時間よりも短くなるように、且つ、前記被検眼に対する前記照明光の投射期間の少なくとも一部と前記撮像素子の露光期間の少なくとも一部とが重複するように前記照明系及び前記撮影系の少なくとも一方を制御させつつ、前記照明系、前記撮影系、及び前記移動機構の制御を行って前記撮影系に一連の画像を収集させる、
記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体に関する。
【背景技術】
【0002】
眼科分野において画像診断は重要な位置を占める。眼科画像診断では、各種の眼科装置が用いられる。眼科装置には、スリットランプ顕微鏡、眼底カメラ、走査型レーザー検眼鏡(SLO)、光干渉断層計(OCT)などがある。また、レフラクトメータ、ケラトメータ、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザ、マイクロペリメータなどの各種の検査装置や測定装置にも、前眼部や眼底を撮影する機能が搭載されている。
【0003】
これら様々な眼科装置のうち最も広く且つ頻繁に使用される装置の1つが、眼科医にとっての聴診器とも呼ばれるスリットランプ顕微鏡である。スリットランプ顕微鏡は、スリット光で被検眼を照明し、照明された断面を側方から顕微鏡で観察したり撮影したりするための眼科装置である(例えば、特許文献1、2を参照)。また、シャインプルーフの条件を満足するように構成された光学系を用いることにより被検眼の3次元領域を高速でスキャンすることが可能なスリットランプ顕微鏡も知られている(例えば、特許文献3を参照)。なお、スリットランプ顕微鏡の他にも、スリット光で対象物をスキャンする撮像方式としてはローリングシャッターカメラなどが知られている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2016-159073号公報
【特許文献2】特開2016-179004号公報
【特許文献3】特開2019-213733号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の1つの目的は、光スキャンを用いた撮像方式の眼科装置の画質向上を図ることにある。
【課題を解決するための手段】
【0006】
例示的な実施形態に係る眼科装置は、照明系、撮影系、移動機構、及び制御部を含む。照明系は、被検眼に照明光を投射する。撮影系は、被検眼を撮影する。撮影系は、撮像素子を含む。照明系及び撮影系は、シャインプルーフの条件を満足するように構成されている。移動機構は、照明系及び撮影系を移動する。制御部は、照明系、撮影系、及び移動機構の制御を行って撮影系に一連の画像を収集させる。制御部は、被検眼の一連の画像を撮影系に収集させるための制御において、被検眼に対する照明光の投射時間が撮像素子の露光時間よりも短くなるように、且つ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複するように、照明系及び撮影系の少なくとも一方を制御する。
【発明の効果】
【0007】
例示的な実施形態によれば、光スキャンを用いた撮像方式の眼科装置の画質向上を図ることができる。
【図面の簡単な説明】
【0008】
【
図3】例示的な態様に係る眼科装置の構成を表す概略図である。
【
図4A】例示的な態様に係る眼科装置の構成を表す概略図である。
【
図4B】例示的な態様に係る眼科装置の構成を表す概略図である。
【
図4C】例示的な態様に係る眼科装置の構成を表す概略図である。
【
図5】例示的な態様に係る眼科装置の構成を表す概略図である。
【
図6】例示的な態様に係る眼科装置の構成を表す概略図である。
【
図7】例示的な態様に係る眼科装置の構成を表す概略図である。
【
図8】例示的な態様に係る眼科装置の構成を表す概略図である。
【
図9】例示的な態様に係る眼科装置の構成を表す概略図である。
【
図10】例示的な態様に係る眼科装置の構成を表す概略図である。
【
図11】例示的な態様に係る眼科装置の構成を表す概略図である。
【
図12】例示的な態様に係る眼科装置の構成を表す概略図である。
【
図13】例示的な態様に係る眼科装置の構成を表す概略図である。
【
図14】例示的な態様に係る眼科装置の構成を表す概略図である。
【
図15】例示的な態様に係る眼科装置が実行する処理を表すフロー図である。
【
図16】例示的な態様に係る眼科装置が実行する処理を表すフロー図である。
【
図17A】例示的な態様に係る眼科装置が実行する処理を説明するための概略図である。
【
図17B】例示的な態様に係る眼科装置が実行する処理を説明するための概略図である。
【
図18】例示的な態様に係る眼科装置の構成を表す概略図である。
【
図19】例示的な態様に係る眼科装置の構成を表す概略図である。
【発明を実施するための形態】
【0009】
実施形態の幾つかの例示的な態様について、図面を参照しながら詳細に説明する。
【0010】
本開示に係るいずれかの態様に任意の公知技術を組み合わせることができる。例えば、本明細書で引用する文献に開示されている任意の事項を、本開示に係るいずれかの態様に組み合わせることができる。更に、本開示に関連する技術分野における任意の公知技術を、本開示に係るいずれかの態様に組み合わせることができる。
【0011】
特許文献3(特開2019-213733号公報)に開示されている全ての内容は、参照によって本開示に援用される。また、本開示に関連する技術について本願の出願人により開示された任意の技術事項(特許出願、論文などにおいて開示された事項)を、本開示に係るいずれかの態様に組み合わせることができる。
【0012】
本開示に係る様々な態様のうちのいずれか2つ以上の態様を、少なくとも部分的に組み合わせることが可能である。
【0013】
本開示において説明される要素の機能の少なくとも一部は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。回路構成又は処理回路構成は、開示された機能の少なくとも一部を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能の少なくとも一部を実行するハードウェア、又は、開示された機能の少なくとも一部を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能の少なくとも一部を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
【0014】
<実施形態の背景>
実施形態は、シャインプルーフの条件を満足する光学系を移動しつつ画像収集を行う眼科イメージングの向上を図るものである。従来の技術では、
図1に示す動作態様で画像収集が行われる。
図1に示す動作態様は、光源の発光(照明光の出力、被検眼に対する照明光の投射)と、カメラの露光(撮影)と、スキャン位置(移動される光学系の位置)との連係的な制御(同期制御)を示している。より具体的には、
図1に示す動作態様は、照明光の連続的な発光と、カメラによる反復的な撮影(露光)と、スキャン開始位置からスキャン終了位置までの光学系の連続的な移動とを組み合わせたものである。カメラの反復的な露光は、露光と電荷転送(及び露光待機)とを交互に繰り返すことによって行われる。
【0015】
このような従来の眼科イメージング技術においては、カメラの露光中のスキャン位置の移動や、被検眼の眼球運動によって、ぼやけた像が得られることがある。像のぼやけは、画像品質を劣化させるだけでなく、角膜検出や細胞検出などの画像解析の品質にも悪影響を与える。
【0016】
この問題を解消するためにカメラの露光時間を短くすることが考えられるが、露光中でない間にも被検眼に照明光が連続的に投射されるため、被検者に大きな負担を与えてしまう。また、スキャン位置の移動制御とカメラの露光制御とを同期することによって、スキャン位置の移動を階段状に行うこと、つまり光学系の移動を断続的に行うことも考えられるが、光学系の急発進及び急停止の繰り返しが振動を生じ、撮影品質に悪影響を与えてしまう。
【0017】
<実施形態の概要>
本開示に係る実施形態は、少なくともこのような背景に基づき創出されたものであり、被検眼に対する照明光の投射時間がカメラ(撮像素子)の露光時間よりも短くなるように制御を行うように構成される。この制御は、被検眼に照明光を投射する光学系(照明系)の制御、及び/又は、撮像素子によって被検眼を撮影する光学系(撮影系)の制御を含んでいる。
【0018】
照明系の制御は、任意の方式の制御であってよく、例えば、光源の制御(点灯/消灯)や電子シャッターの制御などの電気的制御でもよいし、機械式シャッターの制御や回転式シャッターの制御などの機械的制御でもよいし、電気的制御と機械的制御との組み合わせでもよい。なお、これらのシャッターは、照明系に設けられており、光源から出力された照明光の通過と遮蔽とを切り替えるように(つまり、被検眼に対する照明光の投射と不投射とを切り替えるように)構成されている。
【0019】
照明系の制御は、被検眼に対して照明光が投射されている状態(投射状態)と投射されていない状態(不投射状態)とを切り替えるための制御に限定されず、被検眼に投射される照明光の強度(光量)を変調するための制御であってよい。なお、投射状態と不投射状態との切り替えは、被検眼に投射される照明光の強度を正値とゼロとに切り替えることに相当する。一方、強度変調は、被検眼に投射される照明光の強度を、互いに異なる第1の値と第2の値とに切り替えることに相当する。ここで、第1の値及び第2の値はいずれも非負値であり、第1の値及び第2の値の一方又は双方は正値である。したがって、投射状態と不投射状態との切り替えは、強度変調の例に相当する。
【0020】
撮影系の制御は、任意の方式の制御であってよく、例えば、撮像素子の制御や電子シャッターの制御などの電気的制御でもよいし、機械式シャッターの制御や回転式シャッターの制御などの機械的制御でもよいし、電気的制御と機械的制御との組み合わせでもよい。
【0021】
実施形態は、シャインプルーフの条件を満足する照明系及び撮影系を移動させながら被検眼を複数回撮影することによって一連のデジタル画像(シャインプルーフ画像と呼ぶ)を生成する技術に関するものであり、この一連のシャインプルーフ画像を収集するために、被検眼に対する照明光の投射時間が撮影系(撮像素子)の露光時間よりも短くなるように照明系及び撮影系の少なくとも一方を制御するように構成されている。
【0022】
照明光の投射時間及び撮像素子の露光時間の双方が可変である場合、実施形態は、照明系のみを制御することによって固定又はプリセットの露光時間よりも投射時間を短くするように構成されてもよいし、撮影系のみを制御することによって固定又はプリセットの投射時間よりも露光時間を長くするように構成されてもよいし、照明系及び撮影系の双方を制御することによって投射時間を露光時間よりも短くなるように(換言すると、露光時間を投射時間よりも長くするように)構成されてもよい。
【0023】
照明光の投射時間が可変であり且つ撮像素子の露光時間が固定又はプリセットである場合、実施形態は、照明系を制御することによって投射時間を露光時間よりも短くするように構成される。逆に、照明光の投射時間が固定又はプリセットであり且つ撮像素子の露光時間が可変である場合、実施形態は、撮影系を制御することによって露光時間を投射時間よりも長くするように構成される。
【0024】
実施形態は、被検眼に照明光が投射されている期間(投射期間)の長さ(投射時間)が、撮像素子が光を受けることが可能な期間(露光期間)の長さ(露光時間)よりも短くなるように制御を行うことに加えて、投射期間の少なくとも一部と露光期間の少なくとも一部とが重複するように制御を行うように構成される。
【0025】
このような制御に基づく動作態様の例を
図2に示す。
図2の動作態様は、
図1に示す従来の動作態様と同様に、光源の発光と、カメラの露光と、スキャン位置との連係的な制御(同期制御)を示すものであるが、照明光を連続発光する
図1に示す動作態様とは異なり、照明光を断続的に出力(パルス発光)している。
図2に示す照明光の発光(投射)のシーケンス(時系列に並ぶ複数回の発光)と、カメラの露光のシーケンス(時系列に並ぶ複数回の露光)とが、互いに同期されている。
【0026】
照明光のシーケンスにおけるそれぞれの発光の期間が投射期間に相当し、その長さが投射時間に相当する。同様に、露光のシーケンスにおけるそれぞれの露光の期間が露光期間に相当し、その長さが露光時間に相当する。投射時間は一定でも非一定でもよい。露光時間は一定でも非一定でもよい。
【0027】
図2の動作態様では、露光のシーケンスにおける各露光期間について、その露光期間の一部の期間と1つの投射期間とが一致している。すなわち、露光のシーケンスにおける各露光期間について、その露光期間の長さ(露光時間)よりも投射期間の長さ(投射時間)が短くなっており、且つ、この露光期間の一部とこの投射期間の全体とが重複している。
【0028】
このような
図2の動作態様を採用することで、露光のシーケンスにおける各露光期間において、その露光期間よりも短い投射期間にのみ実質的に露光(撮像素子による受光、電荷蓄積)が行われるため、露光中のスキャン位置の移動や眼球運動に起因する像のぼやけを、従来の眼科イメージング技術よりも低減することができる。したがって、従来の眼科イメージング技術よりも高い品質の画像を提供することが可能になる。また、従来の眼科画像解析技術よりも高い品質で角膜検出や細胞検出などの画像解析を行うことが可能になる。しかも、被検眼に照明光が投射されている時間を短くすることができるため、被検者に大きな負担を与えることもない。更に、光学系の急発進及び急停止を繰り返すことが無いため、それに起因する振動がスキャン中に発生することがなく、撮影品質に悪影響を与えることもない。
【0029】
以上に概要を説明した実施形態について幾つかの例示的な態様を説明する。以下に説明する例示的な態様は、眼科装置の態様、眼科装置を制御する方法の態様、プログラムの態様、記録媒体の態様などであるが、実施形態の態様はこれらに限定されるものではない。
【0030】
<眼科装置>
実施形態に係る眼科装置の幾つかの例示的な態様を提供する。
【0031】
実施形態の一態様に係る眼科装置の構成を
図3に示す。本例の眼科装置1000は、画像収集部1010と、制御部1020とを含んでいる。
【0032】
画像収集部1010は、被検眼のシャインプルーフ画像を収集する。画像収集部1010は、被検眼に照明光を投射して撮像素子で撮影を行うシャインプルーフの条件を満足する光学系を含んでおり、照明光の投射位置及び撮影位置を変えつつ一連のシャインプルーフ画像を収集する。つまり、画像収集部1010は、スキャン位置(照明光の投射位置及び撮影位置)を移動しつつ一連のシャインプルーフ画像を収集する。換言すると、画像収集部1010は、光学系がシャインプルーフの条件を満足している状態を維持しつつ被検眼をスキャンすることによって一連のシャインプルーフ画像を収集する。このような画像収集部1010の幾つかの構成例を
図4A~
図4Cに示す。
【0033】
図4Aに示す画像収集部1010Aについて説明する。画像収集部1010Aは、照明系1011及び撮影系1012を含む。照明系1011は、被検眼に照明光を投射するように構成されている。照明光は、スリット光であってよい。スリット光は、例えば、所定形状のスリット(細隙)を形成する機構又は他の機構によってビーム断面形状が画成された光である。撮影系1012は、被検眼の撮影を行うように構成されており、撮像素子1013と、被検眼からの光を撮像素子1013に導く光学系(図示せず)とを含んでいる。
【0034】
照明系1011と撮影系1012とは、シャインプルーフの条件を満足するように構成されており、シャインプルーフカメラとして機能する。より具体的には、照明系1011の光軸を通る平面(物面を含む平面)と、撮影系1012の主面と、撮像素子1013の撮像面とが、同一の直線上にて交差するように、照明系1011及び撮影系1012が構成されている。シャインプルーフの条件を満足した照明系1011及び撮影系1012を用いることにより、物面内の全ての位置(照明系1011の光軸に沿う方向における全ての位置)に撮影系1012のピントが合った状態で撮影を行うことができる。
【0035】
幾つかの例示的な態様において、
図4Aに示す画像収集部1010Aは、被検眼の3次元領域を照明光(例えばスリット光)でスキャンして一連のシャインプルーフ画像を収集するように構成されている。本例の画像収集部1010Aは、被検眼の3次元領域に対するスリット光の投射位置を移動しながら繰り返し撮影を行うことによって一連のシャインプルーフ画像を収集するように構成されている。
【0036】
幾つかの例示的な態様において、画像収集部1010Aは、スリット光の長手方向に直交する方向にスリット光を平行移動することによって被検眼の3次元領域をスキャンするように構成されてよい。このようなスキャン態様は、スリット光を回転させて前眼部をスキャンする従来の前眼部撮影装置のそれとは異なっている。
【0037】
スリット光の長手方向は、被検眼への投射位置におけるスリット光のビーム断面の長手方向、換言すると、被検眼上に形成されたスリット光の像の長手方向であり、被検者の体軸に沿う方向(体軸方向)に略一致していてよい。長手方向におけるスリット光の寸法は、任意であってよい。幾つかの例示的な態様において、長手方向におけるスリット光の寸法は、被検体の体軸方向における角膜径以上であってよく、且つ、スリット光の平行移動の距離は、被検体の体軸方向に直交する方向における角膜径以上であってよい。なお、適用される撮影モードに応じてスリット光の条件(長さ、幅など)を変更することが可能であってもよい。
【0038】
本例の画像収集部1010Aにより収集された一連のシャインプルーフ画像は、時間的に連続して(時系列に沿って)収集された画像群(フレーム群)ではあるが、被検眼の3次元領域における異なる複数の位置から逐次に収集された画像群であるから、一般的な動画像とは異なり、空間的に分布する画像群である。
【0039】
本例の画像収集部1010Aにおいて、照明系1011は、スリット光を被検眼の3次元領域に投射し、撮影系1012は、照明系1011からのスリット光が投射されている被検眼の3次元領域を撮影する。更に、本例の画像収集部1010Aは、照明系1011及び撮影系1012がシャインプルーフの条件を満足している状態を維持しつつ被検眼をスキャンすることによって、被検眼の3次元領域を表す一連のシャインプルーフ画像を収集する。
【0040】
画像収集部1010により実行されるスキャンにおいて被検眼に対するスキャン位置を移動するために、本例の画像収集部1010Aは、例えば、照明系1011及び撮影系1012を移動するための機構(移動機構)、又は、他の機構を含んでいてよい。移動機構以外の機構としては、例えば、照明光(スリット光)を偏向することによって照明位置を移動する機構(照明スキャナー、可動照明ミラー)、被検眼から撮像素子に向かう光を偏向することによって撮影位置を移動する機構(撮影スキャナー、可動撮影ミラー)などがある。
【0041】
本例の画像収集部1010Aが適用された眼科装置1000の制御部1020は、被検眼に対するスリット光の投射時間が撮像素子1013の露光時間よりも短くなるように、且つ、被検眼に対するスリット光の投射期間の少なくとも一部と撮像素子1013の露光期間の少なくとも一部とが重複するように、画像収集部1010Aの制御を実行する。この画像収集部1010Aの制御は、照明系1011の制御及び撮影系1012の制御のいずれか一方又は双方を含んでいる。
【0042】
更に、本例の画像収集部1010Aが適用された眼科装置1000の制御部1020は、一連のシャインプルーフ画像を画像収集部1010A(撮影系1012)に収集させるための制御において、撮像素子1013の露光を反復するための撮影系1012の制御を実行するように構成されてもよい。この反復的な露光におけるそれぞれの露光は、1枚のシャインプルーフ画像に相当する。
【0043】
前述した
図2の動作態様には、反復的な露光の例が示されている(「カメラの露光」)。このような反復的な露光により、一連のシャインプルーフ画像が収集される。
図2の動作態様では、照明光として複数のパルス光が用いられているが、照明光はこれに限定されない。
【0044】
例えば、照明光として連続光を用いるとともに、撮影系1012にシャッターを設け、制御部1020によりシャッターの開閉を高速で切り替えることによって、反復的な露光を実現することができる。本例のメリットは、低コストであること、制御が容易であることなどである。また、眼内に存在する浮遊物のイメージングを目的とする場合には、比較的大きな光量の光源が用いられるが、大光量光源のパルス制御(パルス駆動)を高い精度で行うことは難しいため、本例は有利と考えられる。ただし、連続光を照明光に使用するため、被検者への負担が大きくなるというデメリットがある。特定の患者に本例を適用しようとする者は、本例のメリットとデメリットとを比較対照するとともに、検査の必要性などを勘案することによって、本例を適用するか否か検討することが望ましいと考えられる。
【0045】
制御部1020は、撮像素子1013の露光を反復するための撮影系1012の制御と並行して、照明光の強度を変調するための照明系1011の制御を実行するように構成されてもよい。
【0046】
幾つかの例において、制御部1020は、
図2の動作態様のように、照明光のオン/オフ(投射/不投射)を繰り返すように(つまり、被検眼に照明光が断続的に投射されるように)照明系1011の制御を実行する。
【0047】
他の幾つかの例において、制御部1020は、照明光の強度を、互いに異なる2つの値に切り替えるように照明系1011の制御を実行する。これら2つの値はいずれも正値である。更に他の幾つかの例では、制御部1020は、照明光の強度を、互いに異なる3つ以上の値に切り替えるように照明系1011の制御を実行してもよい。
【0048】
制御部1020は、一連のシャインプルーフ画像を画像収集部1010に収集させるための制御において、照明系1011と撮影系1012との同期制御を実行するように構成されてもよい。つまり、制御部1020は、照明系1011の制御と撮影系1012の制御とを同期的に実行することによって、画像収集部1010に一連のシャインプルーフ画像を収集させることができる。この同期制御は、照明系1011の制御に対して撮影系1012の制御を同期させてもよいし、撮影系1012の制御に対して照明系1011の制御を同期させてもよいし、特定の動作に対して照明系1011の制御及び撮影系1012の制御を同期させてもよい。この特定の動作は、例えば、照明系1011及び撮影系1012を移動する移動機構の動作であってよい。
【0049】
このような同期制御により、一連のシャインプルーフ画像を収集するための制御を高い精度で行うことが可能になる。すなわち、このような同期制御により、被検眼に対する照明光の投射時間を撮像素子1013の露光時間よりも短くするための制御を高い精度で行いつつ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子1013の露光期間の少なくとも一部とを重複させるための制御を高い精度で行うことが可能になる。例えば、このような同期制御により、
図2の動作態様のようなスキャンを高い精度で行うことができる。
【0050】
照明系1011と撮影系1012との同期制御を実行する場合において、制御部1020は、照明光の投射時間が撮像素子1013の露光時間よりも短くなるように、且つ、照明光の投射時間及び不投射時間の合計時間と、撮像素子1013の露光時間及び不露光時間の合計時間とが等しくなるように、照明系1011と撮影系1012との同期制御を実行してもよい。
【0051】
ここで、照明光の投射時間は、照明光が被検眼に投射されている期間(投射期間)の長さであり、例えば、パルス制御される照明光源が点灯している期間の長さ(1回の点灯の期間の長さ)、又は、照明光源からの連続光を断続的に通過させるシャッターが開いている期間の長さ(1回のシャッター開状態の期間の長さ)であってよい。また、照明光の不投射時間は、照明光が被検眼に投射されていない期間(不投射期間)の長さであり、例えば、パルス制御される照明光源が消灯している期間の長さ(1回の消灯の期間の長さ)、又は、照明光源からの連続光を断続的に通過させるシャッターが閉じている期間の長さ(1回のシャッター閉状態の期間の長さ)であってよい。
【0052】
撮像素子1013の露光時間は、撮像素子1013が光を受けることが可能な期間(露光期間)の長さであり、撮像素子1013の不露光時間は、撮像素子1013が光を受けることが可能ではない期間(不露光期間)の長さである。不露光期間において、撮像素子1013は、電荷の転送、露光の待機などの動作を実行する。
【0053】
図2の動作態様では、光源の発光の動作態様を表す矩形パルス列における1つの上辺(頂辺)が投射期間を表し、その長さが投射時間を表している。更に、光源の発光の動作態様を表す矩形パルス列における1つの下辺(底辺)が不投射期間を表し、その長さが不投射時間を表している。また、カメラの露光の動作態様を表す矩形パルス列における1つの上辺(頂辺)が露光期間を表し、その長さが露光時間を表している。更に、カメラの露光の動作態様を表す矩形パルス列における1つの下辺(底辺)が不露光期間を表し、その長さが不露光時間を表している。
【0054】
照明系1011と撮影系1012との同期制御を、投射時間が露光時間よりも短くなるように、且つ、投射時間及び不投射時間の合計時間と露光時間及び不露光時間の合計時間とが等しくなるように実行することにより、
図2に示す例示するような動作態様(つまり、投射時間が露光時間よりも短く、且つ、投射期間の少なくとも一部と露光期間の少なくとも一部とが重複したスキャン)を高い精度で行うことが可能になる。
【0055】
制御部1020は、被検眼に対する照明光の投射時間を変更するための照明系1011の制御を実行するように構成されていてもよい。この投射時間変更制御は、例えば、パルス制御される照明光源に印可する制御パルス信号の周波数を変更する光源制御、又は、照明光源からの連続光を断続的に通過させるシャッターの開閉周波数を変更するシャッター制御を含んでいる。投射時間変更制御を採用することにより、被検眼や検査種別やカメラ(撮像素子1013)などに関する各種の条件に応じて照明光の投射時間を設定することが可能になる。
【0056】
制御部1020は、画像収集部1010により実行されるスキャンのスピード(速さ)に基づいて投射時間変更制御を実行するように構成されていてもよい。すなわち、制御部1020は、画像収集部1010により実行されるスキャンにおける、被検眼に対するスキャン位置の移動スピードに基づいて投射時間変更制御を実行するように構成されていてもよい。
【0057】
幾つかの例示的な態様では、制御部1020は、前述した移動機構により移動される照明系1011及び撮影系1012のスピードに基づき照明系1011を制御して照明光の投射時間を変更するように構成されていてもよい。換言すると、幾つかの例示的な態様の制御部1020は、移動機構に対する制御の内容に応じて投射時間変更制御を実行するように構成されていてもよい。
【0058】
また、幾つかの例示的な態様では、移動機構以外の機構(前述した、照明スキャナー、可動照明ミラー、撮影スキャナー、可動撮影ミラーなど)に対する制御の内容に応じて投射時間変更制御を実行するように構成されていてもよい。
【0059】
スキャンスピードに基づく投射時間変更制御を採用することにより、スキャンスピードに適合した照明光の投射時間を設定してシャインプルーフ画像収集を実行することが可能になる。
【0060】
制御部1020は、適用される撮影モードに応じて投射時間変更制御を実行するように構成されていてもよい。例えば、制御部1020は、適用される撮影モードに基づいて、被検眼に対するスキャン位置の移動スピード(例えば、移動機構により移動される照明系1011及び撮影系1012のスピード)を決定するように構成されていてもよい。
【0061】
撮影モードは、検査(撮影、スキャン)の種別ごとの動作内容を予め設定したものである。準備される撮影モードの個数は任意(1つ以上)であるが、本例では2つ以上の撮影モードが準備されるものとする。ユーザー又は制御部1020は、準備された2つ以上の撮影モードのうちから、被検眼に適用される撮影モードを選択する。選択される撮影モードの個数は任意(1つ以上)であってよい。2つ以上の撮影モードが選択された場合には、例えば、選択された2つ以上の撮影モードに対応する2回以上のスキャンが逐次に被検眼に適用される。
【0062】
本例の眼科装置1000は、複数の撮影モードが記録された撮影モード情報を、例えば制御部1020内の記憶装置に保持している。或いは、本例の眼科装置1000は、外部装置に格納されている撮影モード情報を参照することが可能である。
【0063】
撮影モード情報の例を
図5に示す。本例の撮影モード情報1200には、撮影モードとして、前眼部形状撮影モード、炎症細胞撮影モード、眼内レンズ(IOL)撮影モード、及び、眼内コンタクトレンズ(ICL)撮影モードが設けられている。なお、撮影モードの種類はこれらに限定されない。
【0064】
また、本例の撮影モード情報1200には、撮影動作の種類、つまりスキャンに関するパラメータの種類として、照明制御パルス高、照明制御パルス幅、及びスキャン範囲が設けられている。照明制御パルス高は、パルス制御される照明光源に印可される制御パルス信号における各パルスの高さである。照明制御パルス幅は、パルス制御される照明光源に印可される制御パルス信号における各パルスの幅である。スキャン範囲は、スキャンにおける照明光の移動距離である。本例の撮影モード情報1200は、パルス制御される照明光源(パルス光を発する照明光源)が使用される場合に適用されるものであるが、他の場合においても同様のパラメータを設けられることは当業者であれば理解することができるであろう。
【0065】
前眼部形状撮影モードは、角膜、隅角、虹彩、水晶体などの前眼部組織の形状を観察・解析するために使用される撮影モードである。前眼部形状撮影モードでは、前眼部の広い範囲にわたって画像を収集するために、スキャン範囲は比較的大きく設定されている(20ミリメートル)。また、角膜での光反射が大きいこと、スキャンスピードが早いことなどを考慮して、照明制御パルス高は比較的大きく設定されており(0.1ミリワット)、照明制御パルス幅は比較的小さく設定されている(10ミリ秒)。
【0066】
炎症細胞撮影モードは、前房内に存在する炎症細胞(前房セル)を観察・解析するために使用される撮影モードである。炎症細胞撮影モードでは、炎症細胞による光反射が小さいこと、炎症細胞は前房内を浮遊しており動きを伴うことなどを考慮して、照明制御パルス高は比較的大きく設定されており(1ミリワット)、照明制御パルス幅は十分に小さく設定されている(5ミリ秒)。スキャン範囲については、比較的小さく設定されている(2ミリメートル)。
【0067】
IOL撮影モードは、被検眼に移植された眼内レンズを観察・解析するために使用される撮影モードである。IOL撮影モードでは、瞳孔や角膜に対する眼内レンズの位置を正確に求めることが要求されること、眼内レンズによる光反射は比較的小さいことなどを考慮して、照明制御パルス高は比較的小さく設定されており(0.1ミリワット)、照明制御パルス幅は中程度に設定されている(20ミリ秒)。また、IOL撮影モードでは、虹彩の後方に位置する眼内レンズを瞳孔を介して撮影するため、瞳孔の範囲を十分にカバーできるようにスキャン範囲は比較的大きく設定されている(15ミリメートル)。
【0068】
ICL撮影モードは、被検眼に移植された眼内コンタクトレンズを観察・解析するために使用される撮影モードである。ICL撮影モードでは、眼内コンタクトレンズの中心部に形成されたホールを撮影することが要求されること、その位置を高い精度で検出するために狭いスキャン間隔が要求されること、眼内コンタクトレンズ自体が移動するものではなくことなどを考慮して、照明制御パルス幅は大きく設定されており(30ミリ秒)、それに応じて照明制御パルス高は比較的小さく設定されている(0.1ミリワット)。スキャン範囲については中程度に設定されている(10ミリメートル)。
【0069】
このような撮影モード情報1200を参照することにより、制御部1020は、選択された撮影モードに対応するパラメータ値(照明制御パルス高の値、照明制御パルス幅の値、スキャン範囲の値)を特定することができる。
【0070】
制御部1020は、撮影モードに応じてスキャンスピードを決定するように構成されていてもよい。例えば、制御部1020は、予め設定された2つ以上の撮影モードから選択された撮影モードに基づいてスキャンスピードを決定するように構成されていてもよい。幾つかの例示的な態様において、制御部1020は、撮影モード情報1200を参照して特定されたパラメータ値に基づいてスキャンスピードを決定するように構成されていてもよい。
【0071】
スキャンスピードを決定する処理の例を説明する。前提として、ヒトが瞬目を我慢できる時間(眼を開け続けていられる時間)には限度がある。この限度時間を「T0」とする。限度時間T0は、既定値でもよいし、被検者(被検眼)ごとに設定された値でもよい。更に、スキャンに掛ける時間(スキャン時間)、つまりスキャン開始からスキャン終了までの時間を「ST」とする。スキャン時間STは、限度時間T0又はそれ未満に設定される(ST≦T0)。撮影モード情報1200には、撮影モードごとのスキャン範囲が設定されている。任意の撮影モードに対応するスキャン範囲を「SD」とする。この撮影モードに対応するスキャンスピードを「SS」とする。このとき、スキャンスピードSSを次式により決定することができる:SS=SD/ST。
【0072】
このような前提及び演算によって、各撮影モードに対応するスキャンスピードを決定することができる。撮影モード情報は、この要領で決定されたスキャンスピードの値を含んでいてもよい。
図6に示す撮影モード情報1210は、
図5の撮影モード情報1200にスキャンスピードを付加したものである。撮影モード情報1210における各撮影モードに対応するスキャンスピードは、「スキャン時間ST=2秒」を前提として算出されたものである。
【0073】
スキャンスピードの値を決定するための前提や演算方法は、以上に説明した例に限定されるものではない。また、制御部1020により値が決定されるパラメータの種類は、スキャンスピードに限定されるものではない。
【0074】
幾つかの例示的な態様において、スキャンで収集されるシャインプルーフ画像の枚数(画像枚数)を前提条件とすることができる。換言すると、既定の枚数のシャインプルーフ画像が収集されるように所定のパラメータを設定することができる。画像枚数を前提として設定されるパラメータは、例えば、照明制御パルス幅、パルス間隔(隣接する2つのパルスの間隔)、スキャン範囲、スキャンスピード、及び他のパラメータのうちの1つ以上であってよい。
【0075】
制御部1020は、撮像素子1013の露光時間を変更するための撮影系1012の制御を実行するように構成されていてもよい。この露光時間変更制御は、例えば、撮像素子1013に印可する制御パルス信号の周波数を変更する撮像素子制御、又は、撮像素子1013に導かれる光を断続的に通過させるシャッターの開閉周波数を変更するシャッター制御を含んでいる。露光時間変更制御を採用することにより、被検眼や検査種別や照明光などに関する各種の条件に応じて撮像素子1013の露光時間を設定することが可能になる。
【0076】
制御部1020は、画像収集部1010により実行されるスキャンのスピードに基づいて露光時間変更制御を実行するように構成されていてもよい。すなわち、制御部1020は、画像収集部1010により実行されるスキャンにおける、被検眼に対するスキャン位置の移動スピードに基づいて露光時間変更制御を実行するように構成されていてもよい。
【0077】
幾つかの例示的な態様では、制御部1020は、前述した移動機構により移動される照明系1011及び撮影系1012のスピードに基づき撮影系1012を制御して撮像素子1013の露光時間を変更するように構成されていてもよい。換言すると、幾つかの例示的な態様の制御部1020は、移動機構に対する制御の内容に応じて露光時間変更制御を実行するように構成されていてもよい。
【0078】
また、幾つかの例示的な態様では、移動機構以外の機構(前述した、照明スキャナー、可動照明ミラー、撮影スキャナー、可動撮影ミラーなど)に対する制御の内容に応じて露光時間変更制御を実行するように構成されていてもよい。
【0079】
スキャンスピードに基づく露光時間変更制御を採用することにより、スキャンスピードに適合した撮像素子1013の露光時間を設定してシャインプルーフ画像収集を実行することが可能になる。
【0080】
制御部1020は、適用される撮影モードに応じて露光時間変更制御を実行するように構成されていてもよい。例えば、制御部1020は、適用される撮影モードに基づいて、被検眼に対するスキャン位置の移動スピード(例えば、移動機構により移動される照明系1011及び撮影系1012のスピード)を決定するように構成されていてもよい。
【0081】
投射時間変更制御に係る撮影モードと同様に、露光時間変更制御に係る撮影モードは、検査(撮影、スキャン)の種別ごとの動作内容を予め設定したものであり、1つ以上の任意個数の撮影モードが準備される。2つ以上の撮影モードが準備される場合、ユーザー又は制御部1020は、これらの撮影モードのうちから、被検眼に適用される撮影モードを選択する。選択される撮影モードの個数は、1つ以上の任意個数であってよい。2つ以上の撮影モードが選択された場合には、例えば、選択された2つ以上の撮影モードに対応する2回以上のスキャンが逐次に被検眼に適用される。
【0082】
投射時間変更制御の場合と同様に、露光時間変更制御を実行可能な眼科装置1000は、複数の撮影モードが記録された撮影モード情報を、例えば制御部1020内の記憶装置に保持しており、或いは、外部装置に格納されている撮影モード情報を参照することが可能である。
【0083】
投射時間変更制御の場合と同様に、露光時間変更制御を実行可能な眼科装置1000の制御部1020は、
図5の撮影モード情報1200及び/又は
図6の撮影モード情報1210を参照することにより、選択された撮影モードに対応するパラメータ値(照明制御パルス高の値、照明制御パルス幅の値、スキャン範囲の値、スキャンスピードの値)を特定するように構成されていてもよい。
【0084】
投射時間変更制御の場合と同様に、露光時間変更制御を実行可能な眼科装置1000の制御部1020は、撮影モードに基づいてスキャンスピードを算出するように構成されていてもよい。スキャンスピードの算出方法は、投射時間変更制御の場合と同様であってよい。
【0085】
投射時間変更制御の場合と同様に、露光時間変更制御を実行可能な眼科装置1000の制御部1020は、画像枚数などの任意のパラメータを前提条件として露光時間変更制御を実行するように構成されていてもよい。
【0086】
投射時間変更制御と露光時間変更制御とは、別々に実行されてもよいし、少なくとも部分的に協働して(少なくとも部分的に連係して)実行されてもよい。後者の例として、投射時間変更制御において得られた任意の情報(最終生成情報、中間生成情報)を利用して露光時間変更制御を実行することが可能であり、逆に、露光時間変更制御において得られた任意の情報(最終生成情報、中間生成情報)を利用して投射時間変更制御を実行することも可能である。また、投射時間変更制御と露光時間変更制御とを少なくとも部分的に並行して実行することも可能である。
【0087】
幾つかの例示的な態様において、
図4Aの画像収集部1010Aの撮影系1012は、2つ以上の撮影系を含んでいてよい。その例を
図4Bに示す。以下、特に言及しない限り、
図4Aの画像収集部1010Aに関する任意の事項を本例の画像収集部1010Bに組み合わせることができる。
【0088】
画像収集部1010Bの撮影系1012Aは、第1撮影系1014及び第2撮影系1015を含んでいる。第1撮影系1014及び第2撮影系1015は、互いに異なる方向から被検眼を撮影するように配置されている。
【0089】
本例の画像収集部1010Bは、一連のシャインプルーフ画像を収集するためのスリット光を用いたスキャン(スリットスキャン)において被検眼の3次元領域を互いに異なる2つの方向からそれぞれ第1撮影系1014及び第2撮影系1015で撮影するように構成されていてよい。例えば、被検眼への入射位置におけるスリット光のビーム断面の長手方向が上下方向(Y方向)であり、且つ、スリット光の移動方向が水平方向(左右方向、X方向)であるように画像収集部1010Bが構成されている場合において、第1撮影系1014及び第2撮影系1015は、一方が左斜方から被検眼を撮影し、且つ、他方が右斜方から被検眼を撮影するように配置されていてよい。
【0090】
第1撮影系1014により収集される一連のシャインプルーフ画像を第1シャインプルーフ画像群と呼び、第2撮影系1015により収集される一連のシャインプルーフ画像を第2シャインプルーフ画像群と呼ぶ。このような画像収集部1010Bにより収集される一連のシャインプルーフ画像は、第1シャインプルーフ画像群と第2シャインプルーフ画像群とを含んでいる。
【0091】
なお、スリットスキャンを行うことなく、第1撮影系1014により1枚のシャインプルーフ画像(第1シャインプルーフ画像)を取得し、第2撮影系1015により1枚のシャインプルーフ画像(第2シャインプルーフ画像)を取得する場合においても、用語の便宜上、第1撮影系1014により取得された1枚のシャインプルーフ画像を第1シャインプルーフ画像群と呼ぶことがあり、第2撮影系1015により取得された1枚のシャインプルーフ画像を第2シャインプルーフ画像群と呼ぶことがある。このように、本開示において、用語「群」は、複数の要素が含まれる場合だけでなく、1つの要素のみが含まれる場合にも使用されることがある。
【0092】
本例の画像収集部1010Bがスリットスキャンを実行する場合において、第1撮影系1014による被検眼の撮影と第2撮影系1015による被検眼の撮影とは、互いに並行して実行される。すなわち、画像収集部1010Bは、被検眼の3次元領域に対するスリット光の投射位置を移動しつつ、第1撮影系1014による撮影と第2撮影系1015による撮影とを並行して行う。
【0093】
更に、本例の画像収集部1010Bは、第1撮影系1014による撮影(シャインプルーフ画像の収集)と第2撮影系1015による撮影(シャインプルーフ画像の収集)とを互いに同期して実行するように構成されていてよい。この同期関係を参照することで、第1シャインプルーフ画像群と第2シャインプルーフ画像群との間の関連付けを、画像処理等を用いることなく、容易に行うことができる。この関連付けは、例えば、互いの取得時間の差が小さいシャインプルーフ画像同士を対応付けるように実行される。
【0094】
このような態様において、眼科装置1000は、第1撮影系1014による撮影と第2撮影系1015による撮影との相互同期関係を参照して、当該スリットスキャンに対応する一連のシャインプルーフ画像を第1シャインプルーフ画像群及び第2シャインプルーフ画像群から再構成することができる。
【0095】
図4Bに示す画像収集部1010Bが適用されている眼科装置1000の構成例を
図4Cに示す。本例の画像収集部1010Bにおいて、第1撮影系1014の光軸と第2撮影系1015の光軸とは、照明系1011の光軸に対して互いに反対の方向に傾斜して配置されている。
【0096】
本例の撮影系1012Aにより収集された一連のシャインプルーフ画像は、データ処理装置1100に直接的又は間接的に送られる。データ処理装置1100は、画像処理などのデータ処理を実行可能に構成されており、本例の眼科装置1000の要素であってもよいし、本例の眼科装置1000との間でデータ通信が可能なコンピュータ又はシステムに設けられていてもよい。
【0097】
データ処理装置1100は、画像選択部1110を含んでいる。画像選択部1110は、第1撮影系1014により取得された第1シャインプルーフ画像群及び第2撮影系1015により取得された第2シャインプルーフ画像群のうちから画像を選択するように構成されている。例えば、画像選択部1110は、第1撮影系1014により取得された第1シャインプルーフ画像及び第2撮影系1015により取得された第2シャインプルーフ画像の一方を選択するように構成されていてよい。
【0098】
画像選択部1110は、第1撮影系1014による撮影と第2撮影系1015による撮影との同期に基づきそれぞれ収集された第1シャインプルーフ画像群と第2シャインプルーフ画像群との間の対応関係に基づいて、第1シャインプルーフ画像群及び第2シャインプルーフ画像群を収集したスリットスキャンに対応する新たな一連のシャインプルーフ画像を第1シャインプルーフ画像群及び第2シャインプルーフ画像群から選択するように構成されている。すなわち、画像選択部1110は、第1撮影系1014及び第2撮影系1015によりそれぞれ収集された第1シャインプルーフ画像群及び第2シャインプルーフ画像群から一連のシャインプルーフ画像を再構成するように構成されている。
【0099】
画像選択部1110が実行する画像選択処理の手法は任意であってよい。例えば、第1撮影系1014及び第2撮影系1015の構成及び/又は配置や、画像選択の目的及び/又は用途など、所定の条件や所定のパラメータに基づいて、画像選択処理の手法を決定及び/又は選択することができる。
【0100】
画像収集部1010Bは、第1撮影系1014による撮影と第2撮影系1015による撮影とを相互同期的に実行する。また、前述したように、第1撮影系1014の光軸と第2撮影系1015の光軸とが、照明系1011の光軸に対して互いに反対の方向に傾斜して配置されている。例えば、第1撮影系1014の光軸は、照明系1011の光軸に対して左方に傾斜して配置されており、且つ、第2撮影系1015の光軸は、照明系1011の光軸に対して右方に傾斜して配置されている。このように配置された第1撮影系1014及び第2撮影系1015をそれぞれ左撮影系及び右撮影系と呼ぶことがある。
【0101】
照明系1011の光軸に対する第1撮影系1014の光軸の傾斜角度と、照明系1011の光軸に対する第2撮影系1015の光軸の傾斜角度とは、互いに等しくてもよいし、互いに相違してもよい。また、これらの傾斜角度は固定されていてもよいし、可変であってもよい。
【0102】
本例では、例えば、照明系1011は、断面の長手方向がY方向に配向されたスリット光を被検眼に対して正面方向から投射するように構成及び配置されており、画像収集部1010Bは、照明系1011、第1撮影系1014、及び第2撮影系1015を一体的にX方向に移動することによって、被検眼の前眼部の3次元領域に対してスリットスキャンを適用する。
【0103】
本例の画像選択部1110は、第1撮影系1014により収集された第1シャインプルーフ画像群と第2撮影系1015により収集された第2シャインプルーフ画像群との間の対応関係に基づき、アーティファクトを含まない複数のシャインプルーフ画像を第1シャインプルーフ画像群及び第2シャインプルーフ画像群から選択することによって、第1シャインプルーフ画像群及び第2シャインプルーフ画像群を収集したスリットスキャンに対応する新たな一連のシャインプルーフ画像の選択を行う。このアーティファクトは、任意の種類のアーティファクトであってよい。本例のように前眼部スキャンを行う場合、このアーティファクトは、角膜反射に起因するアーティファクト(角膜反射アーティファクトと呼ぶ)であってよい。以下、画像選択部1110が実行する処理について幾つかの例を説明する。
【0104】
角膜反射アーティファクトが生じるスリット光の投射位置(シャインプルーフ画像、フレーム)は、左撮影系と右撮影系とで異なる。例えば、本例のように、断面の長手方向がY方向に配向されたスリット光を被検眼に対して正面方向から投射しつつ、照明系1011、第1撮影系1014、及び第2撮影系1015を一体的にX方向に移動することによってスリットスキャンを行う場合、スリット光の角膜反射光は、角膜頂点よりも左方の位置にスリット光が投射されているときには左撮影系に入射しやすく、角膜頂点よりも右方の位置にスリット光が投射されているときには右撮影系に入射しやすい。
【0105】
このような事情を考慮し、幾つかの例示的な態様の画像選択部1110は、まず、左撮影系としての第1撮影系1014により収集された第1シャインプルーフ画像群のうちから角膜頂点に対応するシャインプルーフ画像(第1角膜頂点画像)を特定するとともに、右撮影系としての第2撮影系1015により収集された第2シャインプルーフ画像群のうちから角膜頂点に対応するシャインプルーフ画像(第2角膜頂点画像)を特定する。
【0106】
幾つかの例示的な態様において、角膜頂点画像を特定する処理は、第1シャインプルーフ画像群に含まれる各シャインプルーフ画像から角膜表面に相当する画像を検出する処理と、これらの検出画像のピクセルのZ座標に基づき本例の眼科装置1000に最も近いピクセルを特定する処理と、特定されたピクセルを含むシャインプルーフ画像を第1角膜頂点画像に設定する処理とを含んでいてよい。第2角膜頂点画像の設定も同じ要領で実行されてよい。
【0107】
次に、画像選択部1110は、第1シャインプルーフ画像群のうちから第1角膜頂点画像よりも右方に位置するシャインプルーフ画像群を選択するとともに、第2シャインプルーフ画像群のうちから第2角膜頂点画像よりも左方に位置するシャインプルーフ画像群を選択し、選択された2つのシャインプルーフ画像群(並びに、第1角膜頂点画像及び/又は第2角膜頂点画像)からなる一連のシャインプルーフ画像を形成する。これにより、スリットスキャンが適用された前眼部の3次元領域にわたり、且つ、角膜反射アーティファクトを含まない(その可能性が高い)一連のシャインプルーフ画像が得られる。
【0108】
角膜頂点画像を特定する処理の他の例を説明する。幾つかの例示的な態様の画像選択部1110は、第1撮影系1014(例えば左撮影系)及び第2撮影系1015(例えば右撮影系)により実質的に同時に取得された2つの画像のいずれかに角膜反射アーティファクトが含まれているか判定する。この角膜反射アーティファクト判定処理は、所定の画像解析を含んでおり、例えば、ピクセルに割り当てられた輝度情報に関する閾値処理を含む。なお、実質的に同時に取得された2つの画像を決定する処理は、第1撮影系1014による撮影と第2撮影系1015による撮影との間の同期関係に基づき実行することができる。
【0109】
アーティファクト判定処理に用いられる閾値処理は、例えば、予め設定された閾値を超える輝度値が割り当てられたピクセルを特定するように実行される。典型的には、閾値は、画像中のスリット光像(スリット光の投射領域)の輝度値よりも高く設定されてよい。これにより、画像選択部1110は、スリット光像をアーティファクトとして判定することなく、スリット光像よりも明るい像をアーティファクトとして判定するように構成される。シャインプルーフ画像においてスリット光像よりも明るい像は、角膜での正反射に起因する像である可能性が高いことを考慮すると、このように構成された画像選択部1110により検出されるアーティファクトは、角膜反射アーティファクトである可能性が高いと考えることができる。
【0110】
画像選択部1110は、アーティファクト判定のために、例えば、パターン認識、セグメンテーション、エッジ検出など、閾値処理以外の任意の画像解析を実行してもよい。一般に、画像解析、画像処理、機械学習、人工知能、コグニティブ・コンピューティングなど、任意の情報処理技術を、アーティファクト判定に適用することが可能である。
【0111】
アーティファクト判定の結果、第1撮影系1014及び第2撮影系1015により実質的に同時に取得された2つの画像の一方の画像にアーティファクトが含まれると判定されたとき、画像選択部1110は、他方の画像を選択する。つまり、画像選択部1110は、第1撮影系1014及び第2撮影系1015により実質的に同時に取得された2つの画像のうち、アーティファクトが含まれると判定された一方の画像ではない他方の画像を選択する。
【0112】
双方の画像にアーティファクトが含まれると判定される場合を想定し、画像選択部1110は、例えば、アーティファクトが観察や診断に与える悪影響の大きさを評価する処理と、悪影響が小さい側の画像を選択する処理とを実行するように構成されていてもよい。この評価処理は、例えば、アーティファクトの寸法、強度、形状、及び位置のいずれか1つ以上の条件に基づき実行されてよい。典型的には、寸法が大きいアーティファクト、強度が高いアーティファクト、スリット光像などの注目領域やその近傍に位置するアーティファクトなどは、悪影響が大きいと評価される。
【0113】
なお、双方の画像にアーティファクトが含まれる場合などにおいて、特許文献3(特開2019-213733号公報)に開示されているアーティファクト除去を適用してもよい。
【0114】
以上に説明したような画像選択部1110を設けることにより、観察や解析や診断の妨げになるアーティファクトを含まない、被検眼の3次元領域の画像を提供することが可能になる。更に、アーティファクトを含まない被検眼の3次元領域の画像を後段の処理に提供することが可能になる。例えば、アーティファクトを含まない画像群に基づいて被検眼の3次元画像やレンダリング画像を構築することが可能になる。
【0115】
実質的に同一の位置を撮影して得られた画像であっても、左撮影系で得られた画像と右撮影系で得られた画像とでは、描出された所定部位の寸法が互いに異なる場合がある。例えば、実質的に同一の位置を左撮影系及び右撮影系でそれぞれ撮影して得られた左画像及び右画像において、描出されている角膜の厚さや炎症細胞の寸法が互いに異なる場合がある。このような場合においても、画像選択部1110を用いることによって対象物の寸法合わせを行うことが可能になる。
【0116】
実施形態の一態様に係る眼科装置の構成を
図7に示す。本例の眼科装置1500は、画像収集部1010及び制御部1020に加えて評価処理部1030を含んでいる。本例の画像収集部1010は、少なくとも部分的に、
図3の眼科装置1000の画像収集部1010と同様に構成されていてよい。また、本例の制御部1020は、少なくとも部分的に、
図3の眼科装置1000の制御部1020と同様に構成されていてよい。
【0117】
評価処理部1030は、画像収集部1010により収集された一連のシャインプルーフ画像に基づいて被検眼の評価情報を生成する。評価情報は、被検眼の医学的検査(臨床検査)で得られたデータの評価により生成された情報を含む。この医学的検査は、眼の画像を利用する任意の眼科検査であってよい。
【0118】
幾つかの例示的な態様では、医学的検査は、被検眼内に存在する浮遊物に関する検査であってよい。この浮遊物の例として、炎症細胞(前房セル)、蛋白質(前房フレア)などの前房内に存在する浮遊物や、硝子体繊維、剥離した網膜細胞などの硝子体内に存在する浮遊物がある。
【0119】
眼内浮遊物は動き(移動)を伴うため、従来の撮影で得られた眼内浮遊物の像はぼやけていることが多く、その評価を高い品質(確度、精度、再現性など)で行うことは難しかった。これに対し、本態様に係る撮影によれば、前述したように像のぼやけを低減できるため、眼内浮遊物に関する検査の品質向上を図ることが可能になる。
【0120】
なお、本態様に係る撮影によれば、眼球運動、体動、脈動などが画像に与える悪影響も低減することもできる。したがって、眼内浮遊物以外の対象に関する評価の品質向上を図ることも可能である。例えば、眼球の任意の部位に関する評価、人工物(眼内レンズ、眼内コンタクトレンズ、低侵襲緑内障手術(MIGS)デバイスなど)に関する評価に、本態様を適用することが可能である。
【0121】
評価処理部1030は、画像収集部1010により収集された一連のシャインプルーフ画像を加工して加工画像データを生成する処理と、生成された加工画像データに基づいて評価情報を生成する処理とを実行するように構成されていてよい。例えば、評価処理部1030は、一連のシャインプルーフ画像に含まれる複数のシャインプルーフ画像から3次元画像(加工画像データの例である)を構築する処理と、この3次元画像に基づいて評価情報を生成する処理とを実行するように構成されていてよい。また、評価処理部1030は、一連のシャインプルーフ画像に含まれる複数のシャインプルーフ画像から3次元画像を構築する処理と、この3次元画像からレンダリング画像(加工画像データの例である)を生成する処理と、このレンダリング画像に基づいて評価情報を生成する処理とを実行するように構成されていてよい。また、評価処理部1030は、シャインプルーフ画像の加工として、補正、編集、強調などの任意のデジタル画像処理を実行してもよい。
【0122】
本例で生成される評価情報は、被検眼の炎症状態に関連した任意の情報(炎症状態情報)を含んでいてもよい。例えば、炎症状態情報は、前房内に存在する炎症細胞(前房セル)に関する情報、前房内に存在する蛋白質(前房フレア)に関する情報、水晶体の混濁に関する情報、疾患の発症・経過に関する情報、及び、疾患の活動性に関する情報のうちのいずれか1つ以上を含んでいてよい。また、炎症状態情報は、2つ以上の情報に基づく総合的な情報を含んでいてもよい。
【0123】
炎症細胞に関する情報としては、炎症細胞の密度(濃度)、個数、位置、分布などの任意のパラメータの情報や、所定のパラメータの情報に基づく評価情報などがある。炎症細胞に関する評価情報を細胞評価情報と呼ぶことがある。前房フレアに関する情報としては、フレアの濃度、個数、位置、分布などの任意のパラメータの情報や、所定のパラメータの情報に基づく評価情報などがある。水晶体混濁に関する情報としては、混濁の濃度、個数、位置、分布などの任意のパラメータの情報や、所定のパラメータの情報に基づく評価情報などがある。疾患の発症・経過に関する情報としては、発症の有無、発症の状態、罹患期間、経過の状態などの任意のパラメータの情報や、所定のパラメータの情報に基づく評価情報などがある。疾患の活動性に関する情報としては、疾患の活動の状態などの任意のパラメータの情報や、所定のパラメータの情報に基づく評価情報などがある。
【0124】
幾つかの例示的な態様において、評価処理部1030は、眼科装置1500により生成された情報に加え、眼科装置1500に外部から入力された情報(例えば、他の眼科装置により取得された情報、医師により入力された情報)にも基づいて、評価情報を生成するように構成されていてもよい。
【0125】
以上に例示した炎症状態情報を生成するために参照される情報は任意であってよく、例えば、The Standardization of Uveitis Nomenclature(SUN) Working Groupにより提案されたぶどう膜炎疾患の分類基準を含んでいてもよい(“Standardization of uveitis nomenclature for reporting clinical data. Results of the First International Workshop”、American Journal of Ophthalmology、Volume 140、Issue 3、September 2005、Page 509-516)。
【0126】
なお、炎症状態情報は、上記の例に限定されるものはない。また、炎症状態情報を生成するために参照される情報も、上記の例に限定されるものではない。
【0127】
本例では、被検眼に対する照明光の投射時間が撮像素子の露光時間よりも短くなるように、且つ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複するように画像収集部1010を制御することによって、一連のシャインプルーフ画像が収集される。このスリットスキャンが適用される被検眼の部位は、炎症状態情報の生成に使用されるデータを取得するためのスリットスキャンが適用される部位の一部又は全体を少なくとも含む。例えば、炎症細胞に関する情報及び/又は前房フレアに関する情報を含む炎症状態情報を生成する場合、前房の少なくとも一部を含む領域に対してスリットスキャンが適用される。その一例が、前述した炎症細胞撮影モードである。水晶体混濁に関する情報を含む炎症状態情報を生成する場合、水晶体の少なくとも一部を含む領域に対してスリットスキャンが適用される。スリットスキャン以外の手法で2つ以上のシャインプルーフ画像を取得する場合や、シャインプルーフ画像を1つのみ取得する場合においても同様である。
【0128】
一般に、スリットスキャンが適用される被検眼の領域(部位)は、前眼部の少なくとも一部(例:角膜、虹彩、前房、隅角、毛様体、チン小帯、水晶体、神経、血管などの組織;病変部;治療痕;眼内レンズ、眼内コンタクトレンズ、MIGSデバイスなどの人工物)、及び/又は、後眼部の少なくとも一部(例:硝子体、網膜、脈絡膜、強膜、視神経乳頭、篩状板、黄斑、神経、血管などの組織;病変部;治療痕;人工網膜などの人工物)を含む。幾つかの例示的な態様では、瞼やマイボーム腺などの眼球近傍組織の少なくとも一部にスリットスキャンを適用してもよい。幾つかの例示的な態様では、前眼部の少なくとも一部、後眼部の少なくとも一部、及び、眼球近傍組織の少なくとも一部のうちのいずれか2つを含む3次元領域又は全てを含む3次元領域に対してスリットスキャンを適用してもよい。
【0129】
細胞評価情報を含む炎症状態情報を生成することが可能な実施形態は、次の3つの処理のうちの少なくとも1つを実行するように構成されていてよい:(1)被検眼の前房に相当する画像領域(前房領域と呼ぶ)を特定するためのセグメンテーション(第1セグメンテーション又は前房セグメンテーションと呼ぶ);(2)炎症細胞に相当する画像領域(細胞領域と呼ぶ)を特定するためのセグメンテーション(第2セグメンテーション又は細胞セグメンテーションと呼ぶ);(3)細胞評価情報を生成するための処理(細胞評価情報生成処理と呼ぶ)。このような実施形態の幾つかの例示的な態様を以下に説明する。
【0130】
第1の例示的な態様において、評価処理部1030は、シャインプルーフ画像から前房領域を特定するための第1セグメンテーションと、この第1セグメンテーションにより特定された前房領域から細胞領域を特定する第2セグメンテーションと、この第2セグメンテーションにより特定された細胞領域から細胞評価情報を生成する細胞評価情報生成処理とのうちの少なくとも1つの処理を実行するように構成される。本態様の第1セグメンテーションは、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の第2セグメンテーションは、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の細胞評価情報生成処理は、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の詳細については後述する。
【0131】
第2の例示的な態様において、評価処理部1030は、前房領域を特定するための第1セグメンテーションを実行することなく、シャインプルーフ画像から細胞領域を特定するための第2セグメンテーションと、この第2セグメンテーションにより特定された細胞領域から細胞評価情報を生成する細胞評価情報生成処理とのうちの少なくとも1つの処理を実行するように構成される。本態様の第2セグメンテーションは、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の細胞評価情報生成処理は、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の詳細については後述する。
【0132】
第3の例示的な態様において、評価処理部1030は、前房領域を特定するための第1セグメンテーション及び細胞領域を特定するための第2セグメンテーションを実行することなく、シャインプルーフ画像から細胞評価情報を生成するための細胞評価情報生成処理を実行するように構成される。本態様の細胞評価情報生成処理は、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の詳細については後述する。
【0133】
第4の例示的な態様において、評価処理部1030は、細胞領域を特定するための第2セグメンテーションを実行することなく、シャインプルーフ画像から前房領域を特定するための第1セグメンテーションと、この第1セグメンテーションにより特定された前房領域から細胞評価情報を生成するための細胞評価情報生成処理とのうちの少なくとも1つを実行するように構成される。本態様の第1セグメンテーションは、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の細胞評価情報生成処理は、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の詳細については後述する。
【0134】
第5の例示的な態様において、評価処理部1030は、機械学習により訓練されたニューラルネットワークを用いることなく実行される。本態様は、シャインプルーフ画像を解析して前房領域を特定するための第1セグメンテーションと、この第1セグメンテーションにより特定された前房領域を解析して細胞領域を特定するための第2セグメンテーションと、第2セグメンテーションにより特定された細胞領域に基づいて細胞評価情報を生成するための細胞評価情報生成処理とを実行するように構成されている。本態様の詳細については後述する。
【0135】
第6の例示的な態様において、評価処理部1030は、第1セグメンテーションの少なくとも一部、第2セグメンテーションの少なくとも一部、及び、細胞評価情報生成処理の少なくとも一部のうちのいずれか1つ以上を機械学習ベースの構成で実行するとともに、機械学習ベースの構成で実行される処理以外の処理を非機械学習ベースの構成で実行するように構成されている。本態様は、例えば、上記した第1~第4の例示的な態様のいずれかと、第5の例示的な態様とを部分的に組み合わせることによって実現されるものであるから、その詳細な説明については省略する。
【0136】
前述したように、第1セグメンテーションは、機械学習ベースの処理若しくは非機械学習ベースの処理であってよく、又は、機械学習ベースの処理及び非機械学習ベースの処理の組み合わせであってもよい。また、第2セグメンテーションは、機械学習ベースの処理若しくは非機械学習ベースの処理であってよく、又は、機械学習ベースの処理及び非機械学習ベースの処理の組み合わせであってもよい。更に、細胞評価情報生成処理は、機械学習ベースの処理若しくは非機械学習ベースの処理であってよく、又は、機械学習ベースの処理及び非機械学習ベースの処理の組み合わせであってもよい。
【0137】
第1セグメンテーションに投入されるデータの種類、第2セグメンテーションに投入されるデータの種類、及び、細胞評価情報生成処理に投入されるデータの種類は、いずれも任意であってよい。以下、第1セグメンテーション、第2セグメンテーション、及び細胞評価情報生成処理を含む複数の処理の可能な組み合わせの幾つかの例について説明する。
【0138】
評価処理部1030の一構成例を
図8に示す。本例の評価処理部1030Aは、第1セグメンテーション部1031、第2セグメンテーション部1032、及び細胞評価情報生成処理部1033を含んでいる。
【0139】
第1セグメンテーション部1031は、前房領域を特定するための第1セグメンテーションを実行するプロセッサを含み、画像収集部1010により取得されたシャインプルーフ画像から前房領域を特定するように構成されている。
【0140】
機械学習を用いて第1セグメンテーションを実行する場合、第1セグメンテーション部1031は、予め構築された推論モデル(第1推論モデル)を用いて第1セグメンテーションを実行するように構成されている。第1推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第1ニューラルネットワーク)を含んでいる。
【0141】
第1ニューラルネットワークに入力されるデータはシャインプルーフ画像であり、第1ニューラルネットワークから出力されるデータは前房領域である。すなわち、第1セグメンテーション部1031は、画像収集部1010により取得されたシャインプルーフ画像(例えば、1つ以上のシャインプルーフ画像、1つ以上の加工画像データ、又は、1つ以上のシャインプルーフ画像及び1つ以上の加工画像データ)を受け、このシャインプルーフ画像を第1推論モデルの第1ニューラルネットワークに入力し、第1ニューラルネットワークからの出力データ(入力されたシャインプルーフ画像における前房領域)を取得するように構成されている。
【0142】
第1推論モデルを構築するための装置(推論モデル構築装置)は、眼科装置1500に設けられていてもよいし、眼科装置1500の周辺機器(コンピュータなど)に設けられてもよいし、他のコンピュータであってもよい。推論モデル構築装置は、学習処理部とニューラルネットワークとを含む。
【0143】
推論モデル構築装置に設けられたニューラルネットワークは、典型的には、畳み込みニューラルネットワーク(CNN)を含む。この畳み込みニューラルネットワークは公知の構造を備えており、入力層、畳み込み層、プーリング層、全結合層、出力層などを含んでいてよい。
【0144】
入力層には画像が入力される。入力層の後ろには、畳み込み層とプーリング層とのペアが複数配置されている。畳み込み層とプーリング層とのペアの個数は任意であってよい。
【0145】
畳み込み層では、画像から特徴(輪郭など)を把握するための畳み込み演算が行われる。畳み込み演算は、入力された画像に対する、この画像と同じ次元のフィルタ関数(重み係数、フィルタカーネル)の積和演算である。畳み込み層では、入力された画像の複数の部分にそれぞれ畳み込み演算を適用する。より具体的には、畳み込み層では、フィルタ関数が適用された部分画像の各ピクセルの値に、そのピクセルに対応するフィルタ関数の値(重み)を乗算して積を算出し、この部分画像の複数のピクセルにわたって積の総和を求める。このように得られた積和値は、出力される画像における対応ピクセルに代入される。フィルタ関数を適用する箇所(部分画像)を移動させながら積和演算を行うことで、入力された画像の全体についての畳み込み演算結果が得られる。このような畳み込み演算によれば、多数の重み係数を用いて様々な特徴が抽出された画像が多数得られる。つまり、平滑化画像やエッジ画像などの多数のフィルタ処理画像が得られる。畳み込み層により生成される多数の画像は特徴マップと呼ばれる。
【0146】
プーリング層では、直前の畳み込み層により生成された特徴マップの圧縮(データの間引きなど)が行われる。より具体的には、プーリング層では、特徴マップ内の注目ピクセルの所定の近傍ピクセルにおける統計値を所定のピクセル間隔ごとに算出し、入力された特徴マップよりも小さな寸法の画像を出力する。なお、プーリング演算に適用される統計値は、例えば、最大値(max pooling)又は平均値(average pooling)である。また、プーリング演算に適用されるピクセル間隔は、ストライド(stride)と呼ばれる。
【0147】
畳み込みニューラルネットワークは、畳み込み層とプーリング層との複数のペアによって処理を行うことにより、入力された画像から多くの特徴を抽出することができる。
【0148】
畳み込み層とプーリング層との最後のペアの後ろには、全結合層が設けられている。全結合層の個数は任意であってよい。全結合層では、畳み込みとプーリングとの組み合わせによって圧縮された特徴量を用いて、画像分類、画像セグメンテーション、回帰などの処理を行う。最後の全結合層の後ろには、出力結果を提供する出力層が設けられている。
【0149】
幾つかの例示的な態様において、畳み込みニューラルネットワークは、全結合層を含まなくてもよいし(例えば、全層畳み込みネットワーク(FCN))、サポートベクターマシンや再帰型ニューラルネットワーク(RNN)などを含んでいてもよい。また、推論モデル構築装置がニューラルネットワークに対して適用する機械学習は、転移学習を含んでいてもよい。すなわち、このニューラルネットワークは、他の訓練データ(訓練画像)を用いた学習が既に行われてパラメータ調整が為されたニューラルネットワークを含んでいてもよい。また、推論モデル構築装置は、学習済みのニューラルネットワークにファインチューニングを適用可能に構成されてもよい。また、推論モデル構築装置により機械学習が適用されるニューラルネットワークは、公知のオープンソースのニューラルネットワークアーキテクチャを用いて構築されたものであってもよい。
【0150】
推論モデル構築装置は、訓練データを用いた機械学習をニューラルネットワークに適用する。ニューラルネットワークが畳み込みニューラルネットワークを含んでいる場合、推論モデル構築装置によって調整されるニューラルネットワークのパラメータは、例えば、畳み込み層のフィルタ係数と、全結合層の結合重み及びオフセットとを含む。
【0151】
前述したように、訓練データは、1以上の眼について取得された1以上のシャインプルーフ画像を含んでいてよい。眼のシャインプルーフ画像は、第1ニューラルネットワークに入力される画像と同種の画像であるから、他の種類の画像のみを含む訓練データを用いて機械学習を行う場合と比較して、第1ニューラルネットワークの出力の品質(正確度、精度など)の向上を図ることができる。
【0152】
訓練データに含まれる画像の種類はシャインプルーフ画像に限定されず、例えば、訓練データは、他の眼科モダリティ(眼底カメラ、OCT装置、SLO、手術用顕微鏡など)により取得された画像や、任意の診療科の画像診断モダリティ(超音波診断装置、X線診断装置、X線CT装置、磁気共鳴イメージング(MRI)装置など)により取得された画像や、実際の眼の画像を加工して生成された画像(加工画像データ)や、擬似的な画像などを含んでいてもよい。また、データ拡張、データオーギュメンテーションなどの技術を利用して、訓練データに含まれる画像等の個数を増加させてもよい。
【0153】
第1ニューラルネットワークを構築するための訓練の手法(機械学習の手法)は任意であってよく、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか2以上の組み合わせであってよい。
【0154】
幾つかの例示的な態様では、入力画像に対してラベルを付すアノテーションによって生成された訓練データを用いて教師あり学習が実施される。このアノテーションでは、例えば、訓練データに含まれる各画像について、その画像中の前房領域を特定してラベルを付す。前房領域の特定は、例えば、医師、コンピュータ、及び、他の推論モデルのうちの少なくとも1つによって実行される。推論モデル構築装置は、このような訓練データを用いた教師あり学習をニューラルネットワークに適用することによって第1ニューラルネットワークを構築することができる。
【0155】
このようにして構築された第1ニューラルネットワークを含む第1推論モデルは、シャインプルーフ画像(例えば、画像収集部1010により取得されたシャインプルーフ画像、その加工画像データ)を入力とし、且つ、入力されたシャインプルーフ画像中の前房領域(例えば、前房領域の範囲又は位置を示す情報)を出力とした学習済みモデルである。
【0156】
第1ニューラルネットワークの特定のユニットに処理が集中することを避けるために、推論モデル構築装置は、ニューラルネットワークの幾つかのユニットをランダムに選んで無効化し、残りのユニットを用いて学習を行ってもよい(ドロップアウト)。
【0157】
推論モデル構築に用いられる手法は、ここに示した例に限定されない。例えば、サポートベクターマシン、ベイズ分類器、ブースティング、k平均法、カーネル密度推定、主成分分析、独立成分分析、自己組織化写像、ランダムフォレスト、敵対的生成ネットワーク(GAN)といった任意の手法を、推論モデルを構築するために利用することが可能である。
【0158】
本例の第1セグメンテーション部1031は、このような第1推論モデル(第1ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像から前房領域を特定する処理を実行する。
【0159】
第2セグメンテーション部1032は、細胞領域を特定するための第2セグメンテーションを実行するプロセッサを含み、第1セグメンテーション部1031により特定された前房領域から細胞領域を特定するように構成されている。
【0160】
機械学習を用いて本例の第2セグメンテーションを実行する場合、第2セグメンテーション部1032は、予め構築された推論モデル(第2推論モデル)を用いて第2セグメンテーションを実行するように構成されている。第2推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第2ニューラルネットワーク)を含んでいる。
【0161】
本例の訓練データに含まれる眼画像は、眼の前房の少なくとも一部に相当する画像(前房画像と呼ぶ)を含んでいる。本例の訓練データに含まれる眼画像は、前眼部画像(例えば、シャインプルーフ画像、他のモダリティで取得された画像)に対する手動セグメンテーション又は自動セグメンテーションの結果を含んでいてよく、例えば、前眼部画像から抽出された前房画像、又は、前眼部画像中の前房画像の範囲若しくは位置を示す情報であってよい。
【0162】
第2ニューラルネットワークに入力されるデータは、第1セグメンテーション部1031によりシャインプルーフ画像から特定された前房領域(又は、特定及び抽出された前房領域(以下同様))であり、第2ニューラルネットワークから出力されるデータは、細胞領域である。すなわち、第2セグメンテーション部1032は、第1セグメンテーション部1031により特定された前房領域を受け、この前房領域を第2推論モデルの第2ニューラルネットワークに入力し、第2ニューラルネットワークからの出力データ(入力された前房領域における細胞領域)を取得するように構成されている。
【0163】
第2推論モデル(第2ニューラルネットワーク)の構築は、第1推論モデル(第1ニューラルネットワーク)の構築と同じ要領で実行されてよい。例えば、第2推論モデル(第2ニューラルネットワーク)の構築は、前述した推論モデル構築装置によって実行される。特に言及しない限り、本例の推論モデル構築装置(学習処理部及びニューラルネットワーク)は、第1推論モデル(第1ニューラルネットワーク)の構築における推論モデル構築装置と同じであってよい。
【0164】
第2ニューラルネットワークの構築に用いられる訓練データは、1以上の眼について取得された1以上のシャインプルーフ画像(例えば、前房領域が特定された前眼部画像、前房画像)を含んでいてよい。訓練データに含まれる画像の種類はシャインプルーフ画像に限定されず、例えば、訓練データは、他の眼科モダリティにより取得された画像や、任意の診療科の画像診断モダリティにより取得された画像や、実際の眼の画像を加工して生成された画像や、擬似的な画像などを含んでいてもよい。
【0165】
第2ニューラルネットワークを構築するための訓練の手法(機械学習の手法)は任意であってよく、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか2以上の組み合わせであってよい。
【0166】
幾つかの例示的な態様では、入力画像に対してラベルを付すアノテーションによって生成された訓練データを用いて教師あり学習が実施される。このアノテーションでは、例えば、訓練データに含まれる各画像について、その画像中の細胞領域を特定してラベルを付す。細胞領域の特定は、例えば、医師、コンピュータ、及び、他の推論モデルのうちの少なくとも1つによって実行される。推論モデル構築装置は、このような訓練データを用いた教師あり学習をニューラルネットワークに適用することによって第2ニューラルネットワークを構築することができる。
【0167】
このようにして構築された第2ニューラルネットワークを含む第2推論モデルは、第1セグメンテーション部1031により特定された前房領域を入力とし、且つ、入力された前房領域中の細胞領域(例えば、細胞領域の範囲又は位置を示す情報)を出力とした学習済みモデルである。
【0168】
本例の第2セグメンテーション部1032は、このような第2推論モデル(第2ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像中の前房領域から細胞領域を特定する処理を実行する。
【0169】
細胞評価情報生成処理部1033は、細胞評価情報を生成するための細胞評価情報生成処理を実行するプロセッサを含み、第2セグメンテーション部1032により特定された細胞領域から細胞評価情報を生成する。
【0170】
機械学習を用いて本例の細胞評価情報生成処理を実行する場合、細胞評価情報生成処理部1033は、予め構築された推論モデル(第3推論モデル)を用いて細胞評価情報生成処理を実行するように構成されている。第3推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第3ニューラルネットワーク)を含んでいる。
【0171】
本例の訓練データに含まれる眼画像は、炎症細胞の画像が描出されている前房画像を少なくとも含み、炎症細胞の画像が描出されていない前房画像を更に含んでいてもよい。本例の訓練データに含まれる眼画像は、前眼部画像(例えば、シャインプルーフ画像、他のモダリティで取得された画像)に対する手動セグメンテーション又は自動セグメンテーションの結果を含んでいてよく、例えば、前眼部画像中の前房画像から抽出された細胞画像、又は、前房画像中の細胞領域の範囲若しくは位置を示す情報であってよい。
【0172】
第3ニューラルネットワークに入力されるデータは、第2セグメンテーション部1032からの出力又はそれに基づき生成されたデータ(例えば、細胞領域の範囲、位置、分布などを示すデータ、又は、細胞領域の特定結果が付された前房領域)であり、第3ニューラルネットワークから出力されるデータは、細胞評価情報である。すなわち、細胞評価情報生成処理部1033は、第2セグメンテーション部1032による細胞領域の特定結果又はそれに基づき生成されたデータを受け、細胞領域の特定結果又はそれに基づき生成されたデータを第3推論モデルの第3ニューラルネットワークに入力し、第3ニューラルネットワークからの出力データ(細胞評価情報)を取得するように構成されている。なお、前述したように、細胞評価情報は、炎症細胞に関する所定のパラメータ(例えば、炎症細胞の密度、個数、位置、分布など)についての評価情報である。
【0173】
第3推論モデル(第3ニューラルネットワーク)の構築は、第1推論モデル(第1ニューラルネットワーク)の構築と同じ要領で実行されてよい。例えば、第3推論モデル(第3ニューラルネットワーク)の構築は、前述した推論モデル構築装置によって実行される。特に言及しない限り、本例の推論モデル構築装置(学習処理部及びニューラルネットワーク)は、第1推論モデル(第1ニューラルネットワーク)の構築における推論モデル構築装置と同じであってよい。
【0174】
第3ニューラルネットワークの構築に用いられる訓練データは、1以上の眼について取得された1以上のシャインプルーフ画像(例えば、細胞領域が特定された前房領域を含む前眼部画像、細胞領域が特定された前房画像)を含んでいてよい。訓練データに含まれる画像の種類はシャインプルーフ画像に限定されず、例えば、訓練データは、他の眼科モダリティにより取得された画像や、任意の診療科の画像診断モダリティにより取得された画像や、実際の眼の画像を加工して生成された画像や、擬似的な画像などを含んでいてもよい。
【0175】
第3ニューラルネットワークを構築するための訓練の手法(機械学習の手法)は任意であってよく、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか2以上の組み合わせであってよい。
【0176】
幾つかの例示的な態様では、入力画像に対してラベルを付すアノテーションによって生成された訓練データを用いて教師あり学習が実施される。このアノテーションでは、例えば、訓練データに含まれる各画像(細胞領域が特定されている)に対して、その画像から生成された細胞評価情報がラベルとして付される。画像からの細胞評価情報の生成は、例えば、医師、コンピュータ、及び、他の推論モデルのうちの少なくとも1つによって実行される。推論モデル構築装置は、このような訓練データを用いた教師あり学習をニューラルネットワークに適用することによって第3ニューラルネットワークを構築することができる。
【0177】
このようにして構築された第3ニューラルネットワークを含む第3推論モデルは、第2セグメンテーション部1032による細胞領域の特定結果又はそれに基づき生成されたデータを入力とし、且つ、入力された細胞領域の特定結果又はそれに基づき生成されたデータに基づく細胞評価情報を出力とした学習済みモデルである。
【0178】
本例の細胞評価情報生成処理部1033は、このような第3推論モデル(第3ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像中の前房領域における細胞領域から細胞評価情報を生成する処理を実行する。
【0179】
評価処理部1030の一構成例を
図9に示す。本例の評価処理部1030Bは、第1セグメンテーション部1041、変換処理部1042、第2セグメンテーション部1043、及び細胞評価情報生成処理部1044を含んでいる。
【0180】
第1セグメンテーション部1041は、評価処理部1030Aの第1セグメンテーション部1031と同様の構成及び機能を有し、画像収集部1010により取得されたシャインプルーフ画像から前房領域を特定するための第1セグメンテーションを実行するように構成されている。
【0181】
変換処理部1042は、第1セグメンテーション部1041により特定された前房領域を、第2セグメンテーション部1043が実行する第2セグメンテーションに応じた構造のデータに変換する。本例の第2セグメンテーション部1043は、評価処理部1030Aの第2セグメンテーション部1032のように、機械学習で構築されたニューラルネットワーク(第2ニューラルネットワーク)を用いて第2セグメンテーションを実行するように構成されている。変換処理部1042は、第1セグメンテーション部1041によりシャインプルーフ画像から特定された前房領域を、第2セグメンテーション部1043の第2ニューラルネットワークの入力層に対応した構造の画像データに変換するための変換処理を実行するように構成されている。
【0182】
例えば、第2セグメンテーション部1043の第2ニューラルネットワーク(畳み込みニューラルネットワーク)の入力層が既定の構造(形態、形式)のデータを受け付けるように構成されている場合がある。この既定のデータ構造は、例えば、既定の画像サイズ(例えば、縦方向のピクセル数及び横方向のピクセル数)、既定の画像形状(例えば、正方形又は長方形)などであってよい。一方、眼科装置の仕様、撮影時の条件や設定、被検眼の寸法や形態の個人差などの影響により、第1セグメンテーション部1041によって特定される前房領域の画像サイズや画像形状は様々である。変換処理部1042は、第1セグメンテーション部1041により特定された前房領域の構造(例えば、画像サイズ及び/又は画像形状)を、第2セグメンテーション部1043の第2ニューラルネットワークの入力層が受け付け可能な構造に変換する。
【0183】
画像サイズの変換は、任意の公知の画像サイズ変換技術を用いて実行されてよく、例えば、第1セグメンテーション部1041により特定された前房領域を入力層に応じた画像サイズの複数の部分画像に分割する処理、又は、第1セグメンテーション部1041により特定された前房領域を入力層に応じた画像サイズの単一の画像にリサイズする処理を含んでいてよい。画像形状の変換は、任意の公知の画像変形技術を用いて実行されてよい。他のデータ構造の変換処理についても同様であってよい。
【0184】
なお、本開示では、ニューラルネットワークの構造に対応した変換処理をシャインプルーフ画像の前房領域に適用する場合について幾つかの例を詳細に説明しているが、変換処理の態様やそのための構成はそれらに限定されない。
【0185】
例えば、ニューラルネットワークに入力される画像がシャインプルーフ画像である場合には、入力されるシャインプルーフ画像に同様の変換処理を適用する構成を採用することが可能である。また、ニューラルネットワークに入力される画像がシャインプルーフ画像の任意の加工画像データである場合には、入力される加工画像データに同様の変換処理を適用するように構成を採用することが可能である。
【0186】
また、変換処理を実行する要素(変換処理を実行するプロセッサを含む要素であり、変換処理部と呼ぶ)の配置も任意であってよい。例えば、変換処理部は、取得されたシャインプルーフ画像に基づき実行される一連の処理の流れにおいて、対象となるニューラルネットワークよりも前の段階(例えば、このニューラルネットワークを含む推論モデルよりも前の段階、又は、この推論モデルの内部であってこのニューラルネットワークよりも前の段階)に配置されていてよく、又は、対象となるニューラルネットワークの内部に配置されていてよい。対象となるニューラルネットワークの内部に配置される場合、このニューラルネットワークの出力に直接に対応する入力を受け付ける入力層よりも前の段階に変換処理部が配置される。
【0187】
第2セグメンテーション部1043は、評価処理部1030Aの第2セグメンテーション部1032と同様の構成及び機能を有し、変換処理部1042によりデータ構造が変換された前房領域から細胞領域を特定するための第2セグメンテーションを実行するように構成されている。第2セグメンテーション部1043の第2ニューラルネットワークは、変換処理部1042により生成された画像データ(データ構造が変換された前房領域)の入力を受け、細胞領域を出力するように構成されている。本例の第2ニューラルネットワークを構築するための機械学習は、評価処理部1030Aの第2ニューラルネットワークを構築するための機械学習と同じ要領で実行されてよい。
【0188】
細胞評価情報生成処理部1044は、評価処理部1030Aの細胞評価情報生成処理部1033と同様の構成及び機能を有し、第2セグメンテーション部1043により特定された細胞領域から細胞評価情報を生成するための細胞評価情報生成処理を実行するように構成されている。
【0189】
このように、本例の評価処理部1030Bは、評価処理部1030Aの第1セグメンテーション部1031と第2セグメンテーション部1032との間に変換処理部1042を配置した構成であってもよい。しかしながら、評価処理部1030Bの構成はこれに限定されない。
【0190】
評価処理部1030の一構成例を
図10に示す。本例の評価処理部1030Cは、第2セグメンテーション部1051と細胞評価情報生成処理部1052とを含んでいる。
【0191】
第2セグメンテーション部1051は、細胞領域を特定するための第2セグメンテーションを実行するプロセッサを含み、画像収集部1010により取得されたシャインプルーフ画像から細胞領域を特定するように構成されている。
【0192】
機械学習を用いて本例の第2セグメンテーションを実行する場合、第2セグメンテーション部1051は、予め構築された推論モデル(第4推論モデル)を用いて第2セグメンテーションを実行するように構成されている。第4推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第4ニューラルネットワーク)を含んでいる。
【0193】
幾つかの例示的な態様において、第4ニューラルネットワークは、評価処理部1030Aにおける第1ニューラルネットワークの少なくとも一部と第2ニューラルネットワークの少なくとも一部とを含んでいてもよい。例えば、第4ニューラルネットワークは、第1ニューラルネットワークと第2ニューラルネットワークとを直列に配置したニューラルネットワークであってよい。このような構成の第4ニューラルネットワークは、シャインプルーフ画像から前房領域を特定する機能と、前房領域から細胞領域を特定する機能とを有する。
【0194】
幾つかの例示的な態様において、第4ニューラルネットワークは、前房領域の特定を行うことなく、シャインプルーフ画像から細胞領域を直接に特定するように機械学習が施されていてもよい。第4ニューラルネットワークの態様はこれらに限定されるものではなく、シャインプルーフ画像から細胞領域を特定するための任意の機械学習が適用されたニューラルネットワークを含んでいてよい。
【0195】
第4ニューラルネットワークに入力されるデータはシャインプルーフ画像であり、第4ニューラルネットワークから出力されるデータは細胞領域である。すなわち、第2セグメンテーション部1051は、シャインプルーフ画像を受け、このシャインプルーフ画像を第4推論モデルの第4ニューラルネットワークに入力し、第4ニューラルネットワークからの出力データ(入力されたシャインプルーフ画像における細胞領域)を取得するように構成されている。
【0196】
第4推論モデル(第4ニューラルネットワーク)の構築は、評価処理部1030Aの第1推論モデル(第1ニューラルネットワーク)の構築と同じ要領で実行されてよい。例えば、第4推論モデル(第4ニューラルネットワーク)の構築は、前述した推論モデル構築装置によって実行される。特に言及しない限り、本例の推論モデル構築装置(学習処理部及びニューラルネットワーク)は、評価処理部1030Aの第1推論モデル(第1ニューラルネットワーク)の構築における推論モデル構築装置と同じであってよい。
【0197】
第4ニューラルネットワークの構築に用いられる訓練データは、1以上の眼について取得された1以上のシャインプルーフ画像を含んでいてよい。訓練データに含まれる画像の種類はシャインプルーフ画像に限定されず、例えば、訓練データは、他の眼科モダリティにより取得された画像や、任意の診療科の画像診断モダリティにより取得された画像や、実際の眼の画像を加工して生成された画像や、擬似的な画像などを含んでいてもよい。
【0198】
訓練データに含まれるいずれかの画像は、第4ニューラルネットワークにより実行される処理を補助するための情報が付されていてもよい。例えば、事前のアノテーションによって画像中の前房領域にラベルが付されていてもよい。
【0199】
第4ニューラルネットワークを構築するための訓練の手法(機械学習の手法)は任意であってよく、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか2以上の組み合わせであってよい。
【0200】
幾つかの例示的な態様では、入力画像に対してラベルを付すアノテーションによって生成された訓練データを用いて教師あり学習が実施される。このアノテーションでは、例えば、訓練データに含まれる各画像について、その画像中の細胞領域を特定してラベルを付す。細胞領域の特定は、例えば、医師、コンピュータ、及び、他の推論モデルのうちの少なくとも1つによって実行される。推論モデル構築装置は、このような訓練データを用いた教師あり学習をニューラルネットワークに適用することによって第4ニューラルネットワークを構築することができる。
【0201】
このようにして構築された第4ニューラルネットワークを含む第4推論モデルは、画像収集部1010により取得されたシャインプルーフ画像(又は、その加工画像データなど)を入力とし、且つ、入力されたシャインプルーフ画像中の細胞領域(例えば、細胞領域の範囲又は位置を示す情報)を出力とした学習済みモデルである。
【0202】
本例の第2セグメンテーション部1051は、このような第4推論モデル(第4ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像から細胞領域を特定する処理を実行する。
【0203】
細胞評価情報生成処理部1052は、細胞評価情報を生成するための細胞評価情報生成処理を実行するプロセッサを含み、第2セグメンテーション部1051により特定された細胞領域から細胞評価情報を生成する。
【0204】
機械学習を用いて本例の細胞評価情報生成処理を実行する場合、細胞評価情報生成処理部1052は、予め構築された推論モデル(第5推論モデル)を用いて細胞評価情報生成処理を実行するように構成されている。第5推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第5ニューラルネットワーク)を含んでいる。
【0205】
第5ニューラルネットワークに入力されるデータは第2セグメンテーション部1051からの出力又はそれに基づき生成されたデータ(例えば、細胞領域の範囲、位置、分布などを示すデータ、又は、細胞領域の特定結果が付された前房領域)であり、第5ニューラルネットワークから出力されるデータは細胞評価情報である。すなわち、細胞評価情報生成処理部1052は、第2セグメンテーション部1051による細胞領域の特定結果又はそれに基づき生成されたデータを受け、細胞領域の特定結果又はそれに基づき生成されたデータを第5推論モデルの第5ニューラルネットワークに入力し、第5ニューラルネットワークからの出力データ(細胞評価情報)を取得するように構成されている。
【0206】
第5推論モデル(第5ニューラルネットワーク)を構築するための機械学習の手法は、評価処理部1030Aの細胞評価情報生成処理部1033の第3ニューラルネットワークを構築するための機械学習の手法と同様であってよい。また、第5推論モデル(第5ニューラルネットワーク)を構築するための機械学習に用いられる訓練データは、評価処理部1030Aの第3ニューラルネットワークを構築するための機械学習に用いられる訓練データと同様であってよい。
【0207】
第5ニューラルネットワークを含む第5推論モデルは、第2セグメンテーション部1051による細胞領域の特定結果又はそれに基づき生成されたデータを入力とし、且つ、入力された細胞領域の特定結果又はそれに基づき生成されたデータに基づく細胞評価情報を出力とした学習済みモデルである。
【0208】
本例の細胞評価情報生成処理部1052は、このような第5推論モデル(第5ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像中の細胞領域から細胞評価情報を生成する処理を実行する。
【0209】
評価処理部1030の一構成例を
図11に示す。本例の評価処理部1030Dは、細胞評価情報生成処理部1061を含んでいる。
【0210】
細胞評価情報生成処理部1061は、細胞評価情報を生成するための細胞評価情報生成処理を実行するプロセッサを含み、画像収集部1010により取得されたシャインプルーフ画像から細胞評価情報を生成する。
【0211】
機械学習を用いて本例の細胞評価情報生成処理を実行する場合、細胞評価情報生成処理部1061は、予め構築された推論モデル(第6推論モデル)を用いて細胞評価情報生成処理を実行するように構成されている。第6推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第6ニューラルネットワーク)を含んでいる。
【0212】
幾つかの例示的な態様において、第6ニューラルネットワークは、評価処理部1030Aにおける第1ニューラルネットワークの少なくとも一部と第2ニューラルネットワークの少なくとも一部と第3ニューラルネットワークの少なくとも一部とを含んでいてもよい。例えば、第6ニューラルネットワークは、第1ニューラルネットワークと第2ニューラルネットワークと第3ニューラルネットワークとを直列に配置したニューラルネットワークであってよい。このような構成の第6ニューラルネットワークは、シャインプルーフ画像から前房領域を特定する機能と、前房領域から細胞領域を特定する機能と、細胞領域から細胞評価情報を生成する機能とを有する。
【0213】
幾つかの例示的な態様において、第6ニューラルネットワークは、前房領域の特定及び/又は細胞領域の特定を行うことなく、シャインプルーフ画像から細胞評価情報を直接に生成するように機械学習が施されていてもよい。第6ニューラルネットワークの態様はこれらに限定されるものではなく、シャインプルーフ画像から細胞評価情報を特定するための任意の機械学習が適用されたニューラルネットワークを含んでいてよい。
【0214】
第6ニューラルネットワークに入力されるデータは画像収集部1010からの出力又はそれに基づき生成されたデータであり、第6ニューラルネットワークから出力されるデータは細胞評価情報である。すなわち、細胞評価情報生成処理部1061は、画像収集部1010により取得されたシャインプルーフ画像(及び/又は、このシャインプルーフ画像に基づき生成されたデータ)を受け、このシャインプルーフ画像又はそれに基づき生成されたデータを第6推論モデルの第6ニューラルネットワークに入力し、第6ニューラルネットワークからの出力データ(細胞評価情報)を取得するように構成されている。
【0215】
第6推論モデル(第6ニューラルネットワーク)を構築するための機械学習の手法は、評価処理部1030Aの細胞評価情報生成処理部1033の第3ニューラルネットワークを構築するための機械学習の手法と同様であってよい。また、第6推論モデル(第6ニューラルネットワーク)を構築するための機械学習に用いられる訓練データは、評価処理部1030Aの第3ニューラルネットワークを構築するための機械学習に用いられる訓練データと同様であってよい。
【0216】
第6ニューラルネットワークを含む第6推論モデルは、画像収集部1010により取得されたシャインプルーフ画像(及び/又は、このシャインプルーフ画像に基づき生成されたデータ)を入力とし、且つ、入力されたシャインプルーフ画像(及び/又は、このシャインプルーフ画像に基づき生成されたデータ)に基づく細胞評価情報を出力とした学習済みモデルである。
【0217】
本例の細胞評価情報生成処理部1061は、このような第6推論モデル(第6ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像(及び/又は、このシャインプルーフ画像に基づき生成されたデータ)から細胞評価情報を生成する処理を実行する。
【0218】
評価処理部1030の一構成例を
図12に示す。本例の評価処理部1030Eは、第1セグメンテーション部1071と細胞評価情報生成処理部1072とを含んでいる。
【0219】
第1セグメンテーション部1071は、前房領域を特定するための第1セグメンテーションを実行するプロセッサを含み、画像収集部1010により取得されたシャインプルーフ画像から前房領域を特定するように構成されている。
【0220】
機械学習を用いて本例の第1セグメンテーションを実行する場合、第1セグメンテーション部1071は、予め構築された推論モデル(第7推論モデル)を用いて第1セグメンテーションを実行するように構成されている。第7推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第7ニューラルネットワーク)を含んでいる。
【0221】
第7推論モデル(第7ニューラルネットワーク)を構築するための機械学習の手法は、評価処理部1030Aの第1セグメンテーション部1031の第1ニューラルネットワークを構築するための機械学習の手法と同様であってよい。また、第7推論モデル(第7ニューラルネットワーク)を構築するための機械学習に用いられる訓練データは、評価処理部1030Aの第1ニューラルネットワークを構築するための機械学習に用いられる訓練データと同様であってよい。幾つかの例示的な態様において、第7ニューラルネットワークは第1ニューラルネットワークと同一又は類似であってよく、第7推論モデルは第1推論モデルと同一又は類似であってよい。
【0222】
第7ニューラルネットワークを含む第7推論モデルは、画像収集部1010により取得されたシャインプルーフ画像(又は、その加工画像データなど)を入力とし、且つ、入力されたシャインプルーフ画像中の前房領域(例えば、前房領域の範囲又は位置を示す情報)を出力とした学習済みモデルである。
【0223】
本例の第1セグメンテーション部1071は、このような第7推論モデル(第7ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像中から前房領域を特定する処理を実行する。
【0224】
細胞評価情報生成処理部1072は、細胞評価情報を生成するための細胞評価情報生成処理を実行するプロセッサを含み、第1セグメンテーション部1071により特定された前房領域から細胞評価情報を生成する。
【0225】
機械学習を用いて本例の細胞評価情報生成処理を実行する場合、細胞評価情報生成処理部1072は、予め構築された推論モデル(第8推論モデル)を用いて細胞評価情報生成処理を実行するように構成されている。第8推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第8ニューラルネットワーク)を含んでいる。
【0226】
幾つかの例示的な態様において、第8ニューラルネットワークは、評価処理部1030Aの第2ニューラルネットワークの少なくとも一部と第3ニューラルネットワークの少なくとも一部とを含んでいてもよい。例えば、第8ニューラルネットワークは、第2ニューラルネットワークと第3ニューラルネットワークとを直列に配置したニューラルネットワークであってよい。このような構成の第8ニューラルネットワークは、前房領域から細胞領域を特定する機能と、細胞領域から細胞評価情報を生成する機能とを有する。
【0227】
幾つかの例示的な態様において、第8ニューラルネットワークは、細胞領域の特定を行うことなく、前房領域から細胞評価情報を直接に生成するように機械学習が施されていてもよい。第8ニューラルネットワークの態様はこれらに限定されるものではなく、前房領域から細胞評価情報を特定するための任意の機械学習が適用されたニューラルネットワークを含んでいてよい。
【0228】
第8ニューラルネットワークに入力されるデータは第1セグメンテーション部1071からの出力又はそれに基づき生成されたデータであり、第8ニューラルネットワークから出力されるデータは細胞評価情報である。すなわち、細胞評価情報生成処理部1072は、第1セグメンテーション部1071によりシャインプルーフ画像から特定された前房領域(及び/又は、この前房領域に基づき生成されたデータ)を受け、この前房領域又はそれに基づき生成されたデータを第8推論モデルの第8ニューラルネットワークに入力し、第8ニューラルネットワークからの出力データ(細胞評価情報)を取得するように構成されている。
【0229】
第8推論モデル(第8ニューラルネットワーク)を構築するための機械学習の手法は、評価処理部1030Aの細胞評価情報生成処理部1033の第3ニューラルネットワークを構築するための機械学習の手法と同様であってよい。また、第8推論モデル(第8ニューラルネットワーク)を構築するための機械学習に用いられる訓練データは、評価処理部1030Aの第3ニューラルネットワークを構築するための機械学習に用いられる訓練データと同様であってよい。
【0230】
第8ニューラルネットワークを含む第8推論モデルは、第1セグメンテーション部1071により特定された前房領域(及び/又は、この前房領域に基づき生成されたデータ)を入力とし、且つ、入力された前房領域(及び/又は、この前房領域に基づき生成されたデータ)に基づく細胞評価情報を出力とした学習済みモデルである。
【0231】
本例の細胞評価情報生成処理部1072は、このような第8推論モデル(第8ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像中の前房領域(及び/又は、この前房領域に基づき生成されたデータ)から細胞評価情報を生成する処理を実行する。
【0232】
評価処理部1030の一構成例を
図13に示す。本例の評価処理部1030Fは、第1セグメンテーション部1081、変換処理部1082、及び細胞評価情報生成処理部1083を含んでいる。
【0233】
第1セグメンテーション部1081は、評価処理部1030Aの第1セグメンテーション部1031と同様の構成及び機能を有し、画像収集部1010により取得されたシャインプルーフ画像から前房領域を特定するための第1セグメンテーションを実行するように構成されている。
【0234】
変換処理部1082は、第1セグメンテーション部1081により特定された前房領域を、細胞評価情報生成処理部1083が実行する細胞評価情報生成処理に応じた構造のデータに変換する。本例の細胞評価情報生成処理部1083は、評価処理部1030Eの細胞評価情報生成処理部1072のように、機械学習で構築されたニューラルネットワーク(第8ニューラルネットワーク)を用いて細胞評価情報生成処理を実行するように構成されている。変換処理部1082は、第1セグメンテーション部1081によりシャインプルーフ画像から特定された前房領域を、細胞評価情報生成処理部1083の第8ニューラルネットワークの入力層に対応した構造の画像データに変換するための変換処理を実行するように構成されている。
【0235】
例えば、細胞評価情報生成処理部1083の第8ニューラルネットワーク(畳み込みニューラルネットワーク)の入力層が既定の構造(形態、形式)のデータを受け付けるように構成されている場合がある。この既定のデータ構造は、例えば、既定の画像サイズ(例えば、縦方向のピクセル数及び横方向のピクセル数)、既定の画像形状(例えば、正方形又は長方形)などであってよい。一方、眼科装置の仕様、撮影時の条件や設定、被検眼の寸法や形態の個人差などの影響により、第1セグメンテーション部1081によって特定される前房領域の画像サイズや画像形状は様々である。変換処理部1082は、第1セグメンテーション部1081により特定された前房領域の構造(例えば、画像サイズ及び/又は画像形状)を、細胞評価情報生成処理部1083の第8ニューラルネットワークの入力層が受け付け可能な構造に変換する。
【0236】
画像サイズの変換は、任意の公知の画像サイズ変換技術を用いて実行されてよく、例えば、第1セグメンテーション部1081により特定された前房領域を入力層に応じた画像サイズの複数の部分画像に分割する処理、又は、第1セグメンテーション部1081により特定された前房領域を入力層に応じた画像サイズの単一の画像にリサイズする処理を含んでいてよい。画像形状の変換は、任意の公知の画像変形技術を用いて実行されてよい。他のデータ構造の変換処理についても同様であってよい。
【0237】
細胞評価情報生成処理部1083は、評価処理部1030Eの細胞評価情報生成処理部1072と同様の構成及び機能を有し、第1セグメンテーション部1081により特定された前房領域を変換処理部1082により加工することによって得られたデータから細胞評価情報を生成するための細胞評価情報生成処理を実行するように構成されている。
【0238】
このように、本例の評価処理部1030Fは、評価処理部1030Eの第1セグメンテーション部1071と細胞評価情報生成処理部1072との間に変換処理部1082を配置した構成であってよい。しかしながら、評価処理部1030Fの構成はこれに限定されない。
【0239】
ここまでは、主に、機械学習を用いて構築された推論モデル(ニューラルネットワーク)を含む評価処理部1030の幾つかの例について説明した。しかし、評価処理部1030は、このような機械学習ベースの構成に限定されない。本開示に係る評価処理部1030は、機械学習ベースの構成のみによって実施されてもよいし、機械学習ベースの構成と非機械学習ベースの構成との組み合わせによって実施されてもよいし、非機械学習ベースの構成のみによって実施されてもよい。
【0240】
以下、非機械学習ベースの構成のみによる評価処理部1030の幾つかの例について説明する。機械学習ベースの構成と非機械学習ベースの構成との組み合わせによる評価処理部1030の態様については、当業者であれば、前述した機械学習ベースの構成の様々な例と、後述する非機械学習ベースの構成のみによる評価処理部1030の幾つかの例とに基づいて理解することができるであろう。
【0241】
評価処理部1030の一構成例を
図14に示す。本例の評価処理部1030Gは、第1解析処理部1091と、第2解析処理部1092と、第3解析処理部1093とを含んでいる。
【0242】
第1解析処理部1091は、前房領域を特定するための第1セグメンテーションを実行するプロセッサを含み、画像収集部1010により取得されたシャインプルーフ画像(及び/又は、その加工画像データ)に所定の解析処理(第1解析処理と呼ぶ)を適用して、このシャインプルーフ画像中の前房領域を特定するように構成されている。
【0243】
第1解析処理は、シャインプルーフ画像中の前房領域を特定するための任意の公知のセグメンテーションを含んでいてよい。例えば、前房領域を特定するためのセグメンテーションは、角膜(特に、角膜後面)に相当する画像領域を特定するためのセグメンテーションと、水晶体(特に、水晶体前面)に相当する画像領域を特定するためのセグメンテーションとを含んでいる。角膜に相当する画像領域を角膜領域と呼び、角膜後面に相当する画像領域を角膜後面領域と呼び、水晶体に相当する画像領域を水晶体領域と呼び、水晶体前面に相当する画像領域を水晶体前面領域と呼ぶ。
【0244】
角膜後面領域のセグメンテーションは、任意の公知のセグメンテーションを含んでいてよい。角膜後面領域のセグメンテーションでは、シャインプルーフ画像中のアーティファクトや、ピクセル値のサチュレーションなどが問題となる。これらの問題を解消するために、例えば、
図4Cに示す構成を採用することができる。すなわち、第1撮影系1014及び第2撮影系1015を用いた撮影手法と、画像選択部1110を用いたシャインプルーフ画像の選択処理とを組み合わせることによって、アーティファクトやサチュレーションの無いシャインプルーフ画像を選択すること、及び、選択されたシャインプルーフ画像から角膜後面領域を特定することが可能になる。
【0245】
水晶体前面領域のセグメンテーションは、任意の公知のセグメンテーションを含んでいてよい。水晶体前面領域のセグメンテーションでは、被検眼の瞳孔の状態(例えば、散瞳状態、無散瞳状態、小瞳孔眼など)によってシャインプルーフ画像の表現状態(シャインプルーフ画像の見え方)が変化することなどが問題となる。例えば、被検眼が無散瞳状態又は小瞳孔眼である場合、被検眼が散瞳状態である場合と比較して、画像化される水晶体の範囲が小さくなってしまう。このような問題を解消するために、例えば、シャインプルーフ画像に描出されている水晶体前面領域に基づいて画像化されていない水晶体前面の部分(瞳孔に覆われている部分)の位置や形状を推測する処理など、シャインプルーフ画像の表現状態を均一化するための処理を適用することができる。シャインプルーフ画像の表現状態を均一化するための処理は、機械学習ベースで実行されてもよいし、非機械学習ベースで実行されてもよい。また、水晶体前面の位置や形状を推測する処理は、例えば、任意の公知の外挿処理を含んでいてよい。
【0246】
画像収集部1010がスリットスキャンによって一連のシャインプルーフ画像を収集する場合、問題の有る画像と問題の無い画像とが混在していたり、画像間において問題の程度にばらつきがあったりすることがある。例えば、アーティファクトやサチュレーションが有る画像と無い画像とが混在していたり、様々な異なる状態のアーティファクト(位置、寸法、形状など)が幾つかの画像に混入していたりすることがある。これらの現象は、評価処理部1030Gが実行する処理の品質(例えば、安定性、ロバスト性、再現性、正確度、精度など)に悪影響を与えるおそれがある。幾つかの例示的な態様では、これらの現象を発生させないための対策を講じたり、これらの現象に起因する悪影響を小さくするための対策を講じたりすることができる。前者の対策の例として、第1撮影系1014及び第2撮影系1015を用いた撮影手法と、画像選択部1110を用いたシャインプルーフ画像の選択処理とを組み合わせることができる。後者の対策の例として、画像の補正・ノイズ除去・ノイズ低減、画像パラメータの調整などを実行することができる。
【0247】
第2解析処理部1092は、細胞領域を特定するための第2セグメンテーションを実行するプロセッサを含み、第1解析処理部1091によりシャインプルーフ画像から特定された前房領域に第2解析処理を適用して細胞領域を特定するように構成されている。
【0248】
幾つかの例示的な態様において、第2解析処理部1092は、前房領域内の各ピクセルの値(例えば、輝度値、R値、G値、及びB値のうちの少なくとも1つ)に基づいて、細胞領域を特定するように構成されていてよい。幾つかの例示的な態様において、第2解析処理部1092は、細胞領域を特定するためのセグメンテーションを前房領域に適用するように構成されていてよい。このセグメンテーションは、例えば、炎症細胞(細胞領域)の標準的な形態(例えば、寸法、形状など)に基づき作成されたプログラムにしたがって実行される。幾つかの例示的な態様において、第2解析処理部1092は、これら2つの手法の少なくとも部分的な組み合わせによって細胞領域を特定するように構成されていてよい。
【0249】
画像収集部1010がスリットスキャンによって一連のシャインプルーフ画像を収集する場合に講じうる対策については、第1解析処理部1091の場合と同様であってよい。また、一般的に細胞領域は微小な画像領域であることを考慮し、細胞領域と微小なアーティファクトとを識別するための対策を講じてもよい。例えば、アーティファクト(ゴーストなど)を除去するための処理を実行することで、細胞領域の検出においてアーティファクトが誤検出されることを防止することができる。
【0250】
第3解析処理部1093は、細胞評価情報を生成するための細胞評価情報生成処理を実行するプロセッサを含み、第2解析処理部1092によりシャインプルーフ画像の前房領域から特定された細胞領域に第3解析処理を適用して細胞評価情報を生成するように構成されている。
【0251】
前述したように、細胞評価情報は炎症細胞に関する任意の評価情報であってよく、例えば、炎症細胞の状態(例えば、密度、個数、位置、分布などの任意のパラメータ)を表す情報を含んでいてもよいし、炎症細胞の状態に関する所定のパラメータの情報に基づき生成された評価情報を含んでいてもよい。
【0252】
幾つかの例示的な態様において、第3解析処理部1093は、第2解析処理部1092により特定された1つ以上の細胞領域について、密度、個数、位置、分布などを求めることができる。
【0253】
炎症細胞の密度を求める処理は、例えば、所定寸法の画像領域(例えば、1ミリメートル四方の画像領域)を設定する処理と、設定された画像領域において第2解析処理部1092により検出された細胞領域の個数をカウントする処理とを含んでいる。ここで、画像領域の寸法(例えば「1ミリメートル」のように、実空間における寸法)は、例えば、眼科装置1500の光学系の仕様(例えば、光学系の設計データ及び/又は光学系の実測データ)に基づいて定義され、典型的にはピクセルと実空間における寸法との対応関係(例えば、ドットピッチ)として定義される。細胞評価情報は、このようにして求められた炎症細胞の密度の情報を含んでいてもよいし、この密度の情報から得られる評価情報を含んでいてもよい。この評価情報は、例えば、SUN Working Groupにより提案されたぶどう膜炎疾患の分類基準を用いた評価結果を含んでいてよい。この分類基準は、1視野(1ミリメートル四方の大きさの視野)に存在する炎症細胞の個数(すなわち、炎症細胞の密度(濃度))に応じたグレードを定義したものであり、グレード「0」は細胞数1個未満、グレード「0.5+」は細胞数1~5個、グレード「1+」は細胞数6~15個、グレード「2+」は細胞数16~25個、グレード「3+」は細胞数26~50個、グレード「4+」は細胞数50個以上として定義されている。なお、この分類基準のグレード区分をより細かくしてもよいし、より粗くしてもよい。また、他の分類基準に基づいて細胞評価情報を生成してもよい。
【0254】
幾つかの例示的な態様において、評価処理部1030G(第3解析処理部1093)は、第1解析処理部1091によりシャインプルーフ画像から特定された前房領域の部分領域(例えば、1ミリメートル四方の画像領域)を特定する処理と、この部分領域に属する細胞領域の個数を求める処理と、この個数と部分領域の寸法とに基づいて炎症細胞の密度を算出する処理とを実行するように構成されていてよい。ここで、評価処理部1030Gは、第2解析処理部1092により前房領域全体から検出された細胞領域のうち当該部分領域内に位置している細胞領域を選択し、選択された細胞領域に基づいて第3解析処理部1093により密度を求めるように構成されていてもよい。或いは、評価処理部1030Gは、第2解析処理部1092により当該部分領域を解析して細胞領域を特定し、当該部分領域から特定された細胞領域に基づいて第3解析処理部1093により密度を求めるように構成されていてもよい。
【0255】
炎症細胞の個数を求める処理は、例えば、第2解析処理部1092により検出された細胞領域の個数をカウントする処理を含んでいる。細胞評価情報は、このようにして求められた炎症細胞の個数の情報を含んでいてもよいし、この個数の情報から得られる評価情報を含んでいてもよい。例えば、細胞評価情報は、前房領域全体から検出された細胞領域の個数を前房領域の寸法(例えば、面積、体積など)で除算することによって、前房領域全体における炎症細胞の平均密度を求めることができる。また、細胞評価情報は、前房領域全体から検出された細胞領域の個数に基づく評価結果(例えば、グレード)を含んでいてもよいし、前房領域の部分領域における細胞領域の個数及び/又はそれに基づく評価結果を含んでいてもよい。
【0256】
炎症細胞の位置を求める処理は、例えば、第2解析処理部1092により検出された細胞領域の位置を特定する処理を含んでいてよい。細胞領域の位置は、例えば、シャインプルーフ画像の定義座標系の座標として表現されてもよいし、又は、シャインプルーフ画像に描出されている所定の画像領域(基準領域)に対する相対位置(例えば、距離、方向など)として表現されてもよい。この基準領域は、例えば、角膜領域、角膜後面領域、水晶体領域、水晶体前面領域、眼の軸に相当する画像領域(例えば、角膜の頂点位置と水晶体前面の頂点位置とを結ぶ直線)などであってよい。細胞評価情報は、このようにして求められた炎症細胞の位置の情報を含んでいてもよいし、この位置の情報から得られる評価情報を含んでいてもよい。例えば、細胞評価情報は、炎症細胞の分布(複数の細胞領域の分布)を表す情報を含んでいてもよいし、1つ以上の炎症細胞の位置に基づく評価結果(例えば、グレード)を含んでいてもよいし、複数の炎症細胞の位置(分布)に基づく評価結果(例えば、グレード)を含んでいてもよい。
【0257】
本態様によれば、眼内浮遊物(炎症細胞など)の像のぼやけが低減されたシャインプルーフ画像に基づいて評価情報を生成することができるので、以上に説明したいずれの例においても、従来よりも高い品質で評価を実行することが可能になる。なお、他の評価情報生成処理が採用される場合においても従来よりも高い品質で評価を実行できることは、当業者であれば理解できるであろう。
【0258】
実施形態に係る眼科装置(1000、1500)の動作について、幾つかの例を説明する。本開示に係る任意の事項、本開示において引用された文献に係る任意の事項、本開示に係る実施形態が属する技術分野に係る任意の事項、本開示に係る実施形態に関連する技術分野に係る任意の事項などを、以下の動作例に組み合わせることができる。
【0259】
眼科装置1500の動作の一例を
図15に示す。なお、下記の説明から分かるように、
図15のステップS1及びS2は、眼科装置1000によっても実行可能である。
【0260】
被検眼の撮影(スキャン)の前に眼科装置1500により実行される幾つかの動作(準備的動作)は済んでいるものとする。準備的動作としては、眼科装置1500が設置されたテーブルの調整、被検者が使用している椅子の調整、眼科装置1500の顔受け(顎受け、額当てなど)の調整、被検眼に対する眼科装置1500の位置合わせ(アライメント)などがある。
【0261】
本動作例では、まず、被検眼をスキャンするための条件(スキャン条件)の設定が行われる(S1)。条件設定の少なくとも一部が手動で行われてもよいし、条件設定の少なくとも一部が自動で実行されてもよい。条件設定の例示的な方法や例示的な動作については後述する。
【0262】
スキャン条件の例として、照明系1011に関する条件、撮影系1012に関する条件、移動機構(又は、移動機構と同様の機能を有する要素:照明スキャナー、可動照明ミラー、撮影スキャナー、可動撮影ミラーなど)に関する条件、照明系1011、撮影系1012、及び移動機構のいずれか2つ又は3つの連係(同期)に関する条件などがある。
【0263】
照明系1011に関する条件の例として、照明光の強度(光量:
図5、
図6の照明制御パルス高)、照明光のパルス幅(投射時間:
図5、
図6の照明制御パルス幅)、スリット光の寸法、スリット光の向きなどがある。
【0264】
撮影系1012に関する条件の例として、撮像素子1013の露光時間、撮像素子1013のゲイン(感度)などがある。
【0265】
移動機構に関する条件の例として、照明光の移動距離(
図5、
図6のスキャン範囲)、照明光の移動スピード(
図6のスキャンスピード)などがある。
【0266】
照明系1011、撮影系1012、及び移動機構のいずれか2つ又は3つの連係(同期)に関する条件の例として、照明光の投射時間と撮像素子1013の露光時間との連係(同期)、照明光の投射期間と撮像素子1013の露光期間との連係(同期)などがある。本動作例では、照明光の投射時間が撮像素子1013の露光時間よりも短くなるように、且つ、照明光の投射期間の少なくとも一部と撮像素子1013の露光期間の少なくとも一部とが重複するように、条件設定が行われる。例えば、撮像素子1013の露光期間の一部期間と照明光の投射期間とが対応するように、且つ、照明光の投射時間及び不投射時間の合計時間と撮像素子1013の露光時間及び不露光時間の合計時間とが等しくなるように条件設定が行われる。これにより、
図2に示すように、照明光の投射のシーケンス(時系列に並ぶ照明光の複数回の投射)と、カメラの露光のシーケンス(時系列に並ぶ複数回の撮像素子1013の露光)とが、互いに同期される。
【0267】
撮影開始の指示を受けて、眼科装置1500の制御部1020は、ステップS1で設定されたスキャン条件に基づき画像収集部1010を制御することによって被検眼のスキャンを実行させる。このスキャンにより、被検眼の一連のシャインプルーフ画像が収集される(S2)。
【0268】
続いて、眼科装置1500の評価処理部1030は、ステップS2で取得された一連のシャインプルーフ画像に基づいて被検眼の評価情報を生成する(S3)。
【0269】
図4に示すように、眼科装置1500の撮影系1012が第1撮影系1014及び第2撮影系1015を含み、且つ、眼科装置1500が画像選択部1110を含む又は使用可能である場合、眼科装置1500は、ステップS2において第1撮影系1014及び第2撮影系1015によりそれぞれ第1シャインプルーフ画像群及び第2シャインプルーフ画像群を収集し、画像選択部1110によって第1シャインプルーフ画像群及び第2シャインプルーフ画像群から一連のシャインプルーフ画像を生成し、ステップS3において評価処理部1030により当該一連のシャインプルーフ画像から評価情報を生成してもよい。
【0270】
眼科装置1500は、ステップS2で取得されたシャインプルーフ画像及び/又はステップS3で生成された評価情報を表示装置に表示させることができる。表示装置は、眼科装置1500の要素であってもよいし、眼科装置1500に接続された外部機器であってもよい。また、表示装置に情報を表示させるための制御は、図示しない表示制御プロセッサにより実行される。この表示制御プロセッサは、例えば、制御部1020に含まれていてもよいし、制御部1020とは別の眼科装置1500の要素であってもよいし、眼科装置1500とは別の装置に設けられていてもよい。
【0271】
以下、眼科装置1500により実行可能な情報表示の幾つかの例について説明する。情報表示の態様はこれらの例に限定されない。これらの例のうちの少なくとも2つを少なくとも部分的に組み合わせることが可能である。
【0272】
情報表示の第1の例において、眼科装置1500は、ステップS2で取得されたシャインプルーフ画像及び/又はステップS3で生成された評価情報をそのまま表示装置に表示させる。眼科装置1500は、シャインプルーフ画像及び/又は評価情報とともに他の情報(付加情報)を表示させてもよい。付加情報は、シャインプルーフ画像及び/又は評価情報と併せて参照することによって被検眼の診療のために有用な任意の種類の情報であってよい。
【0273】
情報表示の第2の例において、眼科装置1500は、従来のスリットランプ顕微鏡により取得された眼の画像(スリットランプ画像)を摸擬した画像をシャインプルーフ画像から生成し、生成された摸擬画像を表示装置に表示させる。これにより、被検眼の観察に従来から使用されてきており多くの医師が見慣れているスリットランプ画像を模した画像を提供することが可能になる。
【0274】
スリットランプ画像から摸擬画像を生成する処理は、機械学習ベースの処理及び/又は非機械学習ベースの処理によって形成される。
【0275】
機械学習ベースの処理は、例えば、シャインプルーフ画像とスリットランプ画像との複数のペアを含む訓練データを用いた機械学習によって構築されたニューラルネットワークを用いて実行される。このニューラルネットワークは、畳み込みニューラルネットワークを含む。この畳み込みニューラルネットワークは、シャインプルーフ画像の入力を受け、摸擬画像を出力するように構成されている。
【0276】
非機械学習ベースの処理は、例えば、摸擬的なボケを生成する処理や色変換や画質変換など、画像の見え方を変換する処理を含んでいてよい。非機械学習ベースの処理の例示的な態様は、スリットスキャンで収集された一連のシャインプルーフ画像から3次元画像(例えば、8ビットのグレースケールボリューム)を構築する処理と、ピクセル値レンジの最大値(ピクセル値の階調)を低下させる処理(例えば、256階調を10階調に低下させる処理)と、階調が変換された3次元画像の関心領域(例えば、所定寸法の直方体領域)を設定する処理と、設定された関心領域の正面画像(enface画像)を構築する処理(例えば、最大値投影処理(MIP))とを含んでいる。
【0277】
摸擬画像は、広範囲にピントが合ったシャインプルーフ画像と同じ領域を表す画像であってもよいし、シャインプルーフ画像が表現している領域の部分領域を表す画像であってもよい。この部分領域は、例えば、SUN Working Groupにより提案されたぶどう膜炎疾患の分類基準における評価範囲である1視野、すなわち1ミリメートル四方の大きさの視野、であってよい。
【0278】
眼科装置1500は、例えば、摸擬画像中の注目部分を強調表示させることができる。この注目部分の例として、炎症細胞に相当する画像領域、前房フレアに相当する画像領域、水晶体の混濁に相当する画像領域などがある。
【0279】
情報表示の第3の例において、眼科装置1500は、ステップS3で生成された評価情報を視覚化した情報を表示装置に表示させる。この視覚化情報は、例えば、所定の対象物の分布を表すマップや、所定のパラメータの値の分布を表すマップであってよい。
【0280】
このようなマップの例として、被検眼の炎症状態を表すマップ(炎症状態マップ)がある。この炎症状態マップの例として、前房内における炎症細胞の位置(分布)を表す炎症細胞マップや、前房内における炎症細胞の密度(又は、個数)の分布を表す炎症細胞密度マップ(炎症細胞個数マップ)などがある。これらの炎症細胞に関するマップを作成する処理は、例えば、スリットスキャンを用いて得られた一連のシャインプルーフ画像のそれぞれから炎症細胞に相当する画像領域(細胞領域)を特定する処理(第2セグメンテーション)と、特定された各細胞領域の位置(例えば、シャインプルーフ画像の定義座標系における2次元座標、又は、一連のシャインプルーフに基づく3次元画像の定義座標系における3次元座標)を求める処理と、求められた各細胞領域の位置に基づきマップを作成する処理とを含んでいる。
【0281】
眼科装置1500は、シャインプルーフ画像及び/又は炎症状態情報とともに炎症状態マップを表示させることができる。例えば、眼科装置1500は、スリットスキャンで収集された一連のシャインプルーフ画像に基づく正面画像と、同じ一連のシャインプルーフ画像に基づき生成された炎症状態マップとを表示させることができる。その具体例として、正面画像に炎症状態マップを重ねて表示させることや、正面画像と炎症状態マップとを並べて表示させることができる。
【0282】
表示装置に表示させる情報を生成する処理は、図示しない情報生成プロセッサにより実行される。この表示制御プロセッサは、例えば、評価処理部1030に含まれていてもよいし、評価処理部1030とは別の眼科装置1500の要素であってもよいし、眼科装置1500とは別の装置に設けられていてもよい。以上で、
図15の動作例の説明を終了する。
【0283】
眼科装置1500の動作の一例を
図16に示す。本動作例は、上記した
図15の動作例のステップS1(条件設定)及びステップS2(スキャン)の一具体例を提供するものである。
図15の動作例の場合と同様に、本動作例は、眼科装置1000によっても実行可能である。また、
図15の動作例の場合と同様に、幾つかの準備的動作は済んでいるものとする。また、眼科装置1500は、撮影モード情報(例えば、
図5の撮影モード情報1200又は
図6の撮影モード情報1210)を参照可能であるとする。
【0284】
本動作例では、まず、撮影モードの指定が行われる(S11)。撮影モードの指定は、手動又は自動で行われる。手動指定は、図示しないユーザーインターフェイスを用いて行われる。自動指定は、例えば、診断名(疾患名)、検査種別、検査記録などの所定の参照情報に基づき実行される。この参照情報は、例えば、被検者(被検眼)に関する医療記録から取得される。
【0285】
次に、眼科装置1500の制御部1020は、ステップS11で指定された撮影モードと、撮影モード情報とに基づいて、パルス駆動される照明光源に印可される制御パルス信号のパルス高(照明制御パルス高)及びパルス幅(照明制御パルス幅)を設定する(S12)。
【0286】
更に、眼科装置1500の制御部1020は、ステップS11で指定された撮影モードと、撮影モード情報とに基づいて、スキャンのために移動機構によって移動される光学系(照明系1011、撮影系1012)の移動距離(スキャン範囲)及び移動スピード(スキャンスピード)を設定する(S13)。
【0287】
加えて、眼科装置1500の制御部1020は、ステップS11で指定された撮影モードと、ステップS12で設定された照明系1011に関する条件と、ステップS13で設定された移動機構に関する条件とのうちの1つ以上に基づいて、撮像素子1013の露光時間を設定する(S14)。
【0288】
ステップS12~S13の順序は本例に限定されず、設定される条件も本例に限定されない。例えば、照明系1011、撮影系1012、及び移動機構のいずれか2つ又は3つの連係(同期)に関する条件を設定してもよい。なお、本例の条件設定は、次の2つ条件を満足するように実行される:(1)被検眼に対する照明光の投射時間が撮像素子1013の露光時間よりも短くなること;(2)被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複すること。本例の条件設定は、次の任意的条件を満足するように実行されてもよい:(3)被検眼に対する照明光の投射時間及び不投射時間の合計時間と、撮像素子1013の露光時間及び不露光時間の合計時間とが等しいこと。
【0289】
条件設定の完了後、被検眼に対する眼科装置1500の光学系(照明系1011、撮影系1012)のアライメントが行われる(S15)。このアライメントは、オートアライメントでもマニュアルアライメントでもよい。アライメントの詳細については、特許文献3(特開2019-213733号公報)を参照されたい。
【0290】
次に、眼科装置1500の光学系を所定のスキャン開始位置に配置させる(S16)。この処理は、自動又は手動で実行されてよい。
【0291】
ステップS15のアライメントが光学系をスキャン開始位置に導くように行われる場合には、ステップS16を行う必要はないが、ステップS15のアライメントの結果の確認や調整をステップS16で行うようにしてもよい。この確認や調整は、自動又は手動で実行されてよい。なお、光学系をスキャン開始位置に導くアライメントの詳細については、特許文献3(特開2019-213733号公報)を参照されたい。
【0292】
光学系がスキャン開始位置に配置された後、画像収集部1010による被検眼のスキャン(スリットスキャン)が開始される(S17)。例えば、ユーザーの指示操作を受けてスキャンが開始され、又は、光学系がスキャン開始位置に配置されたことが検出されたことを受けてスキャンが開始される。
【0293】
スキャンが開始されると、制御部1020は、まず、ステップS12~S14で設定されたスキャン条件に基づいて、撮像素子1013に露光を開始させる(
図2を参照)(S18)。本ステップは、1つの露光期間の開始に相当する。
【0294】
次に、制御部1020は、ステップS12~S14で設定されたスキャン条件に基づいて、照明光源に照明光をパルス発光させる(
図2を参照)(S19)。本ステップは、1回のパルス発光に相当する。
【0295】
次に、制御部1020は、ステップS12~S14で設定されたスキャン条件に基づいて、撮像素子1013に露光を終了させる(
図2を参照)(S20)。本ステップは、ステップS18で開始された1つの露光期間の終了に相当する。
【0296】
このように、本動作例(ステップS18~S20)では、
図17Aに示すように、1つの投影期間の全体が1つの露光期間の一部期間に対応している(時間的に重複している、時間的に並行している)。
【0297】
一般に、実施形態に係るスキャンは、被検眼に対する照明光の投射時間が撮像素子1013の露光時間よりも短いことに加えて、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複することを条件としている。
図17Bに示す例においては、1つの投射時間の一部期間が1つの露光期間の一部期間に対応している。
【0298】
なお、1つの投射期間の長さ(投射時間)が1つの露光期間の長さ(露光時間)よりも短いという条件も満足する必要があるため、投射期間の少なくとも一部と露光期間の少なくとも一部とが重複するという条件のうち、投射期間の一部と露光期間の全部とが重複するケース、及び、投射期間の全部と露光期間の全部とが重複するケースは、論理的に除外されることになる。
【0299】
したがって、実施形態の「照明光の投射時間が撮像素子の露光時間よりも短く、且つ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複する」という条件は、例えば、「照明光の投射時間が撮像素子の露光時間よりも短く、且つ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の一部とが重複する」、「照明光の投射時間が撮像素子の露光時間よりも短く、且つ、被検眼に対する照明光の投射期間の一部と撮像素子の露光期間の一部とが重複する又は被検眼に対する照明光の投射期間(全体)と撮像素子の露光期間の一部とが重複する」、「被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の一部とが重複する」、「被検眼に対する照明光の投射期間の一部と撮像素子の露光期間の一部とが重複する、又は、被検眼に対する照明光の投射期間(全体)と撮像素子の露光期間の一部とが重複する」などと言い換えることができる。
【0300】
ステップS18~S20は、スキャン終了となる所定の条件が満足されるまで反復される(S21:No)。このスキャン終了条件は、例えば、既定個数のシャインプルーフ画像が取得されたこと、ステップS18~S20の反復回数が既定回数に達したこと、ステップS18~S20の実行時間が既定時間に達したこと、ユーザーが所定の指示操作(スキャン終了操作)を行ったこと、などであってよい。
【0301】
スキャン終了条件が満足されると(S21:Yes)、ステップS17で開始された被検眼に対するスキャンは終了となる(S22)。ステップS22は、
図15のステップS2の終了に相当する。
【0302】
ステップS22の後、眼科装置1500は、
図15のステップS3の評価情報生成処理、情報表示処理、情報保存処理、情報解析処理など、任意の処理を実行するように構成されていてもよい。以上で、
図16の動作例の説明を終了する。
【0303】
以上に説明した眼科装置1000又は1500として機能することが可能な眼科装置の具体的構成の例を
図18に示す。
図18は上面図であり、被検眼Eの軸に沿う方向をZ方向とし、これに直交する方向のうち被検者にとって左右の方向をX方向とし、X方向及びZ方向の双方に直交する方向(上下方向、体軸方向)をY方向とする。
【0304】
本例の眼科装置は、特許文献3(特開2019-213733号公報)に開示されているものと同様の構成を有するスリットランプ顕微鏡システム1であり、照明系2と、撮影系3と、動画撮影系4と、光路結合素子5と、移動機構6と、制御部7と、データ処理部8と、通信部9と、ユーザーインターフェイス10とを含む。被検眼Eの角膜を符号Cで示し、水晶体を符号CLで示す。前房は、角膜Cと水晶体CLとの間の領域(角膜Cと虹彩との間の領域)に相当する。スリットランプ顕微鏡システム1の各要素の詳細については、特許文献3(特開2019-213733号公報)を参照されたい。
【0305】
照明系2、撮影系3、及び移動機構6の組み合わせは、眼科装置1000(1500)の画像収集部1010の例である。照明系2は照明系1011の例であり、撮影系3は撮影系1012の例である。
【0306】
照明系2は、被検眼Eの前眼部にスリット光を投射する。符号2aは、照明系2の光軸(照明光軸)を示す。撮影系3は、照明系2からのスリット光が投射されている前眼部を撮影する。符号3aは、撮影系3の光軸(撮影光軸)を示す。光学系3Aは、スリット光が投射されている被検眼Eの前眼部からの光を撮像素子3Bに導く。撮像素子3Bは、光学系3Aにより導かれた光を撮像面にて受光する。撮像素子3Bは、2次元の撮像エリアを有するエリアセンサ(CCDエリアセンサ、CMOSエリアセンサなど)を含む。撮像素子3Bは、眼科装置1000(1500)の撮像素子1013の例である。
【0307】
照明系2及び撮影系3は、シャインプルーフカメラとして機能するものであり、照明光軸2aに沿う物面と光学系3Aと撮像素子3Bの撮像面とがシャインプルーフの条件を満足するように、すなわち照明光軸2aを通るYZ面(物面を含む)と光学系3Aの主面と撮像素子3Bの撮像面とが同一の直線上にて交差するように、構成されている。これにより、少なくとも角膜Cの後面から水晶体CLの前面までの範囲(前房)にピントが合っている状態で、撮影を行える。また、照明系2及び撮影系3は、少なくとも角膜Cの前面の頂点(Z=Z1)から水晶体CLの後面の頂点(Z=Z2)までの範囲にピントが合っている状態で、撮影を行える。なお、座標Z=Z0は照明光軸2aと撮影光軸3aとの交点を示す。
【0308】
動画撮影系4は、ビデオカメラであり、照明系2及び撮影系3による被検眼の撮影と並行して被検眼Eの前眼部を動画撮影する。光路結合素子5は、照明系2の光路(照明光路)と、動画撮影系4の光路(動画撮影光路)とを結合している。
【0309】
照明系2、撮影系3、動画撮影系4、及び光路結合素子5を含む光学系の具体例を
図19に示す。
図19に示す光学系は、照明系2の例である照明系20と、撮影系3(第1撮影系1014及び第2撮影系1015)の例である左撮影系30L及び右撮影系30Rと、動画撮影系4の例である動画撮影系40と、光路結合素子5の例であるビームスプリッタ47とを含んでいる。
【0310】
符号20aは照明系20の光軸(照明光軸)を示し、符号30Laは左撮影系30Lの光軸(左撮影光軸)を示し、符号30Raは右撮影系30Rの光軸(右撮影光軸)を示す。角度θLは照明光軸20aと左撮影光軸30Laとがなす角度を示し、角度θRは照明光軸20aと右撮影光軸30Raとがなす角度を示す。座標Z=Z0は、照明光軸20aと左撮影光軸30Laと右撮影光軸30Raとの交点を示す。
【0311】
移動機構6は、照明系20、左撮影系30L、及び右撮影系30Rを、矢印49で示す方向(X方向)に移動する。
【0312】
照明系20の照明光源21は照明光(例えば可視光)を出力し、正レンズ22は照明光を屈折する。スリット形成部23はスリットを形成して照明光の一部を通過させる。生成されたスリット光は、対物レンズ群24及び25により屈折され、ビームスプリッタ47により反射され、被検眼Eの前眼部に投射される。
【0313】
左撮影系30Lの反射器31L及び結像レンズ32Lは、照明系20によりスリット光が投射されている前眼部からの光(左撮影系30Lの方向に進行する光)を撮像素子33Lに導く。撮像素子33Lは、導かれた光を撮像面34Lにて受光する。左撮影系30Lは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して繰り返し撮影を行う。これにより複数の前眼部画像(一連のシャインプルーフ画像)が得られる。照明光軸20aに沿う物面と反射器31L及び結像レンズ32Lを含む光学系と撮像面34Lとは、シャインプルーフの条件を満足する。右撮影系30Rも同様の構成及び機能を有する。
【0314】
左撮影系30Lによるシャインプルーフ画像収集と右撮影系30Rによるシャインプルーフ画像収集とは、互いに並行して行われる。左撮影系30Lにより収集される一連のシャインプルーフ画像と右撮影系30Rにより収集される一連のシャインプルーフ画像との組み合わせは、第1シャインプルーフ画像群と第2シャインプルーフ画像群との組み合わせに相当する。
【0315】
制御部7は、左撮影系30Lによる繰り返し撮影と右撮影系30Rによる繰り返し撮影とを同期させることができる。これにより、左撮影系30Lにより得られた一連のシャインプルーフ画像と、右撮影系30Rにより得られた一連のシャインプルーフ画像との間の対応関係が得られる。なお、左撮影系30Lにより得られた複数の前眼部画像と、右撮影系30Rにより得られた複数の前眼部画像との間の対応関係を求める処理を、制御部7又はデータ処理部8により実行してもよい。
【0316】
動画撮影系40は、左撮影系30Lによる撮影及び右撮影系30Rによる撮影と並行して、被検眼Eの前眼部を固定位置から動画撮影する。ビームスプリッタ47を透過した光は、反射器48により反射されて動画撮影系40に入射する。動画撮影系40に入射した光は、対物レンズ41により屈折された後、結像レンズ42によって撮像素子43(エリアセンサ)の撮像面に結像される。動画撮影系40は、被検眼Eの動きのモニタ、アライメント、トラッキング、収集されたシャインプルーフ画像の処理などに利用される。
【0317】
図18の参照に戻る。移動機構6は、照明系2及び撮影系3を一体的にX方向に移動する。制御部7は、スリットランプ顕微鏡システム1の各部を制御する。制御部7は、照明系2、撮影系3及び移動機構6の制御と、動画撮影系4の制御とを、互いに並行して実行することにより、眼科装置1000(1500)の画像収集部1010によるスリットスキャン(一連のシャインプルーフ画像の収集)と、動画撮影(一連の時系列画像の収集)とを互いに並行して実行させることができる。また、制御部7は、照明系2、撮影系3及び移動機構6の制御と、動画撮影系4の制御とを、互いに同期して実行することにより、スリットスキャンと動画撮影とを互いに同期させることができる。
【0318】
撮影系3が左撮影系30L及び右撮影系30Rを含む場合、制御部7は、左撮影系30Lによる繰り返し撮影(第1シャインプルーフ画像群の収集)と、右撮影系30Rによる繰り返し撮影(第2シャインプルーフ画像群の収集)とを互いに同期させることができる。
【0319】
制御部7は、プロセッサ、記憶装置などを含む。記憶装置には、各種の制御プログラム等のコンピュータプログラムが記憶されている。制御部7の機能は、制御プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。制御部7は、被検眼Eの3次元領域をスリット光でスキャンするために、照明系2、撮影系3及び移動機構6の制御を実行する。この制御の詳細については、特許文献3(特開2019-213733号公報)を参照されたい。
【0320】
データ処理部8は、各種のデータ処理を実行する。データ処理部8は、プロセッサ、記憶装置などを含む。記憶装置には、各種のデータ処理プログラム等のコンピュータプログラムが記憶されている。データ処理部8の機能は、データ処理プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。データ処理部8は、眼科装置1000(1500)の画像選択部1110の機能、及び/又は、評価処理部1030の機能を有していてもよい。
【0321】
通信部9は、スリットランプ顕微鏡システム1と他の装置との間におけるデータ通信を行う。ユーザーインターフェイス10は、表示デバイス、操作デバイスなど、任意のユーザーインターフェイスデバイスを含む。
【0322】
図18及び
図19に示すスリットランプ顕微鏡システム1は例示に過ぎず、眼科装置1000又は1500を実施するための構成はスリットランプ顕微鏡システム1に限定されない。
【0323】
実施形態に係る眼科装置の幾つかの作用及び幾つかの効果について説明する。
【0324】
一実施形態に係る眼科装置(1000、1500)は、画像収集部(1010)及び制御部(1020)を含む。画像収集部は、被検眼に照明光を投射して撮像素子(1013)で撮影を行う、シャインプルーフの条件を満足する光学系(照明系1011、撮影系1012)を含む。画像収集部は、制御部の制御の下に、照明光の投射位置及び撮影位置を変えつつ一連の画像(一連のシャインプルーフ画像)を収集する。換言すると、画像収集部は、制御部の制御の下に、光学系がシャインプルーフの条件を満足している状態を維持しつつ被検眼をスキャンすることによって一連の画像を収集する。制御部は、被検眼に対する照明光の投射時間が撮像素子の露光時間よりも短くなるように、且つ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複するように、画像収集部(光学系)の制御を行う。
【0325】
このような構成の実施形態によれば、露光期間よりも短い投射期間にのみ実質的に露光が行われるため、露光中におけるスキャン位置の移動や眼球運動に起因する像のぼやけを低減することができ、高品質の画像を提供することが可能になる。このように、実施形態に係る眼科装置は、光スキャンを用いた撮像方式の眼科装置の画質向上に寄与するものである。これにより、実施形態に係る眼科装置は、角膜検出や細胞検出などの画像解析を高い品質で行うことが可能である。更に、実施形態に係る眼科装置によれば、被検眼に照明光が投射されている時間を短くできるため、被検者に大きな負担を与えることがないという利点もある。加えて、実施形態に係る眼科装置によれば、スキャンのために光学系の急発進及び急停止を繰り返すことが無いため、それに起因する振動がスキャン中に発生することがなく、撮影品質に悪影響を与えることもないという利点もある。
【0326】
一実施形態に係る眼科装置(1)は、照明系(2)と、撮影系(3)と、移動機構(6)と、制御部(7)とを含む。照明系は、被検眼に照明光を投射するように構成されている。撮影系は、被検眼を撮影するように構成されている。撮影系は、撮像素子(3B)を含んでいる。照明系及び撮影系は、シャインプルーフの条件を満足するように構成されている。移動機構は、照明系及び撮影系を移動するように構成されている。制御部は、照明系、撮影系、及び移動機構の制御を行って撮影系に一連の画像を収集させるように構成されている。制御部は、被検眼の一連の画像を撮影系に収集させるための制御において、被検眼に対する照明光の投射時間が撮像素子の露光時間よりも短くなるように、且つ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複するように、照明系及び撮影系の少なくとも一方を制御する。
【0327】
このような構成の実施形態の効果には、光スキャンを用いた撮像方式の眼科装置の画質向上を図ること、画像解析を高い品質で行うこと、被検者に大きな負担を与えることがないこと、撮影品質に悪影響を与える振動が発生しないことなどがある。
【0328】
実施形態の幾つかの任意的な態様を以下に説明する。なお、任意的な態様に係る事項は、以下に説明する事項に限定されず、本開示に含まれている事項、本開示に含まれている事項から導かれる事項などであってもよい。また、2つ以上の任意的な態様を組み合わせることができる。
【0329】
実施形態において、制御部は、被検眼の一連の画像を撮影系(画像収集部)に収集させるための制御において、撮像素子の露光を反復するように撮影系(画像収集部)の制御を実行するように構成されていてもよい。制御部は、更に、撮像素子の露光を反復するための撮影系の制御と並行して、照明光の強度を変調するための照明系の制御を実行するように構成されていてもよい。制御部は、更に、被検眼に照明光が断続的に投射されるように照明系の制御を実行するように構成されていてもよい。
【0330】
実施形態において、制御部は、被検眼の一連の画像を撮影系(画像収集部)に収集させるための制御において、照明系と撮影系との同期制御を実行するように構成されていてもよい。制御部は、更に、照明光の投射時間及び不投射時間の合計時間と、撮像素子の露光時間及び不露光時間の合計時間とが等しくなるように、照明系と撮影系との同期制御を実行するように構成されていてもよい。
【0331】
実施形態において、制御部は、照明光の投射時間を変更するための照明系(画像収集部)の制御を実行するように構成されていてもよい。制御部は、更に、移動機構により移動される照明系及び撮影系の速さに基づき照明系(画像収集部)を制御して照明光の投射時間を変更するように構成されていてもよい。制御部は、更に、予め設定された2つ以上の撮影モードから選択された撮影モードに基づいて、移動機構により移動される照明系及び撮影系の速さを決定するように構成されていてもよい。
【0332】
実施形態において、制御部は、照明光の投射時間を変更するための照明系(画像収集部)の制御を実行するように構成されていてよく、更に、予め設定された2つ以上の撮影モードから選択された撮影モードに基づき照明系(画像収集部)を制御して照明光の投射時間を変更するように構成されていてもよい。
【0333】
実施形態において、制御部は、撮像素子の露光時間を変更するための撮影系(画像収集部)の制御を実行するように構成されていてもよい。制御部は、更に、移動機構により移動される照明系及び撮影系の速さに基づき撮影系(画像収集部)を制御して撮像素子の露光時間を変更するように構成されていてもよい。制御部は、更に、予め設定された2つ以上の撮影モードから選択された撮影モードに基づいて、移動機構により移動される照明系及び撮影系の速さを決定するように構成されていてもよい。
【0334】
実施形態において、制御部は、撮像素子の露光時間を変更するための撮影系(画像収集部)の制御を実行するように構成されていてよく、更に、予め設定された2つ以上の撮影モードから選択された撮影モードに基づき撮影系(画像収集部)を制御して撮像素子の露光時間を変更するように構成されていてもよい。
【0335】
実施形態において、眼科装置(1500)は、評価処理部(1030)を更に含んでいてもよい。評価処理部は、撮影系(画像収集部)により収集された被検眼の一連の画像に基づいて被検眼の評価情報を生成するように構成されている。評価処理部は、更に、被検眼の評価情報として、被検眼内に存在する浮遊物の評価情報を生成するように構成されていてもよい。
【0336】
実施形態において、照明系(画像収集部)により被検眼に投射される照明光は、スリット光であってもよい。
【0337】
これらの任意的な態様によって、光スキャンを用いた撮像方式の眼科装置の更なる画質向上を図ることや、光スキャンを用いた撮像方式の眼科装置の応用を提供することが可能であることは、当業者であれば理解できるであろう。
【0338】
<他の実施形態>
ここまで眼科装置の実施形態について説明したが、本開示に係る実施形態は眼科装置に限定されない。眼科装置以外の実施形態として、眼科装置の制御方法、プログラム、記録媒体などがある。眼科装置の実施形態と同様に、これらの実施形態によっても、光スキャンを用いた撮像方式の眼科装置の画質向上を図ること、画像解析を高い品質で行うこと、被検者に大きな負担を与えることがないこと、撮影品質に悪影響を与える振動が発生しないことなどの効果が奏される。
【0339】
一実施形態に係る眼科装置の制御方法は、照明系と撮影系と移動機構とプロセッサとを含む眼科装置を制御する方法である。照明系は被検眼に照明光を投射し、撮影系は撮像素子によって被検眼を撮影する。照明系及び撮影系はシャインプルーフの条件を満足するように構成されている。移動機構は照明系及び撮影系を移動する。本実施形態に係る方法は、プロセッサに次の3つの制御を並行して実行させる:(1)被検眼に対する照明光の投射時間を撮像素子の露光時間よりも短くするための、照明系及び撮影系の少なくとも一方の制御;(2)被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とを重複させるための、照明系及び撮影系の少なくとも一方の制御;(3)撮影系に被検眼の一連の画像を収集させるための、照明系、撮影系、及び移動機構の制御。
【0340】
一実施形態に係る眼科装置の制御方法は、画像収集部とプロセッサとを含む眼科装置を制御する方法である。画像収集部は、被検眼に照明光を投射して撮像素子で撮影を行う、シャインプルーフの条件を満足する光学系を含んでいる。画像収集部は、更に、照明光の投射位置及び撮影位置を変えつつ一連の画像を収集する。換言すると、画像収集部は、当該光学系がシャインプルーフの条件を満足している状態を維持しつつ被検眼をスキャンすることによって一連の画像を収集する。本実施形態に係るプログラムは、画像収集部に被検眼の一連の画像を収集させるために、プロセッサに次の2つの制御を並行して実行させる:(1)被検眼に対する照明光の投射時間を撮像素子の露光時間よりも短くするための画像収集部(光学系)の制御;(2)被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とを重複させるための画像収集部(光学系)の制御。
【0341】
一実施形態に係るプログラムは、眼科装置の制御をコンピュータに実行させるプログラムである。眼科装置は、照明系と撮影系と移動機構とを含む。照明系は被検眼に照明光を投射し、撮影系は撮像素子によって被検眼を撮影する。照明系及び撮影系はシャインプルーフの条件を満足するように構成されている。移動機構は照明系及び撮影系を移動する。本実施形態に係るプログラムは、コンピュータに次の3つの制御を並行して実行させる:(1)被検眼に対する照明光の投射時間を撮像素子の露光時間よりも短くするための、照明系及び撮影系の少なくとも一方の制御;(2)被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とを重複させるための、照明系及び撮影系の少なくとも一方の制御;(3)撮影系に被検眼の一連の画像を収集させるための、照明系、撮影系、及び移動機構の制御。
【0342】
一実施形態に係るプログラムは、眼科装置の制御をコンピュータに実行させるプログラムである。眼科装置は画像収集部を含む。画像収集部は、被検眼に照明光を投射して撮像素子で撮影を行う、シャインプルーフの条件を満足する光学系を含んでいる。画像収集部は、更に、照明光の投射位置及び撮影位置を変えつつ一連の画像を収集する。換言すると、画像収集部は、当該光学系がシャインプルーフの条件を満足している状態を維持しつつ被検眼をスキャンすることによって一連の画像を収集する。本実施形態に係るプログラムは、画像収集部に被検眼の一連の画像を収集させるために、コンピュータに次の2つの制御を並行して実行させる:(1)被検眼に対する照明光の投射時間を撮像素子の露光時間よりも短くするための画像収集部(光学系)の制御;(2)被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とを重複させるための画像収集部(光学系)の制御。
【0343】
一実施形態に係る記録媒体は、眼科装置の制御をコンピュータに実行させるプログラムが記録された、コンピュータ可読な非一時的記録媒体である。眼科装置は、照明系と撮影系と移動機構とを含む。照明系は被検眼に照明光を投射し、撮影系は撮像素子によって被検眼を撮影する。照明系及び撮影系はシャインプルーフの条件を満足するように構成されている。移動機構は照明系及び撮影系を移動する。本実施形態に係る記録媒体に記録されているプログラムは、コンピュータに次の3つの制御を並行して実行させる:(1)被検眼に対する照明光の投射時間を撮像素子の露光時間よりも短くするための、照明系及び撮影系の少なくとも一方の制御;(2)被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とを重複させるための、照明系及び撮影系の少なくとも一方の制御;(3)撮影系に被検眼の一連の画像を収集させるための、照明系、撮影系、及び移動機構の制御。
【0344】
一実施形態に係る記録媒体は、眼科装置の制御をコンピュータに実行させるプログラムが記録された、コンピュータ可読な非一時的記録媒体である。眼科装置は画像収集部を含んでいる。画像収集部は、被検眼に照明光を投射して撮像素子で撮影を行うシャインプルーフの条件を満足する光学系を含んでいる。画像収集部は、更に、照明光の投射位置及び撮影位置を変えつつ一連の画像を収集する。換言すると、画像収集部は、当該光学系がシャインプルーフの条件を満足している状態を維持しつつ被検眼をスキャンすることによって一連の画像を収集する。本実施形態に係る記録媒体に記録されているプログラムは、画像収集部に被検眼の一連の画像を収集させるために、コンピュータに次の2つの制御を並行して実行させる:(1)被検眼に対する照明光の投射時間を撮像素子の露光時間よりも短くするための画像収集部(光学系)の制御;(2)被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とを重複させるための画像収集部(光学系)の制御。
【0345】
なお、実施形態に係る記録媒体として使用可能な、コンピュータ可読な非一時的記録媒体は、任意の形態の記録媒体であってよく、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
【0346】
眼科装置の実施形態において説明された任意の事項を、眼科装置以外の実施形態に組み合わせることができる。例えば、実施形態に係る眼科装置の任意的な態様として前述したいずれかの事項を、眼科装置の制御方法の実施形態、プログラムの実施形態、記録媒体の実施形態などに組み合わせることができる。更に、本開示において説明した任意の事項を、眼科装置の制御方法の実施形態、プログラムの実施形態、記録媒体の実施形態などに組み合わせることができる。
【0347】
本開示は、幾つかの実施形態及びその幾つかの例示的な態様を提示するものである。これらの実施形態及び態様は、本発明の例示に過ぎない。したがって、本発明の要旨の範囲内における任意の変形(省略、置換、付加など)を、本開示において提示された実施形態や態様に適用することが可能である。
【符号の説明】
【0348】
1 スリットランプ顕微鏡システム(眼科装置)
2 照明系
3 撮影系
3B 撮像素子
6 移動機構
7 制御部
1000、1500 眼科装置
1010 画像収集部
1011 照明系
1012 撮影系
1013 撮像素子
1020 制御部
1030 評価処理部