(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-08
(45)【発行日】2024-07-17
(54)【発明の名称】スリットランプ顕微鏡システム
(51)【国際特許分類】
A61B 3/135 20060101AFI20240709BHJP
G02B 21/36 20060101ALI20240709BHJP
G02B 21/00 20060101ALI20240709BHJP
【FI】
A61B3/135
G02B21/36
G02B21/00
(21)【出願番号】P 2020139296
(22)【出願日】2020-08-20
【審査請求日】2023-07-25
(73)【特許権者】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(74)【代理人】
【識別番号】100124626
【氏名又は名称】榎並 智和
(72)【発明者】
【氏名】塚田 央
【審査官】北島 拓馬
(56)【参考文献】
【文献】特開2017-093854(JP,A)
【文献】特開2019-213733(JP,A)
【文献】特開2016-195878(JP,A)
【文献】特開2019-213673(JP,A)
【文献】特開2019-208844(JP,A)
【文献】特開2002-191559(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00 - 3/18
(57)【特許請求の範囲】
【請求項1】
前眼部の1以上の部位のそれぞれに表示色及び表示階調を含む表示条件が対応付けられた表示条件情報を予め記憶する記憶部と、
被検眼の前眼部をスリット光でスキャンして画像を取得する画像取得部と、
前記画像取得部により取得された前記画像を解析して前記被検眼の前記前眼部の所定部位に相当する部分領域を特定する部分領域特定部と、
前記所定部位に対応する表示条件を前記表示条件情報から選択する表示条件選択部と、
前記表示条件選択部により選択された前記表示条件に基づいて、前記画像取得部により取得された前記画像を表示手段に表示させる表示制御部と
を含
み、
前記画像取得部は、前記前眼部を前記スリット光でスキャンして画像群を収集するスキャン部を含み、
前記スキャン部は、
前記前眼部に前記スリット光を照射する照明系と、
前記照明系とは異なる方向から前記前眼部を撮影する撮影系と、
前記照明系及び前記撮影系を移動する移動機構と
を含み、
前記撮影系は、前記移動機構による前記照明系及び前記撮影系の移動と並行して繰り返し撮影を行い、
スリットランプ顕微鏡と、情報処理装置とを含み、
前記スリットランプ顕微鏡は、前記画像取得部と、前記情報処理装置に向けてデータを送信する送信部とを含み、
前記情報処理装置は、前記送信部により送信された前記データを受信する受信部と、前記記憶部と、前記部分領域特定部と、前記表示条件選択部と、前記表示制御部とを含み、
前記スリットランプ顕微鏡は、前記スキャン部により収集された前記画像群を処理する画像群処理部を更に含み、
前記画像群処理部は、前記画像群の品質を評価する第1評価部を含み、
前記画像群の品質が良好であると前記第1評価部により評価された場合、前記送信部は、前記画像群を前記情報処理装置に向けて送信する、
スリットランプ顕微鏡システム。
【請求項2】
前記画像群の品質が良好でないと前記第1評価部により評価された場合に、前記前眼部に対する新たなスキャンを前記スキャン部に実行させるための制御を実行する第1制御部を更に含む、
請求項
1のスリットランプ顕微鏡システム。
【請求項3】
前眼部の1以上の部位のそれぞれに表示色及び表示階調を含む表示条件が対応付けられた表示条件情報を予め記憶する記憶部と、
被検眼の前眼部をスリット光でスキャンして画像を取得する画像取得部と、
前記画像取得部により取得された前記画像を解析して前記被検眼の前記前眼部の所定部位に相当する部分領域を特定する部分領域特定部と、
前記所定部位に対応する表示条件を前記表示条件情報から選択する表示条件選択部と、
前記表示条件選択部により選択された前記表示条件に基づいて、前記画像取得部により取得された前記画像を表示手段に表示させる表示制御部と
を含
み、
前記画像取得部は、前記前眼部を前記スリット光でスキャンして画像群を収集するスキャン部を含み、
前記スキャン部は、
前記前眼部に前記スリット光を照射する照明系と、
前記照明系とは異なる方向から前記前眼部を撮影する撮影系と、
前記照明系及び前記撮影系を移動する移動機構と
を含み、
前記撮影系は、前記移動機構による前記照明系及び前記撮影系の移動と並行して繰り返し撮影を行い、
スリットランプ顕微鏡と、情報処理装置とを含み、
前記スリットランプ顕微鏡は、前記画像取得部と、前記情報処理装置に向けてデータを送信する送信部とを含み、
前記情報処理装置は、前記送信部により送信された前記データを受信する受信部と、前記記憶部と、前記部分領域特定部と、前記表示条件選択部と、前記表示制御部とを含み、
前記スリットランプ顕微鏡は、前記スキャン部により収集された前記画像群を処理する画像群処理部を更に含み、
前記画像群処理部は、前記画像群の品質を評価する第1評価部を含み、
前記画像群の品質が良好でないと前記第1評価部により評価された場合に、前記前眼部に対する新たなスキャンを前記スキャン部に実行させるための制御を実行する第1制御部を更に含む、
スリットランプ顕微鏡システム。
【請求項4】
前記画像群処理部は、前記画像群と前記新たなスキャンにより収集された新たな画像群とを含む2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成する画像セット作成部を更に含む、
請求項
2又は3のスリットランプ顕微鏡システム。
【請求項5】
前眼部の1以上の部位のそれぞれに表示色及び表示階調を含む表示条件が対応付けられた表示条件情報を予め記憶する記憶部と、
被検眼の前眼部をスリット光でスキャンして画像を取得する画像取得部と、
前記画像取得部により取得された前記画像を解析して前記被検眼の前記前眼部の所定部位に相当する部分領域を特定する部分領域特定部と、
前記所定部位に対応する表示条件を前記表示条件情報から選択する表示条件選択部と、
前記表示条件選択部により選択された前記表示条件に基づいて、前記画像取得部により取得された前記画像を表示手段に表示させる表示制御部と
を含
み、
前記画像取得部は、前記前眼部を前記スリット光でスキャンして画像群を収集するスキャン部を含み、
前記スキャン部は、
前記前眼部に前記スリット光を照射する照明系と、
前記照明系とは異なる方向から前記前眼部を撮影する撮影系と、
前記照明系及び前記撮影系を移動する移動機構と
を含み、
前記撮影系は、前記移動機構による前記照明系及び前記撮影系の移動と並行して繰り返し撮影を行い、
スリットランプ顕微鏡と、情報処理装置とを含み、
前記スリットランプ顕微鏡は、前記画像取得部と、前記情報処理装置に向けてデータを送信する送信部とを含み、
前記情報処理装置は、前記送信部により送信された前記データを受信する受信部と、前記記憶部と、前記部分領域特定部と、前記表示条件選択部と、前記表示制御部とを含み、
前記スリットランプ顕微鏡は、前記スキャン部により収集された前記画像群を処理する画像群処理部を更に含み、
前記スキャン部は、前記前眼部に2回以上のスキャンを適用して2以上の画像群を収集し、
前記画像群処理部は、前記2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成する画像セット作成部を含む、
スリットランプ顕微鏡システム。
【請求項6】
前記画像群処理部は、前記画像セット作成部により作成された前記画像セットの品質を評価する第2評価部を更に含む、
請求項
4又は5のスリットランプ顕微鏡システム。
【請求項7】
前記画像セットの品質が良好であると前記第2評価部により評価された場合、前記送信部は、前記画像セットを前記情報処理装置に向けて送信する、
請求項
6のスリットランプ顕微鏡システム。
【請求項8】
前記画像セットの品質が良好でないと前記第2評価部により評価された場合に、前記前眼部に対する新たなスキャンを前記スキャン部に実行させるための制御を実行する第2制御部を更に含む、
請求項
6又は7のスリットランプ顕微鏡システム。
【請求項9】
前記表示制御部は、少なくとも、前記表示条件選択部により選択された前記表示条件に含まれる表示色及び表示階調を前記部分領域に適用して前記画像を表示させる、
請求項1
~8のいずれかのスリットランプ顕微鏡システム。
【請求項10】
前記画像取得部は、前記画像として、所定の基準階調で表現された階調画像を取得し、
前記表示条件は、1以上の表示色と前記基準階調に基づき設定された複数の階調値を含む表示階調とにより定義された表示色コードを含み、
前記表示制御部は、前記部分領域の画素の階調値を前記所定部位に対応する表示色コードに基づいて変換する、
請求項
9のスリットランプ顕微鏡システム。
【請求項11】
前記画像取得部は、前記階調画像としてグレースケール画像を取得し、
前記表示条件は、前記表示色コードとして、白、黒及びこれらの中間色のいずれとも異なる1以上の表示色と前記基準階調に基づき設定された複数の階調値を含む表示階調とにより定義されたカラーコードを含み、
前記表示制御部は、前記部分領域の画素のグレースケール値を前記所定部位に対応するカラーコードに基づいてカラー値に変換する、
請求項
10のスリットランプ顕微鏡システム。
【請求項12】
前記画像取得部は、前記階調画像としてカラー画像を取得し、
前記表示制御部は、前記部分領域の画素のカラー値を前記所定部位に対応する表示色コードに基づいて新たなカラー値に変換する、
請求項
10のスリットランプ顕微鏡システム。
【請求項13】
前記画像取得部は、前記前眼部の2以上の画像を取得し、
前記部分領域特定部は、前記2以上の画像のそれぞれから前記所定部位に相当する部分領域を特定し、
前記表示制御部は、前記2以上の画像から特定された2以上の部分領域に前記所定部位に対応する前記表示条件を適用して前記2以上の画像を表示させる、
請求項1~
12のいずれかのスリットランプ顕微鏡システム。
【請求項14】
前記記憶部は、前眼部画像を記憶し、
前記部分領域特定部は、前記前眼部画像から前記所定部位に相当する部分領域を特定し、
前記表示制御部は、前記前眼部画像から特定された前記部分領域及び前記画像取得部により取得された前記画像の前記部分領域の双方に前記所定部位に対応する前記表示条件を適用して前記前眼部画像及び前記画像を表示させる、
請求項1~
13のいずれかのスリットランプ顕微鏡システム。
【請求項15】
前記表示制御部により表示された画像の部分領域を指定する操作と、表示条件を変更する操作とを行うための第1ユーザーインターフェイスを備え、
前記表示制御部は、前記第1ユーザーインターフェイスにより指定された表示条件を前記第1ユーザーインターフェイスにより指定された前記部分領域に適用する、
請求項1~
14のいずれかのスリットランプ顕微鏡システム。
【請求項16】
前記表示条件情報を編集するための第2ユーザーインターフェイスを備える、
請求項1~
15のいずれかのスリットランプ顕微鏡システム。
【請求項17】
前記前眼部の前記1以上の部位は、角膜、虹彩、水晶体、隅角、前房、及び、房水中の浮遊物のうちのいずれかを含む、
請求項1~
16のいずれかのスリットランプ顕微鏡システム。
【請求項18】
前記表示条件情報は、1以上の関心部位のそれぞれに対応付けられた表示条件を含み、
前記部分領域特定部は、前記画像取得部により取得された前記画像を解析して所定の関心部位に相当する関心領域を特定し、
前記表示条件選択部は、前記所定の関心部位に対応する表示条件を前記表示条件情報から選択し、
前記表示制御部は、前記所定の関心部位に対応する前記表示条件を前記関心領域に適用して前記画像を表示させる、
請求項1~
17のいずれかのスリットランプ顕微鏡システム。
【請求項19】
前記表示条件情報は、背景に対応付けられた表示条件を含み、
前記部分領域特定部は、前記画像取得部により取得された前記画像を解析して前記被検眼の外部に相当する背景画像領域を特定し、
前記表示制御部は、前記背景に対応する前記表示条件を前記背景画像領域に適用して前記画像を表示させる、
請求項1~
18のいずれかのスリットランプ顕微鏡システム。
【請求項20】
前記表示条件情報は、1以上の人工物のそれぞれに対応付けられた表示条件を含み、
前記部分領域特定部は、前記画像取得部により取得された前記画像を解析して所定の人工物に相当する人工物画像領域を特定し、
前記表示条件選択部は、前記所定の人工物に対応する表示条件を前記表示条件情報から選択し、
前記表示制御部は、前記所定の人工物に対応する前記表示条件を前記人工物画像領域に適用して前記画像を表示させる、
請求項1~
19のいずれかのスリットランプ顕微鏡システム。
【請求項21】
前記撮影系は、
前記スリット光が照射された前記前眼部からの光を導く光学系と、
前記光学系により導かれた前記光を撮像面で受光する撮像素子と
を含み、
前記照明系の光軸に沿う物面と前記光学系と前記撮像面とがシャインプルーフの条件を満足する、
請求項
1~20のいずれかのスリットランプ顕微鏡システム。
【請求項22】
前記移動機構は、前記照明系により前記前眼部に照射される前記スリット光を前記スリット光の幅方向に移動するように前記照明系及び前記撮影系を移動する、
請求項
1~21のいずれかのスリットランプ顕微鏡システム。
【請求項23】
前記部分領域特定部は、前記画像群に含まれる少なくとも1つの画像のそれぞれを解析して前記所定部位に相当する部分領域を特定し、
前記表示制御部は、前記少なくとも1つの画像から特定された少なくとも1つの部分領域に前記所定部位に対応する前記表示条件を適用して前記少なくとも1つの画像を表示させる、
請求項
1~22のいずれかのスリットランプ顕微鏡システム。
【請求項24】
前記画像取得部は、前記画像群から加工画像を構築する加工画像構築部を更に含む、
請求項
1~23のいずれかのスリットランプ顕微鏡システム。
【請求項25】
前記加工画像構築部は、前記加工画像として3次元画像を構築する、
請求項
24のスリットランプ顕微鏡システム。
【請求項26】
前記加工画像構築部は、前記加工画像として前記3次元画像のレンダリング画像を構築する、
請求項
25のスリットランプ顕微鏡システム。
【請求項27】
前記部分領域特定部は、前記加工画像を解析して前記所定部位に相当する部分領域を特定し、
前記表示制御部は、前記加工画像から特定された前記部分領域に前記所定部位に対応する前記表示条件を適用して前記加工画像を表示させる、
請求項
24~26のいずれかのスリットランプ顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、スリットランプ顕微鏡システムに関する。
【背景技術】
【0002】
眼科分野において画像診断は重要な位置を占める。画像診断には、様々な眼科撮影装置が用いられる。眼科撮影装置の種類には、スリットランプ顕微鏡、眼底カメラ、走査型レーザー検眼鏡(SLO)、光干渉断層計(OCT)などがある。
【0003】
これら様々な眼科装置のうち最も広く且つ頻繁に使用される装置がスリットランプ顕微鏡である。スリットランプ顕微鏡は、スリット光で被検眼を照明し、照明された断面を斜方や側方から顕微鏡で観察したり撮影したりするために使用される(例えば、特許文献1及び2を参照)。
【0004】
スリットランプ顕微鏡の主な用途の1つに前眼部観察がある。前眼部観察において、医師は、スリット光による照明野やフォーカス位置を移動させつつ前眼部全体を観察して異常の有無を判断する。また、コンタクトレンズのフィッティング状態の確認など、視力補正器具の処方において、スリットランプ顕微鏡が用いられることもある。更に、オプトメトリスト、コメディカル、眼鏡店の店員のような医師以外の者が、眼疾患のスクリーニングやフォローアップ(経過観察)などの目的でスリットランプ顕微鏡を用いることもある。
【0005】
また、近年の情報通信技術の進歩を受けて、遠隔医療に関する研究開発が発展を見せている。遠隔医療とは、インターネット等の通信ネットワークを利用して、遠隔地に居る患者に対して診療を行う行為である。特許文献3及び4には、スリットランプ顕微鏡を遠隔地から操作するための技術が開示されている。
【0006】
スリットランプ顕微鏡を用いて良好な画像を得るには、照明角度や撮影角度の調整など、微細で煩雑な操作が必要とされる。しかし、特許文献3、4に開示された技術では、目の前に居る被検者の眼を観察する場合であっても難しい操作を、遠隔地に居る検者が実施しなければならないため、検査時間が長くなったり、良好な画像が得られなかったりといった問題が生じる。
【0007】
また、上記のようにスリットランプ顕微鏡はスクリーニングやフォローアップ等の検査に有効であるが、高品質なスリットランプ顕微鏡検査を多くの人に提供するには、同装置の操作に熟練した者が不足しているという現状がある。
【0008】
更に、遠隔医療やスクリーニングでは、画像読影(画像診断)を行う医師が撮影場所にいないことが多々ある。その場合、読影に適さない画像が医師に提供される可能性がある。操作の難しさや撮影時間の長さを考慮すると、スリットランプ顕微鏡においてこの問題が生じやすいと想定される。
【0009】
スリットランプ顕微鏡を用いた前眼部観察では、角膜、虹彩(瞳孔)、水晶体、隅角、前房などの部位に加え、房水中の浮遊物や、病変や、人工物なども観察の対象となる。人工物としては、水晶体の置換物である眼内レンズ(IOL)、有水晶体眼内レンズ(フェイキックIOL)、眼内コンタクトレンズ(ICL)、低侵襲緑内障手術(MIGS)デバイス、ステントなどがある。
【0010】
このような複数の対象(部位、人工物など)が描出された画像を表示した場合、描出されている対象の全てを詳細に観察できないことがある。例えば、光学特性(反射率、透過率、散乱強度、波長特性など)が異なる複数の対象が描出されている場合、対象によって描出態様が異なることが考えられる。
【先行技術文献】
【特許文献】
【0011】
【文献】特開2016-159073号公報
【文献】特開2016-179004号公報
【文献】特開2000-116732号公報
【文献】特開2008-284273号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
本発明の1つの目的は、様々な観察対象が好適に表現された画像を提供することにある。
【課題を解決するための手段】
【0013】
例示的な態様のスリットランプ顕微鏡システムは、記憶部と、画像取得部と、部分領域特定部と、表示条件選択部と、表示制御部とを含む。記憶部は、前眼部の1以上の部位のそれぞれに表示色及び表示階調を含む表示条件が対応付けられた表示条件情報を予め記憶する。画像取得部は、被検眼の前眼部をスリット光でスキャンして画像を取得する。部分領域特定部は、画像取得部により取得された画像を解析して被検眼の前眼部の所定部位に相当する部分領域を特定する。表示条件選択部は、この所定部位に対応する表示条件を表示条件情報から選択する。表示制御部は、表示条件選択部により選択された表示条件に基づいて、画像取得部により取得された前記画像を表示手段に表示させる。
【発明の効果】
【0014】
例示的な態様によれば、様々な観察対象が好適に表現された画像を提供することが可能になる。
【図面の簡単な説明】
【0015】
【
図1A】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図1B】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図2A】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図2B】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図2C】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図3】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図4A】例示的な態様に係るスリットランプ顕微鏡システムの動作を説明するための概略図である。
【
図4B】例示的な態様に係るスリットランプ顕微鏡システムの動作を説明するための概略図である。
【
図5】例示的な態様に係るスリットランプ顕微鏡システムの動作を説明するための概略図である。
【
図6A】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図6B】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図6C】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図6D】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図7A】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図7B】例示的な態様に係るスリットランプ顕微鏡システムの推論モデルの構築を説明するための概略図である。
【
図7C】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図7D】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図8】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図9】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図10】例示的な態様に係るスリットランプ顕微鏡システムの動作を表すフローチャートである。
【
図11A】例示的な態様に係るスリットランプ顕微鏡システムの動作を表すフローチャートである。
【
図11B】例示的な態様に係るスリットランプ顕微鏡システムの動作を表すフローチャートである。
【
図11C】例示的な態様に係るスリットランプ顕微鏡システムの動作を表すフローチャートである。
【
図12A】例示的な態様に係るスリットランプ顕微鏡システムの動作を説明するための概略図である。
【
図12B】例示的な態様に係るスリットランプ顕微鏡システムの動作を説明するための概略図である。
【
図12C】例示的な態様に係るスリットランプ顕微鏡システムの動作を説明するための概略図である。
【
図13】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【発明を実施するための形態】
【0016】
幾つかの例示的な態様について図面を参照しながら詳細に説明する。なお、本明細書にて引用した文献に開示された事項などの任意の公知技術を例示的な態様に組み合わせることができる。また、本出願人によりなされた他の出願の開示の全体を本開示に援用することができる。例えば、本出願人によりなされたスリットランプ顕微鏡に関する出願の開示の少なくとも一部、スリットランプ顕微鏡を含むシステムに関する出願の開示の少なくとも一部、又は、スリットランプ顕微鏡に接続可能なシステムに関する出願の開示の少なくとも一部を、本開示に援用することができる。
【0017】
例示的な態様に係るスリットランプ顕微鏡システムは、設置型でも可搬型でもよい。例示的な態様に係るスリットランプ顕微鏡システムは、同装置や同検査に関する専門技術保持者(熟練者)が側にいない状況や環境で使用されてもよいし、熟練者が側にいる状況や環境で使用されてもよいし、熟練者が遠隔地から監視・指示・操作などを行うことが可能な状況や環境で使用されてもよい。例示的な態様に係るスリットランプ顕微鏡システムが設置される施設の例として、眼鏡店、オプトメトリスト、医療機関、健康診断会場、検診会場、患者の自宅、福祉施設、公共施設、検診車などがある。
【0018】
例示的な態様に係るスリットランプ顕微鏡システムが2以上の装置を含む場合、これらの装置は同じ場所に配置されてもよいし、異なる場所に配置されてもよい。例えば、スリットランプ顕微鏡システムがスリットランプ顕微鏡と情報処理装置とを含む場合、スリットランプ顕微鏡と情報処理装置とが遠隔配置されていてもよい。
【0019】
例示的な態様に係るスリットランプ顕微鏡システムは、スリットランプ顕微鏡としての撮影機能と所定の情報処理機能とを少なくとも備えており、任意的に、スリットランプ顕微鏡以外の撮影機能(モダリティ)、眼特性測定機能、他の情報処理機能などを更に備えていてもよい。
【0020】
例示的な態様に係るシステム(第1のシステム)は、1以上のスリットランプ顕微鏡と、1以上の情報処理装置と、1以上の読影端末とを含んでいてよく、例えば遠隔医療のために使用可能である。スリットランプ顕微鏡、情報処理装置、及び読影端末のうちの1つ以上の装置は、いずれかの例示的な態様に係る情報処理機能を備えていてよい。スリットランプ顕微鏡は、いずれかの例示的な態様に係るスリットランプ顕微鏡であってもよいし、その少なくとも一部を具備したスリットランプ顕微鏡であってもよい。情報処理装置は、スリットランプ顕微鏡により取得された画像を受けてこれを読影端末に送信する。また、情報処理装置は、スリットランプ顕微鏡により取得された画像を管理する機能を備えていてもよい。なお、情報処理装置を設けることなく、スリットランプ顕微鏡から読影端末に向けて画像を送信してもよい。読影端末は、医師(典型的には、眼科医又は読影医等の専門医)が、スリットランプ顕微鏡により取得された画像の読影(画像を観察して診療上の所見を得ること)を行うために使用されるコンピュータである。読影者が読影端末に入力した情報は、例えば、読影端末又は他のコンピュータにより読影レポート又は電子カルテ情報に変換されて情報処理装置に送信されてよい。他の例示的な態様は、読影者が入力した情報を読影端末が受け付け、受け付けられた情報を読影端末が情報処理装置に送信し、読影端末から送信された情報を情報処理装置が受信し、受信された情報から情報処理装置又は他のコンピュータが読影レポート又は電子カルテ情報を生成するように構成されていてよい。情報処理装置は、読影レポート又は電子カルテ情報を管理する機能を有していてよい。また、情報処理装置は、読影レポート又は電子カルテ情報を他の装置又は他の医療システム(例えば電子カルテシステム)に転送する機能を有していてよい。
【0021】
他の例示的な態様に係るシステム(第2のシステム)は、1以上のスリットランプ顕微鏡と、1以上の情報処理装置と、1以上の読影装置とを含んでいてよい。スリットランプ顕微鏡、情報処理装置、及び読影装置のうちの1つ以上の装置は、いずれかの例示的な態様に係る情報処理機能を備えていてよい。スリットランプ顕微鏡は第1のシステムのスリットランプ顕微鏡と同様であってよく、情報処理装置は第1のシステムの情報処理装置と同様であってよい。また、情報処理装置を設けることなく、スリットランプ顕微鏡から読影装置に向けて画像を送信してもよい。読影装置は、例えば、既定のプログラムにしたがって動作する画像処理プロセッサ、及び/又は、人工知能エンジン(推論エンジン、推論モデル、学習済みモデルなど)を利用して、スリットランプ顕微鏡により取得された画像の読影処理を実行するコンピュータである。読影装置又は他のコンピュータは、読影装置が画像から導出した情報から読影レポート又は電子カルテ情報を生成することができる。生成された読影レポート又は電子カルテ情報は、情報処理装置に送信されてよい。他の例において、読影装置が画像から導出した情報を情報処理装置に送信することができる。この場合、情報処理装置又は他のコンピュータは、読影装置が画像から導出した情報から読影レポート又は電子カルテ情報を生成することができる。更に他の例において、読影装置が画像から導出した情報、及び/又は、この情報に基づき生成された情報(読影レポート、電子カルテ情報など)を診断支援情報として医師に提供することができる。
【0022】
更に他の例示的な態様に係るシステム(第3のシステム)は、1以上のスリットランプ顕微鏡と、1以上の情報処理装置とを含んでいてよい。スリットランプ顕微鏡及び/又は情報処理装置は、いずれかの例示的な態様に係る情報処理機能を備えていてよい。スリットランプ顕微鏡は、第1のシステムのスリットランプ顕微鏡と同様であってよく、情報処理装置は第1のシステムの情報処理装置及び/又は第2のシステムの情報処理装置と同様であってよい。換言すると、情報処理装置は、第1のシステムの読影端末若しくはこれに類するコンピュータとの間でデータ通信が可能であってよく、及び/又は、第2のシステムの読影装置若しくはこれに類するコンピュータとの間でデータ通信が可能であってよい。
【0023】
例示的な態様に係るスリットランプ顕微鏡システムは遠隔医療のために使用可能であるが、前述のようにスリットランプ顕微鏡で良好な画像を得ることは容易ではなく、また、読影や診断を有効に行うには前眼部の広い範囲の画像を「予め」取得する必要がある。このような事情から、スリットランプ顕微鏡を用いた有効な遠隔医療は実現されていないと言える。その実現に寄与する技術を例示的な態様は提供することができる。しかしながら、例示的な態様の用途は遠隔医療に限定されず、他の用途に例示的な態様を応用することも可能である。
【0024】
例示的な態様に係るスリットランプ顕微鏡システムは、前眼部の広い範囲を良好な画質で表現した一連の画像(画像群、画像セット)を取得するために利用可能である。
【0025】
例示的な態様は、次のような問題にも着目している。すなわち、例示的な態様が想定する応用形態(遠隔医療など)では、スリットランプ顕微鏡で前眼部の十分に広い範囲から一連の画像(画像群、画像セット)を直接的又は間接的に読影者に提供するため、提供される一連の画像の品質が低い場合であっても再撮影を行うことは難しく、その結果、読影を全く行えない、又は不十分な読影しか行えない、といった問題が生じるおそれがある。したがって、「良好な」品質の画像を「予め」取得する必要がある。つまり、診断(読影など)を有効に行うことが可能な品質を持った一連の画像を、読影者に提供する前にまとめて取得する必要がある。しかし、スリットランプ顕微鏡の操作の難しさに加えて、撮影時の瞬きや眼球運動の発生を考慮すると、観察や読影の対象領域全体を良好な画質で表現した一連の画像を得ることは極めて困難である。本開示は、このような問題への対処も考慮している。
【0026】
以下、幾つかの例示的な態様について説明する。これら態様のうちのいずれか2つ以上の態様を少なくとも部分的に組み合わせることが可能である。また、このような組み合わせに対して任意の公知技術を組み合わせることやそれに基づく変形(置換、省略など)を施すことが可能である。
【0027】
本明細書に開示された要素の機能の少なくとも一部は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。回路構成又は処理回路構成は、開示された機能の少なくとも一部を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能の少なくとも一部を実行するハードウェア、又は、開示された機能の少なくとも一部を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能の少なくとも一部を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
【0028】
<スリットランプ顕微鏡システムの構成>
例示的な対象に係るスリットランプ顕微鏡システムは、例えば、情報処理機能を備えたスリットランプ顕微鏡、又は、スリットランプ顕微鏡と情報処理装置との組み合わせであってよい。1つの例示的な態様に係るスリットランプ顕微鏡システムの構成を
図1A及び
図1Bに示す。
図1Aはスリットランプ顕微鏡システム1の全体構成の例を示し、
図1Bはスリットランプ顕微鏡システム1の制御部7、データ処理部8及び記憶部10の構成例を示す。スリットランプ顕微鏡システム1は、被検眼Eの観察やフォローアップにおいて、対象(部位、人工物など)に応じた表示条件を選択的に適用して画像を表示することが可能である。
図1A中の符号Cは角膜を示し、符号CLは水晶体を示し、符号IRは虹彩を示し、符号CAは隅角を示す。
【0029】
スリットランプ顕微鏡システム1は、照明系2と、撮影系3と、移動機構6と、制御部7と、データ処理部8と、通信部9と、記憶部10とを含む。スリットランプ顕微鏡システム1は、単一の装置であってもよいし、2以上の装置を含むシステムであってもよい。後者の例として、スリットランプ顕微鏡システム1は、照明系2、撮影系3、及び移動機構6を含む本体装置と、制御部7、データ処理部8、通信部9、及び記憶部10を含むコンピュータと、本体装置とコンピュータとの間のデータ通信を担う通信インターフェイスとを含む。このコンピュータは、例えば、本体装置とともに設置されてもよいし、ネットワーク上に設置されてもよい。このコンピュータの例として、上記の情報処理装置、読影端末、及び読影装置がある。
【0030】
<記憶部10>
記憶部10は、各種のデータを記憶する。例えば、記憶部10は、被検眼Eの前眼部をスリット光でスキャンして収集された画像群、2以上の画像群から作成された画像セット、画像解析により生成された解析データ、画像群又は画像セットから構築された加工画像などが記憶される。制御部7は、記憶部10にデータを格納する処理と、記憶部10からデータを読み出す処理とを実行する。格納処理や読み出し処理は、スリットランプ顕微鏡システム1の各種の動作において適時実行されるものである。
【0031】
更に、記憶部10は、表示条件情報100を予め記憶している。表示条件情報100には、眼の1以上の部位に対してそれぞれ表示条件が対応付けられている。
【0032】
表示条件が設定される眼の部位は、例えば、前眼部の任意の部位及び/又は後眼部の任意の部位を含んでいてよい。幾つかの例示的な態様において、表示条件が設定される眼の部位は、前眼部の1以上の部位を含み、例えば、角膜、虹彩、水晶体、隅角、前房、及び、房水中の浮遊物のうちのいずれかを含んでいてよい。
【0033】
表示条件が設定される眼の部位は、或る部位のサブ組織を含んでいてもよい。例えば、表示条件が設定される眼の部位は、角膜のサブ組織(角膜前面、角膜後面、角膜上皮、ボーマン膜、固有層、デュア層、デスメ膜、角膜内皮など)、水晶体のサブ組織(水晶体前面、水晶体後面、水晶体核、上皮、水晶体嚢など)などを含んでいてよい。
【0034】
表示条件が設定される眼の部位は、眼に移植された人工物を含んでいてもよい。そのような人工物として、IOL、フェイキックIOL、ICL、MIGSデバイス、ステントなどがある。
【0035】
表示条件が設定される対象は眼の部位(人工物を含む)に限定されない。例えば、画像において眼の背景として描出される対象について表示条件を設定することができる。このような背景として、眼の外部の空間(空気)がある。
【0036】
表示条件は、スリットランプ顕微鏡システム1(又は、他の装置若しくは他のシステム)により得られた画像を表示させるための条件(パラメータ)を表す。表示条件は、例えば、表示色と表示階調とを含む。表示色と表示階調との組み合わせをカラーコードと呼ぶことがある。本態様の表示条件はカラーコードを含む。
【0037】
表示色は、表示装置11が表示可能な任意の色であってよく、また、単色でも多色でもよい。単色の例として、白黒、赤、緑、青などがある。多色の例として、光の三原色(赤、緑、青)などがある。
【0038】
表示階調は、スリットランプ顕微鏡システム1(又は、他の装置若しくは他のシステム)により得られた画像を表示させるときの階調(濃淡の段階数)を示す。表示階調は、色の階調及び明るさ(輝度)の階調の少なくとも一方を含んでよい。階調数は1以上の任意の数であってよい。例えば、1階調、2階調、・・・、256階調などがある。
【0039】
表示階調は、例えば、後述の撮像素子5により生成される画像の階調に基づき設定されてよい。撮像素子5により生成される画像は、例えば、カラー画像、単色画像、及びグレースケール画像のいずれかであってよい。カラー画像は、例えば、赤色画像、緑色画像及び青色画像によって表現された画像である。単色画像は、例えば、赤色画像、緑色画像及び青色画像のいずれか1つである。グレースケール画像は、白、黒、及びその中間色である灰色によって表現された画像である。本態様において、撮像素子5により生成される画像の階調を基準階調と呼ぶことがある。
【0040】
グレースケール画像の場合について説明する。なお、単色画像の場合も同様である。基準階調A0は、例えば256階調である(例えば、黒の画素値=0、白の画素値=255)。表示階調は、上記のように1以上の階調値を含む。表示階調が1階調の場合、基準階調A0における任意の階調値に対して同じ表示階調値が割り当てられる。表示階調が2階調の場合、基準階調A0に含まれる全ての階調値が2つの部分集合に分割され、第1部分集合が第1表示階調値に割り当てられ、第2部分集合が第2表示階調値に割り当てられる。同様に、表示階調がN階調の場合、基準階調A0に含まれる全ての階調値がN個の部分集合に分割され、第n部分集合が第n表示階調値に割り当てられる(n=1,2,・・・,N)。表示階調の階調数Nは、例えば、基準階調A0の階調数以下の任意の値に設定される。
【0041】
基準階調A0に含まれる階調値の複数の部分集合のそれぞれは連結集合であってよい。換言すると、任意のn1=1~N、n2=1~N(n1≠n2)について、第n1部分集合に含まれる任意の階調値と第n2部分集合に含まれる任意の階調値との間には、一定の大小関係がある(つまり、一方は他方よりも常に大きいか、或いは常に小さい)。
【0042】
基準階調A
0と表示階調との対応関係の幾つかの例を
図2A~
図2Cに示す。
図2Aに示すグラフ101は、基準階調A
0と表示階調Aとの対応関係の第1の例(表示条件情報)100aを表す。横軸は基準階調A
0を表し、その範囲は0からα
Kである。つまり、本例の基準階調A
0はK+1階調である。基準階調A
0における任意の階調値をα
kと表す(k=0,1,2,・・・,K)。一方、縦軸は任意の表示階調Aを表し、その範囲は0からa
Nである。つまり、本例の表示階調AはN+1階調である。表示階調Aにおける任意の階調値をa
nと表す(n=0,1,2,・・・,N)。ここで、KとNとは等しくても等しくなくてもよい。また、本例では、NはK以下(N≦K)とされる(N>Kとすると、或るα
kに対して2以上のa
nが対応付けられることになる)。グラフ101は、基準階調A
0における各階調値α
kに1つの表示階調値a
nが対応付けられていることを表している。なお、グラフ101は連続的な直線として表現されているが、実際は、複数の基準階調値α
kと複数の表示階調値a
nとの対応を表す離散的な集合(直線グラフ101上に配置された複数の点)である。このようなグラフ101は、スリットランプ顕微鏡システム1により得られた画像の画素値(基準階調値α
kで表現される)を表示階調値a
nに変換するためのルックアップテーブルとして用いられる。
【0043】
図2Bは、基準階調A
0と表示階調との対応関係の第2の例(表示条件情報)100bを示す。
図2Bに示すグラフ102は、
図2Aのグラフ101と同様に基準階調A
0と表示階調Aとの対応関係の例を表すが、曲線状のグラフである点でグラフ101と異なる。座標軸や階調数については、
図2Aのグラフ101の場合と同様であってよい。スリットランプ顕微鏡システム1により得られた画像の画素値α
kを表示階調値a
nに変換するためのルックアップテーブルとして、このようなグラフ102を用いることができる。
【0044】
図2Cは、基準階調A
0と表示階調との対応関係の第3の例(表示条件情報)100cを示す。
図2Cに示すグラフ103は、座標軸や階調数については上記グラフ101及び102の場合と同様であってよい。全体が連続なグラフ101及び102と異なり、グラフ103は複数の不連続点を有するグラフである。より具体的には、本例のグラフ103は、基準階調A
0を表す横軸に平行な複数の部分103(n)(n=0,1,2,・・・,N)が階段状に配列されたグラフである。グラフ103の任意の部分103(n)は、基準階調値の範囲α
k1<α
k≦α
k2を定義域としており、この範囲α
k1<α
k≦α
k2内の任意の基準階調値α
kに対して同じ表示階調値a
nを対応付けている。
図2Aのグラフ101及び
図2Bのグラフ102が基準階調値と表示階調値とを「一対一」に対応付けているのに対し、
図2Cのグラフ103は、基準階調値と表示階調値とを「多対一」に対応付けている。スリットランプ顕微鏡システム1により得られた画像の画素値α
kを表示階調値a
nに変換するためのルックアップテーブルとして、このようなグラフ103を用いることができる。
【0045】
基準階調A0と表示階調との対応関係を表す情報の形態はグラフに限定されない。例えば、複数の基準階調値と複数の表示階調値とが対応付けられたテーブルを適用することが可能である。
【0046】
以上のようなカラーコード(表示色、表示階調)を含む表示条件情報100の構成の例を
図3に示す。本例の表示条件情報100dは、眼の部位として、「角膜」、「虹彩」、「水晶体」、「隅角」、「前房」、「(房水中の)浮遊物」、「人工物1」、「人工物2」、「関心領域」、及び「背景」を含んでいる。更に、表示条件情報100dは、部位「角膜」に対して表示色「C
1」と表示階調「A
1」とを対応付け、部位「虹彩」に対して表示色「C
2」と表示階調「A
2」とを対応付けている。他の部位については
図3を参照されたい。
【0047】
或る部位に対応する表示色は、グレースケール(白、黒及びこれらの中間色)であってよく、表示階調は、
図2A~
図2Cのいずれかに示すグラフ又はテーブル情報と同じであってよい。例えば、部位「角膜」の表示階調「A
1」として、基準階調A
0と表示階調A=A
1とを対応付けるよう作成された
図2A~
図2Cのいずれかに示すグラフ又はテーブル情報を用いることができる。
【0048】
なお、表示条件に含まれる表示色及び表示階調の双方が、撮像素子5により生成された画像の色(グレースケール)及び階調(基準階調)と同じである場合、つまり、撮像素子5により生成された画像の(少なくとも)一部について色変換を行わずそのまま表示させる場合、その部位に関する表示条件を設ける必要はない。例えば、その部位の特徴領域(輪郭、中心など)のみに対して色変換を適用することができる。また、その部位について設けられたルックアップテーブルが示す変換は恒等変換であってよい。
【0049】
また、或る部位に対応する表示色及び表示階調は疑似カラー表現を提供してもよい。疑似カラーは、グレースケールの基準階調A
0の階調値(輝度値)ごとに所定の色を割り当てるカラー表現技術であり、グレースケール(白黒の濃淡)では判別しにくい微妙な輝度の違いを色の変化によって強調して表現することを可能にする。グレースケール表現(基準階調A
0)を疑似カラー表現(表示階調)に変換するルックアップテーブルは、例えば、
図2A~
図2Cのいずれかに示すグラフ又はテーブル情報であってよい。例えば、部位「角膜」の表示階調「A
1」として、基準階調A
0と表示階調A=A
1とを対応付けるよう作成された
図2A~
図2Cのいずれかに示すグラフ又はテーブル情報を用いることができる。本例の表示階調Aは、例えば、
図2Aの縦軸Aの各階調値a
nに、赤(R)、緑(G)、青(B)の組み合わせを割り当てることによって得られる。それにより、横軸である基準階調A
0の各階調値α
nを疑似カラーの階調値a
nに変換するためのルックアップテーブルが得られる。
【0050】
このように、グレースケール画像(及び単色画像)に関する表示条件は、白、黒及びこれらの中間色のいずれとも異なる1以上の表示色と、基準階調に基づき設定された複数の階調値を含む表示階調とによって定義されたカラーコードを含んでいる。カラー画像に関する表示条件についても同様に設定することが可能である。すなわち、グレースケール画像に関する表示条件情報は、このグレースケール画像の画素のグレースケール値をカラー値に変換するための条件を含んでいる一方、カラー画像に関する表示条件情報は、このカラー画像の画素のカラー値を別のカラー値に変換するための条件を含んでいる(恒等変換であってもよい)。
【0051】
カラー画像の一部が実質的にグレースケール画像である場合がある。その場合、実質的にグレースケール画像である部分に対してグレースケール画像に関する表示条件情報を適用して画素値変換を行いつつ、他の部分に対してはカラー画像に関する表示条件情報を適用して画素値変換を行うことができる。
【0052】
記憶部10は、任意の記憶装置を含み、不揮発性記憶装置及び揮発性記憶装置の少なくとも一方を含む。記憶部10は、例えば、ハードディスクドライブ及び半導体メモリの少なくとも一方を含む。
図2A~
図3の表示条件情報100a~100dは、
図1Bの表示条件情報100の例である。表示条件情報100の形態や態様や構成はこれらの例に限定されない。本態様の表示条件情報100は、前眼部の1以上の部位のそれぞれと、表示色及び表示階調を含む表示条件との対応関係を表す任意の情報であってよい。
【0053】
<照明系2>
照明系2は、被検眼Eの前眼部にスリット光を照射する。符号2aは、照明系2の光軸(照明光軸)を示す。照明系2は、従来のスリットランプ顕微鏡の照明系と同様の構成を備えていてよい。図示は省略するが、例示的な照明系2は、被検眼Eから遠い側から順に、照明光源と、正レンズと、スリット形成部と、対物レンズとを含む。
【0054】
照明光源は照明光を出力する。照明系2は複数の照明光源を備えていてよい。例えば、照明系2は、連続光を出力する照明光源と、フラッシュ光を出力する照明光源とを含んでいてよい。また、照明系2は、前眼部用照明光源と後眼部用照明光源とを含んでいてよい。また、照明系2は、出力波長が異なる2以上の照明光源を含んでいてよい。典型的な照明系2は、照明光源として可視光源を含む。照明系2は、赤外光源を含んでいてもよい。照明光源から出力された照明光は、正レンズを通過してスリット形成部に投射される。
【0055】
スリット形成部は、照明光の一部を通過させてスリット光を生成する。典型的なスリット形成部は、一対のスリット刃を有する。これらスリット刃の間隔(スリット幅)を変更することで照明光が通過する領域(スリット)の幅を変更し、これによりスリット光の幅が変更される。また、スリット形成部は、スリット光の長さを変更可能に構成されてもよい。スリット光の長さとは、スリット幅に対応するスリット光の断面幅方向に直交する方向におけるスリット光の断面寸法である。スリット光の幅やスリット光の長さは、典型的には、スリット光の前眼部への投影像の寸法として表現されるが、これには限定されず、例えば、任意の位置におけるスリット光の断面における寸法として表現することや、スリット形成部により形成されるスリットの寸法として表現することも可能である。
【0056】
スリット形成部により生成されたスリット光は、対物レンズにより屈折されて被検眼Eの前眼部に照射される。
【0057】
照明系2は、スリット光のフォーカス位置を変更するための合焦機構を更に含んでいてもよい。合焦機構は、例えば、対物レンズを照明光軸2aに沿って移動させる。対物レンズの移動は、自動及び/又は手動で実行可能である。なお、対物レンズとスリット形成部との間の照明光軸2a上の位置に合焦レンズを配置し、この合焦レンズを照明光軸2aに沿って移動させることによってスリット光のフォーカス位置を変更可能としてもよい。
【0058】
なお、
図1Aは上面図であり、同図に示すように、本態様では、被検眼Eの軸に沿う方向をZ方向とし、これに直交する方向のうち被検者にとって左右の方向をX方向とし、X方向及びZ方向の双方に直交する方向をY方向とする。典型的には、X方向は左眼と右眼との配列方向であり、Y方向は被検者の体軸に沿う方向(体軸方向)である。
【0059】
<撮影系3>
撮影系3は、照明系2からのスリット光が照射されている前眼部を撮影する。符号3aは、撮影系3の光軸(撮影光軸)を示す。本態様の撮影系3は、光学系4と、撮像素子5とを含む。
【0060】
光学系4は、スリット光が照射されている被検眼Eの前眼部からの光を撮像素子5に導く。撮像素子5は、光学系4により導かれた光を撮像面にて受光する。
【0061】
光学系4により導かれる光(被検眼Eの前眼部からの光)は、前眼部に照射されているスリット光の戻り光を含み、他の光を更に含んでいてよい。戻り光の例として、反射光、散乱光、蛍光がある。他の光の例として、環境からの光(室内光、太陽光など)がある。前眼部全体を照明するための前眼部照明系が照明系2とは別に設けられている場合には、この前眼部照明光の戻り光が光学系4により導かれる光に含まれる。
【0062】
光学系4は、従来のスリットランプ顕微鏡の撮影系と同様の構成を備えていてよい。例えば、光学系4は、被検眼Eに近い側から順に、対物レンズと、変倍光学系と、結像レンズとを含む。スリット光が照射されている被検眼Eの前眼部からの光は、対物レンズ及び変倍光学系を通過し、結像レンズにより撮像素子5の撮像面に結像される。
【0063】
撮像素子5は、2次元の撮像エリアを有するエリアセンサであり、例えば、電荷結合素子(CCD)イメージセンサ又は相補型金属酸化膜半導体(CMOS)イメージセンサであってよい。
【0064】
撮影系3は、そのフォーカス位置を変更するための合焦機構を更に含んでいてもよい。合焦機構は、例えば、対物レンズを撮影光軸3aに沿って移動させる。対物レンズの移動は、自動及び/又は手動で実行可能である。なお、対物レンズと結像レンズとの間の撮影光軸3a上の位置に合焦レンズを配置し、この合焦レンズを撮影光軸3aに沿って移動させることによってフォーカス位置を変更可能としてもよい。
【0065】
照明系2及び撮影系3は、シャインプルーフカメラとして機能する。すなわち、照明光軸2aに沿う物面と、光学系4と、撮像素子5の撮像面とが、いわゆるシャインプルーフの条件を満足するように、照明系2及び撮影系3が構成される。より具体的には、照明光軸2aを通るYZ面(物面を含む)と、光学系4の主面と、撮像素子5の撮像面とが、同一の直線上にて交差する。これにより、物面内の全ての位置(照明光軸2aに沿う方向における全ての位置)にピントを合わせて撮影を行うことができる。
【0066】
本態様では、例えば、前眼部の所定部位の少なくとも一部を含む3次元領域に撮影系3のピントが合った状態で撮影が行われる。Z方向については、例えば、角膜Cの前面の頂点(Z=Z1)から水晶体CLの後面の頂点(Z=Z2)までの範囲全体に撮影系3のピントが合った状態で撮影を行うことが可能である。なお、Z=Z0は、照明光軸2aと撮影光軸3aとの交点のZ座標を示す。
【0067】
このような条件は、典型的には、照明系2に含まれる要素の構成及び配置、撮影系3に含まれる要素の構成及び配置、並びに、照明系2と撮影系3との相対位置によって実現される。照明系2と撮影系3との相対位置を示すパラメータは、例えば、照明光軸2aと撮影光軸3aとがなす角度θを含む。角度θは、例えば、17.5度、30度、又は45度に設定される。なお、角度θは可変であってもよい。
【0068】
<移動機構6>
移動機構6は、照明系2及び撮影系3を移動する。移動機構6は、例えば、照明系2及び撮影系3が搭載された可動ステージと、制御部7から入力される制御信号にしたがって動作するアクチュエータと、このアクチュエータにより発生された駆動力に基づき可動ステージを移動する機構とを含む。他の例において、移動機構6は、照明系2及び撮影系3が搭載された可動ステージと、図示しない操作デバイスに印加された力に基づき可動ステージを移動する機構とを含む。操作デバイスは、例えばレバーである。可動ステージは、少なくともX方向に移動可能であり、更にY方向及び/又はZ方向に移動可能であってよい。
【0069】
本態様において、移動機構6は、例えば、照明系2及び撮影系3を一体的にX方向に移動する。つまり、移動機構6は、上記したシャインプルーフの条件が満足された状態を保持しつつ照明系2及び撮影系3をX方向に移動する。この移動と並行して、撮影系3は、例えば所定の時間間隔(撮影レート)で動画撮影を行う。これにより、被検眼Eの前眼部の3次元領域がスリット光でスキャンされ、この3次元領域内の複数の断面に対応する複数の画像(画像群)が収集される。
【0070】
また、典型的な例において、照明系2により前眼部に照射されるスリット光の長手方向(長さ方向)はY方向に一致され、短手方向(幅方向)はX方向に一致される。更に、移動機構6は、照明系2及び撮影系3を一体的にX方向に移動する。つまり、移動機構6は、照明系2により前眼部に照射されるスリット光がこのスリット光の幅方向に移動するように照明系2及び撮影系3を移動する。これにより、前眼部の3次元領域を簡便且つ効率的にスキャンすることが可能になる。なお、スリット光の向きと移動方向との組み合わせは任意であってよい。
【0071】
<制御部7>
制御部7は、スリットランプ顕微鏡システム1の各部を制御する。例えば、制御部7は、照明系2の要素(照明光源、スリット形成部、合焦機構など)、撮影系3の要素(合焦機構、撮像素子など)、移動機構6、データ処理部8、通信部9などを制御する。また、制御部7は、照明系2と撮影系3との相対位置を変更するための制御を実行可能であってもよい。更に、制御部7は、スリットランプ顕微鏡システム1に含まれるデバイス(例えば表示デバイス)又はスリットランプ顕微鏡システム1に接続された装置(例えば表示デバイス)を制御可能であってもよい。
【0072】
制御部7は、プロセッサ、主記憶装置、補助記憶装置などを含む。補助記憶装置には、制御プログラム等が記憶されている。制御プログラム等は、スリットランプ顕微鏡システム1がアクセス可能なコンピュータや記憶装置に記憶されていてもよい。制御部7の機能は、制御プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。
【0073】
制御部7は、被検眼Eの前眼部の3次元領域をスリット光でスキャンするために、照明系2、撮影系3及び移動機構6に対して次のような制御を適用することができる。
【0074】
まず、制御部7は、照明系2及び撮影系3を所定のスキャン開始位置に配置するように移動機構6を制御する(アライメント制御)。スキャン開始位置は、例えば、X方向における角膜Cの端部(第1端部)に相当する位置、又は、それよりも被検眼Eの軸から離れた位置である。
【0075】
図4Aの符号X0は、X方向における角膜Cの第1端部に相当するスキャン開始位置の例を示している。また、
図4Bの符号X0′は、X方向における角膜Cの第1端部に相当する位置よりも被検眼Eの軸EAから離れたスキャン開始位置の例を示している。
【0076】
制御部7は、照明系2を制御して、被検眼Eの前眼部に対するスリット光の照射を開始させる(スリット光照射制御)。なお、アライメント制御の実行前に、又は、アライメント制御の実行中に、スリット光照射制御を行ってもよい。スリット光は、典型的には連続光であるが、断続光(パルス光)であってもよい。パルス光の点灯制御は、撮影系3の撮影レートに同期される。また、スリット光は、典型的には可視光であるが、赤外光であってもよいし、可視光と赤外光との混合光であってもよい。
【0077】
制御部7は、撮影系3を制御して、被検眼Eの前眼部の動画撮影を開始させる(撮影制御)。なお、アライメント制御の実行前に、又は、アライメント制御の実行中に、撮影制御を行ってもよい。典型的には、スリット光照射制御と同時に、又は、スリット光照射制御よりも後に、撮影制御が実行される。
【0078】
アライメント制御、スリット光照射制御、及び撮影制御の実行後、制御部7は、移動機構6を制御して、照明系2及び撮影系3の移動を開始する(移動制御)。移動制御により、照明系2及び撮影系3が一体的に移動される。つまり、照明系2と撮影系3との相対位置(角度θなど)を維持しつつ照明系2及び撮影系3が移動される。典型的には、前述したシャインプルーフの条件が満足された状態を維持しつつ照明系2及び撮影系3が移動される。照明系2及び撮影系3の移動は、前述したスキャン開始位置から所定のスキャン終了位置まで行われる。スキャン終了位置は、例えば、スキャン開始位置と同様に、X方向において第1端部の反対側の角膜Cの端部(第2端部)に相当する位置、又は、それよりも被検眼Eの軸から離れた位置である。このような場合、スキャン開始位置からスキャン終了位置までの範囲がスキャン範囲となる。
【0079】
典型的には、X方向を幅方向とし且つY方向を長手方向とするスリット光を前眼部に照射しつつ、且つ、照明系2及び撮影系3をX方向に移動しつつ、撮影系3による動画撮影が実行される。
【0080】
ここで、スリット光の長さ(つまり、Y方向におけるスリット光の寸法)は、例えば、被検眼Eの表面において角膜Cの径以上に設定される。すなわち、スリット光の長さは、Y方向における角膜径以上に設定されている。また、前述のように、移動機構6による照明系2及び撮影系3の移動距離(つまり、スキャン範囲)は、X方向における角膜径以上に設定されている。これにより、少なくとも角膜C全体をスリット光でスキャンすることができる。
【0081】
このようなスキャンを実行することにより、スリット光の照射位置が異なる複数の前眼部画像が得られる。換言すると、スリット光の照射位置がX方向に移動する様が描写された動画像が得られる。このような複数の前眼部画像(つまり、動画像を構成するフレーム群)の例を
図5に示す。
【0082】
図5は、複数の前眼部画像(フレーム群、画像群)F1、F2、F3、・・・、FNを示す。これら前眼部画像Fn(n=1、2、・・・、N)の添字nは、時系列順序を表している。つまり、第n番目に取得された前眼部画像が符号Fnで表される。前眼部画像Fnには、スリット光照射領域Anが含まれている。
図5に示すように、スリット光照射領域A1、A2、A3、・・・、ANは、時系列に沿って右方向に移動している。
【0083】
図5に示す例においては、スリット光の長手方向(長さ方向)がY方向(上下方向、体軸方向)に一致し、短手方向(幅方向)がX方向(左右方向、横方向)に一致し、スリット光の移動方向がX方向に一致している。また、スキャン開始位置は角膜Cの第1端部(左端)よりも外側(左側)の位置であり、スキャン終了位置は角膜Cの第2端部(右端)よりも外側(右側)の位置である。このような態様のスキャンによれば、角膜C全体を含む3次元領域を撮影することができる。なお、スキャン開始位置及び/又はスキャン終了位置は本例に限定されず、例えば、スキャン開始位置及び/又はスキャン終了位置がX方向における角膜Cの端部であってよい。また、スリット光の向き、スリット光の移動方向、スキャンの回数などの各種スキャンパラメータについても、任意に設定することが可能である。
【0084】
図1Bに示す例示的な制御部7は、表示条件選択部71と、表示制御部72とを含んでいる。
【0085】
<表示条件選択部71>
表示条件選択部71は、ユーザー又はスリットランプ顕微鏡システム1により指定された被検眼E(前眼部)の部位に対応する表示条件を表示条件情報100から選択する。例えば、
図3に示す表示条件情報100dが適用され、且つ、指定された部位が「角膜」である場合、表示条件選択部71は、表示条件情報100dの「部位」の欄から「角膜」を検索し、検索された部位「角膜」に対応する表示色「C
1」と表示階調「A
1」とを取得する。このようにして、指定された部位に対応する表示色及び表示階調が表示条件情報100dから選択される。指定された部位が「隅角」である場合、表示条件選択部71は、同様の処理を実行することにより、部位「隅角」に対応する表示色「C
4」と表示階調「A
4」とを表示条件情報100dから選択することができる。
【0086】
被検眼Eの部位の指定は、上記のようにユーザー又はスリットランプ顕微鏡システム1によって行われる。ユーザーが被検眼Eの部位を指定する場合、例えば、部位を指定するためのグラフィカルユーザーインターフェイス(GUI)が制御部7によって表示装置11に表示される。ユーザーは、このGUIを用いて所望の部位を指定することが可能である。GUIは、例えば、タッチ操作により操作され、及び/又は、図示しない操作デバイスを介して操作される。ユーザーによる指定の他の態様では、スリットランプ顕微鏡システム1により取得された画像(又は外部から取得された画像)が制御部7によって表示装置11に表示される。ユーザーは、表示された画像中の所望の領域を、タッチ操作により又は操作デバイスを用いて指定することができる。このとき、指定された領域に相当する部位の識別子(部位名など)をユーザーが入力することができる。他の例示的な態様では、データ処理部8は、ユーザーが領域を指定した画像を解析してこの指定領域に関する情報(形状、サイズ、輝度、他の領域との位置関係など)を生成し、この情報に基づいてこの指定領域に相当する部位を特定するとともに、特定された部位の識別子を生成するように構成されていてよい。
【0087】
スリットランプ顕微鏡システム1が被検眼Eの部位を指定する場合の例示的な態様では、データ処理部230は、後述の部分領域特定部86により特定された画像領域に相当する部位を特定するように構成されていてよい。そのための処理は、例えば、部分領域特定部86により特定された画像領域に関する情報(形状、サイズ、輝度、他の領域との位置関係など)を画像解析によって生成する処理と、特定された画像領域に相当する部位の識別子をこの画像解析の結果から生成する処理とを含む。
【0088】
<表示制御部72>
表示制御部72は、表示装置11の制御と、表示される情報やデータの処理(加工、変換など)とを実行する。表示制御部72は、例えば、表示条件選択部71により選択された表示条件に基づいて画像に加工を施して表示装置11に表示させる。なお、表示装置11は、スリットランプ顕微鏡システム1に含まれてもよいし、スリットランプ顕微鏡システム1に接続された周辺機器であってよい。
【0089】
幾つかの例示的な態様において、表示制御部72は、表示条件選択部71により選択された表示条件に含まれる表示色及び表示階調を、後述の部分領域特定部86が被検眼Eの画像から特定した画像領域に適用するように構成されてよい。例えば、部位「角膜」に対応する表示色「C1」と表示階調「A1」とが表示条件情報100dから選択された場合、表示条件情報100は、角膜に相当する画像領域に適用することができる。
【0090】
前述したように、幾つかの例示的な態様では、スリットランプ顕微鏡システム1は、所定の基準階調で表現された階調画像を取得し、且つ、表示条件情報100は、1以上の表示色と基準階調に基づき設定された複数の階調値を含む表示階調とにより定義された情報(表示色コード)を含む。このような態様において、表示制御部72は、後述の部分領域特定部86が被検眼Eの画像から特定した画像領域の画素の階調値を、この画像領域に相当する部位に関連付けられた表示色コードに基づいて変換するように構成されてよい。
【0091】
表示色コードは、カラーコードであってよい。カラーコードは、白、黒及びこれらの中間色のいずれとも異なる1以上の表示色と、前述の基準階調に基づき設定された複数の階調値を含む表示階調とによって定義された情報であってよい。他の態様の表示色コードは、カラー画像の画素の値(カラー値)から新たなカラー値を決定するための情報であってよい。なお、新たなカラー値は、白、黒又はこれらの中間色であってもよい。
【0092】
スリットランプ顕微鏡システム1がグレースケール画像を取得した場合、表示制御部72は、後述の部分領域特定部86が被検眼Eの画像から特定した画像領域の画素のグレースケール値を、この画像領域に相当する部位に関連付けられたカラーコードに基づいて、カラー値に変換することができる。つまり、このような例示的な態様は、グレースケール画像の部分領域を、この部分領域に応じたカラー値に変換するものである。
【0093】
スリットランプ顕微鏡システム1がカラー画像を取得した場合、表示制御部72は、後述の部分領域特定部86が被検眼Eの画像から特定した画像領域の画素のカラー値を、この画像領域に相当する部位に関連付けられた表示色コードに基づいて新たなカラー値に変換することができる。つまり、このような例示的な態様は、カラー画像中の部分領域を、この部分領域に応じた他のカラー値に変換するものである。
【0094】
<データ処理部8>
データ処理部8は、各種のデータ処理を実行する。処理されるデータは、スリットランプ顕微鏡システム1により取得されたデータ、及び、外部から入力されたデータのいずれでもよい。データ処理部8は、撮影系3によって取得された画像を処理することができる。
【0095】
データ処理部8は、プロセッサ、主記憶装置、補助記憶装置などを含む。補助記憶装置には、データ処理プログラム等が記憶されている。データ処理プログラム等は、機械学習によって構築されたモデル(学習済みモデル、推論モデルなど)を含んでいてもよい。データ処理プログラム等は、スリットランプ顕微鏡システム1がアクセス可能なコンピュータや記憶装置に記憶されていてもよい。データ処理部8の機能は、データ処理プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。
【0096】
図1Bに示す例示的なデータ処理部8は、画像群処理部80と、加工画像構築部85と、部分領域特定部86とを含む。
【0097】
<画像群処理部80>
画像群処理部80は、スリット光を用いた前眼部スキャンで収集された画像群の少なくとも一部の画像を処理する。画像群処理部80の幾つかの例を説明する。
図6A、
図6B、
図6C、及び
図6Dは、それぞれ、画像群処理部80の第1、第2、第3、及び第4の例である画像群処理部80A、80B、80C、及び80Dを示す。なお、画像群処理部80の構成はこれらに限定されない。例えば、画像群処理部80は、4つの画像群処理部80A、80B、80C、及び80Dのいずれか2つ以上の組み合わせを含んでいてもよい。また、同じ種類の結果又は類似の種類の結果を得るための任意の要素を画像群処理部80に設けることが可能である。
【0098】
本態様のスリットランプ顕微鏡システム1は、被検眼Eの前眼部に1回以上のスキャンを適用する。各スキャンにより、
図5に示す複数の前眼部画像F1~FNのような画像群が得られる。画像群処理部80は、このようにして取得された1つ以上の画像群に処理を施すことができる。
【0099】
スリットランプ顕微鏡システム1は、2回以上のスキャンを前眼部に適用可能であってよい。例えば、第1回目のスキャンで良好な画像群が得られない場合に、第2回目のスキャンが実行される。より一般に、第1回目~第v回目のスキャンで良好な一連の画像が得られなかった場合に、第v+1回目のスキャンが実行される(vは1以上の整数)。幾つかの例示的な態様では、第1回目~第v回目のv回のスキャンで得られたv個の画像群から良好な一連の画像(画像セット)が得られない場合に、第v+1回目のスキャンが実行される。他の幾つかの例示的な態様では、第1回目~第v回目のv回のスキャンで得られたv個の画像群のいずれもが良好な画像セットでない場合に、第v+1回目のスキャンが実行される。なお、2回以上のスキャンを実行する態様はこれらに限定されない。
【0100】
2回以上のスキャンを実行する場合、これらのスキャンの開始位置及び終了位置(つまりスキャン範囲)は同じでもよいし、開始位置及び終了位置の一方又は双方が異なってもよい。典型的には、2回以上のスキャンは、同じスキャン範囲に対して適用される。それにより、
図5に示す複数の前眼部画像F1~FNのような画像群が、スキャン回数と同じ個数だけ取得される。
【0101】
被検眼Eの眼球運動などを考慮すると、典型的には、スキャン範囲(スキャン開始位置、スキャン終了位置)は、前眼部における位置や範囲ではなく、スリットランプ顕微鏡システム1の動作によって定義される。例えば、スキャンにおける照明系2及び撮影系3の移動の始点がスキャン開始位置とされ、終点がスキャン終了位置とされる。
【0102】
一方、前眼部における位置や範囲によってスキャン範囲を定義することも可能である。この場合、被検眼Eの動きに追従するように照明系2及び撮影系3を移動させる動作(トラッキング)が適用される。本例のスリットランプ顕微鏡システム1は、例えば従来と同様のトラッキング機能を備える。トラッキング機能は、例えば、前眼部の動画撮影と、各フレームからのランドマークの抽出と、ランドマークを用いたフレーム間の偏位の算出と、偏位を打ち消すための照明系2及び撮影系3の移動制御とを含む。
【0103】
スキャン範囲の定義(設定)に関する他の例として、既に収集された画像に対してスキャン範囲を設定することが可能である。すなわち、スキャン範囲の設定を事後的に(スキャン後に)行うように構成することができる。なお、本例におけるスキャン範囲は、後の処理に提供される画像の範囲を表すものである。
【0104】
このような事後的なスキャン範囲設定の第1の例を説明する。本例のスリットランプ顕微鏡は、前眼部撮影が可能であり、且つ、前眼部撮影用光学系とスキャン光学系(照明系2及び撮影系3)との位置関係を認識可能であるとする。本例では、まず、前眼部の十分広い範囲(特にX方向及びY方向)をスキャンして画像群(広域画像群)を収集しつつ、前眼部撮影を実行する。次に、前眼部撮影で得られた前眼部画像に対してスキャン範囲が設定される。この設定は手動及び自動のいずれで行われてもよい。自動設定は、例えば、前眼部画像を解析してランドマークを検出する処理と、このランドマークを参照してスキャン範囲を設定する処理とを含む。このランドマークは、例えば、角膜縁、隅角、又は瞳孔縁であってよい。スキャン範囲が設定されると、上記した光学系の位置関係に基づいて、このスキャン範囲に相当する各広域画像の部分領域が特定される。最後に、この特定された部分領域を広域画像からクロッピングすることによって、当該スキャン範囲に相当する画像が形成される。これにより、設定されたスキャン範囲に対応する画像群が得られる。本例において、被検眼の固視が安定している場合(又は、そのように仮定する場合若しくは仮定できる場合)などには、前眼部撮影は静止画撮影であってよい。前眼部撮影が動画撮影である場合には、例えばスキャンと動画撮影との制御(同期情報など)に基づいて広域画像群と動画像中のフレーム群とが対応付けられ、対応付けられた広域画像とフレームとのペア毎に上記と同様の処理が実行される。
【0105】
事後的なスキャン範囲設定の第2の例を説明する。本例では、前眼部撮影を並行的に行わなくてもよく、前眼部の十分広い範囲(特にX方向及びY方向)をスキャンして広域画像群が収集される。次に、各広域画像に対して、所望のスキャン範囲に相当する部分領域が指定される。この指定は手動及び自動のいずれで行われてもよい。自動指定は、例えば、広域画像を解析してランドマーク(例えば、角膜縁又は隅角)を検出する処理と、このランドマークを参照してスキャン範囲を設定する処理とを含む。また、いずれかの広域画像(基準広域画像)に対して手動でランドマークを指定し、この基準広域画像とそれに隣接する広域画像とを解析して当該隣接広域画像にランドマークを指定してもよい。このような処理を順次に適用することで全ての広域画像に対してランドマークを指定することができる。更に、ランドマークに基づいてスキャン範囲に相当する広域画像の部分領域を特定し、この特定された部分領域を広域画像からクロッピングすることによって当該スキャン範囲に相当する画像を形成することができる。これにより、設定されたスキャン範囲に対応する画像群が得られる。
【0106】
画像群処理部80の第1の例を説明する。
図6Aに示す画像群処理部80Aは、画像群評価部81を含む。画像群評価部81は、被検眼Eに対する1回のスキャンで収集された画像群の品質を評価する。幾つかの例示的な態様において、画像群評価部81は、画像群が所定の条件を満足するか否か判定するように構成されており、典型的には、画像群に含まれるそれぞれの画像が所定の条件を満足するか否か判定するように構成されている。
【0107】
所定の条件(画像群評価条件)は、例えば、読影や診断を有効に行うために必要とされる画像品質に関する条件であり、例えば、被検眼Eに関する条件、スリットランプ顕微鏡システム1に関する条件、環境に関する条件などがある。画像群評価条件は、例えば、「評価対象の画像が、瞬きの影響を受けていないこと(瞬き条件)」及び「評価対象の画像が、眼球運動の影響を受けていないこと(眼球運動条件)」のいずれか一方及び双方を含んでいてよい。また、画像群評価条件は、画像品質評価に関する任意の指標であってよく、例えば、明るさ、コントラスト、ノイズ、信号対雑音比(SNR)、階調再現(tone reproduction)、ダイナミックレンジ、シャープネス、口径食(ケラレ)、収差(球面収差、非点収差、コマ収差、像面湾曲、歪曲収差、色収差など)、色精度(color accuracy)、露出精度(exposure accuracy)、レンズフレア、モアレ、及びアーティファクトのうちのいずれかを含んでいてよい。画像選択条件はこれらの例に限定されず、任意に選択されてよい。
【0108】
瞬き条件について説明する。画像群に含まれる画像について、画像群評価部81は、例えば、被検眼Eの前眼部に照射されたスリット光の反射像が当該画像に含まれているか判定する。この判定は、瞬き中に撮影された画像にはスリット光の反射像が描出されないこと、及び、スリット光の反射像は他領域よりも顕著に明るく表現されることを利用した処理であり、例えば、当該画像における輝度分布に基づき実行される。
【0109】
一例として、画像群評価部81は、当該画像から輝度ヒストグラムを作成し、所定閾値以上の輝度の画素が存在するか判断する。所定閾値以上の輝度が存在すると判定された場合、スリット光の反射像が当該画像に含まれていると判定される。本例は、処理が極めて簡便であるという利点を有するが、高輝度のノイズや外光の映り込みを誤検出するおそれがある。
【0110】
他の例として、画像群評価部81は、当該画像から輝度ヒストグラムを作成し、所定閾値以上の輝度の画素が所定個数以上存在するか判定する。所定閾値以上の輝度の画素が所定個数以上存在するか判定すると判定された場合、スリット光の反射像が当該画像に含まれていると判定される。本例は、簡便な処理によって上記誤検出の防止を図ることができるという利点を有する。
【0111】
眼球運動条件について説明する。画像群に含まれる画像について、画像群評価部81は、例えば、当該画像とこれに隣接する画像との比較によって眼球運動の影響の有無を判定する。この判定は、動画撮影中に眼球運動が発生すると「画像の飛び」が生じることを利用した処理である。
【0112】
一例として、画像群評価部81は、当該画像及び隣接画像のそれぞれからランドマークを検出し、これらランドマークの偏位量を算出し、この偏位量が所定閾値以上であるか判断する。偏位量が所定閾値以上であると判定された場合、眼球運動が発生したと判定される。ここで、ランドマークは、例えば、角膜、虹彩、瞳孔、隅角などであってよい。また、閾値は、例えば、撮影系3の撮影レートや、移動機構6による移動速度など、所定のスキャン条件に基づき算出される。
【0113】
他の例において、画像群評価部81は、1つの画像から眼球運動の有無を判定するように構成されてもよい。例えば、撮影系3の撮影レートが低速である場合において、高速な眼球運動が発生すると、画像に「ブレ」が生じることがある。画像群評価部81は、ブレ検出を利用することによって眼球運動の有無を判定することができる。ブレ検出は、典型的には、エッジ検出などの公知技術を用いて行われる。
【0114】
画像群評価部81は、入力された画像が上記の画像選択条件を満足するか判定するための人工知能エンジンを含んでいてもよい。この人工知能エンジンは、典型的には、畳み込みニューラルネットワーク(CNN)を含み、この畳み込みニューラルネットワークは、スリットランプ顕微鏡により取得された多数の画像と、各画像が画像選択条件を満足するか否かの判定結果とを含む訓練データを用いて、事前に訓練される。なお、訓練データに含まれる画像は、スリットランプ顕微鏡により取得された画像に限定されず、例えば、他の眼科モダリティ(眼底カメラ、OCT装置、SLO、手術用顕微鏡など)により取得された画像、他の診療科の画像診断モダリティ(超音波診断装置、X線診断装置、X線CT装置、磁気共鳴イメージング(MRI)装置など)により取得された画像、実際の画像を加工して生成された画像、擬似的な画像などであってもよい。また、人工知能エンジンに用いられる手法や技術(例えば、ハードウェア、ソフトウェア、機械学習法、ニューラルネットワークの種類など)は任意である。
【0115】
1回のスキャンで収集された画像群を構成する一連の画像は、スキャン範囲における複数の位置に関連付けられていてよい。この関連付けは、例えば、画像群処理部80により実行される。その具体例を説明する。X方向に沿ったスキャン範囲が(N-1)個の区間に区分され、スキャン開始位置が第1番目の位置に設定され、スキャン終了位置が第N番目の位置に設定される(Nは2以上の整数)。これにより、スキャン範囲にN個の位置が設定される。N個の位置をB1、B2、B3、・・・、BNで表す(図示せず)。N個の位置B1~BNの間隔は等しくてもよいし、異なっていてもよい。位置B1~BNの個数(N)は、例えば、スキャン開始位置、スキャン終了位置、スリット光の移動速度(スキャン速度)、撮影系3のフレームレートなどに基づいて設定される。本例で設定される位置B1~BNの個数(N)は、1回のスキャンで収集される画像の個数に等しい。なお、位置B1~BNの個数(N)は本例に限定されず、また、その設定方法も本例に限定されない。被検眼Eの前眼部に1回のスキャンが適用され、
図5に示す画像群F1、F2、F3、・・・、FNが取得されたとする。画像群処理部80は、位置Bnに画像Fnを割り当てることができる。これにより、N個の位置Bn(n=1、2、・・・、N)に対応するN個の画像Fn(n=1、2、・・・、N)が得られる。
【0116】
画像群は、一連の画像のみを含んでいてもよいし、それ以外の情報を更に含んでいてもよい。一連の画像とともに画像群に含まれる情報の例として、被検者情報、被検眼情報、撮影日時、撮影条件など、各種の付帯情報がある。また、他のモダリティで得られた画像や、検査装置により取得された検査データを、画像群に含めることも可能である。画像群評価部81の構成や動作については、その幾つかの例を
図7A~
図7Dを参照しつつ後述する。
【0117】
画像群処理部80の第2の例を説明する。本例の有効性は、特に、被検眼Eに対して2回以上のスキャンが適用される場合に発揮される。
図6Bに示す画像群処理部80Bは、
図6Aと同様の画像群評価部81に加えて、画像セット作成部82を含む。画像群処理部80Bには、被検眼Eに適用された2回以上のスキャンで収集された2以上の画像群が提供される。本例の画像群評価部81は、これらの画像群のそれぞれに対して品質評価を行ってもよいし、最初のスキャン(第1回目のスキャン)で収集された画像群に対してのみ品質評価を行ってもよい。画像セット作成部82は、画像群処理部80Bに入力された2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成する。
【0118】
画像セットを構成する一連の画像が表現する範囲は、例えば、2以上のスキャンのうちのいずれか1つのスキャンが適用された3次元領域であってもよいし、2以上のスキャンのうちの少なくとも2つのスキャンにおけるスキャン範囲に基づき設定される3次元領域であってもよい。前者の例として、2以上のスキャンがそれぞれ適用された2以上のスキャン範囲において最大のスキャン範囲又は最小のスキャン範囲を採用することができる。後者の例として、少なくとも2つのスキャン範囲の和集合又は積集合を採用することができる。
【0119】
また、画像セットは、当該一連の画像のみを含んでいてもよいし、それ以外の情報を更に含んでいてもよい。一連の画像とともに画像セットに含まれる情報の例として、被検者情報、被検眼情報、撮影日時、撮影条件など、各種の付帯情報がある。また、他のモダリティで得られた画像や、検査装置により取得された検査データを、画像セットに含めることも可能である。
【0120】
画像群処理部80の第3の例を説明する。第2の例と同様に、本例の有効性は、特に、被検眼Eに対して2回以上のスキャンが適用される場合に発揮される。
図6Cに示す画像群処理部80Cは、
図6Aと同様の画像群評価部81に加えて、
図6Bと同様の画像セット作成部82を含むが、本例の画像セット作成部82は選択部821を含んでいる。
【0121】
画像群処理部80Cには、被検眼Eに適用された2回以上のスキャンで収集された2以上の画像群が提供される。本例の画像群評価部81は、これらの画像群のそれぞれに対して品質評価を行ってもよいし、最初のスキャン(第1回目のスキャン)で収集された画像群に対してのみ品質評価を行ってもよい。画像セット作成部82は、画像群処理部80Bに入力された2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成する。この画像セット作成において、選択部821は、2以上の画像群のうちから所定の条件を満足する画像を選択する。
【0122】
所定の条件(画像選択条件)は、前述した画像群評価条件と同じであってもよいし、異なっていてもよい。例えば、画像群評価部81により一つひとつの画像の品質評価が行われた後に、2以上の画像群が選択部821に提供されるように構成されている場合、選択部821は、画像配列に関する条件(例えば、瞬き条件、眼球運動条件など)を考慮して画像選択を行うように構成されてよい。なお、画像選択条件はこれらの例に限定されず、また、画像群評価条件と画像選択条件との間の関係もこれらの例に限定されない。
【0123】
以下、選択部821が瞬き条件を考慮する場合と眼球運動条件を考慮する場合とについて説明する。なお、これら以外の条件を考慮する場合などについては、画像群評価部81に関する後述の具体例(
図7A~
図7Dを参照)と同様の処理を選択部821は実行することができる。
【0124】
瞬き条件を考慮した画像選択について説明する。なお、瞬き条件は「評価対象の画像が、瞬きの影響を受けていないこと」を確認するための条件である。2以上の画像群に含まれる画像について、選択部821は、例えば、被検眼Eの前眼部に照射されたスリット光の反射像が当該画像に含まれているか判定する。この判定は、瞬き中に撮影された画像にはスリット光の反射像が描出されないこと、及び、スリット光の反射像は他領域よりも顕著に明るく表現されることを利用した処理であり、例えば、当該画像における輝度分布に基づき実行される。
【0125】
一例として、選択部821は、当該画像から輝度ヒストグラムを作成し、所定閾値以上の輝度の画素が存在するか判断する。所定閾値以上の輝度が存在すると判定された場合、スリット光の反射像が当該画像に含まれていると判定される。本例は、処理が極めて簡便であるという利点を有するが、高輝度のノイズや外光の映り込みを誤検出するおそれがある。
【0126】
他の例として、選択部821は、当該画像から輝度ヒストグラムを作成し、所定閾値以上の輝度の画素が所定個数以上存在するか判定する。所定閾値以上の輝度の画素が所定個数以上存在するか判定すると判定された場合、スリット光の反射像が当該画像に含まれていると判定される。本例は、簡便な処理によって上記誤検出の防止を図ることができるという利点を有する。
【0127】
眼球運動条件を考慮した画像選択について説明する。なお、眼球運動条件は「評価対象の画像が、眼球運動の影響を受けていないこと」を確認するための条件である。2以上の画像群に含まれる画像について、選択部821は、例えば、当該画像とこれに隣接する画像との比較によって眼球運動の影響の有無を判定する。この判定は、動画撮影中に眼球運動が発生すると「画像の飛び」が生じることを利用した処理である。
【0128】
一例として、選択部821は、当該画像及び隣接画像のそれぞれからランドマークを検出し、これらランドマークの偏位量を算出し、この偏位量が所定閾値以上であるか判断する。偏位量が所定閾値以上であると判定された場合、眼球運動が発生したと判定される。ここで、ランドマークは、例えば、角膜、虹彩、瞳孔、隅角などであってよい。また、閾値は、例えば、撮影系3の撮影レートや、移動機構6による移動速度など、所定のスキャン条件に基づき算出される。
【0129】
他の例において、選択部821は、1つの画像から眼球運動の有無を判定するように構成されてもよい。例えば、撮影系3の撮影レートが低速である場合において、高速な眼球運動が発生すると、画像に「ブレ」が生じることがある。選択部821は、ブレ検出を利用することによって眼球運動の有無を判定することができる。ブレ検出は、典型的には、エッジ検出などの公知技術を用いて行われる。
【0130】
画像群評価部81の場合と同様に、選択部821は、入力された画像が上記の画像選択条件を満足するか判定するための人工知能エンジンを含んでいてもよい。
【0131】
画像セット作成部82により作成される画像セットに含まれる一連の画像は、スキャン範囲における複数の位置に関連付けられていてよい。例えば、選択部821は、スキャン範囲における複数の位置のそれぞれに1以上の画像を割り当てるように画像の選択を行うように構成されていてよい。
【0132】
具体例を説明する。前述したように、X方向に沿ったスキャン範囲が(N-1)個の区間に区分され、スキャン開始位置が第1番目の位置に設定され、スキャン終了位置が第N番目の位置に設定される(Nは2以上の整数)。これにより、スキャン範囲にN個の位置が設定される。N個の位置をB1、B2、B3、・・・、BNで表す。
【0133】
被検眼Eの前眼部に2回以上のスキャンが適用された結果、
図5に示す画像群F1、F2、F3、・・・、FNが取得されたとする。なお、
図5に示すN個の画像F1~FNは、上記の説明では1回のスキャンで得られた画像群とされているが、本明細書では、説明の簡略化のために、
図5に示すN個の画像F1~FNを任意の画像群(複数の画像)として参照することがある。例えば、本例の説明では、画像セットに含まれる一連の画像としてN個の画像F1~FNが参照される。
【0134】
このようなN個の位置をB1~BN及びN個の画像F1~FNについて、選択部821は、位置Bnに画像Fnを割り当てることができる。これにより、N個の位置Bn(n=1、2、・・・、N)に対応するN個の画像Fn(n=1、2、・・・、N)が得られ、例えば、画像群Fnを「一連の画像」とする画像セットが作成される。
【0135】
幾つかの例示的な態様では、第1回目のスキャンで得られた画像群の品質が良好でないと画像群評価部81により評価された場合、自動的に又はユーザーの指示に応じて第2回目のスキャンが行われる。前眼部に適用されるスキャンの回数が2回以上である場合、スリットランプ顕微鏡システム1は、前眼部に2回以上のスキャンを適用する動作と、それにより収集された2以上の画像群から一連の画像を選択する動作とを実行するが、これら動作の実行態様は任意であってよい。第1の例として、スリットランプ顕微鏡システム1は、第1回目のスキャンで得られた画像群の品質が良好でないと評価されたことに対応して、前眼部に対するスキャンと、このスキャンにより取得された画像群からの画像の選択とを、交互に繰り返すように構成されてよい。第2の例として、スリットランプ顕微鏡システム1は、第1回目のスキャンで得られた画像群の品質が良好でないと評価されたことに対応して、2回以上のスキャンをまとめて行った後に、それにより収集された2以上の画像群から一連の画像を選択するように構成されてよい。以下、これら2つの例について説明する。なお、画像群からの画像の選択の代わりに、又はそれに加えて、画像群評価部81による画像群の評価を行ってもよい。前述したように、画像群評価と画像選択とは、同様の処理、類似の処理、又は互換的な処理であってよい。幾つかの例示的な態様において、画像群評価として説明した事項を画像選択に適用することが可能であり、逆に、画像選択として説明した事項を画像群評価に適用することが可能である。
【0136】
第1回目のスキャンで得られた画像群の品質が良好でないと画像群評価部81により評価された後に実行されるスキャン及び画像選択の態様の第1の例は、スキャンと画像選択との交互反復である。より具体的には、第1の例では、例えば、前眼部へのスキャンの適用と、このスキャンで得られた画像群からの画像の選択との組が、所定回数繰り返し実行される。つまり、第1の例では、第1番目の組の動作(スキャン及び画像選択)、第2番目の組の動作(スキャン及び画像選択)、・・・、第U番目の組の動作(スキャン及び画像選択)の順に、U個の組の動作が実行される(Uは1以上の整数)。また、この交互反復の前に行われた第1回目のスキャンと、第1回目のスキャンで得られた画像群の品質評価(画像群評価部81)との組を、第0番目の組の動作と呼ぶこととする。
【0137】
ここで、第u番目の組におけるスキャンの回数は、1以上の任意の回数であってよい(u=0、1、・・・、U)。また、第u1番目の組におけるスキャンの回数と、第u2番目の組におけるスキャンの回数とは、等しくてもよいし、異なってもよい(u1=0、1、・・・、U;u2=0、1、・・・、U;u1≠u2)。
【0138】
第1の例において、選択部821は、既に行われた2回以上のスキャンで収集された2つ以上の画像群から画像を選択して暫定的画像セットを作成するように構成されてよい。つまり、スリットランプ顕微鏡システム1は、スキャンと画像選択との交互反復を実行中の任意の時点において、当該時点までに実施された2回以上のスキャンで得られた2以上の画像群から暫定的画像セットを作成するように構成されてよい。例えば、第u番目の組におけるスキャンが行われた後、選択部821は、第0番目の組から第u番目の組で得られた全ての画像のうちから暫定的画像セットを作成するように構成される。このような構成によれば、最終的な画像セットを構築するために、現時点までに得られた画像群から暫定的な画像セットを作成することができる。
【0139】
暫定的画像セットを作成する上記構成が適用される場合、次の構成を組み合わせることができる。被検眼Eの前眼部に新たなスキャンが適用されたとき、選択部821は、まず、この新たなスキャンで収集された新たな画像群から画像を選択する。続いて、選択部821は、この新たなスキャンよりも前に行われた1以上のスキャンに基づく暫定的画像セットに、この新たな画像群から選択された画像を付加することで新たな暫定的画像セットを作成する。例えば、第(u+1)番目の組におけるスキャンが行われた後、選択部821は、まず、第(u+1)番目の組で得られた画像群から画像を選択することができる。更に、選択部821は、第0番目の組から第u番目の組で得られた画像群に基づく暫定的画像セットに、第(u+1)番目の組で得られた画像群から選択された画像を付加することによって、新たな暫定的画像セットを作成することができる。このような構成によれば、前眼部にスキャンが適用される度に、このスキャンで得られた画像群に基づいて暫定的画像セットを逐次に更新することができる。これにより、最終的な画像セットの構築を確実且つ効率的に行うことが可能となる。
【0140】
暫定的画像セットを作成(及び更新)する上記構成が適用される場合、次の構成を組み合わせることができる。制御部7(又は画像セット作成部82(選択部821))は、暫定的画像セットに含まれる画像の個数をカウントする画像個数カウンタを含む。暫定的画像セットに含まれる画像の個数が所定の個数に達したとき、制御部7は、スキャンの適用と画像の選択との交互反復を終了するようにスキャン部(照明系2、撮影系3、移動機構6)及び選択部821を制御する。ここで、所定の個数は、最終的な画像セットに含まれる一連の画像の個数であり、事前に又は処理状況から設定される。また、暫定的画像セットに含まれる画像の個数が所定の個数に達したか否かの判定は、制御部7により実行される。この判定は、個数の比較のみであってよい。或いは、スキャン範囲における複数の位置と一連の画像とが関連付けられている場合(前述)、複数の位置の全てについて対応画像が割り当てられたか否か判定してもよい。このような構成によれば、最終的な画像セットのために必要な個数が得られたら、スキャンと画像選択との交互反復を自動で終了することができる。
【0141】
暫定的画像セットを作成(及び更新)する上記構成が適用される場合、次の構成を更に組み合わせることができる。制御部7は、スキャンと画像選択との交互反復の回数をカウントする反復回数カウンタを含む。カウントされる回数は、スキャンと画像選択との組(第1番目の組~第U番目の組)を単位として定義してもよいし、スキャン回数を単位として定義してもよい。反復回数が所定の回数に達したとき、制御部7は、スキャンの適用と画像の選択との交互反復を終了するようにスキャン部(照明系2、撮影系3、移動機構6)及び選択部821を制御する。スキャンと画像選択との組を単位として反復回数が定義される場合、所定の回数は、事前に設定された組の総数(U+1)に等しい。スキャン回数を単位として反復回数が定義される場合、所定の回数は、事前に設定された総スキャン回数に等しい。また、反復回数が所定の回数に達したか否かの判定は、制御部7により実行される。このような構成によれば、事前に設定された回数だけスキャン及び画像選択が繰り返された段階でこれを自動で終了することができる。本構成を用いない場合、最終的な画像セットの構築に必要な個数の画像が選択されるまでスキャン及び画像選択が繰り返されるため、被検者を疲労させるとともに撮影効率が低減する。特に、複数の被検者の撮影を順次に行う場合、撮影のスループットが大きく毀損される。
【0142】
以上のように、本態様は、スキャンと画像選択との交互反復を自動で終了するように構成されてよい。この自動終了の条件は上記した2つの例に限定されず、例えばユーザーからの指示入力であってもよい。或いは、スキャンと画像選択との交互反復の開始からの経過時間を計測し、所定の時間に達したときに交互反復を終了するようにしてもよい。なお、スキャンと画像選択との反復レートが一定である場合、経過時間に基づく自動終了制御は、上記した反復回数に基づく自動終了制御と同等である。画像セット作成部82は、スキャンと画像選択との交互反復が終了されたときの暫定的画像セットに基づいて画像セットを作成することができる。暫定的画像セットは、例えば、スキャン範囲に対応する一連の画像として画像セットに含まれる。スリットランプ顕微鏡システム1には、被検者ID、公的ID、氏名、年齢、性別など、所定の被検者情報が別途に入力される。画像セット作成部82は、このような被検者情報、被検眼情報(左眼/右眼を示す情報など)、撮影日時、撮影条件などを、一連の画像の付帯情報として構成することで、画像セットを作成することができる。また、画像セットは、スリットランプ顕微鏡システム1で得られた他の画像、他のモダリティで得られた画像、検査装置により取得された検査データなどを含んでいてもよい。以上で、スキャン及び画像選択の実行態様の第1の例の説明を終える。
【0143】
次に、第1回目のスキャンで得られた画像群の品質が良好でないと画像群評価部81により評価された後に実行されるスキャン及び画像選択の態様の第2の例について説明する。本例は、2回以上のスキャンをまとめて行った後に、それにより収集された2以上の画像群から一連の画像を選択するように構成される。そして、この2回以上のスキャンで収集された2つ以上の画像群と、その前に行われた第1回目のスキャンで得られた画像群とのうちから画像の選択が行われ、選択された一連の画像を含む画像セットが作成される。
【0144】
このような処理の具体例を説明する。選択部821は、まず、各スキャンに対応する画像群と、スキャン範囲における複数の位置(前述)とを対応付ける。これにより、スキャン範囲における複数の位置のそれぞれに対し、異なるスキャンに対応する2以上の画像が割り当てられる。
【0145】
続いて、スキャン範囲における複数の位置のそれぞれについて、選択部821は、当該位置に割り当てられた2以上の画像のうちから1つの画像を選択する。本例に適用される画像選択条件は、例えば、前述した瞬き条件及び眼球運動条件であってよい。これにより、スキャン範囲における複数の位置に対して1つずつ画像が割り当てられる。このようにして複数の位置に対応付けられた複数の画像が、画像セットに含まれる一連の画像として採用される。以上で、スキャン及び画像選択の実行態様の第2の例の説明を終える。
【0146】
画像群処理部80の第4の例を説明する。第2及び第3の例と同様に、本例の有効性は、特に、被検眼Eに対して2回以上のスキャンが適用される場合に発揮される。
図6Dに示す画像群処理部80Dは、
図6Aと同様の画像群評価部81と、
図6B又は
図6Cと同様の画像セット作成部82とに加えて、画像セット評価部83を含んでいる。
【0147】
画像セット評価部83は、画像セット作成部82により作成された画像セットの品質を評価する。この評価は、診断(読影)を有効に行うために十分な品質を画像セットが有しているか判定するものであり、この観点から評価項目や評価基準が決定される。評価項目や評価基準は、画像群評価条件の少なくとも一部及び/又は画像選択条件の少なくとも一部と共通であってよいが、それらに限定されない。
【0148】
画像セット評価部83は、画像セットの態様に応じて異なる評価を行うように構成されてもよい。例えば、暫定的画像セットに含まれる画像の個数が所定の個数に達したことに対応して作成された画像セットに適用される評価と、スキャン及び画像選択の交互反復の回数が所定の回数に達したことに対応して作成された画像セットに適用される評価とは、互いに異なってよい。なお、画像セットの態様に関わらず同じ評価を適用してもよい。
【0149】
画像セットの品質評価の例として、各画像の品質の評価(画像群の評価と同様であってよい)に加え、一連の画像の「配列順序」の評価、「画像の飛び(抜け)」の評価、「位置ずれ」の評価などがある。配列順序の入れ替わり、画像の飛び、位置ずれ等の画像セットの不具合は、眼球運動や固視ずれなどに起因して生じる。
【0150】
一連の画像の配列順序の評価について説明する。幾つかの例において、一連の画像と、スキャン範囲における複数の位置との間には、前述の対応関係(一対一対応)が設定されている。画像セット評価部83は、この対応関係を利用して配列順序の評価を行うことができる。
【0151】
ここで、スキャン範囲における複数の位置には、実空間における位置関係に対応した順序付けがなされている。一例を説明する。前述したように、X方向に沿ったスキャン範囲が(N-1)個の区間に区分され、スキャン開始位置からスキャン終了位置に向かって順に、N個の位置B1、B2、B3、・・・、BNが設定されているとする。つまり、N個の位置B1~BNには、実空間における位置関係に対応した順序付けが施されている。また、N個の位置B1~BNに対してN個の画像F1~FN(一連の画像)が一対一の関係で対応付けられているとする。
【0152】
このような前提の下、画像セット評価部83は、例えば、N個の位置B1~BNの配列順序(相対位置関係)にしたがってN個の画像F1~FNを配置する。この処理は、例えば、或る3次元座標系内にN個の位置B1~BNの座標を設定し、設定されたN個の座標にしたがってN個の画像F1~FNを配置する(埋め込む)ことにより実現される。より詳細には、画像セット評価部83は、例えば、N個の画像F1~FNからそれぞれスリット光照射領域A1~AN(2次元断面画像)を抽出し、3次元座標系内にN個の位置B1~BNの座標を設定し、設定されたN個の座標にしたがってN個の2次元断面画像A1~ANを埋め込むことができる。
【0153】
画像セット評価部83は、3次元座標系に埋め込まれた画像F1~FN(2次元断面画像A1~AN)を解析することで、配列順序が適切であるか評価することができる。例えば、画像セット評価部83は、画像F1~FN(2次元断面画像A1~AN)から注目領域(角膜前面、角膜後面、虹彩、瞳孔、水晶体前面、水晶体後面、隅角などの注目部位に対応する画像領域)を検出し、画像F1~FN(2次元断面画像A1~AN)の配列方向(本例ではX方向)における注目領域の形態(連結性、連続性など)に基づいて評価を行うことができる。例えば、所定寸法以上のギャップが注目領域に存在する場合、配列順序は適切でない(配列順序に入れ替わりが存在する)と判断される。
【0154】
他の例において、画像セット評価部83は、3次元座標系に埋め込まれた画像F1~FN(2次元断面画像A1~AN)から、X方向に沿った断面像を構築する。更に、画像セット評価部83は、この断面像の形態(連結性、連続性など)に基づいて評価を行うことができる。
【0155】
画像の飛びの評価や、位置ずれの評価についても、配列順序の評価と同じ要領で実行することが可能である。
【0156】
画像群評価部81や選択部821の場合と同様に、画像セット評価部83は、入力された画像セットが有効な診断のために十分な品質を有しているか評価するための人工知能エンジンを含んでいてもよい。
【0157】
画像セットの品質が良好であると画像セット評価部83により評価された場合、制御部7は、この画像セットを通信部9に送信させるための制御を行うように構成されてよい。例えば、制御部7は、この画像セットを含む送信用情報を準備し、この送信用情報を所定の外部装置に送信するように通信部9を制御する。
【0158】
スリットランプ顕微鏡システム1から画像セット等を出力する態様は、送信に限定されない。送信以外の出力態様の例として、記憶装置(データベースなど)への保存、記録媒体への記録、印刷媒体への印刷などがある。
【0159】
画像セットの品質が良好でないと画像セット評価部83により評価された場合、制御部7は、被検眼Eに対する新たなスキャンを行うための制御、つまり新たな画像群(新たな画像セット)を取得するための制御を行うように構成されてよい。例えば、制御部7は、所定の出力情報を表示及び/又は音声出力するように構成されてよい。所定の出力情報は、例えば、撮影に失敗したこと、又は、再撮影の必要があることなど、ユーザーに再撮影を促すための内容を有する。
【0160】
或いは、制御部7は、画像セットの品質が良好でないと画像セット評価部83により評価された場合、再撮影(スキャン及び画像セット作成の再度の実行)を自動で開始するために、少なくともスキャン部(照明系2、撮影系3、移動機構6)及び画像セット作成部82に指令を送るように構成されてよい。
【0161】
更に、画像群評価部81の幾つかの例について
図7A~
図7Dを参照しつつ説明する。なお、画像群評価部81はこれらの例に限定されず、任意の変形(付加、置換、省略など)が可能である。また、これらの例や変形のうちの2つ以上を少なくとも部分的に組み合わせることが可能である。
【0162】
画像群評価部81の第1の例について
図7A及び
図7Bを参照しつつ説明する。本例は、人工知能技術を利用して画像群の品質評価を行うものである。
図7Aに示す画像群評価部81Aは、推論モデル812Aを用いて画像群の品質評価を行う推論部811Aを含んでいる。
【0163】
推論モデル812Aは、複数の前眼部画像を含む訓練データを用いた機械学習によって予め構築される。推論モデル812Aを構築する装置(推論モデル構築装置)は、スリットランプ顕微鏡システム1(データ処理部8など)又はその周辺機器(コンピュータなど)に設けられてもよいし、他のコンピュータであってもよい。
【0164】
図7Bに示すモデル構築部90は、このような推論モデル構築装置の例であり、スリットランプ顕微鏡システム1又はその周辺機器に設けられているものとする。モデル構築部90は、学習処理部91と、ニューラルネットワーク92とを含む。
【0165】
ニューラルネットワーク92は、典型的には、畳み込みニューラルネットワーク(CNN)を含む。畳み込みニューラルネットワークの構造の一例を
図7Bに示す。
【0166】
入力層には、画像が入力される。入力層の後ろには、畳み込み層とプーリング層とのペアが複数配置されている。
図7Bに示す例には畳み込み層とプーリング層とのペアが3つ設けられているが、ペアの個数は任意である。
【0167】
畳み込み層では、画像から特徴(輪郭など)を把握するための畳み込み演算が行われる。畳み込み演算は、入力された画像に対する、この画像と同じ次元のフィルタ関数(重み係数、フィルタカーネル)の積和演算である。畳み込み層では、入力された画像の複数の部分にそれぞれ畳み込み演算を適用する。より具体的には、畳み込み層では、フィルタ関数が適用された部分画像の各画素の値に、その画素に対応するフィルタ関数の値(重み)を乗算して積を算出し、この部分画像の複数の画素にわたって積の総和を求める。このように得られた積和値は、出力される画像における対応画素に代入される。フィルタ関数を適用する箇所(部分画像)を移動させながら積和演算を行うことで、入力された画像の全体についての畳み込み演算結果が得られる。このような畳み込み演算によれば、多数の重み係数を用いて様々な特徴が抽出された画像が多数得られる。つまり、平滑化画像やエッジ画像などの多数のフィルタ処理画像が得られる。畳み込み層により生成される多数の画像は特徴マップと呼ばれる。
【0168】
プーリング層では、直前の畳み込み層により生成された特徴マップの圧縮(データの間引きなど)が行われる。より具体的には、プーリング層では、特徴マップ内の注目画素の所定の近傍画素における統計値を所定の画素間隔ごとに算出し、入力された特徴マップよりも小さな寸法の画像を出力する。なお、プーリング演算に適用される統計値は、例えば、最大値(max pooling)又は平均値(average pooling)である。また、プーリング演算に適用される画素間隔は、ストライド(stride)と呼ばれる。
【0169】
畳み込みニューラルネットワークは、畳み込み層とプーリング層との複数のペアによって処理を行うことにより、入力された画像から多くの特徴を抽出することができる。
【0170】
畳み込み層とプーリング層との最後のペアの後ろには、全結合層が設けられている。
図7Bに示す例においては2つの全結合層が設けられているが、全結合層の個数は任意である。全結合層では、畳み込みとプーリングとの組み合わせによって圧縮された特徴量を用いて、画像分類、画像セグメンテーション、回帰などの処理を行う。最後の全結合層の後ろには、出力結果を提供する出力層が設けられている。
【0171】
なお、幾つかの例示的な態様において、畳み込みニューラルネットワークは、全結合層を含まなくてもよいし(例えば、全層畳み込みネットワーク(FCN))、サポートベクターマシン、再帰型ニューラルネットワーク(RNN)などを含んでいてもよい。また、ニューラルネットワーク92に対する機械学習は、転移学習であってもよい。つまり、ニューラルネットワーク92は、他の訓練データ(訓練画像)を用いた学習が既に行われてパラメータ調整が為されたニューラルネットワークを含んでいてもよい。また、モデル構築部90(学習処理部91)は、学習済みのニューラルネットワーク(92)にファインチューニングを適用可能に構成されてもよい。ニューラルネットワーク92は、例えば、公知のオープンソースのニューラルネットワークアーキテクチャを用いて構築されたものであってよい。
【0172】
学習処理部91は、訓練データを用いた機械学習をニューラルネットワーク92に適用する。ニューラルネットワーク92が畳み込みニューラルネットワークを含んでいる場合、学習処理部91によって調整されるパラメータは、例えば、畳み込み層のフィルタ係数と、全結合層の結合重み及びオフセットとを含む。
【0173】
訓練データは、前述したように、複数の前眼部画像を少なくとも含んでいる。複数の前眼部画像は、典型的には、スリットランプ顕微鏡によって取得された画像であるが、これに限定されず、例えば、他の眼科モダリティ(眼底カメラ、OCT装置、SLO、手術用顕微鏡など)により取得された画像、他の診療科の画像診断モダリティ(超音波診断装置、X線診断装置、X線CT装置、磁気共鳴イメージング(MRI)装置など)により取得された画像、実際の画像を加工して生成された画像、擬似的な画像などを含んでいてもよい。また、データ拡張、データオーギュメンテーションなどの技術を用いて、訓練データの個数を増加させてもよい。
【0174】
推論モデルを構築するための訓練手法は任意であってよいが、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか2以上の組み合わせであってよい。
【0175】
幾つかの例示的な態様では、入力画像に最終出力のラベルが付された訓練データを用いて教師あり学習が実施される。例えば、訓練データに含まれる複数の前眼部画像のそれぞれには、読影可能又は読影不可能であることを示すラベルが予め付帯されている。ラベルは、例えば、医師又は他の推論モデルによって生成される。学習処理部91は、このような訓練データを用いた教師あり学習をニューラルネットワーク92に適用することによって推論モデル812Aを構築することができる。
【0176】
このようにして構築された本例の推論モデル812Aは、前眼部をスリット光でスキャンして得られた画像を入力とし、且つ、読影可能性を出力とした学習済みモデルである。なお、推論モデル812Aの出力である読影可能性は、評価対象の画像群が読影に適しているか否かを示す任意のパラメータであってよく、例えば、読影可能又は読影不可能の判別、読影を実施できる確率、読影を実施した場合の結果の妥当性(例えば、確度、精度)などであってよい。
【0177】
ニューラルネットワーク92の特定のユニットに処理が集中しないようにするために、学習処理部91は、幾つかのユニットをランダムに選んで無効化し、残りのユニットを用いて学習を行ってもよい(ドロップアウト)。
【0178】
推論モデル構築に用いられる手法は、ここに示した例に限定されない。例えば、サポートベクターマシン、ベイズ分類器、ブースティング、k平均法、カーネル密度推定、主成分分析、独立成分分析、自己組織化写像、ランダムフォレスト、敵対的生成ネットワーク(GAN)といった任意の手法を、推論モデルを構築するために利用することが可能である。
【0179】
図7Aに示す推論部811Aは、このような推論モデル812Aを用いて、被検眼Eの前眼部に対する1回のスキャンで収集された画像群の品質を評価する。より具体的に説明すると、まず、推論部811Aは、画像群又はそれに含まれる各画像を推論モデル812Aに入力する。推論モデル812Aは、入力された画像群又は画像から読影可能性を示す情報を導出する。
【0180】
推論部811Aは、推論モデル812Aから出力された読影可能性情報をそのまま推論結果としてもよいし、読影可能性情報に基づき推論結果を生成してもよい。後者の例として、推論部811Aは、読影可能性情報から表示用の情報を生成してもよいし、所定の統計処理を実行してもよい。
【0181】
画像群評価部81の第2の例について
図7Cを参照しつつ説明する。本例は、画像群を3次元画像化して品質評価を行うものである。
図7Cに示す画像群評価部81Bは、3次元画像構築部811Bと、比較部812Bと、評価処理部813Bとを含む。
【0182】
3次元画像構築部811Bは、被検眼Eの前眼部に対する1回のスキャン収集された画像群から3次元画像を構築する。例えば、3次元画像構築部811Bは、単一の3次元座標系に画像群を埋め込むことによってスタックデータを構築するように構成されてよい。このスタックデータは、例えば、
図5に示すN個の2次元断面画像A1~ANを、前述したN個の位置B1~BNの配列(相対位置関係)にしたがって3次元座標系に埋め込むことによって構築される。
【0183】
3次元画像構築部811Bは、画像群から構築されたスタックデータにボクセル化処理を適用してボリュームデータを構築するように構成されてもよい。更に、3次元画像構築部811Bは、スタックデータ又はボリュームデータに所定のレンダリングを適用することができる。レンダリングの例として、ボリュームレンダリング、サーフェスレンダリングなどがある。
【0184】
比較部812Bは、3次元画像構築部811Bにより構築された3次元画像(スタックデータ、ボリュームデータ、レンダリング画像など)を所定の基準3次元画像と比較する。基準3次元画像は、1つ以上の任意の個数だけ準備される。
【0185】
基準3次元画像は、正常眼(疾患が認められなかった眼(健常眼))に対応する1以上の基準3次元画像を含んでいてよい。正常眼に対応する基準3次元画像は、例えば、正常眼を撮影して取得された画像であってよい。この基準3次元画像を取得するための撮影モダリティは任意であってよいが、典型的には、スリットランプ顕微鏡システム1又はこれと同様のスリットランプ顕微鏡である。また、正常眼に対応する基準3次元画像は、正常眼のモデル(模型眼など)を撮影して取得された画像、又は、正常眼のモデル若しくは臨床例からコンピュータグラフィックスにより作成された画像であってもよい。
【0186】
基準3次元画像は、患眼に対応する1以上の基準3次元画像を含んでいてよい。患眼に対応する基準3次元画像は、例えば、特定の疾患の確定診断がなされた眼を撮影して取得された画像であってよい。この基準3次元画像を取得するための撮影モダリティは任意であってよいが、典型的には、スリットランプ顕微鏡システム1又はこれと同様のスリットランプ顕微鏡である。また、患眼に対応する基準3次元画像は、患眼のモデル(模型眼など)を撮影して取得された画像、又は、患眼のモデル若しくは臨床例からコンピュータグラフィックスにより作成された画像であってもよい。
【0187】
比較部812Bは、3次元画像構築部811Bにより構築された3次元画像と基準3次元画像とのマッチングを実行して所定のパラメータの値を算出する。この画像マッチングは、例えば、画像相関法、特徴ベースマッチング、領域ベースマッチング、機械学習(学習済みモデル)など、任意の手法を利用したものであってよい。また、算出されるパラメータは、相関値、マッチングパラメータ(角度、スケール、類似度、適合度など)、学習済みモデルの出力パラメータなど、任意のパラメータであってよい。
【0188】
このような画像マッチングは、典型的には、3次元画像に描出されている組織や部位(角膜、虹彩、瞳孔、隅角など)の形状や構造が、標準的な正常眼の形状や構造とどの程度類似しているか、及び/又は、標準的な患眼の形状や構造とどの程度類似しているかを、定量的に(つまり数値として)表現する処理である。
【0189】
評価処理部813Bは、比較部812Bにより算出されたパラメータ値に基づいて、当該画像群の品質の評価を行う。例えば、評価処理部813Bは、比較部812Bにより算出されたパラメータ値を所定の閾値と比較することによって当該画像群の品質を評価するように構成されてよい。或いは、評価処理部813Bは、比較部812Bにより算出されたパラメータ値が所定の範囲に含まれるか否か判断することによって当該画像群の品質を評価するように構成されてよい。なお、評価処理部813Bが実行する処理の手法はこれらに限定されず、或るパラメータの値から評価結果を導出するために用いることが可能な任意の手法であってよい。
【0190】
3次元画像構築を利用した画像群の品質評価は本例に限定されない。例えば、画像群評価部81は、画像セット評価部83と同じ要領で、画像群を構成する一連の画像の配列順序の評価、画像の飛びの評価、及び、位置ずれの評価のいずれか1つ以上の評価処理を実行可能に構成されていてもよい。
【0191】
画像群評価部81の第3の例について
図7Dを参照しつつ説明する。本例は、画像群の画質の定量的評価によって品質を評価するものである。
図7Dに示す画像群評価部81Cは、評価データ生成部811Cと、評価処理部812Cとを含む。
【0192】
評価データ生成部811Cは、被検眼Eの前眼部に対する1回のスキャンで収集された画像群に含まれる画像から画質評価データを求める。画質評価データは、画像群の画質を定量的に表現したものである。
【0193】
評価データ生成部811Cが実行する画質評価処理について幾つかの例を説明する。幾つかの例示的な態様において、評価データ生成部811Cが実行する画質評価処理は任意の処理であってよく、例えば、信号対雑音比(SNR)、コントラスト対雑音比(CNR)、二乗平均平方根(RMS)粒状度、ウィーナースペクトル(Wiener Spectrum)、変調伝達関数(MTF)、品質指標(Quality Index;QI)など、任意の公知技術を利用した処理であってよい。
【0194】
例えば、評価データ生成部811Cは、画像群の画質評価データとして、所定の画質評価指標の値(画質評価値)を算出する。画質評価値は、画像の品質を定量的に表現する任意のパラメータであってよく、典型的には、画像の品質が高いほど画質評価値も大きくなる。
【0195】
画質評価値の算出方法の例として、OCT画像の画質評価に利用されているImage Quality値(IQ値)の算出方法を以下に説明する。まず、評価データ生成部811Cは、評価対象の画像に設定された評価領域に対して所定の解析処理(例えば、セグメンテーション)を適用することにより、前眼部の組織(部位)に相当する画像領域(組織画像領域)と、それ以外の画像領域(背景領域、非組織画像領域)とを検出する。次に、評価データ生成部811Cは、組織画像領域における輝度のヒストグラムを生成し、且つ、背景領域における輝度のヒストグラムを生成する。続いて、評価データ生成部811Cは、これら2つのヒストグラムの重なり具合から画質評価値(IQ値)を算出する。例えば、双方のヒストグラムが完全に重なっている場合にはIQ値=0となり、双方のヒストグラムが完全に分離している場合にはIQ値=100となるように、範囲[0,100]においてIQ値が定義される。この画質評価演算は、例えば、2つのヒストグラムの正規化、確率分布関数の生成、所定の演算式を用いたIQ値の算出などを含んでいてよい。
【0196】
このように、評価データ生成部811Cは、評価対象の画像において前眼部の組織に相当する組織画像領域と、背景領域とを特定する処理と、組織画像領域における輝度の度数分布を示す第1ヒストグラムを作成する処理と、背景領域における輝度の度数分布を示す第2ヒストグラムとを作成する処理と、第1ヒストグラム及び第2ヒストグラムに基づいて画質評価データとしての画質評価値(IQ値)を算出する処理とを実行するように構成されていてよい。
【0197】
評価処理部812Cは、評価データ生成部811Cにより生成された画質評価データに基づいて画像群の品質の評価を行う。画質評価データに基づく品質評価について幾つかの手法を以下に説明するが、品質評価手法はこれらに限定されるものではなく、任意であってよい。
【0198】
画質評価データに基づく品質評価の第1の例を説明する。画像群を構成する各画像についてIQ値が得られた場合において、評価処理部812Cは、この画像群について得られた複数のIQ値のそれぞれを所定の閾値と比較する。複数のIQ値の全てが閾値以上である場合、評価処理部812Cは、この画像群の品質は良好であると判定する。一方、複数のIQ値のいずれかが閾値未満である場合、評価処理部812Cは、この画像群の品質は良好でないと判定する。
【0199】
画質評価データに基づく品質評価の第2の例を説明する。画像群を構成する各画像についてIQ値が得られた場合において、評価処理部812Cは、この画像群について得られた複数のIQ値のうち最も低いIQ値を選択し、この最低IQ値を所定の閾値と比較する。最低IQ値が閾値以上である場合、評価処理部812Cは、この画像群の品質は良好であると判定する。一方、最低IQ値が閾値未満である場合、評価処理部812Cは、この画像群の品質は良好でないと判定する。
【0200】
画質評価データに基づく品質評価の第3の例を説明する。画像群を構成する各画像についてIQ値が得られた場合において、評価処理部812Cは、この画像群について得られた複数のIQ値に所定の統計演算を適用して統計値を算出する。この統計値の種類は任意であってよく、例えば、平均値、最小値、最大値、最頻値、中間値などであってよい。なお、統計値が最小値であるケースは、上記の第2の例に相当する。評価処理部812Cは、算出された統計値を所定の閾値と比較する。統計値が閾値以上である場合、評価処理部812Cは、この画像群の品質は良好であると判定する。一方、統計値が閾値未満である場合、評価処理部812Cは、この画像群の品質は良好でないと判定する。
【0201】
評価処理部812Cが実行する処理は、評価データ生成部811Cにより生成された画質評価データに基づく処理に限定されない。例えば、評価処理部812Cは、画像群を構成する一連の画像の配列順序の評価、画像の飛びの評価、及び、位置ずれの評価のいずれか1つ以上の評価処理を実行可能に構成されていてもよい(いずれの評価処理も前述した)。
【0202】
<加工画像構築部85>
加工画像構築部85は、スリット光を用いた前眼部スキャンで収集された画像群から加工画像を構築する。加工画像構築には、画像群に含まれる少なくとも1つの画像が使用される。加工画像構築は、任意の画像処理を含んでいてよい。幾つかの例を以下に説明するが、加工画像構築に含まれる処理はこれらに限定されない。
【0203】
幾つかの例示的な態様の加工画像構築部85は、画像群から3次元画像を構築する3次元画像構築を実行可能であってよい。画像群から構築される3次元画像は、例えばスタックデータ又はボリュームデータであってよい。本例の加工画像構築部85は、前述の3次元画像構築部811Bと同様の構成を有していてよい。例えば、加工画像構築部85を構成するハードウェア及びソフトウェアの組み合わせと、3次元画像構築部811Bを構成するハードウェア及びソフトウェアの組み合わせとが、少なくとも部分的に共通であってよい。
【0204】
幾つかの例示的な態様の加工画像構築部85は、3次元画像のレンダリング画像を構築するレンダリング処理を実行可能であってよい。加工画像構築部85は、例えば、3次元画像構築によって得られたスタックデータ又はボリュームデータに所定のレンダリング処理を適用することができる。レンダリング処理の例として、ボリュームレンダリング、サーフェスレンダリングなどがある。本例の加工画像構築部85も、3次元画像構築部811Bと同様の構成を有していてよい。
【0205】
幾つかの例示的な態様の加工画像構築部85は、画像の部分領域を特定する処理(セグメンテーション)、特定された部分領域を抽出する処理(クロッピング、トリミング)などを実行可能であってよい。例えば、加工画像構築部85は、画像群の含まれる画像、3次元画像、又はレンダリング画像から、被検眼Eの所定部位に相当する注目領域を抽出可能であってよい。
【0206】
<部分領域特定部86>
部分領域特定部86は、スリットランプ顕微鏡システム1により取得された被検眼Eの画像を解析して、前眼部の所定部位に相当する部分領域を特定する。この所定部位は、表示条件選択部71が表示条件情報100から表示条件(表示色、表示階調等)を選択するための入力情報である前眼部の部位と同じである。
【0207】
部分領域特定部86が実行する処理の例としてセグメンテーションがある。セグメンテーションとしては、機械学習を用いたセマンティックセグメンテーション、エッジ検出などの非機械学習アルゴリズムを用いたセグメンテーション、及び、これらの組み合わせがある。部分領域特定部86は、画像に対してユーザーが指定した領域を前眼部の所定部位に相当する部分領域として採用するように構成されてもよいし、画像に対してユーザーが指定した領域に基づいて前眼部の所定部位に相当する部分領域を決定するように構成されてもよい。これらは部分領域特定部86が実行する処理の例示に過ぎず、他の処理や他の手法を用いてもよい。
【0208】
幾つかの例示的な態様において、この所定部位は、スリットランプ顕微鏡システム1、他の装置若しくはシステム、又はユーザーによって、予め又は検査時に指定される。或る態様では、被検眼Eの前眼部の画像を解析することによって所定部位が指定される。他の態様では、被検眼Eの前眼部の画像の参照により手作業で所定部位が指定される。更に他の態様では、被検者の医療情報(電子カルテ、読影レポートなど)の参照によって、過去に適用された部位が再び所定部位として指定される。このようにして指定される前眼部の部位(つまり、部分領域特定部86による特定対象である前眼部の部位)を対象部位と呼ぶことがある。
【0209】
対象部位は、例えば、角膜、虹彩、水晶体、隅角、前房、房水中の浮遊物、関心部位、人工物などであってよい。典型的な態様において、対象部位は、表示条件情報100に表示条件が定義されている部位のいずれかである。なお、表示条件が定義されていない部位を部分領域特定部86によって特定してもよい。この場合、表示条件選択部71は、例えば、特定された部位の近傍に位置する他の部位の表示条件を表示条件情報100から選択することができる。対象部位の個数は、1以上の任意の数であってよい。
【0210】
表示条件選択部71は、対象部位に対応する表示条件を表示条件情報100から選択する。更に、表示制御部72は、表示条件選択部71により選択された表示条件に基づいて、スリットランプ顕微鏡システム1により取得された被検眼Eの画像を表示装置11に表示させる。表示制御部72は、少なくとも、表示条件選択部71により選択された表示条件に含まれる表示色及び表示階調を部分領域に適用して画像を表示させる。スリットランプ顕微鏡システム1により階調画像(カラー画像及びグレースケール画像のいずれでもよい)が取得され、且つ、表示条件が表示色コードを含む場合、表示制御部72は、部分領域特定部86によりこの階調画像から特定された部分領域(対象部位に対応する画像領域)の画素の階調値を、対象部位に対応する表示色コードに基づいて変換することができる。これにより、対象部位に相当する階調画像中の部分が当該対象部位に応じた階調値で表示されるため、対象部位の表示品質が向上し、観察を好適に行うことが可能になる。
【0211】
部分領域特定部86が実行する処理について幾つかの例を説明する。部分領域特定部86は、被検眼Eの前眼部の画像を2以上の部分領域に分割する処理を実行する。なお、「画像を分割する」とは、画像を複数の部分領域に分類すること、つまり、画像を構成する複数の画素からなる集合を複数の部分集合に分けること(或いは、画像を構成する各画素に対していずれかの部分領域に対応するラベルを付与すること)を少なくとも含む。なお、上記分類処理の対象となる複数の画素は、当該画像を構成する全ての画素であってもよいし、一部の画素であってもよい。さらに、画像分割処理は、上記分類処理により得られた部分領域を元の画像から取り出す処理、つまり、部分領域を抽出する処理を含んでいてもよい。この場合、例えば、後段の表示処理において、抽出された複数の部分領域を再度合成することによって表示画像が構築される。
【0212】
部分領域特定部86は、被検眼Eの前眼部の画像を解析することによって、前眼部の1以上の対象部位のそれぞれに相当する画像領域を特定する。対象部位は、解剖学的な組織や病変部などには限定されず、前眼部の画像を解析して得られた領域や、被検眼の画像を参照して手動で設定された領域なども含む概念であってよい。
【0213】
図3の表示条件情報100dのように、表示条件情報100が1以上の関心領域に関する表示条件を含む場合について説明する。関心領域は、診断において注目される箇所であり、例えば、病変、異常、診断対象部位、治療対象部位などであってよい。部分領域特定部86は、スリットランプ顕微鏡システム1により取得された前眼部の画像を解析して、所定の関心部位に相当する関心領域を特定することができる。例えば、部分領域特定部86は、セグメンテーション、画像マッチング、輝度解析、色解析などの画像解析処理を前眼部の画像に適用することによって関心領域を特定することができる。表示条件選択部71は、この関心部位に対応する表示条件を表示条件情報100dから選択することができる。表示制御部72は、表示条件選択部71により選択された表示条件(表示色「C
9」、表示階調「A
9」)を、部分領域特定部86により特定された関心領域に適用し、この前眼部の画像を表示させることができる。これにより、関心領域(関心部位の画像)の表示品質が向上し、関心部位の観察を好適に行うことが可能になる。
【0214】
図3の表示条件情報100dのように、表示条件情報100が背景に関する表示条件を含む場合について説明する。前述したように、背景領域は、例えば、眼の外部の空間(空気)などであってよい。部分領域特定部86は、スリットランプ顕微鏡システム1により取得された前眼部の画像を解析して、背景に相当する画像領域(背景画像領域)を特定することができる。例えば、部分領域特定部86は、セグメンテーション、画像マッチング、輝度解析、色解析などの画像解析処理を前眼部の画像に適用することによって背景画像領域を特定することができる。表示条件選択部71は、背景に対応する表示条件を表示条件情報100dから選択することができる。表示制御部72は、表示条件選択部71により選択された表示条件(表示色「C
10」、表示階調「A
10」)を、部分領域特定部86により特定された背景画像領域に適用し、この前眼部の画像を表示させることができる。これにより、背景画像領域の表示品質が向上し、背景だけでなく背景以外の領域の観察を好適に行うことが可能になる。例えば、背景と背景以外との境界を把握することが容易になる。
【0215】
図3の表示条件情報100dのように、表示条件情報100が人工物に関する表示条件を含む場合について説明する。前述したように、人工物は、IOL、フェイキックIOL、ICL、MIGSデバイス、ステントなどであってよい。部分領域特定部86は、スリットランプ顕微鏡システム1により取得された前眼部の画像を解析して、人工物に相当する画像領域(人工物画像領域)を特定することができる。例えば、部分領域特定部86は、セグメンテーション、画像マッチング、輝度解析、色解析などの画像解析処理を前眼部の画像に適用することによって人工物画像領域を特定することができる。表示条件選択部71は、人工物に対応する表示条件を表示条件情報100dから選択することができる。表示条件情報100dのように2以上の人工物に関する表示条件が含まれている場合、スリットランプ顕微鏡システム1(例えば、部分領域特定部86又は表示条件選択部71)は、部分領域特定部86により人工物画像領域として特定された人工物の種類を識別し、識別された種類の人工物に対応する表示条件を表示条件選択部71によって選択することができる。人工物の種類を識別する処理は、例えばセマンティックセグメンテーションを用いて行うことができる。表示制御部72は、表示条件選択部71により選択された表示条件(例えば、表示色「C
7」、表示階調「A
7」)を、部分領域特定部86により特定された人工物画像領域に適用し、この前眼部の画像を表示させることができる。これにより、人工物画像領域の表示品質が向上し、人工物の観察を好適に行うことが可能になる。
【0216】
部分領域特定部86は、前述した画像群に含まれる少なくとも1つの画像のそれぞれを解析して対象部位に相当する部分領域を特定してもよい。例えば、部分領域特定部86は、画像群に含まれる任意個数の画像から部分領域を特定してもよい。表示制御部72は、画像群に含まれる少なくとも1つの画像から特定された少なくとも1つの部分領域に対して、この対象部位に対応する表示条件を適用して当該少なくとも1つの画像を表示させることができる。つまり、表示制御部72は、部分領域が特定された画像それぞれについて、その部分領域がこの対象部位に対応する条件で表示されるように、その画像を表示させることができる。画像群に含まれる2つ以上の画像に対してこのような処理を実行する場合、これらの画像に描出された対象部位を同じ条件で表示させることが可能となるため、ユーザーは、画像間における対象部位の比較などを好適に行うことができる。
【0217】
部分領域特定部86は、加工画像構築部85により構築された加工画像を解析して対象部位に相当する部分領域を特定してもよい。例えば、部分領域特定部86は、3次元画像から対象部位に相当する部分領域を特定することや、レンダリング画像から対象部位に相当する部分領域を特定することが可能であってよい。表示制御部72は、加工画像から特定された部分領域に対して、この対象部位に対応する表示条件を適用して当該加工画像を表示させることができる。これにより、対象部位を観察する自由度が向上する。例えば、対象部位を3次元的に観察することや、対象部位を所望の方向から観察することや、対象部位の所望の断面を観察することや、対象部位の所望の部分を詳細に観察することなどが可能になる。
【0218】
<通信部9>
通信部9は、スリットランプ顕微鏡システム1と他の装置(外部装置)との間におけるデータ通信を行う。すなわち、通信部9は、他の装置へのデータの送信と、他の装置から送信されたデータの受信とを行う。
【0219】
例えば、通信部9は、被検眼Eの前眼部をスリット光でスキャンして収集された画像群の少なくとも一部の画像を他の装置(第1外部装置)に向けて送信することができる。また、通信部9は、データ処理部8によりこの画像群から生成されたデータを他の装置(第2外部装置)に向けて送信することができる。第1外部装置と第2外部装置とは同一の装置であってもよいし、異なる装置であってもよい。第1外部装置と第2外部装置とが同一である場合、この外部装置は、例えば、読影端末、読影装置、及び、データ処理部8とは異なる処理を実行するコンピュータのいずれかであってよい。他方、第1外部装置と第2外部装置とが異なる場合、例えば、第1外部装置は、読影端末、読影装置、データ処理部8と同様の処理を実行するコンピュータ、及び、データ処理部8とは異なる処理を実行するコンピュータのいずれかであってよく、第2外部装置は、読影端末、読影装置、及び、データ処理部8とは異なる処理を実行するコンピュータのいずれかであってよい。第1外部装置と第2外部装置とが異なる場合、制御部7は、送信されるデータの種類に応じて送信先となる外部装置を選択するように構成されていてよい。
【0220】
通信部9が実行するデータ通信の方式は任意である。例えば、通信部9は、インターネットに準拠した通信インターフェイス、専用線に準拠した通信インターフェイス、LANに準拠した通信インターフェイス、近距離通信に準拠した通信インターフェイスなど、各種の通信インターフェイスのうちの1以上を含む。データ通信は有線通信でも無線通信でもよい。
【0221】
通信部9により送信されるデータ及び/又は受信されるデータは暗号化されていてよい。暗号化が用いられる場合、例えば、制御部7及び/又はデータ処理部8は、通信部9により送信されるデータを暗号化する暗号化処理部、及び、通信部9により受信されたデータを復号化する復号化処理部の少なくとも一方を含む。
【0222】
<他の要素>
図1A及び
図1Bに示す要素に加え、スリットランプ顕微鏡システム1は、ユーザーインターフェイスを備えていてもよい。このような構成の例を
図8に示す。本例の構成は、
図1Bの構成の代わりに適用可能である。本例のスリットランプ顕微鏡システム1は、ユーザーインターフェイス(UI)12を含む。ユーザーインターフェイス12は、表示デバイス121と、操作デバイス122とを含む。
【0223】
表示デバイス121は、表示制御部72の制御の下に動作する。表示デバイス121はLCDなどのフラットパネルディスプレイであってよい。操作デバイス122は、スリットランプ顕微鏡システム1を操作するためのデバイスや、情報入力を行うためのデバイスを含む。操作デバイス122は、例えば、ボタン、スイッチ、レバー、ダイアル、ハンドル、ノブ、マウス、キーボード、トラックボール、操作パネルなどを含む。ユーザーインターフェイス12は、タッチスクリーンのように表示機能及び操作機能の双方を有するデバイスを含んでもよい。
【0224】
ユーザーインターフェイス12は、例えば、対象部位の指定及び/又は変更、画像の部分領域の指定及び/又は変更、表示条件の指定及び/又は変更、表示条件情報100の生成及び/又は編集などに使用可能である。
【0225】
幾つかの例示的な態様において、表示制御部72は、スリットランプ顕微鏡システム1により取得された画像を表示デバイス121に表示させることができる。ユーザーは、操作デバイス122を用いて、表示された画像の部分領域を指定する操作を行うことができる。また、ユーザーは、指定された部分領域に対応する表示条件を変更する操作を行うことができる。表示制御部72は、ユーザーにより指定された表示条件を、ユーザーにより指定された部分領域に適用して、表示デバイス121に当該画像を表示させることができる。これにより、画像中の所望の部分を所望の条件で表示させることが可能となる。
【0226】
前述したように、スリットランプ顕微鏡システム1は、被検眼Eの複数の前眼部画像(画像群、画像群の一部、画像セット、画像セットの一部など)を取得することが可能である。ユーザーは、これら前眼部画像のうちの1つの画像(又は、2つ以上の画像)に対して、その部分領域を指定することができる。ユーザーにより部分領域が指定された画像を指定画像と呼ぶことがある。
【0227】
部分領域特定部86は、複数の前眼部画像のうち指定画像以外の1つ以上の画像の部分領域を、指定画像の部分領域に基づいて特定することができる。この部分領域特定処理は、例えば、指定画像とこれに隣接する画像との比較によって行われる。或いは、この部分領域特定処理は、指定画像と他の画像との間の画像相関や画像マッチングなどによって、指定画像の部分領域に対応する他の画像の画像領域を特定することによって行われる。これにより、手作業での部分領域特定を1つ(以上)の画像に対して行うだけで、他の画像の部分領域が自動で設定されるので、作業に掛かる時間や手間を低減することができる。
【0228】
更に、このようにして指定された他の画像の部分領域に対して、指定画像の部分領域の表示条件を割り当てることができる。これにより、手作業での表示条件指定を1つ(以上)の画像に対して行うだけで、他の画像の表示条件が自動で設定されるので、作業に掛かる時間や手間を低減することができる。
【0229】
<アライメント>
被検眼Eに対するスリットランプ顕微鏡システム1のアライメントについて説明する。一般に、アライメントは、被検眼Eの撮影や測定のために好適な位置に装置光学系を配置させる動作である。本態様のアライメントは、
図5に示すような複数の前眼部画像(一連の画像、動画像、画像群、画像セットなど)を取得するために好適な位置に照明系2及び撮影系3を配置させる動作である。
【0230】
眼科装置のアライメントには様々な手法がある。以下、幾つかのアライメント手法を例示するが、本態様に適用可能な手法はこれらに限定されない。
【0231】
本態様に適用可能なアライメント手法としてステレオアライメントがある。ステレオアライメントは、2以上の異なる方向から前眼部を撮影可能な眼科装置において適用可能であり、その具体的な手法は、本出願人による特開2013-248376号公報などに開示されている。ステレオアライメントは、例えば次の工程を含む:2以上の前眼部カメラが前眼部を異なる方向から撮影して2以上の撮影画像を取得する工程;プロセッサがこれら撮影画像を解析して被検眼の3次元位置を求める工程;求められた3次元位置に基づいてプロセッサが光学系の移動制御を行う工程。これにより、光学系(本例では照明系2及び撮影系3)が、被検眼に対して好適な位置に配置される。典型的なステレオアライメントでは、被検眼の瞳孔(瞳孔の中心又は重心)の位置が基準とされる。
【0232】
このようなステレオアライメントの他にも、アライメント光により得られるプルキンエ像を利用した手法や、光テコを利用した手法や、アライメント指標を利用した手法など、任意の公知のアライメント手法を採用することが可能である。プルキンエ像を利用した手法や光テコやアライメント指標を利用した手法では、被検眼の角膜頂点の位置が基準とされる。
【0233】
なお、以上の例示を含む従来の典型的なアライメント手法は、被検眼の軸と光学系の光軸とを一致させることを目的として行われるが、本態様では、スキャン開始位置に対応する位置に照明系2及び撮影系3を配置させるようにアライメントを実行することが可能である。
【0234】
本態様におけるアライメントの第1の例として、上記したアライメント手法のいずれかを適用して被検眼Eの瞳孔又は角膜頂点を基準としたアライメントを行った後、予め設定された角膜半径の標準値に相当する距離だけ、又は、予め設定された角膜半径の標準値に所定値を加算した値に相当する距離だけ、照明系2及び撮影系3を(X方向に)移動することができる。なお、標準値を用いる代わりに、予め取得された被検眼Eの角膜半径の測定値を用いてもよい。
【0235】
第2の例として、上記したアライメント手法のいずれかを適用して被検眼Eの瞳孔又は角膜頂点を基準としたアライメントを行った後、被検眼Eの前眼部の画像を解析して角膜半径を測定し、この測定値に相当する距離だけ、又は、この測定値に所定値を加算した値に相当する距離だけ、照明系2及び撮影系3を(X方向に)移動することができる。本例で解析される前眼部の画像は、例えば、撮影系3により得られた前眼部画像、又は、他の画像である。他の画像は、前眼部カメラにより得られた画像、前眼部OCTにより得られた画像など、任意の画像であってよい。
【0236】
第3の例として、ステレオアライメント用の前眼部カメラ又は撮影系3により得られた前眼部の画像を解析して角膜の第1端部を求め、ステレオアライメントを適用することにより、この第1端部に対応する位置に、又は、この第1端部から所定距離だけ外側に偏位した位置に、照明系2及び撮影系3を移動することができる。
【0237】
なお、上記したアライメント手法のいずれかを適用して被検眼Eの瞳孔又は角膜頂点を基準としたアライメントを実行し、これにより決定された位置からスリット光によるスキャンを開始するようにしてもよい。この場合においても、角膜Cを含む3次元領域(例えば、角膜Cの全体を含む3次元領域)をスキャンするようにスキャンシーケンスを設定することができる。例えば、瞳孔又は角膜頂点を基準としたアライメントにより決定された位置から左方にスキャンを行った後、右方にスキャンを行うように、スキャンシーケンスが設定される。
【0238】
<画像の表示>
スリットランプ顕微鏡システム1により取得された画像の表示に関する幾つかの例を説明する。
【0239】
画像表示の第1の例は、スリットランプ顕微鏡システム1により複数の前眼部画像が取得された場合に、同じ対象部位を同じ条件で表示するものである。本例では、スリットランプ顕微鏡システム1は、被検眼の2以上の前眼部画像を取得する。2以上の前眼部画像は、画像群(の一部)でもよいし、画像セット(の一部)でもよいし、これら以外でもよい。部分領域特定部86は、これらの前眼部画像のそれぞれから対象部位に相当する部分領域を特定する。表示制御部72は、これらの前眼部画像から特定された2以上の部分領域のそれぞれに対し、対象部位に対応する表示条件を適用する。更に、表示制御部72は、それぞれの部分領域に同じ表示条件が適用された2以上の前眼部画像を表示装置11(表示デバイス121)に表示させる。これらの前眼部画像を表示させる態様は任意であり、例えば、並列表示、順次表示、又はこれらの組み合わせであってよい。並列表示は、これらの前眼部画像のうちの少なくとも2つの前眼部画像を並べて表示させる手法である。順次表示は、これらの前眼部画像を切り替えて(置換して)表示させる手法である。順次表示における画像の切り替えのトリガーは、自動又は手動で発行される。自動発行による順次表示の例としてスライドショーがある。
【0240】
画像表示の第2の例は、画像の比較観察を可能とするものであり、フォローアップなどに有効である。本例では、記憶部10に前眼部画像(第1の前眼部画像)が記憶される。第1の前眼部画像は、任意の画像であってよく、例えば、過去に取得された被検眼Eの前眼部の画像、他の眼の前眼部の画像、又は、前眼部の模擬画像(模型眼の画像、コンピュータグラフィックスで作成された画像など)であってよい。第1の前眼部画像は、例えば、正常眼の画像、又は、特定の疾病を患っている眼(病眼)の画像であってよい。第1の前眼部画像は、スリットランプ顕微鏡システム1により取得された画像でもよいし、他の装置又はシステムにより取得又は作成された画像でもよい。部分領域特定部86は、対象部位に相当する第1の前眼部画像の部分領域(第1の部分領域)を特定する。また、部分領域特定部86は、前述したように、スリットランプ顕微鏡システム1により(新たに)取得された前眼部画像(第2の前眼部画像)において、対象部位に相当する部分領域(第2の部分領域)を特定する。表示制御部72は、第1の部分領域及び第2の部分領域のそれぞれに対し、対象部位に対応する表示条件を適用する。つまり、第1の部分領域及び第2の部分領域には、同じ表示条件が適用される。更に、表示制御部72は、第1の部分領域及び第2の部分領域に同じ表示条件が適用された第1の前眼部画像及び第2の前眼部画像を表示装置11(表示デバイス121)に表示させる。第1の前眼部画像及び第2の表示画像を表示させる態様は任意であり、第1の例と同様であってよい。なお、本例では2つの前眼部画像に関する処理について説明したが、3つ以上の前眼部画像に対して同様の処理を適用してもよい。
【0241】
<その他の事項>
スリットランプ顕微鏡システム1は、被検眼Eを固視させるための光(固視光)を出力する固視系を備えていてよい。固視系は、典型的には、少なくとも1つの可視光源(固視光源)、又は、風景チャートや固視標等の画像を表示する表示デバイスを含む。固視系は、例えば、照明系2又は撮影系3と同軸又は非同軸に配置される。固視系は、装置光学系の光路を通じて固視標を被検者に提示する内部固視系、及び/又は、当該光路の外から固視標を被検者に提示する外部固視系を含んでいてよい。
【0242】
スリットランプ顕微鏡システム1により取得可能な画像の種別は、
図5に示すような複数の前眼部画像に限定されない。例えば、スリットランプ顕微鏡システム1は、複数の前眼部画像に基づく3次元画像、この3次元画像に基づくレンダリング画像、徹照像、被検眼に装用されたコンタクトレンズの動きを表す動画像、蛍光剤適用によるコンタクトレンズと角膜表面との隙間を表す画像などがある。レンダリング画像については他の態様において説明する。徹照像は、照明光の網膜反射を利用して眼内の混濁や異物を描出する徹照法により得られる画像である。なお、眼底撮影、角膜内皮細胞撮影、マイボーム腺撮影などが可能であってもよい。
【0243】
スリットランプ顕微鏡システム1(データ処理部8)は解析処理を実行可能であってもよい。例えば、スリットランプ顕微鏡システム1は、任意の前眼部パラメータを算出可能であってよい。前眼部パラメータは、前眼部の形態を表す値である。前眼部パラメータの例として、角膜前面曲率半径、角膜後面曲率半径、水晶体前面曲率半径、水晶体後面曲率半径、角膜径(縦径、横径(White-to-White))、角膜厚(中心厚、周辺厚)、水晶体厚、前房深度、前房容積、瞳孔径、瞳孔中心(偏心)などがある。また、前眼部パラメータは、形状分布データであってよく、例えば、軸方向湾曲マップ(アキシャル曲率マップ)、接曲率マップ(タンジェンシャル曲率マップ)、隆起マップ(エレベーションマップ)、屈折力マップ、厚さマップ(パキメトリーマップ)、波面収差マップなど、各種の角膜形状マップであってよい。また、前眼部パラメータは、隅角パラメータを含んでいてもよい。隅角パラメータの例として、AOD(angle opening distance)、ACA(anterior chamber angle)、TISA(trabecular iris space area)、ARA(angle recess area)、AtA(angle-to-angle distance)などが知られている。前眼部パラメータ演算の手法は公知である。典型的には、前眼部パラメータ演算は、計測対象となる部位及び/又は位置を特定するための処理(例えば、セグメンテーション、特徴点検出など)と、特定された部位及び/又は位置に基づき前眼部パラメータの値を求める計測処理(例えば、距離計測、比演算、角度演算など)とを含んでいる。
【0244】
<光学系の他の態様>
幾つかの例示的な態様に係るスリットランプ顕微鏡システムは、
図9に示す構成を備えていてよい。
図9の構成は、
図1Aの光学系の1つの例である。なお、本態様のスリットランプ顕微鏡システムは、
図9に示す要素群に加え、例えば、前述した制御部7、データ処理部8、通信部9、記憶部10、ユーザーインターフェイス12などを備えている。特に言及しない限り、上記したスリットランプ顕微鏡システム1に係る事項を本態様に適用することができる。
【0245】
図9に示す照明系20はスリットランプ顕微鏡システム1の照明系2の例であり、左撮影系30L及び右撮影系30Rは撮影系3の例である。以下、照明系20を照明系2と記載することや、左撮影系30L及び/又は右撮影系30Rを撮影系3と記載することがある。幾つかの態様において、左撮影系30L及び右撮影系30Rの一方のみを設け、これを撮影系3の例として構成してもよい。符号20aは照明系20の光軸(照明光軸)を示し、符号30Laは左撮影系30Lの光軸(左撮影光軸)を示し、符号30Raは右撮影系30Rの光軸(右撮影光軸)を示す。左撮影光軸30Laと右撮影光軸30Raとは、互いに異なる向きに配置されている。照明光軸20aと左撮影光軸30Laとがなす角度をθLで示し、照明光軸20aと右撮影光軸30Raとがなす角度をθRで示す。角度θLと角度θRとは、互いに等しくてもよいし異なってもよい。照明光軸20aと左撮影光軸30Laと右撮影光軸30Raとは、一点で交差する。
図1Aと同様に、この交点のZ座標をZ0で示す。
【0246】
移動機構6は、
図1Aに示す移動機構6と同じ要素であってよく、照明系20、左撮影系30L及び右撮影系30Rを、矢印49で示す方向(X方向)に移動可能である。典型的には、照明系20、左撮影系30L及び右撮影系30Rは、少なくともX方向に移動可能なステージ上に載置されており、且つ、移動機構6は、制御部7からの制御信号にしたがって、この可動ステージを移動させる。
【0247】
照明系20は、被検眼Eの前眼部にスリット光を照射する。照明系20は、従来のスリットランプ顕微鏡の照明系と同様に、被検眼Eから遠い側から順に、照明光源21と、正レンズ22と、スリット形成部23と、対物レンズ群24及び25とを含む。
【0248】
照明光源21から出力された照明光(典型的には可視光)は、正レンズ22により屈折されてスリット形成部23に投射される。投射された照明光の一部は、スリット形成部23が形成するスリットを通過してスリット光となる。生成されたスリット光は、対物レンズ群24及び25により屈折された後、ビームスプリッタ47により反射され、被検眼Eの前眼部に照射される。
【0249】
左撮影系30Lは、反射器31Lと、結像レンズ32Lと、撮像素子33Lとを含む。反射器31L及び結像レンズ32Lは、照明系20によりスリット光が照射されている前眼部からの光(左撮影系30Lの方向に進行する光)を撮像素子33Lに導く。
【0250】
前眼部から左撮影系30Lの方向に進行する光は、スリット光が照射されている前眼部からの光であって、照明光軸20aから離れる方向に進行する光である。反射器31Lは、当該光を照明光軸20aに近づく方向に反射する。結像レンズ32Lは、反射器31Lにより反射された光を屈折して撮像素子33Lの撮像面34Lに結像する。撮像素子33Lは、当該光を撮像面34Lにて受光する。
【0251】
前述したスリットランプ顕微鏡システム1と同様に、左撮影系30Lは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して繰り返し撮影を行う。これにより複数の前眼部画像(画像群)が得られる。
【0252】
また、前述したスリットランプ顕微鏡システム1と同様に、照明光軸20aに沿う物面と、反射器31L及び結像レンズ32Lを含む光学系と、撮像面34Lとは、シャインプルーフの条件を満足する。より具体的には、反射器31Lによる撮影系30Lの光路の偏向を考慮すると、照明光軸20aを通るYZ面(物面を含む)と、結像レンズ32Lの主面と、撮像面34Lとが、同一の直線上にて交差する。これにより、左撮影系30Lは、物面内の全ての位置(例えば、角膜前面から水晶体後面までの範囲)にピントを合わせて撮影を行うことができる。
【0253】
右撮影系30Rは、反射器31Rと、結像レンズ32Rと、撮像素子33Rとを含む。左撮影系30Lと同様に、右撮影系30Rは、照明系20によりスリット光が照射されている前眼部からの光を、反射器31R及び結像レンズ32Rによって、撮像素子33Rの撮像面34Rに導く。更に、左撮影系30Lと同様に、右撮影系30Rは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して繰り返し撮影を行うことで、複数の前眼部画像(画像群)を取得する。左撮影系30Lと同様に、照明光軸20aに沿う物面と、反射器31R及び結像レンズ32Rを含む光学系と、撮像面34Rとは、シャインプルーフの条件を満足する。
【0254】
制御部7は、左撮影系30Lによる繰り返し撮影と、右撮影系30Rによる繰り返し撮影とを同期させることができる。これにより、左撮影系30Lにより得られた複数の前眼部画像と、右撮影系30Rにより得られた複数の前眼部画像との間の対応関係が得られる。この対応関係は、時間的な対応関係であり、より具体的には、実質的に同時に取得された画像同士をペアリングするものである。
【0255】
或いは、制御部7又はデータ処理部8は、左撮影系30Lにより得られた複数の前眼部画像と、右撮影系30Rにより得られた複数の前眼部画像との間の対応関係を求める処理を実行することができる。例えば、制御部7又はデータ処理部8は、左撮影系30Lから逐次に入力される前眼部画像と、右撮影系30Rから逐次に入力される前眼部画像とを、それらの入力タイミングによってペアリングすることができる。
【0256】
本態様は、動画撮影部40を更に含む。動画撮影部40は、左撮影系30L及び右撮影系30Rによる撮影と並行して、被検眼Eの前眼部を固定位置から動画撮影する。「固定位置から動画撮影」とは、前眼部スキャンのために照明系20、左撮影系30L及び右撮影系30Rが移動されるときに、動画撮影部40は移動されないことを表す。なお、動画撮影部40は、静止画撮影を行うことも可能である。
【0257】
本態様の動画撮影部40は、照明系20と同軸に配置されているが、その配置はこれに限定されない。例えば、照明系20と非同軸に動画撮影部を配置することができる。また、動画撮影部40が感度を有する帯域の照明光で前眼部を照明する光学系が設けられていてもよい。
【0258】
ビームスプリッタ47を透過した光は、反射器48により反射されて動画撮影部40に入射する。動画撮影部40に入射した光は、対物レンズ41により屈折された後、結像レンズ42によって撮像素子43の撮像面に結像される。撮像素子43はエリアセンサである。撮像素子43は、例えば、可視光及び赤外光のいずれか一方又は双方の帯域に感度を有する。
【0259】
動画撮影部40が設けられている場合、被検眼Eの動きをモニタすることや、トラッキングを行うことができる。また、動画撮影部40を用いてアライメントを行うことも可能である。
【0260】
照明系20の出力波長及び動画撮影部40の検出波長に応じ、ビームスプリッタ47は、例えばダイクロイックミラー又はハーフミラーである。
【0261】
本態様のスリットランプ顕微鏡の幾つかの特徴、幾つかの作用、及び幾つかの効果について説明する。
【0262】
前述したスリットランプ顕微鏡システム1の撮影系3の例として、本態様は、左撮影系30Lと右撮影系30Rとを提供する。左撮影系30Lは、スリット光が照射されている前眼部からの光を導く反射器31L及び結像レンズ32L(第1光学系)と、導かれた光を撮像面34L(第1撮像面)で受光する撮像素子33L(第1撮像素子)とを含む。同様に、右撮影系30Rは、スリット光が照射されている前眼部からの光を導く反射器31R及び結像レンズ32R(第2光学系)と、導かれた光を撮像面34R(第2撮像面)で受光する撮像素子33R(第2撮像素子)とを含む。
【0263】
左撮影系30Lの光軸(左撮影光軸30La)と右撮影系30Rの光軸(右撮影光軸30Ra)とは、互いに異なる向きに配置されている。更に、照明系20の光軸(照明光軸20a)に沿う物面と、反射器31L及び結像レンズ32Lと、撮像面34Lとは、シャインプルーフの条件を満足する。同様に、当該物面と、反射器31L及び結像レンズ32Lと、撮像面34Lとは、シャインプルーフの条件を満足する。
【0264】
左撮影系30Lは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して繰り返し撮影を行うことにより第1画像群を取得する。同様に、右撮影系30Rは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して繰り返し撮影を行うことにより第2画像群を取得する。
【0265】
制御部7は、例えば、左撮影系30L及び右撮影系30Rが並行して被検眼Eの前眼部に1回のスキャンを適用するように、照明系20、左撮影系30L、右撮影系30R、及び移動機構6の制御を行うことができる。データ処理部8は、このスキャンで収集された左右一対の画像群から、スキャン範囲に対応する一連の画像を選択して1つの画像群を作成することができる。画像群評価部81は、作成された画像群の品質評価を行うことができる。この画像群の品質が良好であると評価された場合、制御部7は、この画像群を所定の外部装置に向けて送信するように通信部9を制御することができる。
【0266】
この画像群の品質が良好でないと評価された場合、制御部7は、被検眼Eの前眼部に新たなスキャン(1回以上のスキャン)を適用するように、照明系20、左撮影系30L、右撮影系30R、及び移動機構6の制御を行うことができる。この追加的なスキャンにより、左撮影系30Lは、1回以上のスキャンに対応した1以上の第1画像群を収集し、且つ、右撮影系30Rは、1回以上のスキャンに対応した1以上の第2画像群を収集する。画像セット作成部82は、例えば、第1回目のスキャン及び追加的なスキャンで得られた2以上の第1画像群から、スキャン範囲に対応する第1の一連の画像を選択して第1画像セットを作成し、且つ、第1回目のスキャン及び追加的なスキャンで得られた2以上の第2画像群から、スキャン範囲に対応する第2の一連の画像を選択して第2画像セットを作成することができる。或いは、画像セット作成部82は、第1回目のスキャン及び追加的なスキャンで得られた2以上の第1画像群及び2以上の第2画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成するように構成されてもよい。前述したスリットランプ顕微鏡システム1に関する任意の事項(構成、制御、処理、作用、機能など)を本態様に組み合わせることが可能である。
【0267】
このような本態様によれば、スリット光が照射されている前眼部を、互いに異なる方向からそれぞれ動画撮影することができる。一方の撮影系により取得された画像にアーティファクトが含まれている場合であっても、他方の撮影系により当該画像と実質的に同時に取得された画像にはアーティファクトが含まれていない場合がある。また、双方の撮影系により実質的に同時に取得された一対の画像の双方にアーティファクトが含まれている場合であって、一方の画像中のアーティファクトが注目領域(例えばスリット光照射領域)に重なっている場合でも、他方の画像中のアーティファクトが注目領域に重なっていない場合がある。したがって、好適な画像を取得できる可能性が高まる。したがって、良好な品質の画像群及び/又は画像セットが得られる確率を更に向上させることが可能になる。
【0268】
なお、撮影系3は、左撮影系30L(第1撮影系)及び右撮影系30R(第2撮影系)に加え、同様の構成の第3撮影系、・・・、第K撮影系(Kは3以上の整数)を含んでいてもよい。これにより、光学系の構造は複雑化するが、良好な品質の画像群及び/又は画像セットが得られる確率を更に向上させることが可能になる。本態様を実施しようとする者は、トレードオフの関係にあるこれらの事項(光学系の複雑度、及び、高品質な画像セットが得られる確率)を勘案してスリットランプ顕微鏡を設計することができる。
【0269】
本態様の左撮影系30Lは、反射器31Lと結像レンズ32Lとを含む。反射器31Lは、スリット光が照射されている前眼部からの光であって、照明光軸20aから離れる方向に進行する光を、照明光軸20aに近づく方向に反射する。更に、結像レンズ32Lは、反射器31Lにより反射された光を撮像面34Lに結像させる。ここで、結像レンズ32Lは、1以上のレンズを含む。
【0270】
同様に、右撮影系30Rは、反射器31Rと結像レンズ32Rとを含む。反射器31Rは、スリット光が照射されている前眼部からの光であって、照明光軸20aから離れる方向に進行する光を、照明光軸20aに近づく方向に反射する。更に、結像レンズ32Rは、反射器31Rにより反射された光を撮像面34Rに結像させる。ここで、結像レンズ32Rは、1以上のレンズを含む。
【0271】
このような構成によれば、装置の小型化を図ることが可能である。すなわち、撮像素子33L(33R)により取得された画像は、撮像面34L(34R)の反対側の面から延びるケーブルを通じて出力されるが、本構成によれば、照明光軸20aに比較的近接して位置する撮像素子33L(33R)の背面から被検眼Eとは反対方向に向かって、ケーブルを配置することができる。したがって、ケーブルの引き回しを好適に行うことができ、装置の小型化を図ることが可能になる。
【0272】
また、本構成によれば、角度θL及び角度θRを大きく設定することが可能となるため、一方の撮影系により取得された画像にアーティファクトが含まれる場合において、他方の撮影系により当該画像と実質的に同時に取得された画像にアーティファクトが含まれない可能性を高めることができる。また、双方の撮影系により実質的に同時に取得された一対の画像の双方にアーティファクトが含まれる場合であって、一方の画像中のアーティファクトが注目領域(例えばスリット光照射領域)に重なっている場合において、他方の画像中のアーティファクトが注目領域に重なっている可能性を低減することができる。
【0273】
本態様は、動画撮影部40を含む。左撮影系30L及び右撮影系30Rは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して、前眼部を繰り返し撮影する。この繰り返し撮影と並行して、動画撮影部40は、前眼部を固定位置から動画撮影する。
【0274】
このような構成によれば、スリット光による前眼部のスキャンと並行して固定位置(例えば正面)から動画撮影を行うことで、スキャン中における被検眼Eの状態を把握することや、被検眼Eの状態に応じた制御を行うことが可能である。
【0275】
例えば、本態様のスリットランプ顕微鏡が、前述したスリットランプ顕微鏡システム1の画像群評価部81(画像セット評価部83)を含む場合において、本態様のスリットランプ顕微鏡は、左撮影系30L及び/又は右撮影系30Rにより取得された画像群(画像セット)が読影に耐えうる品質か否か評価することができる。画像群評価部81(画像セット評価部83)は、動画撮影部40との組み合わせにより、次のような動作を行うことが可能である。なお、ステレオアライメントのための2以上の前眼部カメラや、類似の撮影手段を用いて、同様の動作を行うことも可能である。
【0276】
動画撮影部40は、被検眼Eの前眼部へのスキャンの適用と並行して前眼部を固定位置から動画撮影する。この動画撮影は、例えば、制御部7の制御の下に行われる。つまり、制御部7は、被検眼Eの前眼部スキャンのために、照明系2(照明系20)と撮影系3(左撮影系30L及び/又は右撮影系30R)と移動機構6と動画撮影部40とを連係的に制御することができる。
【0277】
この連係制御において、制御部7は、撮影系3の撮影レートと動画撮影部40の撮影レートとを同期させることが可能である。例えば、撮影系3の撮影レートと動画撮影部40の撮影レートとが等しく設定され、且つ、撮影系3の撮影タイミングと動画撮影部40の撮影タイミングとが一致される。これにより、スキャンにおいて撮影系3に取得されたフレーム群と、動画撮影部40に取得されたフレーム群とを、時間的に対応付けることができる。
【0278】
なお、撮影レート及び撮影タイミングの一方又は双方が異なる場合においても、例えば所定範囲内の時間差を許容することにより、スキャンにおいて撮影系3に取得されたフレーム群と、動画撮影部40に取得されたフレーム群とを、時間的に対応付けることが可能である。
【0279】
時間的に対応付けられた一対のフレーム(撮影系3により得られたフレームと、動画撮影部40により得られたフレームとの組)は、実質的に同時に取得されたと考えることができる。したがって、時間的に対応付けられた一対のフレームを考慮する際には、眼球運動による位置ずれを無視することができる。
【0280】
このような前提の下、画像群評価部81(画像セット評価部83)は、動画撮影部40により取得された動画像(フレーム群)に基づいて、画像群(画像セット)に含まれる一連の画像の品質の評価を行うように構成されてよい。
【0281】
このとき、画像群評価部81(画像セット評価部83)は、画像群(画像セット)に含まれる一連の画像と、動画撮影部40により取得された動画像に含まれる一連のフレームとの間の対応関係に基づいて、画像群(画像セット)の品質の評価を行うように構成されてよい。すなわち、画像群評価部81(画像セット評価部83)は、撮影系3により得られたフレーム群と、動画撮影部40により取得されたフレーム群との間の時間的な対応関係に基づいて、画像群(画像セット)の品質の評価を行うように構成されてよい。更に、画像群評価部81(画像セット評価部83)は、一連のフレーム中のランドマークと当該対応関係とに基づいて画像群(画像セット)の品質の評価を行うように構成されてよい。
【0282】
1つの具体例を説明する。本例では、撮影系3により得られたフレーム群F1~FN(前述)と、これと並行して動画撮影部40により取得されたフレーム群D1~DNとについて、フレームFnとフレームDnとが対応付けられているとする(n=1、2、・・・、N)。
【0283】
画像群評価部81(画像セット評価部83)は、フレーム群D1~DNのそれぞれにおけるランドマークを特定する。ランドマークは、例えば虹彩に対応する画像領域(虹彩領域)であってよい。
【0284】
次に、画像群評価部81(画像セット評価部83)は、フレーム群D1~DNにおいてそれぞれ特定されたN個のランドマークの位置(例えば、空間的な位置の変化)に基づいて、フレーム群D1~DNの配列順序(空間的配列順序)を求める。
【0285】
前述したように、フレーム群D1~DNは、この順序で時間的に配列されている(時間的配列順序)。時間的配列順序と空間的配列順序とが異なる場合、眼球運動の影響により順序が入れ替わったり位置ずれが生じたりした可能性がある。また、瞬きの影響によりフレームの飛びが発生した可能性がある。
【0286】
このような不具合が検出された場合、つまり時間的配列順序と空間的配列順序とが異なる場合、画像群評価部81(画像セット評価部83)は、この画像群(画像セット)の品質は良好でないと判定する。
【0287】
このような構成によれば、スリット光による前眼部のスキャンと並行して(少なくともX方向及びY方向において)前眼部を広く描出した動画像を取得し、画像群(画像セット)に含まれる一連の画像の不具合を当該動画像を利用して検出することが可能である。
【0288】
画像群(画像セット)に含まれる一連の画像のそれぞれは、深さ方向(Z方向)に延びる画像である。そのため、Z方向に直交するX方向及びY方向における一連の画像の配置や配列を一連の画像自体から認識するには、前述したスリットランプ顕微鏡システム1と同様の画像処理(画像解析)を利用する必要がある。
【0289】
本例は、一連の画像に画像解析を適用することなく、スキャンと並行して別途に取得した動画像を利用して一連の画像の品質評価を実現するものである。なお、本例の評価項目は、前述したスリットランプ顕微鏡システム1と同様に、一連の画像の配列順序、画像抜け、及び位置ずれのいずれかであってよい。また、本例の評価処理と、前述したスリットランプ顕微鏡システム1について説明した任意の評価処理とを組み合わせることも可能である。
【0290】
動画撮影部40の他の応用について説明する。本例は、例えば第1回目のスキャンで収集された画像群の品質が良好ではないと評価された後に2回以上のスキャンを行う場合において、この2回以上の追加的スキャンの開始タイミングを調整することにより、スキャン間における被検眼Eの位置ずれを防止することを目的とする。
【0291】
本例においても、動画撮影部40は、被検眼Eの前眼部を固定位置から撮影する。制御部7は、2回以上の追加的スキャンのうちの第1スキャンの開始に対応して動画撮影部40により取得された基準画像と略同じ画像が動画撮影部40により取得されたことに対応してスキャン部に第2スキャンを開始させるように構成される。
【0292】
より具体的に説明する。画像セット作成のために前眼部に適用される2以上のスキャンのいずれかを第1スキャンと呼ぶ。本例では、2以上のスキャンのうち最初に実行されるスキャンが第1スキャンとされる。
【0293】
まず、制御部7は、第1スキャンの開始タイミングにおいて動画撮影部40により取得された画像(基準画像)を記憶する。基準画像は、例えば、第1スキャンの開始前に撮影が開始された動画像のフレーム群のうち、第1スキャンの開始時に最も近い時間に取得されたフレームであってよい。或いは、動画撮影部40は、制御部7の制御の下に、第1スキャンの開始時(直前、同時、又は直後)に前眼部を静止画撮影することで、基準画像を取得してもよい。
【0294】
第1スキャンよりも後に実行される任意のスキャン(第2スキャン)は、動画撮影部40による前眼部動画撮影が行われているときに開始される。制御部7(又はデータ処理部8)は、動画撮影部40により逐次に取得されるフレームを基準画像と比較する。この比較は、例えば、ランドマークを特定するセグメンテーション、画像マッチング、画像相関など、任意の画像処理を含んでよい。
【0295】
基準画像と略同じフレームが得られたと判定されると、制御部7は、第2スキャンを開始するように、照明系2、撮影系3及び移動機構6を制御する。
【0296】
本例のスリットランプ顕微鏡は、前眼部に対するスキャン適用回数が、画像セット作成のためのスキャン反復回数に達するまで、上記した一連の処理を繰り返し実行する。これにより、スキャン間における被検眼Eの位置ずれを低減することができ、眼球運動による画像セットの品質低下を防止することが可能となる。また、画像選択の効率化や容易化を図ることが可能となる。
【0297】
<動作>
例示的な態様に係るスリットランプ顕微鏡の動作について幾つかの例を説明する。
【0298】
図示は省略するが、任意の段階において、ユーザー(被検者、検者、補助者など)は、スリットランプ顕微鏡システム1に被検者情報を入力することができる。入力された被検者情報は、制御部7によって記憶部10に保存される。被検者情報は、典型的には、被検者の識別情報(被検者ID)を含む。
【0299】
更に、被検者の背景情報の入力を行うことができる。背景情報は、被検者に関する任意の情報であって、その例として、被検者の問診情報、所定のシートに被検者が記入した情報、被検者の電子カルテに記録された情報などがある。典型的には、背景情報は、性別、年齢、身長、体重、疾患名、候補疾患名、検査結果(視力値、眼屈折力値、眼圧値など)、屈折矯正具(眼鏡、コンタクトレンズなど)の装用歴や度数、検査歴、治療歴などがある。これらは例示であって、背景情報はこれらに限定されない。
【0300】
また、撮影の準備として、スリットランプ顕微鏡システム1が設置されているテーブル、被検者が座るイス、スリットランプ顕微鏡システム1の顎受け台の調整が行われる(いずれも図示を省略する)。例えば、テーブル、イス、顎受け台の高さ調整が行われる。顎受け台には、被検者の顔を安定配置させるための顎受け部及び額当てが設けられている。
【0301】
準備が完了したら、被検者は、イスに腰掛け、顎受けに顎を載せ、額当てに額を当接させる。これらの動作の前又は後に、ユーザーは、被検眼の撮影を開始するための指示操作を行う。この操作は、例えば、図示しない撮影開始トリガーボタンの押下、指示音声の入力などであってよい。或いは、制御部7が準備フェーズの完了を検知して撮影フェーズに自動で移行してもよい。また、図示しない固視標を被検者(被検眼E又はその僚眼)に提示してもよい。
【0302】
<第1の動作例>
以上の準備の後に実行される第1の動作例について
図10を参照しつつ説明する。本動作例は、スリットランプ顕微鏡システム1により実行される基本的な動作を示すものである。後述する第2の動作例が本動作例の応用であることは、本発明が属する技術分野の通常の知識を有する者(当業者)であれば理解することができるであろう。
【0303】
(S1:アライメント)
撮影開始に対応し、スリットランプ顕微鏡システム1は、まず、被検眼Eに対する照明系2及び撮影系3のアライメントを行う。被検眼Eの角膜頂点や瞳孔中心に光学系光軸を合わせるための一般的なアライメントと異なり、ステップS1のアライメントは、ステップS2で行われるスキャンの開始位置に照明系2及び撮影系3を配置させるために実行される。ステップS1のアライメントの態様は任意であってよく、前述した例のいずれかであってよい。アライメントの開始前、実行中、及び/又は終了後に、撮像素子5の調整、フォーカス調整などの動作を実行してもよい。
【0304】
(S2:前眼部の画像を取得)
ステップS1のアライメントの完了後、スリットランプ顕微鏡システム1は、被検眼Eの前眼部を撮影して画像を取得する。例えば、スリットランプ顕微鏡システム1は、照明系2によるスリット光の照射と、撮影系3による動画撮影と、移動機構6による照明系2及び撮影系3の移動とを組み合わせて実行することにより、被検眼Eの前眼部をスキャンする。このスキャンは、前眼部の3次元領域に適用される。1回のスキャン(スキャン開始位置からスキャン終了位置までのスキャン)により、例えば、
図5に示す画像群(複数の前眼部画像)F1~FNが得られる。なお、ステップS2で実行される撮影はこのようなスキャンに限定されず、例えば、1枚の画像を取得するための撮影であってもよい。
【0305】
データ処理部8は、取得された前眼部画像に所定の処理を施してもよい。例えば、ノイズ除去、コントラスト調整、輝度調整、色補正など、任意の信号処理や任意の画像処理を適用することが可能である。
【0306】
(S3:画像の部分領域を特定)
部分領域特定部86は、ステップS2で取得された画像を解析して、被検眼Eの前眼部の対象部位に相当する部分領域を特定する。
【0307】
(S4:表示条件を選択)
表示条件選択部71は、対象部位に対応する表示条件を表示条件情報100から選択する。
【0308】
なお、ステップS3の部分領域特定の実行タイミング、及び、ステップS4の表示条件選択の実行タイミングは、任意であってよい。例えば、本動作例のように部分領域特定の後に表示条件選択を行ってもよいし、表示条件選択の後に部分領域特定を行ってもよいし、部分領域特定の実行期間の少なくとも一部と表示条件選択の実行期間の少なくとも一部とが重複していてもよい。典型的には、部分領域特定は、対象部位の指定後且つ前眼部画像の取得後の任意のタイミングで実行され、表示条件選択は前眼部画像の取得後の任意のタイミングで実行される。
【0309】
(S5:部分領域の表示条件を変更)
表示制御部72は、ステップS4で選択された表示条件を、ステップS3で特定された部分領域に適用する。つまり、表示制御部72は、ステップ3で特定された部分領域の画素の値を、ステップS4で選択された表示条件にしたがって変更する。
【0310】
(S6:画像を表示)
表示制御部72は、ステップS5において部分領域の表示条件が変更された前眼部画像を表示装置11(表示デバイス121)に表示させる(エンド)。
【0311】
このような第1の動作例によれば、被検眼Eの前眼部の対象部位の像をこの対象部位に応じた条件で表示させることができるため、対象部位の表示品質が向上し、被検眼Eの前眼部の観察を好適に行うことが可能になる。
【0312】
<第2の動作例>
前述した準備の後に実行される第2の動作例について
図11A~
図11Cを参照しつつ説明する。本動作例は、スリットランプ顕微鏡システム1により取得された前眼部画像を読影する場合の例を示している。なお、読影以外の医療行為においても本動作例と同様の処理を応用可能であることは、当業者であれば理解することができるであろう。また、本動作例では、
図9の構成が採用されている。
【0313】
(S11:アライメント)
まず、第1の動作例のステップS1と同じ要領でアライメントが実行される。これにより、照明系2(照明系20)及び撮影系3(左撮影系30L及び右撮影系30Rの一方。双方でもよい。)がスキャン開始位置これに対応する位置に配置され、動画撮影部40が例えば被検眼Eの正面位置に配置される。
【0314】
(S12:動画撮影を開始)
アライメントの完了後、動画撮影部40による前眼部の動画撮影が開始される。この動画撮影の撮影レートは、後述の前眼部スキャンにおける撮影系3の撮影レートと等しくてよい。
【0315】
前眼部スキャンのために照明系2及び撮影系3は移動されるが、動画撮影部40は固定位置から前眼部を動画撮影する。また、動画撮影と並行して前眼部スキャンが行われると、前眼部スキャンで収集された画像群と、動画撮影部40で収集されたフレーム群との間に、前述の対応関係が割り当てられる。
【0316】
動画撮影の開始タイミングは任意であってよく、例えばアライメントの実行前又は実行中であってもよい。
【0317】
(S13:前眼部スキャン)
スリットランプ顕微鏡システム1は、照明系2によるスリット光の照射と、撮影系3による動画撮影と、移動機構6による照明系2及び撮影系3の移動とを組み合わせることで、被検眼Eの前眼部をスキャンする。
【0318】
本例では、1回のスキャン(スキャン開始位置からスキャン終了位置までのスキャン)で256枚の画像が取得される。第1回目のスキャン(第1回目のステップS13で実行されたスキャン。以下同様。)で得られた256枚の画像(画像群)をH1(1)~H1(256)で示す。256枚の画像H1(1)~H1(256)は、スキャン範囲(スキャン開始位置及びスキャン終了位置を両端とするX方向の範囲)において順序付けられた256個の位置に割り当てられている。
【0319】
(S14:良質な画像を選択)
選択部821は、ステップS13で取得された256枚の画像H1(1)~H1(256)のうちから、所定の画像選択条件を満足する画像を選択する。
【0320】
本例では、
図12Aに示すように、第71枚目~第170枚目の100枚の画像H1(71)~H1(170)が画像選択条件を満足せず、第1枚目~第70枚目及び第171枚目~第256枚目の156枚の画像H1(1)~H1(70)及びH1(171)~H1(256)が画像選択条件を満足したとする。この場合、選択部821は、256枚の画像H1(1)~H1(256)のうちから、第1枚目~第70枚目及び第171枚目~第256枚目の156枚の画像H1(1)~H1(70)及びH1(171)~H1(256)を選択する。
【0321】
(S15:暫定的画像セットを作成)
選択部821は、現時点までに得られた(1以上の)画像群に基づく暫定的画像セットを作成する。本例の現段階では、156枚の画像H1(1)~H1(70)及びH1(171)~H1(256)を含む暫定的画像セットが作成される。
【0322】
(S16:選択画像枚数=所定数?)
選択部821は、直前のステップS15で作成された暫定的画像セットに含まれる画像の枚数(選択された画像の枚数)を所定の枚数と比較する。上記のように、本例では、所定の枚数(画像セットに含まれる画像の枚数)は256枚に設定されている。
【0323】
暫定的画像セットに含まれる画像の枚数が256枚に達した場合(S16:Yes)、動作はステップS18に移行する。また、暫定的画像セットに含まれる画像の枚数が256枚に達しない場合(S16:No)、動作はステップS17に移行する。
【0324】
(S17:スキャン回数=所定数?)
選択部821は、現段階までに行われたスキャンの回数(スキャンと画像選択との交互反復の回数)を所定の回数と比較する。上記のように、本例では、所定の回数は5回に設定されている。
【0325】
現段階までに行われたスキャン回数が5回に達した場合(S17:Yes)、動作はステップS18に移行する。また、現段階までに行われたスキャン回数が5回に達しない場合(S17:No)、動作はステップS13に戻る。
【0326】
ステップS16又はS17で「Yes」と判定されるまで、ステップS13~ステップ37が繰り返し実行される。ステップS16で「Yes」と判定されることは、画像セットの作成に必要な枚数(256枚)の画像が準備されたことに相当する。また、ステップS17で「Yes」と判定されることは、スキャン及び画像選択が上限回数だけ反復されたことに相当する。
【0327】
(S18:画像セットを作成)
ステップS16又はS17で「Yes」と判定されると、画像セット作成部82は、直前のステップS15で作成された暫定的画像セットに基づいて画像セットを作成する。
【0328】
ここで、ステップS13~S18について具体例を説明する。前述のように、
図12Aの例では、第1回目のスキャン(ステップS13)及び第1回目の画像選択(ステップS14)に基づき、156枚の画像H1(1)~H1(70)及びH1(171)~H1(256)を含む暫定的画像セットが作成された(ステップS15)。
【0329】
この段階では、暫定的画像セットに含まれる画像の枚数が256枚に達していないので(S16:No)、動作はステップS17に移行する。この段階では、スキャンは1回しか行われていないので(S17:No)、動作はステップS13に戻る。
【0330】
動作がステップS13に戻ると、第2回目の前眼部スキャンが行われる。第2回目のスキャンで得られた256枚の画像をH2(1)~H2(256)で示す。第1回目のスキャンで得られた画像群と同様に、256枚の画像H2(1)~H2(256)は、スキャン範囲において順序付けられた256個の位置に割り当てられている。更に、256個の位置を介して、第1回目のスキャンで得られた画像H1(n)と第2回目のスキャンで得られた画像H2(n)とが対応付けられている(n=1、2、・・・、256)。これ以降のスキャンで得られる画像群についても同様である。
【0331】
ステップS14において、選択部821は、ステップS13で取得された256枚の画像H2(1)~H2(256)のうちから、所定の画像選択条件を満足する画像を選択する。本例では、
図12Bに示すように、第1枚目~第100枚目の100枚の画像H2(1)~H2(100)が画像選択条件を満足せず、第101枚目~第256枚目の156枚の画像H2(101)~H2(256)が画像選択条件を満足したとする。この場合、選択部821は、256枚の画像H2(1)~H2(256)のうちから、第101枚目~第256枚目の156枚の画像H2(101)~H2(256)を選択する。
【0332】
ここで、スキャン範囲の或る位置に対応する画像が2つ以上選択された場合、選択部821は、それら画像のうちから1つを選択することができる。
図12A及び
図12Bに示す例においては、例えば、第256番目の位置に対応する画像として、画像H1(256)と画像H2(256)とが選択されている。
【0333】
選択部821は、画像H1(256)及び画像H2(256)の一方を選択する処理を実行するように構成されてよい。例えば、選択部821は、先に取得された画像H1(256)を選択するように、又は、後に取得された画像H2(256)を選択するように構成されてよい。なお、本例では、選択部821は、先に取得された画像を選択するように構成されているものとする。
【0334】
他の例として、選択部821は、画像H1(256)と画像H2(256)との比較によって一方を選択するように構成されてよい。例えば、画像H1(256)の画質評価値を算出し、画像H2(256)の画質評価値を算出し、これら画質評価値を比較して画像H1(256)及び画像H2(256)の一方を選択するように構成されてよい。典型的には、画質評価値が最も高い画像が選択される。
【0335】
このような処理により、スキャン範囲における256個の位置のそれぞれに対し、最大1枚の画像が割り当てられる。つまり、暫定的画像セットに含まれる画像の枚数は、最大で256枚である。
【0336】
選択部821は、現時点までに得られた2つの画像群(画像群H1(1)~H1(256)及び画像群H2(1)~H2(256))に基づく暫定的画像セットを作成する。本例の現段階では、第1回目のスキャンに基づく156枚の画像H1(1)~H1(70)及びH1(171)~H1(256)と、第2回目のスキャンに基づく70枚の画像H2(101)~H2(170)とを含む暫定的画像セットが作成される。
【0337】
つまり、この段階で得られる暫定的画像セットは、スキャン範囲における256個の位置のうち第1番目~第70番目及び第101番目~第256番目の位置(226個の位置)に対応する226枚の画像H1(1)~H1(70)、H2(101)~H2(170)、及びH1(171)~H1(256)を含んでいる。
【0338】
この段階では、暫定的画像セットに含まれる画像の枚数が256枚に達していないので(S16:No)、動作はステップS17に移行する。この段階では、スキャンは2回しか行われていないので(S17:No)、動作は再度ステップS13に戻る。
【0339】
動作がステップS13に戻ると、第3回目の前眼部スキャンが行われる。第3回目のスキャンで得られた256枚の画像をH3(1)~H3(256)で示す。
【0340】
ステップS14において、選択部821は、ステップS13で取得された256枚の画像H3(1)~H3(256)のうちから、所定の画像選択条件を満足する画像を選択する。本例では、
図12Cに示すように、第227枚目~第256枚目の30枚の画像H3(227)~H3(256)が画像選択条件を満足せず、第1枚目~第226枚目の226枚の画像H3(1)~H3(226)が画像選択条件を満足したとする。この場合、選択部821は、256枚の画像H3(1)~H3(256)のうちから、第1枚目~第226枚目の226枚の画像H3(1)~H3(226)を選択する。
【0341】
更に、選択部821は、スキャン範囲における256個の位置のうち既に画像が割り当てられている第1番目~第70番目及び第101番目~第256番目の位置を除く、第71番目~第100番目に対応する30枚の画像H3(71)~H3(100)を、226枚の画像H3(1)~H3(226)のうちから選択する。
【0342】
選択部821は、現時点までに得られた3つの画像群(画像群H1(1)~H1(256)、画像群H2(1)~H2(256)、及び、画像群H3(1)~H3(256))に基づく暫定的画像セットを作成する。本例の現段階では、第1回目のスキャンに基づく156枚の画像H1(1)~H1(70)及びH1(171)~H1(256)と、第2回目のスキャンに基づく70枚の画像H2(101)~H2(170)と、第3回目のスキャンに基づく30枚の画像H3(71)~H3(100)とを含む暫定的画像セットが作成される。
【0343】
つまり、この段階で得られる暫定的画像セットは、スキャン範囲における256個の位置の全てに対応する256枚の画像H1(1)~H1(70)、H3(71)~H3(100)、H2(101)~H2(170)、及びH1(171)~H1(256)を含んでいる。したがって、ステップS16において「Yes」と判断されて、動作はステップS18に移行する。
【0344】
ステップS18では、画像セット作成部82が、直前のステップ35で作成された暫定的画像セットに含まれる256枚の画像H1(1)~H1(70)、H3(71)~H3(100)、H2(101)~H2(170)、及びH1(171)~H1(256)に基づいて画像セットを作成する。
【0345】
図11Aに示す動作は、スキャンと画像選択との交互反復を用いて画像セットを作成する処理の例を提供する。これに引き続き
図11Bに示す動作が実行される。
【0346】
(S19:画像セットの品質を評価)
画像セット評価部83は、ステップS18で作成された画像セットの品質を評価する。
【0347】
或いは、本態様では、前述した要領で、動画撮影部40により取得された動画像を利用して画像セットの品質を評価してもよい。例えば、
図12A~
図12Cに示す例に基づく画像セットは、256枚の画像H1(1)~H1(70)、H3(71)~H3(100)、H2(101)~H2(170)、及びH1(171)~H1(256)からなる一連の画像を含む。これらの画像を収集するために3回のスキャンが行われ、各スキャンと並行して動画撮影部40による動画撮影が行われた。
【0348】
第1回目のスキャンと並行した動画撮影で得られたフレーム群のうち、画像H1(n)に対応付けられたフレームをJ1(n)で示す(n=1、2、・・・、256)。また、第2回目のスキャンと並行した動画撮影で得られたフレーム群のうち、画像H2(n)に対応付けられたフレームをJ2(n)で示す(n=1、2、・・・、256)。また、第3回目のスキャンと並行した動画撮影で得られたフレーム群のうち、画像H3(n)に対応付けられたフレームをJ3(n)で示す(n=1、2、・・・、256)。
【0349】
よって、本例の画像セットに含まれる256枚の画像H1(1)~H1(70)、H3(71)~H3(100)、H2(101)~H2(170)、及びH1(171)~H1(256)には、それぞれ、フレームJ1(1)~J1(70)、J3(71)~J3(100)、J2(101)~J2(170)、及びJ1(171)~J1(256)が対応付けられている。
【0350】
画像セット評価部83は、前述したフレーム群D1~DNに対する処理と同様の処理を、本例の画像セットに含まれる256枚の画像に対応付けられた256枚のフレームに適用することで、この画像セットの評価を行うことができる。
【0351】
(S20:品質良好か?)
ステップS19において画像セットの品質は良好であると判定された場合(S20:Yes)、動作はステップS23に移行する。一方、ステップS19において画像セットの品質は良好でないと判定された場合(S20:No)、動作はステップS21に移行する。
【0352】
(S21:再撮影を促す)
ステップS19において画像セットの品質は良好でないと判定された場合(S20:No)、制御部7は、ユーザーに再撮影を促すための情報を表示及び/又は音声出力させる。
【0353】
(S22:再撮影するか?)
ユーザーは、ステップS21で表示及び/又は音声出力された情報への応答として、再撮影を開始するための指示操作、又は、再撮影を行わないための指示操作を行う。
【0354】
再撮影を開始するための指示操作をユーザーが行った場合(S22:Yes)、動作はステップS11に戻る。この場合、スリットランプ顕微鏡システム1は、ここまでの一連の処理を再度実行する。なお、再撮影は、例えば、所定の回数を上限として繰り返される。
【0355】
一方、再撮影を行わないための指示操作をユーザーが行った場合(S22:No)、動作はステップS23に移行する。
【0356】
(S23:画像セットを送信)
ステップS19において画像セットの品質は良好であると判定された場合(S20:Yes)、又は、ステップS22において再撮影を行わないための指示操作をユーザーが行った場合(S22:No)、制御部7は、読影端末及び/又は読影装置に画像セットを送信するように通信部9を制御する。
【0357】
本動作例では、ここまでの工程はスリットランプ顕微鏡システム1に含まれるスリットランプ顕微鏡(及び、それに接続されたコンピュータ)よって実行され、これ以降の工程(
図11Cに示す工程)は、このスリットランプ顕微鏡(又はコンピュータ)と通信可能な情報処理装置によって実行される。
図11Cに示す工程は、医師が読影を行うために使用するコンピュータ(読影端末)を用いて行われる。読影機能を有するコンピュータ(読影装置)が用いられる場合においても同様の処理を実行可能であることは、当業者であれば理解することができるであろう。なお、本動作例を採用可能なシステム構成については、その例を後述する。
【0358】
(S24:読影開始)
読影端末を使用する医師は、ステップS23でスリットランプ顕微鏡(又はコンピュータ)から送信された画像セットに含まれる一連の画像の読影を所望のタイミングで開始する。以下の工程が適用される画像は、例えば、この画像セットに含まれる全ての画像、この画像セットから医師が選択した1つ以上の画像、及び、この画像セットから読影端末が選択した1つ以上の画像のいずれかであってよい。
【0359】
(S25:画像の部分領域を特定)
読影端末又は他の情報処理装置に設けられた部分領域特定部86は、被検眼Eの前眼部の画像(画像セットに含まれる画像)を解析して、被検眼Eの前眼部の対象部位に相当する部分領域を特定する。
【0360】
(S26:表示条件を選択)
読影端末又は他の情報処理装置に設けられた表示条件選択部71は、対象部位に対応する表示条件を表示条件情報100から選択する。なお、本動作例における表示条件情報100は、読影端末又は他の情報処理装置に設けられた記憶部10に格納されている。
【0361】
第1の動作例と同様に、ステップS25の部分領域特定の実行タイミング、及び、ステップS26の表示条件選択の実行タイミングは、任意であってよい。また、ステップS25の部分領域特定を実行する情報処理装置、及び、ステップS26の表示条件選択を実行する情報処理装置は、同じであっても異なっていてもよい。
【0362】
(S27:部分領域の表示条件を変更)
読影端末又は他の情報処理装置に設けられた表示制御部72は、ステップS26で選択された表示条件を、ステップS25で特定された部分領域に適用する。つまり、読影端末又は他の情報処理装置に設けられた表示制御部72は、ステップ25で特定された部分領域の画素の値を、ステップS26で選択された表示条件にしたがって変更する。
【0363】
(S28:画像を表示)
読影端末又は他の情報処理装置に設けられた表示制御部72は、ステップS27において部分領域の表示条件が変更された前眼部画像を、読影端末又は他の情報処理装置に設けられた表示装置11(表示デバイス121)に表示させる。
【0364】
(S29:読影レポートを作成)
医師は、ステップS28で表示された画像を参照しつつ読影を行うことができる。医師は、画像セットに含まれる一連の画像のうちの所望の画像に対してステップS25~S28の処理を適用させることができる。このようにして、医師は、被検眼Eの前眼部画像の読影を行い、その結果を所定のレポートテンプレートに入力する。これにより、被検眼Eに関する読影レポートが作成される。
【0365】
(S30:画像セット・読影レポートを保存)
画像セット及び読影レポートは、例えば、スリットランプ顕微鏡システム1が設置されている施設、被検者等が指定した医療機関、被検者等が指定した医師が使用する情報処理装置、被検者が登録したアドレス(電子メールアドレス、住所など)などに提供され、保存される。また、所定のデータベースシステムに画像セット及び読影レポートを送信して保管・管理するようにしてもよい(エンド)。
【0366】
本動作例を実行可能なスリットランプ顕微鏡システムが奏する幾つかの効果について説明する。本動作例を実行可能なスリットランプ顕微鏡システムは、スキャンと画像選択との交互反復において、スキャン開始時の前眼部画像を一致させてスキャン間における被検眼のずれを防ぐことができる。そのために、本動作例を実行可能なスリットランプ顕微鏡システムは、被検眼の前眼部を固定位置から撮影する動画撮影部40(撮影部)を含む。制御部7は、第1スキャンの開始に対応して動画撮影部40により取得された基準画像と略同じ画像が動画撮影部40により取得されたことに対応してスキャン部に第2スキャンを開始させるように構成される。
【0367】
本動作例を実行可能なスリットランプ顕微鏡システムは、画像セットの品質評価において、動画撮影部40により取得された動画像(フレーム群)を利用することができる。そのために、本動作例を実行可能なスリットランプ顕微鏡システムは、被検眼の前眼部へのスキャンの適用と並行して前眼部を固定位置から動画撮影する動画撮影部40を含む。画像セット評価部83は、動画撮影部40により取得された動画像に基づいて画像セット品質の評価を行うように構成される。
【0368】
このとき、画像セット評価部83は、画像セットに含まれる一連の画像と動画撮影部40により取得された動画像に含まれる一連のフレームとの間の対応関係に基づいて、画像セットの品質の評価を行うように構成されてよい。
【0369】
更に、画像セット評価部83は、動画撮影部40により取得された動画像に含まれる一連のフレーム中のランドマークと、画像セットに含まれる一連の画像と動画像に含まれる一連のフレームとの間の対応関係と、に基づいて、画像セットの品質の評価を行うように構成されてよい。
【0370】
第2の動作例を実行可能なスリットランプ顕微鏡システムの例示的な態様を
図13に示す。なお、前述したスリットランプ顕微鏡システム1の要素と同様の構成及び機能を有する本態様のスリットランプ顕微鏡システム200の要素には、スリットランプ顕微鏡システム1の対応する要素と同じ符号が付されている。
【0371】
本態様のスリットランプ顕微鏡システム200は、スリットランプ顕微鏡210と、情報処理装置220とを含む。情報処理装置220は、例えば、上記した読影端末であり、読影アプリケーションを提供するための要素(ハードウェア、ソフトウェア)の図示は省略されている。
【0372】
スリットランプ顕微鏡210は、スリットランプ顕微鏡システム1と同様の制御部7及びデータ処理部8に加え、画像取得部211と通信部212とを含んでいる。
【0373】
画像取得部211は、被検眼の前眼部をスリット光でスキャンして画像を取得するための構成及び機能を有し、例えば、スリットランプ顕微鏡システム1の照明系2、撮影系3、移動機構6などを含んでいる。画像取得部211は、加工画像構築部85を更に含んでいてもよい。画像取得部211により取得される画像は、例えば、1枚の画像、画像群、画像セット、3次元画像、レンダリング画像などであってよい。
【0374】
通信部212は、スリットランプ顕微鏡210と他の装置(外部装置)との間におけるデータ通信を行う。情報処理装置220は、この外部装置の一つである。
【0375】
スリットランプ顕微鏡210の制御部7は、第2の動作例のステップS11~S23において実行される各種の制御を実行する。スリットランプ顕微鏡210の制御部7は、
図1Bに示す表示条件選択部71及び/又は表示制御部72を備えていなくてもよい。
【0376】
スリットランプ顕微鏡210のデータ処理部8は、第2の動作例のステップS11~S23において実行される各種のデータ処理を実行する。例えば、スリットランプ顕微鏡210のデータ処理部8は、画像群処理部80、画像群評価部81、画像セット作成部82、選択部821、画像セット評価部83などを含んでいてよい。スリットランプ顕微鏡210の画像群評価部81は、推論部811A、推論モデル812A、3次元画像構築部811B、比較部812B、評価処理部813B、評価データ生成部811C、評価処理部812Cなどを含んでいてよい。
【0377】
情報処理装置220は、スリットランプ顕微鏡システム1と同様の記憶部10、表示条件選択部71、表示制御部72、部分領域特定部86、及びユーザーインターフェイス12に加え、通信部221を含んでいる。記憶部10には表示条件情報100が記憶されており、表示条件情報100は、例えば、表示条件情報100a~100dのいずれかを含んでいてよい。通信部221は、情報処理装置220と他の装置(外部装置)との間におけるデータ通信を行う。スリットランプ顕微鏡210は、この外部装置の一つである。
【0378】
スリットランプ顕微鏡210の画像取得部211により取得されたデータ(画像、画像群、画像セット、3次元画像、レンダリング画像、正面画像など)は、通信部212(送信部)によって情報処理装置220に送信される。情報処理装置220は、スリットランプ顕微鏡210の通信部212により送信されたデータを通信部221(受信部)によって受信する。更に、情報処理装置220は、記憶部10、表示条件選択部71、表示制御部72、部分領域特定部86、及びユーザーインターフェイス12によってスリットランプ顕微鏡システム1と同様の処理を実行する。
【0379】
スリットランプ顕微鏡210が実行可能な処理の幾つかの例を以下に説明する。まず、スリットランプ顕微鏡210は、画像取得部211により収集された画像群を画像群処理部80によって処理することができる。
【0380】
スリットランプ顕微鏡210の画像群処理部80は、画像群評価部81によって画像群の品質を評価することができる。画像群の品質が良好であると画像群評価部81により評価された場合、通信部212は、この画像群を情報処理装置220に向けて送信することができる。画像群の品質が良好でないと画像群評価部81により評価された場合、スリットランプ顕微鏡210の制御部7は、被検眼の前眼部に対する新たなスキャンを画像取得部(スキャン部)に実行させるための制御を実行することができる。
【0381】
スリットランプ顕微鏡210の画像群処理部80は、画像セット作成部82によって、先のスキャンで収集された画像群と新たなスキャンで収集された新たな画像群とを含む2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成することができる。
【0382】
スリットランプ顕微鏡210の画像取得部211(スキャン部)は、被検眼の前眼部に2回以上のスキャンを(例えば連続して)適用して2以上の画像群を収集することができる。スリットランプ顕微鏡210の画像群処理部80は、画像セット作成部82によって、2回以上のスキャンで収集された2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成することができる。
【0383】
スリットランプ顕微鏡210の画像群処理部80は、画像セット評価部83によって画像セットの品質を評価することができる。画像セットの品質が良好であると画像セット評価部83により評価された場合、通信部212は、この画像セットを情報処理装置220に向けて送信することができる。画像セットの品質が良好でないと画像セット評価部83により評価された場合、スリットランプ顕微鏡210の制御部7は、被検眼の前眼部に対する新たなスキャンを画像取得部(スキャン部)に実行させるための制御を実行することができる。
【0384】
このようなスリットランプ顕微鏡システム200によれば、スリットランプ顕微鏡システム1と同様に、様々な対象部位が好適に表現された画像を提供することが可能である。また、スリットランプ顕微鏡システム200によれば、スリットランプ210と情報処理装置220とを互いに遠隔配置することができるので、従来は困難であったスリットランプ顕微鏡を用いた遠隔医療を実用化することが可能になる。
【0385】
本開示は、いずれかの態様に係る装置又はシステムを制御する方法を提供するものである。また、本開示は、この制御方法をコンピュータに実行させるプログラムや、このプログラムを記録したコンピュータ可読な非一時的記録媒体を提供するものである。この非一時的記録媒体は任意の形態であってよく、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。
【0386】
本開示は、いずれかの態様に係る方法(撮影方法、データ処理方法、データ通信方法など)を提供するものである。また、本開示は、この方法をコンピュータに実行させるプログラムや、このプログラムを記録したコンピュータ可読な非一時的記録媒体を提供するものである。
【0387】
以上に説明した幾つかの態様は例示的な実施形態であり、本発明の限定を意図したものえはなく、本発明の要旨の範囲内における任意の変形(省略、置換、付加等)を上記の態様に対して適宜に施すことが可能である。
【符号の説明】
【0388】
1 スリットランプ顕微鏡
2 照明系
3 撮影系
4 光学系
5 撮像素子
6 移動機構
7 制御部
71 表示条件選択部
72 表示制御部
8 データ処理部
80 画像群処理部
81 画像群評価部
82 画像セット作成部
83 画像セット評価部
85 加工画像構築部
86 部分領域特定部
9 通信部
10 記憶部
100 表示条件情報
200 スリットランプ顕微鏡システム
210 スリットランプ顕微鏡
220 情報処理装置