(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-24
(45)【発行日】2024-10-02
(54)【発明の名称】スリットランプ顕微鏡システム
(51)【国際特許分類】
A61B 3/135 20060101AFI20240925BHJP
A61B 3/14 20060101ALI20240925BHJP
【FI】
A61B3/135
A61B3/14
(21)【出願番号】P 2020154222
(22)【出願日】2020-09-15
【審査請求日】2023-09-05
(73)【特許権者】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(74)【代理人】
【識別番号】100124626
【氏名又は名称】榎並 智和
(72)【発明者】
【氏名】塚田 央
【審査官】小野 健二
(56)【参考文献】
【文献】特開2019-024618(JP,A)
【文献】特開2016-022062(JP,A)
【文献】特開2017-153543(JP,A)
【文献】米国特許出願公開第2019/0029514(US,A1)
【文献】特開2019-213733(JP,A)
【文献】特開2017-136205(JP,A)
【文献】特開2013-246187(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
G16H 10/00-80/00
(57)【特許請求の範囲】
【請求項1】
患者を識別するための患者識別情報を受け付ける受付部と、
複数の患者識別情報のそれぞれに関心領域の位置を示す関心位置情報が予め関連付けられて格納された格納手段から、前記受付部により受け付けられた前記患者識別情報に関連付けられた関心位置情報を取得する関心位置情報取得部と、
前記患者識別情報に対応する患者の被検眼の前眼部をスリット光でスキャンして画像を取得する画像取得部と、
前記関心位置情報取得部により取得された前記関心位置情報に基づいて、前記画像取得部により取得された前記画像の部分領域に対応する部分解析データを生成する画像解析部と
を含
み、
前記画像解析部は、
前記画像取得部により取得された前記画像を解析して解析データを生成する第2解析部と、
前記関心位置情報取得部により取得された前記関心位置情報に基づいて、前記解析データから部分解析データを特定する第2特定部と
を含む、
スリットランプ顕微鏡システム。
【請求項2】
前記関心位置情報は、過去に取得された前記前眼部の基準画像中の領域の位置を示す第1位置情報を含み、
前記第2特定部は、前記基準画像と前記画像との間の偏位を算出する偏位算出部を含み、前記第1位置情報と前記偏位とに基づいて前記解析データから前記部分解析データを特定する、
請求項
1のスリットランプ顕微鏡システム。
【請求項3】
前記関心位置情報は、前眼部の所定部位の位置を示す第2位置情報を含み、
前記第2特定部は、前記第2位置情報が示す前記位置に対応する前記解析データの領域を前記部分解析データとして特定する、
請求項
1のスリットランプ顕微鏡システム。
【請求項4】
前記第2特定部は、前記関心領域に対応する前記解析データの領域を含むように前記部分解析データを特定する、
請求項
1~
3のいずれかのスリットランプ顕微鏡システム。
【請求項5】
前記第2特定部は、前記関心領域に対応する前記解析データの前記領域より広い領域を前記部分解析データとして特定する、
請求項
4のスリットランプ顕微鏡システム。
【請求項6】
前記第2特定部により新たな範囲の部分解析データが特定された場合に、前記患者の前記患者識別情報に関連付けられた前記関心位置情報を前記新たな範囲に基づいて更新する第2更新部を更に含む、
請求項
1~
5のいずれかのスリットランプ顕微鏡システム。
【請求項7】
前記画像取得部は、前記前眼部を前記スリット光でスキャンして画像群を収集するスキャン部を含み、
前記スキャン部は、
前記前眼部に前記スリット光を照射する照明系と、
前記照明系とは異なる方向から前記前眼部を撮影する撮影系と、
前記照明系及び前記撮影系を移動する移動機構と
を含み、
前記撮影系は、前記移動機構による前記照明系及び前記撮影系の移動と並行して繰り返し撮影を行う、
請求項1~
6のいずれかのスリットランプ顕微鏡システム。
【請求項8】
前記撮影系は、
前記スリット光が照射された前記前眼部からの光を導く光学系と、
前記光学系により導かれた前記光を撮像面で受光する撮像素子と
を含み、
前記照明系の光軸に沿う物面と前記光学系と前記撮像面とがシャインプルーフの条件を満足する、
請求項
7のスリットランプ顕微鏡システム。
【請求項9】
前記移動機構は、前記照明系により前記前眼部に照射される前記スリット光を前記スリット光の幅方向に移動するように前記照明系及び前記撮影系を移動する、
請求項
7又は
8のスリットランプ顕微鏡システム。
【請求項10】
前記画像解析部は、前記画像群に含まれる少なくとも1つの画像のそれぞれから部分解析データを生成する、
請求項
7~
9のいずれかのスリットランプ顕微鏡システム。
【請求項11】
前記画像取得部は、前記画像群から加工画像を構築する加工画像構築部を更に含む、
請求項
7~
10のいずれかのスリットランプ顕微鏡システム。
【請求項12】
前記加工画像構築部は、前記加工画像として3次元画像を構築する、
請求項
11のスリットランプ顕微鏡システム。
【請求項13】
前記加工画像構築部は、前記加工画像として前記3次元画像のレンダリング画像を構築する、
請求項
12のスリットランプ顕微鏡システム。
【請求項14】
前記画像解析部は、前記加工画像から部分解析データを生成する、
請求項
11~
13のいずれかのスリットランプ顕微鏡システム。
【請求項15】
スリットランプ顕微鏡と、情報処理装置とを含み、
前記スリットランプ顕微鏡は、前記画像取得部と、前記情報処理装置に向けてデータを送信する送信部とを含み、
前記情報処理装置は、前記送信部により送信された前記データを受信する受信部と、前記受付部と、前記関心位置情報取得部と、前記画像解析部とを含む、
請求項
7~
14のいずれかのスリットランプ顕微鏡システム。
【請求項16】
前記スリットランプ顕微鏡は、前記スキャン部により収集された前記画像群を処理する画像群処理部を更に含む、
請求項
15のスリットランプ顕微鏡システム。
【請求項17】
前記画像群処理部は、前記画像群の品質を評価する第1評価部を含む、
請求項
16のスリットランプ顕微鏡システム。
【請求項18】
前記画像群の品質が良好であると前記第1評価部により評価された場合、前記送信部は、前記画像群を前記情報処理装置に向けて送信する、
請求項
17のスリットランプ顕微鏡システム。
【請求項19】
前記画像群の品質が良好でないと前記第1評価部により評価された場合に、前記前眼部に対する新たなスキャンを前記スキャン部に実行させるための制御を実行する第1制御部を更に含む、
請求項
17又は
18のスリットランプ顕微鏡システム。
【請求項20】
前記画像群処理部は、前記画像群と前記新たなスキャンにより収集された新たな画像群とを含む2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成する画像セット作成部を更に含む、
請求項
19のスリットランプ顕微鏡システム。
【請求項21】
前記スキャン部は、前記前眼部に2回以上のスキャンを適用して2以上の画像群を収集し、
前記画像群処理部は、前記2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成する画像セット作成部を含む、
請求項
16のスリットランプ顕微鏡システム。
【請求項22】
前記画像群処理部は、前記画像セット作成部により作成された前記画像セットの品質を評価する第2評価部を更に含む、
請求項
20又は
21のスリットランプ顕微鏡システム。
【請求項23】
前記画像セットの品質が良好であると前記第2評価部により評価された場合、前記送信部は、前記画像セットを前記情報処理装置に向けて送信する、
請求項
22のスリットランプ顕微鏡システム。
【請求項24】
前記画像セットの品質が良好でないと前記第2評価部により評価された場合に、前記前眼部に対する新たなスキャンを前記スキャン部に実行させるための制御を実行する第2制御部を更に含む、
請求項
22又は
23のスリットランプ顕微鏡システム。
【請求項25】
前記関心領域は、角膜、虹彩、瞳孔、水晶体、眼内レンズ、毛様体、隅角、線維柱帯、及びシュレム管のいずれかに相当する領域を含む、
請求項1~
24のいずれかのスリットランプ顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、スリットランプ顕微鏡システムに関する。
【背景技術】
【0002】
眼科分野において画像診断は重要な位置を占める。画像診断には、様々な眼科撮影装置が用いられる。眼科撮影装置の種類には、スリットランプ顕微鏡、眼底カメラ、走査型レーザー検眼鏡(SLO)、光干渉断層計(OCT)などがある。
【0003】
これら様々な眼科装置のうち最も広く且つ頻繁に使用される装置がスリットランプ顕微鏡である。スリットランプ顕微鏡は、スリット光で被検眼を照明し、照明された断面を斜方や側方から顕微鏡で観察したり撮影したりするために使用される(例えば、特許文献1及び2を参照)。
【0004】
スリットランプ顕微鏡の主な用途の1つに前眼部観察がある。前眼部観察において、医師は、スリット光による照明野やフォーカス位置を移動させつつ前眼部全体を観察して異常の有無を判断する。また、コンタクトレンズのフィッティング状態の確認など、視力補正器具の処方において、スリットランプ顕微鏡が用いられることもある。更に、オプトメトリスト、コメディカル、眼鏡店の店員のような医師以外の者が、眼疾患のスクリーニングやフォローアップ(経過観察)などの目的でスリットランプ顕微鏡を用いることもある。
【0005】
また、近年の情報通信技術の進歩を受けて、遠隔医療に関する研究開発が発展を見せている。遠隔医療とは、インターネット等の通信ネットワークを利用して、遠隔地に居る患者に対して診療を行う行為である。特許文献3及び4には、スリットランプ顕微鏡を遠隔地から操作するための技術が開示されている。
【0006】
スリットランプ顕微鏡を用いて良好な画像を得るには、照明角度や撮影角度の調整など、微細で煩雑な操作が必要とされる。しかし、特許文献3、4に開示された技術では、目の前に居る被検者の眼を観察する場合であっても難しい操作を、遠隔地に居る検者が実施しなければならないため、検査時間が長くなったり、良好な画像が得られなかったりといった問題が生じる。
【0007】
また、上記のようにスリットランプ顕微鏡はスクリーニングやフォローアップ等の検査に有効であるが、高品質なスリットランプ顕微鏡検査を多くの人に提供するには、同装置の操作に熟練した者が不足しているという現状がある。
【0008】
更に、遠隔医療やスクリーニングでは、画像読影(画像診断)を行う医師が撮影場所にいないことが多々ある。その場合、読影に適さない画像が医師に提供される可能性がある。操作の難しさや撮影時間の長さを考慮すると、スリットランプ顕微鏡においてこの問題が生じやすいと想定される。
【0009】
近年の研究から、眼の或る部位に関する情報と疾患との間に関連があることが分かってきている。例えば、緑内障に関して、患者に自覚症状が現れる前に視神経周囲の網膜神経線維層の菲薄化が進行し、自覚症状が現れる頃には、視野欠損を呈する局所部位では70%程度、全体では30%程度の菲薄化が生じていることが明らかになっている。また、地図状萎縮(GA)による視野欠損が網膜色素上皮(RPE)の障害に起因することや、血流動態などの機能的データと特定の疾患との間の関連についての研究も進められている。一般に、異常が発生する部位は、疾患の種類や進行度に応じて異なっている。
【0010】
また、疾患の進行度や治療後の経過を把握するためにフォローアップ(経過観察)が用いられる。眼科フォローアップの手法は、例えば特許文献5に開示されている。特許文献5には、眼の画像に対して検者が指定した領域のフォローアップを行うためのトレンド解析が開示されている。
【0011】
このような従来技術では、疾患の種類や進行度が患者ごとに異なるにもかかわらず、所定のパラメータを一律に求めてフォローアップを行っているため、局所的な微少変化を捉えられない場合がある。また、従来技術では、検査の度に注目部位を指定するのが一般的であるが、これは手間であるし、指定ミスも起こりうる。
【先行技術文献】
【特許文献】
【0012】
【文献】特開2016-159073号公報
【文献】特開2016-179004号公報
【文献】特開2000-116732号公報
【文献】特開2008-284273号公報
【文献】特開2014-83268号公報
【発明の概要】
【発明が解決しようとする課題】
【0013】
本発明の1つの目的は、疾患種別や病期や病態にかかわらず眼の局所的な微少変化を捉えることにある。
【課題を解決するための手段】
【0014】
例示的な態様のスリットランプ顕微鏡システムは、受付部と、関心位置情報取得部と、画像取得部と、画像解析部とを含む。受付部は、患者を識別するための患者識別情報を受け付ける。関心位置情報取得部は、複数の患者識別情報のそれぞれに関心領域の位置を示す関心位置情報が予め関連付けられて格納された格納手段から、受付部により受け付けられた患者識別情報に関連付けられた関心位置情報を取得する。画像取得部は、患者識別情報に対応する患者の被検眼の前眼部をスリット光でスキャンして画像を取得する。画像解析部は、関心位置情報取得部により取得された関心位置情報に基づいて、画像取得部により取得された画像の部分領域に対応する部分解析データを生成する。
【発明の効果】
【0015】
例示的な態様によれば、疾患種別や病期や病態にかかわらず眼の局所的な微少変化を捉えることが可能になる。
【図面の簡単な説明】
【0016】
【
図1A】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図1B】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図2】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図3】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図4A】例示的な態様に係るスリットランプ顕微鏡システムの動作を説明するための概略図である。
【
図4B】例示的な態様に係るスリットランプ顕微鏡システムの動作を説明するための概略図である。
【
図5】例示的な態様に係るスリットランプ顕微鏡システムの動作を説明するための概略図である。
【
図6A】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図6B】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図6C】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図6D】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図7A】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図7B】例示的な態様に係るスリットランプ顕微鏡システムの推論モデルの構築を説明するための概略図である。
【
図7C】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図7D】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図8】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【
図9】例示的な態様に係るスリットランプ顕微鏡システムの動作を表すフローチャートである。
【
図10】例示的な態様に係るスリットランプ顕微鏡システムの動作を表すフローチャートである。
【
図11A】例示的な態様に係るスリットランプ顕微鏡システムの動作を表すフローチャートである。
【
図11B】例示的な態様に係るスリットランプ顕微鏡システムの動作を表すフローチャートである。
【
図11C】例示的な態様に係るスリットランプ顕微鏡システムの動作を表すフローチャートである。
【
図12A】例示的な態様に係るスリットランプ顕微鏡システムの動作を説明するための概略図である。
【
図12B】例示的な態様に係るスリットランプ顕微鏡システムの動作を説明するための概略図である。
【
図12C】例示的な態様に係るスリットランプ顕微鏡システムの動作を説明するための概略図である。
【
図13】例示的な態様に係るスリットランプ顕微鏡システムの構成を表す概略図である。
【発明を実施するための形態】
【0017】
幾つかの例示的な態様について図面を参照しながら詳細に説明する。なお、本明細書にて引用した文献に開示された事項などの任意の公知技術を例示的な態様に組み合わせることができる。また、本出願人によりなされた他の出願の開示の全体を本開示に援用することができる。例えば、本出願人によりなされたスリットランプ顕微鏡に関する出願の開示の少なくとも一部、スリットランプ顕微鏡を含むシステムに関する出願の開示の少なくとも一部、又は、スリットランプ顕微鏡に接続可能なシステムに関する出願の開示の少なくとも一部を、本開示に援用することができる。
【0018】
例示的な態様に係るスリットランプ顕微鏡システムは、設置型でも可搬型でもよい。例示的な態様に係るスリットランプ顕微鏡システムは、同装置や同検査に関する専門技術保持者(熟練者)が側にいない状況や環境で使用されてもよいし、熟練者が側にいる状況や環境で使用されてもよいし、熟練者が遠隔地から監視・指示・操作などを行うことが可能な状況や環境で使用されてもよい。例示的な態様に係るスリットランプ顕微鏡システムが設置される施設の例として、眼鏡店、オプトメトリスト、医療機関、健康診断会場、検診会場、患者の自宅、福祉施設、公共施設、検診車などがある。
【0019】
例示的な態様に係るスリットランプ顕微鏡システムが2以上の装置を含む場合、これらの装置は同じ場所に配置されてもよいし、異なる場所に配置されてもよい。例えば、スリットランプ顕微鏡システムがスリットランプ顕微鏡と情報処理装置とを含む場合、スリットランプ顕微鏡と情報処理装置とが遠隔配置されていてもよい。
【0020】
例示的な態様に係るスリットランプ顕微鏡システムは、スリットランプ顕微鏡としての撮影機能と所定の情報処理機能とを少なくとも備えており、任意的に、スリットランプ顕微鏡以外の撮影機能(モダリティ)、眼特性測定機能、他の情報処理機能などを更に備えていてもよい。
【0021】
例示的な態様に係るシステム(第1のシステム)は、1以上のスリットランプ顕微鏡と、1以上の情報処理装置と、1以上の読影端末とを含んでいてよく、例えば遠隔医療のために使用可能である。スリットランプ顕微鏡、情報処理装置、及び読影端末のうちの1つ以上の装置は、いずれかの例示的な態様に係る情報処理機能を備えていてよい。スリットランプ顕微鏡は、いずれかの例示的な態様に係るスリットランプ顕微鏡であってもよいし、その少なくとも一部を具備したスリットランプ顕微鏡であってもよい。情報処理装置は、スリットランプ顕微鏡により取得された画像を受けてこれを読影端末に送信する。また、情報処理装置は、スリットランプ顕微鏡により取得された画像を管理する機能を備えていてもよい。なお、情報処理装置を設けることなく、スリットランプ顕微鏡から読影端末に向けて画像を送信してもよい。例えば、情報処理装置はスリットランプ顕微鏡に組み込まれていてよい。読影端末は、医師(典型的には、眼科医又は読影医等の専門医)が、スリットランプ顕微鏡により取得された画像の読影(画像を観察して診療上の所見を得ること)を行うために使用されるコンピュータである。読影者が読影端末に入力した情報は、例えば、読影端末又は他のコンピュータにより読影レポート又は電子カルテ情報に変換されて情報処理装置に送信されてよい。他の例示的な態様は、読影者が入力した情報を読影端末が受け付け、受け付けられた情報を読影端末が情報処理装置に送信し、読影端末から送信された情報を情報処理装置が受信し、受信された情報から情報処理装置又は他のコンピュータが読影レポート又は電子カルテ情報を生成するように構成されていてよい。情報処理装置は、読影レポート又は電子カルテ情報を管理する機能を有していてよい。また、情報処理装置は、読影レポート又は電子カルテ情報を他の装置又は他の医療システム(例えば電子カルテシステム)に転送する機能を有していてよい。
【0022】
他の例示的な態様に係るシステム(第2のシステム)は、1以上のスリットランプ顕微鏡と、1以上の情報処理装置と、1以上の読影装置とを含んでいてよい。スリットランプ顕微鏡、情報処理装置、及び読影装置のうちの1つ以上の装置は、いずれかの例示的な態様に係る情報処理機能を備えていてよい。スリットランプ顕微鏡は第1のシステムのスリットランプ顕微鏡と同様であってよく、情報処理装置は第1のシステムの情報処理装置と同様であってよい。また、情報処理装置を設けることなく、スリットランプ顕微鏡から読影装置に向けて画像を送信してもよい。例えば、情報処理装置はスリットランプ顕微鏡に組み込まれていてよい。読影装置は、例えば、既定のプログラムにしたがって動作する画像処理プロセッサ、及び/又は、人工知能エンジン(推論エンジン、推論モデル、学習済みモデルなど)を利用して、スリットランプ顕微鏡により取得された画像の読影処理を実行するコンピュータである。読影装置又は他のコンピュータは、読影装置が画像から導出した情報から読影レポート又は電子カルテ情報を生成することができる。生成された読影レポート又は電子カルテ情報は、情報処理装置に送信されてよい。他の例において、読影装置が画像から導出した情報を情報処理装置に送信することができる。この場合、情報処理装置又は他のコンピュータは、読影装置が画像から導出した情報から読影レポート又は電子カルテ情報を生成することができる。更に他の例において、読影装置が画像から導出した情報、及び/又は、この情報に基づき生成された情報(読影レポート、電子カルテ情報など)を診断支援情報として医師に提供することができる。
【0023】
更に他の例示的な態様に係るシステム(第3のシステム)は、1以上のスリットランプ顕微鏡と、1以上の情報処理装置とを含んでいてよい。スリットランプ顕微鏡及び/又は情報処理装置は、いずれかの例示的な態様に係る情報処理機能を備えていてよい。スリットランプ顕微鏡は、第1のシステムのスリットランプ顕微鏡と同様であってよく、情報処理装置は第1のシステムの情報処理装置及び/又は第2のシステムの情報処理装置と同様であってよい。換言すると、情報処理装置は、第1のシステムの読影端末若しくはこれに類するコンピュータとの間でデータ通信が可能であってよく、及び/又は、第2のシステムの読影装置若しくはこれに類するコンピュータとの間でデータ通信が可能であってよい。なお、情報処理装置はスリットランプ顕微鏡に組み込まれていてよい。
【0024】
例示的な態様に係るスリットランプ顕微鏡システムは遠隔医療のために使用可能であるが、前述のようにスリットランプ顕微鏡で良好な画像を得ることは容易ではなく、また、読影や診断を有効に行うには前眼部の広い範囲の画像を「予め」取得する必要がある。このような事情から、スリットランプ顕微鏡を用いた有効な遠隔医療は実現されていないと言える。その実現に寄与する技術を例示的な態様は提供することができる。しかしながら、例示的な態様の用途は遠隔医療に限定されず、他の用途に例示的な態様を応用することも可能である。
【0025】
例示的な態様に係るスリットランプ顕微鏡システムは、前眼部の広い範囲を良好な画質で表現した一連の画像(画像群、画像セット)を取得するために利用可能である。
【0026】
例示的な態様は、次のような問題にも着目している。すなわち、例示的な態様が想定する応用形態(遠隔医療など)では、スリットランプ顕微鏡で前眼部の十分に広い範囲から一連の画像(画像群、画像セット)を直接的又は間接的に読影者に提供するため、提供される一連の画像の品質が低い場合であっても再撮影を行うことは難しく、その結果、読影を全く行えない、又は不十分な読影しか行えない、といった問題が生じるおそれがある。したがって、「良好な」品質の画像を「予め」取得する必要がある。つまり、診断(読影など)を有効に行うことが可能な品質を持った一連の画像を、読影者に提供する前にまとめて取得する必要がある。しかし、スリットランプ顕微鏡の操作の難しさに加えて、撮影時の瞬きや眼球運動の発生を考慮すると、観察や読影の対象領域全体を良好な画質で表現した一連の画像を得ることは極めて困難である。本開示は、このような問題への対処も考慮している。
【0027】
以下、幾つかの例示的な態様について説明する。これら態様のうちのいずれか2つ以上の態様を少なくとも部分的に組み合わせることが可能である。また、このような組み合わせに対して任意の公知技術を組み合わせることやそれに基づく変形(置換、省略など)を施すことが可能である。
【0028】
本明細書に開示された要素の機能の少なくとも一部は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。回路構成又は処理回路構成は、開示された機能の少なくとも一部を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能の少なくとも一部を実行するハードウェア、又は、開示された機能の少なくとも一部を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能の少なくとも一部を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
【0029】
<スリットランプ顕微鏡システムの構成>
例示的な対象に係るスリットランプ顕微鏡システムは、例えば、情報処理機能を備えたスリットランプ顕微鏡、又は、スリットランプ顕微鏡と情報処理装置との組み合わせであってよい。1つの例示的な態様に係るスリットランプ顕微鏡システムの構成を
図1A及び
図1Bに示す。
図1Aはスリットランプ顕微鏡システム1の全体構成の例を示し、
図1Bはスリットランプ顕微鏡システム1のデータ処理部8及び記憶部10の構成例を示す。
図1A中の符号Cは角膜を示し、符号CLは水晶体を示し、符号IRは虹彩を示し、符号CAは隅角を示す。
【0030】
スリットランプ顕微鏡システム1は、患者(被検眼)ごとの関心領域(ROI)の解析データを自動生成するための構成を備えることで、疾患種別や病期や病態にかかわらず被検眼の局所的な微少変化を捉えることを可能とし、また、関心領域に関する診療(観察、解析、フォローアップなど)の少なくとも一部の工程を好適化(自動化、簡便化、容易化、効率化など)するものである。
【0031】
関心領域は、診療において注目される箇所であり、例えば、病変、異常、診断対象部位、治療対象部位などであってよい。幾つかの例示的な態様において、関心領域は、角膜、虹彩、瞳孔、水晶体、人工物、毛様体、隅角、線維柱帯、及びシュレム管のいずれかに相当する領域を含んでいてよい。人工物は、例えば被検眼に移植された物体であり、その例として、眼内レンズ(IOL)、有水晶体眼内レンズ(フェイキックIOL)、後房型有水晶体眼内レンズ(ICL)、低侵襲緑内障手術(MIGS)デバイス、ステントなどがある。
【0032】
図1Aに示すように、スリットランプ顕微鏡システム1は、照明系2と、撮影系3と、移動機構6と、制御部7と、データ処理部8と、通信部9と、記憶部10とを含んでいる。また、
図1Bに示すように、スリットランプ顕微鏡システム1は、受付部11を含む。詳細については後述するが、受付部11は、
図1Aに示すいずれかの要素の少なくとも一部により構成されてもよいし、他の要素の少なくとも一部により構成されてもよいし、それらの組み合わせとして構成されてもよい。
【0033】
スリットランプ顕微鏡システム1は、単一の装置であってもよいし、2以上の装置を含むシステムであってもよい。後者の例として、スリットランプ顕微鏡システム1は、照明系2、撮影系3、及び移動機構6を含む本体装置と、制御部7、データ処理部8、通信部9、記憶部10、及び受付部11を含むコンピュータと、本体装置とコンピュータとの間のデータ通信を担う通信インターフェイスとを含む。このコンピュータは、例えば、本体装置とともに設置されてもよいし、ネットワーク上に設置されてもよい。このコンピュータの例として、上記の情報処理装置、読影端末、及び読影装置がある。
【0034】
<受付部11>
受付部11は、患者(被検者)の識別子を受け付ける。受付部11の構成や態様は任意であってよい。
【0035】
患者の識別子は、患者識別情報、被検者識別情報、患者ID、被検者IDなどと呼ばれる。患者IDは、各患者に対して付与される、少なくとも局所的に一意的なコード(文字列情報、画像情報など)である。例えば、患者IDは、或る医療機関において各患者に一意的に付与されるコード、又は、或る値域(国、県など)において各患者に一意的に付与される公的なコードであってよい。
【0036】
幾つかの例示的な態様の受付部11は、患者IDの入力を受け付けて信号に変換するデバイスと、このデバイスからの信号を受け付ける制御部7とを含む。このデバイスは、例えば、キーボードやタッチスクリーンなどのユーザーインターフェイス(マンマシンインターフェイス)、又は、記録媒体から患者IDを読み出すデータリーダであってよい。スリットランプ顕微鏡システム1(制御部7、データ処理部8など)は、患者認証を行うことができる。
【0037】
<記憶部10>
記憶部10は、各種のデータを記憶する。例えば、記憶部10は、被検眼Eの前眼部をスリット光でスキャンして収集された画像群、2以上の画像群から作成された画像セット、画像解析により生成された解析データ、画像群又は画像セットから構築された加工画像などが記憶される。制御部7は、記憶部10にデータを格納する処理と、記憶部10からデータを読み出す処理とを実行する。格納処理や読み出し処理は、スリットランプ顕微鏡システム1の各種の動作において適時実行されるものである。
【0038】
更に、記憶部10は、関連情報100を予め記憶している。関連情報100は、少なくとも、複数の患者IDと複数の関心位置情報とを関連付けている。例えば、関連情報100は、複数の患者IDのそれぞれに対して関心位置情報を関連付けている。
【0039】
関心位置情報は、関心領域の位置を示す。関心領域の位置は、例えば、角膜の位置、虹彩の位置、瞳孔の位置、水晶体の位置、人工物の位置、毛様体の位置、隅角の位置、線維柱帯の位置、及びシュレム管の位置のいずれかであってよい。幾つかの例示的な態様において、関心領域の位置は、角膜前面/後面の特徴(頂点、炎症、腫瘍など)の位置、角膜内部の特徴(手術による変化、治療による変化、角膜の外周の位置、投薬による変化など)の位置、水晶体前嚢/後嚢の特徴(頂点など)の位置、水晶体内部の特徴(中心、重心、混濁など)の位置、IOLの前面/後面の特徴(頂点、汚れ、傷など)の位置、及び、隅角の外周の位置のうちのいずれかであってよい。幾つかの例示的な態様において、関心領域は、角膜のサブ組織(角膜前面、角膜後面、角膜上皮、ボーマン膜、固有層、デュア層、デスメ膜、角膜内皮など)や、水晶体のサブ組織(水晶体前面、水晶体後面、水晶体核、上皮、水晶体嚢など)などであってよい。
【0040】
関連情報100の例を
図2に示す。本例の関連情報101は、複数の患者ID(PID(1)、PID(2)、・・・)のそれぞれに対して、対象眼情報(右眼/左眼、R/L)と、関心位置情報(ROI(1R)、ROI(1L)、ROI(2R)、・・・)と、パラメータ種別情報(P(1R)、P(1L)、P(2R)、・・・)とを関連付けている。例えば、関連情報101は、患者ID「PID(1)」に対して、対象眼情報「R」と関心位置情報「ROI(1R)」とパラメータ種別情報「P(1R)」とを関連付けるとともに、対象眼情報「L」と関心位置情報「ROI(1L)」とパラメータ種別情報「P(1L)」とを関連付けている。換言すると、患者ID「PID(1)」の患者の右眼「R」に対して関心位置情報「ROI(1R)」とパラメータ種別情報「P(1R)」とを関連付けるとともに、左眼「L」に対して関心位置情報「ROI(1L)」とパラメータ種別情報「P(1L)」とを関連付けている。他の患者IDについても同様である。
【0041】
パラメータ種別情報は、演算の対象となるパラメータの種別を示す情報である。パラメータ種別情報は、任意的に採用される情報であり、また、事後的に変更可能であってよい。例えば、医師等は、関心位置情報に対応する被検眼(前眼部)の部位の観察を行い、ユーザーインターフェイスを用いて当該部位のフォローアップを行うと判断したパラメータの種別を指定することができる。この指定を受け、制御部7(又は他の情報処理装置)は、この患者の患者IDに関連付けてパラメータ種別情報を登録する。その後のフォローアップにおいて医師等がユーザーインターフェイスを用いてパラメータの編集(追加、削除、変更など)を行った場合、制御部7(又は他の情報処理装置)は、医師が行った編集の内容に基づいてパラメータ種別情報を更新することができる。
【0042】
また、一般に、適用されるパラメータの種別は、疾患の種別や関心領域の種別に応じて異なる。例えば、緑内障眼については隅角に関するパラメータが適用され、白内障眼については水晶体混濁に関するパラメータが適用される。他の疾患についても、それに応じたパラメータが適用される。したがって、スリットランプ顕微鏡システム1に次のような機能を設けることが可能である:疾患種別及び/又は関心領域種別と、パラメータ種別とが関連付けられた情報を予め記憶する機能;疾患種別及び/又は関心領域種別の入力を受け付ける機能;入力された情報に関連付けられたパラメータ種別を上記情報から特定する機能;特定されたパラメータ種別と入力された関心領域種別とを患者IDに関連付ける機能。また、上記のように、疾患種別に応じて関心領域種別が定まる場合がある。その場合、疾患種別に対して1以上の関心領域種別が関連付けられた情報を予め記憶する機能と、入力された疾患種別に関連付けられた関心領域種別を当該情報から特定する機能とを更に設けることが可能である。なお、このようにパラメータ種別(及び関心領域種別)を自動で設定する構成が適用される場合であっても、この自動設定された内容をユーザーが事後的に変更するための機能が設けられていてよい。
【0043】
幾つかの例示的な態様の関連情報100においては、対象眼情報として「両眼」を指定可能としつつ、右眼及び左眼の双方に共通の関心位置情報及び/又はパラメータ種別情報を関連付けるようにしてもよい。このような関連情報100は、例えば、左右両眼について(ほぼ)同様に進行するような疾患に適用される。また、幾つかの例示的な態様の関連情報100は、対象眼情報を含まずに、関心位置情報及びパラメータ種別情報を患者IDに関連付けるように構成されていてよい。このような関連情報100は、例えば、左右両眼について(ほぼ)同様に進行するような疾患に適用され、又は、一方の眼にのみ検査が実施される場合に適用される。
【0044】
<照明系2>
照明系2は、被検眼Eの前眼部にスリット光を照射する。符号2aは、照明系2の光軸(照明光軸)を示す。照明系2は、従来のスリットランプ顕微鏡の照明系と同様の構成を備えていてよい。図示は省略するが、例示的な照明系2は、被検眼Eから遠い側から順に、照明光源と、正レンズと、スリット形成部と、対物レンズとを含む。
【0045】
照明光源は照明光を出力する。照明系2は複数の照明光源を備えていてよい。例えば、照明系2は、連続光を出力する照明光源と、フラッシュ光を出力する照明光源とを含んでいてよい。また、照明系2は、前眼部用照明光源と後眼部用照明光源とを含んでいてよい。また、照明系2は、出力波長が異なる2以上の照明光源を含んでいてよい。典型的な照明系2は、照明光源として可視光源を含む。照明系2は、赤外光源を含んでいてもよい。照明光源から出力された照明光は、正レンズを通過してスリット形成部に投射される。
【0046】
スリット形成部は、照明光の一部を通過させてスリット光を生成する。典型的なスリット形成部は、一対のスリット刃を有する。これらスリット刃の間隔(スリット幅)を変更することで照明光が通過する領域(スリット)の幅を変更し、これによりスリット光の幅が変更される。また、スリット形成部は、スリット光の長さを変更可能に構成されてもよい。スリット光の長さとは、スリット幅に対応するスリット光の断面幅方向に直交する方向におけるスリット光の断面寸法である。スリット光の幅やスリット光の長さは、典型的には、スリット光の前眼部への投影像の寸法として表現されるが、これには限定されず、例えば、任意の位置におけるスリット光の断面における寸法として表現することや、スリット形成部により形成されるスリットの寸法として表現することも可能である。
【0047】
スリット形成部により生成されたスリット光は、対物レンズにより屈折されて被検眼Eの前眼部に照射される。
【0048】
照明系2は、スリット光のフォーカス位置を変更するための合焦機構を更に含んでいてもよい。合焦機構は、例えば、対物レンズを照明光軸2aに沿って移動させる。対物レンズの移動は、自動及び/又は手動で実行可能である。なお、対物レンズとスリット形成部との間の照明光軸2a上の位置に合焦レンズを配置し、この合焦レンズを照明光軸2aに沿って移動させることによってスリット光のフォーカス位置を変更可能としてもよい。
【0049】
なお、
図1Aは上面図であり、同図に示すように、本態様では、被検眼Eの軸に沿う方向をZ方向とし、これに直交する方向のうち被検者にとって左右の方向をX方向とし、X方向及びZ方向の双方に直交する方向をY方向とする。典型的には、X方向は左眼と右眼との配列方向であり、Y方向は被検者の体軸に沿う方向(体軸方向)である。
【0050】
<撮影系3>
撮影系3は、照明系2からのスリット光が照射されている前眼部を撮影する。符号3aは、撮影系3の光軸(撮影光軸)を示す。本態様の撮影系3は、光学系4と、撮像素子5とを含む。
【0051】
光学系4は、スリット光が照射されている被検眼Eの前眼部からの光を撮像素子5に導く。撮像素子5は、光学系4により導かれた光を撮像面にて受光する。
【0052】
光学系4により導かれる光(被検眼Eの前眼部からの光)は、前眼部に照射されているスリット光の戻り光を含み、他の光を更に含んでいてよい。戻り光の例として、反射光、散乱光、蛍光がある。他の光の例として、環境からの光(室内光、太陽光など)がある。前眼部全体を照明するための前眼部照明系が照明系2とは別に設けられている場合には、この前眼部照明光の戻り光が光学系4により導かれる光に含まれる。
【0053】
光学系4は、従来のスリットランプ顕微鏡の撮影系と同様の構成を備えていてよい。例えば、光学系4は、被検眼Eに近い側から順に、対物レンズと、変倍光学系と、結像レンズとを含む。スリット光が照射されている被検眼Eの前眼部からの光は、対物レンズ及び変倍光学系を通過し、結像レンズにより撮像素子5の撮像面に結像される。
【0054】
撮像素子5は、2次元の撮像エリアを有するエリアセンサであり、例えば、電荷結合素子(CCD)イメージセンサ又は相補型金属酸化膜半導体(CMOS)イメージセンサであってよい。
【0055】
撮影系3は、そのフォーカス位置を変更するための合焦機構を更に含んでいてもよい。合焦機構は、例えば、対物レンズを撮影光軸3aに沿って移動させる。対物レンズの移動は、自動及び/又は手動で実行可能である。なお、対物レンズと結像レンズとの間の撮影光軸3a上の位置に合焦レンズを配置し、この合焦レンズを撮影光軸3aに沿って移動させることによってフォーカス位置を変更可能としてもよい。
【0056】
照明系2及び撮影系3は、シャインプルーフカメラとして機能する。すなわち、照明光軸2aに沿う物面と、光学系4と、撮像素子5の撮像面とが、いわゆるシャインプルーフの条件を満足するように、照明系2及び撮影系3が構成される。より具体的には、照明光軸2aを通るYZ面(物面を含む)と、光学系4の主面と、撮像素子5の撮像面とが、同一の直線上にて交差する。これにより、物面内の全ての位置(照明光軸2aに沿う方向における全ての位置)にピントを合わせて撮影を行うことができる。
【0057】
本態様では、例えば、前眼部の所定部位の少なくとも一部を含む3次元領域に撮影系3のピントが合った状態で撮影が行われる。Z方向については、例えば、角膜Cの前面の頂点(Z=Z1)から水晶体CLの後面の頂点(Z=Z2)までの範囲全体に撮影系3のピントが合った状態で撮影を行うことが可能である。なお、Z=Z0は、照明光軸2aと撮影光軸3aとの交点のZ座標を示す。
【0058】
このような条件は、典型的には、照明系2に含まれる要素の構成及び配置、撮影系3に含まれる要素の構成及び配置、並びに、照明系2と撮影系3との相対位置によって実現される。照明系2と撮影系3との相対位置を示すパラメータは、例えば、照明光軸2aと撮影光軸3aとがなす角度θを含む。角度θは、例えば、17.5度、30度、又は45度に設定される。なお、角度θは可変であってもよい。
【0059】
<移動機構6>
移動機構6は、照明系2及び撮影系3を移動する。移動機構6は、例えば、照明系2及び撮影系3が搭載された可動ステージと、制御部7から入力される制御信号にしたがって動作するアクチュエータと、このアクチュエータにより発生された駆動力に基づき可動ステージを移動する機構とを含む。他の例において、移動機構6は、照明系2及び撮影系3が搭載された可動ステージと、図示しない操作デバイスに印加された力に基づき可動ステージを移動する機構とを含む。操作デバイスは、例えばレバーである。可動ステージは、少なくともX方向に移動可能であり、更にY方向及び/又はZ方向に移動可能であってよい。
【0060】
本態様において、移動機構6は、例えば、照明系2及び撮影系3を一体的にX方向に移動する。つまり、移動機構6は、上記したシャインプルーフの条件が満足された状態を保持しつつ照明系2及び撮影系3をX方向に移動する。この移動と並行して、撮影系3は、例えば所定の時間間隔(撮影レート)で動画撮影を行う。これにより、被検眼Eの前眼部の3次元領域がスリット光でスキャンされ、この3次元領域内の複数の断面に対応する複数の画像(画像群)が収集される。
【0061】
また、典型的な例において、照明系2により前眼部に照射されるスリット光の長手方向(長さ方向)はY方向に一致され、短手方向(幅方向)はX方向に一致される。更に、移動機構6は、照明系2及び撮影系3を一体的にX方向に移動する。つまり、移動機構6は、照明系2により前眼部に照射されるスリット光がこのスリット光の幅方向に移動するように照明系2及び撮影系3を移動する。これにより、前眼部の3次元領域を簡便且つ効率的にスキャンすることが可能になる。なお、スリット光の向きと移動方向との組み合わせは任意であってよい。
【0062】
<制御部7>
制御部7は、スリットランプ顕微鏡システム1の各部を制御する。例えば、制御部7は、照明系2の要素(照明光源、スリット形成部、合焦機構など)、撮影系3の要素(合焦機構、撮像素子など)、移動機構6、データ処理部8、通信部9などを制御する。また、制御部7は、照明系2と撮影系3との相対位置を変更するための制御を実行可能であってもよい。更に、制御部7は、スリットランプ顕微鏡システム1に含まれるデバイス(例えば表示デバイス)又はスリットランプ顕微鏡システム1に接続された装置(例えば表示デバイス)を制御可能であってもよい。
【0063】
制御部7は、プロセッサ、主記憶装置、補助記憶装置などを含む。補助記憶装置には、制御プログラム等が記憶されている。制御プログラム等は、スリットランプ顕微鏡システム1がアクセス可能なコンピュータや記憶装置に記憶されていてもよい。制御部7の機能は、制御プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。
【0064】
制御部7は、被検眼Eの前眼部の3次元領域をスリット光でスキャンするために、照明系2、撮影系3及び移動機構6に対して次のような制御を適用することができる。
【0065】
まず、制御部7は、照明系2及び撮影系3を所定のスキャン開始位置に配置するように移動機構6を制御する(アライメント制御)。スキャン開始位置は、例えば、X方向における角膜Cの端部(第1端部)に相当する位置、又は、それよりも被検眼Eの軸から離れた位置である。
【0066】
図4Aの符号X0は、X方向における角膜Cの第1端部に相当するスキャン開始位置の例を示している。また、
図4Bの符号X0′は、X方向における角膜Cの第1端部に相当する位置よりも被検眼Eの軸EAから離れたスキャン開始位置の例を示している。
【0067】
制御部7は、照明系2を制御して、被検眼Eの前眼部に対するスリット光の照射を開始させる(スリット光照射制御)。なお、アライメント制御の実行前に、又は、アライメント制御の実行中に、スリット光照射制御を行ってもよい。スリット光は、典型的には連続光であるが、断続光(パルス光)であってもよい。パルス光の点灯制御は、撮影系3の撮影レートに同期される。また、スリット光は、典型的には可視光であるが、赤外光であってもよいし、可視光と赤外光との混合光であってもよい。
【0068】
制御部7は、撮影系3を制御して、被検眼Eの前眼部の動画撮影を開始させる(撮影制御)。なお、アライメント制御の実行前に、又は、アライメント制御の実行中に、撮影制御を行ってもよい。典型的には、スリット光照射制御と同時に、又は、スリット光照射制御よりも後に、撮影制御が実行される。
【0069】
アライメント制御、スリット光照射制御、及び撮影制御の実行後、制御部7は、移動機構6を制御して、照明系2及び撮影系3の移動を開始する(移動制御)。移動制御により、照明系2及び撮影系3が一体的に移動される。つまり、照明系2と撮影系3との相対位置(角度θなど)を維持しつつ照明系2及び撮影系3が移動される。典型的には、前述したシャインプルーフの条件が満足された状態を維持しつつ照明系2及び撮影系3が移動される。照明系2及び撮影系3の移動は、前述したスキャン開始位置から所定のスキャン終了位置まで行われる。スキャン終了位置は、例えば、スキャン開始位置と同様に、X方向において第1端部の反対側の角膜Cの端部(第2端部)に相当する位置、又は、それよりも被検眼Eの軸から離れた位置である。このような場合、スキャン開始位置からスキャン終了位置までの範囲がスキャン範囲となる。
【0070】
典型的には、X方向を幅方向とし且つY方向を長手方向とするスリット光を前眼部に照射しつつ、且つ、照明系2及び撮影系3をX方向に移動しつつ、撮影系3による動画撮影が実行される。
【0071】
ここで、スリット光の長さ(つまり、Y方向におけるスリット光の寸法)は、例えば、被検眼Eの表面において角膜Cの径以上に設定される。すなわち、スリット光の長さは、Y方向における角膜径以上に設定されている。また、前述のように、移動機構6による照明系2及び撮影系3の移動距離(つまり、スキャン範囲)は、X方向における角膜径以上に設定されている。これにより、少なくとも角膜C全体をスリット光でスキャンすることができる。
【0072】
このようなスキャンを実行することにより、スリット光の照射位置が異なる複数の前眼部画像が得られる。換言すると、スリット光の照射位置がX方向に移動する様が描写された動画像が得られる。このような複数の前眼部画像(つまり、動画像を構成するフレーム群)の例を
図5に示す。
【0073】
図5は、複数の前眼部画像(フレーム群、画像群)F1、F2、F3、・・・、FNを示す。これら前眼部画像Fn(n=1、2、・・・、N)の添字nは、時系列順序を表している。つまり、第n番目に取得された前眼部画像が符号Fnで表される。前眼部画像Fnには、スリット光照射領域Anが含まれている。
図5に示すように、スリット光照射領域A1、A2、A3、・・・、ANは、時系列に沿って右方向に移動している。
【0074】
図5に示す例においては、スリット光の長手方向(長さ方向)がY方向(上下方向、体軸方向)に一致し、短手方向(幅方向)がX方向(左右方向、横方向)に一致し、スリット光の移動方向がX方向に一致している。また、スキャン開始位置は角膜Cの第1端部(左端)よりも外側(左側)の位置であり、スキャン終了位置は角膜Cの第2端部(右端)よりも外側(右側)の位置である。このような態様のスキャンによれば、角膜C全体を含む3次元領域を撮影することができる。なお、スキャン開始位置及び/又はスキャン終了位置は本例に限定されず、例えば、スキャン開始位置及び/又はスキャン終了位置がX方向における角膜Cの端部であってよい。また、スリット光の向き、スリット光の移動方向、スキャンの回数などの各種スキャンパラメータについても、任意に設定することが可能である。
【0075】
<データ処理部8>
データ処理部8は、各種のデータ処理を実行する。処理されるデータは、スリットランプ顕微鏡システム1により取得されたデータ、及び、外部から入力されたデータのいずれでもよい。データ処理部8は、撮影系3によって取得された画像を処理することができる。
【0076】
データ処理部8は、プロセッサ、主記憶装置、補助記憶装置などを含む。補助記憶装置には、データ処理プログラム等が記憶されている。データ処理プログラム等は、機械学習によって構築されたモデル(学習済みモデル、推論モデルなど)を含んでいてもよい。データ処理プログラム等は、スリットランプ顕微鏡システム1がアクセス可能なコンピュータや記憶装置に記憶されていてもよい。データ処理部8の機能は、データ処理プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。
【0077】
図1Bに示す例示的なデータ処理部8は、画像群処理部80と、加工画像構築部85と、関心位置情報取得部86と、特定部87と、解析部88と、更新部89とを含む。特定部87及び解析部88は、画像解析部として機能する。
【0078】
<画像群処理部80>
画像群処理部80は、スリット光を用いた前眼部スキャンで収集された画像群の少なくとも一部の画像を処理する。画像群処理部80の幾つかの例を説明する。
図6A、
図6B、
図6C、及び
図6Dは、それぞれ、画像群処理部80の第1、第2、第3、及び第4の例である画像群処理部80A、80B、80C、及び80Dを示す。なお、画像群処理部80の構成はこれらに限定されない。例えば、画像群処理部80は、4つの画像群処理部80A、80B、80C、及び80Dのいずれか2つ以上の組み合わせを含んでいてもよい。また、同じ種類の結果又は類似の種類の結果を得るための任意の要素を画像群処理部80に設けることが可能である。
【0079】
本態様のスリットランプ顕微鏡システム1は、被検眼Eの前眼部に1回以上のスキャンを適用する。各スキャンにより、
図5に示す複数の前眼部画像F1~FNのような画像群が得られる。画像群処理部80は、このようにして取得された1つ以上の画像群に処理を施すことができる。
【0080】
スリットランプ顕微鏡システム1は、2回以上のスキャンを前眼部に適用可能であってよい。例えば、第1回目のスキャンで良好な画像群が得られない場合に、第2回目のスキャンが実行される。より一般に、第1回目~第v回目のスキャンで良好な一連の画像が得られなかった場合に、第v+1回目のスキャンが実行される(vは1以上の整数)。幾つかの例示的な態様では、第1回目~第v回目のv回のスキャンで得られたv個の画像群から良好な一連の画像(画像セット)が得られない場合に、第v+1回目のスキャンが実行される。他の幾つかの例示的な態様では、第1回目~第v回目のv回のスキャンで得られたv個の画像群のいずれもが良好な画像セットでない場合に、第v+1回目のスキャンが実行される。なお、2回以上のスキャンを実行する態様はこれらに限定されない。
【0081】
2回以上のスキャンを実行する場合、これらのスキャンの開始位置及び終了位置(つまりスキャン範囲)は同じでもよいし、開始位置及び終了位置の一方又は双方が異なってもよい。典型的には、2回以上のスキャンは、同じスキャン範囲に対して適用される。それにより、
図5に示す複数の前眼部画像F1~FNのような画像群が、スキャン回数と同じ個数だけ取得される。
【0082】
被検眼Eの眼球運動などを考慮すると、典型的には、スキャン範囲(スキャン開始位置、スキャン終了位置)は、前眼部における位置や範囲ではなく、スリットランプ顕微鏡システム1の動作によって定義される。例えば、スキャンにおける照明系2及び撮影系3の移動の始点がスキャン開始位置とされ、終点がスキャン終了位置とされる。
【0083】
一方、前眼部における位置や範囲によってスキャン範囲を定義することも可能である。この場合、被検眼Eの動きに追従するように照明系2及び撮影系3を移動させる動作(トラッキング)が適用される。本例のスリットランプ顕微鏡システム1は、例えば従来と同様のトラッキング機能を備える。トラッキング機能は、例えば、前眼部の動画撮影と、各フレームからのランドマークの抽出と、ランドマークを用いたフレーム間の偏位の算出と、偏位を打ち消すための照明系2及び撮影系3の移動制御とを含む。
【0084】
スキャン範囲の定義(設定)に関する他の例として、既に収集された画像に対してスキャン範囲を設定することが可能である。すなわち、スキャン範囲の設定を事後的に(スキャン後に)行うように構成することができる。なお、本例におけるスキャン範囲は、後の処理に提供される画像の範囲を表すものである。
【0085】
このような事後的なスキャン範囲設定の第1の例を説明する。本例のスリットランプ顕微鏡は、前眼部撮影が可能であり、且つ、前眼部撮影用光学系とスキャン光学系(照明系2及び撮影系3)との位置関係を認識可能であるとする。本例では、まず、前眼部の十分広い範囲(特にX方向及びY方向)をスキャンして画像群(広域画像群)を収集しつつ、前眼部撮影を実行する。次に、前眼部撮影で得られた前眼部画像に対してスキャン範囲が設定される。この設定は手動及び自動のいずれで行われてもよい。自動設定は、例えば、前眼部画像を解析してランドマークを検出する処理と、このランドマークを参照してスキャン範囲を設定する処理とを含む。このランドマークは、例えば、角膜縁、隅角、又は瞳孔縁であってよい。スキャン範囲が設定されると、上記した光学系の位置関係に基づいて、このスキャン範囲に相当する各広域画像の部分領域が特定される。最後に、この特定された部分領域を広域画像からクロッピングすることによって、当該スキャン範囲に相当する画像が形成される。これにより、設定されたスキャン範囲に対応する画像群が得られる。本例において、被検眼の固視が安定している場合(又は、そのように仮定する場合若しくは仮定できる場合)などには、前眼部撮影は静止画撮影であってよい。前眼部撮影が動画撮影である場合には、例えばスキャンと動画撮影との制御(同期情報など)に基づいて広域画像群と動画像中のフレーム群とが対応付けられ、対応付けられた広域画像とフレームとのペア毎に上記と同様の処理が実行される。
【0086】
事後的なスキャン範囲設定の第2の例を説明する。本例では、前眼部撮影を並行的に行わなくてもよく、前眼部の十分広い範囲(特にX方向及びY方向)をスキャンして広域画像群が収集される。次に、各広域画像に対して、所望のスキャン範囲に相当する部分領域が指定される。この指定は手動及び自動のいずれで行われてもよい。自動指定は、例えば、広域画像を解析してランドマーク(例えば、角膜縁又は隅角)を検出する処理と、このランドマークを参照してスキャン範囲を設定する処理とを含む。また、いずれかの広域画像(基準広域画像)に対して手動でランドマークを指定し、この基準広域画像とそれに隣接する広域画像とを解析して当該隣接広域画像にランドマークを指定してもよい。このような処理を順次に適用することで全ての広域画像に対してランドマークを指定することができる。更に、ランドマークに基づいてスキャン範囲に相当する広域画像の部分領域を特定し、この特定された部分領域を広域画像からクロッピングすることによって当該スキャン範囲に相当する画像を形成することができる。これにより、設定されたスキャン範囲に対応する画像群が得られる。
【0087】
画像群処理部80の第1の例を説明する。
図6Aに示す画像群処理部80Aは、画像群評価部81を含む。画像群評価部81は、被検眼Eに対する1回のスキャンで収集された画像群の品質を評価する。幾つかの例示的な態様において、画像群評価部81は、画像群が所定の条件を満足するか否か判定するように構成されており、典型的には、画像群に含まれるそれぞれの画像が所定の条件を満足するか否か判定するように構成されている。
【0088】
所定の条件(画像群評価条件)は、例えば、読影や診断を有効に行うために必要とされる画像品質に関する条件であり、例えば、被検眼Eに関する条件、スリットランプ顕微鏡システム1に関する条件、環境に関する条件などがある。画像群評価条件は、例えば、「評価対象の画像が、瞬きの影響を受けていないこと(瞬き条件)」及び「評価対象の画像が、眼球運動の影響を受けていないこと(眼球運動条件)」のいずれか一方及び双方を含んでいてよい。また、画像群評価条件は、画像品質評価に関する任意の指標であってよく、例えば、明るさ、コントラスト、ノイズ、信号対雑音比(SNR)、階調再現(tone reproduction)、ダイナミックレンジ、シャープネス、口径食(ケラレ)、収差(球面収差、非点収差、コマ収差、像面湾曲、歪曲収差、色収差など)、色精度(color accuracy)、露出精度(exposure accuracy)、レンズフレア、モアレ、及びアーティファクトのうちのいずれかを含んでいてよい。画像選択条件はこれらの例に限定されず、任意に選択されてよい。
【0089】
瞬き条件について説明する。画像群に含まれる画像について、画像群評価部81は、例えば、被検眼Eの前眼部に照射されたスリット光の反射像が当該画像に含まれているか判定する。この判定は、瞬き中に撮影された画像にはスリット光の反射像が描出されないこと、及び、スリット光の反射像は他領域よりも顕著に明るく表現されることを利用した処理であり、例えば、当該画像における輝度分布に基づき実行される。
【0090】
一例として、画像群評価部81は、当該画像から輝度ヒストグラムを作成し、所定閾値以上の輝度の画素が存在するか判断する。所定閾値以上の輝度が存在すると判定された場合、スリット光の反射像が当該画像に含まれていると判定される。本例は、処理が極めて簡便であるという利点を有するが、高輝度のノイズや外光の映り込みを誤検出するおそれがある。
【0091】
他の例として、画像群評価部81は、当該画像から輝度ヒストグラムを作成し、所定閾値以上の輝度の画素が所定個数以上存在するか判定する。所定閾値以上の輝度の画素が所定個数以上存在するか判定すると判定された場合、スリット光の反射像が当該画像に含まれていると判定される。本例は、簡便な処理によって上記誤検出の防止を図ることができるという利点を有する。
【0092】
眼球運動条件について説明する。画像群に含まれる画像について、画像群評価部81は、例えば、当該画像とこれに隣接する画像との比較によって眼球運動の影響の有無を判定する。この判定は、動画撮影中に眼球運動が発生すると「画像の飛び」が生じることを利用した処理である。
【0093】
一例として、画像群評価部81は、当該画像及び隣接画像のそれぞれからランドマークを検出し、これらランドマークの偏位量を算出し、この偏位量が所定閾値以上であるか判断する。偏位量が所定閾値以上であると判定された場合、眼球運動が発生したと判定される。ここで、ランドマークは、例えば、角膜、虹彩、瞳孔、隅角などであってよい。また、閾値は、例えば、撮影系3の撮影レートや、移動機構6による移動速度など、所定のスキャン条件に基づき算出される。
【0094】
他の例において、画像群評価部81は、1つの画像から眼球運動の有無を判定するように構成されてもよい。例えば、撮影系3の撮影レートが低速である場合において、高速な眼球運動が発生すると、画像に「ブレ」が生じることがある。画像群評価部81は、ブレ検出を利用することによって眼球運動の有無を判定することができる。ブレ検出は、典型的には、エッジ検出などの公知技術を用いて行われる。
【0095】
画像群評価部81は、入力された画像が上記の画像選択条件を満足するか判定するための人工知能エンジンを含んでいてもよい。この人工知能エンジンは、典型的には、畳み込みニューラルネットワーク(CNN)を含み、この畳み込みニューラルネットワークは、スリットランプ顕微鏡により取得された多数の画像と、各画像が画像選択条件を満足するか否かの判定結果とを含む訓練データを用いて、事前に訓練される。なお、訓練データに含まれる画像は、スリットランプ顕微鏡により取得された画像に限定されず、例えば、他の眼科モダリティ(眼底カメラ、OCT装置、SLO、手術用顕微鏡など)により取得された画像、他の診療科の画像診断モダリティ(超音波診断装置、X線診断装置、X線CT装置、磁気共鳴イメージング(MRI)装置など)により取得された画像、実際の画像を加工して生成された画像、擬似的な画像などであってもよい。また、人工知能エンジンに用いられる手法や技術(例えば、ハードウェア、ソフトウェア、機械学習法、ニューラルネットワークの種類など)は任意である。
【0096】
1回のスキャンで収集された画像群を構成する一連の画像は、スキャン範囲における複数の位置に関連付けられていてよい。この関連付けは、例えば、画像群処理部80により実行される。その具体例を説明する。X方向に沿ったスキャン範囲が(N-1)個の区間に区分され、スキャン開始位置が第1番目の位置に設定され、スキャン終了位置が第N番目の位置に設定される(Nは2以上の整数)。これにより、スキャン範囲にN個の位置が設定される。N個の位置をB1、B2、B3、・・・、BNで表す(図示せず)。N個の位置B1~BNの間隔は等しくてもよいし、異なっていてもよい。位置B1~BNの個数(N)は、例えば、スキャン開始位置、スキャン終了位置、スリット光の移動速度(スキャン速度)、撮影系3のフレームレートなどに基づいて設定される。本例で設定される位置B1~BNの個数(N)は、1回のスキャンで収集される画像の個数に等しい。なお、位置B1~BNの個数(N)は本例に限定されず、また、その設定方法も本例に限定されない。被検眼Eの前眼部に1回のスキャンが適用され、
図5に示す画像群F1、F2、F3、・・・、FNが取得されたとする。画像群処理部80は、位置Bnに画像Fnを割り当てることができる。これにより、N個の位置Bn(n=1、2、・・・、N)に対応するN個の画像Fn(n=1、2、・・・、N)が得られる。
【0097】
画像群は、一連の画像のみを含んでいてもよいし、それ以外の情報を更に含んでいてもよい。一連の画像とともに画像群に含まれる情報の例として、被検者情報、被検眼情報、撮影日時、撮影条件など、各種の付帯情報がある。また、他のモダリティで得られた画像や、検査装置により取得された検査データを、画像群に含めることも可能である。画像群評価部81の構成や動作については、その幾つかの例を
図7A~
図7Dを参照しつつ後述する。
【0098】
画像群処理部80の第2の例を説明する。本例の有効性は、特に、被検眼Eに対して2回以上のスキャンが適用される場合に発揮される。
図6Bに示す画像群処理部80Bは、
図6Aと同様の画像群評価部81に加えて、画像セット作成部82を含む。画像群処理部80Bには、被検眼Eに適用された2回以上のスキャンで収集された2以上の画像群が提供される。本例の画像群評価部81は、これらの画像群のそれぞれに対して品質評価を行ってもよいし、最初のスキャン(第1回目のスキャン)で収集された画像群に対してのみ品質評価を行ってもよい。画像セット作成部82は、画像群処理部80Bに入力された2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成する。
【0099】
画像セットを構成する一連の画像が表現する範囲は、例えば、2以上のスキャンのうちのいずれか1つのスキャンが適用された3次元領域であってもよいし、2以上のスキャンのうちの少なくとも2つのスキャンにおけるスキャン範囲に基づき設定される3次元領域であってもよい。前者の例として、2以上のスキャンがそれぞれ適用された2以上のスキャン範囲において最大のスキャン範囲又は最小のスキャン範囲を採用することができる。後者の例として、少なくとも2つのスキャン範囲の和集合又は積集合を採用することができる。
【0100】
また、画像セットは、当該一連の画像のみを含んでいてもよいし、それ以外の情報を更に含んでいてもよい。一連の画像とともに画像セットに含まれる情報の例として、被検者情報、被検眼情報、撮影日時、撮影条件など、各種の付帯情報がある。また、他のモダリティで得られた画像や、検査装置により取得された検査データを、画像セットに含めることも可能である。
【0101】
画像群処理部80の第3の例を説明する。第2の例と同様に、本例の有効性は、特に、被検眼Eに対して2回以上のスキャンが適用される場合に発揮される。
図6Cに示す画像群処理部80Cは、
図6Aと同様の画像群評価部81に加えて、
図6Bと同様の画像セット作成部82を含むが、本例の画像セット作成部82は選択部821を含んでいる。
【0102】
画像群処理部80Cには、被検眼Eに適用された2回以上のスキャンで収集された2以上の画像群が提供される。本例の画像群評価部81は、これらの画像群のそれぞれに対して品質評価を行ってもよいし、最初のスキャン(第1回目のスキャン)で収集された画像群に対してのみ品質評価を行ってもよい。画像セット作成部82は、画像群処理部80Bに入力された2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成する。この画像セット作成において、選択部821は、2以上の画像群のうちから所定の条件を満足する画像を選択する。
【0103】
所定の条件(画像選択条件)は、前述した画像群評価条件と同じであってもよいし、異なっていてもよい。例えば、画像群評価部81により一つひとつの画像の品質評価が行われた後に、2以上の画像群が選択部821に提供されるように構成されている場合、選択部821は、画像配列に関する条件(例えば、瞬き条件、眼球運動条件など)を考慮して画像選択を行うように構成されてよい。なお、画像選択条件はこれらの例に限定されず、また、画像群評価条件と画像選択条件との間の関係もこれらの例に限定されない。
【0104】
以下、選択部821が瞬き条件を考慮する場合と眼球運動条件を考慮する場合とについて説明する。なお、これら以外の条件を考慮する場合などについては、画像群評価部81に関する後述の具体例(
図7A~
図7Dを参照)と同様の処理を選択部821は実行することができる。
【0105】
瞬き条件を考慮した画像選択について説明する。なお、瞬き条件は「評価対象の画像が、瞬きの影響を受けていないこと」を確認するための条件である。2以上の画像群に含まれる画像について、選択部821は、例えば、被検眼Eの前眼部に照射されたスリット光の反射像が当該画像に含まれているか判定する。この判定は、瞬き中に撮影された画像にはスリット光の反射像が描出されないこと、及び、スリット光の反射像は他領域よりも顕著に明るく表現されることを利用した処理であり、例えば、当該画像における輝度分布に基づき実行される。
【0106】
一例として、選択部821は、当該画像から輝度ヒストグラムを作成し、所定閾値以上の輝度の画素が存在するか判断する。所定閾値以上の輝度が存在すると判定された場合、スリット光の反射像が当該画像に含まれていると判定される。本例は、処理が極めて簡便であるという利点を有するが、高輝度のノイズや外光の映り込みを誤検出するおそれがある。
【0107】
他の例として、選択部821は、当該画像から輝度ヒストグラムを作成し、所定閾値以上の輝度の画素が所定個数以上存在するか判定する。所定閾値以上の輝度の画素が所定個数以上存在するか判定すると判定された場合、スリット光の反射像が当該画像に含まれていると判定される。本例は、簡便な処理によって上記誤検出の防止を図ることができるという利点を有する。
【0108】
眼球運動条件を考慮した画像選択について説明する。なお、眼球運動条件は「評価対象の画像が、眼球運動の影響を受けていないこと」を確認するための条件である。2以上の画像群に含まれる画像について、選択部821は、例えば、当該画像とこれに隣接する画像との比較によって眼球運動の影響の有無を判定する。この判定は、動画撮影中に眼球運動が発生すると「画像の飛び」が生じることを利用した処理である。
【0109】
一例として、選択部821は、当該画像及び隣接画像のそれぞれからランドマークを検出し、これらランドマークの偏位量を算出し、この偏位量が所定閾値以上であるか判断する。偏位量が所定閾値以上であると判定された場合、眼球運動が発生したと判定される。ここで、ランドマークは、例えば、角膜、虹彩、瞳孔、隅角などであってよい。また、閾値は、例えば、撮影系3の撮影レートや、移動機構6による移動速度など、所定のスキャン条件に基づき算出される。
【0110】
他の例において、選択部821は、1つの画像から眼球運動の有無を判定するように構成されてもよい。例えば、撮影系3の撮影レートが低速である場合において、高速な眼球運動が発生すると、画像に「ブレ」が生じることがある。選択部821は、ブレ検出を利用することによって眼球運動の有無を判定することができる。ブレ検出は、典型的には、エッジ検出などの公知技術を用いて行われる。
【0111】
画像群評価部81の場合と同様に、選択部821は、入力された画像が上記の画像選択条件を満足するか判定するための人工知能エンジンを含んでいてもよい。
【0112】
画像セット作成部82により作成される画像セットに含まれる一連の画像は、スキャン範囲における複数の位置に関連付けられていてよい。例えば、選択部821は、スキャン範囲における複数の位置のそれぞれに1以上の画像を割り当てるように画像の選択を行うように構成されていてよい。
【0113】
具体例を説明する。前述したように、X方向に沿ったスキャン範囲が(N-1)個の区間に区分され、スキャン開始位置が第1番目の位置に設定され、スキャン終了位置が第N番目の位置に設定される(Nは2以上の整数)。これにより、スキャン範囲にN個の位置が設定される。N個の位置をB1、B2、B3、・・・、BNで表す。
【0114】
被検眼Eの前眼部に2回以上のスキャンが適用された結果、
図5に示す画像群F1、F2、F3、・・・、FNが取得されたとする。なお、
図5に示すN個の画像F1~FNは、上記の説明では1回のスキャンで得られた画像群とされているが、本明細書では、説明の簡略化のために、
図5に示すN個の画像F1~FNを任意の画像群(複数の画像)として参照することがある。例えば、本例の説明では、画像セットに含まれる一連の画像としてN個の画像F1~FNが参照される。
【0115】
このようなN個の位置をB1~BN及びN個の画像F1~FNについて、選択部821は、位置Bnに画像Fnを割り当てることができる。これにより、N個の位置Bn(n=1、2、・・・、N)に対応するN個の画像Fn(n=1、2、・・・、N)が得られ、例えば、画像群Fnを「一連の画像」とする画像セットが作成される。
【0116】
幾つかの例示的な態様では、第1回目のスキャンで得られた画像群の品質が良好でないと画像群評価部81により評価された場合、自動的に又はユーザーの指示に応じて第2回目のスキャンが行われる。前眼部に適用されるスキャンの回数が2回以上である場合、スリットランプ顕微鏡システム1は、前眼部に2回以上のスキャンを適用する動作と、それにより収集された2以上の画像群から一連の画像を選択する動作とを実行するが、これら動作の実行態様は任意であってよい。第1の例として、スリットランプ顕微鏡システム1は、第1回目のスキャンで得られた画像群の品質が良好でないと評価されたことに対応して、前眼部に対するスキャンと、このスキャンにより取得された画像群からの画像の選択とを、交互に繰り返すように構成されてよい。第2の例として、スリットランプ顕微鏡システム1は、第1回目のスキャンで得られた画像群の品質が良好でないと評価されたことに対応して、2回以上のスキャンをまとめて行った後に、それにより収集された2以上の画像群から一連の画像を選択するように構成されてよい。以下、これら2つの例について説明する。なお、画像群からの画像の選択の代わりに、又はそれに加えて、画像群評価部81による画像群の評価を行ってもよい。前述したように、画像群評価と画像選択とは、同様の処理、類似の処理、又は互換的な処理であってよい。幾つかの例示的な態様において、画像群評価として説明した事項を画像選択に適用することが可能であり、逆に、画像選択として説明した事項を画像群評価に適用することが可能である。
【0117】
第1回目のスキャンで得られた画像群の品質が良好でないと画像群評価部81により評価された後に実行されるスキャン及び画像選択の態様の第1の例は、スキャンと画像選択との交互反復である。より具体的には、第1の例では、例えば、前眼部へのスキャンの適用と、このスキャンで得られた画像群からの画像の選択との組が、所定回数繰り返し実行される。つまり、第1の例では、第1番目の組の動作(スキャン及び画像選択)、第2番目の組の動作(スキャン及び画像選択)、・・・、第U番目の組の動作(スキャン及び画像選択)の順に、U個の組の動作が実行される(Uは1以上の整数)。また、この交互反復の前に行われた第1回目のスキャンと、第1回目のスキャンで得られた画像群の品質評価(画像群評価部81)との組を、第0番目の組の動作と呼ぶこととする。
【0118】
ここで、第u番目の組におけるスキャンの回数は、1以上の任意の回数であってよい(u=0、1、・・・、U)。また、第u1番目の組におけるスキャンの回数と、第u2番目の組におけるスキャンの回数とは、等しくてもよいし、異なってもよい(u1=0、1、・・・、U;u2=0、1、・・・、U;u1≠u2)。
【0119】
第1の例において、選択部821は、既に行われた2回以上のスキャンで収集された2つ以上の画像群から画像を選択して暫定的画像セットを作成するように構成されてよい。つまり、スリットランプ顕微鏡システム1は、スキャンと画像選択との交互反復を実行中の任意の時点において、当該時点までに実施された2回以上のスキャンで得られた2以上の画像群から暫定的画像セットを作成するように構成されてよい。例えば、第u番目の組におけるスキャンが行われた後、選択部821は、第0番目の組から第u番目の組で得られた全ての画像のうちから暫定的画像セットを作成するように構成される。このような構成によれば、最終的な画像セットを構築するために、現時点までに得られた画像群から暫定的な画像セットを作成することができる。
【0120】
暫定的画像セットを作成する上記構成が適用される場合、次の構成を組み合わせることができる。被検眼Eの前眼部に新たなスキャンが適用されたとき、選択部821は、まず、この新たなスキャンで収集された新たな画像群から画像を選択する。続いて、選択部821は、この新たなスキャンよりも前に行われた1以上のスキャンに基づく暫定的画像セットに、この新たな画像群から選択された画像を付加することで新たな暫定的画像セットを作成する。例えば、第(u+1)番目の組におけるスキャンが行われた後、選択部821は、まず、第(u+1)番目の組で得られた画像群から画像を選択することができる。更に、選択部821は、第0番目の組から第u番目の組で得られた画像群に基づく暫定的画像セットに、第(u+1)番目の組で得られた画像群から選択された画像を付加することによって、新たな暫定的画像セットを作成することができる。このような構成によれば、前眼部にスキャンが適用される度に、このスキャンで得られた画像群に基づいて暫定的画像セットを逐次に更新することができる。これにより、最終的な画像セットの構築を確実且つ効率的に行うことが可能となる。
【0121】
暫定的画像セットを作成(及び更新)する上記構成が適用される場合、次の構成を組み合わせることができる。制御部7(又は画像セット作成部82(選択部821))は、暫定的画像セットに含まれる画像の個数をカウントする画像個数カウンタを含む。暫定的画像セットに含まれる画像の個数が所定の個数に達したとき、制御部7は、スキャンの適用と画像の選択との交互反復を終了するようにスキャン部(照明系2、撮影系3、移動機構6)及び選択部821を制御する。ここで、所定の個数は、最終的な画像セットに含まれる一連の画像の個数であり、事前に又は処理状況から設定される。また、暫定的画像セットに含まれる画像の個数が所定の個数に達したか否かの判定は、制御部7により実行される。この判定は、個数の比較のみであってよい。或いは、スキャン範囲における複数の位置と一連の画像とが関連付けられている場合(前述)、複数の位置の全てについて対応画像が割り当てられたか否か判定してもよい。このような構成によれば、最終的な画像セットのために必要な個数が得られたら、スキャンと画像選択との交互反復を自動で終了することができる。
【0122】
暫定的画像セットを作成(及び更新)する上記構成が適用される場合、次の構成を更に組み合わせることができる。制御部7は、スキャンと画像選択との交互反復の回数をカウントする反復回数カウンタを含む。カウントされる回数は、スキャンと画像選択との組(第1番目の組~第U番目の組)を単位として定義してもよいし、スキャン回数を単位として定義してもよい。反復回数が所定の回数に達したとき、制御部7は、スキャンの適用と画像の選択との交互反復を終了するようにスキャン部(照明系2、撮影系3、移動機構6)及び選択部821を制御する。スキャンと画像選択との組を単位として反復回数が定義される場合、所定の回数は、事前に設定された組の総数(U+1)に等しい。スキャン回数を単位として反復回数が定義される場合、所定の回数は、事前に設定された総スキャン回数に等しい。また、反復回数が所定の回数に達したか否かの判定は、制御部7により実行される。このような構成によれば、事前に設定された回数だけスキャン及び画像選択が繰り返された段階でこれを自動で終了することができる。本構成を用いない場合、最終的な画像セットの構築に必要な個数の画像が選択されるまでスキャン及び画像選択が繰り返されるため、被検者を疲労させるとともに撮影効率が低減する。特に、複数の被検者の撮影を順次に行う場合、撮影のスループットが大きく毀損される。
【0123】
以上のように、本態様は、スキャンと画像選択との交互反復を自動で終了するように構成されてよい。この自動終了の条件は上記した2つの例に限定されず、例えばユーザーからの指示入力であってもよい。或いは、スキャンと画像選択との交互反復の開始からの経過時間を計測し、所定の時間に達したときに交互反復を終了するようにしてもよい。なお、スキャンと画像選択との反復レートが一定である場合、経過時間に基づく自動終了制御は、上記した反復回数に基づく自動終了制御と同等である。画像セット作成部82は、スキャンと画像選択との交互反復が終了されたときの暫定的画像セットに基づいて画像セットを作成することができる。暫定的画像セットは、例えば、スキャン範囲に対応する一連の画像として画像セットに含まれる。スリットランプ顕微鏡システム1には、患者ID、公的ID、氏名、年齢、性別など、所定の被検者情報が別途に入力される。画像セット作成部82は、このような被検者情報、被検眼情報(左眼/右眼を示す情報など)、撮影日時、撮影条件などを、一連の画像の付帯情報として構成することで、画像セットを作成することができる。また、画像セットは、スリットランプ顕微鏡システム1で得られた他の画像、他のモダリティで得られた画像、検査装置により取得された検査データなどを含んでいてもよい。以上で、スキャン及び画像選択の実行態様の第1の例の説明を終える。
【0124】
次に、第1回目のスキャンで得られた画像群の品質が良好でないと画像群評価部81により評価された後に実行されるスキャン及び画像選択の態様の第2の例について説明する。本例は、2回以上のスキャンをまとめて行った後に、それにより収集された2以上の画像群から一連の画像を選択するように構成される。そして、この2回以上のスキャンで収集された2つ以上の画像群と、その前に行われた第1回目のスキャンで得られた画像群とのうちから画像の選択が行われ、選択された一連の画像を含む画像セットが作成される。
【0125】
このような処理の具体例を説明する。選択部821は、まず、各スキャンに対応する画像群と、スキャン範囲における複数の位置(前述)とを対応付ける。これにより、スキャン範囲における複数の位置のそれぞれに対し、異なるスキャンに対応する2以上の画像が割り当てられる。
【0126】
続いて、スキャン範囲における複数の位置のそれぞれについて、選択部821は、当該位置に割り当てられた2以上の画像のうちから1つの画像を選択する。本例に適用される画像選択条件は、例えば、前述した瞬き条件及び眼球運動条件であってよい。これにより、スキャン範囲における複数の位置に対して1つずつ画像が割り当てられる。このようにして複数の位置に対応付けられた複数の画像が、画像セットに含まれる一連の画像として採用される。以上で、スキャン及び画像選択の実行態様の第2の例の説明を終える。
【0127】
画像群処理部80の第4の例を説明する。第2及び第3の例と同様に、本例の有効性は、特に、被検眼Eに対して2回以上のスキャンが適用される場合に発揮される。
図6Dに示す画像群処理部80Dは、
図6Aと同様の画像群評価部81と、
図6B又は
図6Cと同様の画像セット作成部82とに加えて、画像セット評価部83を含んでいる。
【0128】
画像セット評価部83は、画像セット作成部82により作成された画像セットの品質を評価する。この評価は、診断(読影)を有効に行うために十分な品質を画像セットが有しているか判定するものであり、この観点から評価項目や評価基準が決定される。評価項目や評価基準は、画像群評価条件の少なくとも一部及び/又は画像選択条件の少なくとも一部と共通であってよいが、それらに限定されない。
【0129】
画像セット評価部83は、画像セットの態様に応じて異なる評価を行うように構成されてもよい。例えば、暫定的画像セットに含まれる画像の個数が所定の個数に達したことに対応して作成された画像セットに適用される評価と、スキャン及び画像選択の交互反復の回数が所定の回数に達したことに対応して作成された画像セットに適用される評価とは、互いに異なってよい。なお、画像セットの態様に関わらず同じ評価を適用してもよい。
【0130】
画像セットの品質評価の例として、各画像の品質の評価(画像群の評価と同様であってよい)に加え、一連の画像の「配列順序」の評価、「画像の飛び(抜け)」の評価、「位置ずれ」の評価などがある。配列順序の入れ替わり、画像の飛び、位置ずれ等の画像セットの不具合は、眼球運動や固視ずれなどに起因して生じる。
【0131】
一連の画像の配列順序の評価について説明する。幾つかの例において、一連の画像と、スキャン範囲における複数の位置との間には、前述の対応関係(一対一対応)が設定されている。画像セット評価部83は、この対応関係を利用して配列順序の評価を行うことができる。
【0132】
ここで、スキャン範囲における複数の位置には、実空間における位置関係に対応した順序付けがなされている。一例を説明する。前述したように、X方向に沿ったスキャン範囲が(N-1)個の区間に区分され、スキャン開始位置からスキャン終了位置に向かって順に、N個の位置B1、B2、B3、・・・、BNが設定されているとする。つまり、N個の位置B1~BNには、実空間における位置関係に対応した順序付けが施されている。また、N個の位置B1~BNに対してN個の画像F1~FN(一連の画像)が一対一の関係で対応付けられているとする。
【0133】
このような前提の下、画像セット評価部83は、例えば、N個の位置B1~BNの配列順序(相対位置関係)にしたがってN個の画像F1~FNを配置する。この処理は、例えば、或る3次元座標系内にN個の位置B1~BNの座標を設定し、設定されたN個の座標にしたがってN個の画像F1~FNを配置する(埋め込む)ことにより実現される。より詳細には、画像セット評価部83は、例えば、N個の画像F1~FNからそれぞれスリット光照射領域A1~AN(2次元断面画像)を抽出し、3次元座標系内にN個の位置B1~BNの座標を設定し、設定されたN個の座標にしたがってN個の2次元断面画像A1~ANを埋め込むことができる。
【0134】
画像セット評価部83は、3次元座標系に埋め込まれた画像F1~FN(2次元断面画像A1~AN)を解析することで、配列順序が適切であるか評価することができる。例えば、画像セット評価部83は、画像F1~FN(2次元断面画像A1~AN)から注目領域(角膜前面、角膜後面、虹彩、瞳孔、水晶体前面、水晶体後面、隅角などの注目部位に対応する画像領域)を検出し、画像F1~FN(2次元断面画像A1~AN)の配列方向(本例ではX方向)における注目領域の形態(連結性、連続性など)に基づいて評価を行うことができる。例えば、所定寸法以上のギャップが注目領域に存在する場合、配列順序は適切でない(配列順序に入れ替わりが存在する)と判断される。
【0135】
他の例において、画像セット評価部83は、3次元座標系に埋め込まれた画像F1~FN(2次元断面画像A1~AN)から、X方向に沿った断面像を構築する。更に、画像セット評価部83は、この断面像の形態(連結性、連続性など)に基づいて評価を行うことができる。
【0136】
画像の飛びの評価や、位置ずれの評価についても、配列順序の評価と同じ要領で実行することが可能である。
【0137】
画像群評価部81や選択部821の場合と同様に、画像セット評価部83は、入力された画像セットが有効な診断のために十分な品質を有しているか評価するための人工知能エンジンを含んでいてもよい。
【0138】
画像セットの品質が良好であると画像セット評価部83により評価された場合、制御部7は、この画像セットを通信部9に送信させるための制御を行うように構成されてよい。例えば、制御部7は、この画像セットを含む送信用情報を準備し、この送信用情報を所定の外部装置に送信するように通信部9を制御する。
【0139】
スリットランプ顕微鏡システム1から画像セット等を出力する態様は、送信に限定されない。送信以外の出力態様の例として、記憶装置(データベースなど)への保存、記録媒体への記録、印刷媒体への印刷などがある。
【0140】
画像セットの品質が良好でないと画像セット評価部83により評価された場合、制御部7は、被検眼Eに対する新たなスキャンを行うための制御、つまり新たな画像群(新たな画像セット)を取得するための制御を行うように構成されてよい。例えば、制御部7は、所定の出力情報を表示及び/又は音声出力するように構成されてよい。所定の出力情報は、例えば、撮影に失敗したこと、又は、再撮影の必要があることなど、ユーザーに再撮影を促すための内容を有する。
【0141】
或いは、制御部7は、画像セットの品質が良好でないと画像セット評価部83により評価された場合、再撮影(スキャン及び画像セット作成の再度の実行)を自動で開始するために、少なくともスキャン部(照明系2、撮影系3、移動機構6)及び画像セット作成部82に指令を送るように構成されてよい。
【0142】
更に、画像群評価部81の幾つかの例について
図7A~
図7Dを参照しつつ説明する。なお、画像群評価部81はこれらの例に限定されず、任意の変形(付加、置換、省略など)が可能である。また、これらの例や変形のうちの2つ以上を少なくとも部分的に組み合わせることが可能である。
【0143】
画像群評価部81の第1の例について
図7A及び
図7Bを参照しつつ説明する。本例は、人工知能技術を利用して画像群の品質評価を行うものである。
図7Aに示す画像群評価部81Aは、推論モデル812Aを用いて画像群の品質評価を行う推論部811Aを含んでいる。
【0144】
推論モデル812Aは、複数の前眼部画像を含む訓練データを用いた機械学習によって予め構築される。推論モデル812Aを構築する装置(推論モデル構築装置)は、スリットランプ顕微鏡システム1(データ処理部8など)又はその周辺機器(コンピュータなど)に設けられてもよいし、他のコンピュータであってもよい。
【0145】
図7Bに示すモデル構築部90は、このような推論モデル構築装置の例であり、スリットランプ顕微鏡システム1又はその周辺機器に設けられているものとする。モデル構築部90は、学習処理部91と、ニューラルネットワーク92とを含む。
【0146】
ニューラルネットワーク92は、典型的には、畳み込みニューラルネットワーク(CNN)を含む。畳み込みニューラルネットワークの構造の一例を
図7Bに示す。
【0147】
入力層には、画像が入力される。入力層の後ろには、畳み込み層とプーリング層とのペアが複数配置されている。
図7Bに示す例には畳み込み層とプーリング層とのペアが3つ設けられているが、ペアの個数は任意である。
【0148】
畳み込み層では、画像から特徴(輪郭など)を把握するための畳み込み演算が行われる。畳み込み演算は、入力された画像に対する、この画像と同じ次元のフィルタ関数(重み係数、フィルタカーネル)の積和演算である。畳み込み層では、入力された画像の複数の部分にそれぞれ畳み込み演算を適用する。より具体的には、畳み込み層では、フィルタ関数が適用された部分画像の各画素の値に、その画素に対応するフィルタ関数の値(重み)を乗算して積を算出し、この部分画像の複数の画素にわたって積の総和を求める。このように得られた積和値は、出力される画像における対応画素に代入される。フィルタ関数を適用する箇所(部分画像)を移動させながら積和演算を行うことで、入力された画像の全体についての畳み込み演算結果が得られる。このような畳み込み演算によれば、多数の重み係数を用いて様々な特徴が抽出された画像が多数得られる。つまり、平滑化画像やエッジ画像などの多数のフィルタ処理画像が得られる。畳み込み層により生成される多数の画像は特徴マップと呼ばれる。
【0149】
プーリング層では、直前の畳み込み層により生成された特徴マップの圧縮(データの間引きなど)が行われる。より具体的には、プーリング層では、特徴マップ内の注目画素の所定の近傍画素における統計値を所定の画素間隔ごとに算出し、入力された特徴マップよりも小さな寸法の画像を出力する。なお、プーリング演算に適用される統計値は、例えば、最大値(max pooling)又は平均値(average pooling)である。また、プーリング演算に適用される画素間隔は、ストライド(stride)と呼ばれる。
【0150】
畳み込みニューラルネットワークは、畳み込み層とプーリング層との複数のペアによって処理を行うことにより、入力された画像から多くの特徴を抽出することができる。
【0151】
畳み込み層とプーリング層との最後のペアの後ろには、全結合層が設けられている。
図7Bに示す例においては2つの全結合層が設けられているが、全結合層の個数は任意である。全結合層では、畳み込みとプーリングとの組み合わせによって圧縮された特徴量を用いて、画像分類、画像セグメンテーション、回帰などの処理を行う。最後の全結合層の後ろには、出力結果を提供する出力層が設けられている。
【0152】
なお、幾つかの例示的な態様において、畳み込みニューラルネットワークは、全結合層を含まなくてもよいし(例えば、全層畳み込みネットワーク(FCN))、サポートベクターマシン、再帰型ニューラルネットワーク(RNN)などを含んでいてもよい。また、ニューラルネットワーク92に対する機械学習は、転移学習であってもよい。つまり、ニューラルネットワーク92は、他の訓練データ(訓練画像)を用いた学習が既に行われてパラメータ調整が為されたニューラルネットワークを含んでいてもよい。また、モデル構築部90(学習処理部91)は、学習済みのニューラルネットワーク(92)にファインチューニングを適用可能に構成されてもよい。ニューラルネットワーク92は、例えば、公知のオープンソースのニューラルネットワークアーキテクチャを用いて構築されたものであってよい。
【0153】
学習処理部91は、訓練データを用いた機械学習をニューラルネットワーク92に適用する。ニューラルネットワーク92が畳み込みニューラルネットワークを含んでいる場合、学習処理部91によって調整されるパラメータは、例えば、畳み込み層のフィルタ係数と、全結合層の結合重み及びオフセットとを含む。
【0154】
訓練データは、前述したように、複数の前眼部画像を少なくとも含んでいる。複数の前眼部画像は、典型的には、スリットランプ顕微鏡によって取得された画像であるが、これに限定されず、例えば、他の眼科モダリティ(眼底カメラ、OCT装置、SLO、手術用顕微鏡など)により取得された画像、他の診療科の画像診断モダリティ(超音波診断装置、X線診断装置、X線CT装置、磁気共鳴イメージング(MRI)装置など)により取得された画像、実際の画像を加工して生成された画像、擬似的な画像などを含んでいてもよい。また、データ拡張、データオーギュメンテーションなどの技術を用いて、訓練データの個数を増加させてもよい。
【0155】
推論モデルを構築するための訓練手法は任意であってよいが、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか2以上の組み合わせであってよい。
【0156】
幾つかの例示的な態様では、入力画像に最終出力のラベルが付された訓練データを用いて教師あり学習が実施される。例えば、訓練データに含まれる複数の前眼部画像のそれぞれには、読影可能又は読影不可能であることを示すラベルが予め付帯されている。ラベルは、例えば、医師又は他の推論モデルによって生成される。学習処理部91は、このような訓練データを用いた教師あり学習をニューラルネットワーク92に適用することによって推論モデル812Aを構築することができる。
【0157】
このようにして構築された本例の推論モデル812Aは、前眼部をスリット光でスキャンして得られた画像を入力とし、且つ、読影可能性を出力とした学習済みモデルである。なお、推論モデル812Aの出力である読影可能性は、評価対象の画像群が読影に適しているか否かを示す任意のパラメータであってよく、例えば、読影可能又は読影不可能の判別、読影を実施できる確率、読影を実施した場合の結果の妥当性(例えば、確度、精度)などであってよい。
【0158】
ニューラルネットワーク92の特定のユニットに処理が集中しないようにするために、学習処理部91は、幾つかのユニットをランダムに選んで無効化し、残りのユニットを用いて学習を行ってもよい(ドロップアウト)。
【0159】
推論モデル構築に用いられる手法は、ここに示した例に限定されない。例えば、サポートベクターマシン、ベイズ分類器、ブースティング、k平均法、カーネル密度推定、主成分分析、独立成分分析、自己組織化写像、ランダムフォレスト、敵対的生成ネットワーク(GAN)といった任意の手法を、推論モデルを構築するために利用することが可能である。
【0160】
図7Aに示す推論部811Aは、このような推論モデル812Aを用いて、被検眼Eの前眼部に対する1回のスキャンで収集された画像群の品質を評価する。より具体的に説明すると、まず、推論部811Aは、画像群又はそれに含まれる各画像を推論モデル812Aに入力する。推論モデル812Aは、入力された画像群又は画像から読影可能性を示す情報を導出する。
【0161】
推論部811Aは、推論モデル812Aから出力された読影可能性情報をそのまま推論結果としてもよいし、読影可能性情報に基づき推論結果を生成してもよい。後者の例として、推論部811Aは、読影可能性情報から表示用の情報を生成してもよいし、所定の統計処理を実行してもよい。
【0162】
画像群評価部81の第2の例について
図7Cを参照しつつ説明する。本例は、画像群を3次元画像化して品質評価を行うものである。
図7Cに示す画像群評価部81Bは、3次元画像構築部811Bと、比較部812Bと、評価処理部813Bとを含む。
【0163】
3次元画像構築部811Bは、被検眼Eの前眼部に対する1回のスキャン収集された画像群から3次元画像を構築する。例えば、3次元画像構築部811Bは、単一の3次元座標系に画像群を埋め込むことによってスタックデータを構築するように構成されてよい。このスタックデータは、例えば、
図5に示すN個の2次元断面画像A1~ANを、前述したN個の位置B1~BNの配列(相対位置関係)にしたがって3次元座標系に埋め込むことによって構築される。
【0164】
3次元画像構築部811Bは、画像群から構築されたスタックデータにボクセル化処理を適用してボリュームデータを構築するように構成されてもよい。更に、3次元画像構築部811Bは、スタックデータ又はボリュームデータに所定のレンダリングを適用することができる。レンダリングの例として、ボリュームレンダリング、サーフェスレンダリングなどがある。
【0165】
比較部812Bは、3次元画像構築部811Bにより構築された3次元画像(スタックデータ、ボリュームデータ、レンダリング画像など)を所定の基準3次元画像と比較する。基準3次元画像は、1つ以上の任意の個数だけ準備される。
【0166】
基準3次元画像は、正常眼(疾患が認められなかった眼(健常眼))に対応する1以上の基準3次元画像を含んでいてよい。正常眼に対応する基準3次元画像は、例えば、正常眼を撮影して取得された画像であってよい。この基準3次元画像を取得するための撮影モダリティは任意であってよいが、典型的には、スリットランプ顕微鏡システム1又はこれと同様のスリットランプ顕微鏡である。また、正常眼に対応する基準3次元画像は、正常眼のモデル(模型眼など)を撮影して取得された画像、又は、正常眼のモデル若しくは臨床例からコンピュータグラフィックスにより作成された画像であってもよい。
【0167】
基準3次元画像は、患眼に対応する1以上の基準3次元画像を含んでいてよい。患眼に対応する基準3次元画像は、例えば、特定の疾患の確定診断がなされた眼を撮影して取得された画像であってよい。この基準3次元画像を取得するための撮影モダリティは任意であってよいが、典型的には、スリットランプ顕微鏡システム1又はこれと同様のスリットランプ顕微鏡である。また、患眼に対応する基準3次元画像は、患眼のモデル(模型眼など)を撮影して取得された画像、又は、患眼のモデル若しくは臨床例からコンピュータグラフィックスにより作成された画像であってもよい。
【0168】
比較部812Bは、3次元画像構築部811Bにより構築された3次元画像と基準3次元画像とのマッチングを実行して所定のパラメータの値を算出する。この画像マッチングは、例えば、画像相関法、特徴ベースマッチング、領域ベースマッチング、機械学習(学習済みモデル)など、任意の手法を利用したものであってよい。また、算出されるパラメータは、相関値、マッチングパラメータ(角度、スケール、類似度、適合度など)、学習済みモデルの出力パラメータなど、任意のパラメータであってよい。
【0169】
このような画像マッチングは、典型的には、3次元画像に描出されている組織や部位(角膜、虹彩、瞳孔、隅角など)の形状や構造が、標準的な正常眼の形状や構造とどの程度類似しているか、及び/又は、標準的な患眼の形状や構造とどの程度類似しているかを、定量的に(つまり数値として)表現する処理である。
【0170】
評価処理部813Bは、比較部812Bにより算出されたパラメータ値に基づいて、当該画像群の品質の評価を行う。例えば、評価処理部813Bは、比較部812Bにより算出されたパラメータ値を所定の閾値と比較することによって当該画像群の品質を評価するように構成されてよい。或いは、評価処理部813Bは、比較部812Bにより算出されたパラメータ値が所定の範囲に含まれるか否か判断することによって当該画像群の品質を評価するように構成されてよい。なお、評価処理部813Bが実行する処理の手法はこれらに限定されず、或るパラメータの値から評価結果を導出するために用いることが可能な任意の手法であってよい。
【0171】
3次元画像構築を利用した画像群の品質評価は本例に限定されない。例えば、画像群評価部81は、画像セット評価部83と同じ要領で、画像群を構成する一連の画像の配列順序の評価、画像の飛びの評価、及び、位置ずれの評価のいずれか1つ以上の評価処理を実行可能に構成されていてもよい。
【0172】
画像群評価部81の第3の例について
図7Dを参照しつつ説明する。本例は、画像群の画質の定量的評価によって品質を評価するものである。
図7Dに示す画像群評価部81Cは、評価データ生成部811Cと、評価処理部812Cとを含む。
【0173】
評価データ生成部811Cは、被検眼Eの前眼部に対する1回のスキャンで収集された画像群に含まれる画像から画質評価データを求める。画質評価データは、画像群の画質を定量的に表現したものである。
【0174】
評価データ生成部811Cが実行する画質評価処理について幾つかの例を説明する。幾つかの例示的な態様において、評価データ生成部811Cが実行する画質評価処理は任意の処理であってよく、例えば、信号対雑音比(SNR)、コントラスト対雑音比(CNR)、二乗平均平方根(RMS)粒状度、ウィーナースペクトル(Wiener Spectrum)、変調伝達関数(MTF)、品質指標(Quality Index;QI)など、任意の公知技術を利用した処理であってよい。
【0175】
例えば、評価データ生成部811Cは、画像群の画質評価データとして、所定の画質評価指標の値(画質評価値)を算出する。画質評価値は、画像の品質を定量的に表現する任意のパラメータであってよく、典型的には、画像の品質が高いほど画質評価値も大きくなる。
【0176】
画質評価値の算出方法の例として、OCT画像の画質評価に利用されているImage Quality値(IQ値)の算出方法を以下に説明する。まず、評価データ生成部811Cは、評価対象の画像に設定された評価領域に対して所定の解析処理(例えば、セグメンテーション)を適用することにより、前眼部の組織(部位)に相当する画像領域(組織画像領域)と、それ以外の画像領域(背景領域、非組織画像領域)とを検出する。次に、評価データ生成部811Cは、組織画像領域における輝度のヒストグラムを生成し、且つ、背景領域における輝度のヒストグラムを生成する。続いて、評価データ生成部811Cは、これら2つのヒストグラムの重なり具合から画質評価値(IQ値)を算出する。例えば、双方のヒストグラムが完全に重なっている場合にはIQ値=0となり、双方のヒストグラムが完全に分離している場合にはIQ値=100となるように、範囲[0,100]においてIQ値が定義される。この画質評価演算は、例えば、2つのヒストグラムの正規化、確率分布関数の生成、所定の演算式を用いたIQ値の算出などを含んでいてよい。
【0177】
このように、評価データ生成部811Cは、評価対象の画像において前眼部の組織に相当する組織画像領域と、背景領域とを特定する処理と、組織画像領域における輝度の度数分布を示す第1ヒストグラムを作成する処理と、背景領域における輝度の度数分布を示す第2ヒストグラムとを作成する処理と、第1ヒストグラム及び第2ヒストグラムに基づいて画質評価データとしての画質評価値(IQ値)を算出する処理とを実行するように構成されていてよい。
【0178】
評価処理部812Cは、評価データ生成部811Cにより生成された画質評価データに基づいて画像群の品質の評価を行う。画質評価データに基づく品質評価について幾つかの手法を以下に説明するが、品質評価手法はこれらに限定されるものではなく、任意であってよい。
【0179】
画質評価データに基づく品質評価の第1の例を説明する。画像群を構成する各画像についてIQ値が得られた場合において、評価処理部812Cは、この画像群について得られた複数のIQ値のそれぞれを所定の閾値と比較する。複数のIQ値の全てが閾値以上である場合、評価処理部812Cは、この画像群の品質は良好であると判定する。一方、複数のIQ値のいずれかが閾値未満である場合、評価処理部812Cは、この画像群の品質は良好でないと判定する。
【0180】
画質評価データに基づく品質評価の第2の例を説明する。画像群を構成する各画像についてIQ値が得られた場合において、評価処理部812Cは、この画像群について得られた複数のIQ値のうち最も低いIQ値を選択し、この最低IQ値を所定の閾値と比較する。最低IQ値が閾値以上である場合、評価処理部812Cは、この画像群の品質は良好であると判定する。一方、最低IQ値が閾値未満である場合、評価処理部812Cは、この画像群の品質は良好でないと判定する。
【0181】
画質評価データに基づく品質評価の第3の例を説明する。画像群を構成する各画像についてIQ値が得られた場合において、評価処理部812Cは、この画像群について得られた複数のIQ値に所定の統計演算を適用して統計値を算出する。この統計値の種類は任意であってよく、例えば、平均値、最小値、最大値、最頻値、中間値などであってよい。なお、統計値が最小値であるケースは、上記の第2の例に相当する。評価処理部812Cは、算出された統計値を所定の閾値と比較する。統計値が閾値以上である場合、評価処理部812Cは、この画像群の品質は良好であると判定する。一方、統計値が閾値未満である場合、評価処理部812Cは、この画像群の品質は良好でないと判定する。
【0182】
評価処理部812Cが実行する処理は、評価データ生成部811Cにより生成された画質評価データに基づく処理に限定されない。例えば、評価処理部812Cは、画像群を構成する一連の画像の配列順序の評価、画像の飛びの評価、及び、位置ずれの評価のいずれか1つ以上の評価処理を実行可能に構成されていてもよい(いずれの評価処理も前述した)。
【0183】
<加工画像構築部85>
加工画像構築部85は、スリット光を用いた前眼部スキャンで収集された画像群から加工画像を構築する。加工画像構築には、画像群に含まれる少なくとも1つの画像が使用される。加工画像構築は、任意の画像処理を含んでいてよい。幾つかの例を以下に説明するが、加工画像構築に含まれる処理はこれらに限定されない。
【0184】
幾つかの例示的な態様の加工画像構築部85は、画像群から3次元画像を構築する3次元画像構築を実行可能であってよい。画像群から構築される3次元画像は、例えばスタックデータ又はボリュームデータであってよい。本例の加工画像構築部85は、前述の3次元画像構築部811Bと同様の構成を有していてよい。例えば、加工画像構築部85を構成するハードウェア及びソフトウェアの組み合わせと、3次元画像構築部811Bを構成するハードウェア及びソフトウェアの組み合わせとが、少なくとも部分的に共通であってよい。
【0185】
幾つかの例示的な態様の加工画像構築部85は、3次元画像のレンダリング画像を構築するレンダリング処理を実行可能であってよい。加工画像構築部85は、例えば、3次元画像構築によって得られたスタックデータ又はボリュームデータに所定のレンダリング処理を適用することができる。レンダリング処理の例として、ボリュームレンダリング、サーフェスレンダリングなどがある。本例の加工画像構築部85も、3次元画像構築部811Bと同様の構成を有していてよい。
【0186】
幾つかの例示的な態様の加工画像構築部85は、画像の部分領域を特定する処理(セグメンテーション)、特定された部分領域を抽出する処理(クロッピング、トリミング)などを実行可能であってよい。例えば、加工画像構築部85は、画像群の含まれる画像、3次元画像、又はレンダリング画像から、被検眼Eの所定部位に相当する注目領域を抽出可能であってよい。
【0187】
<関心位置情報取得部86>
関心位置情報取得部86は、受付部11により受け付けられた患者IDに関連付けられた関心位置情報を、記憶部10に格納されている関連情報100から取得する。更に、本態様の関心位置情報取得部86は、この患者IDに関連付けられたパラメータ種別情報を関連情報100から取得する。
【0188】
例えば、
図2に示す関連情報101が用いられる場合において、受付部11により受け付けられた患者IDが「PID(1)」である場合、関心位置情報取得部86は、右眼についての関心位置情報「ROI(1R)」及びパラメータ種別情報「P(1R)」と、左眼についての関心位置情報「ROI(1L)」及びパラメータ種別情報「P(1L)」とを、関連情報101から取得する。
【0189】
(画像解析部)
前述したように、特定部87及び解析部88の組み合わせは画像解析部(図示省略)の例として機能する。画像解析部は、関心位置情報取得部86が関連情報100から取得した関心位置情報に基づいて、被検眼Eの前眼部の画像の部分領域に対応するデータ(部分解析データ)を生成する。
【0190】
幾つかの例示的な態様において、画像解析部は、当該患者の関心領域に応じた部分画像を被検眼Eの前眼部画像から特定する処理と、この部分画像を解析することによって部分解析データを生成する処理とを実行するように構成されていてよい。このような態様において、部分解析データは、前眼部画像の一部(部分画像)を解析して生成されるデータである。
【0191】
幾つかの例示的な態様において、画像解析部は、被検眼Eの前眼部画像を解析して解析データを生成する処理と、この解析データのうちから当該患者の関心領域に応じた部分解析データを特定することによって部分解析データを生成する処理とを実行するように構成されていてよい。このような態様において、部分解析データは、前眼部画像の解析データの一部である。
【0192】
幾つかの例示的な態様の画像解析部は、被検眼Eの前眼部をスキャンして取得された画像群に含まれる少なくとも1つの画像のそれぞれから部分解析データを生成することができる。幾つかの例示的な態様の画像解析部は、2つ以上の画像群から生成された画像セットに含まれる少なくとも1つの画像のそれぞれから部分解析データを生成することができる。幾つかの例示的な態様の画像解析部は、画像群に含まれる画像の加工画像から部分解析データを生成することができる。幾つかの例示的な態様の画像解析部は、画像セットに含まれる画像の加工画像から部分解析データを生成することができる。なお、画像解析部により処理される画像の種類は、これらの例に限定されるものではなく、任意の前眼部画像であってよい。
【0193】
以下、このような機能を有する画像解析部の例示的な態様である特定部87及び解析部88について説明する。
【0194】
(特定部87)
特定部87は、関心位置情報取得部86により関連情報100から取得された関心位置情報に基づいて、患者IDに対応する患者の前眼部画像の部分領域を特定する。部分領域は、例えば、前眼部画像において関心領域に相当する領域であってよい。部分領域は、関心領域に一致する領域でなくてもよい。例えば、特定部87は、関心位置情報取得部86により関連情報100から取得された関心位置情報が示す関心領域に対応する前眼部画像の領域の少なくとも一部を含むように、部分領域の特定を行うことができる。部分領域の特定は、自動及び/又は手動で実行可能であってよい。
【0195】
部分領域の特定を自動で行う場合について、幾つかの例示的な態様を説明する。特定部87は、関心領域に対応する前眼部画像中の領域よりも広い領域を部分領域として特定するように構成されていてよい。このような構成の幾つかの例示的な態様(第1~第6の例)を以下に説明する。なお、これらの例示的な態様のうちの2つ以上の態様を少なくとも部分的に組み合わせることが可能である。
【0196】
第1の例に係る特定部87は、関心位置情報取得部86により関連情報100から取得された関心位置情報を参照して、当該関心領域に対応する前眼部画像中の領域を特定する処理と、特定された領域よりも広い領域(特定された領域を真に含む領域)を決定する処理と、これにより決定された領域を部分領域として設定する処理とを実行するように構成されてよい。
【0197】
第2の例に係る特定部87は、前眼部画像を複数の領域に分割する処理と、関心位置情報取得部86により関連情報100から取得された関心位置情報を用いて、画像分割で得られた複数の領域のうちから当該関心領域と少なくとも一部が重複する領域を特定する処理と、これにより特定された1以上の領域の和集合を求める処理と、この和集合からなる領域を部分領域として設定する処理とを実行するように構成されていてよい。
【0198】
第3の例に係る特定部87は、関心位置情報取得部86により関連情報100から取得された関心位置情報を用いて、当該関心領域に対応する前眼部画像中の領域を特定する処理と、特定された領域の周縁を外方向に所定の寸法(距離、長さ、面積など)だけ拡大した周縁により囲まれる領域を求める処理と、これにより求められた領域を部分領域として設定する処理とを実行するように構成されていてよい。第3の例の周縁拡大に関するパラメータ(方向、寸法など)は、例えば、病変部(関心領域など)の拡大に影響を及ぼすファクタ及び/又はその可能性があるファクタに応じて設定されてよい。このようなファクタの例として、疾患種別、病態、病期、イベント(投薬、治療等)などがある。
【0199】
第4の例に係る特定部87は、関心位置情報取得部86により関連情報100から取得された関心位置情報を用いて前眼部画像中の位置を特定する処理と、当該特定位置を基準として所定形状の領域を段階的又は連続的に拡大する処理と、所定形状の領域が関心領域を含んだことを検知して領域拡大を停止する処理と、領域拡大が停止された所定形状の領域を部分領域として設定する処理とを実行するように構成されていてよい。
【0200】
第5の例に係る特定部87は、関心位置情報取得部86により関連情報100から取得された関心位置情報を用いて前眼部画像中の位置を特定する処理と、当該特定位置を基準として所定形状の領域を段階的又は連続的に拡大する処理と、所定形状の領域の寸法と関心領域の寸法とを比較する処理と、これら2つの寸法の関係が所定の条件を満足するか否か判定する処理と、2つの寸法の関係が所定の条件を満足すると判定されたときの所定形状の領域を部分領域として設定する処理とを実行するように構成されていてよい。
【0201】
第6の例に係る特定部87は、前眼部画像を解析して所定組織の評価(形状評価、厚み評価、厚み分布評価など)を行って評価情報を生成する処理と、この評価情報に基づいて前眼部画像において病変部に相当する領域(病変領域)を特定する処理と、この病変領域と関心領域とを比較する処理と、病変領域に含まれ且つ関心領域に含まれない領域と関心領域とを含む領域(つまり、病変領域と関心領域との和集合を含む領域)を決定する処理と、これにより決定された領域を部分領域として設定する処理とを実行するように構成されていてよい
【0202】
以上に説明した例示的な態様のように、関心領域よりも広い領域を部分領域として設定することにより、例えば、時間経過とともに進行する(例えば、時間経過とともに病変が拡大する)疾患、そのおそれがある疾患、又はその傾向がある疾患のフォローアップにおいて、関心領域の指定をその都度行う手間がなくなる。また、病変の範囲の変化(拡大、縮小)を容易に把握できるというメリットもある。なお、このような自動設定処理が適用される場合であっても、次に説明するような手動調整を任意的に実行できるようにスリットランプ顕微鏡システム1を構成することも可能である。
【0203】
部分領域の特定を手動で行う場合について、幾つかの例示的な態様を説明する。本態様の特定部87は、ユーザーからの指示にしたがって部分領域を特定することができる。例えば、特定部87は、ユーザーインターフェイスを操作してユーザーが入力した指示内容を示す情報(操作情報)を受け、この操作情報に基づいて部分領域を特定するように構成されている。例示的な態様を説明する。まず、制御部7が、被検眼Eの前眼部画像をユーザーインターフェイス(表示デバイス)に表示させる。ユーザーは、ユーザーインターフェイスに表示された前眼部画像中の所望の範囲を、ユーザーインターフェイスを用いて指定する。ユーザーにより指定された前眼部画像中の範囲に基づいて、特定部87は部分領域を特定する。このとき、部分領域は、ユーザーが指定した範囲に相当する画像領域でもよいし、この指定範囲よりも広い画像領域でもよい。後者が適用される場合、特定部87は、例えば、前述した自動処理(そのいずれかの態様)と同様の処理を実行するように構成されていてよい。
【0204】
特定部87は、ユーザーからの指示を受けることなく部分領域を特定するように構成されていてもよい。例えば、特定部87は、過去に取得された被検眼Eの画像(基準画像)に関心領域が設定されたか否かに応じて、異なる部分領域特定処理を切り替えて実行するように構成されていてよい。なお、特定部87は、いずれの場合にも対応できるように構成されてもよいし、いずれか一方の場合のみに対応可能に構成されてもよい。前者の場合、例えば、関心領域の設定態様に応じて処理モードの切り替えが行われる。後者の場合、例えば、特定部87により処理可能な形態(形式)の情報が生成されて特定部87に入力される。
【0205】
関心領域が基準画像に対して設定されている場合、関心位置情報は、この基準画像中の領域の位置(画素の位置、座標)を示す位置情報を含んでいてよい。本例において、特定部87は、
図3に示すように構成されていてよい。すなわち、本例の特定部87は、偏位算出部871を含んでいてよい。
【0206】
偏位算出部871は、今回の被検眼Eの検査で取得された前眼部画像と基準画像との間の偏位を算出する。例えば、偏位算出部871は、基準画像中の特徴点を特定する処理と、前眼部画像中の特徴点を特定する処理と、特定された2つの特徴点の間の偏位を算出する処理とを実行するように構成されていてよい。本例では、特徴点間の偏位が、基準画像と前眼部画像との間の偏位として定義される。特徴点の例として、角膜(前面、後面、頂点、外縁など)、瞳孔(中心、重心、外縁など)、虹彩(内縁、パターンなど)、隅角、水晶体、人工物、病変部、治療痕などがある。
【0207】
特定部87は、偏位算出部871により算出された偏位と、関心位置情報に含まれる上記位置情報とに基づいて、部分領域を特定することができる。幾つかの例示的な態様において、特定部87は、偏位算出部871により算出された偏位が打ち消されるように、基準画像と前眼部画像との間の位置合わせ(レジストレーション、画像マッチング)を行うように構成されていてよい。これにより、基準画像中の関心領域に対応する前眼部画像中の領域が特定され、特定された前眼部画像中の領域が部分領域に設定される。
【0208】
幾つかの例示的な態様において、特定部87は、基準画像中の関心領域に対応する前眼部画像中の領域を特定し、特定された画像領域に対応する座標値の範囲を当該偏位が打ち消されるように移動することによって、部分領域を特定するように構成されていてよい。
【0209】
幾つかの例示的な態様において、特定部87は、関心位置情報に含まれる上記位置情報を参照して、基準画像中の関心領域に対応する前眼部画像中の領域を特定するように構成されていてよい。このような態様の特定部87は、偏位算出部871により算出された偏位から前眼部画像中の部分領域を特定することができる。
【0210】
次に、関心領域が基準画像に対して設定されていない場合における幾つかの例示的な態様を説明する。関心位置情報は、被検眼Eの前眼部の或る部位の位置を示す位置情報を含んでいてよい。例えば、この位置情報は、被検眼Eの前眼部における特徴点に対する当該部位の相対位置(偏位:偏位方向、偏位量)を示す情報を含んでいてよい。本例の特徴点は、例えば、角膜(前面、後面、頂点、外縁など)、瞳孔(中心、重心、外縁など)、虹彩(内縁、パターンなど)、隅角、水晶体、人工物、病変部、治療痕などがあってよい。
【0211】
関心領域が基準画像に対して設定されていない場合、特定部87は、偏位算出部871を備えていなくてよい。本態様の特定部87は、関心位置情報に含まれる上記位置情報に示された部位の位置に対応する前眼部画像中の領域を特定することによって、部分領域を特定するように構成されていてよい。このような特定部87の幾つかの例示的な態様を以下に説明する。
【0212】
第1の例に係る特定部87は、前眼部画像を解析することによって特徴点の位置(座標値)を特定することができる。特定部87は、特定された特徴点の位置から位置情報に示す偏位方向に当該偏位だけシフトした位置を特定し、特定された位置に基づいて部分領域を設定することができる。
【0213】
第2の例について説明する。前述したように、関心位置情報に含まれる位置情報は、被検眼Eの前眼部における特徴点に対する或る部位の相対位置(偏位:偏位方向、偏位量)を示す情報を含んでいてよい。本例の相対位置は、例えば、特徴点に対する或る部位の代表点(重心、中心等)の偏位(偏位方向及び偏位量)と、この代表点を基準とした当該部位の範囲(形状、サイズ、方向等)を表す情報(範囲情報)とを含んでいる。本例の特定部87は、前眼部画像を解析して特徴点の位置(座標値)を特定する処理と、位置情報に示す偏位だけ当該座標値からシフトした位置(座標値)を求める処理とを実行するように構成されていてよい。これにより求められた位置(座標値)が代表点の位置として設定される。更に、特定部87は、設定された代表点の位置と上記範囲情報とに基づいて部分領域を特定することができる。
【0214】
(解析部88)
解析部88は、特定部87により特定された部分領域を解析する。これにより生成されるデータを部分解析データと呼ぶ。
【0215】
解析部88が実行する処理の例を説明する。解析部88は、関心位置情報取得部86により取得された当該患者(被検眼E)に対応するパラメータ種別情報に基づいて、特定部87により特定された部分領域についてパラメータの演算を行う。パラメータの例として、部分領域のサイズを表す値がある。部分領域のサイズの例として、部分領域の幅、面積、体積、厚み、質量(推定値)などがある。サイズの値の例として、部分領域内における値の分布や、部分領域内の代表点(中心、重心位置など)における値などがある。
【0216】
関心位置情報は、2以上の関心領域の位置を示す情報であってもよい。すなわち、前眼部画像中に2以上の関心領域が設定されてもよい。この場合、特定部87は、2以上の関心領域のそれぞれに対応する部分領域を特定する。これにより、2以上の関心領域に対応する2以上の部分解析データが得られる。解析部88は、特定された2以上の部分領域のそれぞれを解析する。これにより、2以上の関心領域に対応する2以上の部分解析データが得られる。
【0217】
(特定部87及び解析部88の他の態様)
上記の態様は、患者ごとに設定された関心領域に対応する部分領域を前眼部画像から特定し、特定された部分領域を解析して部分解析データを取得するように構成されている。これに対し、本態様は、患者の前眼部画像を解析して解析データを生成し、この患者の関心領域に基づき解析データから部分解析データ(解析データの一部)を取得するように構成される。いずれの態様も、当該患者の関心領域に対応する部分解析データを生成する点は同じであるが、処理の順序が逆になっている。つまり、上記の態様は、関心領域に対応する部分の特定の後に解析を行っているが、本態様は、解析の後に部分の特定をおこなっている。換言すると、上記の態様では、特定部87が動作した後に解析部88が動作するが、本態様では、解析部88が動作した後に特定部87が動作する。
【0218】
本態様の解析部88は、被検眼Eの前眼部画像を解析して解析データを生成する。本態様の解析部88の構成は上記の態様の解析部88と同様であってよく、本態様の解析部88が実行する処理(解析)は、前眼部画像の全体(又は、関心領域とは関係なく指定された部分)に解析を適用することを除いて、上記の態様の解析部88が実行する処理と同様であってよい。
【0219】
本態様の特定部87は、関心位置情報取得部86により関連情報100から取得された関心位置情報に基づいて、本態様の解析部88が前眼部画像の全体(又は、関心領域とは関係なく指定された部分)を解析して得られた解析データから部分解析データを特定する。本態様の特定部87の構成は上記の態様の特定部87と同様であってよく、本態様の特定部87が実行する処理(データの部分を特定する処理)は、処理するデータの種類を除いて(上記の態様では前眼部画像であり、本態様では解析データである)、上記の態様の特定部87が実行する処理と同様であってよい。
【0220】
上記の態様と同様に、本態様の特定部87は偏位算出部871を含んでいてもよい。関心位置情報が、過去に取得された前眼部の基準画像中の領域の位置を示す位置情報を含む場合、本態様の偏位算出部871は、被検眼Eの前眼部画像と基準画像との間の偏位を算出する。更に、本態様の特定部87は、関心位置情報に含まれる位置情報と、本態様の偏位算出部871により算出された偏位とに基づいて、本態様の解析部88が前眼部画像の全体(又は、関心領域とは関係なく指定された部分)を解析して得られたから部分解析データを特定する。本態様の偏位算出部871の構成は上記の態様の偏位算出部871と同様であってよく、本態様の偏位算出部871が実行する処理は、処理するデータの種類を除いて、上記の態様の偏位算出部871が実行する処理と同様であってよい。
【0221】
関心位置情報は、前眼部の所定部位の位置を示す位置情報を含んでいてもよい。この場合、本態様の特定部87は、関心位置情報に含まれる位置情報が示す所定部位の位置に対応する解析データの領域を特定し、特定された当該領域を部分解析データとして設定することができる。
【0222】
本態様の特定部87は、当該患者について設定された関心領域に対応する解析データの領域を含むように部分解析データを特定することができる。更に、本態様の特定部87は、当該患者について設定された関心領域に対応する解析データの領域より広い領域を部分解析データとして特定することができる。
【0223】
以上に説明した幾つかの構成や機能は上記の態様と同様であり、また、上記の態様における任意の構成や任意の機能を本態様に組み合わせることができる。
【0224】
(更新部89)
特定部87が動作した後に解析部88が動作する態様において、更新部89は、今回の検査において新たな部分領域(過去に適用されたものと異なる部分領域)が設定された場合に動作する。更新部89は、特定部87により新たな部分領域の特定が行われた場合に、この患者の患者IDに関連付けられた関心位置情報(関連情報100に記録されている)を、この新たな部分領域に基づいて更新する。
【0225】
解析部88が動作した後に特定部87が動作する態様において、更新部89は、今回の検査において新たな範囲の部分解析データ(過去に適用されたものと異なる範囲の部分解析データ)が生成された場合に動作する。更新部89は、特定部87により新たな範囲の部分解析データが生成された場合に、この患者の患者IDに関連付けられた関心位置情報(関連情報100に記録されている)を、この新たな範囲に基づいて更新する。
【0226】
<通信部9>
通信部9は、スリットランプ顕微鏡システム1と他の装置(外部装置)との間におけるデータ通信を行う。すなわち、通信部9は、他の装置へのデータの送信と、他の装置から送信されたデータの受信とを行う。
【0227】
例えば、通信部9は、被検眼Eの前眼部をスリット光でスキャンして収集された画像群の少なくとも一部の画像を他の装置(第1外部装置)に向けて送信することができる。また、通信部9は、データ処理部8によりこの画像群から生成されたデータを他の装置(第2外部装置)に向けて送信することができる。第1外部装置と第2外部装置とは同一の装置であってもよいし、異なる装置であってもよい。第1外部装置と第2外部装置とが同一である場合、この外部装置は、例えば、読影端末、読影装置、及び、データ処理部8とは異なる処理を実行するコンピュータのいずれかであってよい。他方、第1外部装置と第2外部装置とが異なる場合、例えば、第1外部装置は、読影端末、読影装置、データ処理部8と同様の処理を実行するコンピュータ、及び、データ処理部8とは異なる処理を実行するコンピュータのいずれかであってよく、第2外部装置は、読影端末、読影装置、及び、データ処理部8とは異なる処理を実行するコンピュータのいずれかであってよい。第1外部装置と第2外部装置とが異なる場合、制御部7は、送信されるデータの種類に応じて送信先となる外部装置を選択するように構成されていてよい。
【0228】
通信部9が実行するデータ通信の方式は任意である。例えば、通信部9は、インターネットに準拠した通信インターフェイス、専用線に準拠した通信インターフェイス、LANに準拠した通信インターフェイス、近距離通信に準拠した通信インターフェイスなど、各種の通信インターフェイスのうちの1以上を含む。データ通信は有線通信でも無線通信でもよい。
【0229】
通信部9により送信されるデータ及び/又は受信されるデータは暗号化されていてよい。暗号化が用いられる場合、例えば、制御部7及び/又はデータ処理部8は、通信部9により送信されるデータを暗号化する暗号化処理部、及び、通信部9により受信されたデータを復号化する復号化処理部の少なくとも一方を含む。
【0230】
<他の要素>
図1A及び
図1Bに示す要素に加え、スリットランプ顕微鏡システム1は、ユーザーインターフェイスを備えていてもよい。ユーザーインターフェイスは、例えば、表示デバイスと、操作デバイスとを含む。表示デバイスは、制御部7の制御の下に動作する。表示デバイスはLCDなどのフラットパネルディスプレイであってよい。操作デバイスは、スリットランプ顕微鏡システム1を操作するためのデバイスや、情報入力を行うためのデバイスを含む。操作デバイスは、例えば、ボタン、スイッチ、レバー、ダイアル、ハンドル、ノブ、マウス、キーボード、トラックボール、操作パネルなどを含む。ユーザーインターフェイスは、タッチスクリーンのように表示機能及び操作機能の双方を有するデバイスを含んでもよい。
【0231】
ユーザーインターフェイスは、例えば、関連情報100(関心位置情報)の登録、作成、編集などに使用可能である。また、制御部7は、スリットランプ顕微鏡システム1により取得された画像や情報を表示デバイスに表示させることができる。
【0232】
<アライメント>
被検眼Eに対するスリットランプ顕微鏡システム1のアライメントについて説明する。一般に、アライメントは、被検眼Eの撮影や測定のために好適な位置に装置光学系を配置させる動作である。本態様のアライメントは、
図5に示すような複数の前眼部画像(一連の画像、動画像、画像群、画像セットなど)を取得するために好適な位置に照明系2及び撮影系3を配置させる動作である。
【0233】
眼科装置のアライメントには様々な手法がある。以下、幾つかのアライメント手法を例示するが、本態様に適用可能な手法はこれらに限定されない。
【0234】
本態様に適用可能なアライメント手法としてステレオアライメントがある。ステレオアライメントは、2以上の異なる方向から前眼部を撮影可能な眼科装置において適用可能であり、その具体的な手法は、本出願人による特開2013-248376号公報などに開示されている。ステレオアライメントは、例えば次の工程を含む:2以上の前眼部カメラが前眼部を異なる方向から撮影して2以上の撮影画像を取得する工程;プロセッサがこれら撮影画像を解析して被検眼の3次元位置を求める工程;求められた3次元位置に基づいてプロセッサが光学系の移動制御を行う工程。これにより、光学系(本例では照明系2及び撮影系3)が、被検眼に対して好適な位置に配置される。典型的なステレオアライメントでは、被検眼の瞳孔(瞳孔の中心又は重心)の位置が基準とされる。
【0235】
このようなステレオアライメントの他にも、アライメント光により得られるプルキンエ像を利用した手法や、光テコを利用した手法や、アライメント指標を利用した手法など、任意の公知のアライメント手法を採用することが可能である。プルキンエ像を利用した手法や光テコやアライメント指標を利用した手法では、被検眼の角膜頂点の位置が基準とされる。
【0236】
なお、以上の例示を含む従来の典型的なアライメント手法は、被検眼の軸と光学系の光軸とを一致させることを目的として行われるが、本態様では、スキャン開始位置に対応する位置に照明系2及び撮影系3を配置させるようにアライメントを実行することが可能である。
【0237】
本態様におけるアライメントの第1の例として、上記したアライメント手法のいずれかを適用して被検眼Eの瞳孔又は角膜頂点を基準としたアライメントを行った後、予め設定された角膜半径の標準値に相当する距離だけ、又は、予め設定された角膜半径の標準値に所定値を加算した値に相当する距離だけ、照明系2及び撮影系3を(X方向に)移動することができる。なお、標準値を用いる代わりに、予め取得された被検眼Eの角膜半径の測定値を用いてもよい。
【0238】
第2の例として、上記したアライメント手法のいずれかを適用して被検眼Eの瞳孔又は角膜頂点を基準としたアライメントを行った後、被検眼Eの前眼部の画像を解析して角膜半径を測定し、この測定値に相当する距離だけ、又は、この測定値に所定値を加算した値に相当する距離だけ、照明系2及び撮影系3を(X方向に)移動することができる。本例で解析される前眼部の画像は、例えば、撮影系3により得られた前眼部画像、又は、他の画像である。他の画像は、前眼部カメラにより得られた画像、前眼部OCTにより得られた画像など、任意の画像であってよい。
【0239】
第3の例として、ステレオアライメント用の前眼部カメラ又は撮影系3により得られた前眼部の画像を解析して角膜の第1端部を求め、ステレオアライメントを適用することにより、この第1端部に対応する位置に、又は、この第1端部から所定距離だけ外側に偏位した位置に、照明系2及び撮影系3を移動することができる。
【0240】
なお、上記したアライメント手法のいずれかを適用して被検眼Eの瞳孔又は角膜頂点を基準としたアライメントを実行し、これにより決定された位置からスリット光によるスキャンを開始するようにしてもよい。この場合においても、角膜Cを含む3次元領域(例えば、角膜Cの全体を含む3次元領域)をスキャンするようにスキャンシーケンスを設定することができる。例えば、瞳孔又は角膜頂点を基準としたアライメントにより決定された位置から左方にスキャンを行った後、右方にスキャンを行うように、スキャンシーケンスが設定される。
【0241】
<その他の事項>
スリットランプ顕微鏡システム1は、被検眼Eを固視させるための光(固視光)を出力する固視系を備えていてよい。固視系は、典型的には、少なくとも1つの可視光源(固視光源)、又は、風景チャートや固視標等の画像を表示する表示デバイスを含む。固視系は、例えば、照明系2又は撮影系3と同軸又は非同軸に配置される。固視系は、装置光学系の光路を通じて固視標を被検者に提示する内部固視系、及び/又は、当該光路の外から固視標を被検者に提示する外部固視系を含んでいてよい。
【0242】
スリットランプ顕微鏡システム1により取得可能な画像の種別は、
図5に示すような複数の前眼部画像に限定されない。例えば、スリットランプ顕微鏡システム1は、複数の前眼部画像に基づく3次元画像、この3次元画像に基づくレンダリング画像、徹照像、被検眼に装用されたコンタクトレンズの動きを表す動画像、蛍光剤適用によるコンタクトレンズと角膜表面との隙間を表す画像などがある。レンダリング画像については他の態様において説明する。徹照像は、照明光の網膜反射を利用して眼内の混濁や異物を描出する徹照法により得られる画像である。なお、眼底撮影、角膜内皮細胞撮影、マイボーム腺撮影などが可能であってもよい。
【0243】
スリットランプ顕微鏡システム1(データ処理部8)は解析処理を実行可能であってもよい。例えば、スリットランプ顕微鏡システム1は、任意の前眼部パラメータを算出可能であってよい。前眼部パラメータは、前眼部の形態を表す値である。前眼部パラメータの例として、角膜前面曲率半径、角膜後面曲率半径、水晶体前面曲率半径、水晶体後面曲率半径、角膜径(縦径、横径(White-to-White))、角膜厚(中心厚、周辺厚)、水晶体厚、前房深度、前房容積、瞳孔径、瞳孔中心(偏心)などがある。また、前眼部パラメータは、形状分布データであってよく、例えば、軸方向湾曲マップ(アキシャル曲率マップ)、接曲率マップ(タンジェンシャル曲率マップ)、隆起マップ(エレベーションマップ)、屈折力マップ、厚さマップ(パキメトリーマップ)、波面収差マップなど、各種の角膜形状マップであってよい。また、前眼部パラメータは、隅角パラメータを含んでいてもよい。隅角パラメータの例として、AOD(angle opening distance)、ACA(anterior chamber angle)、TISA(trabecular iris space area)、ARA(angle recess area)、AtA(angle-to-angle distance)などが知られている。前眼部パラメータ演算の手法は公知である。典型的には、前眼部パラメータ演算は、計測対象となる部位及び/又は位置を特定するための処理(例えば、セグメンテーション、特徴点検出など)と、特定された部位及び/又は位置に基づき前眼部パラメータの値を求める計測処理(例えば、距離計測、比演算、角度演算など)とを含んでいる。
【0244】
<光学系の他の態様>
幾つかの例示的な態様に係るスリットランプ顕微鏡システムは、
図8に示す構成を備えていてよい。
図8の構成は、
図1Aの光学系の1つの例である。なお、本態様のスリットランプ顕微鏡システムは、
図8に示す要素群に加え、例えば、前述した制御部7、データ処理部8、通信部9、記憶部10などを備えている。特に言及しない限り、上記したスリットランプ顕微鏡システム1に係る事項を本態様に適用することができる。
【0245】
図8に示す照明系20はスリットランプ顕微鏡システム1の照明系2の例であり、左撮影系30L及び右撮影系30Rは撮影系3の例である。以下、照明系20を照明系2と記載することや、左撮影系30L及び/又は右撮影系30Rを撮影系3と記載することがある。幾つかの態様において、左撮影系30L及び右撮影系30Rの一方のみを設け、これを撮影系3の例として構成してもよい。符号20aは照明系20の光軸(照明光軸)を示し、符号30Laは左撮影系30Lの光軸(左撮影光軸)を示し、符号30Raは右撮影系30Rの光軸(右撮影光軸)を示す。左撮影光軸30Laと右撮影光軸30Raとは、互いに異なる向きに配置されている。照明光軸20aと左撮影光軸30Laとがなす角度をθLで示し、照明光軸20aと右撮影光軸30Raとがなす角度をθRで示す。角度θLと角度θRとは、互いに等しくてもよいし異なってもよい。照明光軸20aと左撮影光軸30Laと右撮影光軸30Raとは、一点で交差する。
図1Aと同様に、この交点のZ座標をZ0で示す。
【0246】
移動機構6は、
図1Aに示す移動機構6と同じ要素であってよく、照明系20、左撮影系30L及び右撮影系30Rを、矢印49で示す方向(X方向)に移動可能である。典型的には、照明系20、左撮影系30L及び右撮影系30Rは、少なくともX方向に移動可能なステージ上に載置されており、且つ、移動機構6は、制御部7からの制御信号にしたがって、この可動ステージを移動させる。
【0247】
照明系20は、被検眼Eの前眼部にスリット光を照射する。照明系20は、従来のスリットランプ顕微鏡の照明系と同様に、被検眼Eから遠い側から順に、照明光源21と、正レンズ22と、スリット形成部23と、対物レンズ群24及び25とを含む。
【0248】
照明光源21から出力された照明光(典型的には可視光)は、正レンズ22により屈折されてスリット形成部23に投射される。投射された照明光の一部は、スリット形成部23が形成するスリットを通過してスリット光となる。生成されたスリット光は、対物レンズ群24及び25により屈折された後、ビームスプリッタ47により反射され、被検眼Eの前眼部に照射される。
【0249】
左撮影系30Lは、反射器31Lと、結像レンズ32Lと、撮像素子33Lとを含む。反射器31L及び結像レンズ32Lは、照明系20によりスリット光が照射されている前眼部からの光(左撮影系30Lの方向に進行する光)を撮像素子33Lに導く。
【0250】
前眼部から左撮影系30Lの方向に進行する光は、スリット光が照射されている前眼部からの光であって、照明光軸20aから離れる方向に進行する光である。反射器31Lは、当該光を照明光軸20aに近づく方向に反射する。結像レンズ32Lは、反射器31Lにより反射された光を屈折して撮像素子33Lの撮像面34Lに結像する。撮像素子33Lは、当該光を撮像面34Lにて受光する。
【0251】
前述したスリットランプ顕微鏡システム1と同様に、左撮影系30Lは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して繰り返し撮影を行う。これにより複数の前眼部画像(画像群)が得られる。
【0252】
また、前述したスリットランプ顕微鏡システム1と同様に、照明光軸20aに沿う物面と、反射器31L及び結像レンズ32Lを含む光学系と、撮像面34Lとは、シャインプルーフの条件を満足する。より具体的には、反射器31Lによる撮影系30Lの光路の偏向を考慮すると、照明光軸20aを通るYZ面(物面を含む)と、結像レンズ32Lの主面と、撮像面34Lとが、同一の直線上にて交差する。これにより、左撮影系30Lは、物面内の全ての位置(例えば、角膜前面から水晶体後面までの範囲)にピントを合わせて撮影を行うことができる。
【0253】
右撮影系30Rは、反射器31Rと、結像レンズ32Rと、撮像素子33Rとを含む。左撮影系30Lと同様に、右撮影系30Rは、照明系20によりスリット光が照射されている前眼部からの光を、反射器31R及び結像レンズ32Rによって、撮像素子33Rの撮像面34Rに導く。更に、左撮影系30Lと同様に、右撮影系30Rは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して繰り返し撮影を行うことで、複数の前眼部画像(画像群)を取得する。左撮影系30Lと同様に、照明光軸20aに沿う物面と、反射器31R及び結像レンズ32Rを含む光学系と、撮像面34Rとは、シャインプルーフの条件を満足する。
【0254】
制御部7は、左撮影系30Lによる繰り返し撮影と、右撮影系30Rによる繰り返し撮影とを同期させることができる。これにより、左撮影系30Lにより得られた複数の前眼部画像と、右撮影系30Rにより得られた複数の前眼部画像との間の対応関係が得られる。この対応関係は、時間的な対応関係であり、より具体的には、実質的に同時に取得された画像同士をペアリングするものである。
【0255】
或いは、制御部7又はデータ処理部8は、左撮影系30Lにより得られた複数の前眼部画像と、右撮影系30Rにより得られた複数の前眼部画像との間の対応関係を求める処理を実行することができる。例えば、制御部7又はデータ処理部8は、左撮影系30Lから逐次に入力される前眼部画像と、右撮影系30Rから逐次に入力される前眼部画像とを、それらの入力タイミングによってペアリングすることができる。
【0256】
本態様は、動画撮影部40を更に含む。動画撮影部40は、左撮影系30L及び右撮影系30Rによる撮影と並行して、被検眼Eの前眼部を固定位置から動画撮影する。「固定位置から動画撮影」とは、前眼部スキャンのために照明系20、左撮影系30L及び右撮影系30Rが移動されるときに、動画撮影部40は移動されないことを表す。なお、動画撮影部40は、静止画撮影を行うことも可能である。
【0257】
本態様の動画撮影部40は、照明系20と同軸に配置されているが、その配置はこれに限定されない。例えば、照明系20と非同軸に動画撮影部を配置することができる。また、動画撮影部40が感度を有する帯域の照明光で前眼部を照明する光学系が設けられていてもよい。
【0258】
ビームスプリッタ47を透過した光は、反射器48により反射されて動画撮影部40に入射する。動画撮影部40に入射した光は、対物レンズ41により屈折された後、結像レンズ42によって撮像素子43の撮像面に結像される。撮像素子43はエリアセンサである。撮像素子43は、例えば、可視光及び赤外光のいずれか一方又は双方の帯域に感度を有する。
【0259】
動画撮影部40が設けられている場合、被検眼Eの動きをモニタすることや、トラッキングを行うことができる。また、動画撮影部40を用いてアライメントを行うことも可能である。
【0260】
照明系20の出力波長及び動画撮影部40の検出波長に応じ、ビームスプリッタ47は、例えばダイクロイックミラー又はハーフミラーである。
【0261】
本態様のスリットランプ顕微鏡の幾つかの特徴、幾つかの作用、及び幾つかの効果について説明する。
【0262】
前述したスリットランプ顕微鏡システム1の撮影系3の例として、本態様は、左撮影系30Lと右撮影系30Rとを提供する。左撮影系30Lは、スリット光が照射されている前眼部からの光を導く反射器31L及び結像レンズ32L(第1光学系)と、導かれた光を撮像面34L(第1撮像面)で受光する撮像素子33L(第1撮像素子)とを含む。同様に、右撮影系30Rは、スリット光が照射されている前眼部からの光を導く反射器31R及び結像レンズ32R(第2光学系)と、導かれた光を撮像面34R(第2撮像面)で受光する撮像素子33R(第2撮像素子)とを含む。
【0263】
左撮影系30Lの光軸(左撮影光軸30La)と右撮影系30Rの光軸(右撮影光軸30Ra)とは、互いに異なる向きに配置されている。更に、照明系20の光軸(照明光軸20a)に沿う物面と、反射器31L及び結像レンズ32Lと、撮像面34Lとは、シャインプルーフの条件を満足する。同様に、当該物面と、反射器31L及び結像レンズ32Lと、撮像面34Lとは、シャインプルーフの条件を満足する。
【0264】
左撮影系30Lは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して繰り返し撮影を行うことにより第1画像群を取得する。同様に、右撮影系30Rは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して繰り返し撮影を行うことにより第2画像群を取得する。
【0265】
制御部7は、例えば、左撮影系30L及び右撮影系30Rが並行して被検眼Eの前眼部に1回のスキャンを適用するように、照明系20、左撮影系30L、右撮影系30R、及び移動機構6の制御を行うことができる。データ処理部8は、このスキャンで収集された左右一対の画像群から、スキャン範囲に対応する一連の画像を選択して1つの画像群を作成することができる。画像群評価部81は、作成された画像群の品質評価を行うことができる。この画像群の品質が良好であると評価された場合、制御部7は、この画像群を所定の外部装置に向けて送信するように通信部9を制御することができる。
【0266】
この画像群の品質が良好でないと評価された場合、制御部7は、被検眼Eの前眼部に新たなスキャン(1回以上のスキャン)を適用するように、照明系20、左撮影系30L、右撮影系30R、及び移動機構6の制御を行うことができる。この追加的なスキャンにより、左撮影系30Lは、1回以上のスキャンに対応した1以上の第1画像群を収集し、且つ、右撮影系30Rは、1回以上のスキャンに対応した1以上の第2画像群を収集する。画像セット作成部82は、例えば、第1回目のスキャン及び追加的なスキャンで得られた2以上の第1画像群から、スキャン範囲に対応する第1の一連の画像を選択して第1画像セットを作成し、且つ、第1回目のスキャン及び追加的なスキャンで得られた2以上の第2画像群から、スキャン範囲に対応する第2の一連の画像を選択して第2画像セットを作成することができる。或いは、画像セット作成部82は、第1回目のスキャン及び追加的なスキャンで得られた2以上の第1画像群及び2以上の第2画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成するように構成されてもよい。前述したスリットランプ顕微鏡システム1に関する任意の事項(構成、制御、処理、作用、機能など)を本態様に組み合わせることが可能である。
【0267】
このような本態様によれば、スリット光が照射されている前眼部を、互いに異なる方向からそれぞれ動画撮影することができる。一方の撮影系により取得された画像にアーティファクトが含まれている場合であっても、他方の撮影系により当該画像と実質的に同時に取得された画像にはアーティファクトが含まれていない場合がある。また、双方の撮影系により実質的に同時に取得された一対の画像の双方にアーティファクトが含まれている場合であって、一方の画像中のアーティファクトが注目領域(例えばスリット光照射領域)に重なっている場合でも、他方の画像中のアーティファクトが注目領域に重なっていない場合がある。したがって、好適な画像を取得できる可能性が高まる。したがって、良好な品質の画像群及び/又は画像セットが得られる確率を更に向上させることが可能になる。
【0268】
なお、撮影系3は、左撮影系30L(第1撮影系)及び右撮影系30R(第2撮影系)に加え、同様の構成の第3撮影系、・・・、第K撮影系(Kは3以上の整数)を含んでいてもよい。これにより、光学系の構造は複雑化するが、良好な品質の画像群及び/又は画像セットが得られる確率を更に向上させることが可能になる。本態様を実施しようとする者は、トレードオフの関係にあるこれらの事項(光学系の複雑度、及び、高品質な画像セットが得られる確率)を勘案してスリットランプ顕微鏡を設計することができる。
【0269】
本態様の左撮影系30Lは、反射器31Lと結像レンズ32Lとを含む。反射器31Lは、スリット光が照射されている前眼部からの光であって、照明光軸20aから離れる方向に進行する光を、照明光軸20aに近づく方向に反射する。更に、結像レンズ32Lは、反射器31Lにより反射された光を撮像面34Lに結像させる。ここで、結像レンズ32Lは、1以上のレンズを含む。
【0270】
同様に、右撮影系30Rは、反射器31Rと結像レンズ32Rとを含む。反射器31Rは、スリット光が照射されている前眼部からの光であって、照明光軸20aから離れる方向に進行する光を、照明光軸20aに近づく方向に反射する。更に、結像レンズ32Rは、反射器31Rにより反射された光を撮像面34Rに結像させる。ここで、結像レンズ32Rは、1以上のレンズを含む。
【0271】
このような構成によれば、装置の小型化を図ることが可能である。すなわち、撮像素子33L(33R)により取得された画像は、撮像面34L(34R)の反対側の面から延びるケーブルを通じて出力されるが、本構成によれば、照明光軸20aに比較的近接して位置する撮像素子33L(33R)の背面から被検眼Eとは反対方向に向かって、ケーブルを配置することができる。したがって、ケーブルの引き回しを好適に行うことができ、装置の小型化を図ることが可能になる。
【0272】
また、本構成によれば、角度θL及び角度θRを大きく設定することが可能となるため、一方の撮影系により取得された画像にアーティファクトが含まれる場合において、他方の撮影系により当該画像と実質的に同時に取得された画像にアーティファクトが含まれない可能性を高めることができる。また、双方の撮影系により実質的に同時に取得された一対の画像の双方にアーティファクトが含まれる場合であって、一方の画像中のアーティファクトが注目領域(例えばスリット光照射領域)に重なっている場合において、他方の画像中のアーティファクトが注目領域に重なっている可能性を低減することができる。
【0273】
本態様は、動画撮影部40を含む。左撮影系30L及び右撮影系30Rは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して、前眼部を繰り返し撮影する。この繰り返し撮影と並行して、動画撮影部40は、前眼部を固定位置から動画撮影する。
【0274】
このような構成によれば、スリット光による前眼部のスキャンと並行して固定位置(例えば正面)から動画撮影を行うことで、スキャン中における被検眼Eの状態を把握することや、被検眼Eの状態に応じた制御を行うことが可能である。
【0275】
例えば、本態様のスリットランプ顕微鏡が、前述したスリットランプ顕微鏡システム1の画像群評価部81(画像セット評価部83)を含む場合において、本態様のスリットランプ顕微鏡は、左撮影系30L及び/又は右撮影系30Rにより取得された画像群(画像セット)が読影に耐えうる品質か否か評価することができる。画像群評価部81(画像セット評価部83)は、動画撮影部40との組み合わせにより、次のような動作を行うことが可能である。なお、ステレオアライメントのための2以上の前眼部カメラや、類似の撮影手段を用いて、同様の動作を行うことも可能である。
【0276】
動画撮影部40は、被検眼Eの前眼部へのスキャンの適用と並行して前眼部を固定位置から動画撮影する。この動画撮影は、例えば、制御部7の制御の下に行われる。つまり、制御部7は、被検眼Eの前眼部スキャンのために、照明系2(照明系20)と撮影系3(左撮影系30L及び/又は右撮影系30R)と移動機構6と動画撮影部40とを連係的に制御することができる。
【0277】
この連係制御において、制御部7は、撮影系3の撮影レートと動画撮影部40の撮影レートとを同期させることが可能である。例えば、撮影系3の撮影レートと動画撮影部40の撮影レートとが等しく設定され、且つ、撮影系3の撮影タイミングと動画撮影部40の撮影タイミングとが一致される。これにより、スキャンにおいて撮影系3に取得されたフレーム群と、動画撮影部40に取得されたフレーム群とを、時間的に対応付けることができる。
【0278】
なお、撮影レート及び撮影タイミングの一方又は双方が異なる場合においても、例えば所定範囲内の時間差を許容することにより、スキャンにおいて撮影系3に取得されたフレーム群と、動画撮影部40に取得されたフレーム群とを、時間的に対応付けることが可能である。
【0279】
時間的に対応付けられた一対のフレーム(撮影系3により得られたフレームと、動画撮影部40により得られたフレームとの組)は、実質的に同時に取得されたと考えることができる。したがって、時間的に対応付けられた一対のフレームを考慮する際には、眼球運動による位置ずれを無視することができる。
【0280】
このような前提の下、画像群評価部81(画像セット評価部83)は、動画撮影部40により取得された動画像(フレーム群)に基づいて、画像群(画像セット)に含まれる一連の画像の品質の評価を行うように構成されてよい。
【0281】
このとき、画像群評価部81(画像セット評価部83)は、画像群(画像セット)に含まれる一連の画像と、動画撮影部40により取得された動画像に含まれる一連のフレームとの間の対応関係に基づいて、画像群(画像セット)の品質の評価を行うように構成されてよい。すなわち、画像群評価部81(画像セット評価部83)は、撮影系3により得られたフレーム群と、動画撮影部40により取得されたフレーム群との間の時間的な対応関係に基づいて、画像群(画像セット)の品質の評価を行うように構成されてよい。更に、画像群評価部81(画像セット評価部83)は、一連のフレーム中のランドマークと当該対応関係とに基づいて画像群(画像セット)の品質の評価を行うように構成されてよい。
【0282】
1つの具体例を説明する。本例では、撮影系3により得られたフレーム群F1~FN(前述)と、これと並行して動画撮影部40により取得されたフレーム群D1~DNとについて、フレームFnとフレームDnとが対応付けられているとする(n=1、2、・・・、N)。
【0283】
画像群評価部81(画像セット評価部83)は、フレーム群D1~DNのそれぞれにおけるランドマークを特定する。ランドマークは、例えば虹彩に対応する画像領域(虹彩領域)であってよい。
【0284】
次に、画像群評価部81(画像セット評価部83)は、フレーム群D1~DNにおいてそれぞれ特定されたN個のランドマークの位置(例えば、空間的な位置の変化)に基づいて、フレーム群D1~DNの配列順序(空間的配列順序)を求める。
【0285】
前述したように、フレーム群D1~DNは、この順序で時間的に配列されている(時間的配列順序)。時間的配列順序と空間的配列順序とが異なる場合、眼球運動の影響により順序が入れ替わったり位置ずれが生じたりした可能性がある。また、瞬きの影響によりフレームの飛びが発生した可能性がある。
【0286】
このような不具合が検出された場合、つまり時間的配列順序と空間的配列順序とが異なる場合、画像群評価部81(画像セット評価部83)は、この画像群(画像セット)の品質は良好でないと判定する。
【0287】
このような構成によれば、スリット光による前眼部のスキャンと並行して(少なくともX方向及びY方向において)前眼部を広く描出した動画像を取得し、画像群(画像セット)に含まれる一連の画像の不具合を当該動画像を利用して検出することが可能である。
【0288】
画像群(画像セット)に含まれる一連の画像のそれぞれは、深さ方向(Z方向)に延びる画像である。そのため、Z方向に直交するX方向及びY方向における一連の画像の配置や配列を一連の画像自体から認識するには、前述したスリットランプ顕微鏡システム1と同様の画像処理(画像解析)を利用する必要がある。
【0289】
本例は、一連の画像に画像解析を適用することなく、スキャンと並行して別途に取得した動画像を利用して一連の画像の品質評価を実現するものである。なお、本例の評価項目は、前述したスリットランプ顕微鏡システム1と同様に、一連の画像の配列順序、画像抜け、及び位置ずれのいずれかであってよい。また、本例の評価処理と、前述したスリットランプ顕微鏡システム1について説明した任意の評価処理とを組み合わせることも可能である。
【0290】
動画撮影部40の他の応用について説明する。本例は、例えば第1回目のスキャンで収集された画像群の品質が良好ではないと評価された後に2回以上のスキャンを行う場合において、この2回以上の追加的スキャンの開始タイミングを調整することにより、スキャン間における被検眼Eの位置ずれを防止することを目的とする。
【0291】
本例においても、動画撮影部40は、被検眼Eの前眼部を固定位置から撮影する。制御部7は、2回以上の追加的スキャンのうちの第1スキャンの開始に対応して動画撮影部40により取得された基準画像と略同じ画像が動画撮影部40により取得されたことに対応してスキャン部に第2スキャンを開始させるように構成される。
【0292】
より具体的に説明する。画像セット作成のために前眼部に適用される2以上のスキャンのいずれかを第1スキャンと呼ぶ。本例では、2以上のスキャンのうち最初に実行されるスキャンが第1スキャンとされる。
【0293】
まず、制御部7は、第1スキャンの開始タイミングにおいて動画撮影部40により取得された画像(基準画像)を記憶する。基準画像は、例えば、第1スキャンの開始前に撮影が開始された動画像のフレーム群のうち、第1スキャンの開始時に最も近い時間に取得されたフレームであってよい。或いは、動画撮影部40は、制御部7の制御の下に、第1スキャンの開始時(直前、同時、又は直後)に前眼部を静止画撮影することで、基準画像を取得してもよい。
【0294】
第1スキャンよりも後に実行される任意のスキャン(第2スキャン)は、動画撮影部40による前眼部動画撮影が行われているときに開始される。制御部7(又はデータ処理部8)は、動画撮影部40により逐次に取得されるフレームを基準画像と比較する。この比較は、例えば、ランドマークを特定するセグメンテーション、画像マッチング、画像相関など、任意の画像処理を含んでよい。
【0295】
基準画像と略同じフレームが得られたと判定されると、制御部7は、第2スキャンを開始するように、照明系2、撮影系3及び移動機構6を制御する。
【0296】
本例のスリットランプ顕微鏡は、前眼部に対するスキャン適用回数が、画像セット作成のためのスキャン反復回数に達するまで、上記した一連の処理を繰り返し実行する。これにより、スキャン間における被検眼Eの位置ずれを低減することができ、眼球運動による画像セットの品質低下を防止することが可能となる。また、画像選択の効率化や容易化を図ることが可能となる。
【0297】
<動作>
例示的な態様に係るスリットランプ顕微鏡の動作について幾つかの例を説明する。
【0298】
図示は省略するが、撮影の準備として、スリットランプ顕微鏡システム1が設置されているテーブル、被検者(患者)が座るイス、スリットランプ顕微鏡システム1の顎受け台の調整が行われる(いずれも図示を省略する)。例えば、テーブル、イス、顎受け台の高さ調整が行われる。顎受け台には、被検者の顔を安定配置させるための顎受け部及び額当てが設けられている。
【0299】
準備が完了したら、被検者は、イスに腰掛け、顎受けに顎を載せ、額当てに額を当接させる。これらの動作の前又は後に、ユーザーは、被検眼の撮影を開始するための指示操作を行う。この操作は、例えば、図示しない撮影開始トリガーボタンの押下、指示音声の入力などであってよい。或いは、制御部7が準備フェーズの完了を検知して撮影フェーズに自動で移行してもよい。また、図示しない固視標を被検者(被検眼E又はその僚眼)に提示してもよい。
【0300】
<第1の動作例>
以上の準備の後に実行される第1の動作例について
図9を参照しつつ説明する。
【0301】
(S1:患者IDを受け付け)
まず、スリットランプ顕微鏡システム1は、受付部11によって、被検者の識別子(患者ID)を受け付ける。
【0302】
(S2:関心位置情報を取得)
関心位置情報取得部86は、ステップS1で受け付けられた患者IDに関連付けられた関心位置情報を、記憶部10に記憶されている関連情報100から取得する。
【0303】
(S3:アライメント)
スリットランプ顕微鏡システム1は、被検眼Eに対する照明系2及び撮影系3のアライメントを行う。被検眼Eの角膜頂点や瞳孔中心に光学系光軸を合わせるための一般的なアライメントと異なり、ステップS3のアライメントは、ステップS4で行われるスキャンの開始位置に照明系2及び撮影系3を配置させるために実行される。ステップS3のアライメントの態様は任意であってよく、前述した例のいずれかであってよい。アライメントの開始前、実行中、及び/又は終了後に、撮像素子5の調整、フォーカス調整などの動作を実行してもよい。
【0304】
(S4:前眼部の画像を取得)
ステップS3のアライメントの完了後、スリットランプ顕微鏡システム1は、被検眼Eの前眼部を撮影して画像を取得する。例えば、スリットランプ顕微鏡システム1は、照明系2によるスリット光の照射と、撮影系3による動画撮影と、移動機構6による照明系2及び撮影系3の移動とを組み合わせて実行することにより、被検眼Eの前眼部をスキャンする。このスキャンは、前眼部の3次元領域に適用される。1回のスキャン(スキャン開始位置からスキャン終了位置までのスキャン)により、例えば、
図5に示す画像群(複数の前眼部画像)F1~FNが得られる。なお、ステップS2で実行される撮影はこのようなスキャンに限定されず、例えば、1枚の画像を取得するための撮影であってもよい。
【0305】
データ処理部8は、取得された前眼部画像に所定の処理を施してもよい。例えば、ノイズ除去、コントラスト調整、輝度調整、色補正など、任意の信号処理や任意の画像処理を適用することが可能である。
【0306】
(S5A:画像の部分領域を特定)
特定部87は、ステップS2で取得された関心位置情報に基づいて、ステップS4で取得された画像の部分領域を特定する。
【0307】
(S6A:部分領域を解析)
解析部88は、ステップS5Aで特定された部分領域を解析して部分解析データを生成する。
【0308】
(S7:部分解析データを表示)
制御部7は、ステップS6Aで生成された部分解析データを表示デバイスに表示させる。制御部7は、ステップS4で取得された前眼部画像、ステップS5Aで特定された部分領域などを、部分解析データとともに表示させてもよい。
【0309】
(S8:部分解析データを保存)
制御部7は、ステップS6Aで生成された部分解析データを所定の記憶装置に保存する(エンド)。制御部7は、ステップS4で取得された前眼部画像、ステップS5Aで特定された部分領域などを、部分解析データとともに所定の記憶装置に保存してもよい。これらの情報は、例えば、ステップS1で受け付けられた患者IDに関連付けられて保存される。
【0310】
<第2の動作例>
第2の動作例について
図10を参照しつつ説明する。本動作例は、第1の動作例のステップS5A及びS6BをそれぞれステップS5B及びS6Bに置換したものである。本動作例のステップS1~S4、S7及びS8は、第1の動作例と同じ要領で実行される。以下、ステップS5B及びS6Bについて説明する。
【0311】
(S5B:画像を解析)
解析部88は、ステップS4で取得された画像を解析して解析データを生成する。本動作例では、例えば、ステップS4で取得された画像の全体が解析される。
【0312】
(S6B:解析データの部分を特定)
特定部87は、ステップS2で取得された関心位置情報に基づいて、ステップS5Bで生成された解析データから部分解析データを特定する。
【0313】
<第3の動作例>
第3の動作例について
図11A~
図11Cを参照しつつ説明する。本動作例は、スリットランプ顕微鏡システム1により取得された前眼部画像を読影する場合の例を示している。なお、読影以外の医療行為においても本動作例と同様の処理を応用可能であることは、当業者であれば理解することができるであろう。また、本動作例では、
図8の構成が採用されている。
【0314】
(S11:アライメント)
まず、第1の動作例のステップS3と同じ要領でアライメントが実行される。これにより、照明系2(照明系20)及び撮影系3(左撮影系30L及び右撮影系30Rの一方。双方でもよい。)がスキャン開始位置これに対応する位置に配置され、動画撮影部40が例えば被検眼Eの正面位置に配置される。
【0315】
(S12:動画撮影を開始)
アライメントの完了後、動画撮影部40による前眼部の動画撮影が開始される。この動画撮影の撮影レートは、後述の前眼部スキャンにおける撮影系3の撮影レートと等しくてよい。
【0316】
前眼部スキャンのために照明系2及び撮影系3は移動されるが、動画撮影部40は固定位置から前眼部を動画撮影する。また、動画撮影と並行して前眼部スキャンが行われると、前眼部スキャンで収集された画像群と、動画撮影部40で収集されたフレーム群との間に、前述の対応関係が割り当てられる。
【0317】
動画撮影の開始タイミングは任意であってよく、例えばアライメントの実行前又は実行中であってもよい。
【0318】
(S13:前眼部スキャン)
スリットランプ顕微鏡システム1は、照明系2によるスリット光の照射と、撮影系3による動画撮影と、移動機構6による照明系2及び撮影系3の移動とを組み合わせることで、被検眼Eの前眼部をスキャンする。
【0319】
本例では、1回のスキャン(スキャン開始位置からスキャン終了位置までのスキャン)で256枚の画像が取得される。第1回目のスキャン(第1回目のステップS13で実行されたスキャン。以下同様。)で得られた256枚の画像(画像群)をH1(1)~H1(256)で示す。256枚の画像H1(1)~H1(256)は、スキャン範囲(スキャン開始位置及びスキャン終了位置を両端とするX方向の範囲)において順序付けられた256個の位置に割り当てられている。
【0320】
(S14:良質な画像を選択)
選択部821は、ステップS13で取得された256枚の画像H1(1)~H1(256)のうちから、所定の画像選択条件を満足する画像を選択する。
【0321】
本例では、
図12Aに示すように、第71枚目~第170枚目の100枚の画像H1(71)~H1(170)が画像選択条件を満足せず、第1枚目~第70枚目及び第171枚目~第256枚目の156枚の画像H1(1)~H1(70)及びH1(171)~H1(256)が画像選択条件を満足したとする。この場合、選択部821は、256枚の画像H1(1)~H1(256)のうちから、第1枚目~第70枚目及び第171枚目~第256枚目の156枚の画像H1(1)~H1(70)及びH1(171)~H1(256)を選択する。
【0322】
(S15:暫定的画像セットを作成)
選択部821は、現時点までに得られた(1以上の)画像群に基づく暫定的画像セットを作成する。本例の現段階では、156枚の画像H1(1)~H1(70)及びH1(171)~H1(256)を含む暫定的画像セットが作成される。
【0323】
(S16:選択画像枚数=所定数?)
選択部821は、直前のステップS15で作成された暫定的画像セットに含まれる画像の枚数(選択された画像の枚数)を所定の枚数と比較する。上記のように、本例では、所定の枚数(画像セットに含まれる画像の枚数)は256枚に設定されている。
【0324】
暫定的画像セットに含まれる画像の枚数が256枚に達した場合(S16:Yes)、動作はステップS18に移行する。また、暫定的画像セットに含まれる画像の枚数が256枚に達しない場合(S16:No)、動作はステップS17に移行する。
【0325】
(S17:スキャン回数=所定数?)
選択部821は、現段階までに行われたスキャンの回数(スキャンと画像選択との交互反復の回数)を所定の回数と比較する。上記のように、本例では、所定の回数は5回に設定されている。
【0326】
現段階までに行われたスキャン回数が5回に達した場合(S17:Yes)、動作はステップS18に移行する。また、現段階までに行われたスキャン回数が5回に達しない場合(S17:No)、動作はステップS13に戻る。
【0327】
ステップS16又はS17で「Yes」と判定されるまで、ステップS13~ステップ37が繰り返し実行される。ステップS16で「Yes」と判定されることは、画像セットの作成に必要な枚数(256枚)の画像が準備されたことに相当する。また、ステップS17で「Yes」と判定されることは、スキャン及び画像選択が上限回数だけ反復されたことに相当する。
【0328】
(S18:画像セットを作成)
ステップS16又はS17で「Yes」と判定されると、画像セット作成部82は、直前のステップS15で作成された暫定的画像セットに基づいて画像セットを作成する。
【0329】
ここで、ステップS13~S18について具体例を説明する。前述のように、
図12Aの例では、第1回目のスキャン(ステップS13)及び第1回目の画像選択(ステップS14)に基づき、156枚の画像H1(1)~H1(70)及びH1(171)~H1(256)を含む暫定的画像セットが作成された(ステップS15)。
【0330】
この段階では、暫定的画像セットに含まれる画像の枚数が256枚に達していないので(S16:No)、動作はステップS17に移行する。この段階では、スキャンは1回しか行われていないので(S17:No)、動作はステップS13に戻る。
【0331】
動作がステップS13に戻ると、第2回目の前眼部スキャンが行われる。第2回目のスキャンで得られた256枚の画像をH2(1)~H2(256)で示す。第1回目のスキャンで得られた画像群と同様に、256枚の画像H2(1)~H2(256)は、スキャン範囲において順序付けられた256個の位置に割り当てられている。更に、256個の位置を介して、第1回目のスキャンで得られた画像H1(n)と第2回目のスキャンで得られた画像H2(n)とが対応付けられている(n=1、2、・・・、256)。これ以降のスキャンで得られる画像群についても同様である。
【0332】
ステップS14において、選択部821は、ステップS13で取得された256枚の画像H2(1)~H2(256)のうちから、所定の画像選択条件を満足する画像を選択する。本例では、
図12Bに示すように、第1枚目~第100枚目の100枚の画像H2(1)~H2(100)が画像選択条件を満足せず、第101枚目~第256枚目の156枚の画像H2(101)~H2(256)が画像選択条件を満足したとする。この場合、選択部821は、256枚の画像H2(1)~H2(256)のうちから、第101枚目~第256枚目の156枚の画像H2(101)~H2(256)を選択する。
【0333】
ここで、スキャン範囲の或る位置に対応する画像が2つ以上選択された場合、選択部821は、それら画像のうちから1つを選択することができる。
図12A及び
図12Bに示す例においては、例えば、第256番目の位置に対応する画像として、画像H1(256)と画像H2(256)とが選択されている。
【0334】
選択部821は、画像H1(256)及び画像H2(256)の一方を選択する処理を実行するように構成されてよい。例えば、選択部821は、先に取得された画像H1(256)を選択するように、又は、後に取得された画像H2(256)を選択するように構成されてよい。なお、本例では、選択部821は、先に取得された画像を選択するように構成されているものとする。
【0335】
他の例として、選択部821は、画像H1(256)と画像H2(256)との比較によって一方を選択するように構成されてよい。例えば、画像H1(256)の画質評価値を算出し、画像H2(256)の画質評価値を算出し、これら画質評価値を比較して画像H1(256)及び画像H2(256)の一方を選択するように構成されてよい。典型的には、画質評価値が最も高い画像が選択される。
【0336】
このような処理により、スキャン範囲における256個の位置のそれぞれに対し、最大1枚の画像が割り当てられる。つまり、暫定的画像セットに含まれる画像の枚数は、最大で256枚である。
【0337】
選択部821は、現時点までに得られた2つの画像群(画像群H1(1)~H1(256)及び画像群H2(1)~H2(256))に基づく暫定的画像セットを作成する。本例の現段階では、第1回目のスキャンに基づく156枚の画像H1(1)~H1(70)及びH1(171)~H1(256)と、第2回目のスキャンに基づく70枚の画像H2(101)~H2(170)とを含む暫定的画像セットが作成される。
【0338】
つまり、この段階で得られる暫定的画像セットは、スキャン範囲における256個の位置のうち第1番目~第70番目及び第101番目~第256番目の位置(226個の位置)に対応する226枚の画像H1(1)~H1(70)、H2(101)~H2(170)、及びH1(171)~H1(256)を含んでいる。
【0339】
この段階では、暫定的画像セットに含まれる画像の枚数が256枚に達していないので(S16:No)、動作はステップS17に移行する。この段階では、スキャンは2回しか行われていないので(S17:No)、動作は再度ステップS13に戻る。
【0340】
動作がステップS13に戻ると、第3回目の前眼部スキャンが行われる。第3回目のスキャンで得られた256枚の画像をH3(1)~H3(256)で示す。
【0341】
ステップS14において、選択部821は、ステップS13で取得された256枚の画像H3(1)~H3(256)のうちから、所定の画像選択条件を満足する画像を選択する。本例では、
図12Cに示すように、第227枚目~第256枚目の30枚の画像H3(227)~H3(256)が画像選択条件を満足せず、第1枚目~第226枚目の226枚の画像H3(1)~H3(226)が画像選択条件を満足したとする。この場合、選択部821は、256枚の画像H3(1)~H3(256)のうちから、第1枚目~第226枚目の226枚の画像H3(1)~H3(226)を選択する。
【0342】
更に、選択部821は、スキャン範囲における256個の位置のうち既に画像が割り当てられている第1番目~第70番目及び第101番目~第256番目の位置を除く、第71番目~第100番目に対応する30枚の画像H3(71)~H3(100)を、226枚の画像H3(1)~H3(226)のうちから選択する。
【0343】
選択部821は、現時点までに得られた3つの画像群(画像群H1(1)~H1(256)、画像群H2(1)~H2(256)、及び、画像群H3(1)~H3(256))に基づく暫定的画像セットを作成する。本例の現段階では、第1回目のスキャンに基づく156枚の画像H1(1)~H1(70)及びH1(171)~H1(256)と、第2回目のスキャンに基づく70枚の画像H2(101)~H2(170)と、第3回目のスキャンに基づく30枚の画像H3(71)~H3(100)とを含む暫定的画像セットが作成される。
【0344】
つまり、この段階で得られる暫定的画像セットは、スキャン範囲における256個の位置の全てに対応する256枚の画像H1(1)~H1(70)、H3(71)~H3(100)、H2(101)~H2(170)、及びH1(171)~H1(256)を含んでいる。したがって、ステップS16において「Yes」と判断されて、動作はステップS18に移行する。
【0345】
ステップS18では、画像セット作成部82が、直前のステップ35で作成された暫定的画像セットに含まれる256枚の画像H1(1)~H1(70)、H3(71)~H3(100)、H2(101)~H2(170)、及びH1(171)~H1(256)に基づいて画像セットを作成する。
【0346】
図11Aに示す動作は、スキャンと画像選択との交互反復を用いて画像セットを作成する処理の例を提供する。これに引き続き
図11Bに示す動作が実行される。
【0347】
(S19:画像セットの品質を評価)
画像セット評価部83は、ステップS18で作成された画像セットの品質を評価する。
【0348】
或いは、本態様では、前述した要領で、動画撮影部40により取得された動画像を利用して画像セットの品質を評価してもよい。例えば、
図12A~
図12Cに示す例に基づく画像セットは、256枚の画像H1(1)~H1(70)、H3(71)~H3(100)、H2(101)~H2(170)、及びH1(171)~H1(256)からなる一連の画像を含む。これらの画像を収集するために3回のスキャンが行われ、各スキャンと並行して動画撮影部40による動画撮影が行われた。
【0349】
第1回目のスキャンと並行した動画撮影で得られたフレーム群のうち、画像H1(n)に対応付けられたフレームをJ1(n)で示す(n=1、2、・・・、256)。また、第2回目のスキャンと並行した動画撮影で得られたフレーム群のうち、画像H2(n)に対応付けられたフレームをJ2(n)で示す(n=1、2、・・・、256)。また、第3回目のスキャンと並行した動画撮影で得られたフレーム群のうち、画像H3(n)に対応付けられたフレームをJ3(n)で示す(n=1、2、・・・、256)。
【0350】
よって、本例の画像セットに含まれる256枚の画像H1(1)~H1(70)、H3(71)~H3(100)、H2(101)~H2(170)、及びH1(171)~H1(256)には、それぞれ、フレームJ1(1)~J1(70)、J3(71)~J3(100)、J2(101)~J2(170)、及びJ1(171)~J1(256)が対応付けられている。
【0351】
画像セット評価部83は、前述したフレーム群D1~DNに対する処理と同様の処理を、本例の画像セットに含まれる256枚の画像に対応付けられた256枚のフレームに適用することで、この画像セットの評価を行うことができる。
【0352】
(S20:品質良好か?)
ステップS19において画像セットの品質は良好であると判定された場合(S20:Yes)、動作はステップS23に移行する。一方、ステップS19において画像セットの品質は良好でないと判定された場合(S20:No)、動作はステップS21に移行する。
【0353】
(S21:再撮影を促す)
ステップS19において画像セットの品質は良好でないと判定された場合(S20:No)、制御部7は、ユーザーに再撮影を促すための情報を表示及び/又は音声出力させる。
【0354】
(S22:再撮影するか?)
ユーザーは、ステップS21で表示及び/又は音声出力された情報への応答として、再撮影を開始するための指示操作、又は、再撮影を行わないための指示操作を行う。
【0355】
再撮影を開始するための指示操作をユーザーが行った場合(S22:Yes)、動作はステップS11に戻る。この場合、スリットランプ顕微鏡システム1は、ここまでの一連の処理を再度実行する。なお、再撮影は、例えば、所定の回数を上限として繰り返される。
【0356】
一方、再撮影を行わないための指示操作をユーザーが行った場合(S22:No)、動作はステップS23に移行する。
【0357】
(S23:画像セットを送信)
ステップS19において画像セットの品質は良好であると判定された場合(S20:Yes)、又は、ステップS22において再撮影を行わないための指示操作をユーザーが行った場合(S22:No)、制御部7は、読影端末及び/又は読影装置に画像セットを送信するように通信部9を制御する。
【0358】
本動作例では、ここまでの工程はスリットランプ顕微鏡システム1に含まれるスリットランプ顕微鏡(及び、それに接続されたコンピュータ)よって実行され、これ以降の工程(
図11Cに示す工程)は、このスリットランプ顕微鏡(又はコンピュータ)と通信可能な情報処理装置によって実行される。
図11Cに示す工程は、医師が読影を行うために使用するコンピュータ(読影端末)を用いて行われる。読影機能を有するコンピュータ(読影装置)が用いられる場合においても同様の処理を実行可能であることは、当業者であれば理解することができるであろう。なお、本動作例を採用可能なシステム構成については、その例を後述する。
【0359】
(S24:患者IDを受け付け)
スリットランプ顕微鏡システム1は、受付部11によって、被検者の識別子(患者ID)を受け付ける。
【0360】
(S25:関心位置情報を取得)
関心位置情報取得部86は、ステップS24で受け付けられた患者IDに関連付けられた関心位置情報を、記憶部10に記憶されている関連情報100から取得する。
【0361】
(S26:読影開始)
読影端末を使用する医師は、ステップS23でスリットランプ顕微鏡(又はコンピュータ)から送信された画像セットに含まれる一連の画像の読影を所望のタイミングで開始する。以下の工程が適用される画像は、例えば、この画像セットに含まれる全ての画像、この画像セットから医師が選択した1つ以上の画像、及び、この画像セットから読影端末が選択した1つ以上の画像のいずれかであってよい。
【0362】
(S27:画像の部分領域を特定)
特定部87は、ステップS25で取得された関心位置情報に基づいて、ステップS23でスリットランプ顕微鏡(又はコンピュータ)から送信された画像セットに含まれる画像の部分領域を特定する。
【0363】
(S28:部分領域を解析)
解析部88は、ステップS27で特定された部分領域を解析して部分解析データを生成する。
【0364】
なお、本動作例のステップS27及びS28は、それぞれ、第1の動作例のステップS5A及びS6Aに相当する工程であるが、これらの代わりに、第2の動作例のステップS5B及びS6Bに相当する工程を実行してもよい。
【0365】
(S29:部分解析データを表示)
制御部7は、ステップS28で生成された部分解析データを表示デバイスに表示させる。制御部7は、前眼部画像、その部分領域などを、部分解析データとともに表示させてもよい。
【0366】
(S30:読影レポートを作成)
医師は、ステップS29で表示された部分解析データや画像を参照しつつ読影を行うことができる。医師は、画像セットに含まれる一連の画像のうちの所望の画像に対してステップS27~S29の処理を適用させることができる。このようにして、医師は、被検眼Eの前眼部画像の読影を行い、その結果を所定のレポートテンプレートに入力する。これにより、被検眼Eに関する読影レポートが作成される。
【0367】
(S31:画像セット・読影レポート・部分解析データを保存)
画像セット、読影レポート、及び部分解析データは、例えば、スリットランプ顕微鏡システム1が設置されている施設、被検者等が指定した医療機関、被検者等が指定した医師が使用する情報処理装置、被検者が登録したアドレス(電子メールアドレス、住所など)などに提供され、保存される。また、所定のデータベースシステムに画像セット及び読影レポートを送信して保管・管理するようにしてもよい(エンド)。
【0368】
本動作例を実行可能なスリットランプ顕微鏡システムが奏する幾つかの効果について説明する。本動作例を実行可能なスリットランプ顕微鏡システムは、スキャンと画像選択との交互反復において、スキャン開始時の前眼部画像を一致させてスキャン間における被検眼のずれを防ぐことができる。そのために、本動作例を実行可能なスリットランプ顕微鏡システムは、被検眼の前眼部を固定位置から撮影する動画撮影部40(撮影部)を含む。制御部7は、第1スキャンの開始に対応して動画撮影部40により取得された基準画像と略同じ画像が動画撮影部40により取得されたことに対応してスキャン部に第2スキャンを開始させるように構成される。
【0369】
本動作例を実行可能なスリットランプ顕微鏡システムは、画像セットの品質評価において、動画撮影部40により取得された動画像(フレーム群)を利用することができる。そのために、本動作例を実行可能なスリットランプ顕微鏡システムは、被検眼の前眼部へのスキャンの適用と並行して前眼部を固定位置から動画撮影する動画撮影部40を含む。画像セット評価部83は、動画撮影部40により取得された動画像に基づいて画像セット品質の評価を行うように構成される。
【0370】
このとき、画像セット評価部83は、画像セットに含まれる一連の画像と動画撮影部40により取得された動画像に含まれる一連のフレームとの間の対応関係に基づいて、画像セットの品質の評価を行うように構成されてよい。
【0371】
更に、画像セット評価部83は、動画撮影部40により取得された動画像に含まれる一連のフレーム中のランドマークと、画像セットに含まれる一連の画像と動画像に含まれる一連のフレームとの間の対応関係と、に基づいて、画像セットの品質の評価を行うように構成されてよい。
【0372】
第3の動作例を実行可能なスリットランプ顕微鏡システムの例示的な態様を
図13に示す。本態様のスリットランプ顕微鏡システム200は、スリットランプ顕微鏡210と、情報処理装置220とを含む。情報処理装置220は、例えば、上記の読影端末であり、読影アプリケーションを提供するための要素(ハードウェア、ソフトウェア)の図示は省略されている。
【0373】
スリットランプ顕微鏡210は、画像取得部211と、制御部212と、データ処理部213と、通信部214とを含んでいる。制御部212は制御部7と同様の構成及び機能を有していてよく、データ処理部213はデータ処理部8と同様の構成及び機能を有していてよい。データ処理部213は、例えば、
図1Bに示すデータ処理部8の要素のうち、画像群処理部80及び加工画像構築部85を含んでいてよい。
【0374】
画像取得部211は、被検眼の前眼部をスリット光でスキャンして画像を取得するための構成及び機能を有し、例えば、スリットランプ顕微鏡システム1の照明系2、撮影系3、移動機構6などを含んでいる。
【0375】
スリットランプ顕微鏡210により取得される画像は、例えば、1枚の画像、画像群、画像セット、3次元画像、レンダリング画像などであってよい。
【0376】
通信部214は、スリットランプ顕微鏡210と他の装置(外部装置)との間におけるデータ通信を行う。情報処理装置220は、この外部装置の一つである。
【0377】
スリットランプ顕微鏡210の制御部212は、第3の動作例のステップS11~S23において実行される各種の制御を実行する。
【0378】
スリットランプ顕微鏡210のデータ処理部213は、第3の動作例のステップS11~S23において実行される各種のデータ処理を実行する。例えば、スリットランプ顕微鏡210のデータ処理部213は、画像群処理部80、画像群評価部81、画像セット作成部82、選択部821、画像セット評価部83などを含んでいてよい。スリットランプ顕微鏡210の画像群評価部81は、推論部811A、推論モデル812A、3次元画像構築部811B、比較部812B、評価処理部813B、評価データ生成部811C、評価処理部812Cなどを含んでいてよい。
【0379】
情報処理装置220は、記憶部221と、受付部222と、関心位置情報取得部223と、画像解析部224と、ユーザーインターフェイス225と、通信部226とを含んでいる。
【0380】
記憶部221は、関連情報221aを記憶している。記憶部221は記憶部10と同様であってよく、関連情報221aは関連情報100と同様であってよい。
【0381】
受付部222は、受付部11と同様であってよく、第3の動作例のステップS24を行う。
【0382】
関心位置情報取得部223は、関心位置情報取得部86と同様であってよく、第3の動作例のステップS25を行う。
【0383】
画像解析部224は、関心位置情報取得部223により取得された関心位置情報に基づいて、スリットランプ顕微鏡210により取得された画像の部分領域に対応する部分解析データを生成する。画像解析部224は、例えば、特定部87と解析部78とを含む。画像解析部224は、第3の動作例のステップS27及びS28を行う。
【0384】
ユーザーインターフェイス225は、例えば、表示デバイスと操作デバイスとを含む。第3の動作例のステップS29は、ユーザーインターフェイス225の表示デバイスを用いて行われる。
【0385】
通信部226は、情報処理装置220と他の装置(外部装置)との間におけるデータ通信を行う。スリットランプ顕微鏡210は、この外部装置の一つである。
【0386】
第3の動作例のステップS23は、スリットランプ顕微鏡210の通信部214から情報処理装置220に向けて画像セットを送信することによって行われる。情報処理装置220は、通信部226によって、スリットランプ顕微鏡210から送信された画像セットを受信する。受信された画像セットは、画像解析部224に入力される。
【0387】
スリットランプ顕微鏡210が実行可能な処理の幾つかの例を以下に説明する。まず、スリットランプ顕微鏡210は、画像取得部211により収集された画像群を画像群処理部80によって処理することができる。
【0388】
スリットランプ顕微鏡210の画像群処理部80は、画像群評価部81によって画像群の品質を評価することができる。画像群の品質が良好であると画像群評価部81により評価された場合、通信部214は、この画像群を情報処理装置220に向けて送信することができる。画像群の品質が良好でないと画像群評価部81により評価された場合、スリットランプ顕微鏡210の制御部7は、被検眼の前眼部に対する新たなスキャンを画像取得部(スキャン部)に実行させるための制御を実行することができる。
【0389】
スリットランプ顕微鏡210の画像群処理部80は、画像セット作成部82によって、先のスキャンで収集された画像群と新たなスキャンで収集された新たな画像群とを含む2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成することができる。
【0390】
スリットランプ顕微鏡210の画像取得部211(スキャン部)は、被検眼の前眼部に2回以上のスキャンを(例えば連続して)適用して2以上の画像群を収集することができる。スリットランプ顕微鏡210の画像群処理部80は、画像セット作成部82によって、2回以上のスキャンで収集された2以上の画像群から、スキャン範囲に対応する一連の画像を選択して画像セットを作成することができる。
【0391】
スリットランプ顕微鏡210の画像群処理部80は、画像セット評価部83によって画像セットの品質を評価することができる。画像セットの品質が良好であると画像セット評価部83により評価された場合、通信部214は、この画像セットを情報処理装置220に向けて送信することができる。画像セットの品質が良好でないと画像セット評価部83により評価された場合、スリットランプ顕微鏡210の制御部7は、被検眼の前眼部に対する新たなスキャンを画像取得部(スキャン部)に実行させるための制御を実行することができる。
【0392】
<効果>
例示的な態様に係るスリットランプ顕微鏡システムにより奏される幾つかの効果について説明する。
【0393】
例示的な態様のスリットランプ顕微鏡システム1は、受付部11と、関心位置情報取得部86と、画像取得部(照明系2、撮影系3、移動機構6など)と、画像解析部(データ処理部8)とを含む。なお、スリットランプ顕微鏡システム1は記憶部10を含んでいるが、格納手段はスリットランプ顕微鏡システムからアクセス可能な外部装置であってもよい。
【0394】
受付部11は、患者を識別するための患者識別情報を受け付ける。関心位置情報取得部86は、複数の患者識別情報のそれぞれに関心領域の位置を示す関心位置情報が予め関連付けられて格納された格納手段(記憶部10)から、受付部11により受け付けられた患者識別情報に関連付けられた関心位置情報を取得する。画像取得部は、受付部11により受け付けられた患者識別情報に対応する患者の被検眼の前眼部をスリット光でスキャンして画像を取得する。画像解析部は、関心位置情報取得部により取得された関心位置情報に基づいて、画像取得部により取得された画像の部分領域に対応する部分解析データを生成する。
【0395】
このように構成されたスリットランプ顕微鏡システム1によれば、対象患者について設定された関心領域の解析データを、前眼部をスリット光でスキャンして取得された画像から生成することが可能である。これにより、患者ごとに注目すべき領域について継続的に観察することが可能になり、疾患種別や病期や病態にかかわらず被検眼の局所的な微少変化を捉えることが可能となる。
【0396】
スリットランプ顕微鏡システム1の画像解析部は、例えば、特定部87(第1特定部)と、解析部88(第1解析部)とを含んでいる。特定部87(第1特定部)は、関心位置情報取得部86により取得された関心位置情報に基づいて、画像取得部により取得された画像の部分領域を特定するように構成されていてよい。解析部88(第1解析部)は、特定部87により特定された部分領域を解析して部分解析データを生成するように構成されていてよい。
【0397】
関心位置情報は、例えば、過去に取得された被検眼の前眼部の基準画像中の領域の位置を示す第1位置情報を含んでいてよい。この場合、特定部87(第1特定部)は、画像取得部により取得された画像と基準画像との間の偏位を算出する偏位算出部871を含んでいてよい。更に、特定部87(第1特定部)は、第1位置情報と、偏位算出部871により算出された偏位とに基づいて、部分領域の特定を行うように構成されていてよい。このような構成によれば、基準画像を参照することで部分領域を精度良く特定することができ、当該患者の関心領域に対応する解析データの変化を精度良く捉えることが可能となる。
【0398】
関心位置情報は、例えば、前眼部の所定部位の位置を示す第2位置情報を含んでいてよい。この場合、特定部87(第1特定部)は、画像取得部により取得された画像において第2位置情報が示す位置に対応する領域を、上記の部分領域として特定するように構成されていてよい。このような構成によれば、関心領域が基準画像に対して設定されていない場合においても、部分領域を精度良く特定することができ、当該患者の関心領域に対応する解析データの変化を精度良く捉えることが可能となる。
【0399】
特定部87(第1特定部)は、画像取得部により取得された画像において当該患者の関心領域に対応する領域を含むように、上記の部分領域を特定するように構成されていてよい。更に、特定部87(第1特定部)は、画像取得部により取得された画像において当該患者の関心領域に対応する領域より広い領域を、上記の部分領域として特定するように構成されていてよい。このような構成によれば、当該患者の関心領域全体の解析結果を提供することが可能になる。
【0400】
スリットランプ顕微鏡システム1は、更新部89(第1更新部)を含んでいる。更新部89(第1更新部)は、特定部87(第1特定部)により新たな部分領域の特定が行われたときに動作する。更新部89(第1更新部)は、当該患者の患者識別情報に関連付けられた関心位置情報を、この新たな部分領域に基づいて更新するように構成されている。これにより、部分領域の位置や大きさが変化した場合でもフォローアップが容易になり、局所的な微少な変化を捉えることが可能となる。
【0401】
スリットランプ顕微鏡システム1の画像解析部は、例えば、解析部88(第2解析部)と、特定部87(第2特定部)とを含んでいる。解析部88(第2解析部)は、画像取得部により取得された画像を解析して解析データを生成するように構成されていてよい。特定部87(第2特定部)は、関心位置情報取得部86により取得された関心位置情報に基づいて、解析部88(第2解析部)により生成された解析データから部分解析データを特定するように構成されていてよい。
【0402】
関心位置情報は、例えば、過去に取得された被検眼の前眼部の基準画像中の領域の位置を示す第1位置情報を含んでいてよい。この場合、特定部87(第2特定部)は、画像取得部により取得された画像と基準画像との間の偏位を算出する偏位算出部871を含んでいてよい。更に、特定部87(第2特定部)は、第1位置情報と、偏位算出部871により算出された偏位とに基づいて、解析部88(第2解析部)により生成された解析データから部分解析データを特定するように構成されていてよい。このような構成によれば、基準画像を参照することで部分解析データを精度良く特定することができ、当該患者の関心領域に対応する解析データの変化を精度良く捉えることが可能となる。
【0403】
関心位置情報は、例えば、前眼部の所定部位の位置を示す第2位置情報を含んでいてよい。この場合、特定部87(第2特定部)は、第2位置情報が示す位置に対応する解析データの領域を、上記の部分解析データとして特定するように構成されていてよい。このような構成によれば、関心領域が基準画像に対して設定されていない場合においても、部分解析データを精度良く特定することができ、当該患者の関心領域に対応する解析データの変化を精度良く捉えることが可能となる。
【0404】
特定部87(第2特定部)は、解析部88(第2解析部)により生成された解析データにおいて当該患者の関心領域に対応するデータ領域を含むように、上記の部分解析データを特定するように構成されていてよい。更に、特定部87(第2特定部)は、解析部88(第2解析部)により生成された解析データにおいて当該患者の関心領域に対応するデータ領域より広いデータ領域を、上記の部分解析データとして特定するように構成されていてよい。このような構成によれば、当該患者の関心領域全体の解析結果を提供することが可能になる。
【0405】
スリットランプ顕微鏡システム1は、更新部89(第2更新部)を含んでいる。更新部89(第2更新部)は、特定部87(第2特定部)により新たな範囲の部分解析データが特定されたときに動作する。更新部89(第2更新部)は、当該患者の前記患者識別情報に関連付けられた関心位置情報を、この新たな範囲に基づいて更新するように構成されている。これにより、部分解析データが表す位置や大きさが変化した場合でもフォローアップが容易になり、局所的な微少な変化を捉えることが可能となる。
【0406】
スリットランプ顕微鏡システム200によれば、スリットランプ顕微鏡システム1と同様に、疾患種別や病期や病態にかかわらず眼の局所的な微少変化を捉えることが可能である。また、スリットランプ顕微鏡システム200によれば、スリットランプ210と情報処理装置220とを互いに遠隔配置することができるので、従来は困難であったスリットランプ顕微鏡を用いた遠隔医療を実用化することが可能になる。
【0407】
本開示は、いずれかの態様に係る装置又はシステムを制御する方法を提供するものである。また、本開示は、この制御方法をコンピュータに実行させるプログラムや、このプログラムを記録したコンピュータ可読な非一時的記録媒体を提供するものである。この非一時的記録媒体は任意の形態であってよく、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。
【0408】
本開示は、いずれかの態様に係る方法(撮影方法、データ処理方法、データ通信方法など)を提供するものである。また、本開示は、この方法をコンピュータに実行させるプログラムや、このプログラムを記録したコンピュータ可読な非一時的記録媒体を提供するものである。
【0409】
以上に説明した幾つかの態様は例示的な実施形態であり、本発明の限定を意図したものえはなく、本発明の要旨の範囲内における任意の変形(省略、置換、付加等)を上記の態様に対して適宜に施すことが可能である。
【符号の説明】
【0410】
1 スリットランプ顕微鏡
2 照明系
3 撮影系
4 光学系
5 撮像素子
6 移動機構
7 制御部
8 データ処理部
80 画像群処理部
81 画像群評価部
82 画像セット作成部
83 画像セット評価部
85 加工画像構築部
86 関心位置情報取得部
87 特定部
88 解析部
89 更新部
9 通信部
10 記憶部
11 受付部
100 関連情報
200 スリットランプ顕微鏡システム
210 スリットランプ顕微鏡
220 情報処理装置