(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-06
(45)【発行日】2023-07-14
(54)【発明の名称】再構成されたスペクトルを用いた2次元多層厚測定
(51)【国際特許分類】
A61B 3/117 20060101AFI20230707BHJP
【FI】
A61B3/117 ZDM
(21)【出願番号】P 2021095794
(22)【出願日】2021-06-08
(62)【分割の表示】P 2020077005の分割
【原出願日】2020-04-24
【審査請求日】2021-06-11
(32)【優先日】2019-04-24
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-04-22
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(74)【代理人】
【識別番号】100124626
【氏名又は名称】榎並 智和
(72)【発明者】
【氏名】マオ・ザイシン
(72)【発明者】
【氏名】ワング・ゼングォ
(72)【発明者】
【氏名】カオ・ビン
(72)【発明者】
【氏名】チャン・キンプイ
【審査官】増渕 俊仁
(56)【参考文献】
【文献】特表2007-534945(JP,A)
【文献】国際公開第2017/210455(WO,A1)
【文献】特開2017-198491(JP,A)
【文献】特開2017-026638(JP,A)
【文献】特開2019-148584(JP,A)
【文献】国際公開第2015/132788(WO,A2)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
G01B 11/00-11/30
G01N 21/00-21/01
G01N 21/17-21/61
(57)【特許請求の範囲】
【請求項1】
人眼の涙液層における油層及びムチン-水層のそれぞれの層厚を測定する方法であって、
前記
涙液層のマルチスペクトル干渉パターンを取得し、
前記マルチスペクトル干渉パターンに対してハイパースペクトル再構成を実行することにより、再構成フルスペクトル干渉パターン又は再構成ハイパースペクトル干渉パターンを生成し、
前記再構成フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンに基づいて前記層厚を推定し、
更に、前記ハイパースペクトル再構成よりも前に、前記取得されたマルチスペクトル干渉パターンのフォーカス調整を実行する、
方法。
【請求項2】
更に、前記ハイパースペクトル再構成よりも前に、前記取得されたマルチスペクトル干渉パターンの非合焦の度合を特定し、前記取得されたマルチスペクトル干渉パターンのフォーカス調整を実行する、
請求項1の方法。
【請求項3】
非合焦のマルチスペクトル干渉パターンの入力に基づいて合焦したマルチスペクトル干渉パターンを出力するように訓練された機械学習システムによって、前記フォーカス調整を実行する、
請求項1の方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
この出願は、2019年4月24日に出願された「2D MULTI-LAYER THICKNESS MEASUREMENT WITH RECONSTRUCTED SPECTRUM(再構成されたスペクトルを用いた2次元多層厚測定)」と題する米国仮特許出願第62/837,785号に基づく優先権を主張するものであり、その全体を参照により本明細書に援用する。
【背景技術】
【0002】
ドライアイは、眼科医の診察における最も一般的な原因の1つになっている。ドライアイは、涙液層に関連する眼表面の多因子性疾患である。ドライアイ診断の1つの方法は、涙液層の厚さを測定することによって涙液量を評価することである。
図1に示すように、涙液層100は、厚さが約50ナノメートルの油層102を含む眼の外層と、合わせた厚さが約1.5マイクロメートルのムチン-水層(液層)104とを有する(ムチン-水層104は、ムチン及び/又は水層とも呼ばれる)。眼は、ムチン-水層に隣接して、厚さが約0.5ミリメートルの角膜106を更に含む。現状、例えばドライアイ診断を客観的に支援するために、涙液層100における層を正確且つ効率的に画像化及び解析する技術(例えば、層厚を求める技術)はほとんど無い。
【0003】
現在利用可能な非侵襲測定として干渉計測法がある。これらのうちの1つのアプローチは、量的又は質的にも、画像の色と油層厚との間の相互関係に依拠している。理論的には、2次元(2D)画像に基づいて解析が行われるが、通常は、かなり広い範囲における平均厚を提供するに過ぎない。しかしながら、このアプローチは、油層厚の相対的評価に限定されるのが通常であり、絶対的な厚さ測定を行う場合には、位相の曖昧性(ambiguity)及び不確定性(uncertainty)の影響を受けやすいことがある。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示の第1の例によれば、構造(構造体、組織)の層厚を測定する方法は以下を含む:前記構造のマルチスペクトル干渉パターンを取得する;前記マルチスペクトル干渉パターンに対してハイパースペクトル再構成を実行することにより、再構成フルスペクトル干渉パターン又は再構成ハイパースペクトル干渉パターンを生成する;前記再構成フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンに基づいて前記層厚を推定する。
【0005】
本開示の他の例によれば、構造(構造体、組織)の層厚を測定する方法は以下を含む:ハイパースペクトルカメラを用いて前記構造のフルスペクトル干渉パターン又はハイパースペクトル干渉パターンを取得する;前記ハイパースペクトル干渉パターンに基づいて前記層厚を推定する。
【0006】
上記の例の様々な実施形態は以下のいずれかを含む:前記構造は、眼の涙液層である;RGBカメラを用いて前記構造からの反射光を取り込むことによって前記マルチスペクトル干渉パターンを取得する;デュアルカラーカメラを用いて前記構造からの反射光を取り込むことによって前記マルチスペクトル干渉パターンを取得する;狭帯域マルチスペクトルカメラを用いて前記構造からの反射光を取り込むことによって前記マルチスペクトル干渉パターンを取得する;マルチスペクトル干渉パターンの入力に基づいて前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンを出力するように訓練された機械学習システムによって、前記マルチスペクトル干渉パターンに対する前記ハイパースペクトル再構成を実行する;前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンをルックアップテーブルと比較することによって、前記層厚を推定する;前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンに対してカーブフィッティングを実行することによって、前記層厚を推定する;前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンの入力に基づいて層厚を出力するように訓練された機械学習システムに、前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンを供給することによって、前記層厚を推定する;前記方法は、更に、前記推定された層厚を表示する;前記取得されたマルチスペクトル干渉パターンは非合焦であり、前記方法は、更に、前記ハイパースペクトル再構成よりも前に、前記非合焦のマルチスペクトル干渉パターンのフォーカス調整を実行する;非合焦のマルチスペクトル干渉パターンの入力に基づいて合焦したマルチスペクトル干渉パターンを出力するように訓練された機械学習システムによって、前記フォーカス調整を実行する。
【図面の簡単な説明】
【0007】
【0008】
【
図2】
図2は、マルチスペクトル帯域画像(マルチバンド画像)のハイパースペクトル再構成を用いる本開示の層厚推定法の例を表す。
【0009】
【0010】
【
図4】
図4は、マルチスペクトル干渉パターンを再び合焦するための前処理を表す。
【0011】
【
図5】
図5は、本開示の方法を実行するためのシステムの例を表す。
【発明を実施するための形態】
【0012】
本明細書に提示するように、マルチスペクトル帯域を利用して対象を撮影することによってこの対象の層厚を測定する方法に干渉計測法を用いることができる。例えば、幾つかの実施形態において、2D層厚測定に十分な強さの信号を提供するために複数のスペクトル帯域(特に、従来のRGBイメージングよりも狭いスペクトル帯域を有する「狭帯域」)を用いることができる。更に、とりわけムチン-水層厚測定において、イメージングのコントラスト向上を促進するために狭いスペクトル帯域幅を用いることができる。幾つかの実施形態において、これらのマルチスペクトル帯域は、RGBカメラで得られたオーバーラップの無い(非重複の)複数の帯域又はオーバーラップの有る(重複した)複数の帯域であってよい。その場合、画像化されたスペクトルパターンから再構成されたフルスペクトル干渉パターン又はハイパースペクトル干渉パターンに基づき、ルックアップテーブル、カーブフィッティング、又は機械学習を用いて、画像化された各位置における涙液層厚を推定することができる。
【0013】
スペクトル帯域の個数が、そのようなイメージングの正確性や応用に影響を与えることがある。比較的多数のスペクトル帯域を用いることによって正確性を向上させることができるが、時間が掛かるため、涙液層のような動的な対象の測定能力が制限される可能性がある。逆に、比較的少数のスペクトル帯域を用いる場合には、即時的な測定(live-speed measurement)が可能である一方で、カーブフィッティングを正確に行うために十分な情報を提供できない可能性がある。複数のスペクトル帯域のハイパースペクトル再構成によれば、制限されたスペクトル帯域測定からフルスペクトル干渉パターン反応又はハイパースペクトル干渉パターン反応を再構成することによって、少ない数のスペクトル帯域で正確性を向上させることができる。換言すると、ハイパースペクトル再構成は、マルチスペクトルイメージングの効果を維持しつつ、フルスペクトルカメラで取得されたものと同等の干渉パターン(よって、厚さ推定の正確性を向上させる付加的なデータ点の付属的効果を有する)を生成するものである。
【0014】
本明細書で使用されるように、用語「フルスペクトル(full Spectrum)」は連続スペクトル分布を示し、「ハイパースペクトル(hyper-spectral)」は典型的には少なくとも100個の離散的スペクトル帯域を示し、「マルチスペクトル(multi-spectral)」は典型的には約20個の離散的スペクトル帯域を示すものとして認識されるべきである。多くの例において、接頭辞「フル(full)」及び「ハイパー(hyper)」は、多くの周波数及び多くのバンド幅にわたるスペクトル再構成を一般的に示すためにほぼ同じ意味で使用される。なお、ハイパースペクトル信号がマルチスペクトル信号よりも多数の離散的スペクトル帯域を有する限りにおいて、マルチスペクトル信号は20よりも多い又は少ない離散的スペクトル帯域を有していてもよく、また、ハイパースペクトル信号は100よりも多い又は少ない離散的スペクトル帯域を有していてもよい。
【0015】
機械学習を利用したハイパースペクトル再構成が幾つか試みられてはきたが、これらの試みは、(例えば、家庭用品の)反射率を求めるものであり、(例えば、涙液のような)多層構造(多層構造体、多層組織)の干渉パターンに関するものではない。更に、ほとんどの試みは、一連の狭帯域スペクトル帯域を取得するカメラではなく、RGBカメラからの画像の再構成に焦点を当てたものである。
【0016】
図2は、前述したマルチスペクトル帯域イメージングのハイパースペクトル再構成に関する、本明細書にて説明される方法の概要を表す。同図から分かるように、まず、(例えば画像を形成するために使用可能な)マルチスペクトル帯域干渉パターンが、層厚測定の対象となる構造(構造体、組織)(例えば、眼の涙液層)の関心領域内の各位置について取得される(200)。この干渉パターンの取得は、引き続き実行される層厚測定処理の直前に近くの場所で行われてもよいし、或いは、より早い時点において遠隔地で行われてもよい。事前に取得する場合、干渉パターンは保存され、後段の処理のために記憶装置から取得される。イメージングに利用されるスペクトル帯域は、2色スペクトル(dual color spectrum)、RGBスペクトル、複数の狭いスペクトル帯域、又はユーザが選択した複数のスペクトル帯域であってよい。取得される特定の帯域を決定するために、望ましい画像化対象又は結果に応じた最適なスペクトル帯域を決定するように訓練された機械学習システムを用いてもよい。
【0017】
次に、取得されたマルチスペクトル干渉パターンのハイパースペクトル再構成202が、再構成されたフルスペクトル干渉パターン又は再構成されたハイパースペクトル干渉パターン208を生成するために実行される。ハイパースペクトル再構成202は、圧縮センシングなどの手法によって実行可能である。圧縮センシングを用いる場合、下記の条件の下、一連の最適化を通じて信号を再構成することが可能である:1)或る空間において信号がスパース(疎)に分布している;2)無作為抽出(ランダムサンプリング)する。以下の理由により本開示はこれらの条件をそれぞれ満たしている:1)未知の厚さは2つだけである;2)マルチスペクトル帯域はランダムに選択可能であり、一様に分布していない。
【0018】
ハイパースペクトル再構成202についても、機械学習システムによって実行可能である。そのような実施形態において、ハイパースペクトル再構成機械学習システムは、同じ対象のマルチスペクトル画像及びハイパースペクトル画像のペアを用いた教師あり学習であってよい。訓練において、機械学習システム内のパラメータを調整することによって、機械学習システムからの再構成ハイパースペクトル画像とハイパースペクトル画像との間の差分が低減される。それにより、機械学習システムは、与えられたマルチスペクトルの入力からハイパースペクトル画像208を適切に構築するパラメータを学習する。
【0019】
学習プロセスの一部としての、マルチスペクトル帯域の最適なセットを特定するために参照可能なフィードバックループ204によって、ハイパースペクトル再構成202を補助してもよい。例えば、ハイパースペクトル再構成202の品質をフィードバックすることによって、取得されたマルチスペクトル干渉パターンのうちのどのスペクトル帯域が、涙液層厚干渉パターン再構成202の正確性を最大化するかを特定することができる。望ましい再構成法の開発(発展)の間に、従来のハイパースペクトル再構成法又は機械学習ベースのハイパースペクトル再構成法のいずれかをフィードバック204に適用することができる。
【0020】
更に他の実施形態において、前述したようなマルチスペクトル干渉パターンからの再構成を要することなくフルスペクトル干渉パターン又はハイパースペクトル干渉パターン208を直接に取得する(206)ために、ハイパースペクトルカメラを使用してよい。
【0021】
次に、フルスペクトル干渉パターン又はハイパースペクトル干渉パターン(いずれも再構成されたもの又は直接に取得されたもの)208に対して厚さ推定法210が実行される。この厚さ推定法は、多層の対象のうちのいずれかの層又は全ての層についてのものであってよく、及び/又は、対象の総厚についてのものであってもよい。前述したように、この厚さ推定は、次のいずれかを用いて実行されてよい:ルックアップテーブル(例えば、特定のスペクトル帯域波長における検出信号強度を、既知の対応する厚さと比較する);カーブフィッティング技術;機械学習技術;フーリエ変換技術;これらに類する技術。このフーリエ変換技術を用いる方法は、2020年3月25日に出願された「METHOD AND APPARATUS FOR MEASURING TEAR FILM THICKNESS USING OPTICAL INTERFERENCE(光干渉を用いて涙液層厚を測定する方法及び装置)」と題する米国特許出願第16/829,673号(その全体を参照により本明細書に援用する)に記載されたものであってよい。また、「2D MULTI-LAYER THICKNESS MEASUREMENT(2次元多層厚測定)」と題する、2019年1月21日に出願された米国特許出願第16/252,818号及び2019年8月1日に公開された米国特許出願公開第2019/0231187号(その全体を参照により本明細書に援用する)に記載された手法など、他の手法でもよい。
【0022】
例えば、干渉パターンが既知の値{x}を有し、且つ、目標となる未知の層厚をyとした場合、厚さ推定法は、値{x}と層厚yとを関連付けることができる。ルックアップテーブルを用いる場合、異なる厚さの組み合わせのスペクトル干渉パターンについてシミュレーションが行われ(例えば、涙液層の物理モデルを用いる)、テーブルに保存される。厚さ推定では、最も適合する干渉パターンをテーブル内から特定するためにテーブルを探索するためのキーとして、干渉パターンの値{x}を用いることができる。テーブル内においてこれに対応する厚さが、測定された干渉パターンについての涙液層の目的の厚さとみなされる。
【0023】
カーブフィッティング技術を利用する場合、干渉パターンの値{x}が、(未知の層厚に対応する)2つの未知の値を有する涙液層の物理モデル(又は、類似のモデル)のフィッティングに直接に使用される。モデルに最もよく適合する干渉パターンの値{x}について変数の値を決定することによって、フィッティングされたモデルは涙液層の層厚をもたらす。
【0024】
機械学習を利用する場合、干渉パターンの値{x}の入力から厚さを推定するために、訓練前の機械学習システムが使用される。教師あり学習においては、干渉パターンとそれに対応する涙液層の層厚とのペアがシステムに提供される。この訓練データは、シミュレーション(例えば、涙液層の物理モデル)で生成されてもよいし、実際に取得されたサンプルから生成されてもよい。訓練を実行しつつ、機械学習システムは、入力された干渉パターンに基づき涙液層厚を正しく推測するための学習を行う。
【0025】
最後に、求められた層厚を、後の解析のために保存してもよいし、又は、そのまま若しくは厚さマップとして表示してもよい(212)。この厚さマップは、画像化された対象の2次元画像であってよく、その各ピクセルは、画像化された位置に対応しており、その位置について得られた厚さに対応する強度、色、又は明るさなどを有する。他の実施形態において、厚さマップは、各2次元位置における厚さを第3の次元を用いて表現した3次元マップであってよい。
【0026】
図3は、
図2の方法を図解的に表している。同図から分かるように、干渉データのマルチスペクトル帯域を取得することによって、ハイパースペクトル干渉パターン306が形成される。1つの例300において、複数のスペクトルは、それぞれ約40ナノメートルの幅を有し、400、500、600、700及び800ナノメートルの波長を中心とする5つの狭いスペクトル帯域を含んでいてよい。他の例において、複数の帯域は、例えば次の範囲に含まれていてよい:425~475ナノメートル、500~550ナノメートル、650~700ナノメートル、750~800ナノメートル、及び、950~1000ナノメートル。更に他の例302では、複数のスペクトル帯域は、RGBカメラ又はデュアルカラーカメラの赤帯域、緑帯域、及び青帯域に対応してもよい。しかしながら、前述したように、異なる帯域幅の任意個数の帯域を用いてもよいし、任意個数の手法でそれらの帯域を選択してもよい。例えば、前述したように、ハイパースペクトル再構成の訓練(フィードバック204を用いる)の間に又は機械学習によって、好適な帯域を特定してもよい。
【0027】
フルスペクトル又はハイパースペクトルの再構成を機械学習システム304を用いて行う場合、マルチスペクトル干渉パターン300、302の入力に基づき再構成フルスペクトル又は再構成ハイパースペクトル306を出力するように訓練された機械学習システムに、取得されたマルチスペクトル干渉パターン300、302が入力される。前述したおうに、この再構成は、他の手法で実行されてもよく、
図3の例に示す機械学習に限定されない。フルスペクトル又はハイパースペクトルを再構成することにより、多数の周波数サンプリング点を後段の涙液層厚推定に利用することが可能になる。
【0028】
次に、再構成されたスペクトル306を層厚推定技術308を用いて解析することにより、フルスペクトル又はハイパースペクトル306に対応する位置における涙液層厚310を求める。この解析は、スペクトルを厚さに対応付けたルックアップテーブルとスペクトルとを比較する手法、カーブフィッティング、スペクトルの入力に基づき厚さを出力するように訓練された機械学習システムに再構成スペクトルを入力する手法、又は、フーリエ変換の手法によって、実行されてよい。
【0029】
以上に加え、フルスペクトル再構成又はハイパースペクトル再構成をマルチスペクトル干渉パターンに適用するよりも前に、マルチスペクトル干渉パターンに前処理を施してもよい。この前処理としては、例えば、ノイズ除去、パターンの再フォーカス調整などがある。このような前処理は、再構成から独立していてよい。
図4は、フォーカス(ピント)が合った(合焦した)マルチスペクトル干渉パターン404を再構成するためにフォーカス修復の手法402に入力される、フォーカスの合っていない(非合焦の)マルチスペクトル干渉パターン400の例を示す。フォーカス修復の手法402は、非合焦のパターンと適切に合焦したパターンとを関連付けるように訓練された機械学習システムであってよい。このようなシステム402は、機械学習システム402に入力された非合焦のパターンから、合焦したパターンを出力することが可能である。機械学習システム402は、異なるイメージングモダリティ(例えば、RGBカメラ、又は、タイムオブフライトシステム(time-of-flight system))から取得されたフォーカス関連情報を生成し、カメラと角膜との間の距離を測定することも可能である。この情報によれば、更に、機械学習システムによる非合焦の度合の特定及び非合焦の干渉パターン
400の調整を促進し、合焦したパターン404を生成することが可能である。
【0030】
以上に説明した方法を実行するためのシステムも本開示の範囲内にあることを意図しており、それを
図5に示す。そのようなシステム500は、コンピュータを含んでいてよく、このコンピュータは、本方法を実行するための1つ以上のプロセッサ(例えば、集積回路、ディスクリート回路などの形式のプロセッサ)504、記憶装置506(例えば、ハードディスク、メモリ、RAMなど)、及び、入出力インターフェイス(例えば、ディスプレイ、キーボード、マウスなど)508を有していてよい。前述した方法は、プロセッサ504により実行されるソフトウェアを用いて、又は、ハードウェア(例えば、回路構成、光学フィルタなど)を用いて実装されてよい。記憶装置506は、コンピュータの近くに配置されてもよいし(506a)、又は、例えば集中化されたデータベースとして遠隔的に配置されてもよい(506b)。様々な上記の機械学習システムは、コンピュータ502内に(1つ以上のプロセッサ504上に)まとめて実装されてもよいし、独立のシステムとして別々に実装されてもよい。
【0031】
システム500は、対象から干渉パターンを取得するために使用されるイメージングシステムハードウェア510と一体化されていてもよいし、イメージングシステムハードウェア510から分離されていてもよい。例えば、コンピュータ502は、光コヒーレンストモグラフィシステムを制御するために使用されるコンピュータと同一であってよい。一体化されている場合、システム500は、前述したスペクトル干渉パターンを取得するためのイメージングシステムハードウェア510を含んでいてもよい。このようなハードウェア510は、例えば、以下の要素を含む:厚さ測定の対象に向けて光を発するように構成された光源512;例えば、RGBカメラ、デュアルカラーカメラ、マルチスペクトル光検出器/カメラ(その狭帯域版を含む)、フルスペクトル光検出器/カメラ(その狭帯域版を含む)、ハイパースペクトル光検出器/カメラ(その狭帯域版を含む)のような、対象により反射された光源512からの光を検出するカメラ/検出器;光源からの光を対象に提供し、且つ、対象からの反射光をカメラ及び/又は光検出器514に提供するように構成された光学要素(例えば、レンズ、フィルタなど)。
【0032】
様々な特徴を以上に提示したが、これらの特徴は単独で(別々に)又は組み合わせて使用してよいと理解されるべきである。更に、特許請求の範囲に記載された例に関する分野の当業者にとって、変化、変更、変形を行ってもよいと理解されるべきである。同様に、以上の開示は、主に眼の涙液層のイメージングに関するものであるが、他の任意の多層構造(多層構造体、多層組織)のイメージング及び層厚決定に対してこの開示を適用してもよい。