IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ カール・ツアイス・メディテック・アーゲーの特許一覧

特表2023-512978視力矯正手段のための屈折力の、OCT画像からの機械学習ベースの特定
<>
  • 特表-視力矯正手段のための屈折力の、OCT画像からの機械学習ベースの特定 図1
  • 特表-視力矯正手段のための屈折力の、OCT画像からの機械学習ベースの特定 図2
  • 特表-視力矯正手段のための屈折力の、OCT画像からの機械学習ベースの特定 図3
  • 特表-視力矯正手段のための屈折力の、OCT画像からの機械学習ベースの特定 図4
  • 特表-視力矯正手段のための屈折力の、OCT画像からの機械学習ベースの特定 図5
  • 特表-視力矯正手段のための屈折力の、OCT画像からの機械学習ベースの特定 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-03-30
(54)【発明の名称】視力矯正手段のための屈折力の、OCT画像からの機械学習ベースの特定
(51)【国際特許分類】
   G06N 3/045 20230101AFI20230323BHJP
   G06N 20/20 20190101ALI20230323BHJP
   A61B 3/103 20060101ALI20230323BHJP
   A61B 3/10 20060101ALI20230323BHJP
【FI】
G06N3/04 154
G06N20/20
A61B3/103
A61B3/10 100
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022544741
(86)(22)【出願日】2021-01-21
(85)【翻訳文提出日】2022-07-28
(86)【国際出願番号】 EP2021051301
(87)【国際公開番号】W WO2021148519
(87)【国際公開日】2021-07-29
(31)【優先権主張番号】102020101764.2
(32)【優先日】2020-01-24
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVA
(71)【出願人】
【識別番号】506085066
【氏名又は名称】カール・ツアイス・メディテック・アーゲー
(74)【代理人】
【識別番号】100098394
【弁理士】
【氏名又は名称】山川 茂樹
(72)【発明者】
【氏名】ブルヴィンケル,ヘンドリック
(72)【発明者】
【氏名】マッツ,ホルガー
(72)【発明者】
【氏名】ザウアー,シュテファン
(72)【発明者】
【氏名】ハウガー,クリストフ
【テーマコード(参考)】
4C316
【Fターム(参考)】
4C316AA13
4C316AA15
4C316AA24
4C316AA25
4C316AB02
4C316AB11
4C316AB14
4C316FB21
4C316FB22
4C316FC21
(57)【要約】
本発明は、患者の視力矯正手段のための屈折力を機械学習を援用して特定するコンピュータ実装方法及び対応するシステムに関する。本方法は、目の走査結果を提供するステップを含み、走査結果は目の解剖学的構造の画像を表す。本方法はまた、走査結果を重畳型ニューラルネットワークの形態の第一の機械学習システムに入力データとして供給するステップと、第一の機械学習システムの出力値を、多層パーセプトロンの形態の第二の機械学習システムのための入力データとして使用するステップを含み、第二の機械学習システムのための標的屈折値は、第二の機械学習システムのための追加の入力値として使用される。最後に本方法は、患者の視力矯正手段のためのパラメータを、第一の機械学習システムと第二の機械学習システムの即時且つ直接的協働を通じて特定するステップを含む。
【特許請求の範囲】
【請求項1】
患者の視力矯正手段のための屈折力を機械学習を援用して特定するコンピュータ実装方法(100)であって、
-目(300)の走査結果(404)を提供するステップ(102)であって、前記走査結果(404)は前記目(300)の解剖学的構造の画像を表すステップ(102)と、
-前記走査結果(404)を重畳型ニューラルネットワークの形態の第一の機械学習システム(406)への入力データとして供給するステップ(104)と、
-前記第一の機械学習システムの出力値を多層パーセプトロンの形態の第二の機械学習システム(410)のための入力データとして使用するステップ(106)であって、前記第二の機械学習システムのための追加の入力値として、標的屈折値(412)が前記第二の機械学習システム(410)のための入力情報として使用されるステップ(106)と、
-前記患者の前記視力矯正手段のためのパラメータを、前記第一の機械学習システム(406)と前記第二の機械学習システム(410)の即時且つ直接的な相互作用によって特定するステップ(108)と、
を含む方法。
【請求項2】
提供された前記走査結果(404)のタイプは、A走査、B走査、体積データ、en-face走査データ、及び目のダイナミックデータからなる群から選択される、請求項1に記載の方法(100)。
【請求項3】
前記走査結果(404)は前記目(300)の解剖学的構造の複数の画像の時間シーケンスを表し、再帰型ニューラルネットワーク(408)は、前記目(300)の遠近調節力を前記画像の前記画像シーケンスから導出するように構成され、前記再帰型ニューラルネットワーク(408)は前記第一の機械学習システム(406)と前記第二の機械学習システム(410)との間に配置される、請求項1又は2に記載の方法(100)。
【請求項4】
前記第一の機械学習システム(406)はグラフを使用し、前記走査結果(404)は、最近傍の原理に従ってグラフ構造に分類される、請求項1~3の何れか1項に記載の方法(100)。
【請求項5】
追加の入力データは訓練中に前記第二の機械学習システム(410)のために使用される、請求項1~4の何れか1項に記載の方法(100)。
【請求項6】
前記第一の機械学習システム(406)の出力層と前記第二の機械学習システム(410)の入力層は完全に接続される、請求項1~5の何れか1項に記載の方法(100)。
【請求項7】
前記走査結果(404)は、前記第一の機械学習システム(406)によって処理される前に歪み補正される、請求項1~6の何れか1項に記載の方法(100)。
【請求項8】
逆行性伝播の信号が前記第二の機械学習システム(410)の前記出力から前記機械学習システムの両方(406、410)、即ち前記第一及び前記第二の機械学習システムにフィードバックされる、請求項1~7の何れか1項に記載の方法(100)。
【請求項9】
患者の視力矯正手段のための屈折力を機械学習を援用して特定するシステム(500)であって、
-目(300)の走査結果(404)を提供する受信モジュール(502)であって、前記走査結果(404)は前記目(300)の解剖学的構造の画像を表す受信モジュール(502)と、
-前記走査結果(404)を入力データとして受信する、重畳型ニューラルネットワークの形態の第一の機械学習システム(406、504)と、
-前記第一の機械学習システム(406、504)の出力値を入力データとして受信する、多層パーセプトロンの形態の第二の機械学習システム(410、506)であって、標的屈折値(412)が前記第二の機械学習システム(410、506)によって追加の入力値として受信可能である第二の機械学習システム(410、506)と、
-患者の前記視力矯正手段のためのパラメータを、前記第一の機械学習システム(406、504)と前記第二の機械学習システム(410、506)の即時且つ直接的相互作用によって特定するように構成された特定モジュール(508)と、
を含む屈折力特定システム(500)。
【請求項10】
患者の視力矯正手段のための屈折力を機械学習を援用して特定するコンピュータプログラム製品であって、その上に記憶されたプログラム命令を有し、前記プログラム命令は、1つ又は複数のコンピュータ(600)又は制御ユニットによって実行可能であり、前記1つ又は複数のコンピュータ(600)又は制御ユニットに請求項1~8の何れか1項による前記方法を実行させるコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、眼内レンズの屈折力特定に関し、具体的には患者の視力矯正手段のための屈折力の機械学習を援用して特定するコンピュータ実装方法、対応するシステム、及びその方法を実行するための対応するコンピュータプログラム製品に関する。
【背景技術】
【0002】
近年、例えば(加齢に伴う)屈折異常の場合又は白内障の場合に目の生物学的レンズを人工眼内レンズ(IOL)で置換することが眼科学の分野で一層普及している。このプロセスにおいて、生物学的レンズが低侵襲治療によって水晶体嚢から分離され、除去される。次いで、白内障の場合は不透明になっているレンズが人工レンズインプラントによって置換される。このプロセスにおいて、空いている水晶体嚢の中にこの人工レンズインプラント、又は眼内レンズ、が挿入される。眼内レンズの正しい位置の知識及び所要の屈折力は互いに依存する。
【0003】
現在利用されているIOL計算式には幾つかの問題点がある。現在使用されている人間の目の屈折パラメータを特定するための計算式はほとんど常に、患者の目のOCT画像の、事前に抽出された生体測定変数に基づいている。この事例では、OCT画像から抽出される情報は、抽出可能な、事前に規定されたわずかな幾何学的変数に限定される。その結果、OCT画像の中にそのほかにも存在しているかもしれない、重要である可能性のある情報の大部分が計算に含められないことになる。更に、これまで従来の方式では画像の明確な前処理と幾何学的変数の抽出が必要であった。この点で媒体崩壊(media disruption)が生じ、それによって例えば白内障手術における、角膜手術における、及び眼鏡レンズ特定における屈折力の特定に時間がかかり、誤差要因を含む可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
挿入すべきIOLの正しい屈折力を近似的に特定するための既知の方法の欠点から考えて、本願で提示する概念の根底をなす目的は、媒体崩壊を生じさせずに済む、眼内レンズのための改善された統合型の迅速なIOL屈折力予測の方法及びシステムを明示することである。
【課題を解決するための手段】
【0005】
この目的は、独立請求項による、本明細書で提案する方法、対応するシステム、及び関連するコンピュータプログラム製品によって実現される。個々の従属請求項によって更なる実施形態を記載する。
【0006】
本発明のある態様によれば、患者の視力矯正手段のための屈折力を機械学習を援用して特定するコンピュータ実装方法が提示される。この事例では、本方法は目の走査結果を提供するステップを含み得て、走査結果は目の解剖学的構造の画像を表す。
【0007】
更に、本方法は走査結果を重畳型ニューラルネットワークの形態の第一の機械学習システムへの入力データとして供給するステップと、第一の機械学習システムの出力値を多層パーセプトロンの形態の第二の機械学習システムのための入力データとして使用するステップを含み得る。第二の機械学習システムのための追加の入力値として、プロセス中、標的屈折値は第二の機械学習システムのための入力情報として使用できる。
【0008】
最後に、本方法は、患者の視力矯正手段のためのパラメータを第一の機械学習システムと第二の機械学習システムの即時且つ直接的な相互作用によって特定するステップを含み得る。
【0009】
本発明の他の態様によれば、患者の視力矯正手段のための屈折力を機械学習を援用して特定する屈折力特定システムが提示される。本屈折力特定システムは、目の走査結果を提供する受信モジュールを含み得て、走査結果は目の解剖学的構造の画像を表す。追加的に、本屈折力特定システムは、重畳型ニューラルネットワークの形態の第一の機械学習システムを含み得て、これは走査結果を入力データとして受信する。
【0010】
更に、本屈折力特定システムは、多層パーセプトロンの形態の第二の機械学習システムを含み得て、これは第一の機械学習システムの出力値を入力データとして受信する。この事例では、標的屈折値は、第二の機械学習システムによって追加の入力値として認知され得る。特定モジュールは、患者の視力矯正手段のためのパラメータを、第一の機械学習システムと第二の機械学習システムの即時且つ直接的相互作用によって特定するように構成され得る。
【0011】
更に実施形態は、コンピュータ又は他の任意の命令実行システムによって使用するための又はそれらに関連するプログラムコードを含むコンピュータ使用可能媒体又はコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品に関係し得る。この説明の脈絡では、コンピュータ使用可能媒体又はコンピュータ可読媒体はプログラムコードを記憶し、伝達し、伝送し、又は搬送するのに適した任意の装置とすることができる。
【0012】
患者の視力矯正手段のための屈折力を機械学習を援用して特定するコンピュータ実装方法には複数の利点と技術的効果があり、これはしたがって関連するシステムにも当てはまり得る:特に白内障手術、角膜屈折手術、及び眼鏡レンズ特定の場合のための、挿入すべき眼内レンズの屈折力の特定は実質的により迅速に、したがってより効率的に実行され得、それは、人間の目の屈折パラメータを特定するための計算式の利用を完全に不要とすることができるからであり、計算式を使用した場合は患者の目のOCT画像から事前に抽出した生体測定変数によって計算式に影響を与えるパラメータを使用する必要がある。従来の方法によれば、この点で媒体崩壊が必ず発生し、それが遅れや計算のエラーにつながる。
【0013】
従来の方法とは異なり、本願で提案する方法は(及びしたがって関連するシステムも)、患者の目のデジタル記録(とりわけ何れかのタイプのOCT走査)のみで実行され、これらを挿入すべき眼内レンズの所望の屈折力の値で補うが、これは訓練された機械学習システムから標準として得られることになる屈折力とは異なり得る。訓練された機械学習システムはモデルを含み、それにしたがって挿入すべき眼内レンズの屈折力が過去のデータから導き出されることはよく知られている。しかしながら、本願のケースでは、異なる屈折力、例えばより高い、又はより低い屈折力が意図的に望まれる場合、これは本願の基本的概念の機械学習システム(又はその一部)への追加の入力パラメータとして供給でき、そのため、この所望の屈折力は屈折力特定の際に追加的制約として考慮される。
【0014】
したがって、これによりOCT画像データからの屈折力の直接の特定を容易にする閉鎖型システムが得られる。それゆえ、OCT画像データは本願で提案されるシステムに(又は方法に)直接供給でき、それによって画像データの記録の直後に屈折力を表示することが可能である。それゆえ、既知の方法と異なり、OCT記録の全ての情報が画像情報として使用され、その結果、情報の損失は一切なくなる。これまでは、抽出されたわずかなパラメータしか使用されないのが常であった。
【0015】
追加的に、それに続いて、挿入すべき眼内レンズが記憶システム又は対応する注文プロセスから自動的に選択でき、それによって必要な時間が更に短縮される。
【0016】
方法及び対応するシステムの両方に関して有効性を有し得る更なる例示的実施形態を以下に示す。
【0017】
本方法の有利な例示的実施形態によれば、提供される走査結果はA走査、B走査、体積データ、en-face走査データ、及び/又は目のダイナミックデータとすることができる。それゆえ、臨床定常業務のスタッフにとって、挿入すべき眼内レンズの選択に利用できる出力データを生成するための選択肢が増える。クリニックの機器固有の装備に応じて、既存の機器を使用することも、又はデータ伝送のために本願で提案するシステムに電子的に連結することも可能である。
【0018】
本方法の別の例示的実施形態によれば、走査結果は目の解剖学的構造の複数の画像の時間シーケンスを表し得て、再帰型ニューラルネットワークは、画像の時間シーケンスから目の順応性を導出するように構成され(即ちとりわけ訓練されて適切な機械学習モデルも備え)、この再帰型ニューラルネットワークは第一の機械学習システムと第二の機械学習システムとの間に配置される。提案される方法におけるこの追加的な特徴の使用の前提条件は、解剖学的構造のデジタル記録が、例えば目の順応性の特徴である期間にわたり利用可能であることである。これを使用することによって、患者のための最終的な屈折力を特定するための更によりよい、より個人的な値が得られるであろう。
【0019】
本方法の有利な例示的実施形態によれば、第一の機械学習システムはグラフを使用でき、走査結果は最近傍の原理に従ってグラフ構造に分類される。このグラフはまた訓練データを組み込むこともでき、これは典型的に、例えば挿入される眼内レンズの最終的な術後位置に関する注釈を含む。追加的に、また別のメタデータが訓練データに付加されていてもよい。このようにして、第一の機械学習システムは、グラフ構造の中で、最短距離の原理を使って新たに記録された目のデジタル画像に匹敵する画像を特定し、それによって最終位置(即ち、数週間にも及び得る成熟(growing-in)プロセス後の)を特定することが可能となる。するとこの位置は、第一の機械学習システムから(直接又は間接に)本願で提案される概念による第二の機械学習システムへと直接即時に伝送されるデータの一部となり、それによって第二の機械学習システムは、必要な屈折力の直接的な特定を確実に行うことができる。
【0020】
本方法の発展した例示的実施形態によれば、訓練中に追加の入力データを第二の機械学習システムのために使用できる。これらは、また別の制約を表し、また、それによって訓練又はプロセスを加速させ、それをより正確にし、又は学習結果を安定化させるために、機械学習モデルを形成するための訓練中の別の境界条件として使用できる。これらの追加の入力データは、本方法又は本システムの演算動作中には提供されなくなるであろう。
【0021】
これらの追加の入力データの数値は以下に関し得る:IOL位置(とりわけ成熟プロセス後のIOLの予想最終位置)は、典型的な別のパラメータとして明示できる。更に、IOLシフトの値を使用することも可能であり、これは光軸に垂直なシフトを示す。それぞれの選択されたモデルのビーム経路は、このシフト値に応じて変化する。
【0022】
追加的に、又は補足的に、IOLの傾き値(即ち、光軸に関するIOLの傾き角度)を使用することも可能である。この場合も、ビーム経路はその変化量だけ調整されることになる。IOLの種類、とりわけ支持部、形状等も考えられる。これはレンズの位置を支持部/形状によって特定し、それゆえ手術の最終的な質(正しいIOLの挿入)に影響を与え得る。
【0023】
本方法の拡張された例示的実施形態によれば、第一の機械学習システムの出力層と第二の機械学習システムの入力層は完全に接続できる。これは、第一の機械学習システムの各出力ノードが第二の機械学習システムの各入力ノードに接続されることを意味する。このようにして実現できるのは、第一の機械学習システム内で利用可能な全ての情報が第二の機械学習システムにとっても利用可能となることである。代替的に、選択的な接続のみが確立されることも考え得る。
【0024】
本方法の次に拡張された例示によれば、走査結果は、第一の機械学習システムによる処理の前に歪み補正できる。これには、測定中の最適でない測定光の入射角に起因する、又は現在の生理学的水晶体若しくは角膜(例えば、乱視の場合)の他のパラメータの結果として生じる歪みを補償できるという利点がある。このために必要な手順は、第一の機械学習システムによって直接実行されることができ、又はそのような変則について精密に訓練された別の先行する機械学習システムがこのタスクを引き受けることもできる。目の変調されたデジタル画像の形態の出力値はその後、第一の機械学習システムに入力値として伝送される。この先行する機械学習システムもまた、完全に、又は部分的にのみ、第一の機械学習システムに接続できる。
【0025】
本方法の次に拡張された例示的な実施形態によれば、逆行性伝播信号を第二の機械学習システムの出力か、両方の機械学習システム、具体的には第一及び第二の機械学習システムにフィードバックできる。このようにして、第一の機械学習システムと第二の機械学習システムは総合型機械学習システムを表し、その中で多層パーセプトロン(MLP)であり得る第二の部分は学習フェーズ(訓練フェーズ)中に、重畳型ニューラルネットワーク(CNN)であり得る第一のニューラルネットワークに対する遡及的影響(逆行性伝播)を有することができる。その結果、2つの機械学習システムの共通に形成される学習モデルために統合され、適合した学習プロセスがあることになる。これはまた、第一の機械学習システム及び第二の機械学習システムが完全に接続されること、すなわちCNNの全ての出力ノードをMLPの全ての入力ノードに接続できることによっても実現できる。これに対応する記述は、任意選択による再帰型ニューラルネットワークが追加的にCNNとMLPとの間にある場合にも適用され、前記再帰型ニューラルネットワークは追加的に、ダイナミックOCTデータの混合抽出にも適している。
【0026】
本発明の例示的実施形態を様々な実装カテゴリに関して記載する場合があることを指摘しておく。一部の実施例はとりわけ方法に関して記載するのに対し、他の例示的実施形態は対応する機器の脈絡で記載する場合がある。それにもかかわらず、方法の特徴の可能な組み合わせ、更には特徴の可能な組み合わせを明らかにし、それらを上記の及び以下の説明に由来する対応するシステムと、たとえそれらが異なる請求項のカテゴリに属していても別段の定めがない限り組み合わせることが当業者にとって可能である。
【0027】
上記で既に説明した態様及び本発明の更なる態様が、記載する例示的実施形態から及び図面に関して記載する追加の更なる特定の改良からとりわけ明らかになる。
【0028】
本発明の好ましい例示的実施形態を例として、下記の図面を参照しながら説明する。
【図面の簡単な説明】
【0029】
図1】患者の視力矯正手段のための屈折力を特定するコンピュータ実装方法の例示的実施形態のフローチャート様の表現を示す。
図2】目の一部の断面図を示す。
図3】目を目の様々な生体測定パラメータと共に示す。
図4】提示された方法の基本的機能ブロックの概略的な構造を示す。
図5】患者の視力矯正手段のための屈折力を特定する本発明によるシステムの図を示す。
図6】全部又は一部が図5による屈折力特定システムを更に含み得るコンピュータシステムの図を示す。
【発明を実施するための形態】
【0030】
この説明の文脈では慣習、用語、及び/又は表現は下記の通り理解すべきである:
【0031】
「眼内レンズ」という用語は、生来の生物学的レンズを置換するために手術的に患者の目に挿入することができる人工レンズを表す。
【0032】
「機械学習システム」という用語は典型的には方法にも割り当てられるシステムを表し、前述のシステムは例から学習する。この目的を達成するために、既に事前に設定されている出力値(分類システムの場合は出力クラス)を予測するために注釈付きの訓練データ(即ちメタデータも含むトレーニングデータ)が機械学習システムに供給される。出力クラスが十分な精度、即ち事前に決定された誤り率で正しく出力される場合、その機械学習システムは訓練されていると見なされる。様々な機械学習システムが知られている。それらの機械学習システムは、ニューラルネットワーク、畳み込みニューラルネットワーク(CNN)、或いは再帰型ニューラルネットワーク(RNN)を含む。
【0033】
原則として、「機械学習」という用語は人工知能分野の基本用語又は基本機能であり、「学習する」能力をコンピュータシステムに与えるために例えば統計的方法が使用される。例として、この場合は特定のタスクの範囲内の一定の挙動パターンが最適化される。使用される方法は、データを解析する能力をその目的用の明確な手続きプログラミングを必要とすることなしに訓練される機械学習システムに与える。典型的には、例えばNN(ニューラルネットワーク)又はCNN(畳み込みニューラルネットワーク)が、人工ニューロンとして機能するノードのネットワーク及び人工ニューロン間の人工的な接続(所謂リンク)を形成するための機械学習用のシステムの例であり、人工的なリンクにはパラメータ(例えばリンクのための重み付けパラメータ)が指定され得る。ニューラルネットワークを訓練する際、リンクの重み付けパラメータ値は、所望の結果を生成するように入力信号の値に基づいて自動的に調整される。教師付き学習の場合、入力値として供給される画像(訓練データ)(概して(入力)データ)は、所望の出力データ(注釈)で補足されて、所望の出力値(所望のクラス)が生成される。ごく一般的に考えると、入力データから出力データへのマッピングが学習される。
【0034】
「ニューラルネットワーク」という用語は、計算操作を実行するための1つ又は複数の入力及び1つ又は複数の出力を有する電子的に実現されるノードで作られるネットワークを表す。ニューラルネットワークでは被選択ノードが接続、所謂リンク又は辺によって相互接続される。接続は前のノードの出力値に影響を与えることができる一定の属性、例えば重み付けパラメータ値を有することができる。
【0035】
ニューラルネットワークは典型的に、複数の層によって構築される。少なくとも入力層、隠れ層、及び出力層が存在する。簡単な例では、画像データを入力層に供給することができ、出力層は画像データに関する分類結果を有することができる。但し典型的なニューラルネットワークは多数の隠れ層を有する。ノードがリンクによってどのように接続されるのかは、個々のニューラルネットワークの種類によって決まる。この例では、ニューラル学習システムの予測値は眼内レンズの追求される屈折力とすることができる。
【0036】
「重畳型ニューラルネットワーク」(CNN)という用語(分類器/分類システムの一例)は、フィードフォワード技術に基づく人工ニューラルネットワークのクラスを表す。これらは、画像、又はそのピクセルを入力データとして使用する画像解析によく使用される。重畳型ニューラルネットワークの主要コンポーネントはこの事例では、重畳層であり(であるからこの名称である)、これはパラメータ共有を通じた効率的な評価を可能にする。CNNとは異なり、記録された画像の各ピクセルは典型的に、従来のニューラルネットワーク内の入力値としてニューラルネットワークの人工ニューロンに関連付けられる。
【0037】
「パラメータ値」という用語は、患者の目の幾何学的値若しくは生体測定値又は眼科データを表す。目のパラメータ値の例については図2に基づいてより詳細に説明する。
【0038】
「走査結果」という用語は、患者の目のOCT(光コヒーレンス断層撮影法)検査の結果を表す例えばデジタル画像/記録に基づくデジタルデータを表す。
【0039】
「光コヒーレンス断層撮影法」(OCTと略記する)という用語は、マイクロメータの解像度で散乱体(例えば生物組織)の二次元記録又は三次元記録(2D又は3D)を得るための眼科学の既知の撮像方法を表す。このプロセスでは、光源、ビームスプリッタ、及び例えばデジタル画像センサ形式のセンサが基本的に使用される。眼科学では、OCTは個々のレチナール層の反射挙動の空間的差異を検出するために使用され、形態構造を高解像度で表すことができる。
【0040】
「A走査」という用語(軸方向奥行き走査とも呼ばれる)は、患者の目の走査の一次元の結果を表し、かかる結果は目の中の構造の幾何学的寸法及び位置に関する情報を与える。
【0041】
「B走査」という用語は、目を通る断面を得るための上述の複数のA走査の横方向のオーバレイを表す。そのようにして生成される目の複数の層を組み合わせることにより、ボリュームの表示も生成可能である。
【0042】
この事例の「en face OCT」という用語は、上述のA走査又はB走査を使用する縦断面像とは対照的に目の横断面像を作成するための方法を表す。
【0043】
「画像」又は「デジタル画像」(例えば、走査から)という用語は、この事例では、物理的に存在する物体を表す画像、又はそこからのピクセルデータ形式での一定量のデータ生成の結果を表す。より一般的に、「デジタル画像」とは、2次元信号マトリクスであると理解することができる。マトリクスの個々のベクトルは、相互に結合されて、それゆえCNNのある層のための入力ベクトルを生成することができる。デジタル画像はまた、ビデオシーケンスの個々のフレームとすることもできる。画像及びデジタル画像とは、この場合、同義であると理解することができる。
【0044】
「再帰型ニューラルネットワーク」という用語は、フィードフォワードネットワークとは対照的に或る層のニューロン(即ちノード)の同じ又は前の層のニューロンに対するリンクによって区別されるニューラルネットワークを指す。これは脳内の、とりわけ新皮質内の神経回路網の相互接続の好ましい方法である。人工ニューラルネットワークでは、データ内の時間符号化された(即ち動的な)情報を発見するためにモデルニューロンの再帰型接続が使用される。このような再帰型ニューラルネットワークの例はエルマンネットワーク、ジョーダンネットワーク、ホップフィールドネットワーク、及び全結合ニューラルネットワークを含む。これらはまた、目を記録する際の動的挙動を調べる、とりわけ目の遠近調節挙動を考慮に入れるためにも適している。
【0045】
「多層パーセプトロン」(MLP)という用語は、特定のクラスのフィードフォワードニューラルネットワークを指す。MLPという用語は、何れの人工ニューラルネットワークを指すためにも漠然と使用されることがある。基本型では、これは調整可能な重みと活性化閾値を有する1つのノード又は人工ニューロンのみからなる。現在では、このMLPという用語により当初モデルの様々な組合せが理解される。その過程で、単層及び多層パーセプトロン(MLPs)との間が区別されている。パーセプトロンネットワークは、ある入力ベクトルをある出力ベクトルに変換し、したがって単純な連想記憶を表す。しかしながら、パーセプトロンは典型的に3層、即ちノードの入力層と出力層及び隠れ層からなる。時として、MLPsは、特にこれらが実際に3層しか持たない場合、「バニラニューラルネットワーク」とも呼ばれる。活性化関数は通常、非線形である。訓練フェーズでは、注釈付き訓練データと逆行性伝播を用いた教師付き学習が使用される。それが複数の層を有し、活性化関数が非線形であることから、MLPは線形パーセプトロンとは区別されるべきである。したがって、これは線形に分離できないデータを区別することができる。
【0046】
「眼内レンズの屈折力」という用語は、IOLの屈折率を表す。
【0047】
図面の詳細な説明を以下に示す。この事例では図中の詳細及び情報の全てが概略的に示されていることが理解されよう。最初に示すのは、患者の視力矯正手段のための屈折力を機械学習を援用して特定する本発明によるコンピュータ実装方法の例示的実施形態のブロック図である。更なる例示的実施形態又は対応するシステムの例示的実施形態を以下に記載する。
【0048】
図1は、患者の視力矯正手段のための屈折力を機械学習を援用して特定する本発明によるコンピュータ実装方法100の例示的実施形態のフローチャート様の表現を示す。この事例では、方法100は、目の走査結果を提供するステップ102を含み、この走査結果は目の解剖学的構造の少なくとも1つの画像(とりわけ1つ又は複数のデジタル画像)を表す。これは、OCT記録によって実行できるが、走査結果は代替的に超音波によっても創出できる。
【0049】
方法100は、走査結果を重畳型ニューラルネットワークの形態の第一の機械学習システムへの入力データとして供給するステップ104と、第一の機械学習システムの出力値を多層パーセプトロンの形態の第二の機械学習システムへの入力データとして使用するステップ106を更に含む。第二の機械学習システムのための追加の入力値として、標的屈折値(とりわけ、例えば中立の必要値に関するデルタ値)は、第二の機械学習システムのための入力情報として使用される。両方のニューラルネットワークは、第一の機械学習システムの出力層から第二の機械学習システムの入力層へと完全に接続されることも、又は部分的に接続されることもできる。
【0050】
追加的に、提示されている方法100は、患者の視力矯正手段のためのパラメータを第一の機械学習システムと第二の機械学習システムとの即時且つ直接の(即ちとりわけ、目の幾何学の明確な追加的特定を行わない)相互作用によって特定するステップ108を含む。これらの手段又は改良はとりわけ、白内障手術、乱視の結果としての外科的介入、又は眼鏡レンズの特定のための手段のそれらを含む。
【0051】
図2は、目200の断面の象徴的表現を示す。挿入眼内レンズ202を識別することが可能であり、これは天然の水晶体を摘出した後に水晶体嚢204の中に手術によって挿入されている。眼内レンズ202の横の構造206は、眼内レンズ202が水晶体嚢204の中に固定されるか、又はその中で実際に安定に成熟することを確実にすべきものである。しかしながら、例えば数週間という比較的長い成熟フェーズの後に眼内レンズ202がとる精密な位置を予測することは今のところ現実的には不可能である。これはとりわけ、水晶体嚢204が以前は、生来あったが摘出されてなくなった水晶体を包囲していたため、挿入された眼内レンズ202よりかなり大きいことによる。水晶体嚢204を目の中又は頭蓋骨の中に固定する腱及び筋肉組織208はこのような手術の後に変化し、その結果として水晶体嚢204の大きさ、形状、及び位置、そしてひいては眼内レンズ202の位置も変化する。したがって、挿入された眼内レンズ202と目の中で更に後方にある網膜との間の距離も変化する。しかしながら、最適な術後結果は、挿入される眼内レンズ202の屈折力(屈折率)と網膜までの距離を最適に適合させることによってしか実現できない。挿入される眼内レンズ202の屈折力は通常、後から変更することはできないため、挿入される眼内レンズ202の位置を予測することが非常に望ましい。
【0052】
図3は、目300を目の様々な生体測定パラメータと共に示す。とりわけ、以下のパラメータ、つまり眼軸長302(AL)、前眼房の奥行き304(ACD)、角膜曲率測定値306(K、半径)、レンズの屈折力、レンズの厚さ308(LT)、角膜中央部の厚さ310(CCT)、水平角膜径312(WTW)、瞳孔の大きさ314(PS)、後眼房の奥行き316(PCD)、網膜の厚さ318(RT)が示されている。これらのパラメータのうちの少なくとも1つが眼科訓練データと患者の眼科データの両方に含まれ、これらの各々が本願で提示される概念の主題に含まれる。
【0053】
図4は、提示される方法の本質的な機能ブロック400の概略構造を示す。原則として、OCTデータは屈折力の特定において直接使用され、更なる前処理を行わずに屈折力の結果を提供する。関係する情報は、機械学習システムによってデジタルOCT画像(又は複数の画像)から直接取得できる。有利な点として、本発明による概念は、IOLの屈折力の特定時、白内障手術において、角膜手術における屈折力計算のために、及び矯正用眼鏡レンズの特定において使用できる。
【0054】
最終屈折力の計算は、1つ又は複数の統合ニューラルネットワークに基づいて、シームレス(「エンドツーエンド」)の機械学習パイプライン内で実行される。関係する情報は、重畳型ニューラルネットワーク(CNN)を利用してOCTデータから収集できる。これらは多層パーセプトロン(MLP)で更に処理されて、最終屈折力を計算する。標的屈折力はMLPに追加の入力パラメータとして入力される。図4は、白内障手術中のIOL屈折力の計算への応用を示している。しかしながら、それ以外の2つの応用、即ち角膜手術と眼鏡レンズの特定に関する屈折情報も同じ概念により取得できる。
【0055】
詳しくは、図4はOCTデータ404の形態のデジタル画像の記録を示している(デジタル装置/OCTスキャン402による)。これらはCNN406に入力データとして供給される。任意選択的な再帰型ニューラルネットワーク408を考えなければ、CNN406の結果は多層パーセプトロン410に直接伝送される。この事例では、CNN406の出力層は多層パーセプトロン410の入力層に直接、完全に接続できる。任意選択により、この事例においては選択された接続だけを確立することもできる。
【0056】
追加的に、多層パーセプトロン410は追加の入力パラメータとして所望の屈折力412を含む。その値は手作業で選択できる。このように存在するCNN406の入力パラメータから、及び所望の屈折力412から、MLP410は最終的な屈折力414を特定し、これは表示することも(又は、他の方法で更に処理することも)できる。CNN406と多層パーセプトロン410はどちらも、それぞれが学習モデルを有することは自明であり、これは異なる標的屈折力についての注釈付き訓練データと共に訓練済みである。
【0057】
任意選択により、再帰型ニューラルネットワーク408の形態の、機械学習システムの更なる層がCNN406と多層パーセプトロン410との間に挿入され得る。この再帰型ニューラルネットワーク408の入力ノードはしたがって、CNN406の出力ノードに完全に、又は部分的に接続される。その結果、2つのニューラルネットワーク406と410(又は、任意選択的実施形態においてはニューラルネットワーク406、408、及び410)は直接、即座に相互接続されて、メディアディスラプションが生じない。このようにして、パイプライン型の構造の結果として、IOLの最終的な屈折力は、事実上OCT画像データ404からの1回の演算処理内で特定できる。再帰型ニューラルネットワーク408は、ダイナミックOCT画像データ404の処理を確実にし、それによって目の遠近調節能力もまた考慮に入れることができる。
【0058】
図5は、患者の視力矯正手段のための屈折力を機械学習を援用して特定する屈折力特定システム500のコンポーネントの好ましい例示的実施形態を示している。患者の視力矯正手段は、角膜手術、角膜屈折手術、又は眼鏡レンズの特定の分野に関し得る。
【0059】
そのために、屈折力特定システム500は目の走査結果を提供する受信モジュール502を含み、走査結果は目の解剖学的構造のデジタル画像を表す。更に、屈折力特定システム500は、走査結果を入力データとして受信する重畳型ニューラルネットワークの形態の第一の機械学習システム504と、第一の機械学習システムの出力値を入力テータとして受信する多層パーセプトロンの形態の第二の機械学習システム506を含む。この事例では、標的屈折値(図示せず)が第二の機械学習システム506によって追加の入力値として受信される。
【0060】
最後に、屈折力特定システム500は、患者の視力矯正手段のためのパラメータを、第一の機械学習システムと第二の機械学習システムとの即時且つ直接的相互作用によって特定するように構成された特定モジュール508を含む。
【0061】
屈折力特定システムの全てのモジュールとユニットは、直接にも、又は屈折力特定システムの内部の信号交換のための電気信号線又はバスシステム512を介して間接にも相互接続できるという事実が言及される。特定された屈折力を表示又は出力するための表示モジュール510が任意選択的に存在し、バスシステムに接続され得る。
【0062】
図6は、屈折力を決定するためのシステムの少なくとも一部を有し得るコンピュータシステムのブロック図を示す。本明細書で提案する概念の実施形態は、原則的にプログラムコードを記憶し及び/又は実行するためにコンピュータ内で使用されるプラットフォームに関係なく、事実上如何なる種類のコンピュータとも一緒に使用することができる。図6は、本明細書で提案する方法によるプログラムコードを実行するのに適しており、予測システムを全て又は部分的に含むこともできるコンピュータシステム600を例として示す。
【0063】
コンピュータシステム600は複数の汎用機能を有する。コンピュータシステムはこの事例ではタブレットコンピュータ、ラップトップ/ノートブックコンピュータ、別の携帯型又はモバイル電子装置、マイクロプロセッサシステム、マイクロプロセッサベースのシステム、スマートフォン、特別に構成された専用機能を有するコンピュータシステム、或いは顕微鏡システムの構成要素とすることができる。コンピュータシステム600は、本明細書で提案する概念の機能を実装するために実行され得る例えばプログラムモジュール等のコンピュータシステム実行可能命令を実行するように構成され得る。このために、プログラムモジュールは特定のタスク又は特定の抽象データ型を実装するためのルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造等を含み得る。
【0064】
コンピュータシステムのコンポーネントは、1つ又は複数のプロセッサ又は処理ユニット602、記憶システム604、及び記憶システム604を含む様々なシステムコンポーネントをプロセッサ602に接続するバスシステム606を有し得る。コンピュータシステム600は、典型的にはコンピュータシステム600によってアクセス可能な複数の揮発性又は不揮発性記憶媒体を有する。記憶システム604は、プロセッサ602によって実行されるように例えばRAM(ランダムアクセスメモリ)608等の中に記憶媒体のデータ及び/又は命令(コマンド)を揮発的な形で記憶することができる。それらのデータ及び命令は本明細書で示す概念の1つ又は複数の機能及び/又はステップを実現する。記憶システム604の更なるコンポーネントは、プログラムモジュール及びデータ(参照番号616)更にはワークフローを記憶することができる永続メモリ(ROM)610及び長期メモリ612であり得る。
【0065】
コンピュータシステムは通信のための幾つかの専用機器(キーボード618、マウス/ポインティングデバイス(不図示)、画面620等)を有する。それらの専用機器はタッチセンスディスプレイ内に組み込むこともできる。別々に設けられるI/Oコントローラ614は外部装置とのスムーズなデータ交換を確実にする。ローカル又はグローバルネットワーク(例えばインターネットを介したLAN、WAN)による通信のためにネットワークアダプタ622を利用することができる。ネットワークアダプタは、バスシステム606を介してコンピュータシステム600の他のコンポーネントによってアクセスされ得る。この事例では、不図示だが他の装置もコンピュータシステム600に接続され得ることが理解されよう。
【0066】
更に、屈折力特定システム500の少なくとも一部は、患者の視力矯正手段のための機械学習を援用した屈折力特定のためのバスシステム606に接続できる(図5参照)。
【0067】
本発明の様々な例示的実施形態の説明は、理解の助けとなるように示してきたが、本発明の概念をそれらの例示的実施形態に直接制限する働きはしない。更なる修正形態及び改変形態を当業者自身で立案されよう。本明細書で使用した用語は、例示的実施形態の基本原理を最もよく説明するように及び当業者にとってかかる基本原理を容易に利用できるようにするために選択した。
【0068】
本明細書で提案した原理はシステムとして、方法としての両方、その組み合わせとして、及び/又はコンピュータプログラム製品として具体化することができる。この場合のコンピュータプログラム製品は、本発明の様々な態様を実行するようにプロセッサ又は制御システムを促すためのコンピュータ可読プログラム命令を有する1つ(又は複数)のコンピュータ可読記憶媒体を含み得る。
【0069】
転送媒体として電子的、磁気的、光学的、電磁的、若しくは赤外線媒体又は半導体システム、例えばSSD(ソリッドステートメモリとしてのソリッドステート装置/ドライブ)、RAM(ランダムアクセスメモリ)及び/又はROM(読取専用メモリ)、EEPROM(電気的消去可能ROM)、又はその任意の組み合わせが使用される。適当な転送媒体としては、伝播電磁波、導波管内の電磁波、又は他の伝送媒体(例えば光ケーブル内の光パルス)若しくは電線内で伝送される電気信号も含まれる。
【0070】
コンピュータ可読記憶媒体は、命令実行装置による使用のために命令を保持し又は記憶する実装機器であり得る。本明細書に記載したコンピュータ可読プログラム命令は、ケーブルによる接続又はモバイル無線ネットワークを介してサービスプロバイダから、例えば(スマートフォン)アプリケーションとして対応するコンピュータシステム上にダウンロードされてもよい。
【0071】
本明細書に記載した発明の手術を行うためのコンピュータ可読プログラム命令は、例えばC++、Java等によって、又は例えばプログラミング言語「C」等の従来の手続き型プログラミング言語若しくは同様のプログラミング言語によって書かれる機械依存の又は機械非依存の命令、マイクロコード、ファームウェア、状態定義データ、又は任意のソースコード若しくはオブジェクトコードであり得る。コンピュータ可読プログラム命令はコンピュータシステムによって完全に実行され得る。一部の例示的実施形態では、本発明の態様に従って電子回路を構成し又はカスタマイズするために、コンピュータシステムは例えばコンピュータ可読プログラム命令の状態情報を使用することによってコンピュータ可読プログラム命令を実行するプログラム可能論理回路、書換可能ゲートアレイ(FPGA)、又はプログラム可能論理アレイ(PLA)等の電子回路とすることもできる。
【0072】
本明細書で提案した発明は、本発明の例示的実施形態による方法、機器(システム)、及びコンピュータプログラム製品のフローチャート及び/又はブロック図に関して更に示した。フローチャート及び/又はブロック図の事実上如何なるブロックもコンピュータ可読プログラム命令として具現化され得ることを指摘しておく。
【0073】
プロセッサ又はコンピュータ又は他のプログラム可能データ処理機器によって実行される命令がフローチャート及び/又はブロック図の中に示す機能又は手続きを実装するための手段を生成するように機械を作成するために、コンピュータ可読プログラム命令は別様にプログラム可能な汎用コンピュータ、専用コンピュータ、又はデータ処理システムに提供され得る。したがってこれらのコンピュータ可読プログラム命令はコンピュータ可読記憶媒体上に記憶することもできる。
【0074】
この意味で、図示のフローチャート又はブロック図の中の如何なるブロックも特定の論理機能を実装するための幾つかの実行可能命令を表す命令のモジュール、セグメント、又は一部分を表し得る。一部の例示的実施形態では、個々のブロック内に示す機能が異なる順序で、任意選択により更には並列に実行され得る。
【0075】
図示の構造、材料、シーケンス、及び添付の特許請求の範囲の中の関連機能を有する手段及び/又はステップの全ての等価物は、特許請求の範囲によって表す構造、材料、又はシーケンスの全てを当てはめることを意図する。
【符号の説明】
【0076】
100 コンテクストセンシティブホワイトバランスの方法
102 100の方法ステップ
104 100の方法ステップ
106 100の方法ステップ
108 100の方法ステップ
200 眼内レンズの入った目
202 眼内レンズ
204 水晶体嚢
206 側部構造体
208 腱及び筋肉
300 目
302 眼軸長
304 前眼房の厚さ
306 角膜曲率測定値
308 レンズの厚さ
310 角膜中央部の厚さ
312 水平角膜径
314 瞳孔の大きさ
316 後眼房の奥行き
318 網膜の厚さ
400 方法を実装するための機能ブロック
402 OCTスキャナ
404 デジタルOCT画像データ
406 ニューラルネットワーク(CNN)
408 再帰型ニューラルネットワーク
410 多層パーセプトロン
412 所望の屈折力
414 最終的な屈折力
500 屈折力特定システム
502 受信モジュール
504 第一の機械学習システム(CNN)
506 第二の機械学習システム(MLP)
508 特定モジュール
410 表示モジュール
512 バスシステム
600 コンピュータシステム
602 プロセッサ
604 記憶システム
606 バスシステム
608 RAM
610 ROM
612 長期メモリ
614 I/Oコントローラ
616 プログラムモジュール、潜在的データ
618 キーボード
620 画面
622 ネットワークアダプタ
図1
図2
図3
図4
図5
図6
【手続補正書】
【提出日】2022-07-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
患者の視力矯正手段のための屈折力を機械学習を援用して特定するコンピュータ実装方法(100)であって、
-目(300)の走査結果(404)を提供するステップ(102)であって、前記走査結果(404)は前記目(300)の解剖学的構造の画像を表すステップ(102)と、
-前記走査結果(404)を重畳型ニューラルネットワークの形態の第一の機械学習システム(406)への入力データとして供給するステップ(104)と、
-前記第一の機械学習システムの出力値を多層パーセプトロンの形態の第二の機械学習システム(410)のための入力データとして使用するステップ(106)であって、前記第二の機械学習システムのための追加の入力値として、標的屈折値(412)が前記第二の機械学習システム(410)のための入力情報として使用され、前記第一の機械学習システムと前記第二の機械学習システムとは完全に統合されている、ステップ(106)と、
-前記患者の前記視力矯正手段のためのパラメータを、前記第一の機械学習システム(406)と前記第二の機械学習システム(410)の即時且つ直接的な相互作用によって特定するステップ(108)と、
を含む方法。
【請求項2】
提供された前記走査結果(404)のタイプは、A走査、B走査、体積データ、en-face走査データ、及び目のダイナミックデータからなる群から選択される、請求項1に記載の方法(100)。
【請求項3】
前記走査結果(404)は前記目(300)の解剖学的構造の複数の画像の時間シーケンスを表し、再帰型ニューラルネットワーク(408)は、前記目(300)の遠近調節力を前記画像の前記画像シーケンスから導出するように構成され、前記再帰型ニューラルネットワーク(408)は前記第一の機械学習システム(406)と前記第二の機械学習システム(410)との間に配置される、請求項1又は2に記載の方法(100)。
【請求項4】
前記第一の機械学習システム(406)はグラフを使用し、前記走査結果(404)は、最近傍の原理に従ってグラフ構造に分類される、請求項1~3の何れか1項に記載の方法(100)。
【請求項5】
追加の入力データは訓練中に前記第二の機械学習システム(410)のために使用される、請求項1~4の何れか1項に記載の方法(100)。
【請求項6】
前記第一の機械学習システム(406)の出力層と前記第二の機械学習システム(410)の入力層は完全に接続される、請求項1~5の何れか1項に記載の方法(100)。
【請求項7】
前記走査結果(404)は、前記第一の機械学習システム(406)によって処理される前に歪み補正される、請求項1~6の何れか1項に記載の方法(100)。
【請求項8】
逆行性伝播の信号が前記第二の機械学習システム(410)の前記出力から前記機械学習システムの両方(406、410)、即ち前記第一及び前記第二の機械学習システムにフィードバックされる、請求項1~7の何れか1項に記載の方法(100)。
【請求項9】
患者の視力矯正手段のための屈折力を機械学習を援用して特定するシステム(500)であって、
-目(300)の走査結果(404)を提供する受信モジュール(502)であって、前記走査結果(404)は前記目(300)の解剖学的構造の画像を表す受信モジュール(502)と、
-前記走査結果(404)を入力データとして受信する、重畳型ニューラルネットワークの形態の第一の機械学習システム(406、504)と、
-前記第一の機械学習システム(406、504)の出力値を入力データとして受信する、多層パーセプトロンの形態の第二の機械学習システム(410、506)であって、標的屈折値(412)が前記第二の機械学習システム(410、506)によって追加の入力値として受信可能であり、前記第一の機械学習システムと前記第二の機械学習システムとは完全に統合されている、第二の機械学習システム(410、506)と、
-患者の前記視力矯正手段のためのパラメータを、前記第一の機械学習システム(406、504)と前記第二の機械学習システム(410、506)の即時且つ直接的相互作用によって特定するように構成された特定モジュール(508)と、
を含む屈折力特定システム(500)。
【請求項10】
患者の視力矯正手段のための屈折力を機械学習を援用して特定するコンピュータプログラム製品であって、その上に記憶されたプログラム命令を有し、前記プログラム命令は、1つ又は複数のコンピュータ(600)又は制御ユニットによって実行可能であり、前記1つ又は複数のコンピュータ(600)又は制御ユニットに請求項1~8の何れか1項による前記方法を実行させるコンピュータプログラム製品。
【国際調査報告】