知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-22
(54)【発明の名称】眼科画像におけるアーチファクトのリアルタイム検出
(51)【国際特許分類】
A61B 3/14 20060101AFI20240115BHJP
A61B 3/10 20060101ALI20240115BHJP
A61B 3/13 20060101ALI20240115BHJP
G06T 7/00 20170101ALI20240115BHJP
G06V 10/82 20220101ALI20240115BHJP
【ＦＩ】
A61B3/14
A61B3/10
A61B3/13
G06T7/00 350C
G06V10/82
G06T7/00 612
G06T7/00 Q
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023540719
(86)(22)【出願日】2021-12-15
(85)【翻訳文提出日】2023-07-03
(86)【国際出願番号】 IB2021061800
(87)【国際公開番号】W WO2022149028
(87)【国際公開日】2022-07-14
(31)【優先権主張番号】63/135,125
(32)【優先日】2021-01-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/236,908
(32)【優先日】2021-04-21
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】319008904
【氏名又は名称】アルコン インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100160705
【弁理士】
【氏名又は名称】伊藤 健太郎
(74)【代理人】
【識別番号】100227835
【弁理士】
【氏名又は名称】小川 剛孝
(72)【発明者】
【氏名】エドウィン ジェイ サーバー
(72)【発明者】
【氏名】マックス ホール
【テーマコード（参考）】
4C316
5L096
【Ｆターム（参考）】
4C316AA08
4C316AB01
4C316AB09
4C316AB14
4C316AB16
4C316FB13
4C316FB21
4C316FB22
4C316FB26
4C316FC12
5L096AA02
5L096AA06
5L096AA09
5L096BA06
5L096BA13
5L096CA02
5L096CA17
5L096DA02
5L096EA03
5L096FA19
5L096FA69
5L096GA51
5L096HA11
5L096MA01
(57)【要約】
本開示の特定の態様は、眼科処置中に術中診断デバイスからの画像データをリアルタイムで処理するためのシステムを提供する。システムは、第１のサイズのグレースケール画像を取り込む画像取り込み要素と、グレースケール画像を第１のサイズから第２のサイズにスケーリングする画像処理要素とを備える。システムはまた、２段階分類モデルであって、スケーリングされたグレースケール画像を処理し、スケーリングされたグレースケール画像に基づいて特徴ベクトルを生成する特徴抽出段階と、特徴ベクトルを処理し、出力ベクトルを生成する分類段階と、を含む、２段階分類モデルを備える。画像処理要素は、オペレータへの表示のために出力ベクトルに基づいて、取得されたグレースケール画像の画像品質を決定するように更に構成され、取得されたグレースケール画像の画像品質は、取得されたグレースケール画像がアーチファクトを含む確率を示す。
【特許請求の範囲】
【請求項1】
眼科処置中に術中診断デバイスからの画像データをリアルタイムで処理するためのシステムであって、前記術中診断デバイスから患者の眼のグレースケール画像を取り込むように構成された画像取り込み要素であって、前記グレースケール画像が第１のサイズを有する、画像取り込み要素と、
画像処理要素であって、
前記画像取り込み要素から前記グレースケール画像を取得し、
前記第１のサイズから前記グレースケール画像をスケーリングして、第２のサイズのスケーリングされたグレースケール画像を生成し、
分類に備えて前記スケーリングされたグレースケール画像を前処理するように構成されている、画像処理要素と、
２段階分類モデルであって、
前記スケーリングされたグレースケール画像を処理し、前記スケーリングされたグレースケール画像に基づいて特徴ベクトルを生成するように構成された特徴抽出段階と、
前記特徴ベクトルを処理し、前記特徴ベクトルに基づいて出力ベクトルを生成するように構成された分類段階と、を含む、２段階分類モデルと、を備え、
前記画像処理要素が、オペレータへの表示のために前記出力ベクトルに基づいて前記グレースケール画像の画像品質を決定するように更に構成され、
前記グレースケール画像の前記画像品質が、前記グレースケール画像がアーチファクトを含む確率を示す、システム。
【請求項2】
前記グレースケール画像の前記画像品質の前記オペレータへの表示を生成するように構成されたデータ表示要素を更に備える、請求項１に記載のシステム。
【請求項3】
前記データ表示要素が、前記グレースケール画像が前記アーチファクトを含み、前記アーチファクトが前記グレースケール画像の前記画像品質を閾値未満に低下させるという決定に基づいて、前記グレースケール画像を表示するように更に構成されている、請求項２に記載のシステム。
【請求項4】
前記データ表示要素が、前記グレースケール画像が前記閾値未満の前記画像品質を低下させる前記アーチファクトを含むという前記決定に基づいて、前記グレースケール画像内の前記アーチファクトの位置を識別するインジケータを有する前記グレースケール画像の前記表示を生成するように更に構成されている、請求項３に記載のシステム。
【請求項5】
前記グレースケール画像に基づいて前記オペレータに表示するために前記アーチファクトの前記位置を識別するように構成された画像セグメンテーションモデル又はオブジェクト検出モデルのうちの少なくとも１つを更に備える、請求項４に記載のシステム。
【請求項6】
前記データ表示要素が、処理されている画像のサブセットの画像品質の平均に対する全体的な品質表示を示す第１のインジケータと、
前記グレースケール画像についての前記画像品質を示す第２のインジケータと、を表示するように更に構成され、
前記グレースケール画像についての前記画像品質が、前記アーチファクトが前記スケーリング及び前処理されたグレースケール画像に存在する確率に基づく、請求項２に記載のシステム。
【請求項7】
前記スケーリングされたグレースケール画像を前処理するために、前記画像処理要素が、３つのスケーリングされたグレースケール画像のセットを作成するように更に構成され、前記スケーリングされたグレースケール画像を処理し、前記スケーリングされたグレースケール画像に基づいて特徴ベクトルを生成するために、前記特徴抽出段階が、前記３つのスケーリングされたグレースケール画像のセットに基づいて前記特徴ベクトルを生成するように更に構成され、
前記３つのスケーリングされたグレースケール画像のセットの各スケーリングされたグレースケール画像が、前記特徴抽出段階への入力データチャネルとして使用される、請求項１に記載のシステム。
【請求項8】
前記特徴抽出段階が、畳み込みニューラルネットワークを含み、前記分類段階が、１つ又は複数の全結合層及びシグモイド活性化関数を含む、請求項１に記載のシステム。
【請求項9】
前記グレースケール画像が、広視野画像タイプを含み、前記アーチファクトが、１つ又は複数のデブリ又は機器によって引き起こされ、前記グレースケール画像が、フォーカスビュー画像タイプを含み、前記アーチファクトが、前記患者の眼の位置における乾燥又は過剰な流体のうちの１つ又は複数によって引き起こされ、又は、
前記グレースケール画像が、インターフェログラムビュー画像タイプを含み、前記アーチファクトが、前記グレースケール画像内のグリント、気泡、又は浮遊物のうちの１つ又は複数を含む、請求項１に記載のシステム。
【請求項10】
第２の２段階分類モデルであって、第２のスケーリングされたグレースケール画像を処理し、前記第２のスケーリングされたグレースケール画像に基づいて第２の特徴ベクトルを生成するように構成された第２の特徴抽出段階と、
前記第２の特徴ベクトルを処理し、前記第２の特徴ベクトルに基づいて前記出力ベクトルに対する第２の部分を生成するように構成された第２の分類段階と、を含む、第２の２段階分類モデルと、
第３の２段階分類モデルであって、
第３のスケーリングされたグレースケール画像を処理し、前記第３のスケーリングされたグレースケール画像に基づいて第３の特徴ベクトルを生成するように構成された第３の特徴抽出段階と、
前記第３の特徴ベクトルを処理し、前記第３の特徴ベクトルに基づいて前記出力ベクトルに対する第３の部分を生成するように構成された第３の分類段階と、を含む、第３の２段階分類モデルと、を更に備え、
前記特徴抽出段階によって処理される前記スケーリングされたグレースケール画像が、前記広視野画像タイプ、前記フォーカスビュー画像タイプ、及び前記インターフェログラムビュー画像タイプのうちの第１のものを含み、
前記第２の特徴抽出段階によって処理される前記第２のスケーリングされたグレースケール画像が、前記広視野画像タイプ、前記フォーカスビュー画像タイプ、及び前記インターフェログラムビュー画像タイプのうちの別のものを含み、
前記第３の特徴抽出段階によって処理される前記第３のスケーリングされたグレースケール画像が、前記特徴抽出段階及び前記第２の特徴抽出段階によって処理されない前記広視野画像タイプ、前記フォーカスビュー画像タイプ、及び前記インターフェログラムビュー画像タイプのうちの第３のものを含む、請求項９に記載のシステム。
【請求項11】
前記スケーリングされたグレースケール画像が、前記第２のスケーリングされたグレースケール画像が前記第２の特徴抽出段階によって処理され、前記第３のスケーリングされたグレースケール画像が前記第３の特徴抽出段階によって処理されるのと並行して、前記特徴抽出段階によって処理される、請求項１０に記載のシステム。
【請求項12】
前記スケーリングされたグレースケール画像が、前記第３のスケーリングされたグレースケール画像が前記第３の特徴抽出段階によって処理されるのと直列に処理される、前記第２のスケーリングされたグレースケール画像が前記第２の特徴抽出段階によって処理されるのと直列に前記特徴抽出段階によって処理される、請求項１０に記載のシステム。
【請求項13】
前記術中診断デバイスが、前記画像データに対して屈折分析を実行するように構成されている、請求項１に記載のシステム。
【請求項14】
前記画像処理要素が、前記画像品質が前記アーチファクトに基づいて第１の閾値を下回る場合、前記グレースケール画像を更なる処理から除外するように更に構成されている、請求項１に記載のシステム。
【請求項15】
眼科処置中に術中診断デバイスから取得された画像データをリアルタイムで処理する方法であって、前記術中診断デバイスから患者の眼のグレースケール画像を取り込むことであって、前記グレースケール画像が第１のサイズを有する、ことと、
画像取り込み要素から前記グレースケール画像を取得することと、
２段階機械学習モデルによる分類に備えて前記グレースケール画像を前処理することと、
前記２段階機械学習モデルの特徴抽出段階によって前記前処理されたグレースケール画像に基づいて特徴ベクトルを生成することと、
前記２段階機械学習モデルの分類段階によって前記特徴ベクトルに基づいて出力ベクトルを生成することと、
オペレータへの表示のために前記出力ベクトルに基づいて前記グレースケール画像の画像品質を決定することと、を含み、
前記グレースケール画像の前記画像品質が、前記グレースケール画像が前記術中診断デバイスによる測定に干渉するアーチファクトを含む確率を示す、方法。
【請求項16】
前記グレースケール画像の前記画像品質の前記オペレータへの表示を生成することと、前記グレースケール画像が前記画像品質を第１の閾値未満に低下させる前記アーチファクトを含むという決定に基づいて、前記グレースケール画像内の前記アーチファクトの位置を識別することと、を更に含む、請求項１５に記載の方法。
【請求項17】
前記グレースケール画像を前処理することが、前記第１のサイズの前記グレースケール画像をスケーリングして、第２のサイズのスケーリングされたグレースケール画像を生成することを含む、請求項１５に記載の方法。
【請求項18】
前記スケーリングされたグレースケール画像を前処理することが、前記スケーリングされたグレースケール画像を複製して、３つのスケーリングされたグレースケール画像のセットを作成することを更に含み、前記スケーリングされたグレースケール画像に基づいて特徴ベクトルを生成することが、前記３つのスケーリングされたグレースケール画像のセットに基づいて前記特徴ベクトルを生成することを含み、
前記３つのスケーリングされたグレースケール画像のセットの各スケーリングされたグレースケール画像が、前記特徴抽出段階への入力データチャネルとして使用される、請求項１７に記載の方法。
【請求項19】
前記特徴抽出段階が、畳み込みニューラルネットワークを含み、前記分類段階が、１つ又は複数の全結合層及びシグモイド活性化関数を含む、請求項１５に記載の方法。
【請求項20】
前記グレースケール画像が、広視野画像タイプを含み、前記アーチファクトが、１つ又は複数のデブリ又は機器によって引き起こされ、前記グレースケール画像が、フォーカスビュー画像タイプを含み、前記アーチファクトが、前記患者の眼の位置における乾燥又は過剰な流体のうちの１つ又は複数によって引き起こされ、又は、
前記グレースケール画像が、インターフェログラムビュー画像タイプを含み、前記アーチファクトが、前記グレースケール画像内のグリント、気泡、又は浮遊物のうちの１つ又は複数を含む、請求項１５に記載の方法。
【請求項21】
第２の２段階機械学習モデルの第２の特徴抽出段階によって第２のグレースケール画像に基づいて第２の特徴ベクトルを生成することと、前記第２の２段階機械学習モデルの第２の分類段階によって前記第２の特徴ベクトルに基づいて第２の出力ベクトルを生成することと、
第３の２段階機械学習モデルの第３の特徴抽出段階によって第３のグレースケール画像に基づいて第３の特徴ベクトルを生成することと、
前記第３の２段階機械学習モデルの第３の分類段階によって前記第３の特徴ベクトルに基づいて第３の出力ベクトルを生成することと、を更に含み、
前記グレースケール画像が、前記広視野画像タイプ、前記フォーカスビュー画像タイプ、及び前記インターフェログラムビュー画像タイプのうちの第１のものを含み、
前記第２のグレースケール画像が、前記広視野画像タイプ、前記フォーカスビュー画像タイプ、及び前記インターフェログラムビュー画像タイプのうちの別のものを含み、
前記第３のグレースケール画像が、前記特徴抽出段階及び前記第２の特徴抽出段階によって処理されない前記広視野画像タイプ、前記フォーカスビュー画像タイプ、及び前記インターフェログラムビュー画像タイプのうちの第３のものを含む、請求項２０に記載の方法。
【請求項22】
前記特徴ベクトルが、前記第２の特徴ベクトル及び前記第３の特徴ベクトルと並列に生成される、請求項２１に記載の方法。
【請求項23】
前記特徴ベクトルが、前記第３の特徴ベクトルと直列に生成される、前記第２の特徴ベクトルと直列に生成される、請求項２１に記載の方法。
【請求項24】
眼科処置中に術中収差計から取得された画像内のアーチファクトを識別する２段階機械学習モデルを訓練する方法であって、前記画像を取得することと、
前記画像について前記２段階機械学習モデルの特徴抽出段階によって特徴ベクトルを生成することと、
前記生成された特徴ベクトルを積み重ねることに基づいて特徴行列を生成することと、
前記特徴行列に基づいて分類段階を訓練することと、を含み、
前記訓練された分類段階が、前記画像がアーチファクトを含む確率を示す処理された画像についての出力を生成する、方法。
【請求項25】
前記特徴抽出段階の重みを訓練することを更に含む、請求項２４に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、その全体が参照により本明細書に組み込まれる、２０２１年１月８日に出願された「Ｒｅａｌ－Ｔｉｍｅ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｍｕｌｔｉｌａｂｅｌ Ｉｍａｇｅ Ａｒｔｉｆａｃｔｓ ｉｎ ａｎ Ｏｐｈｔｈａｌｍｉｃ Ｉｎｓｔｒｕｍｅｎｔ Ｕｓｉｎｇ ａ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ／Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ」と題する米国仮特許出願第６３／１３５，１２５号、及び２０２１年４月２１日に出願された「Ｒｅａｌ－Ｔｉｍｅ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ａｒｔｉｆａｃｔｓ ｉｎ Ｏｐｈｔｈａｌｍｉｃ Ｉｍａｇｅｓ」と題する米国特許出願第１７／２３６，９０８号の利益及び優先権を主張する。
本出願は、その全体が参照により本明細書に組み込まれる、２０２１年１月８日に出願された「Ｒｅａｌ－Ｔｉｍｅ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｍｕｌｔｉｌａｂｅｌ Ｉｍａｇｅ Ａｒｔｉｆａｃｔｓ ｉｎ ａｎ Ｏｐｈｔｈａｌｍｉｃ Ｉｎｓｔｒｕｍｅｎｔ Ｕｓｉｎｇ ａ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ／Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ」と題する米国仮特許出願第６３／１３５，１２５号、及び２０２１年４月２１日に出願された「Ｒｅａｌ－Ｔｉｍｅ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ａｒｔｉｆａｃｔｓ ｉｎ Ｏｐｈｔｈａｌｍｉｃ Ｉｍａｇｅｓ」と題する米国特許出願第１７／２３６，９０８号の利益及び優先権を主張する。
【0002】
序論
本開示の態様は、患者についての外科的転帰の改善を可能にする、白内障手術などの外科的処置中に使用される画像データ内のアーチファクトを検出するためのシステム及び方法に関する。
本開示の態様は、患者についての外科的転帰の改善を可能にする、白内障手術などの外科的処置中に使用される画像データ内のアーチファクトを検出するためのシステム及び方法に関する。
【背景技術】
【0003】
白内障手術は、一般に、患者の眼の天然の水晶体を人工眼内レンズ（ＩＯＬ）に置き換えることを含む。白内障手術中、医師は、白内障介入のためのＩＯＬの適切な選択、配置、及び配向を確実にするためなど、様々な画像ベースの測定システムを利用して、患者の眼をリアルタイムで分析し、白内障処置の実行を支援し得る。しかしながら、患者の眼の撮像データに存在するアーチファクトは、医療施術者が知らないか気付かない測定誤差につながる可能性があり、その結果、そのような処置の有効性を低下させ、患者の転帰不良につながる可能性がある。多くの場合、そのような結果は、追加の外科的介入を必要とする。
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、白内障手術などの処置中に画像データ処理及び分析を実行するための改善された技術が必要とされており、これは患者の手術結果の改善につながる。
【課題を解決するための手段】
【0005】
特定の実施形態は、眼科処置中に術中診断デバイスからの画像データをリアルタイムで処理するためのシステムを提供する。システムは、術中診断デバイスから患者の眼のグレースケール画像を取り込むように構成された画像取り込み要素を備え、グレースケール画像は第１のサイズを有する。システムは、画像取り込み要素からグレースケール画像を取得し、グレースケール画像を第１のサイズから第２のサイズにスケーリングし、分類に備えてスケーリングされたグレースケール画像を前処理するように構成された画像処理要素を更に備える。システムはまた、スケーリングされたグレースケール画像を処理し、スケーリングされたグレースケール画像に基づいて特徴ベクトルを生成するように構成された特徴抽出段階と、特徴ベクトルを処理し、特徴ベクトルに基づいて出力ベクトルを生成するように構成された分類段階とを含む２段階分類モデルを備える。画像処理要素は、オペレータへの表示のために出力ベクトルに基づいて、取得されたグレースケール画像の画像品質を決定するように更に構成され、取得されたグレースケール画像の画像品質は、取得されたグレースケール画像がアーチファクトを含む確率を示す。
【0006】
別の実施形態は、眼科処置中に術中診断デバイスから取得された画像データをリアルタイムで処理する方法を提供する。本方法は、術中診断デバイスから患者の眼のグレースケール画像を取り込むことであって、グレースケール画像が第１のサイズを有する、取り込むことと、画像取り込み要素からグレースケール画像を取得することと、２段階機械学習モデルによる分類に備えてグレースケール画像を前処理することと、を含む。本方法は、２段階機械学習モデルの特徴抽出段階によって前処理されたグレースケール画像に基づいて特徴ベクトルを生成することと、２段階機械学習モデルの分類段階によって特徴ベクトルに基づいて出力ベクトルを生成することと、を更に含む。本方法はまた、オペレータへの表示のために出力ベクトルに基づいて、取得されたグレースケール画像の画像品質を決定することを含む。取得されたグレースケール画像の画像品質は、取得されたグレースケール画像が術中診断デバイスによる測定に干渉するアーチファクトを含む確率を示す。
【0007】
別の実施形態は、眼科処置中に術中収差計から取得された画像内のアーチファクトを識別する２段階機械学習モデルを訓練する方法を提供する。本方法は、画像を取得することと、画像の各々について２段階機械学習モデルの特徴抽出段階によって特徴ベクトルを生成することと、生成された特徴ベクトルを積み重ねることに基づいて特徴行列を生成することと、特徴行列に基づいて分類段階を訓練することと、を含む。訓練された分類段階は、画像がアーチファクトを含む確率を示す処理された画像についての出力を生成する。
【0008】
他の実施形態は、上述した方法及び本明細書に記載の方法を実行するように構成された処理システム、処理システムの１つ又は複数のプロセッサによって実行されると、処理システムに、方法、並びに本明細書に記載される方法を実行させる命令を含む非一時的コンピュータ可読媒体、上述した方法及び本明細書に更に記載される方法を実行するためのコードを含むコンピュータ可読記憶媒体上に具現化されたコンピュータプログラム製品、上述した方法及び本明細書に更に記載される方法を実行するための手段を備える処理システムを提供する。
【0009】
以下の説明及び関連する図面は、１つ又は複数の実施形態の特定の例示的な特徴を詳述する。
【0010】
添付の図面は、１つ又は複数の実施形態の特定の態様を示しており、それゆえ、本開示の範囲を限定するものとみなされるべきではない。
【図面の簡単な説明】
【0011】
【図2A-2B】図２Ａは、特定の実施形態にかかる、図１のシステムによって実装される機械学習モデルによって個々の画像を処理するためのデータフローを示し、図２Ｂは、特定の実施形態にかかる、異なる機械学習モデルによって複数の画像を処理するためのデータフローのセットを示している。
【図3A-3C】図３Ａは、特定の実施形態にかかる、図１のシステムによって実装される機械学習モデルの特徴抽出段階として適用される畳み込みニューラルネットワーク（ＣＮＮ）のアーキテクチャを示している。図３Ｂは、特定の実施形態にかかる、図２Ａ及び図２Ｂの機械学習モデルの第１の段階（すなわち、特徴抽出段階）に適用されるＣＮＮのアーキテクチャの代表的な図を示している。図３Ｃは、特定の実施形態にかかる、取り込まれたデジタル画像の個々の画像について第１の段階によって生成された特徴ベクトルに基づいて出力ベクトルを生成する、図１のシステムの機械学習モデルの第２の段階（すなわち、分類段階）のアーキテクチャを示している。
【発明を実施するための形態】
【0012】
理解を促進するために、可能な限り同一の参照符号を使用して、各図面に共通する同一の要素を示している。一実施形態の要素及び特徴は、更なる説明を伴わずに他の実施形態に有益に組み込まれ得るように企図される。
【0013】
本開示の態様は、医療処置中に画像データ処理及び分析を実行するための装置、方法、処理システム、及びコンピュータ可読媒体を提供する。本明細書に記載の様々な例では、医療処置は、白内障手術などのヒトの眼に関するものであり、画像は、術中収差計などの診断デバイスによって提供され得る。
【0014】
術中収差測定は、一般に、外科医が手術室において屈折測定を行って眼内レンズ（ＩＯＬ）パワーの選択及び配置の決定を支援することを可能にするプロセスである。場合によっては、術中収差測定システムは、患者の眼を通る光波の伝播を表す「波面」を測定し得る。特に、術中収差計は、光波を不規則に網膜上に収束させる、患者の眼の不規則性によって引き起こされる光波の収差（歪み）を識別するように構成され得る。白内障は、眼の最適以下の動作を引き起こすそのような不規則性の１つである。例えばＩＯＬによる患者の生来の水晶体の置換は、最良の患者転帰を生成するために極端な精度を必要とする。術中収差計などの器具は、原則としてこの目的に非常に有効であるが、実際には、様々な一般的な状態がそれらの有効性を低下させ、外科的介入を損なう可能性がある。例えば、照明グリント、モーションアーチファクト、眼の流体中の浮遊物又は気泡、眼の過剰な水分又は乾燥、光学機器上のデブリなど、収差計によって生成及び／又は処理された画像データ内の視覚的アーチファクトは、屈折測定誤差につながる可能性があり、その結果、選択及び配置誤差及び患者の転帰不良につながる。更に、そのような視覚的アーチファクトは、複雑な処置、複雑な器具、及び患者を一度に管理するのに忙しい開業医によって容易に見過ごされることがある。
【0015】
従来のシステムの欠点を解決し、より信頼性の高い屈折測定、より正確な外科的介入、及びより良好な患者転帰を可能にするために、本明細書に記載の実施形態は、画像データを分析し、屈折測定の品質を低下させる可能性があるアーチファクトを識別する機械学習モデル（人工知能）を実装する。
【0016】
そのようなアーチファクトを識別することに加えて、本明細書に記載の実施形態は、例えば、識別されたアーチファクトを含む画像データ（例えば、画像データフレーム）をフィルタリングすることによって、屈折測定誤差を予防的に防止し得る。そのようなデータをフィルタリングすることにより、測定デバイスがそれらの測定値に基づいて不正確な測定及び不正確な決定を行うことを有利に防止し得る。
【0017】
更に、本明細書に記載の実施形態は、例えば、機械学習モデルによるリアルタイム分析に基づいて、リアルタイム画像データ内のアーチファクトが収差計によって処理される確率を医療施術者に積極的に示し得る。様々な実施形態では、本明細書に記載のシステムは、検出されたアーチファクト、検出されたアーチファクトに基づく測定誤差の可能性などを示すためのグラフィカルユーザインターフェース要素を生成するように構成され得る。このようにして、本明細書に記載の実施形態は、施術者からこのタスクをオフロードし、施術者がより正確で完全な情報に基づいてより正確な処置を実行することを可能にし、より良好な患者転帰をもたらす。そのようなグラフィカルユーザインターフェース要素及び同様の表示に基づいて、施術者は、画像データの品質を改善し、それによって屈折測定の品質及び精度を改善するために、システムを調整し得る（例えば、収差計のカメラ角度又は患者の眼の位置を調整し、撮像センサ又はコンポーネントを洗浄し、処置中に使用される器具を再配置する、など）。
【0018】
特に、多くの場合、本明細書に記載のシステム及び方法は、これらのシステムを使用する医療施術者によって容易に（又は全く）識別できないアーチファクトを識別し得る。例えば、小さなアーチファクト、分散したアーチファクト、断続的なアーチファクト、又は一時的なアーチファクトなどは、屈折測定誤差を引き起こすのに十分なほど重要であり得るが、最も訓練された人間の開業医であっても気付かない場合がある。したがって、本明細書に記載のシステム及び方法は、そのようなアーチファクトの存在を識別することができず、示すことができず、軽減することができない既存の技術に対する技術的改善を提供する。
【0019】
本明細書に記載の実施形態は、例えば、術中収差計によって使用される画像データ内のアーチファクトを識別するために、多段機械学習モデルを利用し得る。一例では、２段階機械学習モデルは、画像データから特徴を抽出するように構成された第１の又はフロントエンド段階を含む。特徴は、例えば、特徴ベクトルの形態で作成されてもよい。２段階機械学習モデルは、分類を実行するように構成された第２の又はバックエンド段階を更に含む。場合によっては、分類段階は、画像の特徴ベクトルに基づいて、第１の段階によって処理された画像が任意のアーチファクトを含む１つ又は複数の確率を示す出力ベクトルを生成するように構成され得る。組み合わせて、特徴抽出（すなわち、第１の）段階及び分類（すなわち、第２の）段階は、処理された画像データ内の１つ又は複数のアーチファクトを検出することができる。
【0020】
有益なことに、多段モデルアーキテクチャ（例えば、２段階アーキテクチャ）は、各段の個別のモジュール式訓練及び実装を可能にする。このようにして、特徴抽出段階を再訓練又は再設計する必要なしに、異なる（及び改善された）分類段階が実装されることができる。このモジュール性は、ひいては訓練時間及びリソース使用量を改善（低減）するため、モデル全体が容易且つ頻繁に発展され得て、本明細書に記載の術中収差測定システム、並びに最終的には処置の質及び患者転帰を順次改善する。
【0021】
本明細書の画像分析及び分類システム、方法、及び技術は、術中収差計を用いて術中に行われる１つ又は複数の処置に関して記載されているが、特定の実施形態では、本明細書に記載の画像分析及び分類システム、方法、及び技術は、術前及び／又は術後に利用されることもできる。例えば、本明細書に記載の画像分析及び分類システム、方法、及び技術は、術前処置中に利用されて、外科的処置に備えて手術計画を準備するための測定値及び画像を取得することができる。同様に、本明細書に記載の画像分析及び分類システム、方法、及び技術は、例えば、処置からの結果をチェック及び／又は検証するために術後に利用されることができる。更にまた、本明細書に記載の画像分析及び分類システム、方法、及び技術は、術前、術中、及び／又は術後に他の光学撮像デバイス（例えば、収差計以外）と共に使用されることができる。
【0022】
術中撮像システムの例
図１は、外科手術、診断、又は他の処置中に患者の眼１１０のデジタル画像を取り込むための例示的な撮像システム（本明細書ではシステム又は撮像システムと呼ばれる）１００のブロック図を示している。システム１００は、顕微鏡１０２、収差計１０４、コントローラ１０６、ユーザインターフェース１０８、及び患者の眼の表現を含む。
図１は、外科手術、診断、又は他の処置中に患者の眼１１０のデジタル画像を取り込むための例示的な撮像システム（本明細書ではシステム又は撮像システムと呼ばれる）１００のブロック図を示している。システム１００は、顕微鏡１０２、収差計１０４、コントローラ１０６、ユーザインターフェース１０８、及び患者の眼の表現を含む。
【0023】
顕微鏡１０２は、１つ又は複数の光学機構、観察機構、照明機構、及び／又は制御機構を備え得る。光学機構は、本明細書に記載の任意の処置中に、患者の眼などの顕微鏡１０２を通して見られる標的オブジェクトによって反射された光を合焦させるための１つ又は複数のレンズを含み得る。したがって、顕微鏡１０２は、オペレータ（例えば、外科医、看護師、助手、専門家などの医療施術者）が、裸眼で見るよりも大きな倍率で患者の眼（又はその一部）を見ることを可能にし、識別又はマーキング特徴などの追加の特徴を有する。接眼レンズ又はコンピュータ化されたインターフェースのうちの１つ又は複数を含み得る観察機構は、その中に配置された少なくとも１つの光学レンズを有する少なくとも１つの光学チャネルを含み得る。観察機構は、単眼又は両眼のいずれかであってもよく、オペレータが標的オブジェクトを拡大して見ることを可能にする。光学機構及び／又は観察機構の１つ又は複数の態様は、オペレータによって必要に応じて、又は自動化された方法で、光学機構、観察機構の焦点合わせ、患者の眼の位置決めなどに関して調整可能であり得る。いくつかの実施形態では、光学機構及び観察機構は、顕微鏡１０２の光路を含む。
【0024】
照明機構は、顕微鏡１０２の光路に可視光を提供及び／又は投射するように構成された光源を備え得る。照明機構は、オペレータによって必要に応じて、又は自動化された方法で、可視光を位置決め、合焦、又は他の方法で向けることに関して調整可能であり得る。
【0025】
制御機構は、オペレータが顕微鏡１０２の他の機構を手動で作動及び／又は調整することを可能にし得る。例えば、制御機構は、照明機構の調整（例えば、照明機構をオン／オフにし、及び／又は光のレベル、焦点などを調整するための制御）を可能にするコンポーネントを含み得る。同様に、制御機構は、（例えば、光学機構の自動又は手動の焦点合わせ、又は光学機構の移動を可能にして、標的の異なる標的又は部分を見ることができる、又は標的の倍率を変更することができるように）光学機構の調整を可能にするコンポーネントを含み得る。例えば、制御機構は、光学機構の調整（例えば、光学部品を水平方向及び／又は垂直方向に移動させ、倍率を増加及び／又は減少させるなどの制御）を可能にするノブ及び同様のコンポーネントを含み得る。更に、制御機構は、合焦素子、フィルタリング素子などの、観察機構の調整を可能にするコンポーネントを含み得る。いくつかの実施形態では、観察機構についての制御機構は、手動及び／又は自動で調整可能である。
【0026】
いくつかの実施形態では、顕微鏡１０２は、１つ又は複数の診断デバイスと共に使用されるか、又はそれと置き換えられる。オペレータは、任意の医療又は診断処置中に顕微鏡１０２を使用して、処置中のより良好な視認性のために患者の眼（又はその一部）を拡大し得る。更に、オペレータは、顕微鏡１０２（又は他の診断デバイス）を使用して、患者の眼１１０の単一及び／又は多次元の画像及び／又は他の測定値を取得し得る。顕微鏡１０２は、三次元立体デジタル顕微鏡（例えば、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍ（Ａｌｃｏｎ Ｉｎｃ．，Ｓｗｉｔｈｅｒｌａｎｄ））を備え得る。１つ又は複数の診断デバイスは、光コヒーレンストモグラフィ（ＯＣＴ）デバイス、回転カメラ（例えば、シャインプルーフカメラ）、磁気共鳴画像法（ＭＲＩ）デバイス、角膜計、眼科計、及び／又は光学生体計など、眼の解剖学的構造の単一及び／又は多次元カメラベースの（又は同様の）画像及び／又は測定値を取得及び処理するための多数のデバイスのいずれかであってもよい。
【0027】
収差計１０４は、コンバイナーミラー又はビームスプリッタを介して患者の眼１１０内に向けられる光ビームを生成する光源を含み得る。患者の眼１１０に向けられた光ビームは、患者の眼１１０からコンバイナーミラー又はビームスプリッタを介して収差計１０４に反射される。反射された光ビームは、収差計１０４によって取り込まれた画像に回折及び結像される前に、収差計１０４によって更に反射及び屈折される。例えば、収差計１０４は、患者の眼の画像を取り込み、記録し、及び／又は検出し、それをコンピュータ可読フォーマットに変換するように構成された少なくとも１つのカメラ、光検出器、及び／又は同様のセンサを含み得る。いくつかの態様では、少なくとも１つのカメラは、収差計１０４の一部ではなく、以下に更に記載されるように、収差計１０４から受信した情報に基づいて患者の眼の画像を生成するスタンドアロンコンポーネントである。
【0028】
収差計１０４（又は他の波面センサ若しくは診断デバイス）は、顕微鏡１０２と患者の眼１１０との間に配置されてもよい。例えば、収差計１０４は、コンバイナーミラー又はビームスプリッタなどの光を反射するための光学デバイスを含み得る。光学デバイスは、電磁スペクトル（例えば、電磁スペクトルの赤外光部分）の他の部分が光学デバイスを通過してオペレータが見るために顕微鏡１０２に入ることを可能にしながら、電磁スペクトル（例えば、電磁スペクトルの可視光部分）の部分を処理、分析、及び／又は測定のために収差計１０４に選択的に反射し得る。或いは、図１には示されていないが、システム１００は、収差計１０４及び顕微鏡１０２の各々と患者の眼１１０との間に配置された光学デバイスを含んでもよく、それにより、光は、一方を他方に通過することなく収差計１０４又は顕微鏡１０２のいずれかに向けられる。
【0029】
いくつかの実施形態では、システム１００は、患者の眼１１０の異なる視野及び／又は視点の画像を取り込むように構成された１つ又は複数のカメラ及び／又は撮像システム（図１には示されていない）を含み得る。場合によっては、１つ又は複数のカメラシステムは、各々、患者の眼１１０、顕微鏡１０２、及び／又は収差計１０４に対して異なる位置に配置される。場合によっては、異なるカメラシステムは、異なる波長で（例えば、可視光スペクトル、赤外スペクトルなどにおいて）動作する１つ又は複数の異なる光源（例えば、発光ダイオード（ＬＥＤ）、レーザなど）を使用してもよい。
【0030】
場合によっては、１つ又は複数のカメラは、コントローラ１０６に複数のタイプの画像又は画像のビューを提供してもよい。各タイプの画像又は画像ビューは、患者の眼１１０の異なる情報及び／又は態様を取り込み得る。例えば、複数の画像ビュー又はタイプは、（電磁スペクトルの）可視スペクトルの波長を有する光によって照明された広視野ビュー、８４０ナノメートル（ｎｍ）波長のＬＥＤ光によって照明されたフォーカスビュー、及び７４０ｎｍ波長の光によって照明されたインターフェログラムビューを含み得る。
【0031】
顕微鏡１０２と収差計１０４との組み合わせは、様々な処置の計画中及び実行中に患者の眼１１０の観察及び測定を可能にする。顕微鏡１０２及び収差計１０４は、各々、収差計１０４の視野が少なくとも部分的に顕微鏡１０２の視野と重複するように、且つ処置中に患者の眼１１０が視野の重複部分内に配置されたままであるように、例えば患者の眼１１０の表面に生じる点に合焦され得る。場合によっては、顕微鏡１０２及び収差計１０４は、各それぞれの視野の中心が患者の眼１１０のほぼ同じ点に位置するように、実質的に同じ点に合焦される。したがって、オペレータは、収差計１０４（及び／又は１つ若しくは複数のカメラ）が患者の眼１１０の画像を生成しながら、顕微鏡１０２を通して患者の眼１１０を見ることができる。
【0032】
より具体的には、１つ又は複数のカメラ（収差計１０４の一部又は収差計１０４の外部のいずれか）は、収差計１０４からの情報をコンピュータ可読フォーマットに変換し得る。コントローラ１０６は、カメラから画像を取得し得て、１つ又は複数のカメラによって取り込まれた画像を測定及び分析し得る（すなわち、収差計１０４からの情報は、コンピュータ可読フォーマットに変換される）。コントローラ１０６は、取り込まれた画像の特性、したがって処置中に検査された患者の眼１１０の屈折特性を定量化し得る。
【0033】
異なる画像ビューは、患者の眼１１０の異なる態様を取り込み得る。いくつかの実施形態では、広視野ビューは、患者の眼１１０の正面の完全なビューをオペレータに提供し得て、他の視野タイプの各々について視野内で患者の眼１１０の中心合わせを可能にし得る。患者の眼１１０のそのような広視野画像は、オペレータ又はシステム１００が認識する必要があり得る１つ又は複数の状態を示し得る１つ又は複数のアーチファクトを含み得る。例えば、広視野画像は、例えば光学素子又はコンバイナーミラー／ビームスプリッタ上のデブリによって引き起こされる、又は処置中に使用される機器が患者の眼１１０の角膜（例えば、開瞼機器）に近すぎることによって引き起こされるアーチファクトを含み得る。
【0034】
フォーカスビューは、患者の眼１１０の角膜で反射するときに、１つ又は複数の光源によって生成された光の画像取り込みを提供する。そのような画像は、患者の眼１１０からのシステム１００の距離（例えば、カメラ及び／又は収差計１０４の距離）の計算を可能にし得る。フォーカスビュー画像は、患者の眼１１０の１つ又は複数の部分における流体又は水和の変化に起因するアーチファクトを提示し得る。例えば、フォーカスビュー画像は、光源のうちの１つ又は複数からの光が患者の眼１１０の角膜前面の涙膜の乾燥に起因して広がる又は「崩壊する」ときのアーチファクトを含み得る。場合によっては、（自然に発生する涙液又は補足された涙液からの）液溜まりは、光源からの光をある方向に拡散又は伸長させ、「脚」アーチファクトを引き起こす。更にまた、フォーカスビュー画像によって取り込まれた（例えば、アナログカメラによって取り込まれた）偶数フレームと奇数フレームとの間の過剰な動きは、光反射のインターリーブアーチファクトを生成することがある。
【0035】
インターフェログラムビューは、処理されると、リアルタイム屈折データを含む眼収差データをオペレータに提供する画像ストリームの取り込みを可能にし得る。インターフェログラムビュー画像は、画像内に取り込まれた気泡の存在によって引き起こされるアーチファクト、照明グリント（患者の眼１１０からの光の反射の増加に対応し得る）、患者の眼１１０内の浮遊デブリ、及び通常のモアレスポットパターンの上部の一般的な歪みを含み得る。
【0036】
収差計１０４又は撮像デバイスによって取り込まれた任意の画像タイプ及び／又は画像は、上記の識別されたアーチファクトのいずれか１つ又は複数を含むことがあるか、又はアーチファクトを含まないことがある。
【0037】
コントローラ１０６は、例えば図２Ａ及び図２Ｂに関して記載されたように、１つ又は複数の機械学習モデルを適用することによって、画像が１つ又は複数のアーチファクトを含むかどうかを識別し得る。機械学習モデルは、一般に、コントローラ１０６によって受信されたデータに基づいて予測特徴を生成するための特徴抽出段階と、受信されたデータに様々なアーチファクト（例えば、画像データアーチファクト）があるかどうかを予測するための分類段階とを含み得る。特徴抽出段階及び分類段階の一方又は双方は、以前に取り込まれた画像のリポジトリ（例えば、以前の処置からの画像）に基づいて訓練及び最適化され得る。リポジトリは、それらが１つ又は複数のアーチファクトを含むか否かに関して手動で分類された（例えば、ラベル付けされた）画像と、画像が少なくとも１つのアーチファクトを含む場合、画像内にどのタイプのアーチファクトが存在するかに関して分類された（例えば、ラベル付けされた）画像とを含み得る。機械学習モデルの段階は、画像内のアーチファクトを識別する能力を改善するために、いくつかの以前にラベル付けされた画像によって訓練され得る。機械学習モデルに関する更なる詳細は、図２Ａ～図３Ｃに関して以下に提供される。
【0038】
収差計１０４及び／又はシステム１００のカメラによって生成された画像１１２は、処置中にオペレータに表示される。いくつかの実施形態では、ユーザインターフェース１０８は、オペレータによる観察及び／又は操作のために画像１１２を表示し得る。場合によっては、ユーザインターフェース１０８はまた、１つ又は複数の機械学習モデルを使用したコントローラ１０６による分析及び処理後の画像１１２に関する情報をオペレータに提示してもよい。
【0039】
ユーザインターフェース１０８は、品質棒グラフなどの１つ又は複数の画像品質インジケータ、及びユーザインターフェース１０８に表示される画像の値を提示し得る。例えば、ユーザインターフェース１０８は、特定の画像又は一連の画像が、４％の確率で第１のアーチファクト（例えば、グリント）を含み、９４％の確率で第２のアーチファクト（例えば、気泡）を含み、１％の確率で第３のアーチファクト（例えば、デブリ）を含み、１％の確率でアーチファクトを含まないことをオペレータに示し得る。したがって、システム１００は、オペレータがシステム１００によって取り込まれた画像データの品質を迅速且つ有意に監視することを可能にし、それは実行されている処置の品質及び最終的な患者転帰を有益に改善する。
【0040】
ユーザインターフェース１０８は、システム１００又は中央処理システムによって提供されるように、画像が１つ又は複数のアーチファクトを含む場合に画像の品質値を低減することによって、特定の画像が（上記のような）様々なタイプのアーチファクトを含むか又は含まないかを識別することができる。オペレータは、品質棒グラフ又は品質値及び対応する情報を使用して、画像を測定などのための処理から除外するかどうかを決定し、画像を処理から除外するかどうかのそのような決定をシステム１００又は中央処理システムのコントローラに提供し得る。いくつかの実施形態では、コントローラ１０６は、品質値に基づいて、画像を測定のための処理から除外する時期を自動的に決定し得る。例えば、表示された画像が少なくとも１つのアーチファクトを含む高い確率も示す場合、オペレータ又はコントローラ１０６による自動処理は、画像がそれに基づいて測定値生成から除外されるべきであると決定し得る。一方、表示された画像がアーチファクトを含む可能性が低いことを示す場合、オペレータ及び／又はコントローラ１０６による自動処理は、画像に基づいて測定値が生成されるべきであると決定し得る。品質棒グラフ及び値に関する更なる詳細は、以下に提供される。
【0041】
したがって、システム１００は、患者の眼１１０の画像１１２を取り込み、機械学習モデルを介して画像１１２の品質を評価し、画像１１２が１つ又は複数のアーチファクトを含むかどうかを決定するために外科手術において使用され得る。
【0042】
本明細書に記載の様々な態様は、例として眼又は同様の手術及び手順に関して記載されているが、本明細書に記載の技術は、Ｘ線画像、磁気共鳴撮像（ＭＲＩ）スキャン、コンピュータ断層撮影（ＣＴ）スキャンなどの他の医療撮像の場面に適用されることができることに留意されたい。
【0043】
【0044】
手短には、データフロー２００は、収差計１０４からの画像１１２の受信を含む。画像１１２は、機械学習モデル２０３による処理のための入力画像２０２を生成するために、前処理モジュール２０１によって前処理され得る。この例では、機械学習モデル２０３は、以下の２つの段階を含む：特徴ベクトル２０６を生成する第１の段階２０４と、例えば入力画像２０２が対応するアーチファクトタイプを含む１又は複数のアーチファクト確率２１０、２１２、及び２１４を表す少なくとも１つの出力ベクトルを生成する第２の段階２０８。機械学習モデル２０３は、各入力画像２０２を処理して、入力画像２０２、したがって対応する画像１１２が、１つ又は複数のアーチファクトを含むか、又はアーチファクトを含まないかを分類し得る。
【0045】
いくつかの実施形態では、データフロー２００は、図１のコントローラ１０６又は同様の処理コンポーネントにおいて発生するか、又は実行され得る。いくつかの実施形態では、データフロー２００は、１つ又は複数のコンピューティングデバイスを備え得る別個のコンピューティングシステム（図示せず）で発生するか、又はそれによって実行される。場合によっては、別個のコンピューティングシステムは、複数のシステム１００からの画像に機械学習モデルを適用してもよい。例えば、眼科診療は、外科手術、診断、又は他の処置中に使用される複数のシステム１００を含み得る。これらのシステム１００の各々は、システム１００の各々について患者の眼の取り込まれた画像に機械学習モデルを適用することができる別個のコンピューティングシステムと通信し得る。いくつかの実施形態では、別個のコンピューティングシステムは、ローカルに分散させることができ、クラウドベースであってもよく、又はそれらの組み合わせとすることができる。
【0046】
場合によっては、機械学習モデル２０３又は同様の機械学習モデルによって生成されたアーチファクト確率２１０、２１２、及び２１４は、データフロー２００にしたがって処理された画像１１２が１つ又は複数のアーチファクトを含む確率を示し得る。
【0047】
場合によっては、前処理モジュール２０１は、機械学習モデル２０３による処理のために画像１１２を前処理するように構成されている。具体的には、前処理モジュール２０１は、画像１１２を受信し、画像１１２内の関心領域を識別し、及び／又は入力画像２０２を準備する際に画像１１２の１つ又は複数の態様を変換し得る。関心領域は、画像１１２の中央領域などの特定の地理的領域の識別に基づいて生成され得る。いくつかの実施形態では、前処理モジュール２０１は、関心領域を識別するためのインテリジェンスを使用してもよい（例えば、画像分析の１つ又は複数の態様）。更にまた、前処理モジュール２０１は、画像１１２をスケーリングし、及び／又は（収差計１０４によって生成された）画像１１２の画素フォーマットを機械学習モデル２０３と互換性のあるフォーマットに変換するなど、画素フォーマットを変換してもよい。更にまた、前処理モジュール２０１は、画像１１２のチャネル数を調整してもよい。
【0048】
画像１１２は、（例えば、収差計１０４からの情報に基づいて）上記で導入されたカメラのうちの１つによって取り込まれ得る。画像１１２は、第１のカラープロファイル及び／又はサイズを有して取り込まれてもよい。例えば、画像１１２は、６４０×４８０画素のサイズを有するカラー画像であってもよい。画像がカラー画像である場合、画像１１２は、各々が対応するカラーデータを有する、赤色チャネル、緑色チャネル、及び青色チャネルなどの３つのデータチャネルを含み得る。したがって、前処理モジュール２０１は、画像１１２を前処理して画像１１２をサイズ変更し、画像１１２が予想される数のチャネルを含むことを保証し得る。例えば、機械学習モデル２０３は、入力画像パラメータサイズ（画素単位の高さ（Ｈ）×画素単位の幅（Ｗ）×チャネル数（Ｃ））４８０×４８０画素×３チャネル（例えば、カラー画像の赤色チャネル、緑色チャネル、及び青色チャネル）を有し得る。
【0049】
したがって、６４０×４８０画素のサイズを有するカラー画像である画像１１２について、前処理モジュール２０１は、（例えば、中心関心領域をトリミングすることによって）画像１１２を４８０×４８０画素のサイズにサイズ変更し、カラーチャネルを維持して、４８０×４８０画素のサイズを有するカラー画像として入力画像２０２を生成し得る。或いは、機械学習モデル２０３は、以下に更に詳細に記載される第１の段階２０４によって確立されるように、任意の他の値及びチャネル要件の入力パラメータ画素サイズを有してもよい。場合によっては、カラー画像は、カラー画像のカラーモデル又は色空間内の異なる色成分の異なる数のチャネルを含んでもよい。例えば、カラー画像は、とりわけ、シアン、マゼンタ、イエロー、ブラック（ＣＭＹＫ）色モデル又は輝度／彩度成分色空間（例えば、Ｙ－Ｃｂ－Ｃｒ）のうちの１つ又は複数を利用してもよく、これにより、対応する画像に使用されるチャネルの数を変更してもよい。
【0050】
画像１１２が（図示のように）グレースケール画像である場合、画像１１２は、単一のデータチャネルのみを含み得る。したがって、前処理モジュール２０１は、単一のデータチャネルを（例えば、赤色、緑色、及び青色チャネルの代わりに）３つのチャネルにわたって複製し得る。単一チャネルのそのような複製は、３つのチャネルを作成するために単一チャネルを複製するバンドを含み得る。更にまた、前処理モジュール２０１は、上述したように、必要に応じて画像１１２をサイズ変更し得る。したがって、画像１１２のチャネルのサイズ及び数にかかわらず、前処理モジュール２０１は、画像１１２を処理して、機械学習モデル２０３によって期待されるフォーマットの入力画像２０２を生成し得る。いくつかの態様では、機械学習モデル２０３の第１の段階２０４は、複数のチャネルを必要としないか、又は３つを超えるチャネルを必要とし得る。そのような場合、前処理モジュール２０１は、画像１１２を処理して、第１の段階２０４に適切なチャネル数を作成又は切り詰め得る。
【0051】
機械学習モデル２０３は、機械学習モデル２０３によって処理された各入力画像２０２がアーチファクトを含むかどうかを決定し得る。例えば、機械学習モデル２０３は、インターフェログラムタイプの入力画像２０２が、照明グリント、（患者の眼１１０内の）浮遊デブリ、（患者の眼１１０内の）気泡、又は上記で導入された別の歪みのうちの１つ又は複数によって引き起こされる１つ又は複数のアーチファクトを含むかどうかを決定し得る。機械学習モデル２０３は、処理された画像が１つ又は複数のアーチファクトタイプの１つ又は複数のアーチファクトを含む１つ又は複数の確率を表す１つ又は複数の出力ベクトルを生成し得る。機械学習モデル２０３が入力画像２０２が複数のアーチファクトを含むかどうかを決定することができる実施形態では、機械学習モデル２０３は、アーチファクトごとに個別の出力ベクトルを生成し得る。例えば、機械学習モデル２０３は、入力画像２０２が少なくとも１つのグリントアーチファクトを含む確率を示すアーチファクト確率２１０、入力画像２０２が少なくとも１つのデブリアーチファクトを含む確率を示すアーチファクト確率２１２、及び入力画像２０２が少なくとも１つの気泡アーチファクトを含む確率を示すアーチファクト確率２１４を含むように出力ベクトルを生成し得る。より具体的には、特定の実施形態では、機械学習モデル２０３は、単一の長さ３のベクトル（すなわち、３つの要素を有する）を出力し得る。出力ベクトルの３つの要素は、３つのアーチファクト確率（例えば、上記で導入されたように、アーチファクト確率２１０、アーチファクト確率２１２、及びアーチファクト確率２１４）に対応し得る。したがって、出力ベクトルの各要素は、対応する確率値に基づいて、対応するアーチファクトの０個又は少なくとも１つの入射を含むものとして画像を分類し得る。
【0052】
上記で導入されたように、機械学習モデル２０３は、入力画像２０２に基づいて特徴ベクトル２０６を生成する第１の段階２０４と、アーチファクト確率２１０、２１２、及び２１４を生成する第２の段階２０８とを含み得る。第１の段階２０４は、特徴抽出段階を含み得て、入力画像２０２の表現を生成するように構成され得る。例えば、第１の段階２０４によって生成された特徴ベクトルは、入力画像２０２の１つ又は複数の特性を表し得る。本明細書に記載の画像処理では、特徴は、画像及び画像を形成する画素の様々な態様に対応し得る。
【0053】
機械学習モデル２０３の第２の段階２０８は、第１の段階２０４によって生成された特徴ベクトルを処理して、アーチファクト確率２１０、２１２、及び２１４を生成し得る。第２の段階２０８は、分類段階に対応するか、又は分類段階を含み得る。分類段階は、第１の段階２０４によって生成された特徴ベクトルを取得し、もしあれば、処理された画像がどのアーチファクトを含むかを識別し得る。
【0054】
例示的なユースケースでは、システム１００は、６４０×４８０画素の画像サイズを有し、（例えば、グレースケール画像であるため）単一チャネルを有する画像１１２を取り込み得る。画像１１２は、１つ又は複数の気泡アーチファクトを含むことがある。コントローラ１０６（又は他の処理コンポーネント）は、前処理モジュール２０１を使用して、４８０×４８０画素の第２の画像サイズを有するように画像１１２をトリミングし、単一チャネル画像１１２を３つのチャネルにわたって複製して入力画像２０２を作成し得る。次いで、コントローラ１０６は、トリミングされて複製された入力画像２０２を機械学習モデル２０３によって処理して、アーチファクト確率２１０、２１２、及び２１４を生成し得る。１つ又は複数の気泡アーチファクトを有する取り込まれた画像１１２において、機械学習モデル２０３は、画像１１２がグリントアーチファクトを含む確率が１％であることを示すアーチファクト確率２１０を生成し、画像１１２が浮遊物アーチファクトを含む確率が２４％であることを示すアーチファクト確率２１２を生成し、画像１１２が気泡アーチファクトを含む確率が７５％であることを示すアーチファクト確率２１４を生成し得る。したがって、アーチファクト確率は、画像１１２がグリント及び浮遊物アーチファクト（それぞれ．０１及び．２４）を含む確率が低く、気泡アーチファクト（．７５）を含む確率が高いことを示す。
【0055】
場合によっては、処理コンポーネントは、機械学習モデル２０３によって生成されたアーチファクト確率を使用して、例えばユーザインターフェースを介して、上記で導入された品質棒グラフ又は品質値を生成し得る。例えば、上記で識別されたアーチファクト確率２１０、２１２、及び２１４に基づいて、処理コンポーネントは、オペレータに表示するための品質値を生成し得る。例えば、処理コンポーネントは、式１に基づいて品質棒グラフ及び／又は値を生成し得る。ここで、アーチファクト＿ｎ＿確率は、対応するアーチファクトタイプについて第２の段階２０８によって生成される出力ベクトルにおいて生成される確率である：
品質値＝１．０－アーチファクト＿ｎ＿確率（式１）
品質値＝１．０－アーチファクト＿ｎ＿確率（式１）
【0056】
したがって、画像１１２がグリントアーチファクトを含む．０１の確率、画像１１２が浮遊物アーチファクトを含む．２４の確率、及び画像１１２が気泡アーチファクトを含む．７５の確率を画像１１２が示すことを、アーチファクト確率２１０、２１２、及び２１４が、示す上記の例では、画像１１２についての品質棒グラフ、品質値、又は他のインジケータは、パーセンテージに変換され得る：
・グリントアーチファクトの場合、１．０－０．０１＝．９９、又は９９％であり、
・浮遊物アーチファクトの場合、１．０－．２４＝．７６、又は７６％であり、及び
・気泡アーチファクトの場合、１．０－．７５＝．２５、又は２５％である。
・グリントアーチファクトの場合、１．０－０．０１＝．９９、又は９９％であり、
・浮遊物アーチファクトの場合、１．０－．２４＝．７６、又は７６％であり、及び
・気泡アーチファクトの場合、１．０－．７５＝．２５、又は２５％である。
【0057】
場合によっては、コントローラ１０６は、機械学習モデル２０３によって生成された出力ベクトルについて（すなわち、出力ベクトルによって表されるアーチファクト確率について）の表示用の品質情報を生成する。代替的又は追加的に、コントローラ１０６は、これらの値と閾値との比較に基づいて表示用の品質情報を生成してもよい。例えば、コントローラ１０６は、画像１１２の品質が５０％などの閾値を下回るか、又は閾値を上回る（品質値を．５よりも小さくし、確率を．５よりも大きくする）場合にのみ、オペレータがレビューするための品質値データを生成してもよい。いくつかの実施形態では、品質値データを生成するための閾値は、２５～５０％（例えば、２５％、３０％、４０％、４５％、若しくは５０％、又はそれらの間の任意の値）の範囲又は５０％～７５％（例えば、５０％、５５％、６０％、６５％、７０％、若しくは７５％、又はそれらの間の任意の値）の範囲に含まれ得る。閾値はまた、オペレータによって選択可能な履歴データ（例えば、観察された傾向に基づく変数）などの１つ又は複数に基づいて確立及び／又は調整され得る。追加的又は代替的に、閾値は、オペレータ又は施設によって確立されてもよい。いくつかの実施形態では、コントローラ１０６は、全ての画像のオペレータレビューのための品質値データを生成するが、１つ又は複数の閾値範囲に基づいて画像と共に表示するためのラベルを適用する。
【0058】
そのような閾値範囲はまた、図８Ａ～図８Ｏを参照して、画像１１２についての１つ又は複数のラベル（例えば、「良好」、「不良」、「最低限」など）を決定するために使用され得る。したがって、各画像は、画像品質値の異なる範囲に基づいて表示されるか、又はラベルに関連付けられ得る。例えば、０％～５０％の画像品質は、「不良画像」ラベル、５１～７０％は「最低限画像」ラベル、及び７１～１００％は「良好画像」ラベル、又は０％～６５％は「不良画像」ラベル、６６～８５％は「最低限画像」ラベル、及び８６～１００％は「良好画像」ラベルなどに対応し得る。
【0059】
したがって、コントローラ１０６は、オペレータによるレビューを、閾値品質レベルを満たす（すなわち、１つ又は複数のアーチファクトを含まない可能性よりも高い）画像１１２のみに制限し得る。いくつかの実施形態では、コントローラ１０６は、品質レベル閾値が１つ又は複数の画像によって満たされなかったという簡略化された又は一般的な警告又はプロンプトをオペレータに提供し、閾値品質レベルを満たさなかった個々の画像及び／又は閾値品質レベルを満たさない原因となった対応するアーチファクトに関する更なる詳細を閲覧するオプションをオペレータに提供し得る。
【0060】
同様に、コントローラ１０６は、測定データを生成するために画像１１２が使用されるべきかどうかをオペレータに促し得る。場合によっては、コントローラ１０６は、閾値品質レベルを下回る品質値を有する画像１１２の処理が測定データを生成するために使用されるのを防止又は除外するために、画像１１２の更なる処理を制限するようにオペレータに推奨を提供してもよい。或いは、コントローラ１０６は、画像１１２の品質値に基づいてオペレータ入力なしに画像１１２の測定データへの処理を自動的に除外する。更にまた、コントローラ１０６は、画像の品質閾値レベルが満たされない原因となるアーチファクトを改善するための１つ又は複数の推奨をオペレータに提供してもよい。例えば、コントローラは、カメラ、清掃機器などのうちの１つ又は複数を再配置するようにオペレータに指示してもよい。
【0061】
更にまた、上記で導入されたように、コントローラ１０６は、画像１１２内の任意のアーチファクトの位置を識別するためにユーザインターフェース１０８を生成し得る。場合によっては、コントローラ１０６は、画像１１２に含まれるアーチファクトの位置を識別するために追加の機械学習モデル（図示せず）を実装してもよい。ユーザインターフェース１０８上の画像１１２内のアーチファクトの位置を識別することによって、コントローラ１０６は、オペレータが術中測定データを生成するために画像１１２を使用するか否かの決定をより容易且つ迅速に行うことを可能にする。
【0062】
いくつかの実施形態では、コントローラ１０６が、画像１１２の品質が所望の閾値を下回っていると識別した（すなわち、画像１１２が、画像の品質を閾値未満に低下させる１つ又は複数のアーチファクトを含むと決定する）場合、コントローラ１０６は、品質が低すぎるために画像１１２が測定値を生成するために使用されなかったことをオペレータに示すメッセージを表示し得る。そのような決定は、本明細書に記載されるように、オペレータ入力なしで自動的に行われてもよい。代替的又は追加的に、画像１１２の品質が十分に高いとコントローラ１０６が決定した場合、コントローラ１０６は、測定生成のための画像１１２の処理を可能にし、それらの測定値を画像１１２及び品質値と共に、処置中にリアルタイムでユーザインターフェースを介してオペレータに提供してもよい。
【0063】
上述した機械学習モデル２０３は、第１のタイプ、例えばインターフェログラムタイプの画像を処理してもよい。機械学習モデル２０３の態様は、任意の画像タイプ（例えば、第１の、又は特徴抽出段階２０４）に対して一般的であり得るが、異なる画像タイプは、画像１１２に取り込まれたときに異なる特性を有する異なるアーチファクトを含み得るため、第２の、又は分類段階２０８は、異なる画像タイプ（例えば、異なる層構成）に対して異なる設計又はアーキテクチャを使用し得る。したがって、以下に図２Ｂに関して更に記載されるように、機械学習モデルについての特徴抽出段階（すなわち、第１の段階２０４）及び異なる分類段階（すなわち、第２の段階２０８及び追加の段階）の複数又は異なる組み合わせが使用されて、異なるタイプの画像１１２が異なるタイプのアーチファクトを含むかどうかを決定し得る。
【0064】
機械学習モデルを使用して医療処置中に画像を分類するための例示的なデータフロー
図２Ｂは、異なる機械学習モデル２０３、２１７、及び２２７をそれぞれ有する複数の画像１１２ａ、１１２ｂ、及び１１２ｃを処理するためのデータフロー２５０ａ～２５０ｃのセットを示している。機械学習モデル２１７及び２２７の各々は、図２Ａの機械学習モデル２０３と同様の構造を有する。別個のデータフロー２５０ａ～２５０ｃは、システム１００の並列処理及び／又はマルチモデル機能を示し得る。
図２Ｂは、異なる機械学習モデル２０３、２１７、及び２２７をそれぞれ有する複数の画像１１２ａ、１１２ｂ、及び１１２ｃを処理するためのデータフロー２５０ａ～２５０ｃのセットを示している。機械学習モデル２１７及び２２７の各々は、図２Ａの機械学習モデル２０３と同様の構造を有する。別個のデータフロー２５０ａ～２５０ｃは、システム１００の並列処理及び／又はマルチモデル機能を示し得る。
【0065】
上述したように、収差計１０４は、画像データを同時に生成する収差計１０４内の異なる画像センサからなど、異なる画像タイプを有する画像を提供し得る。例えば、画像１１２ａ、１１２ｂ、及び１１２ｃは、広視野タイプ、フォーカスビュータイプ、及びインターフェログラムビュータイプのいずれかであってもよい。各画像タイプは、異なるタイプのアーチファクトを含む。したがって、各画像１１２ａ、１１２ｂ、及び１１２ｃは、異なる機械学習モデル２０３、２１７、及び２２７によって処理され得る。
【0066】
例えば、図２Ｂの機械学習モデル２０３は、インターフェログラムビュータイプの画像１１２ａ内のグリント、デブリ、及び／又は気泡を識別し得る。機械学習モデル２１７は、広視野タイプの画像１１２ｂ内のデブリ（例えば、上記で導入されたコンバイナーミラー又はビームスプリッタ上のデブリ）を識別し得る。機械学習モデル２２７は、フォーカスビュータイプの画像１１２ｃ内の患者の眼１１０内の流体の変化（例えば、患者の眼１１０の１つ又は複数の部分における過剰な乾燥又は過剰な流体）を識別し得る。図２Ｂの機械学習モデル２１７及び２２７に関する更なる詳細は、以下に提供される。
【0067】
データフロー２５０ａは、前処理モジュール２０１に供給する画像１１２が画像１１２ａとして識別されることを除いて、図２Ａのデータフロー２００に対応する。データフロー２５０ａの残りのコンポーネントは、図２Ａのデータフロー２００のコンポーネントに対応する。図２Ａを参照して上述したように、第２の段階２０８は、第１の段階２０４によって生成された特徴ベクトル２０６ａを取得し、もしあれば、干渉計タイプの処理された画像１１２ａがどのアーチファクトを含むかを識別し得る。
【0068】
データフロー２５０ｂは、データフロー２５０ａと同様のコンポーネントを含み、同様の番号のコンポーネントは、図２Ａを参照して記載された特性を有する。データフロー２５０ｂは、入力画像２０２ｂを生成するために前処理モジュール２０１によって前処理された画像１１２ｂを含む。前処理モジュール２０１は、図２Ａの前処理モジュール２０１に関して上述したように、画像１１２ｂを前処理して入力画像２０２ｂを生成し得る。入力画像２０２ｂは、機械学習モデル２１７によって処理されて、１つ又は複数のアーチファクト確率、例えば、１つ又は複数のアーチファクト確率２２０、２２２、及び２２４を生成する。機械学習モデル２１７は、図２Ａに関して上記で導入されたように特徴ベクトル２０６を生成する第１の段階２０４と同様に、入力画像２０２ｂに基づいて特徴ベクトル２０６ｂを生成する第１の段階２０４（すなわち、特徴抽出段階）を含む。
【0069】
第１の段階２０４によって生成された特徴ベクトル２０６ｂは、第２の段階２１８（すなわち、第２の段階２０８とは異なる分類段階）によって処理されて、アーチファクト確率２２０、２２２、及び２２４のうちの１つ又は複数を生成する。機械学習モデル２１７の第２の段階２１８は、第１の段階２０４によって生成された特徴ベクトル２０６ｂを処理して、アーチファクト確率２２０、２２２、及び２２４のうちの１つ又は複数を生成し得る。第２の段階２１８は、第２の段階２０８の分類段階と同様であるが、第２の段階２０８とは異なるアーチファクトタイプを分類及び／又は識別するように訓練された分類段階に対応するか、又は分類段階を含み得る。図２Ａを参照して上述したように、第２の段階２１８は、第１の段階２０４によって生成された特徴ベクトル２０６ｂを取得し、もしあれば、広視野タイプの処理画像がどのアーチファクトを含むかを識別し得る。
【0070】
第２の段階２１８は、第２の段階２０８と同じアーキテクチャ、パラメータ、重みなどとして開始し得るが、独立して訓練され、したがって、その入力データ固有の特徴に適合するように進化し得る。例えば、第２の段階２０８は、インターフェログラム画像タイプについてのアーチファクト確率２１０、２１２、及び２１４のうちの１つ又は複数を生成するように訓練されることができ、一方、第２の段階２１８は、広視野タイプ画像１１２ｂについてのアーチファクト確率２２０、２２２、及び２２４のうちの１つ又は複数を生成するように訓練されることができる。
【0071】
データフロー２５０ｃは、データフロー２５０ａと同様のコンポーネントを含む。具体的には、データフロー２５０ｃは、前処理モジュール２０１によって前処理されて入力画像２０２ｃを生成する画像１１２ｃを含む。前処理モジュール２０１は、図２Ａの前処理モジュール２０１に関して上述したように、画像１１２ｃを前処理して入力画像２０２ｃを生成し得る。入力画像２０２ｃは、機械学習モデル２２７によって処理されて、例えば、アーチファクト確率２３０、２３２、及び２３４のうちの１つ又は複数を表す、対応する出力ベクトルを生成する。機械学習モデル２２７は、図２Ａに関して上記で導入されたように特徴ベクトル２０６ａを生成する第１の段階２０４と同様に、画像１１２ｃに基づいて特徴ベクトル２０６ｃを生成する第１の段階２０４（すなわち、特徴抽出段階）を含む。
【0072】
第１の段階２０４によって生成された特徴ベクトル２０６ｃは、第２の段階２２８（すなわち、第２の段階２０８及び第２の段階２１８の分類段階とは異なる分類段階）によって処理されて、アーチファクト確率２３０、２３２、及び２３４のうちの１つ又は複数を生成する。第２の段階２２８は、第２の段階２０８の分類段階と同様に、分類段階に対応するか、又は分類段階を含み得る。図２Ａを参照して上述したように、分類段階は、第１の段階２０４によって生成された特徴ベクトル２０６ｃを取得し、もしあれば、フォーカスビュータイプの処理された画像がどのアーチファクトを含むかを識別し得る。
【0073】
第２の段階２２８は、第２の段階２０８及び第２の段階２１８と同じアーキテクチャ、パラメータ、重みなどとして開始し得るが、独立して訓練され、したがって、その入力データ固有の特徴に適合するように進化し得る。例えば、第２の段階２０８は、インターフェログラム画像タイプについてのアーチファクト確率２１０、２１２、及び２１４のうちの１つ又は複数を生成するように訓練されることができ、一方、第２の段階２２８は、フォーカスビュータイプ画像１１２ｃについてのアーチファクト確率２３０、２３２、及び２３４のうちの１つ又は複数を生成するように訓練されることができる。
【0074】
異なる画像タイプであってもよく、異なる機械学習モデル２０３、２１７、及び２２７にそれぞれ供給される画像１１２ａ、１１２ｂ、及び１１２ｃの各々は、同じ特徴抽出段階（すなわち、第１の段階２０４）であるが、異なる分類段階（すなわち、第２の段階２０８、第２の段階２１８、及び第２の段階２２８のそれぞれ）によって処理され得る。次いで、対応する出力ベクトルは、各画像１１２ａ、画像１１２ｂ、及び画像１１２ｃがそれぞれの画像タイプに対応する１つ又は複数のアーチファクトを含む確率を示す。例えば、アーチファクト確率２１０、２１２及び２１４は、インターフェログラムビュータイプの画像１１２ａがグリント、気泡、又は浮遊物のうちの１つ又は複数を（それぞれ）含む確率を示し、一方、アーチファクト確率２２０、２２２、及び２２４は、広視野タイプの画像１１２ｂがデブリ又は機器の配置によって引き起こされるアーチファクトのうちの１つ又は複数を含む確率を示し、アーチファクト確率２３０、２３２、及び２３４は、フォーカスビュータイプの画像１１２ｃが水和の懸念（涙の乾燥又は溜まり）又は動きによって引き起こされる１つ又は複数のアーチファクトを含む確率を示す。
【0075】
いくつかの実施形態では、図２Ｂには示されていないが、機械学習モデル２０３、２１７、及び２２７は、３つの第２の段階２０８、２１８、及び２２８による処理のために、画像１１２ａ、１１２ｂ、及び１１２ｃに基づいて特徴ベクトル２０６ａ、２０６ｂ、又は２０６ｃを生成する単一の共通の第１の段階２０４を使用するように組み合わされるか、又はそうでなければ構造化されてもよい。例えば、第１の段階２０４は、前処理モジュール２０１によって生成された全ての入力画像２０２ａ、２０２ｂ、及び２０２ｃを受信し得る。第１の段階２０４は、入力画像２０２ａに基づいて特徴ベクトル２０６ａを生成し、入力画像２０２ｂに基づいて特徴ベクトル２０６ｂを生成し、入力画像２０２ｃに基づいて特徴ベクトル２０６ｃを生成し得る。したがって、第１の段階２０４は、対応する特徴ベクトル２０６ａ、２０６ｂ、及び２０６ｃを対応する第２の段階２０８、２１８、及び２２８にそれぞれ供給し得る。そのようなアーキテクチャは、処理のために追加の時間を必要とするという犠牲を払ってオーバーヘッド及びリソース消費を低減し得る。
【0076】
画像分類機械学習モデルについての段階の例示的なアーキテクチャ
いくつかの実施形態では、機械学習モデル２０３の特徴抽出段階は、特徴生成深層ニューラルネットワーク、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、多層パーセプトロンニューラルネットワーク（ＭＬＰ）、又は同様のニューラルネットワークの特徴抽出部分を含むことができる。図３Ａは、カメラによって提供され、ＣＮＮによって処理及び／又は分析される個々の画像１１２についての特徴ベクトル２０６を生成する特徴抽出段階として適用されるＣＮＮの例示的なアーキテクチャを示している。ＣＮＮは、ＣＮＮの層における行列乗算とは対照的に畳み込みを適用し得るため、ＣＮＮは、他のニューラルネットワーク及び深層ニューラルネットワークとは異なり得る。
いくつかの実施形態では、機械学習モデル２０３の特徴抽出段階は、特徴生成深層ニューラルネットワーク、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、多層パーセプトロンニューラルネットワーク（ＭＬＰ）、又は同様のニューラルネットワークの特徴抽出部分を含むことができる。図３Ａは、カメラによって提供され、ＣＮＮによって処理及び／又は分析される個々の画像１１２についての特徴ベクトル２０６を生成する特徴抽出段階として適用されるＣＮＮの例示的なアーキテクチャを示している。ＣＮＮは、ＣＮＮの層における行列乗算とは対照的に畳み込みを適用し得るため、ＣＮＮは、他のニューラルネットワーク及び深層ニューラルネットワークとは異なり得る。
【0077】
図３Ａに示すように、ＣＮＮ ３００は、入力画像を処理するように構成された多層ニューラルネットワークを含む。ＣＮＮ ３００は、入力層３０２、畳み込み層３０４（隠れ層を含んでもよい）、及びプーリング層３０６の組み合わせに分割された複数のニューロンを含む。畳み込み層３０４のうちの１つは、畳み込み層３０４の入力及び出力がマスクされるとき、隠れ層とみなされ得る。本明細書において第１の段階２０４として適用されるＣＮＮ ３００は、上記で導入され、以下に更に詳細に記載されるように、その全結合層及び出力層を除去し、分類段階の層と置き換え得る。ＣＮＮ ３００は、コントローラ１０６又は専用プロセッサによって適用されてもよく、機械学習モデル、例えば、図２Ａ及び図２Ｂを参照して上述した機械学習モデル２０３、２１７、及び２２７のうちの１つ又は複数の特徴抽出段階の各々を実装するために使用されるニューラルネットワークを表してもよい。
【0078】
具体的には、ＣＮＮ ３００のアーキテクチャは、３つのチャネルを含む入力層３０２を含む。カラー画像の場合、入力層３０２の各チャネルは、赤色、緑色、及び青色の異なる色に対応する。入力層３０２は、各々が高さ、幅、及びチャネルの数を有する複数の画像を含む入力を受信し得る。ＣＮＮ ３００は、ＣＮＮ ３００のこれらの態様のいずれかのための任意の値を取り扱うように構成され得る。本明細書に記載の画像処理及び分類の例では、特徴抽出段階は、各々が約４８０×４８０画素のサイズ及び３つのチャネルを有するいくつかの入力画像を有するアーキテクチャを有するＣＮＮ ３００を備え得るが、各々が異なるサイズ及び／又はチャネル数を有する異なる数の画像の処理も考えられる。
【0079】
ＣＮＮ ３００のアーキテクチャは、いくつかの畳み込み層３０４を更に含む。各畳み込み層３０４は、画像の数、画像サイズ（高さ及び幅）、及び各画像のチャネルの数に対応する入力を受信し得る。畳み込み層３０４は、畳み込み層の入力を畳み込んで出力を生成することによって画像を抽象化し得て、出力は後続の層（例えば、別の畳み込み層３０４又はプーリング層３０６のうちの１つ）に渡される。畳み込み層３０４は、入力に畳み込みフィルタを適用し得る。フィルタは、フィルタによって覆われた画像の部分の出力値を生成する特定のストライドによって処理されている画像に沿って水平及び／又は垂直に適用される特定のサイズを有し得る。コントローラ１０６又は専用プロセッサは、対応するストライドによって各入力画像にフィルタを適用して、後続の層に渡される出力を生成し得る。いくつかの実施形態では、畳み込みフィルタは、入力層３０２のチャネル数の深さに対応する深さを有する。
【0080】
図３Ａに示すように、畳み込み層３０４の各々の後にプーリング層３０６が続く。プーリング層３０６は、機械学習モデル２０３の第１の段階２０４を適用するコントローラ１０６又は専用プロセッサによる処理を合理化し得る。具体的には、各プーリング層３０６は、先行する畳み込み層３０４によって生成された出力の次元を縮小し得る。効果的には、プーリング層３０６は、前の畳み込み層３０４によって生成された出力の数を削減し得る。プーリング層３０６は、前の畳み込み層３０４からの出力をプールするために、いくつかの関数のうちの１つ又は複数を適用し得る。例えば、機械学習モデル２０３の処理を実行する処理コンポーネントは、プーリング層３０６に対して、最大プーリング（先行する畳み込み層３０４からの出力部分のクラスタの最大値を取る）、平均プーリング（先行する畳み込み層３０４からの出力部分のクラスタの平均値を取る）、又は別のプーリング計算のうちの１つ又は複数を適用し得る。プーリング層３０６の結果は、後続の畳み込み層３０４又は平均プーリング層に提供されて、特徴ベクトルを生成し、機械学習モデル２０３の後続の段階に提供し得る。
【0081】
特徴抽出段階は、実行される処理に応じて、任意の数の畳み込み層３０４及びプーリング層３０６を含み得る。場合によっては、適用されるＣＮＮは、ＶＧＧ１６ ＣＮＮである。ＶＧＧ１６ ＣＮＮは、畳み込み層とプーリング層との組み合わせを、図３Ｂに関して以下に示す配置において利用し得る。
【0082】
図３Ｂは、例えば図２Ａ及び図２Ｂの機械学習モデル２０３、２１７、及び／又は２２７など、機械学習モデルの特徴抽出段階に適用されるＣＮＮのアーキテクチャ３２０の代表図を示している。いくつかの実施形態では、コントローラ１０６又は専用プロセッサによって適用されるアーキテクチャ３２０は、機械学習モデルの特徴抽出段階を実装するために使用されるニューラルネットワークを表し得る。
【0083】
上記で導入されたように、特徴抽出段階は、図３Ｂに示すように、ＶＧＧ１６ ＣＮＮの特徴抽出段階を含み得る。図３Ｂに示すＶＧＧ１６ ＣＮＮアーキテクチャ３２０では、アーキテクチャ３２０は、入力層３０２と、畳み込み層３０４及びプーリング層３０６の５つのグループ３２２とを含み、各グループは、いくつかの畳み込み層３０４及び１つのプーリング層３０６を含む。第１のグループ３２２ａは、第１の畳み込み層３０４ａと、第２の畳み込み層３０４ｂと、第１のプーリング層３０６ａとを有する。第２のグループ３２２ｂは、第３の畳み込み層３０４ｃと、第４の畳み込み層３０４ｄと、第２のプーリング層３０６ｂとを有する。第３のグループ３２２ｃは、第５の畳み込み層３０４ｅと、第６の畳み込み層３０４ｆと、第７の畳み込み層３０４ｇと、第３のプーリング層３０６ｃとを有する。第４のグループ３２２ｄは、第８の畳み込み層３０４ｈと、第９の畳み込み層３０４ｉと、第１０の畳み込み層３０４ｊと、第４のプーリング層３０６ｄとを有する。第５のグループ３２２ｅは、第１１の畳み込み層３０４ｋと、第１２の畳み込み層３０４ｌと、第１３の畳み込み層３０４ｍと、第５のプーリング層３０６ｅとを有する。第５のプーリング層３０６ｅに続いて、アーキテクチャ３２０は、ＶＧＧ１６ ＣＮＮによって処理された画像の特徴ベクトルを生成する最大プーリング層（図示せず）を含み得る。
【0084】
アーキテクチャ３２０は、ＶＧＧ１６アーキテクチャを表しているが、特徴抽出段階に適用されるアーキテクチャは、アーキテクチャ３２０によって処理された入力画像の特徴ベクトルを効率的且つ正確に生成するために、必要に応じて入力層３０２、畳み込み層３０４、プーリング層３０６及び／又は追加の層の任意の組み合わせを含んでもよいことが理解されよう。これらの層は、様々な配置、数、及び／又はそれらの組み合わせで、又は異なるＣＮＮ若しくは深層ニューラルネットワーク（ＤＮＮ）の異なるアーキテクチャにしたがって配置されてもよい。
【0085】
上記で導入されたように、機械学習モデルの特徴抽出段階に使用されるＣＮＮは、全結合層を含まなくてもよい。代わりに、機械学習モデル２０３は、図３Ｃに関して後述する分類モデル（すなわち、第２の段階２０８）に全結合層を含む。
【0086】
図３Ｃは、取り込まれたデジタル画像の個々の画像について第１の段階２０４によって生成された特徴ベクトルに基づいて出力ベクトルを生成する、図１のシステム１００の機械学習モデル２０３の分類モデル（すなわち、第２の段階２０８）の例示的なニューラルネットワークアーキテクチャ３５０を示している。ニューラルネットワークアーキテクチャ３５０は、例示的な実施形態にかかる多層深層ニューラルネットワークを示す。いくつかの実施形態では、処理コンポーネント（すなわち、コントローラ１０６又は専用プロセッサ）によって適用されるニューラルネットワークアーキテクチャ３５０は、図２Ａ及び図２Ｂを参照して上述した機械学習モデル２０３、２１７、又は２２７のうちの１つ又は複数の第２の段階２０８、第２の段階２１８、又は第２の段階２２８のうちの１つ又は複数（すなわち、分類段階のうちの１つ）を実装するために使用されるニューラルネットワークを表し得る。
【0087】
ニューラルネットワークアーキテクチャ３５０は、入力層３５４を使用して（特徴抽出段階によって出力された特徴ベクトルに対応する）入力データ３５２を処理し得る。入力データ３５２は、第１の段階２０４によって出力された特徴ベクトルに対応し得る。入力層３５４は、図示のように複数のニューロンを含む。ニューロンは、スケーリング、及び／又は範囲制限などによって入力データ３５２を個別に調整し得る。入力層３５４内の各ニューロンは、後続の隠れ層３５６の入力に供給される出力を生成する。各隠れ層３５６は、前の層（例えば、入力層３５４又は別の隠れ層３５６のいずれか）からの出力を処理する複数のニューロンを含む。いくつかの例では、隠れ層３５６のうちの１つのニューロンの各々が出力を生成し、出力は、その後、１つ又は複数の追加の隠れ層３５６を介して伝播される。ニューラルネットワークアーキテクチャ３５０は、任意の数の隠れ層３５６を含み得る。最終隠れ層３５６は、前の隠れ層３５６からの出力を処理して出力層３６０に供給される出力を生成する複数のニューロンを含み得る。出力層３６０は、隠れ層３５６からの出力を処理する１つ又は複数のニューロンを含む。ニューラルネットワークアーキテクチャ３５０は、代表的なものにすぎず、例えば、反復層を含む入力層３５４又は出力層３６０のうちの１つ又は複数を伴わずに、異なる数の隠れ層３５６を含むアーキテクチャなど、他のアーキテクチャが可能であることを理解されたい。
【0088】
いくつかの例では、ニューラルネットワークアーキテクチャ３５０の様々な層内のニューロンの各々は、その入力の組み合わせ（例えば、訓練可能な重み行列Ｗの重み付き和）を取り、任意の訓練可能なバイアスｂを加える。いくつかの例では、特定のニューロン、例えば出力層３６０のニューロンは、活性化関数ｆを含み得る。活性化関数は、一般に、シグモイド活性化関数などの非線形活性化関数であってもよい。しかしながら、上限及び／又は下限を有する活性化関数、対数シグモイド関数、双曲線正接関数、及び／又は正規化線形ユニット関数などの他の活性化関数も可能である。いくつかの例では、出力層３６０の各ニューロンは、出力層３６０の１つ又は複数の他のニューロンと同じ又は異なる活性化関数を有し得る。
【0089】
いくつかの実施形態では、分類段階の入力層内のニューロンの数は、特徴抽出段階によって生成された特徴ベクトル内の要素の数に等しい。
【0090】
分類段階の入力層は、訓練された重みを受信された特徴ベクトルに適用し、生成された結果を複数の隠れ層のうちの第１の隠れ層に渡し得る。第１の隠れ層は、入力層のニューロンを２倍含み得て、後続の各隠れ層は、前の隠れ層のニューロンの半分を有する。隠れ層のニューロンは、正規化線形ユニット活性化関数を含み得る。或いは、隠れ層のニューロンは、１つ又は複数の他の活性化関数を含み得る。分類段階の出力層は、処理されている画像のタイプに対するアーチファクトのタイプの数に等しい数のニューロンを含み得て、シグモイド活性化関数を有する。
【0091】
したがって、一例では、入力層３５４は、特徴ベクトル２０６の長さに等しい数のニューロン、又は上記で導入されたＶＧＧ１６ ＣＮＮによって生成された５１２要素の特徴ベクトルに対して５１２のニューロンを有する。入力層３５４は、訓練された重みを適用した後、１０２４個のニューロンを有し得る第１の隠れ層３５６への出力を生成する。ＲＥＬＵ活性化関数を有するニューロンを有する後続の各隠れ層３５６は、干渉計タイプの画像のアーチファクトに対して各々が１つである３つの出力ニューロンを有し（すなわち、グリント、浮遊物、及び気泡アーチファクトの各々に対して１つのニューロンである）、アーチファクト確率３６２を生成する出力層３６０まで、先行する隠れ層３５６のニューロンの半分を有する。アーチファクト確率２１０、２１２、及び２１４（例えば、インターフェログラムビュータイプの画像１１２ａについて）は、前述したように、画像１１２が対応するアーチファクトタイプの各々を含む確率を提供し得る。
【0092】
いくつかの実施形態では、機械学習モデル（及び同様の機械学習モデル）を使用するシステムは、画像が１つ又は複数のアーチファクトを含むか否かを正しく識別する際に様々な改善を提供する。例えば、システムは、約９７％の時間に１つ又は複数のアーチファクトを含む訓練画像を正確に識別することができ、検査画像が約９１％の時間に１つ又は複数のアーチファクトを含むか否かを正確に識別することができ、既存の技術に対する改善である。より具体的には、機械学習モデルを使用するシステムは、９９％の時間のグリントアーチファクトを有する訓練画像を正確に識別し、検査画像が９１％の時間にグリントアーチファクトを含むか否かを正確に識別した。更に、機械学習モデルを使用するシステムは、９７％の時間に浮遊物アーチファクトを有する訓練画像を正確に識別し、検査画像が９５％の時間に浮遊物アーチファクトを含むか否かを正確に識別した。更にまた、機械学習モデルを使用するシステムは、９７％の時間に気泡アーチファクトを有する訓練画像を正確に識別し、検査画像が９７％の時間に気泡アーチファクトを含むか否かを正確に識別した。（後述するように）更なる訓練は、既存の技術よりもシステムのアーチファクト検出能力を向上させ得る。
【0093】
機械学習モデルの訓練及び改善
いくつかの例では、機械学習モデル２０３（及び上述した様々な段階）は、１つ又は複数の学習方法を使用して訓練され得る。機械学習モデル２０３は、１つ又は複数のアーチファクトを含むことに関してラベル付けされた画像の集合を使用して訓練され得る。画像は、様々な以前の処置から取り込まれた画像又は他の処置からではない眼の画像であり得る。場合によっては、画像はタルボ・モアレ干渉計画像であり、データセットは、画像の訓練、検証、及び検査サブセットにランダムに分割されるが、機械学習モデル２０３を使用して様々な他のタイプの画像が分類され得る。集合内の各画像は、その中に含まれるアーチファクトに関して手動でレビューされ、ラベル付けされている場合がある。例えば、各画像は、画像が１つ又は複数の気泡領域、１つ又は複数の浮遊物領域、１つ又は複数のグリント領域、１つ又は複数のアーチファクトなどを含むか否かを示すようにラベル付けされてもよい。
いくつかの例では、機械学習モデル２０３（及び上述した様々な段階）は、１つ又は複数の学習方法を使用して訓練され得る。機械学習モデル２０３は、１つ又は複数のアーチファクトを含むことに関してラベル付けされた画像の集合を使用して訓練され得る。画像は、様々な以前の処置から取り込まれた画像又は他の処置からではない眼の画像であり得る。場合によっては、画像はタルボ・モアレ干渉計画像であり、データセットは、画像の訓練、検証、及び検査サブセットにランダムに分割されるが、機械学習モデル２０３を使用して様々な他のタイプの画像が分類され得る。集合内の各画像は、その中に含まれるアーチファクトに関して手動でレビューされ、ラベル付けされている場合がある。例えば、各画像は、画像が１つ又は複数の気泡領域、１つ又は複数の浮遊物領域、１つ又は複数のグリント領域、１つ又は複数のアーチファクトなどを含むか否かを示すようにラベル付けされてもよい。
【0094】
１つ又は複数のアーチファクトを有するものとしてラベル付けされた画像は、画像が含む１つ又は複数のアーチファクトを含む追加のラベル情報を含み得る。例えば、気泡及びデブリを含む眼の画像は、画像がアーチファクトを含み、アーチファクトが気泡及びデブリであることを示すラベルを有し得る。場合によっては、ラベル付き画像（及び一般的なデータセット）は、１つ又は複数のアーチファクトが位置する場所についての位置情報を含み、位置情報は、含まれるアーチファクトのタイプに関連付けられ得る。例えば、画像が気泡及びデブリを含むものとしてラベル付けされる場合、各位置が含まれるアーチファクトのタイプによって識別されるように、画像は、気泡がどこに位置するか、及びデブリがどこに位置するかを示すようにラベル付けされてもよい。
【0095】
いくつかの実施形態では、特徴抽出段階は、画像のデータセットを使用して以前に訓練された重みに設定され、分類段階のみが最適化される必要がある。そのような実施形態では、データセット内の各画像の特徴ベクトルは、特徴抽出段階によって事前に計算される。次いで、これらの特徴ベクトルは、特徴ベクトルが特徴ベクトルのサイズに等しい幅及びデータセット内の画像の数に等しい高さを有し、特徴抽出段階によって処理されるように、特徴ベクトルを積み重ねることによって特徴行列に形成されることができる。特徴行列は、記憶場所に記憶される。このような記憶は、分類段階の訓練の速度を改善し得る。場合によっては、分類段階を訓練する時間は、分類段階を訓練するときにデータセットの各訓練画像について画像特徴ベクトルを計算することと比較して、１００倍又は１０００倍程度改善されることができる。
【0096】
そのような効率改善は、特徴抽出段階及び分類段階を含む機械学習モデルのアーキテクチャが繰り返し調整され、分類段階が記憶された特徴行列に基づいて訓練される、分類段階のハイパーパラメータ最適化中に特に有利である。ハイパーパラメータ最適化は、分類段階の分類能力を改善するための分類段階のアーキテクチャの態様の選択に対応し得る。そのような選択（したがって、ハイパーパラメータ最適化）は、機械学習モデル又は機械学習モデルを使用するシステムのオペレータ又はユーザによって行われてもよい。
【0097】
場合によっては、ハイパーパラメータを最適化することは、利用可能な分布又は各ハイパーパラメータの利用可能な値のリストからハイパーパラメータの候補値を選択するアルゴリズムを適用することを含む。候補値を選択する他の方法は、候補値を選択する際に使用するために利用可能であると理解される。次いで、選択されたハイパーパラメータに基づいて生成されたアーキテクチャを有する機械学習モデルは、ラベル付き画像のデータセットの少なくとも一部（例えば、データセットの訓練セットの５倍交差検証）を使用して訓練及び評価され得る。ハイパーパラメータのいずれかに対して選択された値がそのハイパーパラメータの利用可能な範囲の端にある場合、そのハイパーパラメータの範囲は拡張されてもよく、ハイパーパラメータの最適化は、ハイパーパラメータがその対応する範囲の端になく、分類モデルの性能が所望の閾値及びパラメータ、例えば訓練画像のセットを用いて機械学習モデルを検査することから識別される値を満たすまで繰り返されるべきである。好ましいハイパーパラメータ及び対応する値の範囲の選択されたリストは、以下を含む：
・分類段階フィッティングアルゴリズムについての学習率
○値：［０．００１，０．０００３，０．０００１，０．００００３，０．００００１，０．０００００３］
・分類段階を訓練するためのエポックの数
○値：均一（５００，１００００）
・学習最適化器
○値：［Ａｄａｍ，ＳＤＧ，ＲＭＳｐｒｏｐ，Ａｄａｄｅｌｔａ，Ａｄａｇｒａｄ，Ａｄａｍａｘ，Ｎａｄａｍ］
・バッチサイズ
○値：［８，１６，３２，６４，１２８］
・隠れ層の数
○値：［１，２，３，４，５，６，７，８，９］
・各隠れ層のサイズ
○値：均一（１２８，２０４８）
・正則化の重み及び戦略（例えば、Ｌ１、Ｌ２、及び／又はドロップアウトなど）
○Ｌ１値：［０．０，０．０１，０．００３，０．００１，０．０００３，０．０００１，０．００００３，０．０００００１，０．００００００３］
○Ｌ２値：［０．０，０．０１，０．００３，０．００１，０．０００３，０．０００１，０．００００３，０．０００００１，０．００００００３］
○ドロップアウト％値：［０，０．００１，０．００３，０．０１，０．０３，０．１，０．３，１．０，３．０，１０．０，２０．０，３０．０，４０．０，５０．０］
・損失関数
○値：［バイナリ＿クロスエントロピー］
・層についての活性化関数
○値：［ＲＥＬＵ］。
・分類段階フィッティングアルゴリズムについての学習率
○値：［０．００１，０．０００３，０．０００１，０．００００３，０．００００１，０．０００００３］
・分類段階を訓練するためのエポックの数
○値：均一（５００，１００００）
・学習最適化器
○値：［Ａｄａｍ，ＳＤＧ，ＲＭＳｐｒｏｐ，Ａｄａｄｅｌｔａ，Ａｄａｇｒａｄ，Ａｄａｍａｘ，Ｎａｄａｍ］
・バッチサイズ
○値：［８，１６，３２，６４，１２８］
・隠れ層の数
○値：［１，２，３，４，５，６，７，８，９］
・各隠れ層のサイズ
○値：均一（１２８，２０４８）
・正則化の重み及び戦略（例えば、Ｌ１、Ｌ２、及び／又はドロップアウトなど）
○Ｌ１値：［０．０，０．０１，０．００３，０．００１，０．０００３，０．０００１，０．００００３，０．０００００１，０．００００００３］
○Ｌ２値：［０．０，０．０１，０．００３，０．００１，０．０００３，０．０００１，０．００００３，０．０００００１，０．００００００３］
○ドロップアウト％値：［０，０．００１，０．００３，０．０１，０．０３，０．１，０．３，１．０，３．０，１０．０，２０．０，３０．０，４０．０，５０．０］
・損失関数
○値：［バイナリ＿クロスエントロピー］
・層についての活性化関数
○値：［ＲＥＬＵ］。
【0098】
場合によっては、機械学習モデルの更なる最適化は、特徴抽出段階を再訓練することを含むことができる。そのような最適化は、特徴抽出段階の重みを再訓練することを含んでもよく、及び／又は特徴抽出段階のアーキテクチャのハイパーパラメータ最適化も含んでもよい。場合によっては、追加の出力層が分類段階に追加されることができる。追加の出力層は、画像品質をスコア化するために回帰を適用することを提供し得る。
【0099】
いくつかの実施形態では、機械学習モデルを訓練することは、ＶＧＧ１６ ＣＮＮ特徴抽出段階のための事前訓練された重みを用いて機械学習モデルを実装することを含む。したがって、ＶＧＧ１６ ＣＮＮ重みは完全に指定され得て、分類段階の重みのみが訓練によって決定されるままにする。訓練は、データセット又はリポジトリからの３つのチャネル及び４８０×４８０画素のサイズを有するラベル付き画像をＶＧＧ１６ ＣＮＮ段階によって処理することを含み得る。ＶＧＧ１６ ＣＮＮ段階は、５１２個の要素又はサンプルの長さを有する特徴ベクトル（例えば、特徴ベクトル２０６）を出力し得る。特徴ベクトルは、分類段階によって実行される分類タスクに適した画像特徴の集合を表し得る。特徴ベクトルの画像特徴の集合は、広範囲の画像タイプ（例えば、インターフェログラムタイプの画像、広視野タイプの画像、及びフォーカスビュータイプの画像）の特徴を含み得る。全結合分類段階によってＶＧＧ１６ ＣＮＮ段階からの特徴ベクトルを処理することは、機械学習モデルによって処理された画像内の各アーチファクトの存在の確率を表す出力ベクトルを生成する。
【0100】
【0101】
図４Ａは、アーチファクトを含まない患者の眼１１０のタルボ・モアレ画像の例である画像４００を示している。図示のように、画像４００は、患者の眼１１０内の光若しくは反射の非常に明るい領域、又は曇り若しくは抽象化のオブジェクト若しくは領域を含まない。
【0102】
図４Ｂは、グリントアーチファクト４１２を含む患者の眼１１０のタルボ・モアレ画像の例である画像４１０を示している。具体的には、患者の眼１１２の一部からの光源の過剰な反射によって引き起こされるグリントアーチファクト４１２が、画像４１０のほぼ中央に示されている。
【0103】
上記で導入された例示的なユースケースでは、ユーザインターフェース１０８は、画像４１０をオペレータに提示し得る。より具体的には、画像４１０がグリントアーチファクト４１２を含む場合、ユーザインターフェース１０８は、グリントアーチファクト４１２の位置を具体的に識別するための識別子４１４を用いて画像４１０を任意に又は選択的に表示する。場合によっては、識別子４１４は、画像４１０の特定の位置に観察者又はシステムの注意を引くために使用される任意の形状又はオブジェクトを表し得る。場合によっては、ユーザインターフェース１０８はまた、画像が識別子４１４によって識別される位置にグリントアーチファクト４１２を含むと考えられるというオペレータへのメッセージを含む。場合によっては、ユーザインターフェース１０８は、画像４１０がグリントアーチファクト４１２を含む確率が指定された閾値を超える（すなわち、画像４１０の品質値が指定された閾値を下回る）場合にのみ識別子４１４を表示する。
【0104】
図４Ｃは、いくつかの気泡アーチファクト４２２を含む患者の眼１１０のタルボ・モアレ画像の例である画像４２０を示している。具体的には、気泡アーチファクト４２２は、画像４２０内の患者の眼の周囲の複数の位置に示されている。
【0105】
上記で導入された例示的なユースケースでは、ユーザインターフェース１０８は、画像４２０をオペレータに提示し得る。より具体的には、画像４２０が気泡アーチファクト４２２を含む場合、ユーザインターフェース１０８は、気泡アーチファクト４２２の１つ又は複数の位置を具体的に識別するための識別子４２４を有する画像４２０を任意に又は選択的に表示する。場合によっては、識別子４２４は、画像４２０の特定の位置に観察者又はシステムの注意を引くために使用される任意の形状又はオブジェクトを表し得る。場合によっては、ユーザインターフェース１０８はまた、画像が識別子４２４によって識別される位置に気泡アーチファクト４２２を含むと考えられるというオペレータへのメッセージを含む。場合によっては、ユーザインターフェース１０８は、画像４２０が気泡アーチファクト４２２を含む確率が指定された閾値を超える（すなわち、画像４２０の品質値が指定された閾値を下回る）場合にのみ識別子４２４を表示する。
【0106】
図４Ｄは、浮遊物アーチファクト４３２を含む患者の眼１１０のタルボ・モアレ画像の例である画像４３０を示している。具体的には、浮遊物アーチファクト４３２は、画像４３０内の患者の眼の領域にわたって示されている。
【0107】
上記で導入された例示的なユースケースでは、ユーザインターフェース１０８は、画像４３０をオペレータに提示し得る。より具体的には、画像４３０が浮遊物アーチファクト４３２を含む場合、ユーザインターフェース１０８は、浮遊物アーチファクト４３２の位置を具体的に識別するための識別子４３４を用いて画像４３０を任意に又は選択的に表示する。場合によっては、識別子４３４は、画像４３０の特定の位置に観察者又はシステムの注意を引くために使用される任意の形状又はオブジェクトを表し得る。場合によっては、ユーザインターフェース１０８はまた、画像が識別子４３４によって識別される位置に浮遊物アーチファクト４３２を含むと考えられるというオペレータへのメッセージを含む。場合によっては、ユーザインターフェース１０８は、画像４３０が浮遊物アーチファクト４３２を含む確率が指定された閾値を超える（すなわち、画像４３０の品質値が指定された閾値を下回る）場合にのみ識別子４３４及びメッセージを表示する。
【0108】
図４Ｅは、グリントアーチファクト４４２及び浮遊物アーチファクト４４３の双方を含む患者の眼１１０のタルボ・モアレ画像の例である画像４４０を示している。具体的には、グリントアーチファクト４４２は、患者の眼の中心付近に示され、浮遊物アーチファクト４４３は、画像４４０内の患者の眼の領域にわたって示されている。
【0109】
上記で導入された例示的なユースケースでは、ユーザインターフェース１０８は、画像４４０をオペレータに提示し得る。より具体的には、画像４４０がグリントアーチファクト４４２及び浮遊物アーチファクト４４３を含む場合、ユーザインターフェース１０８は、グリントアーチファクト４４２の位置を具体的に識別するための識別子４４４と、浮遊物アーチファクト４４３の位置又は領域を識別するための識別子４４６とを用いて画像４４０を任意に又は選択的に表示する。
【0110】
場合によっては、識別子４４４及び４４６は、画像４４０の特定の位置に観察者又はシステムの注意を引くために使用される任意の形状又はオブジェクトを表し得る。場合によっては、ユーザインターフェース１０８はまた、画像が識別子４４４及び識別子４４６によって識別されるそれぞれの位置にグリントアーチファクト４４２及び浮遊物アーチファクト４４３を含むと考えられるというオペレータへのメッセージを含む。場合によっては、ユーザインターフェース１０８は、画像４４０がグリントアーチファクト４４２及び浮遊物アーチファクト４４３を含む確率が対応する指定された閾値を超えた（すなわち、画像４４０の品質値が指定された閾値を下回る）場合にのみ識別子４４４及び４４６を表示する。
【0111】
図４Ｆは、グリントアーチファクト４５２及び気泡アーチファクト４５３の双方を含む患者の眼１１０のタルボ・モアレ画像の例である画像４５０を示している。具体的には、グリントアーチファクト４５２は、患者の眼の中心付近に示され、気泡アーチファクト４５３は、画像４５０内の患者の眼の右縁に沿って示されている。
【0112】
上記で導入された例示的なユースケースでは、ユーザインターフェース１０８は、画像４５０をオペレータに提示し得る。より具体的には、画像４５０がグリントアーチファクト４５２及び気泡アーチファクト４５３を含む場合、ユーザインターフェース１０８は、グリントアーチファクト４５２の位置を具体的に識別するための識別子４５４と、気泡アーチファクト４５３の位置又は領域を識別するための識別子４５６とを用いて画像４５０を任意に又は選択的に表示する。場合によっては、識別子４５４及び４５６は、画像４５０の特定の位置に観察者又はシステムの注意を引くために使用される任意の形状又はオブジェクトを表し得る。場合によっては、ユーザインターフェース１０８はまた、画像が識別子４５４及び識別子４５６によって識別されるそれぞれの位置にグリントアーチファクト４５２及び気泡アーチファクト４５３を含むと考えられるというオペレータへのメッセージを含む。場合によっては、ユーザインターフェース１０８は、画像４５０がグリントアーチファクト４５２及び気泡アーチファクト４５３を含む確率が対応する指定された閾値を超えた（すなわち、画像４５０の品質値が指定された閾値を下回る）場合にのみ、識別子４５４及び４５６を表示する。
【0113】
図４Ｇは、複数の気泡アーチファクト４６２及び浮遊物アーチファクト４６３の双方を含む患者の眼１１０のタルボ・モアレ画像の例である画像４６０を示している。具体的には、気泡アーチファクト４６２は、患者の眼の上縁及び右縁に沿って示され、浮遊物アーチファクト４６３は、画像４６０内の患者の眼の領域にわたって示されている。
【0114】
上記で導入された例示的なユースケースでは、ユーザインターフェース１０８は、画像４６０をオペレータに提示し得る。より具体的には、画像４６０が気泡アーチファクト４６２及び浮遊物アーチファクト４６３を含む場合、ユーザインターフェース１０８は、気泡アーチファクト４６２の位置を具体的に識別するための識別子４６４と、浮遊物アーチファクト４６３の位置又は領域を識別するための識別子４６６とを用いて画像４６０を任意に又は選択的に表示する。場合によっては、識別子４６４及び４６６は、画像４６０の特定の位置に観察者又はシステムの注意を引くために使用される任意の形状又はオブジェクトを表し得る。場合によっては、ユーザインターフェース１０８はまた、画像が識別子４６４及び識別子４６６によって識別されるそれぞれの位置に気泡アーチファクト４６２及び浮遊物アーチファクト４６３を含むと考えられるというオペレータへのメッセージを含む。場合によっては、ユーザインターフェース１０８は、画像４６０が気泡アーチファクト４６２及び浮遊物アーチファクト４６３を含む確率が対応する指定された閾値を超えた（すなわち、画像４６０の品質値が指定された閾値を下回る）場合にのみ識別子４６４及び４６６を表示する。
【0115】
上記で導入されたように、アーチファクトを含まない患者の眼の画像は、処置中に使用するための測定値又は対応する情報を生成するために処理され得る。場合によっては、システムは、アーチファクトを含む１つ又は複数の画像が、処置中に使用するための測定値に依然として処理され得ると決定し得る。例えば、画像に含まれるアーチファクトが十分に小さいサイズであるか、又はその存在が測定値に最小限の影響しか及ぼさない特定の領域に位置する場合、オペレータ及び／又はシステムは、画像がそれに基づいて測定のための処理に進むことができると決定し得る。
【0116】
場合によっては、様々な要因が使用されて、１つ又は複数のアーチファクトを含む画像１１２が測定決定に進むことができるか否かを決定してもよい。オペレータ又はシステム１００は、画像１１２内のアーチファクトのサイズ、画像１１２内のアーチファクトの位置、及び画像１１２内のアーチファクトのタイプのうちの１つ又は複数に基づいて、１つ又は複数のアーチファクトを含む画像１１２が測定生成に進むことを決定し得る。具体的には、品質棒グラフ及び／又は品質値に関して上記で導入されたように、画像１１２がアーチファクトを含む確率に基づいて決定が行われる場合、決定は、アーチファクトの位置、サイズ、及び／又はタイプが画像１１２に基づいて生成された測定値に悪影響を及ぼすかどうかの分析に更に基づいて行われてもよい。例えば、画像１１２が患者の眼１１０の縁に沿った単一の気泡アーチファクトを含み、患者の眼１１０の閾値未満をカバーするサイズを有する場合、システム１００又はオペレータは、気泡アーチファクトを含む画像１１２が測定データ生成に依然として使用されることができると決定し得る。或いは、画像１１２が患者の眼１１０の中心付近に複数の気泡アーチファクトを含み、患者の眼１１０の閾値を超えるサイズを含む合成サイズを有する場合、システム１００又はオペレータは、気泡アーチファクトを含む画像１１２が測定データ生成に使用されることができないと決定し得る。
【0117】
測定データを生成するために１つ又は複数のアーチファクトを含む画像を使用するそのような決定は、様々な要因に基づいて画像固有であり得る。様々な要因は、患者の眼の利用可能なアーチファクトのない画像の数、少なくとも１つのアーチファクトを含む画像内のアーチファクトのタイプ、少なくとも１つのアーチファクトを含む画像内のアーチファクトのサイズ、少なくとも１つのアーチファクトを含む画像内のアーチファクトの位置などを含み得る。
【0118】
その中のアーチファクトを識別するための画像データのリアルタイム処理の例示的な方法
図５は、１つ又は複数のアーチファクトを含むデジタル画像を識別する例示的な方法５００を示している。例えば、図１のコントローラ１０６及び／又はシステム１００は、例えば図２Ａ及び図２Ｂの機械学習モデルに基づいて方法５００を実行するように構成され得る。
図５は、１つ又は複数のアーチファクトを含むデジタル画像を識別する例示的な方法５００を示している。例えば、図１のコントローラ１０６及び／又はシステム１００は、例えば図２Ａ及び図２Ｂの機械学習モデルに基づいて方法５００を実行するように構成され得る。
【0119】
方法５００は、ブロック５０２から開始し、ブロック５０４において、撮像デバイス（例えば、収差計１０４）の動作に基づいて画像（例えば、患者の眼１１０の画像１１２）を取り込むことから開始する。場合によっては、システム１００のカメラのうちの１つ又は複数が画像を取り込み得る。場合によっては、画像は、カラー画像（例えば、赤色層、緑色層、及び青色層の各々に１つずつの３つのデータチャネルを含む）又はグレースケール画像を含んでもよい。更にまた、画像は、画素（例えば、６４０×４８０画素）で測定される第１のサイズを有し得る。
【0120】
方法５００は、ブロック５０６において、画像取り込み要素から画像を取得することに続く。方法５００は、上述したように、カメラから画像を取得し得て、カメラは、画像取り込み要素に対応する。
【0121】
いくつかの実施形態では、画像を取得することは、図１に示すように、カメラ又は収差計１０４から画像１１２を受信することを含む。
【0122】
次いで、方法５００は、機械学習モデルによる分類についての準備において画像を前処理してブロック５０８に進む。いくつかの実施形態では、機械学習モデルは、図２Ａ～図３Ｃを参照して上述したように、２段階機械学習モデルである。いくつかの実施形態では、ブロック５０８の前処理は任意である。例えば、本明細書において説明されるように、前処理は、画像を機械学習モデルへの適切な入力として提示するために画像が処理される必要がある場合にのみ必要とされ得る。前処理は、画像のサイズ、画像内の画素のフォーマット、画像内のチャネルの数、及び／又は画像の関心領域の選択のうちの１つ又は複数を調整することを含むことができる。
【0123】
【0124】
次いで、方法５００は、ブロック５１０に進み、２段階機械学習モデルの特徴抽出段階によって前処理された画像に基づいて特徴ベクトルを生成する。いくつかの実施形態では、特徴抽出段階は、機械学習モデルの第１の段階であり、上記で導入されたＶＧＧ１６ ＣＮＮを含む。或いは、特徴抽出段階は、任意の他のニューラルネットワーク、例えば、ＶＧＧ１９、ＲｅｓＮｅｔ５０、Ｉｎｃｅｐｔｉｏｎ Ｖ３、Ｘｃｅｐｔｉｏｎなどの対応する特徴又は段階を含んでもよい。方法５００によって生成された特徴ベクトルは、出力ベクトルを含み得る。
【0125】
【0126】
次いで、方法５００は、ブロック５１２に進み、２段階機械学習モデルの分類段階によって特徴ベクトルに基づいて出力ベクトル（例えば、アーチファクト確率２１０、２１２又は２１４のうちの１つ）を生成する。場合によっては、ブロック５１２において生成された出力ベクトルは、機械学習モデルが識別するように構成されている全てのアーチファクトタイプの出力ベクトルの組み合わせを含む。この分類段階は、１つ又は複数の全結合層と、出力ベクトルを生成するために活性化関数を適用するニューロンを有する出力層とを含み得る。いくつかの実施形態では、出力層ニューロンの活性化関数は、シグモイド又はロジスティック活性化関数を含み得る。他の例では、活性化関数は、ソフトマックス活性化関数、又は確率出力を提供することができる別の活性化関数などの他の関数を含むことができる。
【0127】
場合によっては、ブロック５１２は、図２Ａ～図２Ｂに示すように、機械学習モデル２０３の第２の段階２０８によって特徴ベクトル２０６を処理して、アーチファクト確率２１０、２１２、及び２１４を生成することに対応する。例えば、生成された出力ベクトルは、アーチファクト確率２１０、２１２、及び２１４の各々を含んでもよく、又はアーチファクト確率２１０、２１２、及び２１４のうちの１つ又は複数の任意の組み合わせを含んでもよい。いくつかの実施形態では、分類段階は、機械学習モデル２０３の第２の段階２０８に対応する。
【0128】
次いで、方法５００は、ブロック５１４に進み、オペレータへの表示のために出力ベクトルに基づいて取得された画像１１２の画像品質を決定する。いくつかの実施形態では、出力ベクトルは、画像が１つ又は複数のアーチファクトを含む確率に関する確率情報を提供する。場合によっては、画像の品質は、上記式１にかかるこの確率に基づいて決定されることができる。したがって、画像品質は、画像がアーチファクトを含む確率を示し得て、アーチファクトを含むと、屈折の測定値及び患者の眼の他のデータと干渉し得る。次いで、方法５００は、ブロック５１６において終了する。
【0129】
例えば、アーチファクト確率２１０、２１２、及び２１４を表す出力ベクトルは、画像１１２が、気泡アーチファクトを含むことに関して．７５、グリントアーチファクトを含むことに関して．０１、及び浮遊物アーチファクトを含むことに関して．２４の確率を有することを示し得る。
【0130】
上記で導入されたように、方法５００は、一般に、収差計１０４又はシステム１００のカメラによって生成された各画像について繰り返し又は反復して実行され得る。
【0131】
特に、図５は単なる例示的な方法であり、本明細書に記載の様々な実施形態と一致して、追加の、異なる、及び／又はより少ないステップ（又はブロック）を有する他の方法が可能である。
【0132】
画像データを処理してその中のアーチファクトを識別するための機械学習モデルを訓練する例示的な方法
図６は、機械学習モデルを訓練して、１つ又は複数のアーチファクトを含むデジタル画像を識別するための例示的な方法６００を示している。機械学習モデルの訓練は、図１のコントローラ１０６及び／又はシステム１００、又はシステム１００の外部のコンポーネント又はシステムのうちの１つ又は複数によって完了し得る。方法６００は、例えば、図２Ａ及び図２Ｂの機械学習モデルを訓練するために使用され得る。いくつかの実施形態では、方法６００は、第２の段階２０８、２１８、及び／又は２２８（すなわち、分類段階）のみを訓練し、第１の段階２０４（すなわち、特徴抽出段階）は訓練されない。
図６は、機械学習モデルを訓練して、１つ又は複数のアーチファクトを含むデジタル画像を識別するための例示的な方法６００を示している。機械学習モデルの訓練は、図１のコントローラ１０６及び／又はシステム１００、又はシステム１００の外部のコンポーネント又はシステムのうちの１つ又は複数によって完了し得る。方法６００は、例えば、図２Ａ及び図２Ｂの機械学習モデルを訓練するために使用され得る。いくつかの実施形態では、方法６００は、第２の段階２０８、２１８、及び／又は２２８（すなわち、分類段階）のみを訓練し、第１の段階２０４（すなわち、特徴抽出段階）は訓練されない。
【0133】
方法６００は、ブロック６０２において開始し、ブロック６０４において、機械学習モデルを訓練するために使用される画像を取得することから開始する。場合によっては、画像は、画像取り込みデバイス（例えば、収差計１０４及び／又はシステム１００のカメラのうちの１つ又は複数）からリアルタイムで取得される。場合によっては、画像は、データストア、例えば、機械学習モデルの訓練に使用するための画像のデータベースから取得される。場合によっては、取得された画像は、それらがアーチファクトを含むか否か、及び含む場合にはそれらがどのようなアーチファクトを含むかに関してラベル付けされる。
【0134】
方法６００は、ブロック６０６において、画像の各々について２段階機械学習モデルの特徴抽出段階によって特徴ベクトルを生成することに続く。上記で導入されたように、特徴抽出段階は、特徴抽出段階（例えば、機械学習モデル２０３の第１の段階２０４）を画像、例えばＶＧＧ１６ ＣＮＮアーキテクチャを有する特徴抽出段階に適用することに基づいて特徴ベクトルを生成する。場合によっては、機械学習モデルの特徴抽出段階（例えば、ＶＧＧ１９など）に対して他の特徴抽出段階が実装されることができる。いくつかの実施形態では、各画像の特徴ベクトルは、同じ次元（例えば、１×５１２の要素又はサンプルの次元）を有する。
【0135】
方法６００は、ブロック６０８において、生成された特徴ベクトルを積み重ねることに基づいて特徴行列を生成することに続く。生成された特徴ベクトルを積み重ねることは、単に、特徴行列を作成するためにそれらを互いに重ねることによって、いくつかの特徴ベクトルから行列を作成することを含み得る。特徴行列は、特徴ベクトルの長さの次元と、互いに積み重ねられたいくつかの特徴ベクトルの高さとを有する。本明細書の例示的なユースケースでは、特徴行列は、第１の段階２０４及び機械学習モデル２０３（例えば、データセットの全ての画像）によって処理された各画像について第１の段階２０４によって生成された特徴ベクトル２０６を積み重ねることによって生成され得る。
【0136】
方法６００は、特徴行列に基づいて分類段階を訓練するブロック６１０に続く。場合によっては、分類段階（すなわち、第２の段階２０８）は、分類段階によって処理された画像内のアーチファクトを適切に識別するように分類段階を訓練するために、取得された訓練画像に基づいて生成された特徴行列を使用することを含む。アーチファクトを適切に識別することは、画像がアーチファクトを含む場合にはアーチファクトの高い確率を、画像がアーチファクトを含まない場合にはアーチファクトの低い確率を識別する出力を生成する第２の段階２０８を含み得る。いくつかの実施形態では、第２の段階２０８の活性化関数は、分類段階の訓練の一部として変更されてもよい。いくつかの実施形態では、次いで、訓練された第２の段階２０８が使用されて、１つ又は複数の処置中に使用される診断撮像デバイス（例えば、収差計１０４）からリアルタイムで受信した画像が１つ又は複数のアーチファクトを含むかどうかを決定し得る。次いで、方法６００は、ブロック６１２において終了する。
【0137】
上記で導入されたように、方法６００は、一般に、繰り返し又は反復して実行され得る。
【0138】
特に、図６は単なる例示的な方法であり、本明細書に記載の様々な実施形態と一致して、追加の、異なる、及び／又はより少ないステップ（又はブロック）を有する他の方法が可能である。
【0139】
例示的な処理システム
図７は、処理システム又はデバイスの実施形態の図である。いくつかの実施形態によれば、図７の処理システムは、収差計１０４、コントローラ１０６、及び／又はユーザインターフェース１０８などを参照して、本明細書に記載の機械学習モデル処理を実装する術中収差測定システムのうちの１つ又は複数に含まれ得るコンピューティングシステムを表す。具体的には、図７の処理システムは、データフロー２００、２５０ａ、２５０ｂ、及び２５０ｃにしたがって機械学習モデル２０３、２１７、及び２２７のうちの１つ又は複数を実装し得て、図４Ａ～図４Ｇなどに示すように、患者の眼の画像の画像データ内のアーチファクトを識別するために本明細書において導入及び説明される。
図７は、処理システム又はデバイスの実施形態の図である。いくつかの実施形態によれば、図７の処理システムは、収差計１０４、コントローラ１０６、及び／又はユーザインターフェース１０８などを参照して、本明細書に記載の機械学習モデル処理を実装する術中収差測定システムのうちの１つ又は複数に含まれ得るコンピューティングシステムを表す。具体的には、図７の処理システムは、データフロー２００、２５０ａ、２５０ｂ、及び２５０ｃにしたがって機械学習モデル２０３、２１７、及び２２７のうちの１つ又は複数を実装し得て、図４Ａ～図４Ｇなどに示すように、患者の眼の画像の画像データ内のアーチファクトを識別するために本明細書において導入及び説明される。
【0140】
図７は、システム７００のコンポーネントが互いに電気的に通信しているコンピューティングシステム７００を示している。システム７００は、プロセッサ７１０と、様々なコンポーネントを結合するシステムバス７０５とを含む。例えば、バス７０５は、プロセッサ７１０を、読取り専用メモリ（ＲＯＭ）７２０、及び／又はランダムアクセスメモリ（ＲＡＭ）７２５など（例えば、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ、及び／又は任意の他のメモリチップ又はカートリッジ）などの様々なメモリコンポーネントに結合する。システム７００は、プロセッサ７１０に（直接的又は間接的に）接続された、近接した、又はその一部として統合された高速メモリのキャッシュ７１２を更に含み得る。システム７００は、プロセッサ７１０による高速アクセスのために、キャッシュ７１２を介してＲＯＭ７２０、ＲＡＭ７２５、及び／又は１つ若しくは複数の記憶デバイス７３０に記憶されたデータにアクセスし得る。いくつかの例では、キャッシュ７１２は、ＲＯＭ７２０、ＲＡＭ７２５、及び／又はキャッシュ７１２に以前に記憶された１つ若しくは複数の記憶デバイス７３０からのデータにアクセスする際のプロセッサ７１０による遅延を回避する性能向上を提供し得る。いくつかの例では、１つ又は複数の記憶デバイス７３０は、１つ又は複数のソフトウェアモジュール（例えば、ソフトウェアモジュール７３２、７３４、７３６、７３８、及び／又は７３９など）を記憶する。ソフトウェアモジュール７３２、７３４、７３６、７３８、及び／又は７３９は、方法５００及び／又は６００のプロセスなどの様々な動作を実行するようにプロセッサ７１０を制御し得る、及び／又は制御するように構成され得る。いくつかの態様では、ソフトウェアモジュール７３２、７３４、７３６、７３８、及び／又は７３９のうちの１つ又は複数は、本明細書に記載の機械学習モデル２０３、２１７、及び／又は２２７の詳細を含む。いくつかの例は、他の機能を実行するようにプロセッサ７１０をプログラムするための追加の又はより少ないソフトウェアモジュール及び／又はコードを含み得る。
【0141】
いくつかの実施形態では、ソフトウェアモジュール７３２は、画像を前処理するようにプロセッサ７１０をプログラムする命令を含む。画像を前処理するためのコードは、プロセッサ７１０（又はコンピューティングシステム７００若しくは任意の他のコンピューティングシステムのための任意の他のコンポーネント）に、収差計１０４及び／又はシステム１００のカメラによって生成された画像１１２を前処理させ得る。プロセッサ７１０は、画像１１２のサイズ、画像１１２の画素のフォーマットを調整すること、画像１１２内の関心領域を識別すること、又は画像１１２のチャネルの数を変更することのうちの１つ又は複数を行い、それによって入力画像２０２を生成し得る。
【0142】
いくつかの実施形態では、ソフトウェアモジュール７３４は、特徴ベクトルを生成するようにプロセッサ７１０をプログラムする命令を含む。特徴ベクトルを生成するためのコードは、プロセッサ７１０（又はコンピューティングシステム７００若しくは任意の他のコンピューティングシステムのための任意の他のコンポーネント）に、機械学習モデル２０３（又は対応する機械学習モデル２０３）の第１の段階２０４を適用させて、入力画像２０２を処理及び分析させて特徴ベクトルを生成させ得る。機械学習モデル２０３の第１の段階２０４は、ＶＧＧ１６ ＣＮＮなどの任意の特徴生成ニューラルネットワークコンポーネントを含んでもよい。
【0143】
いくつかの実施形態では、ソフトウェアモジュール７３６は、出力ベクトルを生成するようにプロセッサ７１０をプログラムする命令を含む。出力ベクトルを生成するためのコードは、プロセッサ７１０（又はコンピューティングシステム７００若しくは任意の他のコンピューティングシステムのための任意の他のコンポーネント）に、機械学習モデル２０３（又は対応する機械学習モデル２０３）の第２の段階２０８を適用させて、特徴ベクトルを処理及び分析させて出力ベクトルを生成させ得る。機械学習モデル２０３の第２の段階２０８は、処理された画像が対応するアーチファクトを含む確率を識別する出力ベクトルを生成するためにシグモイド活性化関数を使用する出力層を有する全結合層などの任意の分類ニューラルネットワークコンポーネントを含み得る。
【0144】
いくつかの実施形態では、ソフトウェアモジュール７３８は、生成された出力ベクトルに基づいて画像品質を決定するようにプロセッサ７１０をプログラムする命令を含む。画像品質を決定するためのコードは、プロセッサ７１０（又はコンピューティングシステム７００若しくは任意の他のコンピューティングシステムのための任意の他のコンポーネント）に、出力ベクトル内で識別された確率を分析させて、出力ベクトル内の確率に基づいて対応する画像品質を決定させ得る。
【0145】
いくつかの実施形態では、ソフトウェアモジュール７３９は、機械学習モデル２０３を訓練するようにプロセッサ７１０をプログラムする命令を含む。機械学習モデルを訓練するためのコードは、プロセッサ７１０（又はコンピューティングシステム７００若しくは任意の他のコンピューティングシステムのための任意の他のコンポーネント）に、機械学習モデル２０３（又は対応する機械学習モデル２０３）の第１の段階２０４又は第２の段階２０８のうちの１つ又は複数を訓練させ得る。場合によっては、段階を訓練することは、ラベル付き画像のデータセットを使用して、ラベル付き画像に基づいて対応する段階のパラメータ、重み、及び／又はバイアスを識別及び訓練し、段階がラベルにしたがって画像を分類することを可能にすることを含み得る。
【0146】
システム７００は１つのプロセッサ７１０のみによって示されているが、プロセッサ７１０は、１つ又は複数の中央処理装置（ＣＰＵ）、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、グラフィックス処理装置（ＧＰＵ）、及び／又はテンソル処理装置（ＴＰＵ）などを表し得ることが理解される。いくつかの例では、システム７００は、スタンドアロンサブシステムとして、及び／又はコンピューティングデバイスに追加されたボードとして、又は仮想マシンとして、又はクラウドベースの処理マシンとして実装されてもよい。
【0147】
システム７００とのユーザ相互作用を可能にするために、システム７００は、１つ又は複数の通信インターフェース７４０及び／又は１つ又は複数の入力／出力（Ｉ／Ｏ）デバイス７４５を含む。いくつかの例では、１つ又は複数の通信インターフェース７４０は、１つ又は複数のネットワーク及び／又は通信バス規格にしたがって通信を提供するために、１つ又は複数のネットワークインターフェース、及び／又はネットワークインターフェースカードなどを含んでもよい。いくつかの例では、１つ又は複数の通信インターフェース７４０は、ネットワークを介してシステム７００と通信するためのインターフェースを含んでもよい。いくつかの例では、１つ又は複数のＩ／Ｏデバイス７４５は、１つ又は複数のユーザインターフェースデバイス（例えば、キーボード、ポインティング／選択デバイス（例えば、マウス、タッチパッド、スクロールホイール、トラックボール、及び／又はタッチスクリーンなど）、オーディオデバイス（例えば、マイクロフォン及び／又はスピーカ）、センサ、アクチュエータ、及び／又は表示デバイスなど）を含んでもよい。
【0148】
１つ又は複数の記憶デバイス７３０の各々は、ハードディスク、光学媒体、及び／又はソリッドステートドライブなどによって提供されるもののような、非一時的及び不揮発性記憶デバイスを含んでもよい。いくつかの例では、１つ又は複数の記憶デバイス７３０の各々は、システム７００と同じ場所に配置されてもよく（例えば、ローカル記憶デバイス）、及び／又はシステム７００から離れていてもよい（例えば、クラウドストレージデバイス）。
【0149】
いくつかの実施形態によれば、システム７００は、方法５００及び／又は６００のプロセスの実行においてユーザ（例えば、外科医及び／又は他の医療関係者又はオペレータ）を支援するのに適したグラフィカルユーザインターフェース（ＧＵＩ）を提供し得る。例えば、ＧＵＩは、図１のユーザインターフェース１０８を提供し得る。ＧＵＩは、システム１００によって取り込まれた画像、品質棒グラフ、及び機械学習モデル２０３、２１７、及び／又は２２７によって生成された他の情報の描写、処理に関して画像を保持するか又は除外するかに関するオペレータへの命令又は推奨、（例えば、図４Ａ～図４Ｇに示すように）患者の眼の画像内のアーチファクトの識別、オペレータ入力の要求、及び／又はオペレータへのメッセージなどを含み得る。いくつかの例では、ＧＵＩは、患者の眼のトゥルーカラー及び／又はグレースケール画像などを表示し得る。
【0150】
分類された画像の例示的な表示
図８Ａ～図８Ｏは、複数の実施形態にかかる、グラフィカルユーザインターフェースを介して画像品質及び／又は任意の検出されたアーチファクトの詳細を有する患者の眼のデジタル画像をユーザに提供するための表示概念である。これらの表示概念は、患者の眼の画像に関する情報、すなわち画像がアーチファクトを含むかどうか、及び画像の品質に関する情報をオペレータに提示するための様々な方法を示す。更にまた、表示概念は、含まれるアーチファクトの位置、並びに画像が「良好」画像であるか又は「不良」画像であるか、及び／又は画像の品質などの画像のメトリックを識別し得る。図８Ａ～図８Ｏは、単なる例であり、他の実装も可能であることに留意されたい。
図８Ａ～図８Ｏは、複数の実施形態にかかる、グラフィカルユーザインターフェースを介して画像品質及び／又は任意の検出されたアーチファクトの詳細を有する患者の眼のデジタル画像をユーザに提供するための表示概念である。これらの表示概念は、患者の眼の画像に関する情報、すなわち画像がアーチファクトを含むかどうか、及び画像の品質に関する情報をオペレータに提示するための様々な方法を示す。更にまた、表示概念は、含まれるアーチファクトの位置、並びに画像が「良好」画像であるか又は「不良」画像であるか、及び／又は画像の品質などの画像のメトリックを識別し得る。図８Ａ～図８Ｏは、単なる例であり、他の実装も可能であることに留意されたい。
【0151】
図８Ａは、「良好」画像８２０の基本表示、及びここではテキスト「良好画像」を含む、画像８２０の画像品質を識別するラベル８２２の表示概念８００を示している。特定の実施形態では、「良好」画像は、アーチファクトを含まないか、又はそうでなければ患者の眼の１つ又は複数の測定値に対して処理されることができる患者の眼の画像を含む。「良好画像」の分類は、画像８２０全体に対するものであり、有意なアーチファクトが存在しないことを示す。ラベル８２２は、撮像システムが患者の眼の１つ又は複数の測定値について対応する画像を処理することができるかどうかに基づいて評価される、画像８２０の画像品質を記述するために１つ又は複数の語を使用する任意のテキストラベルを含み得る。したがって、画像８２０が良好画像である場合、ラベル８２２は、その画像をそのような「良好画像」として識別し得る。いくつかの実施形態では、１つ又は複数のアーチファクトを含む患者の眼の画像は、アーチファクトが閾値サイズ未満である場合、又は患者の眼の特定の領域などにおいて、１つ又は複数のアーチファクトが患者の眼の測定のために画像を処理する能力を損なわない場合、「良好画像」としてラベル付けされ得る。
【0152】
図８Ｂは、「良好」画像８２０の別の表示、画像８２０の画像品質を識別するラベル８２２、及び画像８２０の相対的な画像品質を示す視覚的又は勾配の凡例又はスケール（本明細書では「視覚的凡例」と呼ばれる）８２４の表示概念８０１を示している。視覚的凡例８２４は、第１の値（例えば、底部）から第２の値（例えば、上部）まで進む画像値のスキーム又はスケールを使用する色、色相、グレースケール、及び／又はパターンなどの範囲を含み得る。いくつかの実施形態では、視覚的凡例８２４の向きは、水平、斜めなどになるように調整されることができる。いくつかの実施形態では、視覚的凡例８２４の第１の値は、低品質又は不良品質の画像を示す。視覚的凡例８２４は、画像品質が増加している第１の値（低品質画像）から高品質又は良好品質の画像を示す第２の値までの画像８２０の画像品質の進歩を示し得る。視覚的凡例８２４は、画像８２０についての画像品質が画像８２０の画像品質に対して視覚的凡例８２４のどこにあるかを示す矢印８２６を含み得る。図８Ｂでは、矢印８２６は、矢印８２６が視覚的凡例８２４の第２の値に近い画像品質であると識別した場合に、画像８２０が良好画像であることを示す。ラベル８２２は、「良好画像」というテキストを含み、良好画像は、上述したように分類される。
【0153】
図８Ｃは、「良好」画像８２０の別の表示、画像８２０の画像品質を識別するラベル８２２、及び画像８２０の相対的な画像品質を示す視覚的信号８２８の表示概念８０２を示している。視覚的信号８２８は、例えば信号機のように、画像８２０に関する異なる情報を示すために、異なる色、色相、グレースケール、及び／又はパターンなどを含み得る。視覚的凡例８２４と同様に、視覚的信号８２８は、不良画像品質又は低画像品質（左側）、最低限の画像品質（中央）、及び高画像品質又は良好画像品質（右側）を含む、異なる画像品質についての異なるインジケータを含み得る。図８Ｃに示すように、表示概念８０２は、画像８２０についての良好画像品質を示す、視覚的信号８２８についての最も右側のインジケータを示す。更にまた、ラベル８２２は、「良好画像」というテキストを含み、良好画像は、上述したように分類される。
【0154】
図８Ｄは、画像８２０の別の表示、視覚的信号８２８、及び画像８２０の相対的な画像品質を示す画像品質インジケータ８３０の表示概念８０３を示している。視覚的信号８２８は、良好画像品質を表す最も右側のインジケータ（これは、例えば緑色に着色されてもよい）を示し得る。画像品質インジケータ８３０は、０～１００％の間の画像品質パーセンテージを提供し得る。表示概念８０３に示すように、画像品質インジケータ８３０は、画像８２０に対して８７％の画像品質を示し得る。視覚的凡例８２４及び視覚的信号８２８が異なる画像品質を示すことができるのと同様に、画像品質インジケータ８３０は、良好画像品質、最低限の画像品質、及び低画像品質に対して異なる閾値を有し得る。図８Ｄに示すように、表示概念８０３は、画像品質インジケータ８３０を介して画像８２０が８７％の画像品質を有することを示す。視覚的信号８２８の最も右側のインジケータは、画像８２０が良好画像品質を有することを示し、良好画像品質は、上述したように分類される。
【0155】
図８Ｅは、「良好」画像８２０の別の表示、画像８２０まで及びそれを含む画像のシーケンスについての品質関連値８３４、並びに画像８２０まで及びそれを含む画像のシーケンスの品質のグラフ８３２の表示概念８０４を示している。品質関連値８３４は、品質値２２の標準偏差（ＳＴＤ）及び６３％の平均品質を示す。平均品質は、画像８２０まで及びそれを含む画像のシーケンス内の画像についての画像品質８３０の値の平均を含み得る。更にまた、グラフ８３２は、例えば、品質関連値８３４に関して、画像のシーケンスの少なくともサブセットが互いにどのように比較されるかを示す。いくつかの実施形態では、グラフ８３２は、予め定義された数の画像に到達するまでスケーリングされたリアルタイムのグラフであり、追加の画像が画像のシーケンスに追加されるにつれてスクロールし得る。
【0156】
図８Ｆは、「不良」画像８４０の表示、ラベル８２２、及び画像８４０の相対的な画像品質を示す画像品質インジケータ８３０の表示概念８０５を示している。ラベル８２２は、画像８４０が「不良」画像であることを示し、更に、画像８４０が不良画像品質を有する理由を示し、これは、この場合、気泡アーチファクトが画像８４０において検出されたためである。「不良画像」の分類は、画像８４０全体に対するものであり、画像８４０に１つ又は複数のアーチファクトが存在することを示す。上記で導入されたように、ラベル８２２は、撮像システムが患者の眼の１つ又は複数の測定値について対応する画像を処理することができるかどうかに基づいて評価される、画像８４０の画像品質を記述するために１つ又は複数の語を使用するテキストラベルを含み得る。したがって、画像８４０が不良画像である場合、ラベル８２２は、画像８４０が不良画像品質を有する原因に関する詳細と共に「不良画像」として画像８４０を識別し得る。この例における画像品質インジケータ８３０は、画像８４０に対して３２％の画像品質を提供する。
【0157】
図８Ｇは、「不良」画像８４０の別の表示の表示概念８０６を示しており、この例では、ラベル８２２は、画像８４０の画像品質を識別し、視覚的凡例８２４は、画像８４０の相対的な画像品質を示している。視覚的凡例８２４は、上記で導入された色、色相、グレースケール、及び／又はパターンなどの範囲を含み得る。視覚的凡例８２４は、画像８４０の画像品質が視覚的凡例８２４のどこにあるかを示す矢印８２６を含み得る。図８Ｇでは、矢印８２６は、視覚的凡例８２４の第１のレベルを識別し、それにより、画像８４０が不良画像であることを示す。ラベル８２２は、上述したように不良画像が分類される「不良画像」というテキストを含み、画像８４０において識別されたアーチファクトのタイプを識別する追加のテキストを含む。
【0158】
図８Ｈは、「不良」画像８４０の別の表示の表示概念８０７を示しており、この例では、ラベル８２２は、画像８４０の画像品質を識別し、視覚的信号８２８は、画像８４０の相対的な画像品質を示している。視覚的信号８２８は、上記で導入されたように、画像８４０に関する異なる情報を示す異なる色、色相、グレースケール、及び／又はパターンなどを含み得る。図８Ｈに示すように、表示概念８０７は、視覚的信号８２８の最も左側のインジケータが画像８４０についての不良画像品質を示すことを示す。更にまた、ラベル８２２は、上述したように不良画像が分類される「不良画像」というテキストを含み、画像８４０において識別されたアーチファクトのタイプを識別する追加のテキストを含む。
【0159】
図８Ｉは、「不良」画像８４０の別の表示の表示概念８０８を示しており、この例では、視覚的信号８２８及び画像品質インジケータ８３０は、画像８４０の相対的な画像品質を示している。例えば、視覚的信号８２８は、画像８４０の不良画像品質を表す最も左側のインジケータを示し得る。画像品質インジケータ８３０は、画像８４０に対して１７％の画像品質パーセンテージを提供する。
【0160】
図８Ｊは、「不良」画像８４０の別の表示、画像８４０まで及びそれを含む画像のシーケンスについての品質関連値８３４、並びに画像８４０まで及びそれを含む画像のシーケンスの品質のグラフ８３２の表示概念８０９を示している。品質関連値８３４は、２２のＳＴＤ品質値及び１４％の平均品質を示す。平均品質は、画像８４０まで及びそれを含む画像のシーケンス内の画像についての画像品質８３０の値の平均を含み得る。更にまた、グラフ８３２は、例えば、品質スコア及び／又は平均品質８３４に関して、画像のシーケンスの少なくともサブセットが互いにどのように比較されるかを示す。いくつかの実施形態では、グラフ８３２は、予め定義された数の画像に到達するまでスケーリングされたリアルタイムのグラフであり、追加の画像が画像のシーケンスに追加されるにつれてスクロールし得る。
【0161】
図８Ｋは、「不良」画像８４０の表示、ラベル８２２、画像８４０の相対的な画像品質を示す画像品質インジケータ８３０、及び画像８４０内の気泡アーチファクトのおおよその位置を識別する１つ又は複数の円８３７の表示概念８１０を示している。円８３７は、異なるアーチファクト間及び／又はアーチファクトの許容性を識別するために、１つ又は複数の色、色相、グレースケール、及び／又はパターンなどを含み得る。例えば、上記の説明に続いて、円８３７の異なる色、色相、グレースケール、及び／又はパターンなどは、許容できない又は不良アーチファクトから、最低限のアーチファクトまで、許容可能なアーチファクトまで、アーチファクトの異なる範囲に対応し得る。ラベル８２２は、画像８４０が「不良」画像であることを示し、更に画像８４０が不良として識別された理由（例えば、気泡アーチファクトが検出されること）を示す。画像品質インジケータ８３０は、画像８４０に対して３２％の画像品質パーセンテージを提供し得る。
【0162】
図８Ｌは、「不良」画像８４０の表示、ラベル８２２、画像８４０の相対的な画像品質を示す画像品質インジケータ８３０、及び画像８４０内の気泡アーチファクトのおおよその位置を識別する透明な塗りつぶし８３８を有する１つ又は複数の円の表示概念８１１を示している。上記で導入されたように、透明な塗りつぶし８３８を有する円は、異なるアーチファクト間及び／又はアーチファクトの許容性を識別するために、１つ又は複数の色、色相、グレースケール、及び／又はパターンなどを含み得る。例えば、上記の説明に続いて、透明な塗りつぶし８３８を有する円の異なる色、色相、グレースケール、及び／又はパターンなどは、許容できない又は不良アーチファクトから、最低限のアーチファクトまで、許容可能なアーチファクトまで、アーチファクトの異なる範囲に対応し得る。ラベル８２２は、画像８４０が「不良」画像品質を有することを示し、更に画像８４０が不良である理由（例えば、気泡アーチファクトが検出されること）を示す。画像品質インジケータ８３０は、画像８４０に対して３２％の画像品質パーセンテージを提供し得る。
【0163】
図８Ｍは、「不良」画像８４０の別の表示、画像８４０の画像品質を識別するラベル８２２、画像８４０の相対的な画像品質を示す視覚的凡例８２４、及びコールアウトされたアーチファクトについての個々のテキスト記述８３９の表示概念８１２を示している。視覚的凡例８２４は、上記で導入された色、色相、グレースケール、及び／又はパターンなどの範囲を含み得る。視覚的凡例８２４は、画像８４０が視覚的凡例８２４上のどこにあるかを示す矢印８２６を含み得る。図８Ｍでは、矢印８２６は、矢印８２６が視覚的凡例８２４の低い値を識別する場合、画像８４０が不良画像であることを示す。ラベル８２２は、「不良画像」というテキストと、「気泡アーチファクト検出」という記述とを含み、不良画像は、上述したように分類され、画像８４０において識別されたアーチファクトのタイプを識別する。個々のテキスト記述８３９は、サイズ、相対位置、画像の品質への影響、許容性などを含む、識別されたアーチファクトの様々な詳細を含むことができる。表示概念８１２に示すように、個々のテキスト記述８３９は、引き出し線などを使用して識別されたアーチファクトに関連付けられている。
【0164】
図８Ｎは、「不良」画像８４０の別の表示、画像８４０の画像品質を識別するラベル８２２、画像８４０の相対的な画像品質を示す視覚的凡例８２４、及びコールアウトされたアーチファクトについての個々のテキスト記述８３９の表示概念８１３を示している。視覚的凡例８２４は、上記で導入された色、色相、グレースケール、及び／又はパターンなどの範囲を含み得る。視覚的凡例８２４は、画像８４０が視覚的凡例８２４上のどこにあるかを示す矢印８２６を含み得る。図８Ｎでは、矢印８２６は、矢印８２６が視覚的凡例８２４の低レベルを識別する場合、画像８４０が不良画像品質を有することを示す。ラベル８２２は、「不良画像」というテキストと、「気泡アーチファクト検出」という記述とを含み、不良画像は、上述したように分類され、画像８４０において識別されたアーチファクトのタイプを識別する。個々のテキスト記述８３９は、サイズ、相対位置、画像の品質への影響、許容性などを含む、識別されたアーチファクトの様々な詳細を含むことができる。表示概念８１３に示すように、個々のテキスト記述８３９は、英数字識別子などを使用して識別されたアーチファクトに関連付けられている。
【0165】
図８Ｏは、「不良」画像８４０の別の表示、画像８４０まで及びそれを含む画像のシーケンスについての品質関連値８３４、画像８４０まで及びそれを含む画像のシーケンスの品質のグラフ８３２、並びに画像８４０内の気泡アーチファクトのおおよその位置を識別する１つ又は複数の円８３７の表示概念８１４を示している。品質関連値８３４は、２２のＳＴＤ品質値及び１４％の平均品質を示す。平均品質は、画像８４０まで及びそれを含む画像のシーケンス内の画像についての画像品質８３０の値の平均を含み得る。更にまた、グラフ８３２は、例えば、品質関連値８３４に関して、画像のシーケンスの少なくともサブセットが互いにどのように比較されるかを示す。いくつかの実施形態では、グラフ８３２は、予め定義された数の画像に到達するまでスケーリングされたリアルタイムのグラフであり、追加の画像が画像のシーケンスに追加されるにつれてスクロールし得る。更にまた、円８３７は、異なるアーチファクト間及び／又はアーチファクトの許容性を識別するために、１つ又は複数の色、色相、グレースケール、及び／又はパターンなどを含み得る。例えば、上記の説明に続いて、円８３７の異なる色、色相、グレースケール、及び／又はパターンなどは、許容できない又は不良アーチファクトから、最低限のアーチファクトまで、許容可能なアーチファクトまで、アーチファクトの異なる範囲に対応し得る。
【0166】
いくつかの実施形態では、画像シーケンス内のアーチファクト位置のグラフィカルな識別は、ヒステリシスに基づく。すなわち、シーケンスの画像ごとに、所与のアーチファクト、例えば気泡は、一般に、前及び／又は後の画像と比較して同じ又は実質的に同じ位置に配置され得る。これらの位置は、一方の画像から他方の画像への位置値を僅かに変化させる又は変更する数値量子化及び他のノイズ要因の影響を受けることがある。ヒステリシスにより、画像ディスプレイ上のアーチファクトの位置グラフィック、例えば上記で導入された色分けされた円オーバーレイは、前の位置と現在の位置との間の差が何らかの閾値を超えない限り更新されない。ヒステリシスの使用は、画像シーケンスのリアルタイム表示中の画像アーチファクトの位置における煩雑な視認可能なジッタを防止し得る。このヒステリシスは、「良好画像」及び「不良画像」などの数値データ及びテキスト記述にも適用され得る。
【0167】
いくつかの実施形態では、表示画像内の特定のアーチファクトの位置は、様々な方法で示される。アーチファクトは、例えばオペレータによる選択に基づいて、リアルタイムで、又は静止画像についてのみ表示され得る。いくつかの実施形態では、表示オプションが検査及び／又は処置の間に保持され、オペレータが患者ごとにそれらを選択する必要がないように、例えば個々のオペレータによって設定されたオプションセットが指定され得る。更に、様々な動作モード（例えば、初心者モード及び／又はエキスパートモード）が存在してもよく、その結果、処置又はオペレータに対して選択又はアクティブ化された動作モードに基づいて、異なるレベルの支援及び／又は識別がオペレータに提供される。いくつかの実施形態では、「気泡」などのアーチファクト記述のテキスト表示と共に、識別されたアーチファクトは、個々のアーチファクトと全体のアーチファクトの双方の数値で表示されることができる。アーチファクト記述のそのようなテキスト表示は、アーチファクトの重大度（例えば、品質スコア）及び面積の値を含むことができる。いくつかの実施形態では、全体的なアーチファクト値は、総画像品質スコア、画像内のアーチファクトの総数、アーチファクトの各タイプの数、アーチファクトの影響を受ける全体面積などを含む。
【0168】
例示的な項
実装例は、以下の番号が付けられた項に記載されている。
実装例は、以下の番号が付けられた項に記載されている。
【0169】
項１：眼科処置中に術中診断デバイスからの画像データをリアルタイムで処理するためのシステムであって、術中診断デバイスから患者の眼のグレースケール画像を取り込むように構成された画像取り込み要素であって、グレースケール画像が第１のサイズを有する、画像取り込み要素と、画像処理要素であって、画像取り込み要素からグレースケール画像を取得し、グレースケール画像を第１のサイズから第２のサイズにスケーリングし、分類に備えてスケーリングされたグレースケール画像を前処理するように構成されている、画像処理要素と、２段階分類モデルであって、スケーリングされたグレースケール画像を処理し、スケーリングされたグレースケール画像に基づいて特徴ベクトルを生成するように構成された特徴抽出段階と、特徴ベクトルを処理し、特徴ベクトルに基づいて出力ベクトルを生成するように構成された分類段階とを含む、２段階分類モデルと、を備え、画像処理要素が、オペレータへの表示のためにアーチファクト確率の出力ベクトルに基づいて、取得されたグレースケール画像の画像品質を決定するように更に構成され、取得されたグレースケール画像の画像品質が、取得されたグレースケール画像がアーチファクトを含む確率を示す、システム。
【0170】
項２：取得されたグレースケール画像の画像品質のオペレータへの表示を生成するように構成されたデータ表示要素を更に備える、項１に記載のシステム。
【0171】
項３：データ表示要素が、グレースケール画像がアーチファクトを含み、アーチファクトが取得されたグレースケール画像の画像品質を閾値未満に低下させるという決定に基づいて、取得されたグレースケール画像を表示するように更に構成されている、項２に記載のシステム。
【0172】
項４：データ表示要素が、グレースケール画像が閾値未満の画像品質を低下させるアーチファクトを含むという決定に基づいて、取得されたグレースケール画像内のアーチファクトの位置を識別するインジケータを有する取得されたグレースケール画像の表示を生成するように更に構成されている、項３に記載のシステム。
【0173】
項５：取得されたグレースケール画像に基づいてオペレータに表示するためにアーチファクトの位置を識別するように構成された画像セグメンテーションモデル又はオブジェクト検出モデルのうちの少なくとも１つを更に備える、項４に記載のシステム。
【0174】
項６：データ表示要素が、処理されている画像のサブセットの画像品質の平均に対する全体的な品質表示を示す第１のインジケータと、取得されたグレースケール画像についての画像品質を示す第２のインジケータと、を表示するように更に構成され、取得されたグレースケール画像についての画像品質が、スケーリング及び前処理されたグレースケール画像にアーチファクトが存在する確率に基づく、項２～項５のいずれか一項に記載のシステム。
【0175】
項７：スケーリングされたグレースケール画像を前処理するために、画像処理要素が、３つのスケーリングされたグレースケール画像のセットを作成するように更に構成され、スケーリングされたグレースケール画像を処理し、スケーリングされたグレースケール画像に基づいて特徴ベクトルを生成するために、特徴抽出段階が、３つのスケーリングされたグレースケール画像のセットに基づいて特徴ベクトルを生成するように更に構成され、３つのグレースケール画像のセットの各スケーリングされたグレースケール画像が、特徴抽出段階への入力データチャネルとして使用される、項１～項６のいずれか一項に記載のシステム。
【0176】
項８：特徴抽出段階が、畳み込みニューラルネットワークを含み、分類段階が、１つ又は複数の全結合層及びシグモイド活性化関数を含む、項１～項７のいずれか一項に記載のシステム。
【0177】
項９：取得されたグレースケール画像が、広視野画像タイプを含み、アーチファクトが、デブリ又は機器のうちの１つ又は複数によって引き起こされ、取得されたグレースケール画像が、フォーカスビュー画像タイプを含み、アーチファクトが、患者の眼の位置における乾燥又は過剰な流体のうちの１つ又は複数によって引き起こされ、又は取得されたグレースケール画像が、インターフェログラムビュー画像タイプを含み、アーチファクトが、取得されたグレースケール画像内のグリント、気泡、又は浮遊物のうちの１つ又は複数を含む、項１～項８のいずれか一項に記載のシステム。
【0178】
項１０：第２の２段階分類モデルであって、第２のスケーリングされたグレースケール画像を処理し、第２のグレースケール画像に基づいて第２の特徴ベクトルを生成するように構成された第２の特徴抽出段階と、第２の特徴ベクトルを処理し、第２の特徴ベクトルに基づいて第２の出力ベクトルを生成するように構成された第２の分類段階と、を含む、第２の２段階分類モデルと、第３の２段階分類モデルであって、第３のスケーリングされたグレースケール画像を処理し、第３のグレースケール画像に基づいて第３の特徴ベクトルを生成するように構成された第３の特徴抽出段階と、第３の特徴ベクトルを処理し、第３の特徴ベクトルに基づいて第３の出力ベクトルを生成するように構成された第３の分類段階と、を含む、第３の２段階分類モデルと、を更に備え、特徴抽出段階によって処理されたスケーリングされたグレースケール画像が、広視野画像タイプ、フォーカスビュー画像タイプ、及びインターフェログラムビュー画像タイプのうちの第１のものを含み、第２の特徴抽出段階によって処理された第２のグレースケール画像が、広視野画像タイプ、フォーカスビュー画像タイプ、及びインターフェログラムビュー画像タイプのうちの別のものを含み、第３の特徴抽出段階によって処理された第３のグレースケール画像が、特徴抽出段階及び第２の特徴抽出段階によって処理されない広視野画像タイプ、フォーカスビュー画像タイプ、及びインターフェログラムビュー画像タイプのうちの第３のものを含む、項９に記載のシステム。
【0179】
項１１：スケーリングされたグレースケール画像が、第２のグレースケール画像が第２の特徴抽出段階によって処理され、第３のグレースケール画像が第３の特徴抽出段階によって処理されるのと並行して、特徴抽出段階によって処理される、項１０に記載のシステム。
【0180】
項１２：スケーリングされたグレースケール画像が、第３のグレースケール画像が第３の特徴抽出段階によって処理されるのと直列に処理される、第２のグレースケール画像が第２の特徴抽出段階によって処理されるのと直列に特徴抽出段階によって処理される、項１０及び項１１のいずれか一項に記載のシステム。
【0181】
項１３：術中診断デバイスが、画像に対して屈折分析を実行するように構成されている、項１～項１３のいずれか一項に記載のシステム。
【0182】
項１４：画像処理要素が、画像品質がアーチファクトに基づいて第１の閾値を下回る場合、グレースケール画像を更なる処理から除外するように更に構成されている、項１～項１４のいずれか一項に記載のシステム。
【0183】
項１５：眼科処置中に術中診断デバイスから取得された画像データをリアルタイムで処理する方法であって、術中診断デバイスから患者の眼のグレースケール画像を取り込むことであって、グレースケール画像が第１のサイズを有する、ことと、画像取り込み要素からグレースケール画像を取得することと、２段階機械学習モデルによる分類に備えてグレースケール画像を前処理することと、２段階機械学習モデルの特徴抽出段階によって前処理されたグレースケール画像に基づいて特徴ベクトルを生成することと、２段階機械学習モデルの分類段階によって特徴ベクトルに基づいて出力ベクトルを生成することと、取得されたグレースケール画像の画像品質をオペレータへの表示のために出力ベクトルに基づいて決定することであって、取得されたグレースケール画像の画像品質が、取得されたグレースケール画像が術中診断デバイスによる測定に干渉するアーチファクトを含む確率を示す、決定することと、を含む、方法。
【0184】
項１６：取得されたグレースケール画像の品質のオペレータへの表示を生成することと、スケーリングされたグレースケール画像が画像品質を第１の閾値未満に低下させるアーチファクトを含むという決定に基づいて、取得されたグレースケール画像内のアーチファクトの位置を識別することと、を更に含む、項１５に記載の方法。
【0185】
項１７：グレースケール画像を前処理することが、グレースケール画像を第１のサイズから第２のサイズにスケーリングすることを含む、項１５及び項１６のいずれか一項に記載の方法。
【0186】
項１８：スケーリングされたグレースケール画像を前処理することが、スケーリングされたグレースケール画像を複製して３つのスケーリングされたグレースケール画像のセットを作成することを更に含み、スケーリングされたグレースケール画像に基づいて特徴ベクトルを生成することが、３つのスケーリングされたグレースケール画像のセットに基づいて特徴ベクトルを生成することを含み、３つのグレースケール画像のセットの各スケーリングされたグレースケール画像が、特徴抽出段階への入力データチャネルとして使用される、項１７に記載の方法。
【0187】
項１９：特徴抽出段階が、畳み込みニューラルネットワークを含み、分類段階が、１つ又は複数の全結合層及びシグモイド活性化関数を含む、項１５～項１８のいずれか一項に記載の方法。
【0188】
項２０：取得されたグレースケール画像が、広視野画像タイプを含み、アーチファクトが、デブリ又は機器のうちの１つ又は複数によって引き起こされ、取得されたグレースケール画像が、フォーカスビュー画像タイプを含み、アーチファクトが、患者の眼の位置における乾燥又は過剰な流体のうちの１つ又は複数によって引き起こされ、又は取得されたグレースケール画像が、インターフェログラムビュー画像タイプを含み、アーチファクトが、取得されたグレースケール画像内のグリント、気泡、又は浮遊物のうちの１つ又は複数を含む、項１５～項１９のいずれか一項に記載の方法。
【0189】
項２１：第２の２段階機械学習モデルの第２の特徴抽出段階によって第２のグレースケール画像に基づいて第２の特徴ベクトルを生成することと、第２の２段階機械学習モデルの第２の分類段階によって第２の特徴ベクトルに基づいて第２の出力ベクトルを生成することと、第３の２段階機械学習モデルの第３の特徴抽出段階によって第３のグレースケール画像に基づいて第３の特徴ベクトルを生成することと、第３の２段階機械学習モデルの第３の分類段階によって第３の特徴ベクトルに基づいて第３の出力ベクトルを生成することと、を更に含み、グレースケール画像が、広視野画像タイプ、フォーカスビュー画像タイプ、及びインターフェログラムビュー画像タイプのうちの第１のものを含み、第２のグレースケール画像が、広視野画像タイプ、フォーカスビュー画像タイプ、及びインターフェログラムビュー画像タイプのうちの別のものを含み、第３のグレースケール画像が、特徴抽出段階及び第２の特徴抽出段階によって処理されない広視野画像タイプ、フォーカスビュー画像タイプ、及びインターフェログラムビュー画像タイプのうちの第３のものを含む、項２０に記載の方法。
【0190】
項２２：特徴ベクトルが、第２の特徴ベクトル及び第３の特徴ベクトルと並列に生成される、項２１に記載の方法。
【0191】
項２３：特徴ベクトルが、第３の特徴ベクトルと直列に生成される、第２の特徴ベクトルと直列に生成される、項２１及び項２２のいずれか一項に記載の方法。
【0192】
項２４：眼科処置中に術中収差計から取得された画像内のアーチファクトを識別する２段階機械学習モデルを訓練する方法であって、画像を取得することと、画像の各々について２段階機械学習モデルの特徴抽出段階によって特徴ベクトルを生成することと、生成された特徴ベクトルを積み重ねることに基づいて特徴行列を生成することと、特徴行列に基づいて分類段階を訓練することであって、訓練された分類段階が、画像がアーチファクトを含む確率を示す処理された画像の出力を生成する、訓練することと、を含む、方法。
【0193】
項２５：特徴抽出段階の重みを訓練することを更に含む、項２４に記載の方法。
【0194】
項２６：処理システムであって、コンピュータ実行可能命令を含むメモリと、コンピュータ実行可能命令を実行し、処理システムに請求項１～請求項２５のいずれか一項に記載の方法を実行させるように構成された１つ又は複数のプロセッサと、を備える、処理システム。
【0195】
項２７：請求項１～請求項２５のいずれか一項に記載の方法を実行するための手段を備える、処理システム。
【0196】
項２８：処理システムの１つ又は複数のプロセッサによって実行されると、処理システムに請求項１～請求項２５のいずれか一項に記載の方法を実行させるコンピュータ実行可能命令を含む非一時的コンピュータ可読媒体。
【0197】
項２９：項１～項２５のいずれか一項に記載の方法を実行するためのコードを含む、コンピュータ可読記憶媒体上で具現化されたコンピュータプログラム製品。
【0198】
追加的考慮事項
前述の説明は、当業者が本明細書に記載の様々な実施形態を実践することができるように提供されている。本明細書において記載される例は、特許請求の範囲に記載の範囲、適用性、又は実施形態を限定するものではない。これらの実施形態に対する様々な修正形態は、当業者に容易に明らかであり、本明細書で定義する一般的な原理は、他の実施形態に適用され得る。例えば、本開示の範囲から逸脱することなく、議論された要素の機能及び配置に変更を加えられ得る。様々な例では、必要に応じて、様々な手順又はコンポーネントを省略、置換、又は追加してもよい。例えば、記載された方法は、記載された順序とは異なる順序で実行されてもよく、様々なステップが追加、省略、又は組み合わされてもよい。また、いくつかの例に関して記載された特徴は、いくつかの他の例で組み合わせられてもよい。例えば、本明細書に記載の任意の数の態様を使用して、装置が実装されてもよく、又は方法が実施されてもよい。更に、本開示の範囲は、本明細書に記載の本開示の様々な態様に加えて、又はそれ以外の他の構造、機能、又は構造及び機能を使用して実施されるそのような装置又は方法を網羅することを意図している。本明細書に開示される開示の任意の態様は、特許請求の範囲の１つ又は複数の要素によって具体化され得ることを理解されたい。
前述の説明は、当業者が本明細書に記載の様々な実施形態を実践することができるように提供されている。本明細書において記載される例は、特許請求の範囲に記載の範囲、適用性、又は実施形態を限定するものではない。これらの実施形態に対する様々な修正形態は、当業者に容易に明らかであり、本明細書で定義する一般的な原理は、他の実施形態に適用され得る。例えば、本開示の範囲から逸脱することなく、議論された要素の機能及び配置に変更を加えられ得る。様々な例では、必要に応じて、様々な手順又はコンポーネントを省略、置換、又は追加してもよい。例えば、記載された方法は、記載された順序とは異なる順序で実行されてもよく、様々なステップが追加、省略、又は組み合わされてもよい。また、いくつかの例に関して記載された特徴は、いくつかの他の例で組み合わせられてもよい。例えば、本明細書に記載の任意の数の態様を使用して、装置が実装されてもよく、又は方法が実施されてもよい。更に、本開示の範囲は、本明細書に記載の本開示の様々な態様に加えて、又はそれ以外の他の構造、機能、又は構造及び機能を使用して実施されるそのような装置又は方法を網羅することを意図している。本明細書に開示される開示の任意の態様は、特許請求の範囲の１つ又は複数の要素によって具体化され得ることを理解されたい。
【0199】
本明細書において使用される場合、「例示の」という語は、「例、事例、実例として機能すること」を意味する。本明細書で「例示的」として記載される任意の態様は、必ずしも他の態様よりも好ましい又は有利であると解釈されるべきではない。
【0200】
本明細書において使用される場合、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。例として、「ａ、ｂ、又はｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ、及びａ－ｂ－ｃ、並びに複数の同じ要素の任意の組み合わせ（例えば、ａ－ａ、ａ－ａ－ａ、ａ－ａ－ｂ、ａ－ａ－ｃ、ａ－ｂ－ｂ、ａ－ｃ－ｃ、ｂ－ｂ、ｂ－ｂ－ｂ、ｂ－ｂ－ｃ、ｃ－ｃ、並びにｃ－ｃ－ｃ又はａ、ｂ、及びｃの他の任意の順序）を網羅することが意図される。
【0201】
本明細書において使用される場合、「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」という用語は、多種多様な作用を包含する。例えば、「決定する」は、算出する、計算する、処理する、導出する、調査する、検索する（例えば、テーブル、データベース、又は別のデータ構造で検索する）、確認するなどを含み得る。また、「決定する」は、受信する（例えば、情報を受信する）、アクセスする（例えば、メモリ内のデータにアクセスする）などを含み得る。また、「決定する」は、解明する、選択する、選ぶ、定めるなどを含み得る。
【0202】
本明細書に開示される方法は、方法を達成するための１つ又は複数のステップ又は作用を含む。方法ステップ及び／又は作用は、特許請求の範囲から逸脱することなく、互いに交換可能であり得る。換言すれば、ステップ又は作用の具体的な順序の指定がない限り、具体的なステップ及び／又は作用の順序及び／又は使用は、特許請求の範囲から逸脱することなく変更され得る。更に、上記の方法の様々な動作は、対応する機能を実行することができる任意の適切な手段によって実行されてもよい。これらの手段は、回路、特定用途向け集積回路（ＡＳＩＣ）、又はプロセッサを含むがこれらに限定されない、様々なハードウェア及び／又はソフトウェアコンポーネント及び／又はモジュールを含み得る。一般に、図に示されている操作がある場合、それらの操作には、同様の番号が付けられた対応する同等の手段と機能のコンポーネントが含まれ得る。
【0203】
以下の特許請求の範囲は、本明細書に示す実施形態に限定されることが意図されるものではなく、特許請求の範囲の文言に一致する全範囲が認められるべきである。特許請求の範囲において、単数形での要素への言及は、具体的にそのような定めがない限り、「１つ及び１つのみ（ｏｎｅ ａｎｄ ｏｎｌｙ ｏｎｅ）」を意味することを意図するものではなく、むしろ「１つ又は複数（ｏｎｅ ｏｒ ｍｏｒｅ）」を意味するものである。具体的に別段の定めがない限り、「いくつかの（ｓｏｍｅ）」という用語は、１つ又は複数を指す。特許請求の範囲のいかなる要素も、要素が「するための手段（ｍｅａｎｓ ｆｏｒ）」という語句を使用して明示的に列挙されない限り、米国特許法第１１２条（ｆ）の規定に基づいて解釈されるべきではなく、又は方法請求項の場合には、要素は「ためのステップ（ｓｔｅｐ ｆｏｒ）」という語句を使用して列挙される。当業者に知られている又は後に知られることになる、本開示全体を通して記載された様々な態様の要素に対する全ての構造的及び機能的均等物は、本明細書に参照により明示的に組み込まれ、特許請求の範囲に包含されることが意図される。その上、本明細書に開示したものは、そのような開示が特許請求の範囲に明示的に列挙されているか否かにかかわらず公衆に献呈されることが意図されるものではない。
【図1】
【図2A-2B】
【図3A-3C】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図4F】
【図4G】
【図5】
【図6】
【図7】
【図8A-8B】
【図8C-8D】
【図8E-8F】
【図8G-8H】
【図8I-8J】
【図8K-8L】
【図8M-8N】
【図8O】
【国際調査報告】