(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022159054
(43)【公開日】2022-10-17
(54)【発明の名称】透明媒体内の構造をイメージングするための装置および方法
(51)【国際特許分類】
A61B 3/10 20060101AFI20221006BHJP
【FI】
A61B3/10 100
【審査請求】未請求
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022047918
(22)【出願日】2022-03-24
(31)【優先権主張番号】63/168,927
(32)【優先日】2021-03-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/669,388
(32)【優先日】2022-02-11
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVA
2.PYTHON
(71)【出願人】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(71)【出願人】
【識別番号】504179255
【氏名又は名称】国立大学法人 東京医科歯科大学
(74)【代理人】
【識別番号】100124626
【弁理士】
【氏名又は名称】榎並 智和
(72)【発明者】
【氏名】大野 京子
(72)【発明者】
【氏名】高橋 洋如
(72)【発明者】
【氏名】マオ・ザイシン
(72)【発明者】
【氏名】中尾 紀子
【テーマコード(参考)】
4C316
【Fターム(参考)】
4C316AA09
4C316AA11
4C316AA13
4C316AB04
4C316AB11
4C316AB16
4C316FB05
4C316FB21
4C316FB26
4C316FB27
(57)【要約】 (修正有)
【課題】一般に、眼などの透明媒体内の構造をイメージングすること、特に、医学的な状態を監視、評価、および/または診断するために、眼のゼラチン組織内の構造を定量化および評価することに関する。
【解決手段】医用診断装置は、眼の3次元データを受信する受信回路と、3次元データを、ターゲット構造要素を含む領域とターゲット構造要素を含まない領域とにセグメント化して、セグメント化された3次元データセットを生成するように構成された処理回路とを含む。セグメント化は、複数のセグメンテーションアルゴリズムを用いて実行される。複数のセグメンテーションアルゴリズムの各々は、3次元データから抽出された互いに異なる2次元データに対して個別に訓練される。処理回路は、更に、セグメント化された3次元データセットから少なくとも1つの評価基準を生成し、少なくとも1つの評価基準に基づいて医学的な状態を評価するように構成される。
【選択図】なし
【特許請求の範囲】
【請求項1】
眼の3次元データを受信する受信回路と、
各々が前記3次元データから抽出された互いに異なる2次元データに対して個別に訓練された複数のセグメンテーションアルゴリズムを用いて、前記3次元データを、ターゲット構造要素を含む領域とターゲット構造要素を含まない領域とにセグメント化して、セグメント化された3次元データセットを生成するように構成された処理回路と、
を含み、
前記処理回路は、更に、前記セグメント化された3次元データセットから少なくとも1つの評価基準を生成するように構成され、
前記処理回路は、更に、前記少なくとも1つの評価基準に基づいて医学的な状態を評価するように構成される、医用診断装置。
【請求項2】
各セグメンテーションアルゴリズムは、訓練平面に対応し、
各セグメンテーションアルゴリズムは、対応する訓練平面にそれぞれ平行な複数の2次元画像スライスに対応するデータを用いて訓練される、
請求項1に記載の医用診断新装置。
【請求項3】
前記処理回路は、前記眼のアキシャル平面に対応するアキシャルセグメンテーションアルゴリズムと、前記眼のコロナル平面に対応するコロナルセグメンテーションアルゴリズムと、前記眼のサジタル平面に対応するサジタルセグメンテーションアルゴリズムとを含む、
請求項2に記載の医用診断装置。
【請求項4】
前記セグメンテーションアルゴリズムは、前記3次元データにおける対応する訓練平面に平行なすべての2次元スライスから、平面ごとにセグメント化されたデータセットを生成するようにニューラルネットワークに用いられる重みを生成し、
セグメンテーションアルゴリズムから得られた前記平面ごとにセグメント化されたデータセットは、前記セグメント化された3次元データセットを生成するように前記眼内の各位置における結果を平均化または投票することによって合成される、
請求項2に記載の医用診断装置。
【請求項5】
前記セグメンテーションアルゴリズムは、前記3次元データにおける対応する訓練平面に平行なすべての2次元スライスから、平面ごとにセグメント化されたデータセットを生成するように前記処理回路に用いられる手続き型パラメータを生成し、
各セグメンテーションアルゴリズムから得られた前記平面ごとにセグメント化されたデータセットは、前記セグメント化された3次元データセットを生成するように前記眼内の各位置における結果を平均化または投票することによって合成される、
請求項2に記載の医用診断装置。
【請求項6】
前記複数のセグメンテーションアルゴリズムの各々を訓練するために用いられる前記2次元データは、対応する平面に平行に前記3次元データから取得され、セグメンテーション結果が各座標に割り当てられた2次元スライスのサブセットを含み、
前記複数のセグメンテーションアルゴリズムの各々を訓練するために用いられる前記2次元データは、更に、対応する平面に平行に取得され、各座標にセグメンテーション結果が割り当てられた、すべての2次元スライスのサブセットにおけるスライスに隣接する位置に対応する2次元スライスを含む、
請求項1に記載の医用診断装置。
【請求項7】
前記処理回路は、更に、前記複数のセグメンテーションアルゴリズムを用いて前記セグメンテーションを行うように構成され、
前記複数のセグメンテーションアルゴリズムの各々は、前記3次元データおよび前記眼以外の1以上の眼に対応する追加の3次元データから抽出された異なる2次元データに対して個別に訓練されている、
請求項1に記載の医用診断装置。
【請求項8】
前記処理回路は、前記セグメント化された3次元データセットに対応するスケルトンを生成し、前記スケルトンの特性に基づいて前記少なくとも1つの評価基準を生成するように構成される、請求項1に記載の医用診断装置。
【請求項9】
前記医学的な状態は、先天性網膜硝子体異常、硝子体網膜変性疾患、糖尿病網膜症、近視、病的近視、加齢黄斑変性、眼内炎および悪性腫瘍、緑内障、および近視性神経障害の少なくとも1つを含む、
請求項1に記載の医用診断装置。
【請求項10】
前記ターゲット構造要素は、硝子体ポケット、篩状板、および視神経乳頭の少なくとも1つを含む、
請求項1に記載の医用診断装置。
【請求項11】
眼の3次元データを受信し、
各々が前記3次元データから抽出された互いに異なる2次元データに対して個別に訓練された複数のセグメンテーションアルゴリズムを用いて、前記3次元データを、ターゲット構造要素を含む領域とターゲット構造要素を含まない領域とにセグメント化して、セグメント化された3次元データセットを生成し、
前記セグメント化された3次元データセットから少なくとも1つの評価基準を生成し、
前記少なくとも1つの評価基準に基づいて医学的な状態を評価する、医用診断方法。
【請求項12】
各セグメンテーションアルゴリズムは、訓練平面に対応し、
各セグメンテーションアルゴリズムは、対応する訓練平面にそれぞれ平行な複数の2次元画像スライスに対応するデータを用いて訓練される、
請求項11に記載の医用診断方法。
【請求項13】
前記セグメント化は、前記眼のアキシャル平面に対応するアキシャルセグメンテーションアルゴリズムと、前記眼のコロナル平面に対応するコロナルセグメンテーションアルゴリズムと、前記眼のサジタル平面に対応するサジタルセグメンテーションアルゴリズムとを用いて実行される、
請求項12に記載の医用診断方法。
【請求項14】
前記セグメンテーションアルゴリズムは、前記3次元データにおける対応する訓練平面に平行なすべての2次元スライスから、平面ごとにセグメント化されたデータセットを生成するようにニューラルネットワークに用いられる重みを生成し、
各セグメンテーションアルゴリズムから得られた前記平面ごとにセグメント化されたデータセットは、前記セグメント化された3次元データセットを生成するように前記眼内の各位置における結果を平均化または投票することによって合成される、
請求項12に記載の医用診断方法。
【請求項15】
前記セグメンテーションアルゴリズムは、前記3次元データにおける対応する訓練平面に平行なすべての2次元スライスから、平面ごとにセグメント化されたデータセットを生成するように用いられる手続き型パラメータを生成し、
各セグメンテーションアルゴリズムから得られた前記平面ごとにセグメント化されたデータセットは、前記セグメント化された3次元データセットを生成するように前記眼内の各位置における結果を平均化または投票することによって合成される、
請求項12に記載の医用診断方法。
【請求項16】
前記複数のセグメンテーションアルゴリズムの各々を訓練するために用いられる前記2次元データは、対応する平面に平行に前記3次元データから取得され、セグメンテーション結果が各座標に割り当てられた2次元スライスのサブセットを含み、
前記複数のセグメンテーションアルゴリズムの各々を訓練するために用いられる前記2次元データは、更に、対応する平面に平行に取得され、各座標にセグメンテーション結果が割り当てられた、すべての2次元スライスのサブセットにおけるスライスに隣接する位置に対応する2次元スライスを含む、
請求項11に記載の医用診断方法。
【請求項17】
前記セグメント化は、前記複数のセグメンテーションアルゴリズムを用いて実行され、
前記複数のセグメンテーションアルゴリズムの各々は、前記3次元データおよび前記眼以外の1以上の眼に対応する追加の3次元データから抽出された異なる2次元データに対して個別に訓練される、
請求項11に記載の医用診断方法。
【請求項18】
更に、前記セグメント化された3次元データセットに対応するスケルトンを生成し、前記スケルトンの特性に基づいて前記少なくとも1つの評価基準を生成することを含み、
前記医学的な状態は、先天性網膜硝子体異常、硝子体網膜変性疾患、糖尿病網膜症、近視、病的近視、加齢黄斑変性、眼内炎および悪性腫瘍、緑内障、および近視性神経障害の少なくとも1つ含む、
請求項11に記載の医用診断方法。
【請求項19】
前記ターゲット構造要素は、硝子体ポケット、篩状板、および視神経乳頭の少なくとも1つを含む、
請求項11に記載の医用診断方法。
【請求項20】
コンピュータにより実行されたときに、
眼の3次元データを受信し、
各々が前記3次元データから抽出された互いに異なる2次元データに対して個別に訓練された複数のセグメンテーションアルゴリズムを用いて、前記3次元データを、ターゲット構造要素を含む領域とターゲット構造要素を含まない領域とにセグメント化して、セグメント化された3次元データセットを生成し、
前記セグメント化された3次元データセットから少なくとも1つの評価基準を生成し、
前記少なくとも1つの評価基準に基づいて医学的な状態を評価することを含む医用診断方法を実行する、コンピュータが実行可能な命令を格納した非一時的なコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、2021年3月31日に出願された米国仮出願第63/168,927号の優先権を主張する非仮出願であり、その全体が参照により本明細書に組み込まれる。
【技術分野】
【0002】
本開示は、一般に、眼などの透明媒体内の構造をイメージングすること、特に、医学的な状態を監視、評価、および/または診断するために、眼のゼラチン組織内の構造を定量化および評価することに関するものである。
【背景技術】
【0003】
眼は、様々な構造を含む。しかしながら、従来の方法では、それらの構造を生体内で見ることが困難な場合がある。
【0004】
【発明の概要】
【課題を解決するための手段】
【0005】
本発明の一実施形態によれば、医用診断装置は、眼の3次元データを受信する受信回路と、各々が前記3次元データから抽出された互いに異なる2次元データに対して個別に訓練された複数のセグメンテーションアルゴリズムを用いて、前記3次元データを、ターゲット構造要素を含む領域とターゲット構造要素を含まない領域とにセグメント化して、セグメント化された3次元データセットを生成するように構成された処理回路と、を含み、前記処理回路は、更に、前記セグメント化された3次元データセットから少なくとも1つの評価基準を生成するように構成され、前記処理回路は、更に、前記少なくとも1つの評価基準に基づいて医学的な状態を評価するように構成される。
【0006】
前記医用診断装置では、各セグメンテーションアルゴリズムは、訓練平面に対応してもよく、各セグメンテーションアルゴリズムは、対応する訓練平面にそれぞれ平行な複数の2次元画像スライスに対応するデータを用いて訓練されてもよい。
【0007】
前記医用診断装置では、前記処理回路は、前記眼のアキシャル平面に対応するアキシャルセグメンテーションアルゴリズムと、前記眼のコロナル平面に対応するコロナルセグメンテーションアルゴリズムと、前記眼のサジタル平面に対応するサジタルセグメンテーションアルゴリズムとを含んでもよい。
【0008】
前記医用診断装置では、前記セグメンテーションアルゴリズムは、前記3次元データにおける対応する訓練平面に平行なすべての2次元スライスから、平面ごとにセグメント化されたデータセットを生成するようにニューラルネットワークに用いられる重みを生成してもよく、各セグメンテーションアルゴリズムから得られた前記平面ごとにセグメント化されたデータセットは、前記セグメント化された3次元データセットを生成するように前記眼内の各位置における結果を平均化または投票することによって合成されてもよい。
【0009】
前記医用診断装置では、前記セグメンテーションアルゴリズムは、前記3次元データにおける対応する訓練平面に平行なすべての2次元スライスから、平面ごとにセグメント化されたデータセットを生成するように前記処理回路に用いられる手続き型パラメータを生成してもよく、各セグメンテーションアルゴリズムから得られた前記平面ごとにセグメント化されたデータセットは、前記セグメント化された3次元データセットを生成するように前記眼内の各位置における結果を平均化または投票することによって合成されてもよい。
【0010】
前記医用診断装置では、前記2次元データは、前記複数のセグメンテーションアルゴリズムの各々を訓練するために用いられてもよく、対応する平面に平行に前記3次元データから取得され、セグメンテーション結果が各座標に割り当てられた2次元スライスのサブセットを含み、前記複数のセグメンテーションアルゴリズムの各々を訓練するために用いられる前記2次元データは、更に、対応する平面に平行に取得され、各座標にセグメンテーション結果が割り当てられた、すべての2次元スライスのサブセットにおけるスライスに隣接する位置に対応する2次元スライスを含んでもよい。
【0011】
前記医用診断装置では、前記処理回路は、更に、前記複数のセグメンテーションアルゴリズムを用いて前記セグメンテーションを行うように構成されてもよく、前記複数のセグメンテーションアルゴリズムの各々は、前記3次元データおよび前記眼以外の1以上の眼に対応する追加の3次元データから抽出された異なる2次元データに対して個別に訓練される。
【0012】
前記医用診断装置では、前記処理回路は、前記セグメント化された3次元データセットに対応するスケルトンを生成し、前記スケルトンの特性に基づいて前記少なくとも1つの評価基準を生成するように構成されてもよい。
【0013】
前記医用診断装置では、前記医学的な状態は、先天性網膜硝子体異常、硝子体網膜変性疾患、糖尿病網膜症、近視、病的近視、加齢黄斑変性、眼内炎および悪性腫瘍、緑内障、および近視性神経障害の少なくとも1つを含んでもよい。
【0014】
前記医用診断装置では、前記ターゲット構造要素は、硝子体ポケット、篩状板、および視神経乳頭の少なくとも1つを含んでもよい。
【0015】
本発明の一実施形態に係る医用診断方法は、眼の3次元データを受信し、各々が前記3次元データから抽出された互いに異なる2次元データに対して個別に訓練された複数のセグメンテーションアルゴリズムを用いて、前記3次元データを、ターゲット構造要素を含む領域とターゲット構造要素を含まない領域とにセグメント化して、セグメント化された3次元データセットを生成し、前記セグメント化された3次元データセットから少なくとも1つの評価基準を生成し、前記少なくとも1つの評価基準に基づいて医学的な状態を評価することを含んでもよい。
【0016】
前記医用診断方法では、各セグメンテーションアルゴリズムは、訓練平面に対応してもよく、各セグメンテーションアルゴリズムは、対応する訓練平面にそれぞれ平行な複数の2次元画像スライスに対応するデータを用いて訓練される。
【0017】
前記医用診断方法では、前記セグメント化は、前記眼のアキシャル平面に対応するアキシャルセグメンテーションアルゴリズムと、前記眼のコロナル平面に対応するコロナルセグメンテーションアルゴリズムと、前記眼のサジタル平面に対応するサジタルセグメンテーションアルゴリズムとを用いて実行されてもよい。
【0018】
前記医用診断方法では、前記セグメンテーションアルゴリズムは、前記3次元データにおける対応する訓練平面に平行なすべての2次元スライスから、平面ごとにセグメント化されたデータセットを生成するようにニューラルネットワークに用いられる重みを生成してもよく、各セグメンテーションアルゴリズムから得られた前記平面ごとにセグメント化されたデータセットは、前記セグメント化された3次元データセットを生成するように前記眼内の各位置における結果を平均化または投票することによって合成される。
【0019】
前記医用診断方法では、前記セグメンテーションアルゴリズムは、前記3次元データにおける対応する訓練平面に平行なすべての2次元スライスから、平面ごとにセグメント化されたデータセットを生成するように用いられる手続き型パラメータを生成してもよく、各セグメンテーションアルゴリズムから得られた前記平面ごとにセグメント化されたデータセットは、前記セグメント化された3次元データセットを生成するように前記眼内の各位置における結果を平均化または投票することによって合成される。
【0020】
前記医用診断方法では、前記2次元データは、前記複数のセグメンテーションアルゴリズムの各々を訓練するために用いられてもよく、対応する平面に平行に前記3次元データから取得され、セグメンテーション結果が各座標に割り当てられた2次元スライスのサブセットを含み、前記複数のセグメンテーションアルゴリズムの各々を訓練するために用いられる前記2次元データは、更に、対応する平面に平行に取得され、各座標にセグメンテーション結果が割り当てられた、すべての2次元スライスのサブセットにおけるスライスに隣接する位置に対応する2次元スライスを含む。
【0021】
前記医用診断方法では、前記セグメント化は、前記複数のセグメンテーションアルゴリズムを用いて実行されてもよく、前記複数のセグメンテーションアルゴリズムの各々は、前記3次元データおよび前記眼以外の1以上の眼に対応する追加の3次元データから抽出された異なる2次元データに対して個別に訓練される。
【0022】
前記医用診断方法は、更に、前記セグメント化された3次元データセットに対応するスケルトンを生成し、前記スケルトンの特性に基づいて前記少なくとも1つの評価基準を生成することを含んでもよく、前記医学的な状態は、先天性網膜硝子体異常、硝子体網膜変性疾患、糖尿病網膜症、近視、病的近視、加齢黄斑変性、眼内炎および悪性腫瘍、緑内障、および近視性神経障害の少なくとも1つを含む。
【0023】
前記医用診断方法では、前記ターゲット構造要素は、硝子体ポケット、篩状板、および視神経乳頭の少なくとも1つを含んでもよい。
【0024】
コンピュータにより実行されたときに、眼の3次元データを受信し、各々が前記3次元データから抽出された互いに異なる2次元データに対して個別に訓練された複数のセグメンテーションアルゴリズムを用いて、前記3次元データを、ターゲット構造要素を含む領域とターゲット構造要素を含まない領域とにセグメント化して、セグメント化された3次元データセットを生成し、前記セグメント化された3次元データセットから少なくとも1つの評価基準を生成し、前記少なくとも1つの評価基準に基づいて医学的な状態を評価することを含む、本発明の一致実施形態に係る医用診断方法を実行する、コンピュータが実行可能な命令を格納した非一時的なコンピュータ読み取り可能な記憶媒体である。
【図面の簡単な説明】
【0025】
本開示の範囲は、添付の図面と共に読まれる場合、例示的な実施形態の以下の詳細な説明から最もよく理解される。
【
図1】
図1は、本発明の実施形態に係る硝子体の構造をイメージングするための方法および装置の図である。
【
図2】
図2は、本発明の実施形態に係る3D OCTデータからセグメント化されたデータを得るための方法および装置の図である。
【
図3A】
図3Aは、本発明の実施形態に係る平面ごとのセグメンテーションを行うための方法および装置の図である。
【
図3B】
図3Bは、本発明の実施形態に係るノイズ除去された3D OCTボリュームの図の例である。
【
図3C】
図3Cは、本発明の実施形態に係るマニュアルセグメンテーションが行われるフレームに物理的に隣接するフレームを示す例である。
【
図4】
図4は、本発明の実施形態に係るセグメント化されたデータステップを実行するための方法および装置の図である。
【
図5A】
図5Aは、スケルトン化された表示を生成する3Dオブジェクトの一例である。
【
図5B】
図5Bは、本発明の実施形態に係る
図5Aのオブジェクトから生成されたスケルトン化された表示の一例である。
【
図6】
図6は、本発明の実施形態に係る装置の構成の一例である。
【発明を実施するための形態】
【0026】
眼は、硝子体、篩状板、視神経乳頭などの様々な構造を含む。視神経乳頭の変化は、緑内障または近視性神経障害の進行の兆候になり得る。
【0027】
例えば、硝子体は、透明なゲル状の構造物で、眼球容積の約80%を構成する。硝子体は大きく、透明で、動く塊であるため、従来では、特に生体内で硝子体の構造を見ることは困難である。硝子体の観察は、主に実験室の検査で行われてきた。例えば、硝子体に墨を注入することによって、インクで満たされた多くの空間(槽(cisterns)と呼ばれる)を見えるようにすることができる。
【0028】
これまで、スウェプトソース光干渉断層計(SS-OCT)の水平方向のBスキャン画像による生体内イメージングが行われ、眼球後極の前方に舟形の空間を形成する後部硝子体皮質前ポケット(PPVP)や、硝子体内において他の液体で満たされた空間(クローケ管やその他の槽など)が明らかにされている。
【0029】
本発明の実施形態は、それらの構造の改良されたイメージングおよび分析を提供することができる。以下の詳細な議論では、実施形態が硝子体の構造を画像化し評価するためにどのように使用され得るかを論じるが、本発明は、例えば視神経乳頭の構造を含む他の任意の眼の構造にも同様に適用することが可能である。
【0030】
OCTのBスキャン画像は、ある特定の時間、ある特定の位置(例えば、中心窩)での硝子体の2次元スライスを記録する。しかしながら、硝子体はゼラチン状の組織であり、眼や身体の動きによってその全体や一部が動くため、このような動的な構造を静止画で解明することは困難である。更に、硝子体の構造は、移動に起因してすぐに変化する場合もあれば、時間の経過とともに変化する場合もある。同様に、他の眼内の構造要素も、生体内でイメージングすることが困難な場合がある。本発明の実施形態は、動的な硝子体およびそれが受ける可能性があるあらゆる変化のより良い視覚化および評価を可能にする、硝子体および/または他の眼の構造要素のリアルタイムの3D表示を提供する。
【0031】
その上、硝子体の構造、特に硝子体ポケットのプロファイルは、健康な眼の老化現象の指標であり、糖尿病網膜症や強度近視などの眼疾患の早期予測因子にもなり得ることが示唆されている。
【0032】
図1は、本発明に係る、硝子体の構造などの眼内の関心のある構造要素(すなわち、ターゲット構造要素)をイメージングする方法の一実施形態のフロー図を示す。ステップ100では、例えば、OCTスキャナーからデータを受信したり、OCTスキャナーを用いてOCTスキャンを行ったりすることにより、被検者眼の3D OCTデータが取得される。ステップ102では、3D OCTデータがセグメント化される。ステップ104では、セグメント化されたデータが定量化される。例えば、医学的な状態の進行状況を監視したり、異常検出のためのノーマティブ(normative)データベースと比較したりするために、ステップ106では定量化されたデータが表示されたり、ステップ108では定量化されたデータが評価されたりする。
図1の方法は、表記された機能を実行するようにプログラムされた1つ以上の汎用コンピュータ上で実行することができる。
図1および以下の他の図は、方法フロー図と呼ばれるが、それぞれ、対応する機能を実行するための装置の対応する構造図も表している。以下に詳述するように、対応する各機能は、専用回路および/またはプログラマブル回路を用いて実装することができる。
【0033】
図2は、
図1のステップ102と同様に、3D OCTデータからセグメント化されたデータを取得する方法のフロー図を示す。ステップ202では、取得された3D OCTデータ(すなわち、ボリュームデータ)200は、ノイズ除去され、S/N比が改善される。本実施形態は、人工知能(AI)OCTノイズ除去技術を含んでもよいし、他の公知のノイズ除去技術を含んでもよい。ステップ202におけるノイズ除去は、ノイズ除去された3D OCTボリューム204を生成する。
【0034】
ノイズ除去された3D OCTボリューム204は、1つまたは複数の異なる平面で別々にセグメント化される。
図2の例では、ノイズ除去された3D OCTボリューム204は、3つの異なる平面で別々にセグメント化される。例えば、セグメント化は、被検眼のアキシャル平面206、コロナル平面208、およびサジタル平面210において実行される。しかしながら、本発明の実施形態は、例えば、異なる基準のフレームに対して他の可能な平面におけるセグメント化と、例えば、1つまたは2つの平面、または4つ以上の平面の他の可能な数の平面におけるセグメント化とを実行することを含む。各平面について、その平面に沿った個々のOCT画像がノイズ除去された3D OCTボリューム204から選択され、各OCT画像において硝子体ポケットなどの関心のある構造要素が自動的にセグメント化(すなわち、ラベル付け、または他の方法で特定)される。そして、各画像からの硝子体ポケットなどのセグメント化された構造要素が合成され、対応する平面211についての3Dセグメンテーション結果が生成される。各平面211についてのセグメンテーション結果は、画像化されたボリューム内の各位置における関心のある構造要素(例えば、硝子体ポケット)の有無を示している。
【0035】
ステップ212では、各平面のセグメンテーション結果を平均化したり、または位置ごとに投票し、各位置で最も投票数の多いものをその位置の結果としたりする。例えば、各セグメンテーション結果は、ある位置における関心のある構造要素(例えば、硝子体ポケット)の有無の2値表示を有する(例えば、関心のある構造要素の存在を示す位置では値が1、関心のある構造要素の不在を示す位置では値が0)。平均化ステップでは、平均値は、各個別の平面でのセグメント化された結果から各位置の値について計算される(例えば、アキシャル平面、コロナル平面、およびサジタル平面において計算されるものとして)。そして、平均化された値は、閾値と比較され、閾値を超える比較結果は、平均化された3Dセグメンテーション結果214において、関心のある構造要素の存在を示すものとして設定される。この例のように3つの平面の平均化の場合、閾値は2/3に設定される。しかしながら、異なる数の平面が別々にセグメント化される場合、他の閾値が用いられてもよい。
【0036】
ステップ216では、平均化された3Dセグメンテーション結果214に対して3D平滑化処理が実行され、最終3Dセグメンテーション結果218が生成される。更に、平滑化処理は、ノイズやラフエッジ(rough edges)を低減する。平滑化は、サイズ(9,9,9)の3Dメディアンフィルタを用いて実行されてもよい。フィルターサイズは、セグメント化対象の物理的な性質に基づいて選択されよい。例えば、(15,15,15)のようにフィルターサイズを大きくすると、滑らかな輪郭が得られるが、細部の情報が失われる恐れがあり、例えば(3,3,3)のようにフィルターサイズを小さくすると、細部の情報はほぼ維持されるが、ノイズの多い結果が得られる可能性がある。例えば、(9,9,9)は、関心のある比較的大きな構造(例えば、大きな硝子体構造)のイメージングに適したフィルターサイズである一方、(3,3,3)は、篩状板の孔など、より小さな組織構造のイメージングに適したフィルターサイズである。更に、ラプラシアンおよび/またはタウビンフィルタ(Taubin filter)など、他の非メディアンフィルタを適用して3D平滑化を行うことも可能である。
【0037】
図3Aは、
図2のステップ206、208、または210において実行されるような、平面ごとのセグメンテーションの詳細なフロー図を示す。まず、AIアルゴリズムを訓練するために、ステップ304において、現在の平面に関連するデータが、ノイズ除去された3D OCTボリューム204から選択または抽出される。例えば、ステップ304において、現在の平面に平行なイメージ平面をそれぞれ表す複数の2D画像に対応するデータが、ノイズ除去された3D OCTボリューム204から選択または抽出される。次に、ステップ306において、対応する平面に沿ったマニュアルセグメンテーションのために、複数の2D画像から代表的な画像が選択される。例えば、選択される画像は、複数の2D画像の所定の数の画像からランダムに選択された1つの画像であってもよい。例えば、ステップ306では、ステップ304において抽出または選択された10枚の撮影画像ごとに、1つの画像がランダムにまたは順次に選択されてもよい。また、ステップ306では、マニュアルセグメンテーションのための指定情報(assignment information)が取得される。例えば、ステップ306において、ある位置が関心のある構造要素(例えば、硝子体ポケット)を含むか否かを示すマニュアルの指示が受信される。マニュアルの指示は、選択されたフレーム内のセグメント化情報をマニュアルで特定する人によって操作されるユーザーインターフェース装置(例えば、マウス、キーボード、タッチスクリーンなど)によって生成されてよい。マニュアルの指示と対応する位置情報とをあわせて、マニュアルセグメンテーション結果310を形成する。マニュアルセグメンテーションステップ306の出力は、選択されたOCTフレーム308(すなわち、マニュアルセグメンテーションが実行された2D画像に対応するデータ)およびマニュアルセグメンテーション結果310(すなわち、関心のある構造要素がどこに位置しているかを示す情報)を含む。
【0038】
図3Bは、ステップ304によって生成されたノイズ除去された3DOCTボリューム204、ステップ306によって生成された選択されたOCTフレーム308、および同じくステップ306によって生成されたマニュアルセグメンテーション結果310の図の例を示す。
【0039】
ステップ312では、選択されたOCTフレーム308とマニュアルセグメンテーション結果310とを用いてAIアルゴリズムが訓練される。選択されたOCTフレーム308は、訓練のための入力データとして用いられ、マニュアルセグメンテーションの結果は、グラウンドトゥルース(ground truth)データとして用いられる。AIアルゴリズムは、ニューラルネットワークや、サポートベクターマシンなどの他の機械学習アルゴリズムを用いて実装することができる。例えば、AIアルゴリズムの実行に深層残差ニューラルネットワークを用いてもよい。訓練中、AIアルゴリズムにおけるニューラルネットワークのノード間の重み、または手続き的アルゴリズムのパラメータ(本明細書では総称して「重み」と呼ぶ)は、AIアルゴリズムが、対応するグランドトゥルース画像に最も一致する入力画像に基づいて出力画像を生成するように訓練されるような訓練プロセスによって徐々に調整される。この訓練手順312は、終了基準が満たされるまで続けられる。例えば、一実施形態では、すべての訓練データがAIアルゴリズムを所定回数(例えば、100回)だけパスを実行すると訓練が完了する。他の実施形態では、テスト画像の出力結果が所定の倍率で変化しなくなったときに訓練が完了する。AI訓練処理312の結果は、訓練されたAIアルゴリズムの重み314である。
【0040】
訓練が完了すると、訓練されたAIアルゴリズムの重み314は、AIセグメンテーションニューラルネットワーク316によって使用され、訓練を実行するために使用されたもの以外の2D画像スライスに対して関心のある構造要素セグメンテーション(例えば、硝子体ポケットセグメンテーション)を自動的に行うことができる。例えば、ノイズ除去された3D OCTボリューム204内の現在の平面304に平行なすべての画像は、訓練されたAIアルゴリズムの重み314を用いてAIセグメンテーションニューラルネットワーク316によって処理されて、平面ごとのセグメンテーション結果211を生成することが可能である。これらの結果は、ノイズ除去された3D OCTボリューム304からの現在の平面に関連するデータの各画像スライド(マニュアルでセグメント化された画像スライスだけではない)に対して行われる構造要素セグメント化識別(すなわち、各スライスの各座標が関心のある構造要素を含むか否かの識別)を含む。
【0041】
あるいは、ステップ318によって選択されるように、訓練データが抽出/選択されたノイズ除去された、3D OCTボリューム204を用いる代わりに、異なるノイズ除去された3D OCTボリューム320が、訓練されたAIアルゴリズムの重み314を用いてAIセグメンテーション316によってセグメント化されてもよい。他のノイズ除去された3D OCTボリューム320は、ノイズ除去されたOCT ボリューム204が得られたのと同じ眼に対応するデータであってもよいが、異なる(より遅いまたは早い)日付または時刻に得られたものであってもよい。あるいは、他のノイズ除去された3D OCTボリューム320は、ノイズ除去された3D OCTボリューム204が得られたのと同じ人の別の眼に対応するデータであってもよい。また、他のノイズ除去された3D OCTボリューム320は、ノイズ除去された3D OCTボリューム204が得られた人と異なる人の眼に対応するデータであってもよい。
【0042】
もし、AIアルゴリズムが1人の被検者の眼からのデータを用いて訓練された場合、アルゴリズムは、被検者の他の画像(マニュアルでセグメント化されていないもの)に対しても良好なパフォーマンスを発揮することができる。訓練されたAIアルゴリズムを他の被検者のセグメント画像にうまく利用するために、多くの被検者の訓練画像を含めることが有利である。つまり、もし、訓練されたAIアルゴリズムが、1つの被検者眼だけの画像を用いて訓練された場合、訓練されたAIアルゴリズムは、その1つの被検者眼(または、場合によっては被検者の両眼)には特化されるようになるが、他の被検者の眼には役に立たない可能性がある。その逆に、AIアルゴリズムは、被検者眼のデータの大きなバリエーション(すなわち、多くの被検者眼のデータ)を用いて高い一般化可能性を達成するように訓練することができるが、特定の被検者に対しては、特化されたアルゴリズムと比較して同じ精度を達成できない可能性がある。したがって、最終的な目標(例えば、精度対自動化)や利用可能な訓練データに応じて、異なる訓練アプローチを適用することができる。例えば、利用可能な人手によるアノテーション画像(すなわち、硝子体ポケットなどの関心ある構造要素を特定するためにアノテーションされた画像)に制限があるとき、精度を最大化するために、AIアルゴリズムを眼ごとに被検者ごとに訓練することが有利である。
【0043】
N個のフレームごとに1個のマニュアルでセグメント化されたフレームを用いてAIアルゴリズムを訓練することによって、訓練されたAIアルゴリズムの重み314は、それ以降、マニュアルでセグメント化されなかったすべてのフレーム(すなわち、(N-1)個のフレーム)に対して自動的にセグメンテーションを実行するために用いることができる。AIセグメンテーション316の出力は、セグメンテーション結果を含む対応する平面からの一連の画像である。
【0044】
上記の説明では、訓練入力画像は、対応する平面においてランダムに選択された単独の2D画像から構成される。しかしながら、更なる実施形態によれば、ステップ308において、マニュアルセグメンテーション結果310が設定された選択されたフレーム308だけでなく、マニュアルセグメンテーション結果が設定された、ランダムまたは順次に選択されたフレームに物理的に隣接する領域に対応するフレームである追加隣接フレームを選択されたフレーム308内に含めてAI訓練312に提供することによって、AIアルゴリズムの精度を向上させることが可能である。発明者らは、AI訓練312の一部として、隣接する画像スライスに関する追加情報を提供することが訓練プロセスを改善することを見出した。
【0045】
図3Cは、対応するアキシャル平面、サジタル平面、およびコロナル平面内で物理的に隣接するフレーム(N-1)、N、(N+1)の例を示す。この例では、マニュアルセグメンテーション結果は、N番目のフレームに対してのみ利用可能である。訓練中、(N-1)、N、および(N+1)フレームを合成することにより作成された3D画像(3チャンネル)を入力とし、N番目のフレームに対するマニュアルセグメンテーションがターゲットとして設定される。訓練データに隣接するフレームの情報を追加することでノイズを減らし、硝子体ポケットの視認性を向上させることができるため、この方法を用いると、画像化された硝子体ポケットのS/N比がより高くなる可能性がある。
【0046】
図4は、
図1におけるセグメント化されたデータの定量化ステップ104の詳細フロー図を示す。最終セグメンテーション結果218は、医学的状態の監視、評価、および診断に用いられる様々な評価基準(metrics)を生成するために定量化される。ステップ402において、最終セグメンテーション結果218は、3Dスケルトン化402を受けて、関心のある構造要素(例えば、硝子体ポケット)の3Dスケルトン304を生成し、そこからスケルトン定量化処理406が、ブランチ数408、ブランチの平均長410、分岐数412、分岐ごとの平均ブランチ数414を含むスケルトン特性を抽出することができる。更なる基本定量化処理416は、最終3Dセグメンテーション結果218から、体積418、表面積310、および表面積対体積比412など、関心のある構造要素の評価基準を抽出してもよい。
【0047】
図5A、および
図5Bは、3Dオブジェクトの形状を定量化する手法であるスケルトン化の一例を示す。
図5Aは、3Dオブジェクト502(すなわち、馬)の画像を表している。
図5Bは、3Dスケルトン化402によって生成された馬のスケルトン図を示す。スケルトン図は、分岐504で接続されたブランチ502の配置を含む。例えば、3Dスケルトン化402は、3Dオブジェクトを、3Dオブジェクトの表面から等距離にある一連の点に細線化する処理を含んでもよい。オブジェクト表面までの各点の距離と合わせて、この3Dスケルトンの結果から、3Dオブジェクトの形状を表現し、そこから追加の測定値や評価基準を抽出することができる。3Dオブジェクトの複雑さは、ブランチ数によって特徴付けることができ、より単純な3Dオブジェクトは、ブランチ数が少なくなる傾向がある。球形らしさ(sphere-likeness)は、分岐ごとのブランチ数によって特徴付けられ、完全な球では分岐は1つだけで、ブランチはない。
【0048】
他の評価基準もまた、最終3Dセグメンテーション結果218から抽出することができる。これには、関心のある構造要素(例えば、硝子体ポケット)の高さ、上方-下方方向に沿った関心のある構造要素の幅、鼻側-耳側方向に沿った関心のある構造要素の幅、および各スペース間の空間的な関係(すなわち、各スペース間の接続の有無)が含まれる。
【0049】
個別に、あるいは組み合わせやサブコンビネーションで取得されたこれらの評価基準(別称、関心のある構造要素プロファイル)は、健康な眼の老化プロセスの指標を表す。例えば、硝子体ポケットの評価基準は、次のような眼科疾患の早期予測因子でもある:先天性網膜硝子体異常(第1次硝子体過形成遺残(PHPV)、硝子体動脈遺残、未熟児網膜症(ROP)など)、硝子体網膜変性疾患(網膜硝子体変性疾患(家族性滲出性硝子体網膜症(FEVR)、青錐体(S錐体)増強症候群(ESCS)など)、糖尿病網膜症(無症状期から進行期まで)、近視および病的近視、加齢黄斑変性、眼内炎、悪性腫瘍(ぶどう膜炎、眼内リンパ腫など)。例えば、硝子体ポケットの形成は、病的近視の前から存在する可能性があるため、病的近視の検出のための初期兆候として利用することができる。視神経乳頭構造は、緑内障や近視性神経障害の患者をモニターし、管理するために使用することができる。
【0050】
特別なプロトコルを必要とせず、ここで用いられる技術は、OCTスキャナーに直接または同時に接続する必要がなく、任意の既存の3Dデータに遡及的に適用することが可能である。
【0051】
本明細書では、単数形で記載され、「a」または「an」という単語で先行される要素またはステップは、そのような除外が明示的に記載されていない限り、複数の要素またはステップを除外しないと理解すべきである。更に、本発明の「一実施形態」への言及は、記載された特徴を組み込んだ追加の実施形態の存在を排除すると解釈されることを意図したものではない。
【0052】
本明細書に記載の制御処理方法および/またはシステムは、コンピュータソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせ若しくはサブセットを含むコンピュータプログラミングまたはエンジニアリング技術を用いて実装されてもよく、技術的効果は、本開示による3次元データおよび診断評価基準の処理を少なくとも含んでもよい。
【0053】
図6は、本明細書に記載される様々な実施形態を実施し得るコンピュータのブロック図を示す。本開示の制御処理の態様は、システム、方法、および/またはコンピュータプログラム製品として具現化することができる。コンピュータプログラム製品は、1つ以上のプロセッサに本実施形態の態様を実行させるコンピュータ読み取り可能なプログラム命令が記録されたコンピュータ読み取り可能な記憶媒体を含んでもよい。
【0054】
コンピュータ読み取り可能な記憶媒体は、命令実行装置(プロセッサ)が使用する命令を格納することができる有形で、非一時的なデバイスであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、またはこれらの装置の任意の適切な組み合わせであってもよいが、これに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例を非網羅的に挙げると、フレキシブルディスク、ハードディスク、ソリッドステートドライブ(SSD)、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、イレーサブルプログラマブルリードオンリーメモリ(EPROMまたはFlash)、スタティックランダムアクセスメモリ(SRAM)、コンパクトディスク(CDまたはCD-ROM)、デジタルバーサタイルディスク(DVD)、光磁気ディスク、メモリカードまたはスティックのそれぞれ(または適切な組み合わせ)が含まれる。本開示で使用されるコンピュータ読み取り可能な記憶媒体は、それ自体が一過性の信号であると解釈されるものではなく、例えば、電波やその他の自由に伝播する電磁波、導波管またはその他の伝送媒体を伝播する電磁波(例えば、光ファイバケーブルを通過する光パルス)、または電線を介して伝送される電気信号などが挙げられる。
【0055】
本開示に記載されている機能を実現するコンピュータ読み取り可能なプログラム命令は、グローバルネットワーク(すなわち、インターネット)、ローカルエリアネットワーク、ワイドエリアネットワークおよび/またはワイヤレスネットワークを介して、コンピュータ読み取り可能な記憶媒体から適切なコンピュータデバイスまたは処理装置に、または外部コンピュータまたは外部記憶装置にダウンロードすることができる。ネットワークには、銅線、光通信ファイバ、無線通信、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および/またはエッジサーバなどが含まれる。各コンピュータデバイスまたは処理装置のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ読み取り可能なプログラム命令を受信し、コンピュータデバイスまたは処理装置内のコンピュータ読み取り可能な記憶媒体に格納するためにコンピュータ読み取り可能なプログラム命令を転送することができる。
【0056】
本開示の動作を実行するためのコンピュータ読み取り可能なプログラム命令は、機械語命令および/またはマイクロコードを含むことができ、これらは、アセンブリ言語、Basic、Fortran、Java、Python、R、C、C++、C#または同様のプログラミング言語を含む、1つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードからコンパイルまたは解釈されてよい。コンピュータ読み取り可能なプログラム命令は、ユーザのパーソナルコンピュータ、ノートブックコンピュータ、タブレット、またはスマートフォン上で完全に実行されたり、リモートコンピュータまたはコンピュータサーバ上で完全に実行されたり、またはこれらのコンピュータデバイスの任意の組み合わせで実行されてよい。リモートコンピュータまたはコンピュータサーバは、ローカルエリアネットワーク、ワイドエリアネットワーク、またはグローバルネットワーク(すなわち、インターネット)を含むコンピュータネットワークを介して、ユーザのデバイスまたは複数のデバイスに接続されてもよい。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ(FPGA)、またはプログラマブルロジックアレイ(PLA)を含む電子回路は、本開示の態様を実行するために、電子回路を構成またはカスタマイズするために、コンピュータ読み取り可能なプログラム命令からの情報を用いて、コンピュータ読み取り可能なプログラム命令を実行することができる。
【0057】
本開示の態様は、本開示の実施形態に係る方法、装置(システム)、およびコンピュータプログラム製品のフロー図およびブロック図を参照して本明細書で説明される。フロー図やブロック図の各ブロック、およびフロー図やブロック図のブロックの組み合わせは、コンピュータ読み取り可能なプログラム命令によって実装できることは、当業者であれば理解できるだろう。
【0058】
本開示に記載されたシステムおよび方法を実施し得るコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラマブル装置の1つ以上のプロセッサ(および/またはプロセッサ内の1つ以上のコア)に提供されて、コンピュータまたは他のプログラマブル装置のプロセッサを介して実行される命令が、本開示のフロー図およびブロック図で指定された機能を実施するためのシステムを作成するように、マシン(machine)を生成してもよい。また、これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ、プログラマブル装置、および/または他の装置が特定の方法で機能するように指示することができるコンピュータ読み取り可能な記憶媒体に格納することができ、格納された命令を有するコンピュータ読み取り可能な記憶媒体は、本開示のフロー図およびブロック図で指定された機能の態様を実装する命令を含む製造品であるようになっている。
【0059】
また、コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラマブル装置、または他の装置上にロードされ、コンピュータ、他のプログラマブル装置、または他の装置上で実行される命令が、本開示のフロー図およびブロック図で指定された機能を実装するような、一連の動作ステップを実行させて、コンピュータ実装プロセスを生成することができる。
【0060】
図6は、1つ以上のネットワーク化されたコンピュータとサーバのネットワーク化されたシステム600を示す機能ブロック図である。一実施形態において、
図6に図示されたハードウェアおよびソフトウェア環境は、本開示に係るソフトウェアおよび/または方法を実装するための例示的なプラットフォームを提供することができる。
図6を参照すると、ネットワーク化されたシステム600は、コンピュータ605、ネットワーク610、リモートコンピュータ615、ウェブサーバ620、クラウドストレージサーバ625、およびコンピュータサーバ630を含んでもよいが、これらに限定されない。いくつかの実施形態では、
図6に図示された1つ以上の機能ブロックについて複数のインスタンス(instances)が採用されてもよい。
【0061】
コンピュータ605の追加的な詳細は、
図6にも示されている。コンピュータ605内に図示されている機能ブロックは、例示的な機能を確立するためにのみ提供されており、網羅的であることを意図するものではない。また、リモートコンピュータ615、ウェブサーバ620、クラウドストレージサーバ625、およびコンピュータサーバ630については詳細が示されていないが、これらの他のコンピュータおよびデバイスは、コンピュータ605について示されたものと同様の機能を含んでいてよい。コンピュータ605は、パーソナルコンピュータ(PC)、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ネットブックコンピュータ、パーソナルデジタルアシスタント(PDA)、スマートフォン、またはネットワーク610上の他のデバイスと通信可能な他のプログラム可能な電子デバイスであってもよい。
【0062】
コンピュータ605は、プロセッサ635、バス637、メモリ640、不揮発性ストレージ645、ネットワークインターフェース650、周辺機器インターフェース655、およびディスプレイインターフェース665を含んでもよい。これらの機能の各々は、いくつかの実施形態では、個々の電子サブシステム(集積回路チップ、またはチップと関連するデバイスとの組み合わせ)として実装されてもよいし、他の実施形態では、機能のいくつかの組み合わせが単一のチップ(システムオンチップまたはSoCと呼ばれることがある)に実装されてもよい。
【0063】
プロセッサ635は、インテル・コーポレーション、アドバンスト・マイクロ・デバイセズ社(AMD)、アーム・ホールディングス(Arm)、アップル・コンピュータ社などによって設計および/または製造されたものなど、1つ以上のシングルチップまたはマルチチップのマイクロプロセッサであってもよい。マイクロプロセッサの例として、インテル社のCeleron、Pentium、Core i3、Core i5、およびCore i7、AMD社のOpteron、Phenom、Athlon、Turion、およびRyzen、Arm社のCortex-A、Cortex-R、およびCortex-Mなどがある。バス637は、ISA、PCI、PCI Express(PCI-e)、AGPなどの独自または業界標準の高速パラレルまたはシリアル周辺機器相互接続バスであってもよい。
【0064】
メモリ640および不揮発性ストレージ645は、コンピュータ読み取り可能な記憶媒体であってよい。メモリ640は、ダイナミック・ランダムアクセス・メモリ(DRAM)、およびスタティック・ランダムアクセス・メモリ(SRAM)などの任意の適切な揮発性ストレージデバイスを含んでもよい。不揮発性ストレージ645は、フレキシブルディスク、ハードディスク、ソリッドステートドライブ(SSD)、リードオンリーメモリ(ROM)、イレーサブルプログラマブルリードオンリーメモリ(EPROMまたはFlash)、コンパクトディスク(CDまたはCD-ROM)、デジタルバーサタイルディスク(DVD)、およびメモリカードまたはスティックのうちの1以上を含んでもよい。
【0065】
プログラム648は、不揮発性ストレージ645に格納され、本開示の他に詳細に説明され、図面に示されている特定のソフトウェア機能を作成、管理、および制御するために使用される、機械読取可能な命令および/またはデータの集合体であってもよい。いくつかの実施形態では、メモリ640は、不揮発性ストレージ645よりもかなり高速であってもよい。そのような実施形態では、プログラム648は、プロセッサ635による実行の前に、不揮発性ストレージ645からメモリ640に転送されてもよい。
【0066】
コンピュータ605は、ネットワークインターフェース650を介して、ネットワーク610を経由して他のコンピュータと通信し、相互に作用することが可能であってもよい。ネットワーク610は、例えば、ローカルエリアネットワーク(LAN)、インターネットなどのワイドエリアネットワーク(WAN)、またはこれら2つの組み合わせであってもよく、有線、無線、または光ファイバの接続を含んでいてもよい。一般的に、ネットワーク610は、2以上のコンピュータおよび関連するデバイス間の通信をサポートする接続およびプロトコルの任意の組み合わせとすることができる。
【0067】
周辺機器インターフェース655は、コンピュータ605とローカルに接続される可能性のある他のデバイスとのデータの入出力を可能にするものであってもよい。例えば、周辺機器インターフェース655は、外部デバイス660への接続を提供してもよい。外部デバイス660は、キーボード、マウス、キーパッド、タッチスクリーン、および/または他の適切な入力デバイスなどのデバイスを含んでもよい。外部デバイス660は、例えば、サムドライブ、ポータブル光ディスクまたは磁気ディスク、およびメモリカードなどのポータブルなコンピュータ読み取り可能な記憶媒体も含んでもよい。本開示の実施形態を実践するために使用されるソフトウェアおよびデータ、例えば、プログラム648は、このようなポータブルなコンピュータ読み取り可能な記憶媒体に格納されてもよい。このような実施形態では、ソフトウェアは、不揮発性ストレージ645にロードされてもよいし、代わりに、周辺機器インターフェース655を介してメモリ640に直接的にロードされてもよい。周辺機器インターフェース655は、外部デバイス660と接続するために、RS-232またはユニバーサル・シリアル・バス(USB)などの業界標準の接続を用いてもよい。
【0068】
ディスプレイインターフェース665は、コンピュータ605をディスプレイ670に接続することができる。ディスプレイ670は、いくつかの実施形態では、コンピュータ605のユーザにコマンドラインまたはグラフィカルユーザインタフェースを提示するように用いられてもよい。ディスプレイインターフェース665は、VGA、DVI、DisplayPort、HDMI(登録商標)などの1以上の独自または業界標準の接続を用いて、ディスプレイ670に接続してもよい。
【0069】
上述したように、ネットワークインターフェース650は、コンピュータ605の外部にある他のコンピューティングおよびストレージシステムまたはデバイスとの通信を提供する。本明細書で説明するソフトウェアプログラムおよびデータは、例えば、リモートコンピュータ615、ウェブサーバ620、クラウドストレージサーバ625、およびコンピュータサーバ630から、ネットワークインターフェース650およびネットワーク610を介して不揮発性ストレージ645にダウンロードされてもよい。更に、本開示で説明するシステムおよび方法は、ネットワークインターフェース650およびネットワーク610を介してコンピュータ605に接続された1以上のコンピュータによって実行されてもよい。例えば、いくつかの実施形態では、本開示に記載されているシステムおよび方法は、リモートコンピュータ615、コンピュータサーバ630、またはネットワーク610上の相互接続されたコンピュータの組み合わせによって実行されてもよい。
【0070】
本開示に記載されたシステムおよび方法の実施形態で採用されるデータ、データセットおよび/またはデータベースは、保存され、および/または、リモートコンピュータ615、ウェブサーバ620、クラウドストレージサーバ625、およびコンピュータサーバ630からダウンロードされてもよい。
【0071】
上記の教示に照らして、本発明の多くの修正および変形が可能である。したがって、添付の請求項の範囲内で、本発明は、本明細書に具体的に記載されている以外の方法で実施することができることを理解されたい。
【手続補正書】
【提出日】2022-06-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
眼の3次元データを受信する受信回路と、
各々が前記3次元データから抽出された互いに異なる2次元データに対して個別に訓練された複数のセグメンテーションアルゴリズムを用いて、前記3次元データを、ターゲット構造要素を含む領域とターゲット構造要素を含まない領域とにセグメント化して、セグメント化された3次元データセットを生成するように構成された処理回路と、
を含み、
前記処理回路は、更に、前記セグメント化された3次元データセットから少なくとも1つの評価基準を生成するように構成され、
前記処理回路は、更に、前記少なくとも1つの評価基準に基づいて医学的な状態を評価するように構成される、医用診断装置。
【請求項2】
各セグメンテーションアルゴリズムは、訓練平面に対応し、
各セグメンテーションアルゴリズムは、対応する訓練平面にそれぞれ平行な複数の2次元画像スライスに対応するデータを用いて訓練される、
請求項1に記載の医用診断新装置。
【請求項3】
前記処理回路は、前記眼のアキシャル平面に対応するアキシャルセグメンテーションアルゴリズムと、前記眼のコロナル平面に対応するコロナルセグメンテーションアルゴリズムと、前記眼のサジタル平面に対応するサジタルセグメンテーションアルゴリズムとを用いて前記セグメント化を実行する、
請求項2に記載の医用診断装置。
【請求項4】
前記セグメンテーションアルゴリズムは、前記3次元データにおける対応する訓練平面に平行なすべての2次元スライスから、平面ごとにセグメント化されたデータセットを生成するようにニューラルネットワークに用いられる重みを生成し、
セグメンテーションアルゴリズムから得られた前記平面ごとにセグメント化されたデータセットは、前記セグメント化された3次元データセットを生成するように前記眼内の各位置における結果を平均化または投票することによって合成される、
請求項2に記載の医用診断装置。
【請求項5】
前記セグメンテーションアルゴリズムは、前記3次元データにおける対応する訓練平面に平行なすべての2次元スライスから、平面ごとにセグメント化されたデータセットを生成するように前記処理回路に用いられる手続き型パラメータを生成し、
各セグメンテーションアルゴリズムから得られた前記平面ごとにセグメント化されたデータセットは、前記セグメント化された3次元データセットを生成するように前記眼内の各位置における結果を平均化または投票することによって合成される、
請求項2に記載の医用診断装置。
【請求項6】
前記複数のセグメンテーションアルゴリズムの各々を訓練するために用いられる前記2次元データは、対応する平面に平行に前記3次元データから取得され、セグメンテーション結果が各座標に割り当てられた2次元スライスのサブセットを含み、
前記複数のセグメンテーションアルゴリズムの各々を訓練するために用いられる前記2次元データは、更に、対応する平面に平行に取得され、各座標にセグメンテーション結果が割り当てられた、すべての2次元スライスのサブセットにおけるスライスに隣接する位置に対応する2次元スライスを含む、
請求項1に記載の医用診断装置。
【請求項7】
前記処理回路は、更に、前記複数のセグメンテーションアルゴリズムを用いて前記セグメンテーションを行うように構成され、
前記複数のセグメンテーションアルゴリズムの各々は、前記3次元データおよび前記眼以外の1以上の眼に対応する追加の3次元データから抽出された異なる2次元データに対して個別に訓練されている、
請求項1に記載の医用診断装置。
【請求項8】
前記処理回路は、前記セグメント化された3次元データセットに対応するスケルトンを生成し、前記スケルトンの特性に基づいて前記少なくとも1つの評価基準を生成するように構成される、請求項1に記載の医用診断装置。
【請求項9】
前記医学的な状態は、先天性網膜硝子体異常、硝子体網膜変性疾患、糖尿病網膜症、近視、病的近視、加齢黄斑変性、眼内炎および悪性腫瘍、緑内障、および近視性神経障害の少なくとも1つを含む、
請求項1に記載の医用診断装置。
【請求項10】
前記ターゲット構造要素は、硝子体ポケット、篩状板、および視神経乳頭の少なくとも1つを含む、
請求項1に記載の医用診断装置。
【請求項11】
眼の3次元データを受信し、
各々が前記3次元データから抽出された互いに異なる2次元データに対して個別に訓練された複数のセグメンテーションアルゴリズムを用いて、前記3次元データを、ターゲット構造要素を含む領域とターゲット構造要素を含まない領域とにセグメント化して、セグメント化された3次元データセットを生成し、
前記セグメント化された3次元データセットから少なくとも1つの評価基準を生成し、
前記少なくとも1つの評価基準に基づいて医学的な状態を評価する、医用診断方法。
【請求項12】
各セグメンテーションアルゴリズムは、訓練平面に対応し、
各セグメンテーションアルゴリズムは、対応する訓練平面にそれぞれ平行な複数の2次元画像スライスに対応するデータを用いて訓練される、
請求項11に記載の医用診断方法。
【請求項13】
前記セグメント化は、前記眼のアキシャル平面に対応するアキシャルセグメンテーションアルゴリズムと、前記眼のコロナル平面に対応するコロナルセグメンテーションアルゴリズムと、前記眼のサジタル平面に対応するサジタルセグメンテーションアルゴリズムとを用いて実行される、
請求項12に記載の医用診断方法。
【請求項14】
前記セグメンテーションアルゴリズムは、前記3次元データにおける対応する訓練平面に平行なすべての2次元スライスから、平面ごとにセグメント化されたデータセットを生成するようにニューラルネットワークに用いられる重みを生成し、
各セグメンテーションアルゴリズムから得られた前記平面ごとにセグメント化されたデータセットは、前記セグメント化された3次元データセットを生成するように前記眼内の各位置における結果を平均化または投票することによって合成される、
請求項12に記載の医用診断方法。
【請求項15】
前記セグメンテーションアルゴリズムは、前記3次元データにおける対応する訓練平面に平行なすべての2次元スライスから、平面ごとにセグメント化されたデータセットを生成するように用いられる手続き型パラメータを生成し、
各セグメンテーションアルゴリズムから得られた前記平面ごとにセグメント化されたデータセットは、前記セグメント化された3次元データセットを生成するように前記眼内の各位置における結果を平均化または投票することによって合成される、
請求項12に記載の医用診断方法。
【請求項16】
前記複数のセグメンテーションアルゴリズムの各々を訓練するために用いられる前記2次元データは、対応する平面に平行に前記3次元データから取得され、セグメンテーション結果が各座標に割り当てられた2次元スライスのサブセットを含み、
前記複数のセグメンテーションアルゴリズムの各々を訓練するために用いられる前記2次元データは、更に、対応する平面に平行に取得され、各座標にセグメンテーション結果が割り当てられた、すべての2次元スライスのサブセットにおけるスライスに隣接する位置に対応する2次元スライスを含む、
請求項11に記載の医用診断方法。
【請求項17】
前記セグメント化は、前記複数のセグメンテーションアルゴリズムを用いて実行され、
前記複数のセグメンテーションアルゴリズムの各々は、前記3次元データおよび前記眼以外の1以上の眼に対応する追加の3次元データから抽出された異なる2次元データに対して個別に訓練される、
請求項11に記載の医用診断方法。
【請求項18】
更に、前記セグメント化された3次元データセットに対応するスケルトンを生成し、前記スケルトンの特性に基づいて前記少なくとも1つの評価基準を生成することを含み、
前記医学的な状態は、先天性網膜硝子体異常、硝子体網膜変性疾患、糖尿病網膜症、近視、病的近視、加齢黄斑変性、眼内炎および悪性腫瘍、緑内障、および近視性神経障害の少なくとも1つ含む、
請求項11に記載の医用診断方法。
【請求項19】
前記ターゲット構造要素は、硝子体ポケット、篩状板、および視神経乳頭の少なくとも1つを含む、
請求項11に記載の医用診断方法。
【請求項20】
コンピュータにより実行されたときに、
眼の3次元データを受信し、
各々が前記3次元データから抽出された互いに異なる2次元データに対して個別に訓練された複数のセグメンテーションアルゴリズムを用いて、前記3次元データを、ターゲット構造要素を含む領域とターゲット構造要素を含まない領域とにセグメント化して、セグメント化された3次元データセットを生成し、
前記セグメント化された3次元データセットから少なくとも1つの評価基準を生成し、
前記少なくとも1つの評価基準に基づいて医学的な状態を評価することを含む医用診断方法を実行する、コンピュータが実行可能な命令を格納した非一時的なコンピュータ読み取り可能な記憶媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
前記医用診断装置では、前記処理回路は、前記眼のアキシャル平面に対応するアキシャルセグメンテーションアルゴリズムと、前記眼のコロナル平面に対応するコロナルセグメンテーションアルゴリズムと、前記眼のサジタル平面に対応するサジタルセグメンテーションアルゴリズムとを用いて前記セグメント化を実行してもよい。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0046
【補正方法】変更
【補正の内容】
【0046】
図4は、
図1におけるセグメント化されたデータの定量化ステップ104の詳細フロー図を示す。最終セグメンテーション結果218は、医学的状態の監視、評価、および診断に用いられる様々な評価基準(metrics)を生成するために定量化される。ステップ402において、最終セグメンテーション結果218は、3Dスケルトン化402を受けて、関心のある構造要素(例えば、硝子体ポケット)の3Dスケルトン304を生成し、そこからスケルトン定量化処理406が、ブランチ数408、ブランチの平均長410、分岐数412、分岐ごとの平均ブランチ数414を含むスケルトン特性を抽出することができる。更なる基本定量化処理416は、最終3Dセグメンテーション結果218から、体積418、表面積
410、および表面積対体積比412など、関心のある構造要素の評価基準を抽出してもよい。
【外国語明細書】