ホーム > 特許ランキング > オプトス ピーエルシー
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-08
(45)【発行日】2023-11-16
(54)【発明の名称】マルチモーダル網膜画像の処理
(51)【国際特許分類】
A61B 3/12 20060101AFI20231109BHJP
A61B 3/10 20060101ALI20231109BHJP
A61B 3/14 20060101ALI20231109BHJP
【ＦＩ】
A61B3/12
A61B3/10 100
A61B3/14
【請求項の数】
15
【外国語出願】
(21)【出願番号】P 2022052606
(22)【出願日】2022-03-28
(65)【公開番号】P2022151874
(43)【公開日】2022-10-07
【審査請求日】2022-06-09
(31)【優先権主張番号】21165193.0
(32)【優先日】2021-03-26
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】509012991
【氏名又は名称】オプトス ピーエルシー
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】アラン ダンカン フレミング
【審査官】増渕 俊仁
(56)【参考文献】
【文献】特表２０１８－５１５２９７（ＪＰ，Ａ）
【文献】特開２０２０－０３１８７３（ＪＰ，Ａ）
【文献】特開２０１２－０７５９３８（ＪＰ，Ａ）
【文献】特開２００８－１５４７０４（ＪＰ，Ａ）
【文献】特開２０１６－０４１２２２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００－３／１８
(57)【特許請求の範囲】
【請求項1】
眼底画像（１０）内の指定された特徴（１２）に関する補足情報を含むように、眼の網膜の一部分の前記眼底画像（１０）を定義する画像データ（ＤＦ）を処理するコンピュータ実装方法であって、前記眼底画像（１０）内の特徴（１２）の位置の指定（Ｓ１０）を受信し、
前記網膜の前記一部分のＣスキャン（２０）の光干渉断層撮影（ＯＣＴ）データ（ＤＯＣＴ）を受信し（Ｓ２０）、
前記眼底画像（１０）内の前記指定された特徴（１２）の位置に対応する前記網膜上の位置の前記網膜の一部の立体画像を表す前記ＯＣＴデータ（ＤＯＣＴ）のサブセット（ｄＯＣＴ）の選択（Ｓ３０）を受信し、
前記ＯＣＴデータ（ＤＯＣＴ）の前記選択されたサブセット（ｄＯＣＴ）内に示される前記眼の測定反射率が、前記網膜の深さ方向に沿ってどのように変化するかを示す補足画像データ（ＤＳＩ）を補足情報として生成するために、前記ＯＣＴデータ（ＤＯＣＴ）の前記選択されたサブセット（ｄＯＣＴ）を処理し（Ｓ４０）、
前記画像データ（Ｄ Ｆ ）の画素のサブセットの画素値を、前記補足画像データ（Ｄ ＳＩ ）の画素値で置き換えることにより、前記画像データ（ＤＦ）を前記補足画像データ（ＤＳＩ）と合成することによって合成画像データ（ＤＣＩ）を生成し（Ｓ５０）、前記合成画像データ（ＤＣＩ）によって定義された合成画像（４０）が指定された前記特徴における前記変化の指標を提供すること
を含むコンピュータ実装方法。
【請求項2】
前記眼底画像（１０）およびカーソル（１６）をディスプレイ（１４）上に表示させて、前記カーソル（１６）がユーザ入力デバイス（１８）からの信号によって、表示された前記眼底画像（１０）の上を移動するように制御され得るようにすることをさらに含み、
前記眼底画像（１０）内の前記特徴（１２）は、特徴指定コマンドに応答して、表示された前記眼底画像（１０）上の前記カーソル（１６）の表示位置を示す第１の位置インジケータの値を記録することによって指定される、
請求項１に記載のコンピュータ実装方法。
【請求項3】
前記網膜の前記一部分のＯＣＴ正面投影画像（３０）を生成するために前記ＯＣＴデータ（ＤＯＣＴ）を処理し、前記ＯＣＴ正面投影画像（３０）を前記眼底画像（１０）とともに前記ディスプレイ（１４）上に表示させて、前記カーソル（１６）が前記ユーザ入力デバイス（１８）からの前記信号によって、表示された前記ＯＣＴ正面投影画像（３０）の上を移動するように制御され得るようにすること
をさらに含み、
前記ＯＣＴデータ（ＤＯＣＴ）の前記サブセット（ｄＯＣＴ）は、前記カーソル（１６）が前記ユーザ入力デバイス（１８）からの前記信号によって、表示された前記ＯＣＴ正面投影画像（３０）の一部分に重ねるように案内されたときの前記カーソル（１６）の表示位置を示す、第２の位置インジケータの値に基づいて選択され、前記ＯＣＴ正面投影画像（３０）の一部分の位置は、表示された前記眼底画像（１０）内の前記指定された特徴（１２）の位置に対応する、
請求項２に記載のコンピュータ実装方法。
【請求項4】
前記眼底画像（１０）内の前記特徴（１２）は、特徴抽出アルゴリズムによって自動的に指定される、請求項１に記載のコンピュータ実装方法。
【請求項5】
前記眼底画像（１０）と、前記眼底画像（１０）内の前記指定された特徴（１２）の前記位置を示す特徴位置インジケータ（１９）とを、ディスプレイ（１４）上に表示し、前記網膜の前記一部分のＯＣＴ正面投影画像（３０）を生成するために前記ＯＣＴデータ（ＤＯＣＴ）を処理し、
前記ＯＣＴ正面投影画像（３０）およびカーソル（１６）を前記眼底画像（１０）とともに前記ディスプレイ（１４）上に表示させて、前記カーソル（１６）がユーザ入力デバイス（１８）からの信号によって、表示された前記ＯＣＴ正面投影画像（３０）の上を移動するように制御され得るようにすること
をさらに含み、
前記ＯＣＴデータ（ＤＯＣＴ）の前記サブセット（ｄＯＣＴ）は、前記カーソル（１６）が前記ユーザ入力デバイス（１８）からの前記信号によって、表示された前記ＯＣＴ正面投影画像（３０）の一部分に重ねるように案内されたときの前記カーソル（１６）の表示位置を示す、第２の位置インジケータの値に基づいて選択され、前記ＯＣＴ正面投影画像（３０）の一部分の位置は、前記特徴位置インジケータ（１９）によって示される前記眼底画像（１０）内の前記指定された特徴（１２）の位置に対応する、
請求項４に記載のコンピュータ実装方法。
【請求項6】
前記ＯＣＴデータ（ＤＯＣＴ）の前記サブセット（ｄＯＣＴ）は、前記特徴抽出アルゴリズムによって指定された前記眼底画像（１０）内の前記特徴（１２）の前記位置に、前記眼底画像（１０）内の位置を前記ＯＣＴデータ（ＤＯＣＴ）内の対応するＡスキャン位置にマッピングする幾何学的変換を適用することによって選択される、請求項４に記載のコンピュータ実装方法。
【請求項7】
前記特徴（１２）は、前記眼底画像（１０）内のドットおよび超反射性ドットのうちの１つであり、前記特徴（１２）は、病理学的原因を有するか、または前記網膜の内境界膜からの反射によって引き起こされる、請求項１から請求項６のいずれか一項に記載のコンピュータ実装方法。
【請求項8】
前記特徴（１２）は、前記網膜内の漏血、滲出、ドルーゼン、萎縮、および母斑の少なくとも一つ、ならびに前記網膜内の網膜色素上皮の萎縮のうちの１つを含む病理学的原因を有する、請求項７に記載のコンピュータ実装方法。
【請求項9】
前記ＯＣＴデータ（ＤＯＣＴ）の選択された前記サブセット（ｄＯＣＴ）は、前記ＯＣＴデータ（ＤＯＣＴ）の選択された前記サブセット（ｄＯＣＴ）内の前記眼の複数の解剖学的層を検出し（Ｓ４２）、前記解剖学的層は前記網膜の１以上の網膜層を含み、
検出された前記解剖学的層のうちの少なくとも２つの各々について、前記解剖学的層内の前記ＯＣＴデータ（ＤＯＣＴ）の前記サブセット（ｄＯＣＴ）のデータ要素の値を合計することによって、それぞれの合計値を計算し（Ｓ４４）、
検出された前記解剖学的層のうちの前記少なくとも２つの各々について、前記解剖学的層に対して計算された前記合計値と、検出された前記解剖学的層のうちの前記少なくとも２つおよび前記ＯＣＴデータ（ＤＯＣＴ）の前記サブセット（ｄＯＣＴ）内の全てのデータ要素の合計と、のそれぞれの比を計算し（Ｓ４６）、
前記補足画像データ（ＤＳＩ）として、前記計算された比の規則的順序に基づいて、前記合成画像内に表示されると共に前記計算された比の規則的順序を識別する色を定義する色情報を生成し（Ｓ４８）、前記規則的順序は、前記計算された比を眼の対応する解剖学的層の順序で配置し、色は、前記ＯＣＴデータ（ＤＯＣＴ）の選択された前記サブセット（ｄＯＣＴ）内の前記眼の前記測定反射率の、前記網膜の前記深さ方向に沿った変化を示すこと
によって前記補足画像データ（ＤＳＩ）を生成するために処理される、
請求項１から請求項８のいずれか一項に記載のコンピュータ実装方法。
【請求項10】
前記ＯＣＴデータ（ＤＯＣＴ）の選択された前記サブセット（ｄＯＣＴ）内の３つの解剖学的層が検出され、前記色情報は、前記合成画像に表示される前記色の赤色成分、緑色成分、および青色成分の各々に、前記計算された比の前記規則的順序で、前記計算された比のそれぞれ１つにしたがって前記色成分の重み付けをそれぞれ割り当てることによって生成される（Ｓ４８）、
請求項９に記載のコンピュータ実装方法。
【請求項11】
前記ＯＣＴデータ（ＤＯＣＴ）の選択された前記サブセット（ｄＯＣＴ）は、前記ＯＣＴデータ（ＤＯＣＴ）の選択された前記サブセット（ｄＯＣＴ）内の前記眼の複数の解剖学的層を検出し、前記解剖学的層は前記網膜の１以上の網膜層を含み、
検出された前記解剖学的層の各解剖学的層について、前記解剖学的層内の前記ＯＣＴデータ（ＤＯＣＴ）の前記サブセット（ｄＯＣＴ）のデータ要素の値を合計することによって、それぞれの合計値を計算し、
前記計算された合計値に基づいて、前記検出された解剖学的層のうちの、前記眼の前記測定反射率に対して支配的な寄与を提供する解剖学的層を選択し、
前記補足画像データ（ＤＳＩ）として、選択された前記解剖学的層を識別するグラフィックを定義するグラフィック画像データを生成すること
によって前記補足画像データ（ＤＳＩ）を生成するために処理される、
請求項１から請求項８のいずれか一項に記載のコンピュータ実装方法。
【請求項12】
前記ＯＣＴデータ（ＤＯＣＴ）の選択された前記サブセット（ｄＯＣＴ）は、所定のタイプの特徴を有する前記網膜の一部分の立体画像を表し、少なくとも他の１つの網膜の病変領域のＯＣＴデータの例を用いた教師あり学習によって、前記網膜の前記深さ方向の前記所定のタイプの前記特徴の深さを判定するためのモデルを訓練し、前記ＯＣＴデータの例の各々は、単一のＯＣＴ Ａスキャンまたは２つ以上の隣接するＯＣＴ Ａスキャンを含み、前記病変領域の各々は、前記所定のタイプのそれぞれの特徴を有し、前記ＯＣＴデータの例の各々における、前記網膜の前記深さ方向における前記それぞれの特徴のそれぞれの深さの指標は、前記訓練中にユーザによって規定され、
前記特徴の前記網膜の前記深さ方向における深さを判定するために、前記訓練されたモデルを使用して前記ＯＣＴデータ（ＤＯＣＴ）の選択された前記サブセット（ｄＯＣＴ）を処理し、
前記補足画像データとして、
前記特徴の前記判定された深さを示すと共に、前記合成画像（４０）内の前記特徴の位置を示すように前記眼底画像（１０）に重ねられるグラフィックを定義するグラフィック画像データ、および
前記合成画像内の前記特徴の位置に表示され、前記特徴の前記判定された深さを示す色を定義する色情報、
のうちの１つを生成すること
によって前記補足画像データ（ＤＳＩ）を生成するために処理される、
請求項１から請求項８のいずれか一項に記載のコンピュータ実装方法。
【請求項13】
コンピュータプロセッサによって実行されると、請求項１から請求項１２のうちの少なくとも一項による方法をコンピュータプロセッサ（２２０）に実行させるコンピュータプログラム命令を含む、コンピュータプログラム（２４５）。
【請求項14】
請求項１３に記載のコンピュータプログラム（２４５）を記憶した非一時的なコンピュータ可読記憶媒体（２５０）。
【請求項15】
眼底画像（１０）内の指定された特徴（１２）に関する補足情報を含むように、眼の網膜の一部分の前記眼底画像（１０）を定義する画像データ（Ｄ
Ｆ
）を処理するための装置（１００）であって、前記眼底画像（１０）内の特徴の位置を指定するように構成された特徴指定モジュール（１１０）と、
前記網膜の前記一部分のＣスキャン（２０）の光干渉断層撮影（ＯＣＴ）データ（ＤＯＣＴ）を受信するように構成された受信モジュール（１２０）と、
前記眼底画像（１０）内の指定された前記特徴（１２）の位置に対応する前記網膜上の位置の前記網膜の一部の立体画像を表す前記ＯＣＴデータ（ＤＯＣＴ）のサブセット（ｄＯＣＴ）を選択するように構成された選択モジュール（１３０）と、
前記ＯＣＴデータ（ＤＯＣＴ）の選択された前記サブセット（ｄＯＣＴ）内に示される前記眼の測定反射率が、前記網膜の深さ方向に沿ってどのように変化するかを示す補足画像データ（ＤＳＩ）を、前記補足情報として生成するために、前記ＯＣＴデータの前記選択されたサブセットを処理するように構成された補足画像データ生成モジュール（１４０－１）と、
前記画像データ（Ｄ Ｆ ）の画素のサブセットの画素値を、前記補足画像データ（Ｄ ＳＩ ）の画素値で置き換えることにより、前記画像データ（ＤＦ）を前記補足画像データ（ＤＳＩ）と合成することによって合成画像データ（ＤＣＩ）を生成するように構成され、前記合成画像データ（ＤＣＩ）によって定義された合成画像が指定された前記特徴（１２）における前記変化の指標を提供する、合成画像データ生成モジュール（１５０）と、
を備える装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の例示的な態様は、概して網膜画像処理の分野に関し、より具体的には、網膜から取得された光干渉断層撮影（optical coherence tomography：ＯＣＴ）データに由来する補足情報を含めるための網膜の反射画像の処理に関する。
【背景技術】
【0002】
たとえば、眼底カメラまたは走査型レーザー検眼鏡（scanning laser ophthalmoscope：ＳＬＯ）によって取得された眼底の二次元画像は、被験者の様々な眼疾患、ならびに全身疾患を検出するために、広く使用されている。これらの撮影方法は、網膜内の深さに応じて様々な感度を有する傾向があるが、これらの深さによる特異性は低い傾向があるため、網膜眼底画像において観察される特徴の深さは通常、はっきりしない。加齢黄斑変性、糖尿病性網膜症、および網膜静脈閉塞などのいくつかの一般的な眼疾患は、網膜眼底画像においてさらに同様の外観を有する超反射性ドットなどの特徴に関連付けられるため、臨床医がこれらの疾患を網膜眼底画像の観察のみにより区別することは、困難である場合が多い。高反射の内境界膜（inner limiting membrane：ＩＬＭ）に起因するものなどの網膜眼底画像のアーチファクトと、網膜色素上皮（retinal pigment epithelium：ＲＰＥ）の萎縮もまた、滲出性、ＲＰＥ関連、およびドルーゼン様超反射性ドットなどの疾患関連の特徴の識別を混乱させる可能性がある。網膜眼底画像上で識別された関心対象の特徴に関するさらなる情報は、関心対象の特徴をカバーするＯＣＴ厚さマップを調べることによって得ることができる。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示の第１の例示的な態様によれば、眼底画像内の指定された特徴に関する補足情報を含むように、眼の網膜の一部分の眼底画像を定義する画像データを処理する、コンピュータ実装方法が提供される。本方法は、眼底画像内の特徴を指定し、網膜の一部分のＣスキャンの光干渉断層撮影（ＯＣＴ）データを受信し、眼底画像内の指定された特徴の位置に対応する網膜上の位置における、網膜の一部の立体画像を表すＯＣＴデータのサブセットを選択することを含む。本方法は、ＯＣＴデータの選択されたサブセット内の眼の測定反射率の、網膜の深さ方向に沿った変化を示す補足画像データを補足情報として生成するために、ＯＣＴデータの選択されたサブセットを処理することを、さらに含む。本方法は、合成画像データによって定義された合成画像が、指定された特徴におけるＯＣＴデータの選択されたサブセット内の眼の測定反射率の変化の指標を提供するように、画像データを補足画像データと合成することによって合成画像データを生成することを、さらに含む。
【0004】
第１の例示的な態様によるコンピュータ実装方法では、合成画像データは、合成画像データによって定義された合成画像が、指定された特徴におけるＯＣＴデータの選択されたサブセット内の眼の測定反射率の変化の指標を提供するように、眼底画像データの画素のサブセットの画素値を、補足画像データの画素値で置き換えることによって生成され得る。いくつかの例示的な実施形態では、合成画像データは、合成画像データによって定義された合成画像が、指定された特徴におけるＯＣＴデータの選択されたサブセット内の眼の測定反射率の変化の指標を提供するように、眼底画像データの画素のサブセットであって、眼底画像内の指定された特徴の位置にある眼底画像の小領域を定義する画素のサブセットの画素値を、補足画像データの画素値で置き換えることによって、生成され得る。いくつかの別の例示的な実施形態では、補足画像データは、ＯＣＴデータの選択されたサブセット内の眼の測定反射率の、網膜の深さ方向に沿った変化、またはより具体的には、ＯＣＴデータの選択されたサブセット内で示されるような、眼の測定反射率が網膜の深さ方向に沿ってどのように変化するかを示す、グラフィックを定義し得る。これらの別の例示的な実施形態では、合成画像データは、合成画像データによって定義された合成画像が、指定された特徴におけるＯＣＴデータの選択されたサブセット内の眼の測定反射率の変化の指標を提供するように眼底画像に重ねられるグラフィックを含むように、眼底画像データの画素のサブセットの画素値を補足画像データの画素値で置き換えることによって生成され得る。
【0005】
付加的または代替的に、第１の例示的な態様によるコンピュータ実装方法は、例示的な実施形態によれば、ユーザ入力デバイスからの信号によってカーソルが表示された眼底画像の上を移動するように制御され得るように、眼底画像およびカーソルをディスプレイ上に表示させることをさらに含んでもよく、眼底画像内の特徴は、特徴指定コマンドに応答して、表示された眼底画像上のカーソルの表示位置を示す第１の位置インジケータの値を記録することによって指定される。
【0006】
例示的な実施形態の方法は、網膜の一部分のＯＣＴ正面投影（en-face）画像を生成するためにＯＣＴデータを処理し、ユーザ入力デバイスからの信号によってカーソルが表示されたＯＣＴ正面投影画像の上を移動するように制御され得るように、眼底画像とともにＯＣＴ正面投影画像をディスプレイ上に表示させること、をさらに含んでもよく、ＯＣＴデータのサブセットは、表示された眼底画像内の指定された特徴に対応する表示されたＯＣＴ正面投影画像の部分に重ねるように、ユーザ入力デバイスからの信号によってカーソルが案内されたときのカーソルの表示位置を示す、第２の位置インジケータの値に基づいて選択される。
【0007】
眼底画像内の特徴は、代替的に、特徴抽出アルゴリズムによって自動的に指定されてもよい。この場合、コンピュータ実装方法は、眼底画像と、眼底画像内の指定された特徴の位置を示す特徴位置インジケータとを、ディスプレイ上に表示させ、網膜の一部分のＯＣＴ正面投影画像を生成するためにＯＣＴデータを処理し、ユーザ入力デバイスからの信号によってカーソルが表示されたＯＣＴ正面投影画像の上を移動するように制御され得るように、眼底画像とともにＯＣＴ正面投影画像およびカーソルをディスプレイ上に表示させること、をさらに含んでもよく、ＯＣＴデータのサブセットは、特徴位置インジケータによって示される眼底画像内の指定された特徴の位置にその位置が対応する、表示されたＯＣＴ正面投影画像の部分に重ねるように、ユーザ入力デバイスからの信号によってカーソルが案内されたときのカーソルの表示位置を示す、第２の位置インジケータの値に基づいて選択される。
【0008】
あるいは、眼底画像内の特徴が特徴抽出アルゴリズムによって自動的に指定される場合、ＯＣＴデータのサブセットは、眼底画像内の位置をＯＣＴデータ内の対応するＡスキャン位置にマッピングする幾何学的変換を、特徴抽出アルゴリズムによって指定された眼底画像内の特徴の位置に適用することによって、選択され得る。
【0009】
上述したコンピュータ実装方法のいずれにおいても、特徴は、眼底画像内のドットおよび超反射性ドットのうちの１つであってもよく、特徴は、病理学的原因を有するか、または網膜の内境界膜からの反射によって引き起こされる。たとえば、特徴は、網膜内の漏血、滲出、ドルーゼン、萎縮、および母斑の少なくとも１つ、ならびに網膜内の網膜色素上皮の萎縮のうちの１つを含む病理学的原因を有する場合がある。
【0010】
上記方法では、ＯＣＴデータの選択されたサブセットは、以下の方式１、方式２、または方式３によって補足画像データを生成するために処理され得る。
【0011】
方式１：
ＯＣＴデータの選択されたサブセットは、補足画像データを生成するために次のように処理される。ＯＣＴデータの選択されたサブセット内の眼の複数の解剖学的層を検出し、解剖学的層は網膜の１または複数の網膜層を備え、検出された解剖学的層のうちの少なくとも２つの各々について、解剖学的層内のＯＣＴデータのサブセットのデータ要素の値を合計することによって、それぞれの合計値を計算し、検出された解剖学的層のうちの少なくとも２つの各々について、解剖学的層に対して計算された合計値と、検出された解剖学的層のうちの少なくとも２つおよびＯＣＴデータのサブセット内の全てのデータ要素の合計と、のそれぞれの比を計算し、合成画像内に表示され、計算された比の規則的順序を識別する色を定義する色情報を、補足画像データとして、計算された比の規則的順序に基づいて生成し、規則的順序は、計算された比を眼の対応する解剖学的層の順序で配置し、色は、ＯＣＴデータの選択されたサブセット内の眼の測定反射率の、網膜の深さ方向に沿った変化を示。たとえば、ＯＣＴデータの選択されたサブセット内の３つの解剖学的層が検出されてもよく、色情報は、合成画像に表示される色の赤色成分、緑色成分、および青色成分の各々に、計算された比の規則的順序で、計算された比のそれぞれ１つにしたがって色成分の重み付けをそれぞれ割り当てることによって、生成され得る。
ＯＣＴデータの選択されたサブセットは、補足画像データを生成するために次のように処理される。ＯＣＴデータの選択されたサブセット内の眼の複数の解剖学的層を検出し、解剖学的層は網膜の１または複数の網膜層を備え、検出された解剖学的層のうちの少なくとも２つの各々について、解剖学的層内のＯＣＴデータのサブセットのデータ要素の値を合計することによって、それぞれの合計値を計算し、検出された解剖学的層のうちの少なくとも２つの各々について、解剖学的層に対して計算された合計値と、検出された解剖学的層のうちの少なくとも２つおよびＯＣＴデータのサブセット内の全てのデータ要素の合計と、のそれぞれの比を計算し、合成画像内に表示され、計算された比の規則的順序を識別する色を定義する色情報を、補足画像データとして、計算された比の規則的順序に基づいて生成し、規則的順序は、計算された比を眼の対応する解剖学的層の順序で配置し、色は、ＯＣＴデータの選択されたサブセット内の眼の測定反射率の、網膜の深さ方向に沿った変化を示。たとえば、ＯＣＴデータの選択されたサブセット内の３つの解剖学的層が検出されてもよく、色情報は、合成画像に表示される色の赤色成分、緑色成分、および青色成分の各々に、計算された比の規則的順序で、計算された比のそれぞれ１つにしたがって色成分の重み付けをそれぞれ割り当てることによって、生成され得る。
【0012】
方式２：
ＯＣＴデータの選択されたサブセットは、補足画像データを生成するために次のように処理される。ＯＣＴデータの選択されたサブセット内の眼の複数の解剖学的層を検出し、解剖学的層は網膜の１または複数の網膜層を含み、検出された解剖学的層の各解剖学的層について、解剖学的層内のＯＣＴデータのサブセットのデータ要素の値を合計することによって、それぞれの合計値を計算し、計算された合計値に基づいて、検出された解剖学的層のうちの、眼の測定反射率に対して支配的な寄与を提供する解剖学的層を選択し、補足画像データとして、選択された解剖学的層を識別するグラフィックを定義するグラフィック画像データを生成する。
ＯＣＴデータの選択されたサブセットは、補足画像データを生成するために次のように処理される。ＯＣＴデータの選択されたサブセット内の眼の複数の解剖学的層を検出し、解剖学的層は網膜の１または複数の網膜層を含み、検出された解剖学的層の各解剖学的層について、解剖学的層内のＯＣＴデータのサブセットのデータ要素の値を合計することによって、それぞれの合計値を計算し、計算された合計値に基づいて、検出された解剖学的層のうちの、眼の測定反射率に対して支配的な寄与を提供する解剖学的層を選択し、補足画像データとして、選択された解剖学的層を識別するグラフィックを定義するグラフィック画像データを生成する。
【0013】
方式３：
ＯＣＴデータの選択されたサブセットは、所定のタイプの特徴を有する網膜の一部分の立体画像を表し、補足画像データを生成するために次のように処理される。少なくとも他の１つの網膜の病変領域のＯＣＴデータの例を用いた教師あり学習によって、網膜の深さ方向における所定のタイプの特徴の深さを判定するためのモデルを訓練し、ＯＣＴデータの例の各々は、単一のＯＣＴ Ａスキャンまたは２つ以上の隣接するＯＣＴ Ａスキャンを含み、病変領域の各々は、所定のタイプのそれぞれの特徴を有し、ＯＣＴデータの例の各々における網膜の深さ方向におけるそれぞれの特徴のそれぞれの深さの指標は、訓練中にユーザによって規定され、網膜の深さ方向における特徴の深さを判定するために、訓練されたモデルを使用してＯＣＴデータの選択されたサブセットを処理し、補足画像データとして、（ｉ）特徴の判定された深さを示し、合成画像（４０）における特徴の位置を示すように眼底画像（１０）に重ねられるグラフィックを定義するグラフィック画像データ、および（ｉｉ）合成画像における特徴の位置に表示され、特徴の判定された深さを示す色を定義する色情報、のうちの１つを生成する。
ＯＣＴデータの選択されたサブセットは、所定のタイプの特徴を有する網膜の一部分の立体画像を表し、補足画像データを生成するために次のように処理される。少なくとも他の１つの網膜の病変領域のＯＣＴデータの例を用いた教師あり学習によって、網膜の深さ方向における所定のタイプの特徴の深さを判定するためのモデルを訓練し、ＯＣＴデータの例の各々は、単一のＯＣＴ Ａスキャンまたは２つ以上の隣接するＯＣＴ Ａスキャンを含み、病変領域の各々は、所定のタイプのそれぞれの特徴を有し、ＯＣＴデータの例の各々における網膜の深さ方向におけるそれぞれの特徴のそれぞれの深さの指標は、訓練中にユーザによって規定され、網膜の深さ方向における特徴の深さを判定するために、訓練されたモデルを使用してＯＣＴデータの選択されたサブセットを処理し、補足画像データとして、（ｉ）特徴の判定された深さを示し、合成画像（４０）における特徴の位置を示すように眼底画像（１０）に重ねられるグラフィックを定義するグラフィック画像データ、および（ｉｉ）合成画像における特徴の位置に表示され、特徴の判定された深さを示す色を定義する色情報、のうちの１つを生成する。
【0014】
本明細書の第２の例示的な態様によれば、コンピュータによって実行されると、上述した方法をコンピュータに実行させるコンピュータプログラム命令を含むコンピュータプログラムも提供される。コンピュータプログラムは、非一時的なコンピュータ可読記憶媒体に記憶されてもよく、または信号によって搬送されてもよい。
【0015】
本明細書の第３の例示的な態様によれば、眼底画像内の指定された特徴に関する補足情報を含むように、眼の網膜の一部分の眼底画像を定義する画像データを処理するための装置も提供される。装置は、眼底画像内の特徴を指定するよう構成された特徴指定モジュールと、網膜の部分のＣスキャンのＯＣＴデータを受信するよう構成された受信モジュールとを備える。装置は、眼底画像内の指定された特徴の位置に対応する、網膜上の位置の網膜の一部の立体画像を表すＯＣＴデータのサブセットを選択するよう構成された選択モジュールと、ＯＣＴデータの選択されたサブセット内の眼の測定反射率の、網膜の深さ方向に沿った変化を示す補足画像データを、補足情報として生成するために、ＯＣＴデータの選択されたサブセットを処理するよう構成された補足画像データ生成モジュールと、をさらに備える。装置は、画像データを補足画像データと合成することによって合成画像データを生成するよう構成され、合成画像データによって定義された合成画像が指定された特徴における変化の指標を提供する、合成画像データ生成モジュールを、さらに備える。
【0016】
第３の例示的な態様による装置では、合成画像データ生成モジュールは、合成画像データによって定義された合成画像が、指定された特徴におけるＯＣＴデータの選択されたサブセット内の眼の測定反射率の変化の指標を提供するように、眼底画像データの画素のサブセットの画素値を補足画像データの画素値で置き換えることによって、合成画像データを生成するように構成され得る。いくつかの例示的な実施形態では、合成画像データ生成モジュールは、合成画像データによって定義された合成画像が、指定された特徴におけるＯＣＴデータの選択されたサブセット内の眼の測定反射率の変化の指標を提供するように、眼底画像データの画素のサブセットであって、眼底画像内の指定された特徴の位置にある眼底画像の小領域を定義する画素のサブセットの画素値を、補足画像データの画素値で置き換えることによって、合成画像データを生成するように構成され得る。いくつかの別の例示的な実施形態では、補足画像データ生成モジュールは、ＯＣＴデータの選択されたサブセット内の眼の測定反射率の、網膜の深さ方向に沿った変化、またはより具体的には、ＯＣＴデータの選択されたサブセット内で示されるような、眼の測定反射率が網膜の深さ方向に沿ってどのように変化するかを示す、グラフィックを定義する補足画像データを生成するように構成され得る。これらの別の例示的な実施形態では、合成画像データ生成モジュールは、合成画像データによって定義された合成画像が、指定された特徴におけるＯＣＴデータの選択されたサブセット内の眼の測定反射率の変化の指標を提供するように眼底画像に重ねられるグラフィックを含むように、眼底画像データの画素のサブセットの画素値を補足画像データの画素値で置き換えることによって合成画像データを生成するように配置され得る。
【0017】
以下で説明される添付図面を参照して、非限定的な例のみによって、例示的な実施形態を詳細に説明する。図面の異なるものに見られる同様の参照番号は、別途記載されない限り、同一または機能的に同様の要素を示すことができる。
【図面の簡単な説明】
【0018】
【図1】第１の例示的な実施形態による、画像データを処理するための装置の概略図である。
【図2】第１の例示的な実施形態の眼底画像および正面投影ＯＣＴ画像を表示するディスプレイの概略図である。
【図3】第１の例示的な実施形態の選択モジュールによって選択される、ＯＣＴデータおよびそのサブセットの概略図である。
【図4】本明細書の例示的な実施形態の１つ目のプログラマブル信号処理ハードウェアにおける例示的な実装形態を示す。
【図5】第１の例示的な実施形態の装置が、眼底画像内の指定された特徴に関する補足情報を含むように眼の網膜の一部分の眼底画像を定義する画像データを処理するプロセスを示す、フロー図である。
【図6】第１の例示的な実施形態の補足画像データ生成モジュールが補足画像データを生成するプロセスを示す、フロー図である。
【図7】眼底画像（画像Ａ）、指定された特徴が強調された眼底画像の処理済みバージョン（画像Ｂ）、および第１の例示的な実施形態の装置によって生成された合成画像（画像Ｃ）を示す。
【図9】第２の例示的な実施形態による、画像データを処理するための装置の概略図である。
【図10】第２の例示的な実施形態の補足画像データ生成モジュールが補足画像データを生成するプロセスを示す、フロー図である。
【図11】第２の例示的な実施形態の装置によって生成された合成画像の第１の例を示す。
【図12】第２の例示的な実施形態の装置によって生成された合成画像の第２の例を示す。
【図13】第３の例示的な実施形態による、画像データを処理するための装置の概略図である。
【図14】第３の例示的な実施形態の補足画像データ生成モジュールが補足画像データを生成するプロセスを示す、フロー図である。
【発明を実施するための形態】
【0019】
以下では、臨床医が、糖尿病性網膜症、加齢黄斑変性、および網膜静脈閉塞などの、網膜眼底画像において同様の外観を有するいくつかの一般的な眼疾患の特徴の分布を評価して区別するのを支援することができ、鏡面反射撮影アーチファクトによって引き起こされる網膜眼底画像の誤読を回避するのに役立てることができる、網膜眼底画像データを処理するための方法、装置、およびコンピュータプログラムを説明する。本明細書に記載される技術は、網膜眼底画像内の特徴（たとえば、輝点）のより明確なレンダリングのために、ＯＣＴデータ内の追加情報を活用できるようにすることができる。いくつかの例示的な実施形態では、この情報は、ＯＣＴデータを確認することなく、ユーザによって理解されることが可能である。さらに、いくつかの例示的な実施形態では、網膜眼底画像内の特徴がＯＣＴ内の特徴と一致するか否かがユーザに通知されてもよく、これにより、網膜眼底画像内のアーチファクトスポットなどの誤読を回避することを支援する。
【0020】
以下、添付図面を参照して、本明細書における例示的な実施形態をより詳細に説明する。
【0021】
［第１の例示的な実施形態］
【0022】
図１は、第１の例示的な実施形態による、画像データを処理するための装置１００の概略図である。以下でより詳細に説明されるように、装置１００は、図２に示すように、眼底画像１０内の指定された特徴１２に関する補足情報を含むように、眼の網膜の一部分の眼底画像１０を定義する受信画像データＤＦを処理するように構成され、図２は、眼底画像１０および指定された特徴１２が、ユーザに制御されるカーソル１６とともに、ディスプレイ１４（たとえば、コンピュータモニタなどの視覚的表示ユニット）上に表示されること示す。
【0023】
網膜の眼底画像（本明細書では、網膜眼底画像とも呼ばれる）１０は、網膜から収集された光を使用して、眼底撮影装置（図示せず）の撮像面に投影された三次元（半透明）網膜組織の二次元表示が得られる、任意の眼底撮影プロセスによって取得され得る。眼底画像は、大域照明による網膜の照明によって、または眼底撮影装置によって提供される走査光ビームによって、取得され得る。網膜から反射された光は、眼底撮影装置の受光部によって収集され、その位置依存強度が検出され、次いで二次元眼底画像１０を表す画像データＤＦに変換される。したがって、本明細書で使用される用語「眼底撮影」は、網膜の一部分の二次元画像をもたらす任意のプロセスを指し、画像画素値は網膜から収集された光のそれぞれの強度を表し、ＯＣＴ撮影（後述）と対比されるべきである。
【0024】
眼底画像１０は、眼底カメラおよび走査型レーザー検眼鏡（ＳＬＯ）を含むがこれらに限定されない、当業者に知られている多くのタイプの眼底撮影装置のうちの１つによって取得され得る。これらのタイプの眼底撮影装置は、光フィルタと組み合わせて、眼底の単色または自己蛍光画像を取得するために使用されてもよく、静脈内造影剤の注入により、蛍光眼底血管造影図、インドシアニングリーン蛍光血管造影図などを取得するためにも使用され得る。したがって、眼底撮影は、単色眼底撮影、カラー眼底撮影、走査型レーザー検眼鏡（ＳＬＯ）、補償光学ＳＬＯ、蛍光血管造影、およびインドシアニン蛍光血管造影を含む、様々なモダリティ／技術をカバーする。
【0025】
眼底撮影装置は、従来の眼底撮影では典型的な、３０°～５５°程度の比較的狭い視野を有してもよく、または、約１００°の視野を有する広角眼底撮影装置であってもよい。さらなる代替例として、眼底撮影装置は、Ｏｐｔｏｓ ｐｌｃ製のＯｐｔｏｓ Ｃａｌｉｆｏｒｎｉａ（登録商標）など、約２００°の視野を有する超広角（ultra-widefield：ＵＷＦ（登録商標））眼底撮影装置であってもよい。
【0026】
図１に示されるように、装置１００は、眼底撮影装置から受信した眼底画像１０内の特徴１２を指定するように構成された、特徴指定モジュール１１０を備える。特徴１２は、比較的高い反射率を有する構造（網膜内であっても撮像されている眼の別の部分であっても）の画像であってもよく、したがって、その部分を取り囲む眼底画像１０の領域よりも高い反射率を示す眼底画像１０の部分であってもよい。あるいは、特徴１２は、比較的低い反射率を有する構造（網膜内であっても撮像されている眼の別の部分であっても）の画像であってもよく、したがって、その部分を取り囲む眼底画像１０の領域よりも低い反射率を示す眼底画像１０の部分であってもよい。便宜上、本明細書では単一の指定された特徴１２を参照して装置１００の説明を記載したが、眼底画像１０内の複数の特徴が指定されてもよく、以下で説明される動作がこれらの指定された特徴の各々に基づいて実行されてもよいことは、理解されるだろう。
【0027】
特徴１２は、たとえば、眼底画像内のその範囲が眼底画像のサイズと比較して小さい、ドット特徴であってもよい。この種のドット特徴は、網膜内の漏血、滲出、ドルーゼン、萎縮、および／または母斑などの病理学的原因を有する可能性がある。これらの病状に関するドット特徴は、非常に類似した特徴的な外観（そのサイズ、および眼底画像１０内のドット特徴とその周囲との輝度の差に関して）を有し、臨床医が眼底画像１０の観察のみによって曖昧さをなくすことは困難である。これらはまた、眼底画像において前述の病理学的ドット特徴と類似の外観を有する、硝子体中の浮遊物、内境界膜などの網膜表面からの反射、または撮像システム内の埃などの欠陥からの反射などの非病理学的原因を有するドット特徴との間の曖昧さをなくすことも困難である。
【0028】
ドット特徴は、たとえば、網膜眼底画像においてしばしば観察される、超反射性ドット／焦点であり得る。超反射焦点は、網膜内の漏血、滲出、ドルーゼン、萎縮、および／または母斑、もしくは網膜内の網膜色素上皮の萎縮などの病理学的原因、あるいは網膜の内境界膜からの反射などの非病理学的原因を有する可能性がある。これら全ての場合の超反射性ドットは、非常に類似した特徴的な外観を有し、眼底画像１０の観察のみによって区別することは困難である。
【0029】
特徴指定モジュール１１０は、いくつかの異なる方法のうちの１つにより眼底画像１０内の特徴１２を指定することができる。たとえば、本例示的な実施形態では、特徴指定モジュール１１０は、眼底画像１０およびカーソル１６をディスプレイ１４上に表示させる。表示された眼底画像１０上のカーソル１６の表示位置は、コンピュータマウス、トラックパッドなどのユーザ入力デバイス１８からの信号によって制御可能である。本例示的な実施形態では、眼底画像１０の特徴１２は、特徴指定コマンドに応答して、カーソルが表示された眼底画像１０に重なるように信号によって案内されたときのカーソル１６の表示位置を示す第１の位置インジケータの値を記録することによって、指定される。特徴指定モジュール１１０は、第１の位置インジケータによって示される眼底画像１０内の位置において、グラフィック１９をリラクタンス画像１０に重畳させてもよい。
【0030】
特徴指定コマンドは、本例示的な実施形態のように、ユーザによって、たとえば、ユーザがユーザ入力デバイス１８を操作することによって（たとえば、ユーザ入力デバイスがコンピュータマウスの形態で提供される場合にはマウスクリックを、ユーザ入力デバイスがトラックパッドの形態で提供される場合には指タップを提供することによって）、提供されてもよい。あるいは、特徴指定コマンドは、ユーザが別のユーザ入力デバイスを操作すること、たとえばコンピュータキーボード上のキーを押すことによって提供されてもよい。さらなる代替例として、特徴指定コマンドは、所定の条件が満たされること、たとえばユーザに対する、表示された眼底画像１０内の関心対象の特徴を指定する指示がディスプレイ１４上に表示されることよって開始された所定の期間の満了に応答して、特徴指定モジュール１１０によって生成されてもよい。
【0031】
特徴指定モジュール１１０は、特徴１２を指定するためにこのような人間の対話に依存する必要はなく、代替の例示的な実施形態では、たとえば、“Automated detection of age-related macular degeneration in color fundus photography: a systematic review” Pead, E., Megaw, R., Cameron, J., Fleming, A., Dhillon, B., Trucco, E. MacGillivray, T., 2019, 10, Survey of Ophthalmology, 64(4), 2019, 498～511ページ、又は“A review on exudates detection methods for diabetic retinopathy” Joshi, S., Karule, P. T., Biomedicine & Pharmacotherapy, 97, 2018, 1454～1460ページ、又は“A review on recent developments for detection of diabetic retinopathy” Amin, J., Sharif, M., Yasmin, M., Scientifica, 2016 に記載されたような、当業者に知られているいくつかの特徴抽出アルゴリズムのうちの１つを使用して、指定を自動的に実行することができる。
【0032】
装置１００はまた、ＯＣＴ撮像システム（図示せず）によって取得された網膜の部分のＣスキャン（図３の符号２０に示される）の光ＯＣＴデータＤＯＣＴを受信するように構成された、受信モジュール１２０も有する。装置１００はまた、眼底画像１０内の指定された特徴１２の位置に対応する網膜上の位置における網膜の一部の立体画像（図３のＡスキャンのセット２２のボクセルによって定義される）を表す、ＯＣＴデータＤＯＣＴのサブセットｄＯＣＴを選択するように構成された、選択モジュール１３０も有する。図３に概略的に示されるように、Ｃスキャン２０は一連のＢスキャン２４で構成され、各Ｂスキャン２４は、一連のＡスキャン２６で構成される。Ａスキャン２６内の各データ要素の値は、Ａスキャン２６に沿った（すなわち、図３のｚ軸方向に沿った）データ要素の位置に対応する網膜の深さ方向のそれぞれの位置における、眼の測定反射率の指標を提供する。Ｃスキャン２０を形成するデータ要素アレイのｙ軸およびｘ軸方向に沿ったＡスキャン２６の位置は、Ａスキャン２６を取得するためにＯＣＴ撮像システムによって行われた測定の網膜上の位置に対応する。
【0033】
ＯＣＴデータＤＯＣＴを取得するために使用されるＯＣＴ撮像システムは、眼の領域で横方向にわたってレーザービームを走査することによってＯＣＴ画像を取得することができる、当業者に知られている任意のタイプのもの、たとえばポイントスキャンＯＣＴであってもよい。あるいは、ＯＣＴ撮像システムは、眼の上の単一スポットを走査するのではなく、サンプル上の領域または線を照明することによって優れたＡスキャン取得率（最大数十ＭＨｚ）を提供し得る、全視野ＯＣＴ（Full-Field OCT：ＦＦ－ＯＣＴ）または線視野ＯＣＴ（Line-Field OCT：ＬＦ－ＯＣＴ）などの並列取得ＯＣＴ撮像システムであってもよい。ＦＦ－ＯＣＴでは、眼の二次元領域が同時に照明され、領域を横切る横方向の位置が、高速電荷結合素子（ＣＣＤ）カメラなどの光検出器アレイを使用して同時に撮影される。ＯＣＴ撮像システムが全視野ＯＣＴである場合、これはたとえば、全視野時間領域ＯＣＴ（full-field time-domain OCT：ＦＦ－ＴＤ－ＯＣＴ）または全視野掃引光源ＯＣＴ（full-field swept-source OCT：ＦＦ－ＳＳ－ＯＣＴ）の形態を取り得る。ＦＦ－ＴＤ－ＯＣＴでは、眼の異なる深さの領域を撮像するために、走査中に基準アームの光学的距離を変化させることができる。したがって、ＦＦ－ＴＤ－ＯＣＴにおいて高速カメラによって取り込まれた各フレームは、眼の中のそれぞれの深さにおける眼のスライスに対応する。ＦＦ－ＳＳ－ＯＣＴでは、サンプル領域は、経時的に波長が変化する光を放出する掃引光源を使用して、全視野照明される。掃引光源の波長が光波長の範囲にわたって掃引されると、光波長に対して反射率情報を相関させた分光写真を、カメラ画素ごとに高速カメラによって生成することができる。したがって、カメラによって撮影された各フレームは、掃引光源の単一の波長に関する反射率情報に対応する。掃引光源の波長ごとにフレームを取得すると、カメラによって生成された分光写真のサンプルに対してフーリエ変換を実行することによって、その領域のＣスキャンを取得することができる。線視野ＯＣＴ（ＬＦ－ＯＣＴ）では、線状の照明がサンプルに対して提供されてもよく、撮像プロセスにおいてＢスキャンが取得され得る。線視野ＯＣＴは、たとえば、線視野時間領域ＯＣＴ（line-field time-domain OCT：ＬＦ－ＴＤ－ＯＣＴ）、線視野掃引光源ＯＣＴ（linefield swept-source OCT：ＬＦ－ＳＳ－ＯＣＴ）、または線視野スペクトル領域ＯＣＴ（line-field spectral-domain OCT：ＬＦ－ＳＤ－ＯＣＴ）に分類され得る。
【0034】
ＯＣＴデータを取得するために使用されるＯＣＴ撮像システムおよび眼底画像を取得するために使用される眼底撮影装置は、別個のデバイスであってもよい。しかしながら、眼底画像およびＯＣＴデータは、Ｏｐｔｏｓ ｐｌｃ製のＳｉｌｖｅｒｓｔｏｎｅ統合ＵＷＦ（登録商標）網膜撮像デバイスおよびＵＷＦ（登録商標）誘導掃引光源ＯＣＴスキャナなどの単一のマルチモーダル網膜撮像システムによって取得されることができることに、留意すべきである。
【0035】
受信したＯＣＴデータＤＯＣＴのサブセットｄＯＣＴは、本例示的な実施形態のように、ディスプレイ１４に示されたＯＣＴデータＤＯＣＴの二次元表示を画像観察し、やはりディスプレイ１４に示された基準画像１０内の指定された特徴１２の位置に対応するＯＣＴデータＤＯＣＴの表示内の位置を決定し、ＯＣＴデータＤＯＣＴの表示内の決定された位置に重ねるようカーソル１６を案内したユーザからの入力に基づいて、選択モジュール１３０によって選択され得る。
【0036】
より具体的には、本例示的な実施形態では、選択モジュール１３０は、網膜の一部分のＯＣＴ正面投影画像を生成するために、受信したＯＣＴデータＤＯＣＴを処理する。ＯＣＴ正面投影画像３０は、網膜の同じ部分の眼底画像１０において見られる同じ二次元平面への（三次元）Ｃスキャン２０画像の投影である。ＯＣＴ正面投影画像３０の生成は、ＯＣＴ Ｃスキャン２０の深さ軸（ｚ）に沿ったＣスキャンのデータ要素（ボクセル）の加算、重み付け加算、または最大化を伴っていてもよい。
【0037】
選択モジュール１３０は、ＯＣＴ正面投影画像３０を眼底画像１０とともに、たとえば図２に示されるような眼底画像１０と並べて、ユーザ入力デバイス１８からの信号によってカーソル１６が表示されたＯＣＴ正面投影画像３０の上を移動するように制御可能な状態で、ディスプレイ１４上に表示させる。本例示的な実施形態では、ディスプレイ１４は単一の視覚表示ユニットの形態で提供されるが、ディスプレイ１４は、代替的に、ユーザに対して眼底画像１０およびＯＣＴ正面投影画像３０をそれぞれ同時に表示するように配置された、第１のモニタ（または他の視覚表示ユニット）、および第２のモニタ（または必ずしも第１の視覚表示ユニットと同じ種類ではない他の視覚表示ユニット）の形態で提供されてもよい。
【0038】
本例示的な実施形態では、ＯＣＴデータＤＯＣＴのサブセットｄＯＣＴは、表示された眼底画像１０内の指定された特徴１２に対応すると（表示画像１０および３０の網膜特徴の比較に基づいて）ユーザによって判断された表示されたＯＣＴ正面投影画像３０の一部３２に重ねるように、カーソル１６がユーザ入力デバイス１８からの信号によって案内されたときのカーソル１６の表示位置を示す第２の位置インジケータの値に基づいて、ならびに上述した種類の特徴指定コマンドに応答して、選択モジュール１３０によって選択される。ＯＣＴデータＤＯＣＴのサブセットｄＯＣＴは、第２の位置インジケータの値を、対応する（ｘ，ｙ）座標を有するＯＣＴ Ｃスキャン２０のＡスキャンにマッピングし、ＯＣＴデータＤＯＣＴのサブセットｄＯＣＴとして、Ａスキャン、または隣接する（隣接）Ａスキャン（たとえば、Ｃスキャン２０のｘ－ｙ平面内のマッピングおよび選択されたＡスキャンに最も近いｍ個の隣接Ａスキャン、ｍは好ましくは４より大きく、より好ましくは８より大きい整数である）の所定の配置とともにＡスキャンを選択することによって、第２の位置インジケータの値に基づいて選択され得る。
【0039】
しかしながら、ＯＣＴデータＤＯＣＴのサブセットｄＯＣＴは、隣接するＡスキャンの所定の配置とともにマッピングおよび選択されたＡスキャンによって定義される必要はなく、ユーザが眼底画像１０内の対象の特徴の境界の周りでカーソル１６を移動させる際に彼／彼女が複数の特徴指定コマンドを発行するのに応答して、第２の位置インジケータのそれぞれの値に基づいて選択されたＣスキャン２０のＡスキャンを連結する直線セグメントによって定義されるＣスキャン２０のｘ－ｙ平面内の輪郭によって囲まれたＡスキャンのセットによって定義されてもよいことに、留意すべきである。したがって、ＯＣＴデータＤＯＣＴのサブセットｄＯＣＴは、（本例示的な実施形態のように）所定の形状またはユーザによって定義された形状を有する、ＯＣＴ正面投影画像３０の領域に対応し得る。
【0040】
選択モジュール１３０は、第２の位置インジケータによって示される正面投影画像３０内の位置において、ＯＣＴ正面投影画像３０にグラフィック３４を重畳させてもよい。グラフィック３４はグラフィック１９と同じであってもよく、または、たとえばグラフィック３４の異なる色および／または形状がＯＣＴ正面投影画像３０上でより良い視認性を提供する場合には、グラフィック１９と異なっていてもよい。同様に、表示された眼底画像１０に重なっている間のカーソル１６の外観は、表示されたＯＣＴ正面投影画像３０に重なっている間のその外観と（形状および／または色に関して）異なっていてもよい。
【0041】
特徴指定モジュール１１０が特徴抽出アルゴリズムの仕様によって自動的に眼底画像１０内の特徴１２を指定する、上述した代替の例示的な実施形態では、選択モジュール１３０は、眼底画像１０内の指定された特徴１２の位置を示すように、（たとえばグラフィック１９の形態の）特徴位置インジケータを表示された眼底画像１０に重畳させてもよい。この場合、ＯＣＴデータＤＯＣＴのサブセットｄＯＣＴは、その位置が特徴位置インジケータによって示される眼底画像１０内の位置に対応すると（表示画像１０および３０の網膜特徴の比較に基づいて）ユーザによって判断された、表示されたＯＣＴ正面投影画像３０の一部に重ねるように、カーソル１６がユーザ入力デバイス１８からの信号によって案内されたときのカーソル１６の表示位置を示す、上述のような第２の位置インジケータの値に基づいて選択され得る。
【0042】
しかしながら、眼底画像１０内の指定された特徴１２の位置とＯＣＴデータＤＯＣＴ内のサブセットｄＯＣＴの位置との対応は、表示された眼底画像１０および網膜のその共通部分の表示されたＯＣＴ正面投影画像の観察によりユーザによって決定される必要がないことに留意すべきである。いくつかの例示的な実施形態では、ＯＣＴデータＤＯＣＴ内のサブセットｄＯＣＴの位置は、所定の幾何学的変換を使用することによって、眼底画像１０内の指定された特徴１２の位置に基づいて、自動的に決定されてもよい。所定の幾何学的変換は、眼底画像１０内の位置をＯＣＴデータ内の対応するＡスキャン位置にマッピングし、選択モジュール１３０によって、特徴抽出アルゴリズムによって指定されている眼底画像１０内の特徴１２の位置に適用されることで、ＯＣＴデータのサブセットｄＯＣＴに含まれるべきＡスキャン２６のＣスキャン２０内の対応するＡスキャン位置（任意選択的に、Ｃスキャン２０内の１以上の隣接Ａスキャンとともに）を識別してもよい。
【0043】
幾何学的変換は、いくつかの異なる方法のうちの１つにより決定され得る。たとえば、幾何学的変換は、ＯＣＴ正面投影画像３０をユーザに表示することなく、眼底画像１０を定義する画像データＤＦを、上述のように生成されたＯＣＴ正面投影画像３０を定義する画像データと位置合わせすることによって、決定されてもよい。当業者に知られている任意の強度および／または特徴ベースの位置合わせアルゴリズムは、幾何学的変換を決定し、それにより眼底画像１０内の位置とＯＣＴ Ｃスキャン２０内の横方向位置（図３のｘ軸およびｙ軸に沿った座標によって定義される）との間の点と点の対応を確立するために、使用されることができる。このような位置合わせアルゴリズムは、眼底画像１０を定義する二次元データセットおよびＯＣＴ Ｃスキャン２０の三次元データセットに由来するＯＣＴ正面投影画像３０の二次元データセットではなく、眼底画像１０を定義する二次元データセットおよびＯＣＴ Ｃスキャン２０を定義する三次元データセット上で直接動作することができることに留意すべきである。
【0044】
いくつかの例示的な実施形態では、特徴指定モジュール１１０による眼底画像１０内の特徴の指定、および選択モジュール１３０によるＯＣＴデータＤＯＣＴのサブセットｄＯＣＴの選択の両方が、自動的に（すなわちユーザ入力なしで）実行され得る。したがって、このような例示的な実施形態では、特徴指定モジュール１１０は、特徴抽出アルゴリズムを使用して眼底画像１０内の特徴１２を定義する画像データＤＦの一部を指定することができ、選択モジュール１３０は、眼底画像１０の画像データＤＦ内の指定された部分の位置に上述の幾何学的変換を適用することによって、ＯＣＴデータＤＯＣＴのサブセットｄＯＣＴを選択することができる。これらの例示的な実施形態では、特徴１２の指定およびＯＣＴデータのサブセットｄＯＣＴの選択は、眼底画像１０の画像データＤＦまたはＯＣＴデータＤＯＣＴの表示をユーザに表示することなく、いかなるユーザ入力も必要とせずに、実行される。
【0045】
再び図１を参照すると、装置１００はまた、補足情報として、ＯＣＴデータの選択されたサブセットｄＯＣＴ内の眼の測定反射率の、網膜の深さ方向（すなわち、光線が網膜に入る方向）に沿った変化を示す補足画像データＤＳＩを生成するために、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴを処理するように構成された、補足画像データ生成モジュール１４０－１も有する。装置１００はまた、画像データＤＦを補足画像データＤＳＩと合成することによって合成画像データＤＣＩを生成し、合成画像データＤＣＩによって定義された合成画像が、指定された特徴におけるＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の眼の測定反射率の変化の指標を提供するように構成された、合成画像データ生成モジュール１５０も有する。補足画像データ生成モジュール１４０－１および合成画像データ生成モジュール１５０の機能は、以下で詳細に説明する。
【0046】
図４は、第１の例示的な実施形態の装置１００の動作を実行するように構成され得る、プログラマブル信号処理ハードウェア２００の概略図である。
【0047】
プログラマブル信号処理装置２００は、眼底画像１０の画像データＤＦおよびＯＣＴデータＤＯＣＴをそこから受信するために眼底撮影装置、およびＯＣＴ撮像システムと（または眼底画像１０を定義する画像データＤＦおよび被験者の網膜のＯＣＴデータＤＯＣＴの両方を生成することが可能な上述の統合撮像システムと）通信するための、通信インターフェース（Ｉ／Ｆ）２１０を含む。信号処理装置２００は、プロセッサ（たとえば、中央処理ユニット、ＣＰＵ）２２０と、ワーキングメモリ２３０（たとえば、ランダムアクセスメモリ）と、プロセッサ２２０によって実行されると、本明細書に記載される装置１００の様々な機能をプロセッサ２２０に実行させるコンピュータ可読命令を含むコンピュータプログラム２４５を記憶する命令ストア２４０と、をさらに含む。ワーキングメモリ２３０は、コンピュータプログラム２４５の実行中にプロセッサ２２０によって使用される情報を記憶する。命令ストア２４０は、コンピュータ可読命令が予めロードされたＲＯＭ（たとえば、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）またはフラッシュメモリの形態）を含み得る。あるいは、命令ストア２４０は、ＲＡＭまたは同様のタイプのメモリを含んでもよく、コンピュータプログラム２４５のコンピュータ可読命令は、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどの形態の非一時的なコンピュータ可読記憶媒体２５０またはコンピュータ可読命令を搬送するコンピュータ可読信号２６０などのコンピュータプログラム製品から入力されることも可能である。いずれの場合も、コンピュータプログラム２４５は、プロセッサ２２０によって実行されると、本明細書に記載される、補足情報を含めるように画像データを処理する方法をプロセッサ２２０に実行させる。しかしながら、代替的に、装置１００は特定用途向け集積回路（ＡＳＩＣ）などの非プログラマブルハードウェアに実装されてもよいことに留意すべきである。
【0048】
【0049】
図５のプロセスＳ１０において、特徴指定モジュール１１０は、上述したように、眼底撮影装置から受信した画像データＤＦによって定義される、網膜の一部分の眼底画像１０内の特徴１２を指定する。
【0050】
図５のプロセスＳ２０において、受信モジュール１２０は、上述したように、網膜の一部分のＯＣＴ ＣスキャンのＯＣＴデータＤＯＣＴを受信する。図５では、プロセスＳ１０に続いてプロセスＳ２０が行われるように示されているが、これらのプロセスが実行される順序は逆であってもよく、これらのプロセスの少なくとも一部は同時に実行されてもよいことが理解されるだろう。
【0051】
図５のプロセスＳ３０において、セクションモジュール１３０は、眼底画像１０内の指定された特徴１２の位置に対応する網膜上の位置における網膜の一部の立体画像を表す、受信したＯＣＴデータＤＯＣＴのサブセットｄＯＣＴを選択する。
【0052】
図５のプロセスＳ４０において、補足画像データ生成モジュール１４０－１は、補足情報として、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の眼の測定反射率の、網膜の深さ方向に沿った変化を示す補足画像データＤＳＩを生成するために、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴを処理する。言い換えると、補足画像データＤＳＩは、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内のボクセルによって示されるような眼の測定反射率が、網膜の深さ方向に沿ってどのように変化するかを示す。補足画像データＤＳＩは、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内のボクセルによって示されるような眼の測定反射率の変化を、網膜の深さ方向に沿った位置によりチャート化することができる。従って、補足画像データＤＳＩは、網膜の深さ方向に沿った測定反射率のプロファイルを提供し得る。
【0053】
本例示的な実施形態では、補足画像データ生成モジュール１４０－１は、図６を参照して以下で説明される方法によって、補足画像データＤＳＩを生成するために、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴを処理する。
【0054】
図６のプロセスＳ４２において、補足画像データ生成モジュール１４０－１は、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の複数の解剖学的層を検出する。解剖学的層は、互いに重なり合う解剖学的に異なる眼の構造であり、その光拡散特性の違いによりＯＣＴ画像の深さ軸において区別され得る。解剖学的層は、眼の網膜の１以上の層を含む、眼の後区に存在する解剖学的層を含む。各層は、（眼の硝子体に対して）内面および外面を有する。網膜は、１０層、すなわち、（１）内境界膜（ＩＬＭ）；（２）神経繊維層（ＮＦＬ）；（３）神経節細胞層（ＧＣＬ）；（４）内網状層（ＩＰＬ）；（５）内顆粒層（ＩＮＬ）；（６）外網状層（ＯＰＬ）；（７）外顆粒層（ＯＮＬ）；（８）外境界膜（ＯＬＭ）；（９）感光層（ＰＬ）；および（１０）網膜色素上皮（ＲＰＥ）単層に分割することができる。補足画像データ生成モジュール１４０－１は、当業者に知られているいくつかのタイプの眼層セグメント化のためのアルゴリズムのうちの１つを使用してＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の解剖学的層を検出することができ、これは“A Review of Algorithms for Segmentation of Optical Coherence Tomography from Retina”R. Kafieh et al, J Med Signals Sens. 2013 Jan-Mar; 3(1): 45-60において検討されている。したがって、解剖学的層セグメント化アルゴリズムは、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴの、検出された解剖学的層の境界（すなわち、内面および外面）を識別する層識別情報を生成するために、プロセスＳ４２において使用され、これは、検出された解剖学的層の各々に属するＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内のデータ要素（ボクセル）のそれぞれのセットを識別するために使用することができる。
【0055】
図６のプロセスＳ４４において、補足画像データ生成モジュール１４０－１は、検出された解剖学的層の各々について、それぞれの解剖学的層内のＯＣＴデータのサブセットｄＯＣＴ内のデータ要素（ボクセル）の値を合計することによって、それぞれの合計値を計算する。言い換えると、補足画像データ生成モジュール１４０－１は、解剖学的層Ｌｉの内面と外面との間にＯＣＴデータＤＯＣＴのサブセットｄＯＣＴ内のＡスキャンに沿って配置されたボクセルの値を合計することによって、解剖学的層識別情報を使用して識別された、検出された解剖学的層Ｌ１，．．．Ｌｎの各解剖学的層Ｌｉの合計値Ｓｉを生成し、ｎは２以上の整数である。
【0056】
図６のプロセスＳ４６において、補足画像データ生成モジュール１４０－１は、検出された解剖学的層Ｌ１，．．．Ｌｎの各解剖学的層Ｌｉについて、解剖学的層Ｌｉについて計算された合計値ｓｉと、検出された解剖学的層内およびＯＣＴデータＤＯＣＴのサブセットｄＯＣＴ内の全てのデータ要素の合計ｓｔｏｔａｌとのそれぞれの比ｒｉ、すなわち
を計算する。
【数1】
を計算する。
【0057】
図６のプロセスＳ４８において、補足画像データ生成モジュール１４０－１は、計算された比ｒ１～ｒｎの規則的順序に基づいて（補足画像データＤＳＩとして）色情報を生成し、計算された比ｒ１～ｒｎは、対応する解剖学的層が眼の後区内に配置される順序と同じ順序で配置される。色情報は、計算された比ｒ１～ｒｎの規則的順序を一意に識別する合成画像内に表示される色を定義するように生成される。したがって、指定された特徴１２の位置で合成画像内に表示される色は、網膜の深さ方向に沿ったＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の眼の測定反射率の変化を示す。
【0058】
図６のプロセスＳ４４からＳ４８は、図６のプロセスＳ４２で検出されているＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の解剖学的層の全てに対して動作する必要はなく、代わりにこれらの解剖学的層のうちの少なくとも２つに対して動作すればよいことに、留意すべきである。図６のプロセスＳ４４からＳ４８は、網膜の一部を形成する１以上の検出された解剖学的層に対して動作し、さらに、たとえば脈絡膜および病理学的網膜下液など、網膜の一部を形成しない１以上の解剖学的層に対して動作することができる。
【0059】
一例として、本例示的な実施形態では、第１の解剖学的層Ｌ１、第２の解剖学的層Ｌ２、および第３の解剖学的層Ｌ３が、図６のプロセスＳ４２において補足画像データ生成モジュール１４０－１によって検出される。図６のプロセスＳ４４において、補足画像データ生成モジュール１４０－１は、解剖学的層Ｌ１、Ｌ２、およびＬ３のそれぞれの合計値Ｓ１、Ｓ２、およびＳ３を生成し、解剖学的層Ｌ１、Ｌ２、およびＬ３のそれぞれの比ｒ１、ｒ２、およびｒ３を（図６のプロセスＳ４６において）計算する。たとえば、ｒ１はＳ１／（Ｓ１＋Ｓ２＋Ｓ３）として計算される。この例の図６のプロセスＳ４８において、補足画像データ生成モジュール１４０－１は、合成画像に表示される色の赤色成分Ｒ、緑色成分Ｇ、および青色成分Ｂの各々に、計算された比の規則的順序ｒ１；ｒ２；ｒ３で、計算された比ｒ１、ｒ２、またはｒ３のそれぞれ１つにしたがって、色成分のそれぞれの重み付けｗＲ、ｗＧ、またはｗＢを割り当てることによって、色情報を生成する。たとえば、図６のプロセスＳ４６において計算された比がｒ１＝０．１、ｒ２＝０．８５、およびｒ３＝０．０５であり、解剖学的層Ｌ２がＯＣＴデータＤＯＣＴのサブセットｄＯＣＴ内のデータ要素値によって表される測定反射率に支配的な寄与を提供する例では、ＲＧＢ色成分に対する対応する重み付け０．１：０．８５：０．０５の割り当ての結果、合成画像内に表示される色が主に緑色となり、これは、解剖学的層Ｌ２が指定された特徴１２の測定反射率に対する支配的な寄与を提供することを、合成画像の観察者に示す。別の例では、合成画像内の黄色の表示であれば、解剖学的層Ｌ１およびＬ２が測定反射率に対して主な寄与を提供することを示す。さらなる例では、合成画像内のシアン色の表示であれば、層Ｌ２およびＬ３が測定反射率に対して主な寄与を提供することを示す。
【0060】
再び図５を参照すると、プロセスＳ５０において、合成画像データ生成モジュール１５０は、合成画像データＤＣＩによって定義された合成画像が指定された特徴１２における変化の指標を提供するように、画像データＤＦを補足画像データＤＳＩと結合することによって、合成画像データＤＣＩを生成する。合成画像データ生成モジュール１５０は、合成画像データＤＣＩによって定義された合成画像が、指定された特徴１２におけるＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の眼の測定反射率の変化の指標を提供するように、眼底画像データＤＦの画素のサブセットの画素値を補足画像データＤＳＩの画素値で置き換えることによって、合成画像データＤＣＩを生成するように構成され得る。本例示的な実施形態のような例示的な実施形態では、合成画像データ生成モジュール１５０は、合成画像データＤＣＩによって定義された合成画像が、指定された特徴１２におけるＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の眼の測定反射率の変化の指標を提供するように、画素のサブセットが眼底画像１０内の指定された特徴１２の位置にある眼底画像の小領域を定義する、眼底画像データＤＦの画素のサブセットの画素値を、補足画像データＤＳＩの画素値で置き換えることによって、合成画像データＤＣＩを生成するように構成され得る。より具体的には、合成画像データ生成モジュール１５０は、本例示的な実施形態のように、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴからのデータを示すＯＣＴ正面投影画像３０内の画素位置に対応する画素位置にある、眼底画像１０内の画素値が、ＯＣＴデータＤＯＣＴのそのサブセットｄＯＣＴに対して補足画像データ生成モジュール１４０－１によって決定された色を表す画素値で置き換えられるように、画像データＤＦを修正することによって合成画像データＤＣＩを生成し得る。眼底画像１０およびＯＣＴ正面投影画像３０内の画素位置間の前述の対応は、上述の幾何学的変換によって決定され得る。
【0061】
図７の画像Ａは、眼底画像１０の一例であり、図７の画像Ｂにおいて強調されているいくつかの関心対象の特徴を示す。画像Ｂに示される関心対象の特徴を区切る曲線は、特徴抽出アルゴリズムからの出力に基づく。図７の画像Ｃは合成画像４０の一例であり、画像Ｂにおいて強調された眼底画像１０の領域は、補足画像データ生成モジュール１４０－１によって生成された色情報にしたがって着色されている。画像Ｃにおいて、領域４１、４２、および４３は主に青色であり、領域４４および４５は主に赤色であり、領域４６は主に白色であり、残りの領域は主に緑色である。
【0062】
この着色は、領域４１～４３が、（内側）網膜表面、具体的には、この例で検出された第１の解剖学的層である内側および外側の神経網膜内の、（内側）網膜表面に最も近い網膜の特徴に関連することを示している。図８は、図７の画像Ｃ内の水平線に沿って切り取られたＢスキャンの画像を示す。水平線が領域４１および４２と交差する図７の領域に対応する、図８の網膜の領域は、図８の網膜の周囲領域よりも（図８の上部に向かって）網膜の内面付近でより高い反射率を有する。
【0063】
図７では、主に緑色の領域は、この例で検出されたより深い網膜層の特徴に関連しており、これはこの例では網膜色素上皮（ＲＰＥ）である。領域４４および４５は、網膜表面から最も離れており、脈絡膜または病理学的網膜下液内にある、さらに深い特徴に関連しており、これはこの例で検出された第３の解剖学的層内にある。
【0064】
［第２の例示的な実施形態］
【0065】
図９は、第２の例示的な実施形態による、画像データを処理するための装置３００の概略図である。第２の例示的な実施形態の装置３００は、異なる種類の補足画像データＤ’ＳＩを生成するように構成された、補足画像データ生成モジュール１４０－２の配置によって、第１の例示的な実施形態の装置１００とは異なっている。他の全ての点では、第２の例示的な実施形態の装置３００は、上述した第１の例示的な実施形態の装置１００と同じである。
【0066】
本例示的な実施形態では、補足画像データ生成モジュール１４０－２は、図６を参照して上述された方法の変形例であって、図１０を参照して以下で説明される方法によって、補足画像データＤ’ＳＩを生成するために、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴを処理する。
【0067】
【0068】
図１０のプロセスＳ４７において、補足画像データ生成モジュール１４０－２は、プロセスＳ４４で計算された合計値に基づいて、合計値が計算された検出層のうち、測定反射率に対する支配的な寄与を提供する検出層Ｌ１からＬｎの解剖学的（たとえば、網膜）層を選択する。補足画像データ生成モジュール１４０－２は、本例示的な実施形態のように、合計値が計算された検出層のうちで、その計算された合計値が最大となる層を選択することによって、支配的な寄与を提供する解剖学的層を選択することができる。
【0069】
図１０のプロセスＳ４８において、補足画像データ生成モジュール１４０－２は、補足画像データＤ’ＳＩとして、たとえば（たとえば、完全形または省略形で）層を命名するテキストラベルによって、選択された解剖学的層を識別するグラフィックを定義するグラフィック画像データを生成する。しかしながら、グラフィックは選択された解剖学的層の自己完結型識別を必要とせず、たとえば、やはり画面上に表示される凡例（異なる形態（たとえば、パターン）のグラフィックと、対応する命名された解剖学的層との間の関連付けを示す）を参照して、選択された解剖学的層を観察者が識別できるようにするパターンを備えることができる。
【0070】
合成画像データ生成モジュール１５０は、合成画像が注釈付きバージョンの眼底画像１０となるように画像データＤＦをグラフィック画像データと合成することによって合成画像データＤ’ＣＩを生成するように構成され、グラフィックは、指定された特徴１２の位置を示すように、眼底画像１０に重畳される（好ましくは、たとえば矢印などのような尖った特徴を有するように形成される）。このような注釈付きバージョンの眼底画像１０の例は、図１１および図１２に示されている。
【0071】
したがって、本例示的な実施形態のようないくつかの例示的な実施形態では、合成画像データ生成モジュール１５０は、合成画像データＤ’ＣＩによって定義された合成画像が指定された特徴１２においてＯＣＴデータの選択されたサブセット内の眼の測定反射率の変化の指標を提供するように、眼底画像データの画素のサブセットの画素値を補足画像データＤ’ＳＩの画素値で置き換えることによって、合成画像データＤ’ＣＩを生成するように構成され得る。補足画像データ生成モジュール１４０－２は、ＯＣＴデータの選択されたサブセット内の眼の測定反射率の、網膜の深さ方向に沿った変化、またはより具体的には、ＯＣＴデータの選択されたサブセット内で示されるような、眼の測定反射率が網膜の深さ方向に沿ってどのように変化するかを示す、グラフィックを定義する補足画像データを生成するように構成され得る。本例示的な実施形態のような例示的な実施形態では、合成画像データ生成モジュール１５０は、合成画像データＤ’ＣＩによって定義された合成画像が、指定された特徴１２においてＯＣＴデータの選択されたサブセット内の眼の測定反射率の変化の指標を提供するように眼底画像１０に重畳されるグラフィックを備えるように、眼底画像データの画素のサブセットの画素値を補足画像データＤ’ＳＩの画素値で置き換えることによって、合成画像データＤ’ＣＩを生成するように構成され得る。
【0072】
図１１では、ラベル「ＩＮＬ」は、網膜の内顆粒層（ＩＮＬ）内に位置する特徴の眼底画像内の位置を示すように眼底画像に重ねられ、その一方でラベル「ＧＣＬ」は、網膜の神経節細胞層（ＧＣＬ）内に位置する特徴の眼底画像内の位置を示すように眼底画像に重ねられる。ラベル「Ｎｏｎｅ」は眼底画像に重ねられ、眼底画像内の関連する特徴が網膜のいずれの層内にも位置していないことを示す。
【0073】
図１２では、ラベル「ＲＰＥ」は、網膜の網膜色素上皮（ＲＰＥ）内に位置する特徴の眼底画像内の位置を示すように眼底画像に重ねられ、その一方でラベル「ＩＬＭ」は、網膜と硝子体との間にある内境界膜（ＩＬＭ）内に位置する特徴の眼底画像内の位置を示すように眼底画像に重ねられる。
【0074】
［第３の例示的な実施形態］
【0075】
図１３は、第３の例示的な実施形態による、画像データを処理するための装置４００の概略図である。第３の例示的な実施形態の装置４００は、これらの例示的な実施形態で説明された補足情報を異なる方法で生成するように配置された補足画像データ生成モジュール１４０－３の配置によって、第１および第２の例示的な実施形態の装置とは異なっている。他の全ての点では、第３の例示的な実施形態の装置４００は、上述した第１の例示的な実施形態の装置１００および第２の例示的な実施形態の装置３００と同じである。
【0076】
本例示的な実施形態では、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴは、所定のタイプの特徴を有する網膜の一部（場合により、たとえば網膜の外面の下の別の部分に加えて）の立体画像を表し、図１４を参照して以下で説明される方法によって補足画像データＤＳＩを生成するために、補足画像データ生成モジュール１４０－３によって処理される。
【0077】
図１４のプロセスＳ４１において、所定のタイプの特徴の網膜の深さ方向における深さを判定するためのモデルが、少なくとももう１つの別の網膜の病変領域のＯＣＴデータの例による教師あり学習によって訓練される。ＯＣＴデータのこれらの例の各々は、単一のＯＣＴ Ａスキャンまたは２つ以上の隣接するＯＣＴ Ａスキャンを含み、病変領域の各々は、所定のタイプの特徴をそれぞれ有する。モデルが訓練されている間、ＯＣＴデータの例の各々における網膜の深さ方向のそれぞれの特徴のそれぞれの深さの指標がユーザによって規定される。モデルにはまた、訓練するプロセスにおいて、Ａスキャン（１以上）における網膜層の位置が提供されてもよく、モデルは、入力としてＡスキャン（または隣接Ａスキャンのグループ）および層が与えられたときに、その特徴の深さを出力することを学習し得る。
【0078】
特徴の深さは、いくつかの方法で規定され得る。深さは通常、１以上の網膜層に対して定義される。たとえば、深さは、画素数に関して、または（画素寸法が予め推定されていると仮定して）網膜層のうちの１つに対する線形測定として、定義され得る。最も内側または最も外側の網膜表面は、この測定に適切な基準点を提供し得る。あるいは、深さは、自動化手段によって識別された複数の網膜層に対して定義されてもよい。この場合、深さは、特徴が含まれる層の名前、および任意選択的に、層の内面または外面に対する特徴の変位によって示されてもよい。また、深さは、特徴が含まれる層の名前、ならびに、たとえば０が層の内面にあることを示し、１が層の外面にあることを示すように、層の内面および外面の両方に対する特徴の無名数正規化変位（unitless normalised displacement）によって示されてもよい。
【0079】
図１４のプロセスＳ４３において、補足画像データ生成モジュール１４０－３は、網膜の深さ方向における特徴の深さを判定するためにプロセスＳ４１で学習したモデルを使用して、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴを処理する。
【0080】
図１４のプロセスＳ４５において、補足画像データ生成モジュール１４０－３は、補足画像データとして、（ｉ）特徴の判定された深さを示し、合成画像４０における特徴の位置を示すように眼底画像１０に重畳されるグラフィックを定義するグラフィック画像データ、または（ｉｉ）合成画像の特徴の位置に表示され、特徴の判定された深さを示す色を定義する色情報、のいずれかを生成する。グラフィック画像データおよび色情報は、上述したように生成され得る。
【0081】
本明細書の例示的な実施形態にしたがって、以下のＥ１からＥ１２に示されるような装置が説明されてきた。
【0082】
Ｅ１．眼底画像１０内の指定された特徴１２に関する補足情報を含むように、眼の網膜の一部分の眼底画像１０を定義する画像データを処理するための装置１００であって、装置は、
眼底画像１０内の特徴を指定するように構成された特徴指定モジュール１１０と、
網膜の部分のＣスキャン２０の光干渉断層撮影、すなわちＯＣＴデータＤＯＣＴを受信するように構成された受信モジュール１２０と、
眼底画像１０内の指定された特徴１２の位置に対応する網膜上の位置の網膜の一部の立体画像を表すＯＣＴデータＤＯＣＴのサブセットｄＯＣＴを選択するように構成された選択モジュール１３０と、
ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の眼の測定反射率の、網膜の深さ方向に沿った変化を示す補足画像データＤＳＩを補足情報として生成するために、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴを処理するように構成された補足画像データ生成モジュール１４０－１と、
合成画像データＤＣＩによって定義された合成画像が指定された特徴１２における変化の指標を提供するように、画像データＤＦを補足画像データＤＳＩと合成することによって合成画像データＤＣＩを生成するように構成された合成画像データ生成モジュール１５０－１と
を備える装置。
眼底画像１０内の特徴を指定するように構成された特徴指定モジュール１１０と、
網膜の部分のＣスキャン２０の光干渉断層撮影、すなわちＯＣＴデータＤＯＣＴを受信するように構成された受信モジュール１２０と、
眼底画像１０内の指定された特徴１２の位置に対応する網膜上の位置の網膜の一部の立体画像を表すＯＣＴデータＤＯＣＴのサブセットｄＯＣＴを選択するように構成された選択モジュール１３０と、
ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の眼の測定反射率の、網膜の深さ方向に沿った変化を示す補足画像データＤＳＩを補足情報として生成するために、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴを処理するように構成された補足画像データ生成モジュール１４０－１と、
合成画像データＤＣＩによって定義された合成画像が指定された特徴１２における変化の指標を提供するように、画像データＤＦを補足画像データＤＳＩと合成することによって合成画像データＤＣＩを生成するように構成された合成画像データ生成モジュール１５０－１と
を備える装置。
【0083】
Ｅ２．特徴指定モジュール１１０は、カーソル１６が、ユーザ入力デバイス１８からの信号によって、表示された眼底画像１０の上を移動するように制御され得るように、眼底画像１０およびカーソル１６をディスプレイ１４上に表示させ、特徴指定コマンドに応答して、表示された眼底画像１０上のカーソル１６の表示位置を示す第１の位置インジケータの値を記録することによって眼底画像１０内の特徴１２を指定するように構成されている、Ｅ１に記載の装置。
【0084】
Ｅ３．選択モジュール１３０は、網膜の部分のＯＣＴ正面投影画像３０を生成するためにＯＣＴデータＤＯＣＴを処理し、カーソル１６が、ユーザ入力デバイス１８からの信号によって、表示されたＯＣＴ正面投影画像３０上を移動するように制御され得るように、眼底画像１０とともにＯＣＴ正面投影画像３０をディスプレイ１４上に表示させ、カーソル１６が、表示された眼底画像１０内の指定された特徴１２に対応する表示されたＯＣＴ正面投影画像３０の一部分に重ねるように、ユーザ入力デバイス１８からの信号によって案内されたときのカーソル１６の表示位置を示す第２の位置インジケータの値に基づいて、ＯＣＴデータＤＯＣＴのサブセットｄＯＣＴを選択するように構成される、Ｅ２に記載の装置。
【0085】
Ｅ４．特徴指定モジュール１１０は、特徴抽出アルゴリズムを使用して眼底画像１０内の特徴１２を自動的に指定するように構成される、Ｅ１に記載の装置。
【0086】
Ｅ５．選択モジュール１３０は、
眼底画像１０、および眼底画像１０内の指定された特徴１２の位置を示す特徴位置インジケータ１９を、ディスプレイ１４上に表示させ、
網膜の部分のＯＣＴ正面投影画像３０を生成するためにＯＣＴデータＤＯＣＴを処理し、
カーソル１６が、ユーザ入力デバイス１８からの信号によって、表示されたＯＣＴ正面投影画像３０の上を移動するように制御され得るように、ＯＣＴ正面投影画像３０およびカーソル１６を、眼底画像１０とともにディスプレイ１４上に表示させ、
カーソル１６が、特徴位置インジケータ１９によって示される眼底画像１０内の指定された特徴１２の位置にその位置が対応する表示されたＯＣＴ正面投影画像３０の部分に重ねるように、ユーザ入力デバイス１８からの信号によって案内されたときのカーソル１６の表示位置を示す第２の位置インジケータの値に基づいて、ＯＣＴデータＤＯＣＴのサブセットｄＯＣＴを選択する
ように構成される、Ｅ４に記載の装置。
眼底画像１０、および眼底画像１０内の指定された特徴１２の位置を示す特徴位置インジケータ１９を、ディスプレイ１４上に表示させ、
網膜の部分のＯＣＴ正面投影画像３０を生成するためにＯＣＴデータＤＯＣＴを処理し、
カーソル１６が、ユーザ入力デバイス１８からの信号によって、表示されたＯＣＴ正面投影画像３０の上を移動するように制御され得るように、ＯＣＴ正面投影画像３０およびカーソル１６を、眼底画像１０とともにディスプレイ１４上に表示させ、
カーソル１６が、特徴位置インジケータ１９によって示される眼底画像１０内の指定された特徴１２の位置にその位置が対応する表示されたＯＣＴ正面投影画像３０の部分に重ねるように、ユーザ入力デバイス１８からの信号によって案内されたときのカーソル１６の表示位置を示す第２の位置インジケータの値に基づいて、ＯＣＴデータＤＯＣＴのサブセットｄＯＣＴを選択する
ように構成される、Ｅ４に記載の装置。
【0087】
Ｅ６．選択モジュール１３０は、特徴抽出アルゴリズムによって指定された眼底画像１０内の特徴１２の位置に、眼底画像１０内の位置をＯＣＴデータＤＯＣＴ内の対応するＡスキャン位置にマッピングする幾何学的変換を適用することによって、ＯＣＴデータＤＯＣＴのサブセットｄＯＣＴを選択するように構成される、Ｅ４に記載の装置。
【0088】
Ｅ７．特徴１２は、眼底画像１０内のドットおよび超反射性ドットのうちの１つであり、特徴１２は、病理学的原因を有するか、または網膜の内境界膜からの反射によって引き起こされる、Ｅ１からＥ６のいずれか一つに記載の装置。
【0089】
Ｅ８．特徴１２は、網膜内の漏血、滲出、ドルーゼン、萎縮および／または母斑、ならびに網膜内の網膜色素上皮の萎縮のうちの１つを含む病理学的原因を有する、Ｅ７に記載の装置。
【0090】
Ｅ９．補足画像データ生成モジュール１４０－１は、
ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の眼の複数の解剖学的層を検出し（Ｓ４２）、
検出された解剖学的層のうちの少なくとも２つの各々について、解剖学的層内のＯＣＴデータＤＯＣＴのサブセットｄＯＣＴのデータ要素の値を合計することによって、それぞれの合計値を計算し（Ｓ４４）、
検出された解剖学的層のうちの少なくとも２つの各々について、解剖学的層に対して計算された合計値と、検出された解剖学的層のうちの少なくとも２つおよびＯＣＴデータＤＯＣＴのサブセットｄＯＣＴ内の全てのデータ要素の合計との比をそれぞれ計算し（Ｓ４６）、
合成画像内に表示され、計算された比の規則的順序を識別する色を定義する色情報を、補足画像データとして、計算された比が眼の対応する解剖学的層の順序で配置される、計算された比の規則的順序に基づいて生成し、色が、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の眼の測定反射率の網膜の深さ方向に沿った変化を示す（Ｓ４８）こと
によって補足画像データＤＳＩを生成するために、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴを処理するように構成される、Ｅ１からＥ８のいずれか一つに記載の装置。
ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の眼の複数の解剖学的層を検出し（Ｓ４２）、
検出された解剖学的層のうちの少なくとも２つの各々について、解剖学的層内のＯＣＴデータＤＯＣＴのサブセットｄＯＣＴのデータ要素の値を合計することによって、それぞれの合計値を計算し（Ｓ４４）、
検出された解剖学的層のうちの少なくとも２つの各々について、解剖学的層に対して計算された合計値と、検出された解剖学的層のうちの少なくとも２つおよびＯＣＴデータＤＯＣＴのサブセットｄＯＣＴ内の全てのデータ要素の合計との比をそれぞれ計算し（Ｓ４６）、
合成画像内に表示され、計算された比の規則的順序を識別する色を定義する色情報を、補足画像データとして、計算された比が眼の対応する解剖学的層の順序で配置される、計算された比の規則的順序に基づいて生成し、色が、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の眼の測定反射率の網膜の深さ方向に沿った変化を示す（Ｓ４８）こと
によって補足画像データＤＳＩを生成するために、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴを処理するように構成される、Ｅ１からＥ８のいずれか一つに記載の装置。
【0091】
Ｅ１０．補足画像データ生成モジュール１４０－１は、
ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の３つの解剖学的層を検出し、
合成画像に表示される色の赤色成分、緑色成分、および青色成分の各々に、計算された比の規則的順序で、計算された比のそれぞれ１つにしたがって色成分の重み付けをそれぞれ割り当てることによって色情報を生成する
ように構成される、Ｅ９に記載の装置。
ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の３つの解剖学的層を検出し、
合成画像に表示される色の赤色成分、緑色成分、および青色成分の各々に、計算された比の規則的順序で、計算された比のそれぞれ１つにしたがって色成分の重み付けをそれぞれ割り当てることによって色情報を生成する
ように構成される、Ｅ９に記載の装置。
【0092】
Ｅ１１．補足画像データ生成モジュール１４０－２は、
ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の眼の複数の解剖学的層を検出し、
検出された解剖学的層の各解剖学的層について、解剖学的層内のＯＣＴデータＤＯＣＴのサブセットｄＯＣＴのデータ要素の値を合計することによって、それぞれの合計値を計算し、
計算された合計値に基づいて、検出された解剖学的層のうちの、眼の測定反射率に対して支配的な寄与を提供する一つの解剖学的層を選択し、
補足画像データＤＳＩとして、選択された解剖学的層を識別するグラフィックを定義するグラフィック画像データを生成すること
によって補足画像データＤＳＩを生成するために、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴを処理するように構成され、
合成画像データＤＣＩは、合成画像において、グラフィックが指定された特徴１２において眼底画像１０に重畳されるように、画像データＤＦをグラフィック画像データと合成することによって生成される、Ｅ１からＥ８のいずれか一つに記載の装置。
ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴ内の眼の複数の解剖学的層を検出し、
検出された解剖学的層の各解剖学的層について、解剖学的層内のＯＣＴデータＤＯＣＴのサブセットｄＯＣＴのデータ要素の値を合計することによって、それぞれの合計値を計算し、
計算された合計値に基づいて、検出された解剖学的層のうちの、眼の測定反射率に対して支配的な寄与を提供する一つの解剖学的層を選択し、
補足画像データＤＳＩとして、選択された解剖学的層を識別するグラフィックを定義するグラフィック画像データを生成すること
によって補足画像データＤＳＩを生成するために、ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴを処理するように構成され、
合成画像データＤＣＩは、合成画像において、グラフィックが指定された特徴１２において眼底画像１０に重畳されるように、画像データＤＦをグラフィック画像データと合成することによって生成される、Ｅ１からＥ８のいずれか一つに記載の装置。
【0093】
Ｅ１２．ＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴは、所定のタイプの特徴を有する網膜の一部分の立体画像を表し、補足画像データ生成モジュール１４０－３は、
少なくとも他の１つの網膜の病変領域のＯＣＴデータの例による教師あり学習によって、網膜の所定のタイプの特徴の深さを判定するためのモデルを訓練し、ＯＣＴデータの例の各々は、単一のＯＣＴ Ａスキャンまたは２つ以上の隣接するＯＣＴ Ａスキャンを含み、病変領域の各々は、所定のタイプのそれぞれの特徴を有し、ＯＣＴデータの例の各々における網膜のそれぞれの特徴のそれぞれの深さの指標は、訓練中にユーザによって規定され、
網膜の特徴の深さを判定するために、訓練されたモデルを使用してＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴを処理し、
補足画像データとして、
合成画像４０内の特徴の位置を示すように、網膜の特徴の判定された深さを示すとともに眼底画像１０に重畳されるグラフィックを定義するグラフィック画像データ、および
合成画像内の特徴の位置に表示され、網膜の特徴の判定された深さを示す色を定義する色情報、
のうちの１つを生成すること
によって補足画像データＤＳＩを生成するように構成される、Ｅ１からＥ８のいずれか一つに記載の装置。
少なくとも他の１つの網膜の病変領域のＯＣＴデータの例による教師あり学習によって、網膜の所定のタイプの特徴の深さを判定するためのモデルを訓練し、ＯＣＴデータの例の各々は、単一のＯＣＴ Ａスキャンまたは２つ以上の隣接するＯＣＴ Ａスキャンを含み、病変領域の各々は、所定のタイプのそれぞれの特徴を有し、ＯＣＴデータの例の各々における網膜のそれぞれの特徴のそれぞれの深さの指標は、訓練中にユーザによって規定され、
網膜の特徴の深さを判定するために、訓練されたモデルを使用してＯＣＴデータＤＯＣＴの選択されたサブセットｄＯＣＴを処理し、
補足画像データとして、
合成画像４０内の特徴の位置を示すように、網膜の特徴の判定された深さを示すとともに眼底画像１０に重畳されるグラフィックを定義するグラフィック画像データ、および
合成画像内の特徴の位置に表示され、網膜の特徴の判定された深さを示す色を定義する色情報、
のうちの１つを生成すること
によって補足画像データＤＳＩを生成するように構成される、Ｅ１からＥ８のいずれか一つに記載の装置。
【0094】
ここで説明された例示的な態様は、網膜眼底画像の処理に関する、特にコンピュータ技術に起因する限定を回避する。特に、いくつかの一般的な眼疾患の特徴は、眼底画像において同様の外観を有し、これは、鏡面反射撮影アーチファクトなどから曖昧さをなくすことが困難であり得る。本明細書に記載される例示的な態様により、ＯＣＴデータ内の追加情報は、網膜眼底画像内の特徴のより明確なレンダリングのために活用することができ、これは、ＯＣＴデータを確認することなく、ユーザによって理解されることが可能であり、網膜眼底画像内のアーチファクトスポットなどの誤読を回避するのに役立てることができる。また、コンピュータ技術に基づく本明細書に記載される例示的な態様の前述の能力により、本明細書に記載される例示的な態様は、コンピュータおよびコンピュータ処理／機能を改善し、少なくとも網膜画像分析の１以上の分野も改善する。
【0095】
上述の説明では、いくつかの例示的な実施形態を参照して例示的な態様が説明されている。したがって、本明細書は、限定的ではなく例示的であると見なされるべきである。同様に、例示的な実施形態の機能および利点を強調した図面に示される図は、例示目的のみのために提示されている。例示的な実施形態のアーキテクチャは、添付図面に示されている以外の方法でも利用（およびナビゲート）され得るように、十分に柔軟かつ構成可能である。
【0096】
本明細書で提示された例のソフトウェア実施形態は、例示的な一実施形態において、各々が非一時的であってもよい、機械アクセス可能または機械可読媒体、命令ストア、もしくはコンピュータ可読記憶デバイスなどの製品に含まれるかまたは記憶された、命令または命令のシーケンスを有する１以上のプログラムなどのコンピュータプログラムまたはソフトウェアとして提供され得る。非一時的な機械アクセス可能媒体、機械可読媒体、命令ストア、またはコンピュータ可読記憶デバイス上のプログラムまたは命令は、コンピュータシステムまたは他の電子デバイスをプログラムするために使用され得る。機械またはコンピュータ可読媒体、命令ストア、および記憶デバイスは、フロッピー（登録商標）ディスケット、光ディスク、および光磁気ディスク、または電子命令を記憶または送信するのに適した他のタイプの媒体／機械可読媒体／命令ストア／記憶デバイスを含み得るが、これらに限定されない。本明細書に記載される技術は、いかなる特定のソフトウェア構成にも限定されない。これらは、いかなる計算または処理環境においても適用性を見出すことができる。本明細書で使用される用語「コンピュータ可読」、「機械アクセス可能媒体」、「機械可読媒体」、「命令ストア」、および「コンピュータ可読記憶デバイス」は、機械、コンピュータ、またはコンピュータプロセッサによる実行のための命令または命令のシーケンスを記憶、符号化、または送信することができ、本明細書に記載された方法のいずれか１つを機械／コンピュータ／コンピュータプロセッサに実行させる、任意の媒体を含むものとする。さらに、当該技術分野では、様々な形態（たとえば、プログラム、手順、プロセス、アプリケーション、モジュール、ユニット、論理など）のソフトウェアについて、アクションを取るまたは結果を引き起こすものと言うことが一般的である。このような表現は、処理システムによるソフトウェアの実行により、プロセッサがある結果をもたらすための動作を実行するということを述べる簡略化した方法に過ぎない。
【0097】
いくつかの実施形態はまた、特定用途向け集積回路、フィールドプログラマブルゲートアレイの準備によって、または従来の構成要素回路の適切なネットワークを相互接続することによって実施されてもよい。
【0098】
いくつかの実施形態は、コンピュータプログラム製品を含む。コンピュータプログラム製品は、本明細書に記載される例示的な実施形態の手順のいずれかを実行するようにコンピュータまたはコンピュータプロセッサを制御するため、またはこれらに実行させるために使用可能な命令を記憶している、１以上の記憶媒体、１以上の命令ストア、もしくは１以上の記憶装置であってもよい。記憶媒体／命令ストア／記憶装置は、限定ではなく例として、光ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ、フラッシュカード、磁気カード、光カード、ナノシステム、分子メモリ集積回路、ＲＡＩＤ、リモートデータストレージ／アーカイブ／ウェアハウス、命令および／またはデータを記憶するのに適した任意の他のタイプのデバイスの少なくとも一つを含み得る。
【0099】
いくつかの実装形態は、１以上のコンピュータ可読媒体、１以上の命令ストア、もしくは１以上の記憶装置のうちのいずれか１つに記憶されて、ソフトウェアを含み、これはシステムのハードウェアとソフトウェアの両方を制御し、本明細書に記載される例示的な実施形態の結果を利用してシステムまたはマイクロプロセッサが人間のユーザまたは他の機構と対話することを可能にする。このようなソフトウェアは、デバイスドライバ、オペレーティングシステム、およびユーザアプリケーションを含み得るが、これらに限定されない。最終的に、このようなコンピュータ可読媒体または１以上の記憶装置は、上述のような本明細書の例示的な態様を実行するためのソフトウェアをさらに含む。
【0100】
システムのプログラミングおよび／またはソフトウェアには、本明細書に記載される手順を実施するためのソフトウェアモジュールが含まれる。本明細書のいくつかの例示的な実施形態では、モジュールはソフトウェアを含むが、本明細書の別の例示的な実施形態では、モジュールは、ハードウェア、またはハードウェアとソフトウェアとの組合せを含む。
【0101】
様々な例示的な実施形態が上で説明されてきたが、これらが限定ではなく例として提示されてきたことは、理解されるべきである。形態および詳細の様々な変更が行われ得ることは、当業者にとって明らかであろう。したがって、本開示は、上で説明された例示的な実施形態のいずれによっても限定されるべきではなく、以下の請求項およびその均等物にしたがってのみ定義されるべきである。
【0102】
さらに、要約書の目的は、特許庁および一般の人々、ならびに特に特許または法律用語または表現に精通していない当該技術分野の科学者、技術者、および実務家が、本出願の技術的開示の性質および本質を迅速に判断できるようにすることである。要約書は、本明細書に提示される例示的な実施形態の範囲を限定することを決して意図していない。請求項に列挙される手順は、提示された順序で実行される必要がないこともまた、理解されたい。
【0103】
本明細書は多くの特定の実施形態の詳細を含むが、これらは限定ではなく、本明細書に記載される具体的な実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態の文脈で本明細書に記載された特定の特徴は、単一の実施形態において組み合わせて実施されることも可能である。逆に、単一の実施形態の文脈で記載された様々な特徴が、複数の実施形態で別個に、または任意の適切なサブコンビネーションで実施されることも可能である。また、特徴は、特定の組合せで動作するように上で説明され、当初そのように特許請求されることもあるが、特許請求された組合せからの１以上の特徴は、場合により組合せから削除することができ、特許請求された組合せは、サブコンビネーションまたはサブコンビネーションの変形を対象としてもよい。
【0104】
特定の状況では、マルチタスク処理および並列処理が有利であり得る。また、上で説明された実施形態における様々な構成要素の分離は、全ての実施形態においてこのような分離を必要とするように理解されるべきではなく、説明されたプログラム構成要素およびシステムは、一般に、単一のソフトウェア製品に一緒に統合されてもよく、または複数のソフトウェア製品にパッケージされてもよいことが、理解されるべきである。
【0105】
本明細書でいくつかの例示的な実施形態および実施形態を説明してきたが、上記は例示的であって限定的ではなく、例として提示されてきたことは明らかである。特に、本明細書で提示された例の多くは、装置またはソフトウェア要素の特定の組合せを伴うが、これらの要素は、同じ目的を達成するために、別の方法で組み合わせられてもよい。１つの実施形態に関連してのみ論じられた動作、要素、および特徴は、別の実施形態または実施形態における同様の役割から除外されるように意図されるものではない。
【0106】
本明細書に記載される装置およびコンピュータプログラムは、その特徴から逸脱することなく、他の特定の形態で具現化されてもよい。上述の実施形態は、説明されたシステムおよび方法を限定するものではなく、むしろ例示的なものである。したがって、本明細書に記載される装置およびコンピュータプログラムの範囲は、上述の説明ではなく、添付の請求項によって示され、請求項と均等の意味および範囲内にある変更は、請求の範囲に含まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
