IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オプトス ピーエルシーの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】医用画像を用いた病態予測
(51)【国際特許分類】
   A61B 3/10 20060101AFI20231129BHJP
   A61B 5/00 20060101ALI20231129BHJP
   A61B 5/055 20060101ALI20231129BHJP
   A61B 6/00 20060101ALI20231129BHJP
   A61B 6/03 20060101ALI20231129BHJP
   G06T 7/00 20170101ALI20231129BHJP
   G16H 30/00 20180101ALI20231129BHJP
【FI】
A61B3/10 300
A61B5/00 M
A61B5/055 380
A61B6/00 350D
A61B6/03 360J
G06T7/00 300F
G06T7/00 612
G16H30/00
【請求項の数】 14
【外国語出願】
(21)【出願番号】P 2020068565
(22)【出願日】2020-04-06
(65)【公開番号】P2020168372
(43)【公開日】2020-10-15
【審査請求日】2020-06-16
【審判番号】
【審判請求日】2022-06-07
(31)【優先権主張番号】19167392
(32)【優先日】2019-04-04
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】509012991
【氏名又は名称】オプトス ピーエルシー
(74)【代理人】
【識別番号】100084995
【弁理士】
【氏名又は名称】加藤 和詳
(72)【発明者】
【氏名】フレミング、アラン ダンカン
【合議体】
【審判長】石井 哲
【審判官】渡戸 正義
【審判官】松本 隆彦
(56)【参考文献】
【文献】特開2016-214312(JP,A)
【文献】特表2001-525579(JP,A)
【文献】国際公開第2018/018160(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B3/00-3/16
(57)【特許請求の範囲】
【請求項1】
用撮像システムを使用して撮影された被験者の網膜像であり、かつ、病変を視認可能な像から、前記被験者の前記網膜に病変を引き起こす疾患に関連する病状レベルを判定するコンピュータ実施方法であって、
前記像における複数の病変位置を、前記像内で前記複数の病変位置を特定した自動病変検出器から取得し、
ラスタリングアルゴリズムを、前記クラスタリングアルゴリズムが少なくとも1つの病変クラスターと応する病変クラスターデータとを特定するように、前記複数の病変位置に適用し、
前記網膜の画像内の領域を定義するグリッドを使用し、前記病変クラスターのそれぞれの重心、前記病変クラスターのそれぞれの病変の平均位置、又は前記病変クラスターのそれぞれの病変位置の中央値の少なくとも一つが存在する領域に応じて、前記少なくとも1つの病変クラスターのそれぞれを分類することによって、少なくとも1つの前記病変クラスターのそれぞれを、特定された前記病変クラスターデータに基づいて、所定のカテゴリセットの1つに分類し、
前記所定のカテゴリセットにおける各カテゴリに関して、固定された数のデータを出力し、実数の組み合わせが入力されると実数を返す統計関数である関数のうちの少なくとも1つの関数を前記病変クラスターデータに適用し、
前記所定のカテゴリセットの各カテゴリにおける、前記固定された数のデータ出力を、類アルゴリズムに基づいて処理することで、前記像から病状レベルを判定すること、
を含み、
前記分類アルゴリズムは、前記病変が存在し、かつ前記疾患に関連する第1病状レベルを示す複数の被験者の網膜の一部の画像を定義する第1画像データ、及び前記病変が存在し、かつ前記疾患に関連する前記第1病状レベルとは異なる第2病状レベルを示すか又は前記疾患がないことを示す複数の被験者の網膜の一部の画像を定義する第2画像データを含む例示的な訓練セットから学習アルゴリズムにより構築される、
コンピュータ実施方法。
【請求項2】
前記像内の前記複数の病変位置のそれぞれの位置について、病変の種類、病変面積、病変体積、病変の形状の複雑度、病変強度、及び病変の色の少なくとも1つを、前記病変の特性として取得することをさらに含む、請求項1に記載のコンピュータ実施方法。
【請求項3】
同じ前記病変の特性を有する前記複数の病変位置に関して前記クラスタリングアルゴリズムを適用することをさらに含む、請求項2に記載のコンピュータ実施方法。
【請求項4】
前記クラスタリングアルゴリズムを前記病変の特性に関するデータに適用することをさらに含む、請求項2に記載のコンピュータ実施方法。
【請求項5】
前記複数の病変位置における各位置は、二次元画像ベースの座標系、又は撮像対象の前記被験者の前記網膜に適合された座標系において定義される、請求項1から請求項4のいずれか一項に記載のコンピュータ実施方法。
【請求項6】
前記クラスタリングアルゴリズムは、入力として、クラスターの数の標示を必要としない、請求項1から請求項5のいずれか一項に記載のコンピュータ実施方法。
【請求項7】
前記クラスタリングアルゴリズムは、
密度準拠アルゴリズムと、
前記複数の病変位置のバンドパスフィルタマップに閾値を適用することと、
の内の少なくとも1つを含む、請求項1から請求項6のいずれか一項に記載のコンピュータ実施方法。
【請求項8】
前記病変クラスターデータは、少なくとも1つの前記病変クラスターのそれぞれに対応する少なくとも1つのクラスター特性を含み、前記少なくとも1つのクラスター特性は、
前記像内の前記複数の病変位置のそれぞれの位置に対応する病変の種類が取得される場合、前記病変クラスター内の前記病変のモード型、
前記像内の前記複数の病変位置のそれぞれの位置に対応する病変面積又は病変体積が取得される場合、前記病変クラスター内の前記病変の前記病変面積の平均値又は中央
値、あるいは前記病変体積の平均値又は中央値、
前記像内の前記複数の病変位置のそれぞれの位置に対する前記病変の形状の複雑度が取得される場合、前記病変クラスター内の前記病変の形状複雑度の平均値又は中央値、
前記像内の前記複数の病変位置のそれぞれの位置に対する病変強度又は前記病変の色が取得される場合、前記病変クラスター内の前記病変強度の平均値又は中央値、あるいは前記病変の色の平均値又は中央値、
前記病変クラスターの病変の平均位置、
前記病変クラスターの病変位置の中央値、
前記病変クラスターの病変位置の標準偏差、
前記病変クラスターの病変位置の分散、
前記病変クラスターの共分散値、
前記病変クラスターの歪度値、
前記病変クラスターの共歪度値、
前記病変クラスターの尖度値、
前記病変クラスターの共尖度値、
前記病変クラスターの形状の複雑度、
前記病変クラスターの面積、
のうちの1つ以上を含む、請求項1から請求項7のいずれか一項に記載のコンピュータ実施方法。
【請求項9】
前記少なくとも1つの病変クラスターのそれぞれを、前記病変クラスターデータに基づいて、前記所定のカテゴリセットの1つに分類することは、
前記像内の前記複数の病変位置のそれぞれについて病変の種類が取得され、前記少なくとも1つの病変クラスターのそれぞれの前記病変クラスターデータが、前記病変クラスター内の病変のモード型を含む場合、前記少なくとも1つの病変クラスターのそれぞれを、前記病変クラスター内の前記病変のモード型に応じて分類することと、
前記少なくとも1つの病変クラスターのそれぞれの前記病変クラスターデータが、前記病変クラスターの前記病変位置の平均値、中央値、標準偏差、及び分散の少なくとも1つを含む場合、前記少なくとも1つの病変クラスターのそれぞれを、前記病変クラスターの病変位置の前記平均値、中央値、標準偏差及び分散の少なくとも1つに基づいて分類することと、
少なくとも1つの前記病変クラスターのそれぞれの前記病変クラスターデータが、前記病変クラスターの共分散値、前記病変クラスターの歪度値、前記病変クラスターの共歪度値、前記病変クラスターの尖度値、前記病変クラスターの共尖度値の少なくとも1つを含む場合、前記少なくとも1つの病変クラスターのそれぞれを、前記病変クラスターの形状に応じて分類することと、
前記少なくとも1つの病変クラスターのそれぞれの前記病変クラスターデータが、前記病変クラスターの形状の複雑度又は前記病変クラスターの面積を含む場合、前記少なくとも1つの病変クラスターのそれぞれを、前記病変クラスターの形状の複雑度又は病変クラスター面積に応じて分類することと、
前記像内の前記複数の病変位置のそれぞれについて、病変面積又は病変体積が取得され、前記少なくとも1つの病変クラスターのそれぞれの前記病変クラスターデータが、前記病変クラスターにおける病変の前記病変面積の平均値又は中央値、又は前記病変体積の平均値又は中央値を含む場合、前記少なくとも1つの病変クラスターのそれぞれを、前記病変クラスターにおける前記病変の前記病変面積の平均値又は中央値、あるいは前記
病変体積の平均値又は中央値に応じて分類することと、
前記像内の前記複数の病変位置のそれぞれについて前記病変の形状の複雑度が取得され、前記少なくとも1つの病変クラスターのそれぞれの前記病変クラスターデータが、前記病変クラスター内の前記病変における前記病変の形状の複雑度の平均値又は中央値を含む場合、前記少なくとも1つの病変クラスターのそれぞれを、前記病変クラスター内の前記病変における前記病変の形状の複雑度の平均値又は中央値に応じて分類することと、
前記像内の前記複数の病変位置のそれぞれについて前記病変の色又は病変強度が取得され、少なくとも1つの前記病変クラスターのそれぞれの前記病変クラスターデータが、前記病変クラスター内の前記病変における前記病変の色の平均値又は中央値、あるいは前記病変強度の平均値又は中央値を含む場合、前記少なくとも1つの病変クラスターのそれぞれを、前記病変クラスター内の前記病変における前記病変の色の平均値又は中央値、あるいは前記病変強度の平均値又は中央値に応じて分類することと、
のうちの1つ以上の分類を含む、請求項1から請求項8のいずれか一項に記載のコンピュータ実施方法。
【請求項10】
前記少なくとも1つの関数は統計関数であり、
カウント関数、
合計関数、
平均関数、
標準偏差関数、
最大値関数、
最小値関数、
のうちの少なくとも1つを含む、請求項1から請求項9のいずれか一項に記載のコンピュータ実施方法。
【請求項11】
前記判定された病状レベルは、
撮像対象の前記被験者の前記網膜における前記疾患の有無、
撮像対象の前記被験者の前記網膜における前記疾患の重症度、
撮像対象の前記被験者の前記網膜における前記疾患の進行速度、
の内の1つ以上を示す、請求項1から請求項10のいずれか一項に記載のコンピュータ実施方法。
【請求項12】
前記像における少なくとも1つの病変の位置を取得することは、
前記像の像データを受信し、
前記像内の前記複数の病変のそれぞれの位置を判定するために前記像データを処理すること、
を含む、請求項1から請求項11のいずれか一項に記載のコンピュータ実施方法。
【請求項13】
コンピュータによって実行されると、前記コンピュータに請求項1から請求項12のいずれか一項に記載のコンピュータ実施方法を実行させるコンピュータプログラム。
【請求項14】
用撮像システムを使用して撮影された被験者の網膜像であり、かつ、病変を視認可能な像から、前記被験者の前記網膜に病変を引き起こす疾患に関連する病状レベルを判定するための装置であって、
前記像における複数の病変位置を、前記像内で前記複数の病変位置を特定した自動病変検出器から取得するように構成された取得部と、
分類部であって、
ラスタリングアルゴリズムを、前記クラスタリングアルゴリズムが少なくとも1つの病変クラスターと応する病変クラスターデータとを特定するように、前記複数の病変位置に適用し、
前記網膜の画像内の領域を定義するグリッドを使用し、前記病変クラスターのそれぞれの重心、前記病変クラスターのそれぞれの病変の平均位置、又は前記病変クラスターのそれぞれの病変位置の中央値の少なくとも一つが存在する領域に応じて、前記少なくとも1つの病変クラスターのそれぞれを分類することによって、少なくとも1つの前記病変クラスターのそれぞれを、特定された前記病変クラスターデータに基づいて、所定のカテゴリセットの1つに分類し、
前記所定のカテゴリセットにおける各カテゴリに関して、固定された数のデータを出力し、実数の組み合わせが入力されると実数を返す統計関数である関数のうちの少なくとも1つの関数を前記病変クラスターデータに適用するように構成された分類部と、
前記所定のカテゴリセットの各カテゴリにおける、前記固定された数のデータ出力を、類アルゴリズムに基づいて処理することで、前記像から病状レベルを判定するように構成された判定部と、
を備え
前記分類アルゴリズムは、前記病変が存在し、かつ前記疾患に関連する第1病状レベルを示す複数の被験者の網膜の一部の画像を定義する第1画像データ、及び前記病変が存在し、かつ前記疾患に関連する前記第1病状レベルとは異なる第2病状レベルを示すか又は前記疾患がないことを示す複数の被験者の網膜の一部の画像を定義する第2画像データを含む例示的な訓練セットから学習アルゴリズムにより構築される、
装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の例示的な態様は、概して、画像処理の分野に関し、より詳細には、医用画像に示される病状レベル又は病態の判定を容易にするための医用画像の処理に関する。
【背景技術】
【0002】
医用デジタル撮像に基づいて疾患又はその特徴を検出するため、自動画像処理技術が開発されている。
【0003】
疾患は、デジタル画像で観察可能な小さな限局性病変として現れ得る。病変、即ち組織の損傷又は異常な変化は、疾患又は外傷によって生じ得る。例えば、世界において、失明の最大の要因である2つの網膜疾患は、糖尿病性網膜症(diabetic retinopathy:DR)と加齢黄斑変性症(age related macular degeneration:AMD)であるが、それらは少なくとも初期段階において、典型的には20~150マイクロメートルの間で大きさが変動し得る、小さな限局性病変を発現する。これらの病変は、網膜上に点在する小さなクラスターとして生じ得、多くの場合、広範囲に分散するか、1つ以上のクラスターで多数発生し得る。
【0004】
例えば、網膜疾患の場合、網膜疾患の重症度又は状態をレベル分けするシステム及びプロトコルが存在する(例えば、英国王立眼科学会DRガイドライン専門家作業部会メンバーによる、糖尿病性網膜症ガイドライン2012を参照されたい)。通常、臨床医が、例えば、黄斑に病変が存在するかどうかを判断することにより、病変分布の集約された推定値を提供する。さらに、中心窩を中心とする一定の直径の円として定義される黄斑の内側又は外側の病変の存在も、糖尿病性黄斑症(浮腫)のレベル分けに供され得る。これは、測定補助具の有無にかかわらず、臨床医により迅速に視覚的評価可能である。さらに、基準となる写真との比較により、DRの病変数も評価可能である。したがって、そのような病変は、疾患の重症度又は状態に応じて数が異なると見られる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
医用画像における疾患の自動検出は、病変分布と疾患の現在及び将来の少なくとも一方の状態との間の関係を特定することに基づいてもよい。多数の患者について、個々の病変が記録され得、病変分布は、例えば、集団スクリーニングにおいてパラメータ化され得る。これにより、人体における点又はその他形状の病変分布のパラメータに基づく、さらなるスクリーニングプロトコルが実現され得る。
【0006】
ただし、医用画像内の病変数は定数ではないため、被験者間で病変統計数が変動する(一定ではない)。これらの統計数は、病変分布の特徴を、疾患状態又は病態に関連付け又は相関させるため、及び未知の疾患状態を示したり予測したりするための少なくとも一方の訓練のために有用である。
【0007】
人工ニューラルネットワーク、線形モデル、サポートベクターマシン、K近傍分類器などの一般的な自動分類器は、入力として固定されたデータ配列を要する。したがって、データ数が変動する(一定ではない)場合、病変統計数に基づいて疾患状態又は病態を予測又は判断するために、例えば1以上の機械学習アルゴリズムに基づいて自動分類器を訓練しようとすると、問題が生じる。可変数のデータの要約を提供する方法は存在する。例えば、病変データを病変の数の計測値まで減じて、機械学習アルゴリズムへの入力として固定された数のデータを提供すること等が挙げられる。しかしこのような要約では、医用画像間の空間分布に関する情報、及び病変間がどのように関連しているかに関する情報の少なくとも一方の情報が省略されてしまう。
【0008】
したがって、病変の空間分布についての情報が省略されてしまう問題に関連して、自動分類器の訓練に対して固定サイズのデータ配列の要件を回避することは有用であろう。これが解決できれば、人体の病変分布のパラメータに基づいた、改善された臨床プロトコルにつながり得る。
【課題を解決するための手段】
【0009】
上記の制約を考慮して、本発明者らは、本明細書の第1の例示的な態様に係る、医用撮像システムを使用して撮影された被験者の部位の医用画像から病態を判定するコンピュータ実施方法を考案した。上記方法は、医用画像における複数の病変位置を取得する工程と、上記複数の病変位置にクラスタリングアルゴリズムを適用して、少なくとも1つの病変クラスターと、対応する病変クラスターデータとを特定する工程と、少なくとも1つの病変クラスターのそれぞれを、特定された病変クラスターデータに基づいて、所定のカテゴリセットの1つに分類する工程と、所定のカテゴリセットにおける各カテゴリに関して、固定された数のデータを出力する関数のうちの少なくとも1つの関数を病変クラスターデータに適用する工程と、所定のカテゴリセットの各カテゴリにおける固定された数のデータ出力を、複数の被験者の部位の医用画像を示す画像データにより訓練された分類アルゴリズムに基づいて処理して、医用画像から病態を判定する工程と、を含む。
【0010】
本発明者らは、本明細書の第2の例示的な態様に従って、コンピュータによって実行されると、コンピュータに本明細書の第1の例示的な態様による方法を実行させるコンピュータプログラムをさらに考案した。
【0011】
本発明者らは、本明細書の第3の例示的な態様に従って、医用撮像システムを使用して撮影された被験者の部位の医用画像から病態を判定するための装置をさらに考案した。上記装置は、医用画像において複数の病変位置を取得するように構成された取得モジュールと、複数の病変位置にクラスタリングアルゴリズムを適用して、少なくとも1つの病変クラスター及び対応する病変クラスターデータを特定し、少なくとも1つの病変クラスターのそれぞれを、特定された病変クラスターデータに基づいて、所定のカテゴリセットの1つに分類し、所定のカテゴリセットにおける各カテゴリに関して、固定された数のデータを出力する関数のうちの少なくとも1つの関数を病変クラスターデータに適用するように構成された分類モジュールと、を備える。上記装置はさらに、複数の被験者の部位の医用画像を示す画像データで訓練された分類アルゴリズムに基づいて、所定のカテゴリセットの各カテゴリにおける固定された数のデータ出力を処理することにより、画像から病態を判定するように構成された判定モジュールをさらに備える。
【0012】
次に、本発明の実施形態を、以下に説明する添付の図面を参照して、あくまで非限定的な例として詳細に説明する。異なる図に記載の、同様の参照番号は、別段の指示がない限り、同一又は機能的に同様の要素を示し得る。
【図面の簡単な説明】
【0013】
図1】本明細書の例示的実施形態に係る、医用撮像システムを使用して撮影された、被験者の一部の医用画像から病態を判定するための装置の概略図である。
図2】本明細書の例示的実施形態に係る、図1の装置の例示的な信号処理ハードウェア構成を示すブロック図である。
図3】本明細書の例示的実施形態に係る、図1の装置が病態を判定するために医用画像データを処理するプロセスを示すフローチャートである。
図4】走査型レーザー検眼鏡(scanning laser ophthalmoscope:SLO)を使用して撮影された被験者の網膜の一部の医用画像の概略図である。画像において、本発明の例示的な実施形態に従った、二次元座標系における病変410の位置が定義されている。
図5(a)】本明細書の第1の例示的実施形態に係る、クラスタリングアルゴリズムが適用された、病変が存在する医用画像を示す概略図である。
図5(b)】本明細書の第2の例示的実施形態に係る、クラスタリングアルゴリズムが適用された、病変が存在する医用画像を示す概略図である。
図6(a)】クラスタリングアルゴリズムが適用された医用画像を示す概略図であり、各病変クラスターの重心が示されている。
図6(b)】クラスタリングアルゴリズムが適用された医用画像を示す概略図であり、病変クラスターは、クラスターの重心が配置された領域に従って分類される。
図7】本明細書の第1の例示的実施形態による、複数の被験者の部位の医用画像を示す画像データにより分類アルゴリズムをどのように訓練できるかを示す概略図である。
図8】本明細書の第2の例示的実施形態による、複数の被験者の部位の医用画像を示す画像データにより分類アルゴリズムをどのように訓練できるかを示す概略図である。
図9】人工ニューロン並びに、入力層、隠れ層、及び出力層を含むニューラルネットワークの概略図である。
図10】本明細書の例示的実施形態に係る、医用撮像システムを使用して撮影された、被験者の一部の医用画像から病態を判定するための装置の概略図である。
図11】本明細書の例示的実施形態に係る、図10の装置が病態を判定するために医用画像データを処理するプロセスを示すフローチャートである。
【発明を実施するための形態】
【0014】
次に、本明細書における例示的実施形態を、添付の図面を参照して詳細に説明する。
【0015】
図1は、本明細書の例示的な実施形態に係る、医用撮像システム350(図7及び図8参照。)を使用して撮影された、被験者の部位の医用画像400、500、500’(図4図5(a)、図5(b)参照)から病態を判定するための装置100の概略図である。
【0016】
装置100は、取得モジュール110、分類モジュール120、及び判定モジュール130を備える。取得モジュール110は、医用画像400、500、500’内の複数の病変位置を取得するように構成される。分類モジュール120は、少なくとも1つの病変クラスター及び対応する病変クラスターデータを特定するために、クラスタリングアルゴリズムを複数の病変位置に適用し、特定された病変クラスターデータに基づいて、少なくとも1つの病変クラスターのそれぞれを、所定のカテゴリセットの1つに分類し、かつ、当該所定のカテゴリセットの各カテゴリにおける病変クラスターデータに対して、少なくとも1つの関数を適用するように構成される。少なくとも1つの関数とは、固定された数のデータを出力する関数である。判定モジュール130は、複数の被験者の部位の、医用画像を示す画像データ701、702(図7参照)を定義する画像データで訓練した分類アルゴリズム730(図7参照)を使用して、所定のカテゴリセットの各カテゴリにおける固定された数の出力を処理することで、画像内に存在する病変の病状レベルを判定するように構成されている。
【0017】
上記被験者は人間であってもよい。医用撮像システム350によって医用画像が撮影される被験者の部位は、当該部位の医用画像において視認可能、あるいは推測可能な病変として、病理又は疾患が発現し得る、被験者の任意の解剖学的部位(体外又は体内)であってもよい。
上記病変は、非限定的な一例として、健康な被験者において同様に撮像された画像には存在しないような、病理に起因する小さな点状の異常である場合がある。病変、即ち組織の損傷又は異常な変化は、例えば疾患又は外傷によって引き起こされる可能性があり、かつ点状又は他の形状の異常であることがある。
【0018】
医用画像400、500、500’は、本実施形態のように、被験者の眼の網膜の画像を取得するように構成された、走査型レーザー検眼鏡(SLO)の例示的形態をとる、走査型撮像システムを使用して撮影された超広視野網膜画像でもよい。本例示的実施形態におけるSLOは、自家蛍光(autofluorescence:AF)画像を撮像するように構成される(多波長反射画像又は他の蛍光モードからの画像を撮影するように構成され得る)が、さらに/あるいは、1つ以上のその他種類の画像を取得するように構成され得る。SLOは、例えば、網膜表面の最大80%の超広視野画像を生成することができる超広視野SLO(ultra-wide field SLO:UWF-SLO)でもよい。
【0019】
あるいは、より一般的には、医用画像は、網膜又は他の選択された部分(例えば、眼の前眼部の一部、又は眼の後眼部の一部)の撮像に適した、SLO以外の任意の眼画像化システムを使用して撮影された(例えば、システム350によって形成される)眼の画像でもよい。眼用撮像システムは、例えば、眼底カメラであり得る。あるいは、眼用撮像システムは、例えば、光干渉断層計(optical coherence tomography:OCT)スキャナのような別の撮像形態であってもよい。その場合、本明細書に記載の画像処理技術は、OCTスキャナにより撮影される断層画像に適用可能である。さらなる代替案として、眼用撮像システムは、SLO-OCT複合スキャナであってもよい。その場合、本明細書に記載された画像処理技術は、SLO-OCT複合スキャナによって撮影されたSLO網膜スキャン及びOCTスキャンの両方に適用可能である。眼用撮像システムの撮像形態は、当業者に既知の多様な形態の内の1つであってもよい。それらの例として、OCT、カラー眼底撮像法、フルオレセイン蛍光眼底造影法(fluorescein angiography:FA)、インドシアニングリーン蛍光眼底造影法(indocyanine green angiography:ICG)及び自己蛍光法(AF)が挙げられる。
【0020】
さらなる代替案として、医用画像は、X線撮像システム、コンピュータ断層撮影(computed tomography:CT)撮像システム、又は低線量CT(low dose CT:LDCT)撮像システムを使用して撮影された肺の画像であってもよい。あるいは、医用画像は、磁気共鳴画像法(magnetic resonance imaging:MRI)画像化システムを使用して撮影された脳の画像であってもよい。さらに別の代替案として、医用画像は、カメラを使用して撮影された皮膚の画像であってもよい。
【0021】
したがって、医用撮像システム350は、上述のいずれか、又は被験者の一部(例えば、網膜、眼の前眼部、眼の後眼部、肺、脳、又は肌の一部など)の撮像に適した任意の他の医用撮像システムであってもよい。
【0022】
取得モジュール110は、医用画像500(図5(a)参照)内の複数の病変位置を取得するように構成されている。取得モジュール110は、本実施形態のように、(図2参照)自動病変検出器300から医用画像内の複数の病変位置を取得するように構成されてもよい。具体的には、病変位置のセットが自動病変検出器300によって生成され、その後取得されてもよい。
【0023】
自動病変検出器は、例えばその入力が医用画像400、500、500’などの医用画像である、ソフトウェアベースのモジュールとして知られている(例えば、Bhaskaranandらによる「網膜眼底画像分析を使用した、糖尿病性網膜症の自動スクリーニング及びモニタリング」糖尿病科学と技術ジャーナル("Automated diabetic retinopathy screening and monitoring using retinal fundus image analysis" Journal of diabetes science and technology)10(2):254-261,2016、Flemingらによる「局所コントラスト正規化と局所血管検出を使用した自動微小動脈瘤検出」医用画像に関するIEEE論文("Automated microaneurysm detection using local contrast normalization and local vessel detection" IEEE transactions on medical imaging)25(9):1223-1232、2006)。自動病変検出器300は、医用画像を処理して、一連の位置又は小領域を決定又は特定し、決定又は特定された位置/領域に関連する一連の特性を決定してもよい。ここで、当該位置又は小領域のそれぞれは、病理的異常又は病変位置の可能性がある。本明細書の1つの例示的実施形態では、自動病変検出器300は、前述の刊行物に記載されたもののうち、少なくとも1つに従って動作することができる。上記刊行物のそれぞれは、本明細書に完全に記載されているかのように、参照によりその全体が本明細書に組み込まれる。
【0024】
さらに、自動病変検出器300に入力される医用画像データは、本例示的実施形態のように、二次元画像を定義してもよく、あるいは、眼の被撮像部分の三次元画像を定義してもよい。受信した画像データは、当業者に既知の任意の適切な形式(圧縮又は非圧縮にかかわらず)で提供されてもよい。そして、自動病変検出器300の出力(即ち、医用画像の処理の出力)は、固定されていないサイズ(未定義のデータ量)のデータセットであり、当該データセットにおけるデータは病変セットを示し、各病変は、一連の特性を含み得る。具体的には、自動病変検出器300を使用して特定の医用画像を処理する前は、データセットのサイズ(例えば、病変の数)は不明かつ判定不能である。さらに、データセットのサイズが固定されていないとは、自動病変検出器300によって決定され得る病変の数が固定されないか、又は特定の範囲に限定されないということである。即ち、図1の装置100への入力は、自動病変検出器300の出力でもよく、この出力は、体内の病理的異常の可能性の高いと判定された一連の位置、又は体内の病変及びその検出病変の特性である。
【0025】
自動病変検出器300は、本実施形態のように、当業者により既知の任意の適切な手段により、医用撮像システム350から直接医用画像400、500、500’などの入力用医用画像を取得するように構成され得る。あるいは、自動病変検出器300は、医用撮像システム350により撮影又はその他手段により生成された後に記憶された事前撮影医用画像を、(例えば、CD又はハードディスク等の記憶媒体から読み込むことによって、又はインターネット等のネットワークを介して受信することによって)取得するように構成されてもよい。さらなる代替案として、自動病変検出器300は、医用撮像システム350の一部として提供されてもよい。
【0026】
取得モジュール110は、当業者に知られている任意の適切な手段によって医用画像内の複数の病変位置を取得するように構成され得る。例えば、取得モジュール110は、直接通信リンク(例えば、ユニバーサルシリアルバス(USB)又はBluetooth(登録商標)接続などの任意の適切な有線又は無線接続によって提供され得る)、又は間接通信リンク(ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)及びインターネットの少なくとも一つを含むネットワークによって提供され得る)を介して自動病変検出器300から複数の病変位置を受信し得る。さらに、複数の病変位置は、自動病変検出器300により出力された、又はその他手段で生成された後に、取得モジュール110により(例えば、CD又はハードディスクなどの記憶媒体から読み取るか、又はインターネットなどのネットワークを介して受信することによって)取得されてもよい。
【0027】
あるいは、取得モジュール110は、上記のように、自動病変検出器300を備え得る。したがって、図1の装置の取得モジュール110は、該技術分野において既知の任意の適切な手段により医用画像内の複数の病変のそれぞれの位置を判定するために、医用画像を示す医用画像データを受信し、医用画像データを処理することにより、医用画像内の複数の病変位置を取得するように構成され得る。
【0028】
さらに、自動病変検出器300による複数の病変位置の生成と同時に、取得モジュール110が複数の病変位置を受け取ることができる(さらに、その後で処理して、以下で説明するように、医用画像に存在する病態レベルを判定することもできる)。したがって、複数の病変位置は、「オンザフライ」で取得され得る。ただし、この例示的な実施形態では、そして本明細書の目的に沿うところによると、取得モジュール110は、分類モジュール120がこの複数の病変位置の処理を開始する前に、複数の病変位置を医用画像内で取得するように構成される。
【0029】
装置100が表示制御信号発生器140をさらに備える本実施形態のような実施形態では、表示制御信号発生器140は、(図2の215参照)LCDスクリーン又は他のタイプの視覚表示ユニットなどの表示装置を制御する表示制御信号を生成するように構成され得る。これにより、複数の病変位置及び/又は被験者の部位の医用画像で識別された少なくとも1つのクラスター、及び決定された病状レベルの標示の少なくとも一方が表示される。
【0030】
図2は、本例示的実施形態におけるように、図1の装置100として機能するように構成され得る、プログラム可能な信号処理ハードウェア200の概略図である。プログラム可能な信号処理ハードウェア200は、(例えば、自動病変検出器300から)上述の複数の病変位置を示すデータを受信し、任意で、被験者の部位の医用画像において識別された複数の病変位置及び/又は少なくとも1つのクラスターの両方、及び、決定された病状レベルの標示の少なくとも一方を表示するために、表示装置215を制御するための表示制御信号を出力する通信インターフェース(I/F)210を備える。信号処理装置200はさらに、プロセッサ(例えば、中央処理装置(Central Processing Unit:CPU)又はグラフィック処理装置(Graphics Processing Unit:GPU))220、作業メモリ230(例えば、ランダムアクセスメモリ)、及びコンピュータ可読命令を含むコンピュータプログラムを格納する命令記憶部240をさらに備える。コンピュータ可読命令はプロセッサ220によって実行されると、プロセッサ220に、分類モジュール120、判定モジュール130、及び任意で上述の表示制御信号発生器140の機能を含む様々な機能を実行させる。命令記憶部240は、コンピュータ可読命令が事前に展開されたROM(例えば、EEPROM(Electrically Erasable Programmable Read-Only Memory)又はフラッシュメモリの形態)を含み得る。あるいは、命令記憶部240は、RAM(Random access memory)又は同様のタイプのメモリを備えてもよく、例えば、非一過性の記憶媒体250(CD-ROM、DVD-ROMなどの形態)などのコンピュータプログラム製品、又はコンピュータ可読命令を搬送するコンピュータ可読信号260から、コンピュータプログラムのコンピュータ可読命令が入力されてもよい。いずれの場合でも、コンピュータプログラムは、プロセッサによって実行されると、プロセッサに、本明細書に記載の医用画像データにより定義される医用画像内に存在する病状レベルを決定するために、医用撮像システムを使用して撮影された被験者の部位の医用画像データを処理する方法の少なくとも1つを実行させる。ただし、装置100はこれに代えて、特定用途向け集積回路(application-specific integrated circuit:ASIC)などのプログラム不能なハードウェアで実装されてもよいことに留意されたい。
【0031】
この例示的実施形態では、プロセッサ220、作業メモリ230、及び命令記憶部240を含む、図2に示されるハードウェアコンポーネントの組み合わせ270は、分類モジュール120及び判定モジュール130の機能を実行するように構成される。次にこれら機能について、以下でさらに詳細に説明する。装置100が表示制御信号発生器140を備える、図示の本実施形態のような実施形態では、この任意のコンポーネントの機能も、通信I/F210とともに、ハードウェアコンポーネントの組み合わせ270によって提供される。
【0032】
本例示的実施形態の装置100によって実行される動作に関する以下の説明からより明らかになるように、図1の装置は、病変の空間分布についての情報の省略の問題を伴う自動分類器の訓練のための固定サイズのデータ配列の要件に対処するものである。これにより、判定モジュールが、自動分類器の一例として、1以上の分類アルゴリズムから取得されたデータを処理することで、医用画像内に存在する病状レベルを判定することができる。
【0033】
図3は、本明細書の例示的実施形態に係る、図1の装置100が病態を判定するために医用画像データを処理するプロセスを示すフローチャートである。
【0034】
図3のプロセス工程S10において、図1の取得モジュール110は、医用画像500内の複数の病変位置を取得する。
【0035】
上述のように、取得モジュール110は、当業者に既知の任意の適切な手段によって複数の病変位置を取得するように構成され得る。本実施形態では、取得モジュール110は、自動病変検出器300から複数の病変位置を取得するように構成される。
【0036】
取得モジュール110は、本実施形態のように、複数の病変のそれぞれについて一意の各位置を取得してもよい。各病変の位置は、例えば、その病変の重心又は質量中心の位置、当該病変を含む所定のサイズの形状(例えば、長方形、楕円又は円)の頂点の位置、又は病変の位置を示すその他の適切な位置であってもよい。各病変の位置はさらに、各病変の面積又は範囲を定義する座標のセット(例えば、その病変を含む形状(例えば、長方形、楕円、又は円)の頂点、その病変の最長寸法を示す座標など)であってもよい。
【0037】
位置は、任意の適切な座標系で定義されてもよい。例えば、複数の病変位置の各位置は、二次元画像に基づく座標系で定義されてもよい。例えば、図4は、走査型レーザー検眼鏡(SLO)を使用して撮影された被験者の網膜の一部の医用画像400の概略図である。画像において、本発明の例示的実施形態に従った、医用画像400の二次元(画像ベース)座標系における病変410の位置の一例が定義されている。図4において、病変410の位置は、指定されたピクセル(この実施形態では、病変410の中心ピクセル)と画像400の左端420との間のピクセル数を示すx座標と、指定されたピクセルと画像400の上端430の間のピクセル数を示すy座標とで定義される。
【0038】
図4の例では、1つの病変410が示されている。しかしながら、別の実施形態では、医用画像400などの医用画像に、複数の病変が存在し得る。さらに、図4の例では、x座標は、指定されたピクセル(病変に関連する)と画像400の左端420との間のピクセル数を示し、y座標は、指定されたピクセルと画像400の上端430との間のピクセル数を示す。別の実施形態では、x座標は、指定されたピクセルと医用画像400の右端との間のピクセル数を示してもよく、y座標は、指定されたピクセルと医用画像400の下端との間のピクセル数を示してもよい。
【0039】
あるいは、複数の病変位置の各位置が、本実施形態のように、撮像対象の被験者の部位に適合された二次元座標系又は三次元座標系で定義されてもよい。このような座標系は、正規化座標系(normalised coordinate system:NCS)とも称され得る。NCSは、関連する要素の適切な組み合わせにより定義可能である。複雑度、及び疾患又はその臨床的有効性に対して知られている、又は想定されている要因の関連性の間で妥協を図るように、考慮される要素が選択されてもよい。
【0040】
特に、本実施形態のように、撮像対象の被験者の部位が網膜の一部である場合、画像のピクセル(画素)の行及び列に基づく座標系では、網膜表面がほぼ球状であるという性質、左眼と右眼とで恐らく反対であろう生理学的向き、視線と頭の傾きによって引き起こされる眼の向きの変化、画像の倍率又は該当する解剖学的構造のサイズに起因する縮尺、のいずれの要素も考慮していない場合があり得る。したがって、撮像対象の被験者の部位が網膜の一部である場合、これらの要素を考慮した座標系を定義することが好ましい場合もある。
【0041】
これらの要素の1つ以上を考慮した座標系を、網膜NCS(retinal NCS:RNCS)と称する。
【0042】
[球形を考慮した場合]
RNCSは、網膜上の点に対する方位角や仰角などの球面座標について定義可能である。画像内の画素座標と、方位角及び仰角との間ではマッピングが必要である。これは、撮像システムの光学モデリングソフトウェアによる適切なマッピングアルゴリズムにより実現できる。
【0043】
[向きを考慮した場合]
RNCSの原点の位置は、中心窩440の中心とすることが一般的である(図4参照)。これは、通常被験者の制御下において視線の中心となる。RNCSの原点の位置はさらに、視神経乳頭(optic nerve head:ONH)450の中心(図4参照)とすることも一般的である。この構造から、眼の血管系460(図4参照)と網膜神経が広がるためである。これは、3次元空間の2つの軸における眼の向きの変化に対応する。
【0044】
3次元空間の第3軸における眼の向きを説明する一般的な手段としては、中心窩440と視神経乳頭450の両方の中心を使用することが挙げられる。これらの点を通る画像内の直線は、水平から20度超、乖離する可能性が低いため、名目上水平軸として使用可能である。
【0045】
[左右差を考慮する場合]
RNCSの水平軸の正の方向は、左眼と右眼で反対となり得る。したがって、RNCSは、左眼と右眼の生理学的向きが反対方向にあるという前提を考慮できるようになる。
【0046】
[縮尺を考慮した場合]
画像の縮尺は、網膜の解剖学的構造を利用して複数の方法で取得できる。画像の大きさが評価され、定量化された後、網膜の解剖学的構造に一致するようにRNCSを拡大又は縮小することができる。左右差と同様に、生理学的サイズ(つまり、眼の実際の大きさ)は、観察された解剖学的サイズ(つまり、眼の一部の画像の大きさ)と一致すると仮定される。観察された解剖学的構造のサイズは画像の拡大率と実際の解剖学的サイズに依存するが、これら要素はいずれも画像内の病変の分布に同様に寄与するとされる。縮尺の評価には、以下の方法を使用でき得る。
1.ONH450のサイズ。
2.中心窩440とONH450の中心間の距離。
3.主血管アーケードと中心窩440との間の距離。これは、中心窩440から網膜血管系の平滑化プロファイルのピークまでの距離、又は平滑化プロファイルのピーク間の距離を確認することによって評価することができる。このプロファイルは、中心窩440から視神経乳頭450と交差しない方向に延びる。
【0047】
中心窩の中心、ONH450の中心、ONH450の輪郭、及び血管系460の位置を検出する方法は、完全に自動化されたシステムにより実現可能である。したがって、上記のようなRNCSの割り当ては自動的に実行可能である。上記の方法3に関連して説明した網膜血管系のプロファイルの方向を正しく選択することで、当該方向が中心窩440とONH450の中心間の線に直交すれば、上述の距離2及び3を使用した縮尺の評価は直交方向に実施できる。したがって、これらの2つの縮尺の評価方法を組み合わせて使用して、RNCSの(公称)水平軸と垂直軸が別々に拡縮され得る。
【0048】
前述の例では、網膜の撮像に適合した3次元の正規化座標系について説明した。代替的な実施形態では、例えば、肺、脳、皮膚(身体の様々な部分について)、眼の前眼部、眼の後眼部など、撮像対象の被験者の他の部位に適応する座標系を定義してもよい。
【0049】
例えば、撮像される被験者の部位が脳の一部である場合、タライラッハ座標として知られる2種類のNCS(Lancasterら「機能的な脳マッピングのための自動化されたタライラッハアトラスラベル」、人間脳マッピング("Automated talairach atlas labels for functional brain mapping", Human brain mapping)、10(3):120から131、2000)、及びMNI定位空間(Tzourio-Mazoyerら「MNI MRI単一被験者脳の肉眼的解剖学的パーセル化を使用したspmにおける活性化の自動解剖学的ラベリング」("Automated anatomical labeling of activations in spm using a macroscopic anatomical parcellation of the mni mri single-subject brain")、Neuroimage、15(1):273から289、2002)が、脳撮像に使用されることが多い。タライラッハ座標は、2つのアンカー(前交連と後交連)を作成し、それらを水平線上に置くことによって定義される。両座標系は、脳のサイズと形状の個人差を考慮することを意図している。
【0050】
さらなる例として、撮像される被験者の部位が肺の一部である場合(肺撮像)、解剖学的特徴に基づくNCSはあまり使用されない。一方で、胸膜表面の正規化された向きに基づくNCSにより、検出された肺結節の位置のより一貫した記述が作成されることが示されている(Jirapatnakulら「ロバストな表面推定を使用した胸膜傍肺結節のセグメンテーション」("Segmentation of juxtapleural pulmonary nodules using a robust surface estimate")、Journal of Biomedical Imaging、2011:15、2011)。
【0051】
本明細書の1つの例示的実施形態では、NCHは、前述の刊行物の少なくとも1つに従って実施することができる。当該刊行物そのそれぞれは、本明細書で完全に記載されているかのように、参照によりその全体が本明細書に組み込まれる。
【0052】
任意で、取得モジュール110は、本実施形態のように、医用画像における複数の病変位置のそれぞれの病変に対して、病変の特性として、病変の種類、病変面積、病変体積、病変形状の複雑度、病変強度、及び病変の色の少なくとも1つをさらに取得してもよい。即ち、取得モジュール110は、複数の病変位置のそれぞれに関連する病変の少なくとも1つの病変の特性を取得してもよい。
【0053】
取得モジュール110は、本実施形態のように、自動病変検出器300から複数の病変位置ごとに病変特性を取得するように構成されてもよい。代替的に、取得モジュール110が、医用画像を示す医用画像データを受信し、医用画像内の複数の病変のそれぞれの位置を決定するために医用画像データを処理することによって医用画像内の複数の病変位置を取得するように構成される場合、取得モジュール110はさらに、複数の病変位置のそれぞれに対して、少なくとも1つの病変の特性を決定するため、医用画像データを処理するように構成されてもよい。
【0054】
病変の種類は、例えば、病変につながる疾患又は病状でもよい。例えば、肺の場合、肺癌は、良性及び悪性の肺結節(病変)として現れ得る。脳の場合、多発性硬化症、狼瘡、及びアルツハイマー病は、例えば、MRIを使用して視認可能な病変を生じ得る。網膜の場合、糖尿病性網膜症及び加齢性黄斑変性症(AMD)などの疾患は、小さな限局性病変を生じ得る。したがって、病変を引き起こすと特定された疾患は、病変の一種と見なす。
【0055】
さらに、様々な種類の皮膚病変が存在し、その多くは特徴的な分布を伴う。病変がどのように空間的に分布しているかを説明するために、いくつかの用語を使用し得る。それらは孤立している(単独又は単一)か、又は複数存在し得る。皮膚疾患は特徴的な分布を示す傾向があるため、特定の領域における複数の病変の位置を特定することは、診断に寄与する。説明のための用語として、末端の(遠位端に関連するか影響する)、ブラシュコ線に沿った(ほぼ線形のセグメントパターンに沿った)、皮節に沿った(病変が単一の脊髄神経によって支配される1つ以上の皮膚のセグメントに限定される)、全身性の(病変が体表面積の大部分又は解剖学的領域内でランダムに分布)、及び疱疹状の(クラスター内の硬い丘疹)、が挙げられる。したがって、被験者の部位が被験者の皮膚の一部である場合、病変の種類はこれらの用語のいずれかを指し得る。
【0056】
あるいは、病変の種類は、病変が特定の性質(例えば、環状、滲出性、平坦、平滑、棘状、あるいは医療従事者又は装置100の他のユーザが関心を持ちうるその他性質)を有するか否かの場合もある。
【0057】
病変面積又は病変体積は、画素又は他の任意の座標系に関して定義され得る。具体的には、病変面積又は病変体積は、上述の座標系のうちの1つにおいて病変が占める面積又は体積であり得る。あるいは人体における実際の面積又は体積の推定であり得る。病変面積又は病変体積を推定又は計算する際に、病変は、個々の病変が平面と見なされるのに十分小さい体表面の領域を占めるほど小さいと仮定され得る。
【0058】
病変形状の複雑度は、当技術分野で知られている任意の適切な方法で定義され得る。例えば、病変形状の複雑度は、病変の面積に対する病変の周囲長の比として定義され得る。
【0059】
病変強度は、医用画像における病変の画素の平均明度値、又は医用画像における病変の画素と周囲領域との間のコントラスト値であり得る。病変の色は、当技術分野で知られている任意の適切な色表現系(例えば、RGB、HSV、CYMKなど)で定義することができる。
【0060】
図3のプロセス工程S12において、図1の装置100の分類モジュール120は、少なくとも1つの病変クラスター及び対応する病変クラスターデータを識別するために、クラスタリングアルゴリズムを複数の病変位置に適用する。
【0061】
クラスタリング工程の出力は、病変クラスターセットである。各病変クラスターは、クラスタリングアルゴリズムに入力された病変のサブセットを表す。これらのサブセットは通常、重複しない。クラスター分析用アルゴリズムを病変位置に適用して、撮影された医用画像において病変の視覚的に観察されたクラスター化を特徴付ける定量化された情報を生成してもよい。
【0062】
例として、図5(a)は、本明細書の第1の例示的実施形態に係る、クラスタリングアルゴリズムが適用された、病変510が存在する医用画像500を示す概略図である。図5(a)の例では、医用画像500は、走査型レーザー検眼鏡(SLO)を使用して撮影された被験者の網膜の一部の画像であるが、病変が存在する任意の形態の医用画像(例えば、被験者の脳、肺、皮膚の医用画像など)であってもよい。図5(a)に示されるように、クラスタリングアルゴリズムの出力は、破線を使用して示される病変クラスターセット520a、520b、520c、520d及び520eである。
【0063】
網膜の病変510の例では、病変が網膜上のランダムな位置に形成されているように見えるが、多くの場合、より小さな又はより大きな領域にわたるクラスターとなることが観察される。網膜では、病変クラスターが臨床診療に対応するいくつかの例がある。
・糖尿病性網膜症(DR)の輪状白斑
・進行性黄斑変性症(AMD)の黄斑ドルーゼン
【0064】
別の実施形態では、取得モジュール110が医用画像内の複数の病変位置のそれぞれについて病変の特性を取得するように構成される場合、分類モジュール120は、クラスタリングアルゴリズムを病変特性データに適用するようにさらに構成され得る。即ち、複数の病変位置に加えて、クラスタリングアルゴリズムは、各病変位置の病変の特性を入力として受け付けることができる。例えば、クラスタリングアルゴリズムのパラメータ又は他の任意の適切な要素は、複数の病変位置のそれぞれの病変特性に基づいて選択され得る。あるいは、複数の病変位置のそれぞれの病変特性は、任意の適切な方法で病変位置のクラスタリングに影響を与えるか又は制御するように、クラスタリングアルゴリズムによって使用され得る。
【0065】
さらなる代替例として、取得モジュール110が医用画像内の複数の病変位置のそれぞれについて病変特性を取得するように構成される場合、分類モジュール120は、同じ病変特性を有する複数の病変位置について、クラスタリングアルゴリズムを適用するように構成することができる。
【0066】
図5(b)は、本明細書の第2の例示的実施形態に係る、クラスタリングアルゴリズムが適用された、病変510、530が存在する医用画像500’を示す概略図である。図5(b)の実施形態では、医用画像500’内の複数の病変位置のそれぞれについて、病変特性として、病変の種類が取得モジュール110によって取得されている。クラスタリングアルゴリズムは、同じ病変特性を有する、病変510の内の第1の複数の病変位置、即ち同じ第1の種類の病変510に関して適用される。クラスタリングアルゴリズムの出力は、破線を使用して示される、同じ病変種類の病変クラスターセット540a、540b、540c、540d及び540eである。
【0067】
さらに、図5(b)の例では、クラスタリングアルゴリズムがその後、同じ病変特性を有する病変の第2の複数の病変位置、即ち同じ第2の種類の病変530に関して適用される。この場合、クラスタリングアルゴリズムの出力は、破線で示された、同じ病変種類の病変クラスターセット550a、550b、550c、及び550dである。
【0068】
図5(b)の例では、同じ病変特性が病変の種類である。あるいは、同じ病変特性は、例えば、病変面積、病変体積、病変形状の複雑度、病変強度、及び病変の色のいずれかでもよい。
【0069】
クラスタリングアルゴリズムによって決定されるクラスターの数は一定ではない。特定の疾患を持つ人々の集団にわたって、病変は多種多様なパターンで形成され得る。クラスターは単一である場合も、複数の場合もあり得る。病変のサイズは様々であり、このサイズの違いの一部は、密集しているという視覚的印象又はまばらであるという視覚的印象に寄与するため、観察されるクラスタリングにも寄与する。クラスターは、概して丸い球状の形状である場合や、輪状白斑の場合などのより複雑な形状であり得る。あるいは網膜撮像の例では、黄斑ドルーゼンがクラスターを形成し、中心窩を避けつつ囲む。これらの場合、クラスターは、その周辺よりも中心がまばらとなり、輪状のクラスターの印象を与え得る。
【0070】
医用画像データに存在するクラスターの分析と検出のためのアルゴリズムは数多く存在する。適切なクラスタリングアルゴリズムは、上記の因子の一部又は全てに対処し得る。
【0071】
例えば、分類モジュール120によって適用されるクラスタリングアルゴリズムには、本実施形態のように、入力として、クラスター数を標示しなくてもよい。k平均クラスタリングなどの一部のクラスタリングアルゴリズムでは、クラスター数を入力する必要があるため、事前にクラスター数を指定する必要がある。集団全体にわたって多様な疾患の標示を考慮するため、病変のクラスタリングの形式を事前に仮定することが必要となるような例えばk平均クラスタリングではなく、そのような仮定を要さないクラスタリングアルゴリズムを使用することが好ましい。
【0072】
本明細書において、病変のクラスタリングの形式を事前に仮定しないクラスタリングアルゴリズムは、本実施形態のように、密度準拠(density-based spatial clustering of applications with noise:DBSCAN)アルゴリズム、及び複数の病変位置のバンドパスフィルタマップに閾値を適用することの少なくとも一方を含む。あるいは、当技術分野で既知のその他の任意の適切なクラスタリングアルゴリズムを使用してもよい。
【0073】
バンドパスフィルタのクラスタリングでは、クラスタリングされる対象のマップ(本明細書では、複数の病変位置のマップ)にバンドパスフィルタが適用される。Lは、クラスタリングされる、取得された複数の病変位置のマップであるとする。それにより、バンドパスフィルタされたマップLbpfは、次のように表すことができる。
bpf=(LoG(a))/(LoG(b))-1
式中、「o」は畳み込みを表し、G(s)は標準偏差sの2次元ガウス関数を表し、a及びb(a>b)はバンドパスフィルタの減衰傾度が上下する点を制御するものである。
【0074】
結果として得られるバンドパスフィルタされたマップLbpfは、例えばヒステリシスを使用して閾値処理することにより、クラスターのマップを形成することができる。例えば、ヒステリシスに基づく閾値処理は次のように表される。
cluster=rec(Lbpf,t,t
recは、2つの閾値 t>tに対する形態再構築を表す(https://uk.mathworks.com/help/images/understanding-morphological-reconstruction.htmlこれは、参照により全体が本明細書に完全に記載されているかのように、組み込まれる)。
【0075】
クラスタリング工程のさらなる出力は、病変クラスターの出力セットに対応する病変クラスターデータである。具体的には、病変クラスターデータは、特定の識別された病変クラスターに関連する、又は特定のクラスターの個々の病変に関連する任意のデータ又は情報であり得る。例えば、病変クラスターデータは、特定の病変クラスター内の各病変の座標、及び、その病変クラスター内の各病変について、取得モジュール110によって取得された病変特性の1つ以上、の少なくとも一方を含み得る。具体的には、非限定的な例として、1以上の病変特性を示す情報は、複数の病変位置のそれぞれに関連付けて記憶されることができ、分類モジュール120は、特定された病変クラスター内の各病変位置に対する1以上の病変特性を示す情報を取得し、この情報を病変クラスターと関連付けて病変クラスターデータとするように構成されてもよい。
【0076】
さらに、または代替的に、特定の病変クラスターに対応する病変クラスターデータは、クラスター自体に関する情報を含み得る。即ち、病変クラスターデータは、少なくとも1つの病変クラスターの特性を含み得る。例えば、少なくとも1つの病変クラスターのそれぞれの決定された病変クラスターデータは、その(多変量)モーメントなどの統計を使用して病変クラスターを要約したものであり得る。例えば、クラスター内の各病変位置の空間座標の平均、標準偏差、分散を使用して、クラスターの位置を特徴付けることができる。病変クラスター内の各病変位置の空間座標の共分散、(共)歪度及び(共)尖度を使用して、クラスターの形状、広がり、及び開放性をそれぞれ特徴付けることができる。統計量の計算は、個々の病変面積又は輝度によって重み付けされてもよい。
【0077】
あるいは、病変クラスターは、当該病変クラスターの病変特性によって要約されてもよい。例えば、病変クラスターは、病変クラスターの各病変特性の値を使用して決定された病変特性の平均値、中央値、又は最頻値によって要約されてもよい。ここで、上記平均値は一連の値の平均値又は期待値であり得る。上記中央値は、データサンプルの上半分と下半分を分ける値である。これにより、任意の所与の値は、当該値以上又は当該値以下となる可能性が等しい。一連の値の最頻値は、当該一連の値の中で最も頻繁に現れる値である。
【0078】
この情報は、クラスタリングアルゴリズムによって直接出力され得る。あるいは、病変クラスターデータは、クラスタリングアルゴリズムによって出力され、かつ病変クラスターデータとして対応する病変クラスターに対応付けられる、識別された少なくとも1つの病変クラスターに基づいて、分類モジュール120により判定されてもよい。
【0079】
さらなる例として、病変クラスターデータは、少なくとも1つの病変クラスターのそれぞれにおける少なくとも1つのクラスターの特性を含んでもよく、当該少なくとも1つのクラスターの特性は、以下の1以上を含んでもよい。
・医用画像内の複数の病変位置のそれぞれに対する病変種類が取得される場合、病変クラスター内の病変のモード型、
・医用画像内の複数の病変位置のそれぞれに対する病変面積又は病変体積が取得される場合、病変クラスター内の病変の病変面積の平均値又は中央値、あるいは病変体積の平均値又は中央値、
・医用画像内の複数の病変位置のそれぞれに対する病変形状の複雑度が取得される場合、病変クラスター内の病変形状の複雑度の平均値又は中央値、
・医用画像内の複数の病変位置のそれぞれに対する病変強度又は病変の色が取得される場合、病変クラスター内の病変強度の平均値又は中央値あるいは病変の色の平均値又は中央値、
・病変クラスターの病変の平均位置、
・病変クラスターの病変位置の中央値、
・病変クラスターの病変位置の標準偏差、
・病変クラスターの病変位置の分散、
・病変クラスターの共分散値、
・病変クラスターの歪度値、
・病変クラスターの共歪度値、
・病変クラスターの尖度値、
・病変クラスターの共尖度値、
・病変クラスターの形状複雑度、
・病変クラスターの面積。
【0080】
図3のプロセス工程S14では、分類モジュールは、決定された病変クラスターデータに基づいて、少なくとも1つの病変クラスターのそれぞれを所定のカテゴリセットの1つに分類する。
【0081】
所定のカテゴリセットは、本実施形態のように、医用画像に存在する症状レベルの1以上複数を決定するために、装置100利用者又は操作者によって選択可能である。あるいは、所定のカテゴリセットは固定されていてもよい。各カテゴリはどのように定義されてもよいが、あらゆる利用され得る病変クラスターデータには、割り当てるカテゴリがないか、割り当て可能な一意のカテゴリがあることが一般的である。
【0082】
例として、図1の分類モジュール120は、少なくとも1つの病変クラスターのそれぞれを、決定された病変クラスターデータに基づいて、医用画像内の領域(グリッド要素)を定義する、図6(b)のグリッド630などのグリッドを使用することによって、所定のカテゴリセットのうちの1つに分類するように構成される。少なくとも1つの病変クラスターはそれぞれ、少なくとも1つの病変クラスターの重心、病変の平均位置、及び少なくとも1つの病変クラスターの病変位置の中央値の少なくとも一つが存在する領域に応じて分類される。図6(b)に示すように、領域(グリッド要素)は重複し得る。
【0083】
図6(a)は、クラスタリングアルゴリズムが適用された医用画像600を示す概略図であり、病変クラスター620a、620b、620c、620d、620eのそれぞれの重心610a、610b、610c、610d、610eが示されている。図6(b)は、クラスタリングアルゴリズムが適用された同じ医用画像600を示す概略図であり、病変クラスター620a、620b、620c、620d、620eは、クラスターの重心610a、610b、610c、610d、610eが配置された領域F1、F2、F3、F4、F5、F6、F7、P1、P2、P3、P4、P5に従って分類される。図6(a)及び図6(b)の例では、医用画像600は、走査型レーザー検眼鏡(SLO)を使用して撮影された被験者の網膜の一部の超広視野画像として概略的に示されている。
【0084】
グリッド630の目的は、該当する人間の解剖学的構造(この場合、網膜の一部)を、症状位置の特徴付けを可能にする領域に分割することである。観察された解剖学的構造に対してグリッド630を配置することは、網膜疾患の分析で一般的に行われる。例えば、黄斑症のレベル分けでは、黄斑症は、中心窩440を中心とする黄斑640を規定する円形領域F1、F2、F3、F4、F5、F6、F7を使用して規定されることができる。図6(b)では、網膜は、標準的な糖尿病性網膜症早期治療研究(Early Treatment Diabetic Retinopathy Study:ETDRS)眼底写真を示し、中心窩440とONH450(図5(b)に対して配置された重複領域F1、F2、F3、F4、F5、F6、F7、並びに超広視野網膜画像の残りの部分を網羅するその他領域P1、P2、P3、P4、P5に分割される。
【0085】
一般に、グリッド630などのグリッドは、プロセス工程S10に関して上述した任意の座標系において、固定座標を有する点を利用して(さらに円の半径等の距離を利用し得る)定義された画像又は端部の接続領域を含む。そして、各領域(例えば、図6(b)の領域F1、F2、F3、F4、F5、F6、F7、P1、P2、P3、P4、P5など)は、これらの端部の指定されたサブセットによって囲まれる。さらに、固定座標を持つポイントを使用して定義されていない他の端部も使用可能である。これらの例は、(a)画像の端部、又は(b)画像内で視認可能な解剖学的構造の境界が挙げられる。このような端部は、領域の境界を定義するためにも使用できる。
【0086】
図6(b)から分かるように、病変クラスター620aの重心610aは、領域F3内に配置されている。同様に、病変クラスター620bの重心610bは領域P3に配置され、病変クラスター620cの重心610cは領域F5に配置され、病変クラスター620dの重心610dは領域F7に配置され、病変クラスター620eの重心610eは領域P4に配置される。したがって、領域F3、P3、F5、F7、及びP4に対応する各カテゴリは単一の病変クラスターを含み、領域F1、F2、F4、F6、P1、P2、P5に対応する各カテゴリは病変クラスターを含まない(つまり、カテゴリは空となる)。
【0087】
図6(b)の例では、各カテゴリが含む病変クラスターは最大でも1つである。しかし、別の例では、分類モジュール120によって識別される病変クラスターの数及び分布に応じて、カテゴリの少なくともサブセットが2つ以上の病変クラスターを含み得る。
【0088】
さらに、あるいは追加的に、さらなる例として、図1の分類モジュール120は、決定された病変クラスターデータに基づいて、以下により、少なくとも1つの病変クラスターのそれぞれを所定のカテゴリセットの少なくとも1つに分類するように構成され得る。
・医用画像内の複数の病変位置のそれぞれについて病変の種類が取得され、少なくとも1つの病変クラスターのそれぞれの病変クラスターデータが、病変クラスター内の病変のモード型を含む場合、少なくとも1つの病変クラスターのそれぞれを、病変クラスター内の病変のモード型に応じて分類する。
・少なくとも1つの病変クラスターのそれぞれの病変クラスターデータが、病変クラスターの病変位置の平均、中央値、標準偏差、及び分散の少なくとも1つを含む場合、少なくとも1つの病変クラスターのそれぞれを、病変クラスターの病変位置の平均、中央値、標準偏差及び分散の少なくとも1つに基づいて分類する。
・少なくとも1つの病変クラスターのそれぞれの病変クラスターデータが、病変クラスターの共分散値、病変クラスターの歪度値、病変クラスターの共歪度値、病変クラスターの尖度値、病変クラスターの共尖度値の少なくとも1つを含む場合、少なくとも1つの病変クラスターのそれぞれを病変クラスターの形状に応じて分類する。
・少なくとも1つの病変クラスターのそれぞれの病変クラスターデータが、病変クラスター形状の複雑度又は病変クラスター面積を含む場合、少なくとも1つの病変クラスターのそれぞれを、病変クラスター形状の複雑度又は面積に応じて分類する。
・医用画像内の複数の病変位置のそれぞれについて、病変面積又は病変体積が取得され、少なくとも1つの病変クラスターそれぞれの病変クラスターデータが、病変クラスターの病変面積の平均値又は中央値、あるいは病変体積の平均値又は中央値を含む場合、少なくとも1つの病変クラスターのそれぞれを、病変クラスターの病変面積の平均値又は中央値、あるいは病変体積の平均値又は中央値に応じて分類する。
・医用画像内の複数の病変位置のそれぞれについて病変形状の複雑度が取得され、少なくとも1つの病変クラスターの病変クラスターデータが、病変クラスター内の病変における病変形状の複雑度の平均値又は中央値を含む場合、少なくとも1つの病変クラスターのそれぞれを、病変クラスター内の病変における病変形状の複雑度の平均値又は中央値に応じて分類する。
・医用画像内の複数の病変位置のそれぞれについて病変の色又は病変強度が取得され、少なくとも1つの病変クラスターのそれぞれにおける病変クラスターデータが、病変クラスター内の病変における病変の色の平均値又は中央値、あるいは病変強度の平均値又は中央値を含む場合、少なくとも1つの病変クラスターのそれぞれを、病変クラスター内の病変の病変色の平均値又は中央値、あるいは病変強度の平均値又は中央値に応じて分類する。
【0089】
図6(b)に関して上述した例と同様に、分類モジュール120が少なくとも1つの病変クラスターのそれぞれを所定のカテゴリセットの1つに分類した後、所定のカテゴリセットの各カテゴリは、病変クラスターを含まなくてもよく、あるいは1つ以上の病変クラスターとそれらの対応する病変クラスターデータを含んでもよい。
【0090】
図6(b)の例では、所定のカテゴリ数は12である。あるいは、所定のカテゴリ数は、2以上の任意の数であってもよい。
【0091】
図3のプロセス工程S16において、分類モジュール120は、所定のカテゴリセットの各カテゴリに関して、病変クラスターデータに少なくとも1つの関数を適用し、少なくとも1つの関数は、固定された数のデータを出力する。
【数1】

である(即ち実数の組み合わせを入力し、実数を返す関数)。さらに、分類モジュール120によって適用される少なくとも1つの関数は、固定されていない数のデータ(例えば、病変の数及び各カテゴリにおける病変クラスターの数の少なくとも一方)を入力し、既知の数の結果(出力)を決定する統計関数であり得る(即ち、データの統計関数に関連付けられた出力データセットの大きさは、当該関数を入力データに適用する前に既知である)。カテゴリごとに、このような関数を1つ以上使用可能である。
【0092】
少なくとも1つのそれぞれの関数は、カテゴリ内の病変クラスター、又はカテゴリ内の各病変クラスターの病変クラスター面積などの特性に適用される。各カテゴリについての結果は、既知の長さのデータベクトルとなる。全てのカテゴリを使用した結果は固定サイズのデータを提供する。したがって、医用画像全体の空間分布に関する情報や、病変の相互関係に関する情報を省略する必要がない、自動分類器への入力として使用できる結果が提供される。
【0093】
一例として、少なくとも1つの関数は、以下の少なくとも1つを含み得る。
・カウント関数(例えば、特定のカテゴリのクラスター数を出力し得る)
・合計関数(例えば、特定のカテゴリの各クラスターの病変クラスターデータに含まれる、クラスター内の病変の数やクラスター内の平均病変位置などの数値の合計を出力し得る)
・平均関数(例えば、特定のカテゴリの各クラスターの病変クラスターデータに含まれる数値の平均又は平均値を出力し得る)
・標準偏差関数(例えば、特定のカテゴリの各クラスターの病変クラスターデータに含まれる数値の標準偏差値を出力し得る)
・歪度関数(例えば、特定のカテゴリの各クラスターの病変クラスターデータに含まれる数値の歪度値(つまり、分布が正規分布と異なる程度の尺度)を出力し得る)
・最大値関数(例えば、所与のカテゴリの各クラスターの病変クラスターデータに含まれる数値の最大値を出力し得る)
・最小値関数(例えば、特定のカテゴリの各クラスターの病変クラスターデータに含まれる数値の最小値を出力し得る)
【0094】
例えば、カウント関数は、適用される各カテゴリについて、そのカテゴリ内のクラスターの数を示す値を出力する。それ以降の5つの関数はそれぞれ、適用される各カテゴリについて、そのカテゴリの各病変クラスターの特定の特性値に適用され得る。
【0095】
統計関数、及びそれが適用される病変クラスターデータは、臨床用途用に選択され得る。即ち、上記選択は、特定の疾患転帰との関連又は相関があると想定される病変分布のパターンを表現するように設計されてもよい。例えば、網膜疾患であるAMDでは、病変は黄斑周辺に分布されると予想される。患者のリスクは、この疾患に関連する病変が中心窩の近くに存在する傾向に依存し得る。中心窩からの距離の平均及び標準偏差は、黄斑に病変が形成される傾向を定量化するための有用な統計となる。
【0096】
さらなる例として、以下の表1は、分類モジュール120が図6(b)の領域F1、F2、F3、F4、F5、F6、F7、P1、P2、P3、P4、P5に対応するカテゴリのそれぞれにカウント関数及び合計関数を適用することにより得られる固定された数の出力の例を示す。特に、合計関数は、所与のカテゴリ内の各病変クラスターの特定の特性(この場合は病変クラスター面積)の値の合計を示す値を出力する。図6(b)の例では、領域F3、P3、F5、F7、及びP4に対応するカテゴリのそれぞれが単一の病変クラスターを含む。したがって、特定のカテゴリの病変クラスターのクラスター面積の合計は、同カテゴリ内の単一の病変クラスターのクラスター面積に等しい。
【表1】
【0097】
したがって、この例では、分類モジュール120が、所定のカテゴリセットの各カテゴリに関して病変クラスターデータに少なくとも1つの関数を適用した結果は、長さ24のベクトルである(即ち、12のカテゴリそれぞれに対して、カウント値と合計値という2つの関連する値が存在する)。ここで、「0」は、分類子によって、それぞれのカテゴリの空のデータ領域として扱われ得る。
【0098】
あるいは、各関数が単一又は固定された数を出力する場合、上記の関数を含む任意の数又は組み合わせの関数を、所定のカテゴリセットの各カテゴリに関して、病変クラスターデータに適用してもよい。
【0099】
図3のプロセス工程S18において、判定モジュール130は、複数の被験者の部位の医用画像を示す画像データで訓練された分類アルゴリズムを使用して、所定のカテゴリセットにおける各カテゴリの固定された数の出力を処理することにより、医用画像から病態を判定する。つまり、カテゴリごとに、そのカテゴリに適用されたときの少なくとも1つの関数の(1以上の)出力が、分類アルゴリズムへの入力として使用される。
【0100】
例えば、判定モジュール130は、撮像された被験者の部位における病態又は疾患の有無、撮像された被験者の部位における病態又は疾患の重症度、撮像された被験者の部位における病態又は疾患の進行速度、のいずれか1つ以上を示す病状レベル又は病態を判定するように構成されてもよい。
【0101】
特に、分類アルゴリズムは、画像を2つ以上の病状レベル/病態のうちの1つに属するものとして分類することができる。2つのレベルがある場合、これらのレベルは、被験者の部位が不健康又は健康であるという決定に対応し得る。したがって、分類アルゴリズムの出力は、「はい」又は「いいえ」、1又は0、又は病状、病態、又は疾患が存在するかどうかのその他のバイナリインジケータであり得る。
【0102】
あるいは、分類アルゴリズムが画像を2つ以上のレベルに属するものとして分類する場合、これらのレベルは、被験者の部位の疾患又は病状の重症度の重症度のレベルの決定に対応し得る(例えば、軽度、中等度、重度など)。あるいは、分類アルゴリズムが画像を2つ以上のレベルに属するものとして分類する場合、これらのレベルは、被験者の部位における疾患又は病状の進行速度の決定に対応し得る(例えば、遅い、中程度、速いなど)。例えば、被験者の部位の過去の医用画像が過去に処理されて疾患の重症度のレベルが決定された場合、疾患又は病状の進行速度は、最初に現在の医用画像に基づいて疾患の重症度を判定し、次いで重症度のレベルの増加及び現在の医用画像と過去の医用画像の撮影の間の時間間隔に基づいて進行速度が判定されてもよい。あるいは、分類アルゴリズムは、病態の判定の一部として、疾患の進行速度を示すことが医学分野で知られている、撮像対象の被験者の部位の特徴又は特性を識別するように訓練されてもよい。
【0103】
装置100が表示制御信号発生器140を備える本実施形態のような実施形態では、表示制御信号発生器140は、(図2の215に示すように)LCDスクリーン又は他のタイプの視覚表示ユニットなどの表示装置を制御する表示制御信号を生成することで、決定された病状レベルの標示が少なくとも表示されるように構成され得る。表示された、決定された病状のレベルの標示は、例えば、単語、数字、グラフィック、色インジケータなどの、当技術分野で知られている任意の適切な形態をとることができる。
【0104】
図7は、本明細書の第1の例示的な実施形態による、複数の被験者の部位710の医用画像を示す画像データ701、702により分類アルゴリズムをどのように訓練できるかを示す概略図である。図7の例では、画像データ701、702によって定義される画像は、走査型レーザー検眼鏡(SLO)350を使用して撮影された複数の被験者の網膜の一部の画像であるが、病状レベルを判定する被験者の部位に応じて、病変が存在する任意の形態の医用画像(例えば、被験者の脳、肺及び皮膚の医用画像など)であってもよい。
【0105】
具体的には、画像データ702は健康な眼の画像を定義し、画像データ701は不健康な眼の画像を定義する。本明細書において、健康な眼は、病変が存在しない眼であり、不健康な眼は、特定の疾患又は病状によって引き起こされる病変が存在する眼である。(病変が存在することを単に識別するのではなく)特定の疾患又は病状が存在するという識別は、病変及び病変クラスターの空間分布に依存し得る。したがって、健康な眼は、病変が存在するが、それが該当する特定の疾患又は病状を示す形態ではない眼である場合がある。学習アルゴリズム730は、健康な眼の網膜の画像を定義する画像データ702及び不健康な眼の網膜の画像を定義する画像データ701を含む、入力データの例示的な訓練セット700からモデル740(分類アルゴリズム)を構築することにより、入力データから学習し、それに基づいて予測を行うように構成される。例えば、画像データ701は、それぞれが複数の病変を有する不健康な眼の部分の画像を定義する。例示的な訓練セット700の画像データ701によって定義された画像は、複数の被験者の網膜の画像を取得することによって収集されてもよい。より一般的には、各画像は、被験者の同じ部位(この場合、眼710の網膜)、又は被験者の実質的に同じ部位、又は病状レベルが判定される被験者の部位と同じ部位を含む被験者の部位である。さらに、例示的な訓練セット700の画像データによって定義される各画像は、医用撮像システム350、又は同じタイプで同じ撮像態様で動作する医用撮像システムによって取得される。
【0106】
本実施形態のように、学習アルゴリズムは、教師付学習アルゴリズムであってもよい。具体的には、学習アルゴリズムは、本実施形態のように、ニューラルネットワークを含む教師付き学習アルゴリズムでもよい。
【0107】
学習アルゴリズム730が教師付き学習アルゴリズム(例えば、ニューラルネットワーク、サポートベクターマシン、又は進化的アルゴリズムなど)である実施形態では、例示的な訓練セット700の各例示的な画像は、被験者の部位の画像を定義する入力画像データと、その画像が「健康な」部位(この場合は眼の網膜)の一部か「不健康な」部位の一部かを示す望ましい出力値を成すペアである。教師付き学習アルゴリズム730は、例示的な訓練セット700の画像データを分析し、被験者の部位の画像を定義する新しく未知の画像データを「健康」又は「不健康」として分類することができるようなモデル又は分類アルゴリズム740を生成する。
【0108】
本明細書の1つの例示的な実施形態では、学習アルゴリズム730は、画像データ701、702が「健康」又は「不健康」としてのみ分類される例示の訓練セット700で訓練されるので、モデル740は、撮像対象の被験者の部位の病状の重症度や、撮像対象の被験者の部位の病状の進行速度を区別することはできない。例えば重度の糖尿病性網膜症などの病状が存在するかどうかのみを判定可能である。
【0109】
図8は、本明細書の第2の例示的な実施形態による、複数の被験者の部位の医用画像を示す画像データ801、802、803、804により学習アルゴリズム830をどのように訓練できるかを示す概略図である。図7と同様に、図8の例では、画像データ801、802、803、804によって定義される画像は、走査型レーザー検眼鏡(SLO)350を使用して撮影された複数の被験者の網膜の一部の画像であるが、病状レベルを判定する被験者の部位に応じて、病変が存在する任意の形態の医用画像(例えば、被験者の脳、肺及び皮膚の医用画像など)であってもよい。
【0110】
例えば、画像データ801は、中程度の非末梢性糖尿病性網膜症を有する不健康な眼の一部の画像を定義し、画像データ802は、重度の非末梢性糖尿病性網膜症を有する不健康な眼の一部の画像を定義し、画像データ803は末梢糖尿病性網膜症のある不健康な眼の一部の画像を定義する。画像データ804は、糖尿病性網膜症を有さない(そして他の疾患又は病状を有しても有さなくてもよい)健康な眼の一部の画像を定義する。
【0111】
学習アルゴリズム830は、健康な眼の網膜の画像を定義する画像データ804及び不健康な眼の網膜の画像を定義する画像データ801、802、803を含む、入力データの例示的な訓練セット800から、モデル又は分類アルゴリズム840を構築することにより、入力データから学習し、それに基づいて予測を行うように構成される。例示的な訓練セット800の画像データ801から804によって定義された画像は、複数の被験者の網膜の画像を取得することによって収集されてもよい。より一般的には、各画像は、病状レベルが判定される被験者の同じ部位(この場合、眼710の網膜)、又は被験者の実質的に同じ部位、又は被験者の部位と同じ部位を含む被験者の部位である。さらに、例示的な訓練セット800の画像データによって定義される各画像は、医用撮像システム350、又は同じタイプで同じ撮像態様で動作する医用撮像システムによって取得される。
【0112】
学習アルゴリズム830は、教師付き学習アルゴリズムでもよい。したがって、例示的な訓練セット800の眼710の部分の各例示的な画像は、その画像が「健康」又は「不健康」な眼の一部であるかどうかを示すインジケータに関連付けられている。画像が「不健康な」眼の一部である場合、判定された病状(この場合は糖尿病性網膜症)の重症度及び撮像対象の被験者の部位を示す第2のインジケータに関連付けられる。教師付き学習アルゴリズムは、例示的な訓練セット800の画像データを分析し、被験者の部位の画像を定義する新たな(今までに未知の)画像データを、例えば「健康」、「不健康-中等度の非増殖性糖尿病性網膜症」、「不健康-重度の非増殖性糖尿病性網膜症」、「不健康-増殖性糖尿病性網膜症」のいずれかに分類できるモデル840(分類アルゴリズム)を生成する。
【0113】
さらなる病状の重症度のそれぞれに対して、その重症度に該当する被験者の網膜(又はその他部位)の画像を定義する画像データと、上述のような関連したインジケータとを包含するように訓練セット800を拡張することにより、装置100が、さらなる病状の重症度を分類するように適合され得ることが当業者には明白であろう。例えば、訓練セット800は、軽度の非増殖性糖尿病性網膜症を有する不健康な眼の一部の画像を定義する画像データを含むように拡張されてもよい。さらに、不健康な眼の一部の画像を定義する画像データ801、802、803のいずれも、異なる病状の重症度を有する不健康な眼の一部の画像を定義する画像データにより除去又は置換することができる。その上で、修正されたモデル又は分類アルゴリズム840が、修正された訓練セット800に基づいて生成されてもよい。さらなる代替案として、不健康な眼の一部の画像を定義する画像データ801、802、803のいずれも、異なる進行速度を有する不健康な眼の一部の画像を定義する画像データにより除去及び置換することができる。その上で、修正されたモデル又は分類アルゴリズム840が、修正された訓練セット800に基づいて生成されてもよい。
【0114】
教師付き学習アルゴリズム830は、この例示的な実施形態におけるように、例えば畳み込みニューラルネットワークなどのニューラルネットワークでもよい。畳み込みニューラルネットワークは特に、画像及び映像認識処理に適する。ニューラルネットワークは、事前の知識がなくても、例示的な訓練セット800の画像データなどの入力データを処理することにより、識別特性を自動的に生成する。
【0115】
図9に示すように、一般に、ニューラルネットワークは入力層(図の例では入力x1、x2、x3であるが、より多くの又はより少ない入力であってもよい)と出力層、並びに複数の隠れ層から成る。各層は複数の人工ニューロン(図9では参照符号AからFを付す)で構成されており、各層は入力に対して様々な種類の変換を実行し得る。各人工ニューロンは、隣接する層の複数の人工ニューロンに接続されてもよい。各人工ニューロンの出力は、その入力の合計の非線形関数によって計算される。人工ニューロンとそれらの間の接続は通常、所与の接続での信号の強度を決定するそれぞれの重み(図9のWAD、WAEなど)を有する。これらの重みは学習が進むにつれて調整され、それによってニューラルネットワークの出力が調整される。信号は最初の層(入力層)から最後の層(出力層)に移動し、層を複数回通過し得る。
【0116】
ニューラルネットワークの出力(y1)は、入力医用画像データが特定の病状レベル(例えば、上述のいずれか)の識別特性を含む確率と見なすことができ、本実施形態のように、分類は、学習されたモデル840の出力が所定の閾値を超えるかを判定することを含んでもよい。所定の閾値は、入力画像データが病状の特定のレベルの識別特性を含む確率が許容できるほど低い、即ち被験者の眼が健康である確率が高いことを示してもよい。
【0117】
本明細書のさらなる例示的実施形態の詳細を、図10及び図11を参照して以下に示す。図10は、本明細書の例示的実施形態に係る、医用撮像システムを使用して撮影された被験者の部位の医用画像データを処理して、医用画像データによって定義される医用画像に存在する病状のレベルを判定するための装置1000の概略図である。この例示的実施形態の装置1000は、図1の装置100の構成要素110、120、130、140とそれぞれ同じである構成要素1100、1200、1300、及び1400を備える。しかし、図10の装置1000は、医用画像内の複数の病変位置にクラスタリングアルゴリズムを適用する必要がないという点で、図1の装置100とは機能が異なる。図10の装置1000は、図2に示されるような信号処理ハードウェア構成によって、又は任意の他の適切な手段によって実現され得る。
【0118】
図10の装置1000は、取得モジュール1100、分類モジュール1200、及び判定モジュール1300を備える。図1の装置100に関して上述したように、装置1000は、任意で、表示制御信号発生器1400をさらに備えてもよい。特に明記しない限り、これらの要素(及び代替手段)のそれぞれの機能的及び構造的特徴は、上記の図1の装置100の対応する要素に関連して前述したとおりである。
【0119】
図11は、本明細書の例示的な実施形態に係る、図10の装置1000が病状レベルを判定するために医用画像データを処理するプロセスを示すフローチャートである。
【0120】
図11のプロセス工程S110において、取得モジュール1100は、医用画像内の複数の病変位置を取得する。取得モジュール1100は、任意で、例えば自動病変検出器300(及び医用撮像システム350の少なくとも一方)によって、図1の装置100に関連して上述した手段のいずれかによって医用画像内の複数の病変位置を取得するように構成されてもよい。
【0121】
図11のプロセス工程S112では、分類モジュール1200は、医用画像内の複数の病変位置のそれぞれについて少なくとも1つの病変特性を判定する。あるいは、病変特性は、自動病変検出器300によって判定されてもよい。
【0122】
分類モジュール1200は、任意で、図1の装置100に関連して上述した手段のいずれかによって、複数の病変位置のそれぞれの少なくとも1つの病変特性を判定するように構成され得る。さらに、少なくとも1つの病変特性は、図1の装置100に関連して上述したもののいずれかであってもよい。
【0123】
図11のプロセス工程S114において、分類モジュール1200は、判定された病変特性に基づいて、複数の病変位置のそれぞれを、所定のカテゴリセットの1つに分類する。
【0124】
非限定的な例として、決定された病変特性に基づいて、複数の病変位置のそれぞれを所定のカテゴリセットのうちの1つに分類することは、以下の1つ以上を含んでもよい。
・グリッドを使用して医用画像内に領域を定義し、複数の病変位置のそれぞれを、その病変が配置された領域に応じて分類すること。
・医用画像内の複数の病変位置のそれぞれに対する病変の種類が病変特性として取得される場合、病変の種類に応じて複数の病変位置のそれぞれを分類すること。
・医用画像内の複数の病変位置のそれぞれに対する病変面積又は病変体積が病変特性として取得される場合、病変面積又は病変体積に応じて複数の病変位置のそれぞれを分類すること。
・医用画像内の複数の病変位置のそれぞれに対する病変形状の複雑度が病変特性として取得される場合、病変形状の複雑度に応じて複数の病変位置のそれぞれを分類すること。
・医用画像内の複数の病変位置のそれぞれに対する病変の色又は病変強度が病変特性として取得される場合、病変の色又は病変強度に応じて複数の病変位置のそれぞれを分類すること。
【0125】
図11のプロセス工程S116において、分類モジュール1200は、所定のカテゴリセットの各カテゴリに関して、病変位置及び病変特性に少なくとも1つの関数を適用し、少なくとも1つの関数は、固定された数のデータを出力する。
【0126】
分類モジュール1200によって適用される少なくとも1つの機能は、任意で、図1の装置100に関連して上述した機能のいずれかでもよい。ただし、この実施形態では、少なくとも1つの関数は、病変クラスターデータではなく、特定のカテゴリの病変位置のそれぞれの病変位置及び病変特性の値の少なくとも一方に直接適用される。
【0127】
図11のプロセス工程S118において、判定モジュール1300は、複数の被験者の部位の医用画像を示す画像データで訓練された分類アルゴリズムに基づいて、所定のカテゴリセットの各カテゴリの固定された数のデータ出力を処理することにより、医用画像から病態を判定する。任意で、判定された病態は、図1の装置100に関連して上述されたもののいずれかであってもよい。分類アルゴリズムは、図1の装置100に関連して上述されたもののいずれかであってもよい。
【0128】
上記の実施形態の少なくともいくつかは、以下の例E1からE16に要約されている。
【0129】
E1.医用撮像システムを使用して撮影された被験者の部位の医用画像から病態を判定するための装置(100)であって、上記装置(100)は、医用画像における複数の病変位置を取得するように構成された取得モジュール(110)と、前記複数の病変位置にクラスタリングアルゴリズムを適用して、少なくとも1つの病変クラスターと、対応する病変クラスターデータとを特定し、少なくとも1つの病変クラスターのそれぞれを、病変クラスターデータに基づいて、所定のカテゴリセットの1つに分類し、所定のカテゴリセットの各カテゴリに関して、固定された数のデータ出力を提供する少なくとも1つの関数を病変クラスターデータに適用するように構成された分類モジュール(120)と、所定のカテゴリセットにおける各カテゴリに関して、固定された数のデータ出力を、複数の被験者の部位の医用画像を示す画像データにより訓練された分類アルゴリズムに基づいて処理して、上記画像から病態を判定するように構成された判定モジュール(130)と、を備える。
【0130】
E2.取得モジュール(110)は、病変特性として、上記医用画像内の複数の病変位置のそれぞれについて、病変の種類、病変面積、病変体積、病変形状の複雑度、病変強度、及び病変の色の少なくとも1つを取得するようにさらに構成される、E1に記載の装置(100)。
【0131】
E3.分類モジュール(120)は、同じ病変特性を有する複数の病変位置に関してクラスタリングアルゴリズムを適用するようにさらに構成される、E2に記載の装置(100)。
【0132】
E4.上記複数の病変位置の各位置は、二次元画像ベースの座標系又は撮像対象の前記被験者の部位に適合された座標系において定義される、E1からE3のいずれかに記載の装置(100)。
【0133】
E5.上記クラスタリングアルゴリズムは、入力として、クラスターの数の標示を必要としない、E1からE4のいずれかに記載の装置(100)。
【0134】
E6.上記クラスタリングアルゴリズムは、密度準拠アルゴリズム、及び上記複数の病変位置のバンドパスフィルタマップに閾値を適用すること少なくとも1つを含む、E1からE5のいずれかに記載の装置(100)。
【0135】
E7.上記病変クラスターデータは、少なくとも1つの病変クラスターに対応する少なくとも1つのクラスター特性を含み、上記少なくとも1つのクラスター特性は、上記医用画像内の複数の病変位置のそれぞれの位置に対応する病変の種類が取得される場合、病変クラスター内の病変のモード型、医用画像内の複数の病変位置のそれぞれに対する病変面積又は病変体積が取得される場合、病変クラスター内の病変の病変面積の平均値又は中央値、あるいは病変体積の平均値又は中央値、医用画像内の複数の病変位置のそれぞれに対応する病変形状の複雑度が取得される場合、病変クラスター内の病変の病変形状の複雑度の平均値又は中央値、医用画像内の複数の病変位置のそれぞれに対する病変強度又は病変の色が取得される場合、病変クラスター内の病変強度の平均値又は中央値あるいは病変の色の平均値又は中央値、病変クラスターの病変の平均位置、病変クラスターの病変位置の中央値、病変クラスターの病変位置の標準偏差、病変クラスターの病変位置の分散、病変クラスターの共分散値、病変クラスターの歪度値、病変クラスターの共歪度値、病変クラスターの尖度値、病変クラスターの共尖度値、病変クラスター形状の複雑度、病変クラスター面積、のうちの1つ以上を含む、E1からE6のいずれかに記載の装置(100)。
【0136】
E8.分類モジュール(120)は、少なくとも1つの病変クラスターのそれぞれを、病変クラスターデータに基づいて、所定のカテゴリセットの1つに分類することを、グリッドを使用して医用画像内にフィールドを定義し、少なくとも1つの病変クラスターのそれぞれを、少なくとも1つの病変クラスターの重心、病変の平均位置、又は少なくとも1つの病変クラスターの病変位置の中央値が存在する領域に応じて分類することと、医用画像内の複数の病変位置のそれぞれについて病変の種類が取得され、少なくとも1つの病変クラスターのそれぞれの病変クラスターデータが、病変クラスター内の病変のモード型を含む場合、少なくとも1つの病変クラスターのそれぞれを、病変クラスター内の病変のモード型に応じて分類することと、少なくとも1つの病変クラスターのそれぞれの病変クラスターデータが、病変クラスターの病変位置の平均値、中央値、標準偏差、及び分散の少なくとも1つを含む場合、少なくとも1つの病変クラスターのそれぞれを、病変クラスターの病変位置の平均値、中央値、標準偏差及び分散の少なくとも1つに基づいて分類することと、少なくとも1つの病変クラスターのそれぞれの病変クラスターデータが、病変クラスターの共分散値、病変クラスターの歪度値、病変クラスターの共歪度値、病変クラスターの尖度値、病変クラスターの共尖度値の少なくとも1つを含む場合、少なくとも1つの病変クラスターのそれぞれを病変クラスターの形状に応じて分類することと、少なくとも1つの病変クラスターのそれぞれの病変クラスターデータが、病変クラスターの形状の複雑度又は病変クラスター面積を含む場合、少なくとも1つの病変クラスターのそれぞれを、病変クラスターの形状の複雑度又は病変クラスターの面積に応じて分類することと、医用画像内の複数の病変位置のそれぞれについて、病変面積又は病変体積が取得され、少なくとも1つの病変クラスターのそれぞれの病変クラスターデータが、病変クラスターの病変面積の平均値又は中央値、あるいは病変体積の平均値又は病変体積の中央値を含む場合、少なくとも1つの病変クラスターのそれぞれを、病変クラスターの病変面積の平均値又は中央値、あるいは病変体積の平均値又は中央値に応じて分類することと、医用画像内の複数の病変位置のそれぞれについて病変形状の複雑度が取得され、少なくとも1つの病変クラスターのそれぞれの病変クラスターデータが、病変クラスター内の病変形状の複雑度の平均値又は中央値を含む場合、少なくとも1つの病変クラスターのそれぞれを、病変クラスター内の病変形状の複雑度の平均値又は中央値に応じて分類することと、医用画像内の複数の病変位置のそれぞれについて病変の色又は病変強度が取得され、少なくとも1つの病変クラスターのそれぞれの病変クラスターデータが、病変クラスター内の病変の色の平均値又は中央値、あるいは病変強度の平均値又は中央値を含む場合、少なくとも1つの病変クラスターのそれぞれを、病変クラスター内の病変における病変色の平均値又は中央値、あるいは病変強度の平均値又は中央値に応じて分類することと、のうちの1つ以上によって行うように構成された、E1からE7のいずれかに記載の装置(100)。
【0137】
E9.上記少なくとも1つの関数は、カウント関数、合計関数、平均関数、標準偏差関数、最大値関数、最小値関数、のうちの少なくとも1つを含む、E1からE8のいずれかに記載の装置(100)。
【0138】
E10.上記分類アルゴリズムは、教師付き学習アルゴリズムである、E1からE9のいずれかに記載の装置(100)。
【0139】
E11.上記判定された病態は、撮像対象の被験者の部位における疾患の有無、撮像対象の被験者の部位における疾患の重症度、撮像対象の被験者の部位における疾患の進行速度、の内の1つ以上を示す、E1からE9のいずれかに記載の装置(100)。
【0140】
E12.上記医用画像は、眼用撮像システムを使用して撮影された眼球画像、X線撮像システム、コンピュータ断層撮影(CT)撮像システム、又は低線量CT(LDCT)撮像システムを使用して撮影された肺の画像、磁気共鳴画像(MRI)撮像システムを使用して撮影された脳の画像、カメラを使用して撮影された皮膚の画像、の内のいずれかである、E1からE11のいずれかに記載の装置(100)。
【0141】
E13.取得モジュール(110)は、医用画像の医用画像データを受信し、医用画像内の複数の病変のそれぞれの位置を判定するために医用画像データを処理すること、によって医用画像における少なくとも1つの病変の位置を取得するようにさらに構成された、E1からE12のいずれかに記載の装置(100)。
【0142】
E14.コンピュータによって実行されると、コンピュータに、医用画像における複数の病変位置を取得し(S10)、複数の病変位置にクラスタリングアルゴリズムを適用して、少なくとも1つの病変クラスターと、対応する病変クラスターデータとを特定し(S12)、少なくとも1つの病変クラスターのそれぞれを、特定された病変クラスターデータに基づいて、所定のカテゴリセットの1つに分類し(S14)、所定のカテゴリセットの各カテゴリに関して、固定された数のデータを出力する少なくとも1つの関数を病変クラスターデータに適用し(S16)と、所定のカテゴリセットにおける各カテゴリに関して、固定された数のデータ出力を、複数の被験者の部位の医用画像を示す画像データにより訓練された分類アルゴリズムに基づいて処理して、上記医用画像から病態を判定すること(S18)、を含む方法を実行させるコンピュータプログラム。
【0143】
E15.E14に記載のコンピュータプログラムを記憶する非一時的なコンピュータ可読記憶媒体。
【0144】
E16.E15に記載のコンピュータプログラムを搬送する信号。
【0145】
本明細書で説明する例示的態様は、入力として固定されたデータ配列を必要とする人工ニューラルネットワーク、線形モデル、サポートベクターマシン、k最近傍分類器などの従来のコンピュータ化及び自動化された分類器に関連する、特にコンピュータ技術に根ざした制約を回避するものである。本明細書で説明される例示的な態様によると、例えば、病変の統計量に基づいて疾患状態又は病態を予測/検出するための自動分類器(例えば、1つ又は複数の機械学習アルゴリズムに基づくなど)の訓練が、可変(固定ではない)の数のデータの場合、固定された数のデータの場合、さらに自動分類器が固定された入力データ配列を必要とする場合でも実行可能である。さらに、本明細書の例示的な態様は、例えば病変の空間分布に関する有用な情報の望ましくない省略を最小限にしながら、可変の数のデータの要約を提供可能にする。本明細書に記載の例示的な態様の機能は、コンピュータ技術に根ざしており、本明細書に記載の例示的な態様は、(例えば、固定及び非固定データ配列のいずれか又は両方を入力として処理できることにより)コンピュータ処理を改善する。また、人体の病変分布のパラメータに基づいて臨床プロトコルを改善することに加えて、医用画像及び医療機器の分野を改善し、医用画像に示される病状レベル又は状態の判定の改善を促進する。
【0146】
上記の説明においては、例示的態様をいくつかの例示的実施形態を参照して説明した。したがって明細書は、限定ではなく、例示と見なされるべきである。同様に、例示的実施形態の機能及び利点を強調する、図面に示す図は、例示のみを目的として提示されている。例示的実施形態の構造は、十分に柔軟かつ構成可能であって、添付図に示すもの以外の方法で利用(及び操作)可能である。
【0147】
本明細書に提示した実施例のソフトウェア実施形態は、命令又は命令のシーケンスを有する1以上のプログラムなどのコンピュータプログラム又はソフトウェアとして提供可能である。これらは一実施形態においては、機械でアクセス可能若しくは機械で可読媒体、命令記憶部又はコンピュータ可読記憶装置などの製品に含まれるか格納され、このそれぞれは非一時的であってよい。非一時的な機械アクセス可能媒体、機械可読媒体、命令記憶部、又はコンピュータ可読記憶装置上のプログラム又は命令は、コンピュータシステム又は他の電子デバイスをプログラムするのに使用可能である。機械又はコンピュータ可読媒体、命令記憶部、及び記憶装置には、これに限らないが、フロッピディスク(登録商標)、光ディスク、及び光磁気ディスク、あるいは、電子的命令を格納若しくは送信するのに適した他の種類の媒体/機械可読媒体/命令記憶部/記憶装置が含まれ得る。本明細書に記載の技術は、いかなる特定のソフトウェア構成にも限定されない。これらは任意のコンピューティング環境又は処理環境への適用性を見出し得る。本明細書に使用されている「コンピュータ可読」、「機械アクセス可能媒体」、「機械可読媒体」、「命令記憶部」及び「コンピュータ可読記憶装置」という用語は、機械、コンピュータ又はコンピュータプロセッサによって実行するために命令又は命令シーケンスを格納、コード化又は送信することが可能で、かつ本明細書に記載の任意の方法を、機械/コンピュータ/コンピュータプロセッサに実行させる、任意の媒体を含むものとする。さらに、当分野においては、ソフトウェアは、ある形態又は別の形態であっても(例えばプログラム、手順、プロセス、アプリケーション、モジュール、ユニット、ロジックなど)、動作を起こし、あるいは結果をもたらすものを指すのが一般的である。そのような表現は、処理システムによるソフトウェアの実行が、プロセッサに行動を実行させて結果をもたらすことを単に簡潔に述べたに過ぎない。
【0148】
いくつかの実施形態は、特定用途向け集積回路、及びFPGA(field-programmable gate array)を用意することによって、又は従来のコンポーネント回路の適切なネットワークを相互接続することによっても、実装することができる。
【0149】
いくつかの実施形態にはコンピュータプログラム製品が含まれる。コンピュータプログラム製品は、命令が格納された記憶媒体、命令記憶部又は記憶装置であってよい。当該命令を使用して、コンピュータ又はコンピュータプロセッサが本明細書に記載の例示的実施形態の任意の手順を実行することを制御するか、又は実行させることができる。記憶媒体/命令記憶部/記憶装置には、これに限るものではないが一例として、光ディスク、ROM(Read Only Memory)、RAM、EPROM、EEPROM、DRAM(Dynamic Random Access Memory)、VRAM(Video RAM)、フラッシュメモリ、フラッシュカード、磁気カード、光カード、ナノシステム、分子記憶集積回路、RAID(Redundant Arrays of Inexpensive Disks)、リモートデータストレージ/アーカイブ/ウェアハウジング、及び、命令及び/又はデータの格納に好適な他の任意の種類のデバイスの少なくとも一つが含まれ得る。
【0150】
いくつかの実装には、システムのハードウェアを制御し、システム又はマイクロプロセッサに利用者又は本明細書に記載の例示的実施形態の結果を利用する他の機構との相互作用を可能とする、コンピュータ可読媒体、命令記憶部、又は記憶装置のいずれかに格納されたソフトウェアが含まれる。そのようなソフトウェアには、これに限らないが、デバイスドライバ、オペレーティングシステム、及びユーザアプリケーションが含まれ得る。究極的には、そのようなコンピュータ可読媒体又は記憶装置には、上で説明したような本発明の例示的態様を実行するためのソフトウェアがさらに含まれる。
【0151】
プログラミング及びシステムのソフトウェアの少なくとも一方には、本明細書に記載の手順を実行するためのソフトウェアモジュールが含まれる。本明細書のいくつかの実施例において、モジュールにはソフトウェアが含まれるが、本明細書の他の例示的実施形態ではモジュールにはハードウェア、又はハードウェアとソフトウェアの組み合わせが含まれる。
【0152】
以上、本発明の様々な例示的実施形態を述べたが、これらは例示のために提示したものであり、限定するためのものではないことを理解されたい。形式及び詳細において様々な変更をなし得ることは当業者には明らかであろう。したがって本発明は、上記のいかなる例示的実施形態によっても限定されるものではなく、以下に述べる特許請求の範囲及びその均等物によってのみ規定されるべきである。
【0153】
さらに要約は、特許庁及び一般人、特に特許又は法律用語又は当分野の用語に精通していない科学者、技術者及び実務者が、大まかな調査で本出願の技術的開示の本質及び要点を迅速に判定できるようにすることを目的とするものである。要約は、いずれにしても本明細書に提示する例示的実施形態の範囲に関して限定的であることを意図するものではない。また、特許請求の範囲に説明される手順は、必ずしも提示された順番で遂行されることを必要としないことも理解されたい。
【0154】
本明細書は多くの特定の実施形態の詳細を含むが、これらは、発明の範囲又は特許請求の範囲に対する限定として解釈されるべきではなく、本明細書に記載される特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態の文脈で本明細書に記載されている特定の特徴は、単一の実施形態に組み合わせて実現することもできる。逆に、単一の実施形態の文脈で説明される様々な特徴は、複数の実施形態で別々に、又は任意の適切なサブコンビネーションで実現することもできる。さらに、機能は特定の組み合わせで動作するものとして上述され、当初そのようにクレームされたとしても、クレームされた組み合わせからの1つ以上の機能が場合によってはその組み合わせから削除されてもよく、クレームされた組み合わせはサブコンビネーション又はサブコンビネーションの変形であってもよい。
【0155】
特定の状況では、マルチタスク及び並列処理が有利となり得る。さらに、上記の実施形態における様々な構成要素の分離は、全ての実施形態においてそのような分離を必要とすると理解されるべきではなく、説明されたプログラムコンポーネント及びシステムは、一般に単一のソフトウェア製品に統合されるか、又は複数のソフトウェア製品にパッケージ化され得ることが理解されるべきである。
【0156】
以上、いくつかの例示的な実施形態及び実施形態を説明したが、前述の記載は例示的であり、限定的ではなく、例として提示されたことは明らかである。特に、本明細書に提示される例の多くは、装置又はソフトウェア要素の特定の組み合わせを伴うが、それらの要素は、同じ目的を達成するために他の方法で組み合わされてもよい。1つの実施形態に関連してのみ記載された動作、要素及び特徴は、他の実施形態又は実施形態にて同様の役割となることが除外されることを意図していない。
【0157】
本明細書で説明される装置及びコンピュータプログラムは、その特性から逸脱することなく、他の特定の形態で実施され得る。前述の実施形態は、説明されたシステム及び方法を限定的ではなく、例示である。したがって、本明細書で説明する装置及びコンピュータプログラムの範囲は、前述の説明ではなく、添付の特許請求の範囲によって示され、特許請求の範囲の意味及び均等物の範囲内の変更を含む。
図1
図2
図3
図4
図5(a)】
図5(b)】
図6(a)】
図6(b)】
図7
図8
図9
図10
図11