知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-06
(45)【発行日】2024-09-17
(54)【発明の名称】データ拡張
(51)【国際特許分類】
A61B 5/00 20060101AFI20240909BHJP
G06N 20/00 20190101ALI20240909BHJP
G16H 30/40 20180101ALI20240909BHJP
G06T 17/10 20060101ALI20240909BHJP
【ＦＩ】
A61B5/00 G
G06N20/00
G16H30/40
G06T17/10
A61B5/00 D
【請求項の数】
10
(21)【出願番号】P 2021534901
(86)(22)【出願日】2019-12-16
(65)【公表番号】
(43)【公表日】2022-02-07
(86)【国際出願番号】 EP2019085274
(87)【国際公開番号】W WO2020126993
(87)【国際公開日】2020-06-25
【審査請求日】2022-11-01
(31)【優先権主張番号】18214457.6
(32)【優先日】2018-12-20
(33)【優先権主張国・地域又は機関】EP
【前置審査】
(73)【特許権者】
【識別番号】522454806
【氏名又は名称】レイサーチ ラボラトリーズ エービー
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(72)【発明者】
【氏名】ウェイストランド，オラ
【審査官】後藤 昌夫
(56)【参考文献】
【文献】米国特許第０９０７６２０１（ＵＳ，Ｂ１）
【文献】WHITMARSH Tristan et al.，“Reconstructing the 3D Shape and Bone Mineral Density Distribution of the Proximal Femur From Dual-Energy X-Ray Absorptiometry”，IEEE Transactions on medical imaging，2011年12月31日，Vol. 30、No. 12，pp. 2101-2114
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／００－５／３９８
(57)【特許請求の範囲】
【請求項1】
体の部分のボリュームを表すデータを含む出力ボリュームデータセットを生成するための方法であって、前記方法は、体の部分の少なくとも１つの表面を表すデータを含む入力データセットに基づく点分布モデル「ＰＤＭ」を生成するステップであって、前記ＰＤＭは平均データセット及び１つ以上の重み・固有ベクトルペアに基づく表面モデルデータセットを定義し、前記平均データセットは、前記入力データセットの算術平均である、ステップと、
前記１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することにより、前記ＰＤＭに基づく第１の表面モデルデータセットを生成するステップであって、前記第１の表面モデルデータセットが第１の参照データセットに対応するように前記１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することを含み、前記第１の表面モデルデータセットは前記平均データセットとは異なり、前記第１の参照データセットは、前記入力データセットの体の部分に対応する体の部分のボリュームを表すデータを含む、ステップと、
前記１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することにより、前記第１の表面モデルデータセットとは異なる第２の表面モデルデータセットを提供し、前記第１及び第２の表面モデルデータセット間のマッピングを決定するステップと、
第２の参照データセットへ前記マッピングを適用して前記出力ボリュームデータセットを生成するステップであって、前記第２の参照データセットは、前記入力データセットの体の部分に対応する体の部分のボリュームを表すデータを含み、前記出力ボリュームデータセットは、前記入力データセットの体の部分に対応する体の部分の変形されたボリュームを表すデータを含む、ステップと、
を含む、方法。
【請求項2】
前記入力データセットは、少なくとも１つの実際の体から導出され、且つ／又は各体の同じ部分をそれぞれ表す複数のデータセットを含む、請求項１に記載の方法。
【請求項3】
前記第１の参照データセットは、実際の体から導出される、請求項１に記載の方法。
【請求項4】
前記マッピングを決定するステップは、前記第１及び第２の表面モデルデータセットに基づく変形可能画像登録アルゴリズムを使用することを含み、前記変形可能画像登録アルゴリズムは、正のヤコビアンのみを生成する、請求項１乃至３のいずれか一項に記載の方法。
【請求項5】
前記１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することは、前記入力データセットの標準偏差に基づいて定義された間隔内で前記重みを変更することを含む、請求項１乃至４のいずれか一項に記載の方法。
【請求項6】
前記１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することは、前記重みをランダムに変更すること、又は最初の重みから増分的に前記重みを変更することを含む、請求項１乃至５のいずれか一項に記載の方法。
【請求項7】
前記１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することは、前記１つ以上の重み・固有ベクトルペアのすべての重みを変更することを含む、請求項１乃至６のいずれか一項に記載の方法。
【請求項8】
前記第２の参照データセットは実際の体から導出される、請求項１乃至７のいずれか一項に記載の方法。
【請求項9】
人工知能システムの深層学習プロセスのためのトレーニングセットの一部として前記出力ボリュームデータセットを使用するステップをさらに含む、請求項１乃至８のいずれか一項に記載の方法。
【請求項10】
プロセッサ上で走らされるときに、前記プロセッサに請求項１乃至９のいずれか一項に記載の方法を実行させる命令を備えるコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、データ拡張に関する。特に、本開示は、身体部分を表すデータセットの生成に関する。
【背景技術】
【0002】
身体部分の計算モデルがいくつかのシナリオで用いられる。例えば、医学トレーニングでは、臓器の計算モデルは、様々な医学的現象を研究するのに有用である。例えば、最近の応用例では、人工知能（ＡＩ）システムは、患者からのスキャンでこのような現象を識別するために用いることができる。これを行うために、システムは、様々な現象を正確に識別できるように、様々な現象がどのように見えるかを学習しなければならない。多くの場合、これは、ＡＩシステムにいくつかのトレーニングデータセットを入力することによって達成される。トレーニングデータセットは、この分野の専門家によって既に研究されている実際の患者を表すモデルである。これにより、ＡＩシステムは、データセット内で何を見つけるべきかを知ることができ、したがって、他の入力データセットに存在する関心ある特徴の識別を学習することができる。これは機械学習として知られている。
【0003】
計算システムを可能な限り徹底的且つ堅牢にトレーニングするために、大きいトレーニングデータセットが必要とされる。しかしながら、利用できる実際の患者モデルの数は限られており、その数は、普通は、ＡＩシステムを堅牢にトレーニングするには不十分である。したがって、多くの場合、例の数を増やしてトレーニング済みモデルの安定性を高めるために、機械学習アプリケーションのトレーニングデータセットの数を増やすことになる。一般に、これは、既存のデータセットを変更して新しい異なるデータセットを生成することによって達成される。この変更は、既存のデータセットを回転、スケーリング、変換、及び／又は変形することによって行われる。変形が適用される場合、既存のモデルは、ランダムな非体系的な様態で変形される。
【0004】
このような手法をとると、生成されたデータセットが現実的ではなくなる可能性があるため、いくつかの問題が生じる。現実には、異なる患者の身体部分は、他の患者の身体部分の単純な置き換わりではない。ランダムな変形は、実際の患者間の違いを正確に伝達しない。このような非現実的なデータセットは、ＡＩシステムの誤ったトレーニングにつながることがあり、その後、他の入力データセットに存在する関心ある特徴を識別するときのこれらのシステムのパフォーマンスが低下する可能性がある。
【0005】
したがって、本開示の目的は、身体部分を表すより現実的なデータセットを構築することである。
【発明の概要】
【0006】
本開示の一態様によれば、体の部分のボリュームを表すデータを生成するための方法が提供されており、その方法は、体の部分の少なくとも１つの表面を表すデータを含む入力データセットに基づく点分布モデル「ＰＤＭ」を生成することであって、ＰＤＭは平均データセット及び１つ以上の重み・固有ベクトルペアに基づく表面モデルデータセットを定義することと、１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することにより、ＰＤＭに基づく第１の表面モデルデータセットを生成することであって、第１の表面モデルデータセットは平均データセットとは異なることと、第１の表面モデルデータセット及び第１の参照データセットに基づく出力ボリュームデータセットを生成することであって、第１の参照データセットは、対応する体の部分のボリュームを表すデータを含み、出力ボリュームデータセットは、対応する体の部分の変形されたボリュームを表すデータを含むことと、を含む。
【0007】
随意的に、体の部分は少なくとも１つの臓器を含む。随意的に、体は人体である。随意的に、入力データセットは、少なくとも１つの実際の体から導出される。随意的に、入力データセットは、それぞれ各体の同じ部分を表す、複数のデータセットを含む。
【0008】
随意的に、第１の表面モデルデータセットを生成することは、第１の表面モデルデータセットが第２の参照データセットに概して対応するように１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することを含み、方法はさらに、第１の表面モデルデータセットとは異なる第２の表面モデルデータセットを提供するべく１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することと、第１及び第２の表面モデルデータセット間のマッピングを決定することを含む。
【0009】
随意的に、第２の参照データセットは、対応する体の部分を表し、実際の体から導出される。随意的に、マッピングを決定することは、第１及び第２の表面モデルデータセットに基づく変形可能画像登録アルゴリズムを使用することを含む。随意的に、変形可能画像登録アルゴリズムは、正のヤコビアンのみを生成する。随意的に、出力ボリュームデータセットを生成することは、第１の参照データセットへのマッピングを適用することを含む。
【0010】
随意的に、ＰＤＭを生成することは、主成分分析を用いることを含む。随意的に、平均データセットは、入力データセットの算術平均である。随意的に、１つ以上の重み・固有ベクトルペアは、複数の重み・固有ベクトルペアを含む。随意的に、複数の重み・固有ベクトルペアは、固有ベクトルの線形結合を含む。随意的に、ＰＤＭは、次式によって定義され、
ｘｍ＝ｘａ＋α０ｅ０＋α１ｅ１＋α２ｅ２＋．．．＋αｎｅｎ
式中、ｘｍは、表面モデルデータセットであり、ｘａは、平均データセットであり、αｘは、ｘ番目の重み・固有ベクトルペアの重みであり、ｅｘは、ｘ番目の重み・固有ベクトルペアの固有ベクトルであり、ｎは、重み・固有ベクトルペアの数である。
ｘｍ＝ｘａ＋α０ｅ０＋α１ｅ１＋α２ｅ２＋．．．＋αｎｅｎ
式中、ｘｍは、表面モデルデータセットであり、ｘａは、平均データセットであり、αｘは、ｘ番目の重み・固有ベクトルペアの重みであり、ｅｘは、ｘ番目の重み・固有ベクトルペアの固有ベクトルであり、ｎは、重み・固有ベクトルペアの数である。
【0011】
随意的に、１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することは、入力データセットの標準偏差に基づいて定義された間隔内で重みを変更することを含む。随意的に、１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することは、重みをランダムに変更することを含む。随意的に、１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することは、最初の重みから増分的に重みを変更することを含む。随意的に、１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することは、１つ以上の重み・固有ベクトルペアのすべての重みを変更することを含む。
【0012】
随意的に、第１の参照データセットは、対応する体の部分を表し、実際の体から導出される。随意的に、方法は、人工知能システムの深層学習プロセスのためのトレーニングセットの一部として出力ボリュームデータセットを使用することをさらに含む。
【0013】
別の態様によれば、体の部分のボリュームを表すデータを生成するための方法が提供されており、その方法は、体の部分の少なくとも１つのボリュームを表すデータを含む入力データセットに基づく点分布モデル「ＰＤＭ」を生成することであって、ＰＤＭは、平均データセット及び１つ以上の重み・固有ベクトルペアに基づく出力ボリュームデータセットを定義することと、１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することにより、ＰＤＭに基づく出力ボリュームデータセットを生成することであって、出力ボリュームデータセットは平均データセットとは異なることと、を含む。
【0014】
随意的に、体の部分は少なくとも１つの臓器を含む。随意的に、体は人体である。随意的に、入力データセットは、少なくとも１つの実際の体から導出される。随意的に、入力データセットは、それぞれ各体の同じ部分を表す、複数のデータセットを含む。
【0015】
随意的に、ＰＤＭを生成することは、主成分分析を用いることを含む。随意的に、平均データセットは、入力データセットの算術平均である。随意的に、１つ以上の重み・固有ベクトルペアは、複数の重み・固有ベクトルペアを含む。随意的に、複数の重み・固有ベクトルペアは、固有ベクトルの線形結合を含む。随意的に、ＰＤＭは、次式によって定義され、
ｘｍ＝ｘａ＋α０ｅ０＋α１ｅ１＋α２ｅ２＋．．．＋αｎｅｎ
式中、ｘｍは、出力ボリュームデータセットであり、ｘａは、平均データセットであり、αｘは、ｘ番目の重み・固有ベクトルペアの重みであり、ｅｘは、ｘ番目の重み・固有ベクトルペアの固有ベクトルであり、ｎは、重み・固有ベクトルペアの数である。
ｘｍ＝ｘａ＋α０ｅ０＋α１ｅ１＋α２ｅ２＋．．．＋αｎｅｎ
式中、ｘｍは、出力ボリュームデータセットであり、ｘａは、平均データセットであり、αｘは、ｘ番目の重み・固有ベクトルペアの重みであり、ｅｘは、ｘ番目の重み・固有ベクトルペアの固有ベクトルであり、ｎは、重み・固有ベクトルペアの数である。
【0016】
随意的に、１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することは、入力データセットの標準偏差によって定義された間隔内で重みを変更することを含む。随意的に、１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することは、重みをランダムに変更することを含む。随意的に、１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することは、最初の重みから増分的に重みを変更することを含む。随意的に、１つ以上の重み・固有ベクトルペアの少なくとも１つの重みを変更することは、１つ以上の重み・固有ベクトルペアのすべての重みを変更することを含む。
【0017】
随意的に、方法は、人工知能システムの深層学習プロセスのためのトレーニングセットの一部として出力ボリュームデータセットを使用することをさらに含む。
【0018】
別の態様によれば、プロセッサ上で走らされるときに、プロセッサに方法を実行させる命令を備えるコンピュータ可読媒体が提供される。
【0019】
本開示の例示的な実施形態を、ここで図面を参照して説明する。
【図面の簡単な説明】
【0020】
【図1】関心領域の計算モデルのビューを示す図である。
【図2】本開示に係る体の部分のボリュームを表すデータを生成するための方法を示す図である。
【図3】本開示に係る体の部分のボリュームを表す別のデータを生成するための方法を示す図である。
【図4】コンピューティング環境の概略図である。
【発明を実施するための形態】
【0021】
説明及び図面の全体を通して、同様の参照番号は同様の部分を表す。
【0022】
図１は、関心領域（ＲＯＩ）１００の計算モデルのビューを示す。この場合、ＲＯＩは、人体のものであり、いくつかの臓器を含む。見てわかるように、ＲＯＩ１００は、２つの肺１０２、１０４と、心臓１０６を含む。他の実施形態では、ＲＯＩは、動物の体であり得る。さらに他の実施形態では、ＲＯＩは、異なる数の臓器、例えば単一の臓器、２つの臓器、又は４つ以上の臓器を含み得る。
【0023】
計算モデルは、患者のスキャンから導出され得る。例えば、患者のＲＯＩ１００を取り込むために、コンピュータ断層撮影（ＣＴ）スキャン、磁気共鳴画像（ＭＲＩ）スキャン、又は当該技術分野では公知の他のタイプのスキャンを用いることもできる。次いで、ＲＯＩの異なる特徴を画定するためにスキャンがセグメント化される。例えば、セグメント化プロセスは、第１の肺１０２、第２の肺１０４、及び心臓１０６を画定することができる。セグメント化プロセスはまた、個々の臓器の内部の特徴を識別することができる。結果として得られる計算モデルは、３次元のＲＯＩ１００のジオメトリを表すデータ、例えば、臓器１０２～１０６の表面及びボリューム座標を含み得る。
【0024】
計算モデルは、例えば、患者のＲＯＩの物理的特徴の識別のために、ＡＩシステムの機械学習プロセスのトレーニングデータセットに用いられ得るデータセットの例である。このようなトレーニングデータセットは、ＡＩシステムが可能な限り多くの異なる特徴を取得できるように、したがって、将来の入力データセットでこのような特徴を正確に識別できるように、可能な限り多くの異なるモデルを含むべきである。しかしながら、様々な理由で、任意の所与のＲＯＩに関する患者由来モデルは、比較的少数しか存在しない。
【0025】
本開示は、ＲＯＩの現実的なジオメトリを生成しない現在知られている人工的なジオメトリではなく、既存のデータセットとは異なる、（人間のような）現実的でもある、ＲＯＩを表すデータを生成する方法を提示する。
【0026】
方法は、入力データセットに基づいて特定のＲＯＩの点分布モデル（ＰＤＭ）を生成することを含む。点分布モデルは、形状の平均ジオメトリと、入力された形状のセットから推測される幾何学的変化のいくつかの統計モードを表す。入力データセットは、それぞれＰＤＭが生成されるＲＯＩを表す複数のデータセットを含む。いくつかの実施形態では、入力データセットにおける各データセットは、前述のように患者のスキャンから導出され得る。他の実施形態では、入力データセットにおける各データセットは、人為的に導出され得る。さらに他の実施形態では、入力データセットは、実際の患者スキャンから導出されたデータセットと人為的に導出されたデータセットの組み合わせを含み得る。
【0027】
入力データセットにおける各データセットは、元の形状のジオメトリが十分に表現されるように、複数のデータポイントを含む。ｍ個のデータポイントを含むデータセットｘは、２次元ではｘ＝（ｘ１，ｙ１，．．．，ｘｍ，ｙｍ）と記述することができ、３次元ではｘ＝（ｘ１，ｙ１，ｚ１，．．．，ｘｍ，ｙｍ，ｚｍ）と記述することができる。各データポイントは、入力データセットにおけるすべてのデータセットにわたってＲＯＩでの同じ場所を表すことが有利であり、例えば、各データセットにおける第１のデータポイントは、第１の肺１０２の同じ部分を表す。いくつかの実施形態では、入力データセットは、３次元でジオメトリを記述するデータポイントのセットを含む。いくつかの実施形態では、これは、３次元でＲＯＩを表す表面データ、例えば、ＲＯＩ１００の肺１０２、１０４及び心臓１０６の表面を表すデータポイントであり得る。いくつかの実施形態では、データセットは、３次元でＲＯＩを表すボリュームデータ、例えば、ＲＯＩ１００の臓器１０２～１０６のボリュームを表すデータポイントであり得る。表面データだけを使用すると、方法のストレージ要件及び処理要件が軽減され、したがってＰＤＭがより効率的に生成される。ボリュームデータを使用すると、ＲＯＩのより徹底的且つ正確なモデル化、したがって、より徹底的且つ正確なＰＤＭが提供される。
【0028】
主成分分析（ＰＣＡ）を使用して、入力データセット全体の共分散行列の正規化された固有ベクトル及び固有値を計算することができ、この場合、各固有ベクトルは、セットに沿った主要な変動モードを記述する。最後に、固有ベクトルの線形結合を使用して、次式で定義される新しい形状／モデルデータセットｘｍを定義する：
ｘｍ＝ｘａ＋α０ｅ０＋α１ｅ１＋α２ｅ２＋．．．＋αｎｅｎ
式中、ｘｍは、モデルデータセットであり、ｘａは、入力データセット全体の平均形状であり、ｅｘは、ｘ番目の変動モードを記述する固有ベクトルであり、αｘは、ｘ番目の固有ベクトルのスケーリング値又は重みであり、ｎ＋１は、変動モードの数である。
ｘｍ＝ｘａ＋α０ｅ０＋α１ｅ１＋α２ｅ２＋．．．＋αｎｅｎ
式中、ｘｍは、モデルデータセットであり、ｘａは、入力データセット全体の平均形状であり、ｅｘは、ｘ番目の変動モードを記述する固有ベクトルであり、αｘは、ｘ番目の固有ベクトルのスケーリング値又は重みであり、ｎ＋１は、変動モードの数である。
【0029】
いくつかの実施形態では、平均は、算術平均である。いくつかの実施形態では、変動モードが１つだけ存在する（すなわち、ｎ＝０）。他の実施形態では、複数の変動モードが存在する（すなわち、ｎ＞０）。この場合、ｅ０は、最も一般的な変動を表し、後続の固有ベクトルは、最も一般的でない変動を表すｅｎまで、より一般的でない変動を順次に表す。
【0030】
すべての重みαｎがゼロに設定される場合、生成されたモデルデータセットｘｍは、平均データセットｘａと同じである。α０の値をαｎに変更することにより、それぞれ異なる形状を表す、無限の数のモデルデータセットを生成することができる。ＰＤＭは、実際のジオメトリを含む入力データセットに基づいているので、取り込まれる変動は現実的であり、ゆえに、モデルデータセットも現実的である。
【0031】
重みのいずれかをゼロから変更すると、平均データセットとは異なるモデルデータセットｘｍが生成される。いくつかの実施形態では、単一の重みが変更される。他の実施形態では、複数の重みのサブセットが変更される。さらに他の実施形態では、すべての重みα０～αｎが変更される。重みは、非現実的な大きい変形が生成されないような間隔内で変更され得る。間隔は、表面の平均周辺の入力データセットの標準偏差に基づいて定義され得る。例えば、αの各値は、±３標準偏差に制限され得る。所与の主成分の標準偏差は、その対応する固有値の平方根として定義され得る。いくつかの実施形態では、各重みは、ランダムな様態で変更される。他の実施形態では、各重みは、体系的に変更される。例えば、各重みは、最初の重みから増分的に変更される。例えば、α２の最初の値を０．３４とすると、モデルデータセットが第１の表面モデルデータセットから開始して連続的に変化するように、α２の値は増分的に、例えば０．３５、０．３６などに変更することができる。このような変更はまた、呼吸サイクルなどの動的現象をモデル化するときに有用であり得る。
【0032】
ＰＤＭに重みの様々な変更を実装することにより、様々なモデルデータセットを生成することができる。前述のように、ＰＤＭは、実際のジオメトリを含む入力データセットに基づいているので、取り込まれる変動は現実的であり、ゆえに、モデルデータセットも現実的である。ＲＯＩがＲＯＩ１００などのいくつかの臓器を含む実施形態では、説明した方法は、モデルデータセットにおいて臓器が互いに変形することを可能にするので、臓器のうちの１つが他の臓器に対して非現実的に変形されない（例えば、実際には稀であるサイズの異なる２つの肺を生成することはない）。ジオメトリ生成の公知の方法ではこれを保証することはできない。
【0033】
入力データセットがボリュームデータを含む実施形態では、ＰＤＭから生成されたモデルデータセットｘｍは、ＰＤＭの平均ボリュームの変形バージョンである。この場合、ＰＤＭから生成された各モデルデータセットｘｍは、ＡＩシステムの機械学習プロセスのためのトレーニングデータセットに用いることができる。機械学習プロセスは深層学習プロセスであり得る。ＡＩシステムは画像セグメント化アルゴリズムであり得る。トレーニングデータセットを増やすことにより、機械学習プロセスがより徹底的且つ堅牢になり、ＡＩシステムがより正確になる。このようにして、ＡＩシステムのパフォーマンスが向上する。画像セグメント化アルゴリズムの例では、アルゴリズムは、アルゴリズムに入力されたＲＯＩの画像をより正確にセグメント化することが可能であり得る。他の実装では、ジオメトリは、患者の将来のジオメトリを予測することが望まれる適応シナリオに用いることもできる。例えば、所与の患者のＲＯＩは、異なる時点では異なって見えることがある。これは、例えば、呼吸サイクルの異なる段階で肺の形状及びサイズが異なることであり得る。別の例は、治療が効果的である場合又は副作用がある場合のいずれにおいても、ＲＯＩのジオメトリが治療の異なる段階で変化し得ることである。上で説明した手法は、所与の治療ステージ後の所望の結果に対応するジオメトリが生成されることを可能にし、これは、患者の実際のジオメトリと比較して治療の成功又はその他を示すことができる。本明細書に記載の方法は、現実的に変形されたデータが必要とされる任意の適用分野でのジオメトリの生成を可能にする。
【0034】
図２は、体の部分のボリュームを表すデータを生成するための方法２００を示す。前述のように、体の部分は、臓器１０２～１０６などの少なくとも１つの臓器を含むＲＯＩ１００などのＲＯＩであり得る。いくつかの実施形態では、体は人体である。
【0035】
ステップ２０２で、入力データセットに基づくＲＯＩのＰＤＭが生成される。入力データセットは、いくつかの実施形態では少なくとも１つの実際の体から、例えば患者から導出される、ＲＯＩのボリュームを表すデータを含む。入力データセットは、それぞれ異なる患者からの同じＲＯＩを表す、複数のデータセットを含むことができる。
【0036】
ＰＤＭは、平均データセット及び１つ以上の重み・固有ベクトルペアに基づく出力データセットを定義する。いくつかの実施形態では、ＰＤＭは、主成分分析を使用して生成され、入力データセットの算術平均と、固有ベクトルの線形結合を含む。
【0037】
ステップ２０４で、ＰＤＭに基づいて出力データセットが生成される。出力データセットは、出力データセットが平均データセットとは異なるように重み・固有ベクトルペアの少なくとも１つの重みを変更することによって生成される。いくつかの実施形態では、重みは、入力データセットの標準偏差によって定義される間隔内で変更される。重みは、ランダムに又は最初の重みから増分的に変更され得る。線形結合における１つの、いくつかの、又はすべての重みが、出力データセットを生成するために変更され得る。
【0038】
ステップ２０６で、出力データセットが、ＡＩシステムの機械学習のためのトレーニングセットの一部として用いられる。例えば、これは、画像セグメント化アルゴリズムの深層学習であり得る。トレーニングセットが可能な限り大きくなるように複数の出力データセットを生成することができ、これにより、ＡＩシステムが確実に堅牢にトレーニングされる。これにより、システムのパフォーマンスが向上する。
【0039】
いくつかの実施形態では、比較的低い計算コストでさらなるデータセットを生成するために、ＰＤＭから生成されたモデルデータセットを開発することができる。以下で説明するように、異なるボリュームデータセットを生成するために異なる段階で表面データのみを用いることができる。ボリュームデータではなく表面データを用いることにより、固有ベクトルの計算に関連した計算負荷が大いに低減される。ＰＤＭから生成された所与のモデルデータセットｘｍに関してこれを達成するために、モデルデータセットは、１つ以上の参照データセットと関連付けられる。
【0040】
いくつかの実施形態では、ＰＤＭは、前述の方法を使用して第１のモデルデータセットを生成するために用いられる。この場合、入力データセットは、ＲＯＩを表す表面データのみを含み、したがって、ＰＤＭから生成されたモデルデータセットは、新しいジオメトリのＲＯＩを表す表面データも含む。いくつかの実施形態では、上記の重みの変更は、第１のモデルデータセットが参照データセットにできる限り忠実に概して対応するように行われる。参照データセットは、実際の体から導出され、入力データセットとＰＤＭのＲＯＩに対応するＲＯＩを表す。いくつかの実施形態では、参照データセットは、対応するＲＯＩを表す表面データを含み、一方、他の実施形態では、参照データセットは、対応するＲＯＩを表すボリュームデータを含む。表面データを使用すると、参照ＲＯＩに一致するようにＰＤＭをより簡単に変更することができる。その理由は、モデルデータセット（三角形分割された表面）がボリュームデータ、例えばＣＴスキャンからの画像に対応するように適合されているときに、ＲＯＩの異なる部分間のエッジを表す異なるタイプの画像特徴を抽出する必要があるためである。これは、画像セグメント化と呼ばれ、ＲＯＩ又はＲＯＩの一部で境界がぼやけていると難しい場合がある。表面データを使用することにより、表面／ＲＯＩ／臓器は、専門家、例えば医師によって画像から既にセグメント化されており、ＰＤＭを既存の表面に適合させるのが遥かに容易になる。参照データセットへのより良好な対応を提供するために、ＰＤＭによって生成されたモデルデータセットの回転、並進、及びスケーリングも用いることができる。
【0041】
対応が必要なだけ正確であることを保証するために、類似度が適用され得る。いくつかの実施形態では、ダイス類似係数（ＤＳＣ）が用いられる。ＤＳＣは、幾何学的オブジェクト間の幾何学的類似を表す０から１までの数値である。所与の回数の反復後にＤＳＣが十分に高くない場合、適応は失敗したと考えられる。
【0042】
第１の表面モデルデータセットが生成されると、重みは、第１のモデルデータセットとは異なる第２の表面モデルデータセットを提供するようにさらに変更することができる。重みの変更は、上記の方法のいずれかで行うことができる。
【0043】
したがって、２つの表面モデルデータセットが生成される。次いで、第１及び第２の表面モデルデータセット間の幾何学的マッピングを決定することができる。マッピングは、第１の表面モデルデータセットを第２の表面モデルデータセットに変更するのに必要とされる変形を表す。いくつかの実施形態では、マッピングは、第１及び第２のモデルデータセットに基づく変形可能画像登録（ＤＩＲ）アルゴリズムを使用して決定される。ＤＩＲアルゴリズムは、３次元変形フィールド又はマッピングを生成する。この場合、生成されたマッピングは、第１の表面モデルデータセットを第２の表面モデルデータセット上にマッピングする。第１及び第２の表面モデルデータセットが同一であった場合、マッピングは効果がない。いくつかの実施形態では、変形可能画像登録アルゴリズムは、単射のマッピングをもたらすように構成される。つまり、異なるポイントを同じポイントにマップすることはない。正のヤコビアンのみを生成する関数はこれを保証する。このように、マッピングは、生成された表面に折り目を生成しない。ほとんどの場合に、ＤＩＲは、ピクセル／ボクセル値に基づいて画像間の測定誤差を最小にすることによって駆動される。これは、通常、２つの異なる画像スキャン、例えば、一対の吸気／呼気画像を使用して達成される。これらの２つの画像は異なるので、一方を他方に変形することができる。しかしながら、本明細書で開示される実施形態では、画像スキャンが１つだけが用いられ、変形を駆動するために２つの表面モデルが用いられる。次いで、表面間のマッピングの結果として画像スキャンを変形させることができる。
【0044】
マッピングが決定されると、出力データセットを生成することができる。これを行うために、参照データセットへのマッピングが適用される。この場合、参照データセットは、参照データセットにマッピングを適用する出力が当該ＲＯＩの変形されたボリュームを表すデータセットであるようにボリュームデータを含む。参照データセットは、第１のモデルデータセットを決定するために用いられるものと同じであり得る、又は異なる参照データセットであり得る。現実的な出力データセットを確実に生成するために、参照データセットは、実際の体から導出され、マッピングのＲＯＩに対応するＲＯＩを表す。モデルデータセットを様々な段階で実際のジオメトリと関連付けることにより、現実的な変形を保証することができる。例えば、ＲＯＩ１００を表すＰＤＭが体の別の部分に誤って配置されている場合、ＲＯＩ１００の肺１０２、１０４及び心臓１０６の形状変化は、まったく異なる解剖学的領域に適用されることになる。ＰＤＭを対応するＲＯＩの実際のジオメトリと関連付けることでこれを回避することができる。
【0045】
マッピング方法を使用して生成された各出力データセットは、ＡＩシステムのより徹底的且つ堅牢な機械学習プロセス、したがって、より正確なＡＩシステムを提供するためにトレーニングデータセットに用いることができる。画像セグメント化アルゴリズムの例では、アルゴリズムは、アルゴリズムに入力されたＲＯＩの画像をより正確にセグメント化することが可能であり得る。他の実装では、ＰＤＭから生成されたジオメトリは、患者の将来のジオメトリを予測することが望まれる適応シナリオに、又は現実的に変形されたデータが必要とされる任意の適用分野で用いることができる。
【0046】
図３は、体の部分のボリュームを表すデータを生成するための方法３００を示す。方法２００と同様に、体の部分は、臓器１０２～１０６などの少なくとも１つの臓器を含むＲＯＩ１００などのＲＯＩであり得る。いくつかの実施形態では、体は人体である。
【0047】
ステップ３０２で、入力データセットに基づくＲＯＩのＰＤＭが生成される。入力データセットは、ＲＯＩの単数又は複数の表面を表すデータを含み、いくつかの実施形態では、少なくとも１つの実際の体から、例えば患者から導出される。入力データセットは、それぞれ異なる患者からの同じＲＯＩを表す、複数のデータセットを含むことができる。ＰＤＭは、平均データセット及び１つ以上の重み・固有ベクトルペアに基づく出力データセットを定義する。いくつかの実施形態では、ＰＤＭは、主成分分析を使用して生成され、入力データセットの算術平均と、固有ベクトルの線形結合を含む。
【0048】
ステップ３０４で、ＰＤＭに基づいて第１のモデルデータセットが生成される。出力データセットは、出力データセットが平均データセットとは異なるように重み・固有ベクトルペアの少なくとも１つの重みを変更することによって生成される。これは、第１のモデルデータセットが参照データセットに概して対応するように重みを変更することを含み得る。参照データセットは、実際の体から導出される対応するＲＯＩを表す。いくつかの実施形態では、重みは、入力データセットの標準偏差によって定義される間隔内で変更される。重みは、ランダムに又は最初の重みから増分的に変更され得る。線形結合における１つの、いくつかの、又はすべての重みが、第１のモデルデータセットを生成するために変更され得る。
【0049】
ステップ３０６で、第１のモデルデータセットとは異なる第２のモデルデータセットを提供するために、第１のモデルデータセットに対応する重み値が変更される。いくつかの実施形態では、重みは、入力データセットの標準偏差によって定義される間隔内で変更される。重みは、ランダムに又は最初の重みから増分的に変更され得る。線形結合における１つの、いくつかの、又はすべての重みは、第２のモデルデータセットを生成するべく変更され得る。
【0050】
ステップ３０８で、第１及び第２のモデルデータセット間のマッピングが生成される。いくつかの実施形態では、マッピングは、第１及び第２のモデルデータセットに基づく変形可能画像登録アルゴリズムを使用して生成される。いくつかの実施形態では、変形可能画像登録アルゴリズムは、単射のマッピングをもたらすように構成される。つまり、変形可能画像登録アルゴリズムは、正のヤコビアンのみを生成する。
【0051】
ステップ３１０で、第１のモデルデータセット及び参照データセットに基づく出力データセットが生成される。具体的には、第１のモデルデータセットに基づいて決定されたマッピングが、参照データセットに適用される。参照データセットは、実際の体から導出される対応するＲＯＩのボリュームを表す。したがって、出力データセットは、当該ＲＯＩの変形されたボリュームを表すデータを含む。
【0052】
ステップ３１２で、出力データセットが、ＡＩシステムの機械学習のためのトレーニングセットの一部として用いられる。例えば、これは、画像セグメント化アルゴリズムの深層学習であり得る。トレーニングセットが可能な限り大きくなるように複数の出力データセットを生成することができ、これにより、ＡＩシステムが確実に堅牢にトレーニングされる。これにより、システムのパフォーマンスが向上する。
【0053】
前述の方法は、人間又は動物のＲＯＩについてのＡＩシステムのトレーニングに関する問題を軽減する。開示される方法は、利用できる実際の患者モデルの数が現在のところ限られており、その数が普通はＡＩシステムを堅牢にトレーニングするのに十分ではないＡＩシステムのトレーニングセットを拡張するために用いることができる、複数のジオメトリの生成を可能にする。さらに、ランダムな又は不自然な変形に起因して現在生成されたデータセットが現実的ではない可能性がある場合、開示される方法は、合成であるが人間のようなジオメトリの生成を可能にする。このような現実的なジオメトリを生成して、ＡＩシステムのトレーニングセットを強化することで、トレーニングをより徹底的且つ堅牢に行うことができる。したがって、トレーニング済みＡＩシステムのパフォーマンスが向上する。画像セグメント化アルゴリズムの例では、アルゴリズムは、アルゴリズムに入力されたＲＯＩの画像をより正確にセグメント化することが可能であり得る。他の実装では、ＰＤＭから生成されたジオメトリは、患者の将来のジオメトリを予測することが望まれる適応シナリオに、又は現実的に変形されたデータが必要とされる任意の適用分野で用いることができる。
【0054】
図４は、プロセッサ上で実行されるときに、前述の方法を行う命令４１０でエンコードされたコンピュータ可読媒体４００の概略図を示す。コンピュータ可読媒体４００は、この実施形態では、データディスクである。一実施形態では、データディスクは、磁気データストレージディスクであり得る。データディスクは、プロセッサなどのコントローラにロードされたときに、上記に開示した実施形態に係る方法又は手順を実行する命令４１０を伝えるように構成され得る。データディスクは、命令をコントローラにロードするために、読み取りデバイス４２０に又はその内部に接続され、読み取りデバイス４２０によって読み取られるように構成され得る。１つ（又はいくつかの）データディスク（単数又は複数）と組み合わせた読み取りデバイス４２０のそのような１つの例は、ハードドライブである。コンピュータ可読媒体はまた、コンパクトディスク、デジタルビデオディスク、フラッシュメモリ、又は一般的に用いられる他のメモリ技術などの他の媒体であり得ることに留意されたい。このような実施形態では、データディスクは、有形のコンピュータ可読媒体４００の一種であり得る。
【0055】
命令４１０はまた、命令４１０をコントローラにロードするためのコンピュータデータ読み取りデバイス４３０に無線（又は有線）インターフェース（例えばインターネットを介して）を介して送信されるコンピュータ可読信号４４０に命令４１０を含めることによって、コンピュータ可読媒体上のコンピュータコード化データを読み取ることができるコンピュータ又は他のデバイスなどのコンピュータデータ読み取りデバイス４３０にダウンロードされ得る。このような実施形態では、コンピュータ可読信号４４０は、無形のコンピュータ可読媒体４００の一種である。
【0056】
コントローラは、コンピュータデータ読み取りデバイス４３０の全体的な動作を担い、好ましくは、任意の市販のＣＰＵ（「中央処理装置」）、ＤＳＰ（「デジタル信号プロセッサ」）、又は任意の他の電子プログラマブルロジックデバイスにより実装される。コントローラは、ハードウェア機能を可能にする命令を使用して、例えば、このようなプロセッサによって実行されるコンピュータ可読記憶媒体（ディスク、メモリなど）に格納され得る汎用又は専用プロセッサで実行可能なコンピュータプログラム命令を用いることによって実装され得る。コントローラは、メモリから命令を読み出し、コンピュータデータ読み取りデバイス４３０の動作を制御するべくこれらの命令を実行するように構成され得る。メモリは、ＲＯＭ、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＣＭＯＳ、ＦＬＡＳＨ、ＤＤＲ、ＥＥＰＲＯＭメモリ、フラッシュメモリ、ハードドライブ、光学ストレージ、又はその任意の組み合わせなどのコンピュータ可読メモリの一般的に知られている技術を使用して実装され得る。
【0057】
コンピュータデータ読み取りデバイス４３０は、いくつかの実施形態によれば、例えば、ディスプレイ及びキーパッド又はタッチスクリーンを含み得るユーザ・インターフェースをさらに備えることができる。当該技術分野では公知の他のユーザ・インターフェース要素が、ユーザ・インターフェースの部分に同様になり得る。
【0058】
コンピュータプログラム、命令、コードなどへの言及は、例えば、プロセッサの命令であるかどうかにかかわらずハードウェアデバイスのプログラム可能なコンテンツ、又は固定機能デバイス、ゲートアレイ、又はプログラマブルロジックデバイスなどの構成設定などの、プログラマブルプロセッサ又はファームウェアのソフトウェアを包含すると理解されるべきである。
【0059】
上記の説明及び関連する図面に提示された教示の利益を有する当業者は、説明した実施形態の修正及び他の変形を思いつくであろう。したがって、実施形態は、本開示に記載の特定の例示的な実施形態に限定されないことと、修正及び他の変形が本開示の範囲内に含まれることが意図されることを理解されたい。さらに、本明細書で特定の用語が使用される場合があるが、それらは一般的且つ説明的な意味でのみ用いられ、限定する目的では用いられない。したがって、付属の請求項の範囲内に依然として入る、説明した実施形態への多くの変形を当業者は認識するであろう。本明細書で用いられる場合の「備える」又は「含む」という用語は、他の要素又はステップの存在を排除するものではない。さらに、個々の特徴は異なる請求項に含まれ得るが、これらはおそらく有利に組み合わせることができ、異なる請求項の包含は、特徴の組み合わせが実現可能及び／又は有利ではないことを意味しない。加えて、単数形の言及は複数形を除外しない。
【図1】
【図2】
【図3】
【図4】