特許 7648056 時空間データに基づき医用画像を解析するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-10

(45)【発行日】2025-03-18

(54)【発明の名称】時空間データに基づき医用画像を解析するシステム及び方法

(51)【国際特許分類】

   G06V 10/82 20220101AFI20250311BHJP

   G06T 7/215 20170101ALI20250311BHJP

   G06T 1/00 20060101ALI20250311BHJP

   G06T 1/40 20060101ALI20250311BHJP

【ＦＩ】

G06V10/82

G06T7/215

G06T1/00 290

G06T1/40

【請求項の数】 36

(21)【出願番号】P 2022519001

(86)(22)【出願日】2020-09-24

(65)【公表番号】

(43)【公表日】2022-11-28

(86)【国際出願番号】 US2020052442

(87)【国際公開番号】W WO2021061947

(87)【国際公開日】2021-04-01

【審査請求日】2023-09-15

(31)【優先権主張番号】62/904,728

(32)【優先日】2019-09-24

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】504337958

【氏名又は名称】カーネギー メロン ユニバーシティ

(74)【代理人】

【識別番号】100107342

【弁理士】

【氏名又は名称】横田 修孝

(74)【代理人】

【識別番号】100155631

【弁理士】

【氏名又は名称】榎 保孝

(74)【代理人】

【識別番号】100137497

【弁理士】

【氏名又は名称】大森 未知子

(74)【代理人】

【識別番号】100207907

【弁理士】

【氏名又は名称】赤羽 桃子

(74)【代理人】

【識別番号】100217294

【弁理士】

【氏名又は名称】内山 尚和

(72)【発明者】

【氏名】ジョン、ガレオッティ

(72)【発明者】

【氏名】スダルシャン、テジャス、マタイ

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０１９－０３７６９２（ＪＰ，Ａ）

【文献】特開平１１－００３１２１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１３０５７８（ＵＳ，Ａ１）

【文献】Ｆａｕｓｔｏ Ｍｉｌｌｅｔａｒｉ ｅｔ ａｌ．，ＣＦＣＭ： Ｓｅｇｍｅｎｔａｔｉｏｎ ｖｉａ Ｃｏａｒｓｅ ｔｏ Ｆｉｎｅ Ｃｏｎｔｅｘｔ Ｍｅｍｏｒｙ，ａｒＸｉｖ，2018年06月04日，ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１８０６．０１４１３

【文献】Ｔｅｊａｓ Ｓｕｄｈａｒｓｈａｎ Ｍａｔｈａｉ ｅｔ ａｌ．，Ｌｅａｒｎｉｎｇ Ｔｏ Ｓｅｇｍｅｎｔ Ｃｏｒｎｅａｌ Ｔｉｓｓｕｅ Ｉｎｔｅｒｆａｃｅｓ Ｉｎ Ｏｃｔ Ｉｍａｇｅｓ，２０１９ ＩＥＥＥ １６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ （ＩＳＢＩ ２０１９），ＩＥＥＥ，2019年04月11日，ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ｄｏｃｕｍｅｎｔ／８７５９２５２

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

人工ニューラルネットワークを使用して、時空間医用画像を解析する方法であって、
イメージングデバイスを用いて患者の一連の医用画像を取り込むことと、前記一連の医用画像は前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、
コンピューティングデバイスを用いて、前記一連の医用画像の１つ以上の画像内の前記少なくとも１つの存在物の前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡することと、
コンピューティングデバイスを用いて、前記時変空間データを前記一連の医用画像と相互に関連つけることによって時空間データを生成することと、
コンピューティングデバイスを用いて、前記時空間データを入力する人工ニューラルネットワークに基づいて、前記一連の医用画像を解析することとを含み、
前記人工ニューラルネットワークは複数の層を含み、
前記複数の層の１つ又は複数の層のそれぞれは、少なくとも３つの異なるスケールからの特徴を組み合わせ、前記人工ニューラルネットワークの前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、方法。

【請求項2】

前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、異なるスケールの拡張畳み込みを含む、請求項１に記載の方法。

【請求項3】

前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、前記複数の層の少なくとも層のサブセット間の密結合及び／又は残差結合を含み、前記少なくとも層のサブセットが、少なくとも３つの異なるスケールからの特徴を含む、請求項１に記載の方法。

【請求項4】

前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、少なくとも２つの異なるスケールの畳み込み、及び少なくとも２つの異なるスケールからの特徴を含む前記複数の層の層のサブセットに対する結合を含み、少なくとも３つの異なるスケールの特徴をもたらす、請求項１に記載の方法。

【請求項5】

前記少なくとも１つの存在物が、以下の機器、前記イメージングデバイス、物理的アーチファクト、顕在アーチファクト、又はそれらの任意の組み合わせの、少なくとも１つを含む、請求項１に記載の方法。

【請求項6】

前記時変空間データを追跡することが、以下の前記少なくとも１つの存在物の平行移動／回転位置、前記少なくとも１つの存在物の速度、前記少なくとも１つの存在物の加速度、前記少なくとも１つの存在物の慣性測定値、又はそれらの任意の組み合わせの、少なくとも１つを追跡することを含む、請求項１に記載の方法。

【請求項7】

前記時変空間データを追跡することが、以下の慣性測定装置、追跡システム、位置センサ、ロボット運動学、逆運動学、又はそれらの任意の組み合わせの、少なくとも１つに基づく、請求項１に記載の方法。

【請求項8】

前記時空間データが、以下の前記患者の身体内の内的動きを表すデータ、前記患者の身体の外的動きを表すデータ、機器の動きを表すデータ、前記機器の角度を表すデータ、前記患者の体の変形を生じる動きを表すデータ、又はそれらの任意の組み合わせの、少なくとも１つを含む、請求項１に記載の方法。

【請求項9】

前記人工ニューラルネットワークが、エンコーダ及びデコーダを含み、前記デコーダ及び前記エンコーダの少なくとも一方が、入力として前記時空間データを利用するように構成される、請求項１に記載の方法。

【請求項10】

前記人工ニューラルネットワークが、以下の長・短期記憶（ＬＳＴＭ）ユニット、ゲート付き再帰型ユニット（ＧＲＵ）、時間畳み込みネットワーク、又はそれらの任意の組み合わせの、少なくとも１つを含む、請求項１に記載の方法。

【請求項11】

前記時空間データが、前記患者及び／又は機器の位置及び／又は向きを含む、請求項１に記載の方法。

【請求項12】

前記一連の医用画像を解析することが、前記一連の画像において少なくとも１つの解剖学的構造を識別することを含み、前記少なくとも１つの解剖学的構造が、以下の脈管、動脈、静脈、靭帯、神経、筋肉線維、筋膜線維又は筋膜網、脂肪の小塊、移植脂肪の小塊、リンパ組織、皮膚の斑、腱、骨、軟骨片、肺胸膜線、心臓弁、心房室、心臓表面、気管、脳領域、管、小柱網、角膜層、網膜層、眼球水晶体、眼表面、軟組織、角膜縁のフォークトパリセード、臓器、細胞外構造、細胞間構造、細胞、又はそれらの任意の組み合わせの、少なくとも１つを含む、請求項１に記載の方法。

【請求項13】

前記一連の医用画像が、以下の超音波画像、光干渉断層法（ＯＣＴ）画像、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、ＳＰＥＣＴ画像、透視画像、Ｘ線画像、マンモグラフィ画像、断層合成画像、光音響画像、聴覚光学画像、内視鏡画像、顕微鏡画像、眼底画像、走査レーザ検眼鏡（ＳＬＯ）画像、スマートフォン画像、３Ｄ（深度）画像、フォーカルスタック画像、明視野画像、可視光画像、赤外線画像、紫外線画像、熱画像、マルチスペクトル画像、断層画像、投影画像、統合画像、再構成画像、又はそれらの任意の組み合わせの、少なくとも１つを含む、請求項１に記載の方法。

【請求項14】

前記一連の医用画像を解析することが、前記一連の医用画像に示される１つ又は複数の脈管をセグメント化することを含む、請求項１に記載の方法。

【請求項15】

人工ニューラルネットワークを使用して、時空間医用画像を解析するシステムであって、 イメージングデバイスを用いて患者の一連の医用画像を取り込み、前記一連の医用画像は前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、
コンピューティングデバイスを用いて、前記一連の医用画像の１つ以上の画像内の前記少なくとも１つの存在物の前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡し、
コンピューティングデバイスを用いて、前記時変空間データを前記一連の医用画像と相互に関連つけることによって時空間データを生成し、
コンピューティングデバイスを用いて、前記時空間データを入力する人工ニューラルネットワークに基づいて、前記一連の医用画像を解析するよう、プログラムされ又は構成されたコンピューティングデバイスを有し、
前記人工ニューラルネットワークは複数の層を含み、
前記複数の層の１つ又は複数の層のそれぞれは、少なくとも３つの異なるスケールからの特徴を組み合わせ、前記人工ニューラルネットワークの前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、システム。

【請求項16】

前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、異なるスケールの拡張畳み込みを含む、請求項１５に記載のシステム。

【請求項17】

前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、前記複数の層の少なくとも層のサブセット間の密結合及び／又は残差結合を含み、前記少なくとも層のサブセットが、少なくとも３つの異なるスケールからの特徴を含む、請求項１５に記載のシステム。

【請求項18】

前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、少なくとも２つの異なるスケールの畳み込み、及び少なくとも２つの異なるスケールからの特徴を含む前記複数の層の層のサブセットに対する結合を含み、少なくとも３つの異なるスケールの特徴をもたらす、請求項１５に記載のシステム。

【請求項19】

前記少なくとも１つの存在物が、以下の機器、前記イメージングデバイス、物理的アーチファクト、顕在アーチファクト、又はそれらの任意の組み合わせの、少なくとも１つを含む、請求項１５に記載のシステム。

【請求項20】

前記時変空間データを追跡することが、以下の前記少なくとも１つの存在物の平行移動／回転位置、前記少なくとも１つの存在物の速度、前記少なくとも１つの存在物の加速度、前記少なくとも１つの存在物の慣性測定値、又はそれらの任意の組み合わせの、少なくとも１つを追跡することを含む、請求項１５に記載のシステム。

【請求項21】

前記時変空間データを追跡することが、以下の慣性測定装置、追跡システム、位置センサ、ロボット運動学、逆運動学、又はそれらの任意の組み合わせの、少なくとも１つに基づく、請求項１５に記載のシステム。

【請求項22】

前記時空間データが、以下の前記患者の身体内の内的動きを表すデータ、前記患者の身体の外的動きを表すデータ、機器の動きを表すデータ、前記機器の角度を表すデータ、前記患者の体の変形を生じる動きを表すデータ、又はそれらの任意の組み合わせの、少なくとも１つを含む、請求項１５に記載のシステム。

【請求項23】

前記人工ニューラルネットワークが、エンコーダ及びデコーダを含み、前記デコーダ及び前記エンコーダの少なくとも一方が、入力として前記時空間データを利用するように構成される、請求項１５に記載のシステム。

【請求項24】

前記人工ニューラルネットワークが、以下の長・短期記憶（ＬＳＴＭ）ユニット、ゲート付き再帰型ユニット（ＧＲＵ）、時間畳み込みネットワーク、又はそれらの任意の組み合わせの、少なくとも１つを含む、請求項１５に記載のシステム。

【請求項25】

前記時空間データが、前記患者及び／又は機器の位置及び／又は向きを含む、請求項１５に記載のシステム。

【請求項26】

前記一連の医用画像を解析することが、前記一連の画像において少なくとも１つの解剖学的構造を識別することを含み、前記少なくとも１つの解剖学的構造が、以下の脈管、動脈、静脈、靭帯、神経、筋肉線維、筋膜線維又は筋膜網、脂肪の小塊、移植脂肪の小塊、リンパ組織、皮膚の斑、腱、骨、軟骨片、肺胸膜線、心臓弁、心房室、心臓表面、気管、脳領域、管、小柱網、角膜層、網膜層、眼球水晶体、眼表面、軟組織、角膜縁のフォークトパリセード、臓器、細胞外構造、細胞間構造、細胞、又はそれらの任意の組み合わせの、少なくとも１つを含む、請求項１５に記載のシステム。

【請求項27】

前記一連の医用画像が、以下の超音波画像、光干渉断層法（ＯＣＴ）画像、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、ＳＰＥＣＴ画像、透視画像、Ｘ線画像、マンモグラフィ画像、断層合成画像、光音響画像、聴覚光学画像、内視鏡画像、顕微鏡画像、眼底画像、走査レーザ検眼鏡（ＳＬＯ）画像、スマートフォン画像、３Ｄ（深度）画像、フォーカルスタック画像、明視野画像、可視光画像、赤外線画像、紫外線画像、熱画像、マルチスペクトル画像、断層画像、投影画像、統合画像、再構成画像、又はそれらの任意の組み合わせの、少なくとも１つを含む、請求項１５に記載のシステム。

【請求項28】

前記一連の医用画像を解析することが、前記一連の医用画像に示される１つ又は複数の脈管をセグメント化することを含む、請求項１５に記載のシステム。

【請求項29】

ニューラルネットワークを使用して医用画像を解析するコンピュータプログラム製品であって、コンピューティングデバイスによって実行されると、前記コンピューティングデバイスに、
イメージングデバイスを用いて患者の一連の医用画像を取り込むことと、前記一連の医用画像は前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、
コンピューティングデバイスを用いて、前記一連の医用画像の１つ以上の画像内の前記少なくとも１つの存在物の前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡することと、
コンピューティングデバイスを用いて、前記時変空間データを前記一連の医用画像と相互に関連つけることによって時空間データを生成することと、
コンピューティングデバイスを用いて、前記時空間データを入力する人工ニューラルネットワークに基づいて、前記一連の医用画像を解析することと、を行わせる命令を含む少なくとも１つの非一時的コンピュータ可読媒体を含み、
前記人工ニューラルネットワークは複数の層を含み、
前記複数の層の１つ又は複数の層のそれぞれは、少なくとも３つの異なるスケールからの特徴を組み合わせ、前記人工ニューラルネットワークの前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、
コンピュータプログラム製品。

【請求項30】

前記人工ニューラルネットワークの少なくとも一部が拡張畳み込みを含む、請求項１に記載の方法。

【請求項31】

前記人工ニューラルネットワークの少なくとも一部が残差結合及び／又はスキップ結合を含む、請求項１に記載の方法。

【請求項32】

前記人工ニューラルネットワークの少なくとも一部が拡張畳み込みを含む、請求項１５に記載のシステム。

【請求項33】

前記人工ニューラルネットワークの少なくとも一部が残差結合及び／又はスキップ結合を含む、請求項１５に記載のシステム。

【請求項34】

人工ニューラルネットワークを使用して、時空間医用画像を解析する方法であって、
イメージングデバイスを用いて患者の一連の医用画像を取り込むことと、前記一連の医用画像は、前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、
コンピューティングデバイスを用いて、前記一連の医用画像の１つ以上の画像内の前記少なくとも１つの存在物の前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡することと、
コンピューティングデバイスを用いて、前記時変空間データを前記一連の医用画像と相関させることによって時空間データを生成することと、
コンピューティングデバイスを用いて、前記時空間データを入力する人工ニューラルネットワークに基づいて、前記一連の医用画像を解析することとを含み、
前記人工ニューラルネットワークは複数の層を含み、
前記人工ニューラルネットワークが、拡張畳み込み、及び／又は少なくとも３つの異なるスケールからの特徴を組み合わせる、異なるスケール及び分解能の複数の層間の密結合を含み、前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、方法。

【請求項35】

人工ニューラルネットワークを使用して、時空間医用画像を解析するシステムであって、
イメージングデバイスを用いて患者の一連の医用画像を取り込み、前記一連の医用画像は、前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、
コンピューティングデバイスを用いて、前記一連の医用画像の１つ以上の画像内の前記少なくとも１つの存在物の前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡し、
コンピューティングデバイスを用いて、前記時変空間データを前記一連の医用画像と相関させることによって時空間データを生成し、
コンピューティングデバイスを用いて、前記時空間データを入力する人工ニューラルネットワークに基づいて、前記一連の医用画像を解析するよう、プログラムされ又は構成されたコンピューティングデバイスを有し、
前記人工ニューラルネットワークは複数の層を含み、
前記人工ニューラルネットワークが、拡張畳み込み、及び／又は少なくとも３つの異なるスケールからの特徴を組み合わせる、異なるスケール及び分解能の複数の層間の密結合を含み、前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、システム。

【請求項36】

ニューラルネットワークを使用して医用画像を解析するコンピュータプログラム製品であって、コンピューティングデバイスによって実行されると、前記コンピューティングデバイスに、
イメージングデバイスを用いて患者の一連の医用画像を取り込むことと、前記一連の医用画像は、前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、
前記一連の医用画像の１つ以上の画像内の前記少なくとも１つの存在物の前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡することと、
前記時変空間データを前記一連の医用画像と相関させることによって時空間データを生成することと、
前記時空間データを入力する人工ニューラルネットワークに基づいて、前記一連の医用画像を解析することと、を行わせる命令を含む少なくとも１つの非一時的コンピュータ可読媒体を含み、
前記人工ニューラルネットワークは複数の層を含み、
前記人工ニューラルネットワークが、拡張畳み込み、及び／又は少なくとも３つの異なるスケールからの特徴を組み合わせる、異なるスケール及び分解能の複数の層間の密結合を含み、前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、その開示内容が全体として参照により本明細書に援用される、２０１９年９月２４日に出願された米国仮特許出願第６２／９０４，７２８号明細書に対する優先権を主張するものである。

【0002】

１．分野
本開示は、一般に人工ニューラルネットワークに関し、非制限的な実施形態では、人工ニューラルネットワークを使用して、時空間データに基づき医用画像を解析するシステム、方法、及びコンピュータプログラム製品に関する。

【背景技術】

【0003】

２．技術的問題
光干渉断層法（ＯＣＴ：ｏｐｔｉｃａｌ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ）、超音波、ＭＲＩ、又は他の逐次取得方法を使用して取得された医用画像は、患者の体の一部を通して得られた断層スライス（又はボリューム、例えば、フルフレームＯＣＴ）のシーケンスを含み得る。これらの画像は、（内的又は外的な）患者及び／又は使用される機器（例えば、超音波プローブ）などの様々な異なるタイプの動き及び／又は向きに基づいて、スライス（又はボリューム）ごとに変化を受ける。また、このような画像を解析するために使用される既存のニューラルネットワークは、シーケンス中の各画像を他の全ての画像とは関係なく考慮し、したがって、これらのニューラルネットワークは、動きをモデル化すること、シーケンス中の前の画像を考慮すること、或いは患者及び／又は機器の変化する動き及び／又は向きを考慮に入れることができない。

【0004】

内膜中膜厚（ＩＭＴ：Ｉｎｔｉｍａ－Ｍｅｄｉａ Ｔｈｉｃｋｎｅｓｓ）は、臨床応用において、アテローム性動脈硬化プラークの形成などのリスクを定量化するパラメータである。しかしながら、具体的には、ＩＭＴは、変化をモニタリングするための最高水準は現在、組織病理学である、手の移植レシピエント（又は他の複合組織異物移植術のレシピエント）の機能的経過を追跡するために使用することができる。最近、極超短波超音波（ＵＨＦＵＳ：Ｕｌｔｒａ－Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ Ｕｌｔｒａｓｏｕｎｄ）が、１ｃｍの浅い組織深度の範囲内で０．０３ｍｍにある脈管構造の分解能によってＩＭＴを定量的に測定することが示された。しかしながら、この改良された分解能は、従来の超音波及び高周波数超音波（ＨＦＵＳ：Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ Ｕｌｔｒａｓｏｕｎｄ）イメージングデバイスとは対照的に、脈管境界を損なうスペックルノイズの増加ももたらす。さらに、浅い深度にある脈管は、頸動脈などの体のより深い場所にある脈管とは対照的に、（トランスデューサの圧力及び動きにより）大きくゆがむ。したがって、経時的にＩＭＴの変化を比較するために、ＵＨＦＵＳ及びＨＦＵＳシーケンスにおいて、急速に移動及び拍動する脈管の輪郭、並びに他の存在物のサブミリメートルの位置特定に関与するシステムを有することが望ましい。

【0005】

超音波シーケンスに対する先行技術の脈管ベースのセグメント化手法は、２つのカテゴリに分類される。ＨＦＵＳ及びＵＨＦＵＳに関する最新のレベルセット法などの第１のカテゴリは、すぐに実行できるが、パラメータの微調整に起因して、臨床用途で必要とされるロバスト性に欠ける。学習ベースの手法を含む第２のカテゴリは、スキャン設定の変更及び画像品質の変動に強いが、フレーム間脈管ダイナミクスを適切に利用することなく、タスクに固有のものであり、したがって、様々な異なる生物医学画像診断技術に適用できない。

【発明の概要】

【課題を解決するための手段】

【0006】

非制限的な実施形態又は態様によれば、提供されるのは、人工ニューラルネットワークを使用して、時空間医用画像を解析する方法であって、イメージングデバイスを用いて患者の一連の医用画像を取り込むことと、前記一連の医用画像は前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、コンピューティングデバイスを用いて、前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡することと、コンピューティングデバイスを用いて、前記時変空間データを前記一連の医用画像と相互に関連つけることによって時空間データを生成することと、コンピューティングデバイスを用いて、複数の層を含む人工ニューラルネットワークに基づいて、前記一連の医用画像を解析することとを含み、前記複数の層の１つ又は複数の層のそれぞれは、少なくとも３つの異なるスケールからの特徴を組み合わせ、前記人工ニューラルネットワークの前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、方法。

【0007】

非制限的な実施形態又は態様によれば、前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、異なるスケールの拡張畳み込みを含む。非制限的な実施形態又は態様によれば、前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、前記複数の層の少なくとも層のサブセット間の密結合及び／又は残差結合を含み、前記少なくとも層のサブセットが、少なくとも３つの異なるスケールからの特徴を含む。非制限的な実施形態又は態様によれば、前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、少なくとも２つの異なるスケールの畳み込み、及び少なくとも２つの異なるスケールからの特徴を含む前記複数の層の層のサブセットに対する結合を含み、少なくとも３つの異なるスケールの特徴をもたらす。非制限的な実施形態又は態様によれば、前記少なくとも１つの存在物が、以下の機器、前記イメージングデバイス、物理的アーチファクト、顕在アーチファクト、又はそれらの任意の組み合わせの、少なくとも１つを含む。

【0008】

非制限的な実施形態又は態様によれば、前記時変空間データを追跡することが、以下の前記少なくとも１つの存在物の平行移動／回転位置、前記少なくとも１つの存在物の速度、前記少なくとも１つの存在物の加速度、前記少なくとも１つの存在物の慣性測定値、又はそれらの任意の組み合わせの、少なくとも１つを追跡することを含む。非制限的な実施形態又は態様によれば、前記時変空間データを追跡することが、以下の慣性測定装置、追跡システム、位置センサ、ロボット運動学、逆運動学、又はそれらの任意の組み合わせの、少なくとも１つに基づく。非制限的な実施形態又は態様によれば、前記時空間データが、以下の前記患者の身体内の内的動きを表すデータ、前記患者の身体の外的動きを表すデータ、機器の動きを表すデータ、前記機器の角度を表すデータ、前記患者の体の変形を生じる動きを表すデータ、又はそれらの任意の組み合わせの、少なくとも１つを含む。非制限的な実施形態又は態様によれば、前記人工ニューラルネットワークが、エンコーダ及びデコーダを含み、前記デコーダ及び前記エンコーダの少なくとも一方が、入力として前記時空間データを利用するように構成される。非制限的な実施形態又は態様によれば、前記人工ニューラルネットワークが、以下の長・短期記憶（ＬＳＴＭ）ユニット、ゲート付き再帰型ユニット（ＧＲＵ）、時間畳み込みネットワーク、又はそれらの任意の組み合わせの、少なくとも１つを含む。

【0009】

非制限的な実施形態又は態様によれば、前記空間データが、前記患者及び／又は機器の位置及び／又は向きを含む。非制限的な実施形態又は態様によれば、前記一連の医用画像を解析することが、前記一連の画像において少なくとも１つの解剖学的構造を識別することを含み、前記少なくとも１つの解剖学的構造が、以下の脈管、動脈、静脈、靭帯、神経
、筋肉線維、筋膜線維又は筋膜網、脂肪の小塊、移植脂肪の小塊、リンパ組織、皮膚の斑、腱、骨、軟骨片、肺胸膜線、心臓弁、心房室、心臓表面、気管、脳領域、管、小柱網、角膜層、網膜層、眼球水晶体、眼表面、軟組織、角膜縁のフォークトパリセード、臓器、細胞外構造、細胞間構造、細胞、又はそれらの任意の組み合わせの、少なくとも１つを含む。非制限的な実施形態又は態様によれば、前記一連の医用画像が、以下の超音波画像、光干渉断層法（ＯＣＴ）画像、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、ＳＰＥＣＴ画像、透視画像、Ｘ線画像、マンモグラフィ画像、断層合成画像、光音響画像、聴覚光学画像、内視鏡画像、顕微鏡画像、眼底画像、走査レーザ検眼鏡（ＳＬＯ）画像、スマートフォン画像、３Ｄ（深度）画像、フォーカルスタック画像、明視野画像、可視光画像、赤外線画像、紫外線画像、熱画像、マルチスペクトル画像、断層画像、投影画像、統合画像、再構成画像、又はそれらの任意の組み合わせの、少なくとも１つを含む。非制限的な実施形態又は態様によれば、前記一連の医用画像を解析することが、前記一連の医用画像に示される１つ又は複数の脈管をセグメント化することを含む。

【0010】

非制限的な実施形態又は態様によれば、前記人工ニューラルネットワークの少なくとも一部が拡張畳み込みを含む。非制限的な実施形態又は態様によれば、前記人工ニューラルネットワークの少なくとも一部が残差結合及び／又はスキップ結合を含む。非制限的な実施形態又は態様によれば、前記人工ニューラルネットワークの少なくとも一部が拡張畳み込みを含む。非制限的な実施形態又は態様によれば、前記人工ニューラルネットワークの少なくとも一部が残差結合及び／又はスキップ結合を含む。

【0011】

非制限的な実施形態又は態様によれば、提供されるのは、人工ニューラルネットワークを使用して、時空間医用画像を解析するシステムであって、イメージングデバイスを用いて患者の一連の医用画像を取り込み、前記一連の医用画像は前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、コンピューティングデバイスを用いて、前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡し、コンピューティングデバイスを用いて、前記時変空間データを前記一連の医用画像と相互に関連つけることによって時空間データを生成し、コンピューティングデバイスを用いて、複数の層を含む人工ニューラルネットワークに基づいて、前記一連の医用画像を解析するよう、プログラムされ又は構成されたコンピューティングデバイスを有し、前記複数の層の１つ又は複数の層のそれぞれは、少なくとも３つの異なるスケールからの特徴を組み合わせ、前記人工ニューラルネットワークの前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、システム。

【0012】

非制限的な実施形態又は態様によれば、前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、異なるスケールの拡張畳み込みを含む。非制限的な実施形態又は態様によれば、前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、前記複数の層の少なくとも層のサブセット間の密結合及び／又は残差結合を含み、前記少なくとも層のサブセットが、少なくとも３つの異なるスケールからの特徴を含む。非制限的な実施形態又は態様によれば、前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、少なくとも２つの異なるスケールの畳み込み、及び少なくとも２つの異なるスケールからの特徴を含む前記複数の層の層のサブセットに対する結合を含み、少なくとも３つの異なるスケールの特徴をもたらす。非制限的な実施形態又は態様によれば、前記少なくとも１つの存在物が、以下の機器、前記イメージングデバイス、物理的アーチファクト、顕在アーチファクト、又はそれらの任意の組み合わせの、少なくとも１つを含む。

【0013】

非制限的な実施形態又は態様によれば、前記時変空間データを追跡することが、以下の前記少なくとも１つの存在物の平行移動／回転位置、前記少なくとも１つの存在物の速度
、前記少なくとも１つの存在物の加速度、前記少なくとも１つの存在物の慣性測定値、又はそれらの任意の組み合わせの、少なくとも１つを追跡することを含む。非制限的な実施形態又は態様によれば、前記時変空間データを追跡することが、以下の慣性測定装置、追跡システム、位置センサ、ロボット運動学、逆運動学、又はそれらの任意の組み合わせの、少なくとも１つに基づく。非制限的な実施形態又は態様によれば、前記時空間データが、以下の前記患者の身体内の内的動きを表すデータ、前記患者の身体の外的動きを表すデータ、機器の動きを表すデータ、前記機器の角度を表すデータ、前記患者の体の変形を生じる動きを表すデータ、又はそれらの任意の組み合わせの、少なくとも１つを含む。非制限的な実施形態又は態様によれば、前記人工ニューラルネットワークが、エンコーダ及びデコーダを含み、前記デコーダ及び前記エンコーダの少なくとも一方が、入力として前記時空間データを利用するように構成される。非制限的な実施形態又は態様によれば、前記人工ニューラルネットワークが、以下の長・短期記憶（ＬＳＴＭ）ユニット、ゲート付き再帰型ユニット（ＧＲＵ）、時間畳み込みネットワーク、又はそれらの任意の組み合わせの、少なくとも１つを含む。

【0014】

非制限的な実施形態又は態様によれば、前記空間データが、前記患者及び／又は機器の位置及び／又は向きを含む。非制限的な実施形態又は態様によれば、前記一連の医用画像を解析することが、前記一連の画像において少なくとも１つの解剖学的構造を識別することを含み、前記少なくとも１つの解剖学的構造が、以下の脈管、動脈、静脈、靭帯、神経、筋肉線維、筋膜線維又は筋膜網、脂肪の小塊、移植脂肪の小塊、リンパ組織、皮膚の斑、腱、骨、軟骨片、肺胸膜線、心臓弁、心房室、心臓表面、気管、脳領域、管、小柱網、角膜層、網膜層、眼球水晶体、眼表面、軟組織、角膜縁のフォークトパリセード、臓器、細胞外構造、細胞間構造、細胞、又はそれらの任意の組み合わせの、少なくとも１つを含む。非制限的な実施形態又は態様によれば、前記一連の医用画像が、以下の超音波画像、光干渉断層法（ＯＣＴ）画像、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、ＳＰＥＣＴ画像、透視画像、Ｘ線画像、マンモグラフィ画像、断層合成画像、光音響画像、聴覚光学画像、内視鏡画像、顕微鏡画像、眼底画像、走査レーザ検眼鏡（ＳＬＯ）画像、スマートフォン画像、３Ｄ（深度）画像、フォーカルスタック画像、明視野画像、可視光画像、赤外線画像、紫外線画像、熱画像、マルチスペクトル画像、断層画像、投影画像、統合画像、再構成画像、又はそれらの任意の組み合わせの、少なくとも１つを含む。非制限的な実施形態又は態様によれば、前記一連の医用画像を解析することが、前記一連の医用画像に示される１つ又は複数の脈管をセグメント化することを含む。

【0015】

非制限的な実施形態又は態様によれば、提供されるのは、ニューラルネットワークを使用して医用画像を解析するコンピュータプログラム製品であって、コンピューティングデバイスによって実行されると、前記コンピューティングデバイスに、イメージングデバイスを用いて患者の一連の医用画像を取り込むことと、前記一連の医用画像は前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、コンピューティングデバイスを用いて、前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡することと、コンピューティングデバイスを用いて、前記時変空間データを前記一連の医用画像と相互に関連つけることによって時空間データを生成することと、コンピューティングデバイスを用いて、複数の層を含む人工ニューラルネットワークに基づいて、前記一連の医用画像を解析することと、を行わせる命令を含む少なくとも１つの非一時的コンピュータ可読媒体を含み、前記複数の層の１つ又は複数の層のそれぞれは、少なくとも３つの異なるスケールからの特徴を組み合わせ、前記人工ニューラルネットワークの前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、コンピュータプログラム製品。

【0016】

非制限的な実施形態又は態様によれば、提供されるのは、人工ニューラルネットワーク
を使用して、時空間医用画像を解析する方法であって、イメージングデバイスを用いて患者の一連の医用画像を取り込むことと、前記一連の医用画像は、前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、コンピューティングデバイスを用いて、前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡することと、コンピューティングデバイスを用いて、前記時変空間データを前記一連の医用画像と相関させることによって時空間データを生成することと、コンピューティングデバイスを用いて、複数の層を含む人工ニューラルネットワークに基づいて、前記一連の医用画像を解析することとを含み、前記人工ニューラルネットワークが、拡張畳み込み、及び／又は少なくとも３つの異なるスケールからの特徴を組み合わせる、異なるスケール及び分解能の複数の層間の密結合を含み、前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、方法。非制限的な実施形態又は態様によれば、提供されるのは、人工ニューラルネットワークを使用して、時空間医用画像を解析するシステムであって、イメージングデバイスを用いて患者の一連の医用画像を取り込み、前記一連の医用画像は、前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、コンピューティングデバイスを用いて、前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡し、コンピューティングデバイスを用いて、前記時変空間データを前記一連の医用画像と相関させることによって時空間データを生成し、コンピューティングデバイスを用いて、複数の層を含む人工ニューラルネットワークに基づいて、前記一連の医用画像を解析するよう、プログラムされ又は構成されたコンピューティングデバイスを有し、前記人工ニューラルネットワークが、拡張畳み込み、及び／又は少なくとも３つの異なるスケールからの特徴を組み合わせる、異なるスケール及び分解能の複数の層間の密結合を含み、前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、システム。非制限的な実施形態又は態様によれば、提供されるのは、ニューラルネットワークを使用して医用画像を解析するコンピュータプログラム製品であって、コンピューティングデバイスによって実行されると、前記コンピューティングデバイスに、イメージングデバイスを用いて患者の一連の医用画像を取り込むことと、前記一連の医用画像は、前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡することと、前記時変空間データを前記一連の医用画像と相関させることによって時空間データを生成することと、複数の層を含む人工ニューラルネットワークに基づいて、前記一連の医用画像を解析することと、を行わせる命令を含む少なくとも１つの非一時的コンピュータ可読媒体を含み、前記人工ニューラルネットワークが、拡張畳み込み、及び／又は少なくとも３つの異なるスケールからの特徴を組み合わせる、異なるスケール及び分解能の複数の層間の密結合を含み、前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、コンピュータプログラム製品。

【0017】

他の非制限的実施形態又は態様は、以下の番号が付けられた条項に記載される。

【0018】

条項１：人工ニューラルネットワークを使用して、時空間医用画像を解析する方法であって、イメージングデバイスを用いて患者の一連の医用画像を取り込むことと、前記一連の医用画像は前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、コンピューティングデバイスを用いて、前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡することと、コンピューティングデバイスを用いて、前記時変空間データを前記一連の医用画像と相互に関連つけることによって時空間データを生成することと、コンピューティングデバイスを用いて、複数の層を含む人工ニューラルネットワークに基づいて、前記一連の医用画像を解析することとを含み、前記複数の層の１つ又は複数の層のそれぞれは、少なくと
も３つの異なるスケールからの特徴を組み合わせ、前記人工ニューラルネットワークの前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、方法。

【0019】

条項２：前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、異なるスケールの拡張畳み込みを含む、条項１に記載の方法。

【0020】

条項３：前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、前記複数の層の少なくとも層のサブセット間の密結合及び／又は残差結合を含み、前記少なくとも層のサブセットが、少なくとも３つの異なるスケールからの特徴を含む、条項１または２に記載の方法。

【0021】

条項４：前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、少なくとも２つの異なるスケールの畳み込み、及び少なくとも２つの異なるスケールからの特徴を含む前記複数の層の層のサブセットに対する結合を含み、少なくとも３つの異なるスケールの特徴をもたらす、条項１～３のいずれかに記載の方法。

【0022】

条項５：前記少なくとも１つの存在物が、以下の機器、前記イメージングデバイス、物理的アーチファクト、顕在アーチファクト、又はそれらの任意の組み合わせの、少なくとも１つを含む、条項１～４のいずれかに記載の方法。

【0023】

条項６：前記時変空間データを追跡することが、以下の前記少なくとも１つの存在物の平行移動／回転位置、前記少なくとも１つの存在物の速度、前記少なくとも１つの存在物の加速度、前記少なくとも１つの存在物の慣性測定値、又はそれらの任意の組み合わせの、少なくとも１つを追跡することを含む、条項１～５のいずれかに記載の方法。

【0024】

条項７：前記時変空間データを追跡することが、以下の慣性測定装置、追跡システム、位置センサ、ロボット運動学、逆運動学、又はそれらの任意の組み合わせの、少なくとも１つに基づく、条項１～６のいずれかに記載の方法。

【0025】

条項８：前記時空間データが、以下の前記患者の身体内の内的動きを表すデータ、前記患者の身体の外的動きを表すデータ、機器の動きを表すデータ、前記機器の角度を表すデータ、前記患者の体の変形を生じる動きを表すデータ、又はそれらの任意の組み合わせの、少なくとも１つを含む、条項１～７のいずれかに記載の方法。

【0026】

条項９：前記人工ニューラルネットワークが、エンコーダ及びデコーダを含み、前記デコーダ及び前記エンコーダの少なくとも一方が、入力として前記時空間データを利用するように構成される、条項１～８のいずれかに記載の方法。

【0027】

条項１０：前記人工ニューラルネットワークが、以下の長・短期記憶（ＬＳＴＭ）ユニット、ゲート付き再帰型ユニット（ＧＲＵ）、時間畳み込みネットワーク、又はそれらの任意の組み合わせの、少なくとも１つを含む、条項１～９のいずれかに記載の方法。

【0028】

条項１１：前記空間データが、前記患者及び／又は機器の位置及び／又は向きを含む、条項１～１０のいずれかに記載の方法。

【0029】

条項１２：前記一連の医用画像を解析することが、前記一連の画像において少なくとも１つの解剖学的構造を識別することを含み、前記少なくとも１つの解剖学的構造が、以下の脈管、動脈、静脈、靭帯、神経、筋肉線維、筋膜線維又は筋膜網、脂肪の小塊、移植脂肪の小塊、リンパ組織、皮膚の斑、腱、骨、軟骨片、肺胸膜線、心臓弁、心房室、心臓表
面、気管、脳領域、管、小柱網、角膜層、網膜層、眼球水晶体、眼表面、軟組織、角膜縁のフォークトパリセード、臓器、細胞外構造、細胞間構造、細胞、又はそれらの任意の組み合わせの、少なくとも１つを含む、条項１～１１のいずれかに記載の方法。

【0030】

条項１３：前記一連の医用画像が、以下の超音波画像、光干渉断層法（ＯＣＴ）画像、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、ＳＰＥＣＴ画像、透視画像、Ｘ線画像、マンモグラフィ画像、断層合成画像、光音響画像、聴覚光学画像、内視鏡画像、顕微鏡画像、眼底画像、走査レーザ検眼鏡（ＳＬＯ）画像、スマートフォン画像、３Ｄ（深度）画像、フォーカルスタック画像、明視野画像、可視光画像、赤外線画像、紫外線画像、熱画像、マルチスペクトル画像、断層画像、投影画像、統合画像、再構成画像、又はそれらの任意の組み合わせの、少なくとも１つを含む、条項１～１２のいずれかに記載の方法。

【0031】

条項１４：前記一連の医用画像を解析することが、前記一連の医用画像に示される１つ又は複数の脈管をセグメント化することを含む、条項１～１３のいずれかに記載の方法。

【0032】

条項１５：人工ニューラルネットワークを使用して、時空間医用画像を解析するシステムであって、イメージングデバイスを用いて患者の一連の医用画像を取り込み、前記一連の医用画像は前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、コンピューティングデバイスを用いて、前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡し、
コンピューティングデバイスを用いて、前記時変空間データを前記一連の医用画像と相互に関連つけることによって時空間データを生成し、コンピューティングデバイスを用いて、複数の層を含む人工ニューラルネットワークに基づいて、前記一連の医用画像を解析するよう、プログラムされ又は構成されたコンピューティングデバイスを有し、前記複数の層の１つ又は複数の層のそれぞれは、少なくとも３つの異なるスケールからの特徴を組み合わせ、前記人工ニューラルネットワークの前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、システム。

【0033】

条項１６：前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、異なるスケールの拡張畳み込みを含む、条項１５に記載のシステム。

【0034】

条項１７：前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、前記複数の層の少なくとも層のサブセット間の密結合及び／又は残差結合を含み、前記少なくとも層のサブセットが、少なくとも３つの異なるスケールからの特徴を含む、条項１５または１６に記載のシステム。

【0035】

条項１８：前記少なくとも３つの異なるスケールからの特徴を組み合わせる前記１つ又は複数の層が、少なくとも２つの異なるスケールの畳み込み、及び少なくとも２つの異なるスケールからの特徴を含む前記複数の層の層のサブセットに対する結合を含み、少なくとも３つの異なるスケールの特徴をもたらす、条項１５～１７のいずれかに記載のシステム。

【0036】

条項１９：前記少なくとも１つの存在物が、以下の機器、前記イメージングデバイス、物理的アーチファクト、顕在アーチファクト、又はそれらの任意の組み合わせの、少なくとも１つを含む、条項１５～１８のいずれかに記載のシステム。

【0037】

条項２０：前記時変空間データを追跡することが、以下の前記少なくとも１つの存在物の平行移動／回転位置、前記少なくとも１つの存在物の速度、前記少なくとも１つの存在物の加速度、前記少なくとも１つの存在物の慣性測定値、又はそれらの任意の組み合わせの、少なくとも１つを追跡することを含む、条項１５～１９のいずれかに記載のシステム
。

【0038】

条項２１：前記時変空間データを追跡することが、以下の慣性測定装置、追跡システム、位置センサ、ロボット運動学、逆運動学、又はそれらの任意の組み合わせの、少なくとも１つに基づく、条項１５～２０のいずれかに記載のシステム。

【0039】

条項２２：前記時空間データが、以下の前記患者の身体内の内的動きを表すデータ、前記患者の身体の外的動きを表すデータ、機器の動きを表すデータ、前記機器の角度を表すデータ、前記患者の体の変形を生じる動きを表すデータ、又はそれらの任意の組み合わせの、少なくとも１つを含む、条項１５～２１のいずれかに記載のシステム。

【0040】

条項２３：前記人工ニューラルネットワークが、エンコーダ及びデコーダを含み、前記デコーダ及び前記エンコーダの少なくとも一方が、入力として前記時空間データを利用するように構成される、条項１５～２２のいずれかに記載のシステム。

【0041】

条項２４：前記人工ニューラルネットワークが、以下の長・短期記憶（ＬＳＴＭ）ユニット、ゲート付き再帰型ユニット（ＧＲＵ）、時間畳み込みネットワーク、又はそれらの任意の組み合わせの、少なくとも１つを含む、条項１５～２３のいずれかに記載のシステム。

【0042】

条項２５：前記空間データが、前記患者及び／又は機器の位置及び／又は向きを含む、条項１５～２４のいずれかにに記載のシステム。

【0043】

条項２６：前記一連の医用画像を解析することが、前記一連の画像において少なくとも１つの解剖学的構造を識別することを含み、前記少なくとも１つの解剖学的構造が、以下の脈管、動脈、静脈、靭帯、神経、筋肉線維、筋膜線維又は筋膜網、脂肪の小塊、移植脂肪の小塊、リンパ組織、皮膚の斑、腱、骨、軟骨片、肺胸膜線、心臓弁、心房室、心臓表面、気管、脳領域、管、小柱網、角膜層、網膜層、眼球水晶体、眼表面、軟組織、角膜縁のフォークトパリセード、臓器、細胞外構造、細胞間構造、細胞、又はそれらの任意の組み合わせの、少なくとも１つを含む、条項１５～２５のいずれかに記載のシステム。

【0044】

条項２７：前記一連の医用画像が、以下の超音波画像、光干渉断層法（ＯＣＴ）画像、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、ＳＰＥＣＴ画像、透視画像、Ｘ線画像、マンモグラフィ画像、断層合成画像、光音響画像、聴覚光学画像、内視鏡画像、顕微鏡画像、眼底画像、走査レーザ検眼鏡（ＳＬＯ）画像、スマートフォン画像、３Ｄ（深度）画像、フォーカルスタック画像、明視野画像、可視光画像、赤外線画像、紫外線画像、熱画像、マルチスペクトル画像、断層画像、投影画像、統合画像、再構成画像、又はそれらの任意の組み合わせの、少なくとも１つを含む、条項１５～２６のいずれかに記載のシステム。

【0045】

条項２８：前記一連の医用画像を解析することが、前記一連の医用画像に示される１つ又は複数の脈管をセグメント化することを含む、条項１５～２７に記載のシステム。

【0046】

条項２９：ニューラルネットワークを使用して医用画像を解析するコンピュータプログラム製品であって、コンピューティングデバイスによって実行されると、前記コンピューティングデバイスに、イメージングデバイスを用いて患者の一連の医用画像を取り込むことと、前記一連の医用画像は前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、コンピューティングデバイスを用いて、前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡することと、コンピューティングデバイスを用いて、前記時変空間データを前記一連の医用画像と相互に関連つけることによって時空間データを生成することと、コンピュ
ーティングデバイスを用いて、複数の層を含む人工ニューラルネットワークに基づいて、前記一連の医用画像を解析することと、を行わせる命令を含む少なくとも１つの非一時的コンピュータ可読媒体を含み、前記複数の層の１つ又は複数の層のそれぞれは、少なくとも３つの異なるスケールからの特徴を組み合わせ、前記人工ニューラルネットワークの前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、コンピュータプログラム製品。

【0047】

条項３０：前記人工ニューラルネットワークの少なくとも一部が拡張畳み込みを含む、条項１～１４のいずれかに記載の方法。

【0048】

条項３１：前記人工ニューラルネットワークの少なくとも一部が残差結合及び／又はスキップ結合を含む、条項１～１４及び３０のいずれかに記載の方法。

【0049】

条項３２：前記人工ニューラルネットワークの少なくとも一部が拡張畳み込みを含む、条項１５～２８のいずれかに記載のシステム。

【0050】

条項３３：前記人工ニューラルネットワークの少なくとも一部が残差結合及び／又はスキップ結合を含む、条項１５～２８及び３２のいずれかに記載のシステム。

【0051】

条項３４：人工ニューラルネットワークを使用して、時空間医用画像を解析する方法であって、イメージングデバイスを用いて患者の一連の医用画像を取り込むことと、前記一連の医用画像は、前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、コンピューティングデバイスを用いて、前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡することと、コンピューティングデバイスを用いて、前記時変空間データを前記一連の医用画像と相関させることによって時空間データを生成することと、コンピューティングデバイスを用いて、複数の層を含む人工ニューラルネットワークに基づいて、前記一連の医用画像を解析することとを含み、前記人工ニューラルネットワークが、拡張畳み込み、及び／又は少なくとも３つの異なるスケールからの特徴を組み合わせる、異なるスケール及び分解能の複数の層間の密結合を含み、前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、方法。

【0052】

条項３５：人工ニューラルネットワークを使用して、時空間医用画像を解析するシステムであって、イメージングデバイスを用いて患者の一連の医用画像を取り込み、前記一連の医用画像は、前記患者及び物体の少なくとも一方の少なくとも一部を含む少なくとも１つの存在物の視覚的移動を含み、コンピューティングデバイスを用いて、前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡し、
コンピューティングデバイスを用いて、前記時変空間データを前記一連の医用画像と相関させることによって時空間データを生成し、コンピューティングデバイスを用いて、複数の層を含む人工ニューラルネットワークに基づいて、前記一連の医用画像を解析するよう、プログラムされ又は構成されたコンピューティングデバイスを有し、前記人工ニューラルネットワークが、拡張畳み込み、及び／又は少なくとも３つの異なるスケールからの特徴を組み合わせる、異なるスケール及び分解能の複数の層間の密結合を含み、前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、システム。

【0053】

条項３６：ニューラルネットワークを使用して医用画像を解析するコンピュータプログラム製品であって、コンピューティングデバイスによって実行されると、前記コンピューティングデバイスに、イメージングデバイスを用いて患者の一連の医用画像を取り込むことと、前記一連の医用画像は、前記患者及び物体の少なくとも一方の少なくとも一部を含
む少なくとも１つの存在物の視覚的移動を含み、前記視覚的移動に基づいて、前記少なくとも１つの存在物に関連付けられた時変空間データを追跡することと、前記時変空間データを前記一連の医用画像と相関させることによって時空間データを生成することと、複数の層を含む人工ニューラルネットワークに基づいて、前記一連の医用画像を解析することと、を行わせる命令を含む少なくとも１つの非一時的コンピュータ可読媒体を含み、前記人工ニューラルネットワークが、拡張畳み込み、及び／又は少なくとも３つの異なるスケールからの特徴を組み合わせる、異なるスケール及び分解能の複数の層間の密結合を含み、前記複数の層の少なくとも１つの層が、前記時空間データに基づいて時空間関係を学習するように構成される、コンピュータプログラム製品。

【0054】

本開示の上記及び他の特徴及び特性、並びに構造の関連要素の動作方法及び機能、並びに部品の組み合わせ及び製造の経済性は、様々な図において同様の参照符号が対応する部分を表す添付の図面を参照して、以下の詳細な説明及び添付の特許請求の範囲を考慮すれば（これらは全て、本明細書の一部を形成する）、より明白になるだろう。しかしながら、図面は単に例示及び説明を目的としたものであり、本発明の制限の定義であることは意図されないことが明確に理解されるものとする。

【0055】

さらなる利点及び詳細は、添付の図面に示される非制限的な例示的実施形態を参照して、より詳細に以下に説明される。

【図面の簡単な説明】

【0056】

【図1】非制限的実施形態による、人工ニューラルネットワークを使用して時空間医用画像を解析するシステムの模式図を示す。

【図2】非制限的実施形態による、人工ニューラルネットワークを使用して時空間医用画像を解析するシステムで使用する人工ニューラルネットワークモデルを示す。

【図3】非制限的実施形態による、人工ニューラルネットワークを使用して時空間医用画像を解析するシステムで使用する入力構造及び出力構造を示す。

【図4】非制限的実施形態による、人工ニューラルネットワークを使用して時空間医用画像を解析するシステムで使用する符号化ブロック構造を示す。

【図5】非制限的実施形態による、人工ニューラルネットワークを使用して時空間医用画像を解析するシステムで使用する復号ブロック構造を示す。

【図6】非制限的実施形態による、人工ニューラルネットワークを使用して時空間医用画像を解析するためのフロー図を示す。

【図7】非制限的実施形態に関連して使用されるコンピューティングデバイスのコンポーネント例を示す。

【発明を実施するための形態】

【0057】

そうでないと明確に指定される場合を除き、実施形態は、様々な代替のバリエーション及びステップシーケンスを取り得ることが理解されるものとする。また、以下の明細書に記載される具体的なデバイス及びプロセスは、単なる本開示の例示的実施形態又は態様であることが理解されるものとする。よって、本明細書に開示される実施形態又は態様に関連する具体的寸法及び他の物理的特性は、制限と見なされるものではない。本明細書で使用される態様、コンポーネント、要素、構造、行為、ステップ、機能、及び／又は命令などは、極めて重要又は必須であると明示的に記載されない限り、そのように見なされるものではない。また、本明細書において、冠詞「１つの（ａ）」及び「１つの（ａｎ）」は、１つ又は複数の項目を含むことが意図され、「１つ又は複数の」及び「少なくとも１つの」と交換可能に使用され得る。また、本明細書において、「有する（ｈａｓ）」、「有する（ｈａｖｅ）」、又は「有している（ｈａｖｉｎｇ）」などの用語は、オープンエンド形式の用語であることが意図される。さらに、「～に基づく（ｂａｓｅｄ ｏｎ）」という表現は、明示的に別段の記載のない限り、「少なくとも部分的に～に基づく（ｂａｓ
ｅｄ ａｔ ｌｅａｓｔ ｐａｒｔｉａｌｌｙ ｏｎ）」を意味することが意図される。

【0058】

本明細書において、「コンピューティングデバイス」という用語は、データを処理するために構成された１つ又は複数の電子デバイスを指し得る。コンピューティングデバイスは、幾つかの例では、プロセッサ、ディスプレイ、メモリ、入力デバイス、及び／又はネットワークインタフェースなどの、データを受信し、処理し、及び出力するために必要なコンポーネントを含み得る。コンピューティングデバイスは、モバイルデバイスでもよい。また、コンピューティングデバイスは、デスクトップコンピュータ、又は他の形態の非モバイルコンピュータでもよい。非制限的実施形態では、コンピューティングデバイスは、ＧＰＵを含んでもよい。非制限的実施形態では、コンピューティングデバイスは、複数の回路から構成されてもよい。

【0059】

非制限的実施形態は、人工ニューラルネットワーク（例えば、畳み込みニューラルネットワーク（ＣＮＮ）など）及び時空間データを使用して、一連の医用画像（解剖学的、生理学的、機能的、及び／又は他の生物医学的画像など）を解析するシステム、方法、及びコンピュータプログラム製品を提供する。幾つかの非制限的実施形態では、ＣＮＮベースのコンピュータビジョン手法は、限定されないが、超音波又は光干渉断層法（ＯＣＴ）などの断面断層画像シーケンスにおいて目に見える解剖学的構造を自動的に識別及びラベル付けするために利用される。非制限的実施形態は、解剖学的構造などの存在物に対する変化の追跡と共に、動き及び向きデータなどの空間情報の同時追跡を可能にする。これは、形状などの解剖学的構造のパラメータが、空間及び時間にわたり追跡されることを可能にする。このような形状に対する変動は、例えば、例として、脈管の圧迫又は分岐点を含み得る。

【0060】

これより図１を参照して、非制限的実施形態による、一連の医用画像１０４を解析するシステム１０００が示される。システム１０００は、ある期間にわたり、患者Ｐの一連の医用画像１０４を捕捉する、超音波スキャナ、及び／又はＯＣＴスキャナなどを含み得るイメージングデバイス１０２を含む。医用画像には、超音波画像、ＯＣＴ画像、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、ＳＰＥＣＴ画像、透視画像、Ｘ線画像、マンモグラフィ画像、断層合成画像、光音響画像、聴覚光学画像、内視鏡画像、顕微鏡画像、眼底画像、走査レーザ検眼鏡（ＳＬＯ）画像、スマートフォン画像、３Ｄ（深度）画像、フォーカルスタック画像、明視野画像、可視光画像、赤外線画像、紫外線画像、熱画像、マルチスペクトル画像、断層画像、投影画像、統合画像、及び／又は再構成画像などが含まれ得る。イメージングデバイス１０２は、様々な機器が利用され得るが、超音波プローブなどのイメージングシステム１０２を動作させるための機器１０６と通信し得る。イメージングデバイス１０２は、データストレージデバイス１０８と通信するコンピューティングデバイス１００とも通信する。

【0061】

引き続き図１を参照して、一連の医用画像１０４は、患者及び／又は物体などの存在物の視覚的な動きに基づいて、あるスライス（又はボリューム）から次のスライスに変化し得る患者の体の画像を含み得る。例えば、このような動きには、内的動き（例えば、拍動する脈管、動いている胎児など）、外的動き（例えば、患者の体の動き、機器１０６又は他のツールの動き、ＯＣＴ走査ビームの角度の変更など）、及び／又は相互作用的動き（例えば、超音波トランスデューサを患者の身体内に圧入し、それによって内部の解剖学的構造を変形させること）が含まれ得る。動く物体は、１つ又は複数の解剖学的構造（例えば、脈管、動脈、静脈、靭帯、神経、筋肉線維、筋膜線維又は筋膜網、脂肪の小塊、移植脂肪の小塊、リンパ組織、皮膚の斑、腱、骨、軟骨片、肺胸膜線、肺硬化、心臓弁、心房室、心臓表面、気管、脳領域、管、小柱網、角膜層、網膜層、眼球水晶体、眼表面、軟組織、角膜縁のフォークトパリセード、臓器、細胞外構造、細胞間構造、及び／又は細胞など）などの物理的アーチファクト、及び／又は物理的に存在しないが、１つ又は複数の生
理的性質を示す、イメージングプロセス及び／又はその際に使用されるツールによって生じる視覚効果などの顕在アーチファクトを含み得る。このような視覚効果は、例えば、針関連の超音波アーチファクト（例えば、残響、サイドローブ、及び／又はバヨネットアーチファクトなど）、並びに肺関連のアーチファクト及び構造（例えば、Ａライン、Ｂライン、Ｚライン、及び／又はコミットテールなど）を含み得る。様々な他のアーチファクトも追跡され得る。

【0062】

さらに図１を参照して、コンピューティングデバイス１００は、一連の画像１０４の１つ又は複数の画像における存在物の視覚的移動に基づいて、その存在物の時変空間データを追跡するように構成される。連続して取得された画像間に生じ得る様々なあり得る変化が与えられたとき、非制限的実施形態は、これらの値が一連の画像１０４中の複数の画像（例えば、一連の画像１０４の少なくともサブセット）の画像ごとに異なるため、存在物の位置を追跡する。一連の画像１０４中の複数画像に広がる、追跡された時変空間データに基づいて、コンピューティングデバイス１００は、時変空間データを一連の画像１０４中の複数画像と相互に関連つけることによって時空間データを生成し得る。例えば、空間データにおける値及び／又は値の変化は、１つ又は複数の特定の画像にリンクされることによって、それらの特定の画像に関連付けられてもよい。時空間データは、形状、位置、及び／又は向きの経時的な変化を示し得る。リンクされたデータは、データストレージデバイス１０８内のメモリにおいて示され得る。

【0063】

非制限的実施形態では、図１をさらに参照して、生成された時空間データは、データストレージデバイス１０８に保存され、及び解析されてもよい。例えば、時空間データは、限定されないが、畳み込みニューラルネットワーク（ＣＮＮ）などの、コンピューティングデバイス１００によって実行される人工ニューラルネットワークに入力され得る。例えば、時空間データを用いて強化されたＣＮＮは、例えば内膜中膜厚を測定するなどのために、（例えば、手における）脈管の超音波映像シーケンスにおける経時的な構造組織変化を解析するために使用され得る。別の例として、強化ＣＮＮは、例えば、毎日個々のボリュームを再構成し、その後、複数日にわたる角膜縁におけるフォークトパリセード幹細胞ニッシェの変化を定量化するなど、前眼部の構造的変化を解析するために使用され得る。様々な他の使用及び用途が可能であることが認識されるだろう。

【0064】

非制限的実施形態では、人工ニューラルネットワークは、逐次ダウンサンプリング層及びアップサンプリング層間の密結合及び／又は残差結合を含むＵ－Ｎｅｔアーキテクチャで構成されてもよく、したがって、このような層は、様々なスケールで生成された入力を処理する。このような実施形態では、又は（例えば、密結合又は残差結合を含まない可能性がある）他の非制限的Ｕ－Ｎｅｔ実施形態では、Ｕ－Ｎｅｔは、様々なスケールにわたり特徴を算出する拡張（ｄｉｌａｔｅｄ）（及び通常の）畳み込みを用いるブロック又は層を含み得る。先行技術のＵ－Ｎｅｔアーキテクチャとは対照的に、このような個々の層又はブロックは、１つ又は複数のスケールの畳み込み、及び１つ又は複数のスケールを含む他の層への結合の組み合わせによって、少なくとも３つのスケールにわたり特徴を算出するように構成され得る。ダウンサンプリング層及び／又はアップサンプリング層の１つ又は複数の層は、時空間関係を学習するように構成されてもよい。時空間データは、様々なやり方で人工ニューラルネットワークに組み入れられてもよい。例えば、幾つかの非制限的実施形態では、長・短期記憶（ＬＳＴＭ：Ｌｏｎｇ－Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）が、ＣＮＮアーキテクチャのデコーダ部分に組み入れられる。ＬＳＴＭベースのマルチスケールネットワークの使用により、複数の映像時間ステップにわたり関連する特徴を保持し、必要な場合にのみ特徴を更新するように、マルチスケール特徴がインテリジェントに組み合わせられる。幾つかの非制限的実施形態では、人工ニューラルネットワークアーキテクチャは、ネットワークのエンコーダ及び／又はデコーダ部分において、ＬＳＴＭ及び／又は他の形態のメモリ（ゲート付き再帰型ユニット（ＧＲＵ：Ｇａｔｅｄ Ｒ
ｅｃｕｒｒｅｎｔ Ｕｎｉｔ）など）、又は「時間」畳み込みネットワークなどの他のアーキテクチャ要素をさらに組み入れるように修正されてもよい。

【0065】

他の非制限的実施形態では、残差ニューラルネットワーク（ＲｅｓＮｅｔ）又はＣＦＣＭ（Ｃｏａｒｓｅ－ｔｏ－Ｆｉｎｅ Ｃｏｎｔｅｘｔ Ｍｅｍｏｒｙ）ネットワークなどの他のネットワークアーキテクチャが、マルチスケール特徴及び時空間特徴及び／又は関係を算出するために強化されてもよい。他の非制限的実施形態では、ＨＲＮｅｔ（Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋ）などのマルチスケールネットワークが、時空間特徴及び／又は関係を学習するために構成されてもよい。

【0066】

非制限的実施形態では、時空間データを人工ニューラルネットワークに組み入れることにより、数多くの目的に使用することができる強化ニューラルネットワークがもたらされる。例えば、強化ニューラルネットワークは、例えば内膜中膜厚を測定するなどのために、（例えば、手における）脈管の超音波映像シーケンスにおける経時的な構造組織変化を解析するために使用され得る。別の例では、強化ニューラルネットワークは、例えば毎日個々のボリュームを再構成し、その後、複数日にわたる角膜縁におけるフォークトパリセード幹細胞ニッシェの変化を定量化するなど、前眼部の構造的変化を解析するために使用され得る。様々な他の使用及び用途が可能であることが認識されるだろう。

【0067】

非制限的実施形態では、一連の医用画像１０４は、機器１０６（例えば、超音波トランスデューサなど）が患者Ｐの体を横切って移動するにつれて、内部の解剖学的構造の表示が、超音波映像において移動及び変化するように、時空間シーケンスで取得される。ネットワークのＬＳＴＭは、機器１０６、患者Ｐ、又はプロセスで使用されるあらゆるツールがどのように移動していたかを推論するため、ユーザ（例えば、技師、医師、又は他のオペレータ若しくは解析者）は、機器１０６が実際にどのように移動されたかを分かっている必要はない。幾つかの例では、機器１０６、患者Ｐ、及び／又はツールがどのように移動しているかに関するさらなる情報（例えば、動き情報）が、平行移動／回転位置、速度、加速度、及び／又は例として、慣性測定装置、追跡システム（例えば、任意の数の次元に関する空間追跡システム）、位置センサ、ロボット運動学、及び／又は逆運動学からの他の出力を追跡することなどによって、利用可能であってもよい。例えば、（移動している機器１０６、患者Ｐ、及び／又はツールなどの）存在物が他の存在物に対してどのように移動していたかをコンピューティングデバイス１００がより良く決定することができるように、機器１０６、患者Ｐ、及び／又はツール上に配置された１つ又は複数のセンサは、ＬＳＴＭに組み入れられる動き情報を提供してもよい。

【0068】

これより図２を参照して、非制限的実施形態による人工ニューラルネットワーク２００が示される。ネットワーク２００は、ダウンサンプリングエンコーダ（例えば、符号化ブロック２０６を含むネットワーク２００の部分）及びＬＳＴＭベースのデコーダ（例えば、復号ブロック２０８を含むネットワーク２００の部分）を含む。符号化ブロック２０６は、スケールのシーケンスで画像から特徴を算出し、特徴マップは、ブロック２０３からネットワーク２００のエンコーダ部分を下方に、それらの個々のカーネルが、それらの入力特徴マップのより大きな割合から特徴を算出する（したがって、元の入力画像においてより大きな受容野を有する）につれて、分解能が低下する。同様に、復号ブロック２０８は、スケールのシーケンスで特徴を算出し、特徴マップは、ブロック２１２からブロック２０５へとネットワーク２００のデコーダ部分を上方に、それらの個々のカーネルが、それらの入力特徴マップのより小さな割合から特徴を算出するにつれて、分解能が向上する。ブロックごとの反復２１４が、ネットワーク２００に含まれ得る（例えば、例えば、一連のブロックを下方に２、３、４、６、３の反復）。例えば、デコーダは、畳み込みＬＳＴＭネットワーク（ＣｏｎｖＬＳＴＭ）でもよく、又はそれを組み入れてもよい。ネットワーク２００のモデルは、一連の各フレーム（例えば、画像）を独立して扱うＵ－Ｎｅｔ
セグメント化モデルとは異なる。図２に示されるＬＳＴＭベースのモデル及びアーキテクチャは、密なピクセルごとの予測のために、複数のスケールにわたって（例えば、脈管などの）存在物の外観を保持するために、画像（例えば、映像フレーム）間の相互関係を考慮する（例えば、復号ブロック２０８においてＬＳＴＭセルを使用する）メモリ機構を実装する。ネットワーク２００のエンコーダ部分（例えば、符号化ブロック２０６）において収集された空間コンテキストを、通信経路２１０を用いたそのような情報の伝達を介して、ネットワーク２００のデコーダ部分（例えば、復号ブロック２０８）からのＬＳＴＭセルと組み合わせることによって、セグメント化の向上のために時空間存在物関連特徴が推定される。

【0069】

図２～５を参照して、記号及び文字は以下を表す：Ｃ（畳み込み関数）、Ｄ（拡張畳み込み関数）、ＢＮ（バッチ正規化関数）、ＲｅＬＵ（整流線形活性化ユニット（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ａｃｔｉｖａｔｉｏｎ ｕｎｉｔ））、Ｔ（出力クラス：バイナリ（２）、マルチ（２，…））、Ｎ（特徴マップの数、例えば、｛３２，６４，１２８，５６，５１２｝）、Ｈｔ（時間ｉにおける隠れ状態）、Ｃｔ（時間ｔにおけるセル状態）、・（要素ごとの乗算関数）、ａ（シグモイド活性化）、×（畳み込み）、及び＋（要素ごとの加算関数）。

【0070】

これより図２及び図３を参照して、人工ニューラルネットワーク２００は、入力２０２として一連の画像を受信し、ブロック２０３を用いて画像の符号化を開始する。ネットワーク２００は、ブロック２１２及び結果ブロック２０５から復号し、出力２０４として、１つ又は複数のセグメント化された存在物を有する一連の画像を出力する。ＲｅＬＵは、ＢＮに従い、整流器（例えば、活性化関数）を保持する。

【0071】

これより図２及び図４を参照して、ネットワーク２００のエンコーダ部分は、拡張畳み込み及び残差結合を使用して、複数のスケールにわたり、存在物の外観の意味のある表現(representations)を抽出する符号化ブロック２０６を含む。ネットワーク２００のエン
コーダ部分の最初の幾つかの層で特徴付けられた特徴マップは、それらのより小さな受容野により限定された低レベル属性と見なされる明瞭な性質(properties)（エッジ、角、及び／又は曲線など）を描写する。ネットワークのより深い層では、粗いが複雑な属性が、不明瞭な性質（例えば、存在物の輪郭）を有して見られる。このレベルでは、画像のより多くの部分が、特徴マップを算出する個々のカーネルのより大きな受容野により、グローバルスケールで見られる。残差結合及び拡張畳み込みは、特に、かすかに認識できる境界に関するさらなる空間情報を収集し、最後のセグメント化においてギャップを防止するために、あるブロックから次のブロックへとこの情報を教え込む（例えば、渡す）。拡張畳み込みは、存在物の境界（例えば、物体又は組織境界）を正確にセグメント化するために、より広い周囲画像内容に関するコンテキスト情報を収集する。一例として、拡張畳み込みは、境界のコントラストが不十分な領域において、先行技術の方法よりも良く機能するために、ギャップを「埋める」ことができる。このような階層的表現(representaton)は
、一連の画像において存在物の移動（例えば、脈管の移動）のダイナミクスを独立してモデル化しない可能性があるが、存在物のセグメント化を向上させるために使用され得る。例えば、エンコーダ部分から異なるスケールで抽出された特徴マップをデコーダ部分のＬＳＴＭセルに伝達することによって、ＬＳＴＭセルは、関心のある関連特徴をメモリに保持し、したがって、より良い品質及び精度のセグメント化を生じさせるために、ネットワークモデルに組み込むことができる。

【0072】

これより図２及び図５を参照して、ネットワーク２００のデコーダ部分は、復号ブロック２０８を含む。あらゆる符号化ブロック２０６は、それの出力特徴マップをネットワーク２００のデコーダ部分のＬＳＴＭメモリユニットへと（例えば、通信経路２１０を介して対応する復号ブロック６０８へと）伝達する。例えば、各復号ブロック２０８のＬＳＴ
Ｍセルは、ネットワーク２００に組み入れられてもよく、並びに、単一の時間ステップとして各符号化ブロック２０６の出力を考慮し、及び粗密（ｃｏａｒｓｅ－ｔｏ－ｆｉｎｅ）方法で複数のスケールで抽出された特徴マップを統合するためにメモリ機構を実装するように構成されてもよい。非制限的実施形態では、このような統合は、セル状態に対する新しい情報の除去又は付加を調整する復号ブロック２０８のゲート付き論理構造を用いて行われ得る。このようにして、最深エンコーダ層（例えば、最下の符号化ブロック２０６及びそれの全ての反復）からのグローバルコンテキスト情報が、まずＬＳＴＭユニットによって観察され、受容野が減少するにつれて、存在物に関するより細かい詳細（例えば、脈管境界に関するさらなる情報）が付加される。

【0073】

図２及び図５を引き続き参照して、各復号ブロック２０８は、入力として、３つの特徴セット（入力状態、隠れ状態、及びセル状態）を利用するＬＳＴＭユニットを組み入れ、３つの論理ゲート（忘却ゲート、入力ゲート、及び出力ゲート）を使用して情報を出力する。忘却ゲートは、セル状態特徴セットから情報を除去するように構成される。入力ゲートは、セル状態特徴セットに組み入れられる新しい情報を決定するように構成される。出力ゲートは、それぞれのＬＳＴＭユニットの出力を調整するように構成される。各復号ブロック２０８のＬＳＴＭユニットは、ＬＳＴＭユニットに関して様々な構造が可能であるが、セグメント化精度を向上させるために、畳み込み及びＲｅＬＵを利用する。ネットワーク２００の最深レベルの初期復号ブロック（例えば、ブロック２１２）の初期隠れ状態及び初期セル状態は、他のＬＳＴＭユニットのそれぞれ（例えば、２１２を除く復号ブロック２０８の部分）の隠れ状態及びセル状態が、それの下にあるＬＳＴＭユニットからアップサンプリングされるように、ゼロに初期化され得る。ＣｏｎｖＬＳＴＭブロックなどの構造化されたＬＳＴＭベースの復号ブロック２０８の使用は、ネットワーク２００が存在物の形状属性を保持し、１つ又は複数の画像のそれぞれにおいて存在物をセグメント化することを容易にする。

【0074】

これより図６を参照して、示されるのは、非制限的実施形態による一連の医用画像を解析する方法のフロー図である。図６に示されるステップの順序は、単に例示を目的としたものであり、非制限的実施形態が、より多くのステップ、より少ないステップ、異なるステップ、及び／又は異なるステップ順序を伴い得ることが認識されるだろう。ステップ６００では、人工ニューラルネットワークが作成される。非制限的実施形態では、人工ニューラルネットワークは、層間の密結合及び／又は残差結合を用いて作成される。このような実施形態及び他の非制限的実施形態において、人工ネットワークは、複数の層を含んでもよく、上記複数の層の１つ又は複数の層のそれぞれが、少なくとも３つの異なるスケール／分解能からの特徴を組み合わせる。幾つかの例では、少なくとも３つの異なるスケールからの特徴を組み合わせる層は、部分的に、異なるスケールの拡張畳み込み、３つの異なるスケールからの特徴を含む少なくとも層のサブセット間の密結合、及び／又は３つの異なるスケールからの特徴を含む少なくとも層のサブセット間の残差結合を含み得る。

【0075】

ネットワークは、例えば、教師付き及び／又は教師なしの方法論などによる様々なやり方で訓練され得る。非制限的例では、ネットワークの非時間的部分を訓練するために静止画像が使用されてもよい。一旦ネットワークの非時間的部分が訓練されれば、時空間データを用いてネットワーク全体を訓練するために映像が使用されてもよい。ステップ６０２では、超音波スキャナ及び／又はＯＣＴスキャナなどのイメージングデバイスを用いて、一連の医用画像が捕捉される。一連の医用画像は、例えば患者、物体、及び／又はそれらの一部などの存在物の動きを示す映像からのフレームを含み得る。幾つかの例では、１つ又は複数の存在物が、捕捉された複数のフレーム（例えば、画像）内で移動する場合があり、幾つかの例では、フレームの外の１つ又は複数の存在物（例えば、画像を捕捉する超音波トランスデューサなど）が、フレーム内の存在物に対して移動する場合がある。

【0076】

図６をさらに参照して、ステップ６０４では、フレーム内又はフレームの外の少なくとも１つの存在物の移動に関連付けられた空間データが追跡される。空間データは、例えば、２次元又は３次元空間における絶対又は相対空間座標として追跡され得る。空間データは、平行移動／回転位置、速度、加速度、及び／又は例として、慣性測定装置、追跡システム（例えば、任意の数の次元に関する空間追跡システム）、位置センサ、ロボット運動学、及び／又は逆運動学からの他の出力を含み得る。ステップ６０６では、時空間データが、ステップ６０４で追跡された空間データをステップ６０２で捕捉された一連の医用画像と相関させることによって生成される。時空間データは、１つ又は複数のデータベースに関連付け（例えば、リンク）を含み得る。ステップ６０８では、ステップ６００で作成された人工ニューラルネットワークを使用して、一連の医用画像が解析される。人工ニューラルネットワークは、本明細書に説明したようにＬＳＴＭセルを組み入れることに基づいて、存在物移動の時空間関係を識別するために訓練され得る。ステップ６０８の結果は、（例えば、例えば映像における）一連の画像全体を通した１つ又は複数の存在物の動きが観察及び記録され得るように、１つ又は複数の存在物がセグメント化される一連の医用画像でもよい。

【0077】

２つのスキャナ：Ｖｉｓｕａｌｓｏｎｉｃｓ Ｖｅｖｏ ２１００ ＵＨＦＵＳマシン（Ｆｕｊｉｆｉｌｍ，Ｃａｎａｄａ）及びＤｉａｓｕｓ ＨＦＵＳスキャナ（Ｄｙｎａｍｉｃ Ｉｍａｇｉｎｇ，ＵＫ）からの映像シーケンスを使用して、システムのテストを行った。ＵＨＦＵＳスキャナは、３０μｍの物理的分解能及び１１．６μｍのピクセル間隔を有する５０ＭＨｚトランスデューサ（変換器）を提供した。それぞれが、８３２×５１２ピクセルの寸法を有する１００個の２ＤのＢスキャンを含む、５８個のＵＨＦＵＳシーケンスが使用された。ＨＦＵＳスキャナは、９２．５μｍのピクセル間隔を有する１０～２２ＭＨｚトランスデューサを有していた。それぞれが、２８０×５３４ピクセルの寸法を有する可変個数の２ＤのＢスキャン（５０～２５０）を含む、２６個のＨＦＵＳシーケンスが使用された。シーケンスの全てが、広範囲の調節可能な利得設定（４０～７０ｄＢ）で手の動脈（例えば、浅掌動脈弓）を含んでいた。縦走査、拍動する脈管、及び／又は面外脈管変形などの広範囲に及ぶプローブの動きも取得された。熟練した採点者が、全ての８４個のＵＨＦＵＳ及びＨＦＵＳシーケンスに注釈を付けた。一般的な適用性を示すために、５８個の異常なケース及び８０個の正常なケースを有した１３８個の注釈付けされた画像を含むｘ線データセットに対しても、システムがテストされた。

【0078】

テストに使用された５８個のＵＨＦＵＳシーケンスのうち、２０個は、訓練のために選ばれたものであり、残りの３８個は、テストのために使用された。同様に、２６個のＨＦＵＳシーケンスから、２０個は、訓練のために選ばれたものであり、残りの６個は、テストのために使用された。脈管セグメント化タスクに関する三分割交差検証(tree-fold cross-validation)を行った。臨床応用をシミュレーションするために、（一重による）最も少ない検証損失を有する２つの最良モデルのアンサンブルをテストに使用した。肺のセグメント化タスクに関する三分割交差検証もｘ線データセットにおいて行った。脈管セグメント化タスクに関して、誤差をレベルセットベースの方法及び２つのＬＳＴＭベースのセグメント化手法による誤差と比較した。肺のセグメント化タスクに関して、結果を最新のモデルと比較した。シーケンスは、可変画像サイズを含み、フルサイズの画像を用いてＣｏｎｖＬＳＴＭを訓練することは、ＧＰＵのＲＡＭによって制限された。したがって、人工ニューラルネットワークは、各Ｂスキャンを２５６×２５６ピクセルにスケーリングすることによって訓練された。訓練セットを１２０，０００個の画像にまで増加させるために、データ拡大（弾性変形及び／又はぼけなど）を行った。他の方法と比較するために、各基準結果を専門家の注釈と比較した。誤差を定量化するために、以下のメトリクスを計算した：１）ダイス類似係数（ＤＳＣ：Ｄｉｃｅ Ｓｉｍｉｌａｒｉｔｙ Ｃｏｅｆｆｉｃｉｅｎｔ）［６］、２）ミリメートル単位のハウスドルフ距離（ＨＤ）［６］、３）ミリメートル単位の平均絶対偏差（ＭＡＤ）、４）明確な偽陽性及び偽陰性距離、５）精度
（Ｐｒｅｅ．）及び６）再現能力（Ｒｅｃ．）。

【0079】

表１は、他の方法と比較したＵＨＦＵＳ（上のＵＳＶＳ－Ｎｅｔ値）及びＨＦＵＳ（下のＵＳＶＳ－Ｎｅｔ値）画像シーケンスに対するセグメント化誤差比較を示す。

【0080】

【表1】

【0081】

これらのテストに基づいて、既存のレベルセット手法は、３８個のシーケンスの内の３３個においてのみ、脈管のセグメント化に成功したが、ＬＳＴＭベースの方法は、全てのシーケンスにおいて脈管のセグメント化に成功した。本明細書に記載したシステム及びネットワークアーキテクチャは、最高の精度及び最小の誤差で、専門家の注釈に合致した出力を生成した。システムは、スペックルの増加及び大きな脈管の動きを有するＵＨＦＵＳシーケンスにおけるサブミリメートルの脈管位置特定の処理及び出力を行った。

【0082】

これより図７を参照して、示されるのは、非制限的実施形態による、本明細書に記載されるシステム及び方法を実装し、及び行うためのコンピューティングデバイス９００のコンポーネント例の図である。幾つかの非制限的実施形態では、デバイス９００は、さらなるコンポーネント、より少ないコンポーネント、異なるコンポーネント、又は図７に示されるものとは異なるように配置されたコンポーネントを含んでもよい。デバイス９００は、バス９０２、プロセッサ９０４、メモリ９０６、ストレージコンポーネント９０８、入力コンポーネント９１０、出力コンポーネント９１２、及び通信インタフェース９１４を含んでもよい。バス９０２は、デバイス９００のコンポーネント間の通信を可能にするコンポーネントを含んでもよい。幾つかの非制限的実施形態では、プロセッサ９０４は、ハードウェア、ファームウェア、又はハードウェア及びソフトウェアの組み合わせで実装されてもよい。例えば、プロセッサ９０４は、プロセッサ（例えば、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、加速処理ユニット（ＡＰＵ）など）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、及び／又はある機能を行うためにプログラムされ得る任意の処理コンポーネント（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）など）を含んでもよい。メモリ９０６は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、及び／又はプロセッサ９０４によって使用される情報及び／又は命令を保存する別のタイプの動的又は静的ストレージデバイス（例えば、フラッシュメモリ、磁気メモリ、光メモリなど）を含み得る。

【0083】

図７を引き続き参照して、ストレージコンポーネント９０８は、デバイス９００の動作及び使用に関連する情報及び／又はソフトウェアを保存してもよい。例えば、ストレージコンポーネント９０８は、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、固体ディスクなど）及び／又は別のタイプのコンピュータ可読媒体を含み得る。入力コンポーネント９１０は、ユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、マイクロホンなど）を使用するな
どにより、デバイス９００が情報を受信することを可能にするコンポーネントを含んでもよい。追加的又は代替的に、入力コンポーネント９１０は、情報を検知するためのセンサ（例えば、全地球測位システム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ、アクチュエータなど）を含んでもよい。出力コンポーネント９１２は、デバイス９００からの出力情報を提供するコンポーネントを含んでもよい（例えば、ディスプレイ、スピーカ、１つ又は複数の発光ダイオード（ＬＥＤ）など）。通信インタフェース９１４は、有線接続、無線接続、又は有線及び無線接続の組み合わせなどにより、デバイス９００が他のデバイスと通信することを可能にするトランシーバのようなコンポーネント（例えば、トランシーバ、別個の受信機及び送信機など）を含んでもよい。通信インタフェース９１４は、デバイス９００が、別のデバイスから情報を受信し、及び／又は別のデバイスへと情報を提供することを可能にし得る。例えば、通信インタフェース９１４は、イーサネットインタフェース、光インタフェース、同軸インタフェース、赤外線インタフェース、無線周波数（ＲＦ）インタフェース、ユニバーサルシリアルバス（ＵＳＢ）インタフェース、Ｗｉ－Ｆｉ（登録商標）インタフェース、及び／又はセルラーネットワークインタフェースなどを含み得る。

【0084】

デバイス９００は、本明細書に記載される１つ又は複数のプロセスを行うことができる。デバイス９００は、メモリ９０６及び／又はストレージコンポーネント９０８などのコンピュータ可読媒体によって保存されるソフトウェア命令を実行するプロセッサ９０４に基づいて、これらのプロセスを行い得る。コンピュータ可読媒体は、任意の非一時的メモリデバイスを含み得る。メモリデバイスは、単一の物理的ストレージデバイス内にあるメモリ空間、又は複数の物理的ストレージデバイスに散在するメモリ空間を含む。ソフトウェア命令は、別のコンピュータ可読媒体から、又は通信インタフェース９１４を介して別のデバイスからメモリ９０６及び／又はストレージコンポーネント９０８内に読み込まれてもよい。実行されると、メモリ９０６及び／又はストレージコンポーネント９０８に保存されたソフトウェア命令は、本明細書に記載される１つ又は複数のプロセスをプロセッサ９０４に行わせることができる。追加的又は代替的に、本明細書に記載される１つ又は複数のプロセスを行うために、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて、ハードワイヤード回路網が使用されてもよい。したがって、本明細書に記載される実施形態は、ハードウェア回路網及びソフトウェアのどのような具体的な組み合わせにも限定されない。本明細書において、「プログラムされた、又は構成された」という用語は、ソフトウェア、ハードウェア回路網、又は１つ若しくは複数のデバイス上のそれらの任意の組み合わせの配置を指す。

【0085】

例示目的で実施形態を詳細に記載したが、上記詳細がそのような目的のためだけのものであること、及び開示内容が、開示された実施形態に限定されるものではなく、それどころか、添付の請求項の精神及び範囲内にある変更形態及び均等配置を対象に含めることが意図されることが理解されるものとする。例えば、本開示は、可能な範囲で、任意の実施形態の１つ又は複数の特徴が、任意の他の実施形態の１つ又は複数の特徴と組み合わせられ得ることを企図することが理解されるものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】